Factorul Bayes

În statistici, utilizarea factorului Bayes este o alternativă bayesiană la testul clasic de ipoteză . ^[1] ^[2] Comparația bayesiană a modelelor este o metodă de alegere a modelului bazată pe factorii Bayes.

Definiție

Probabilitatea posterioară Pr ( M | D ) a unui model M obținut datele D este dată de teorema Bayes :

\Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.

{\ displaystyle \ Pr (M | D) = {\ frac {\ Pr (D | M) \ Pr (M)} {\ Pr (D)}}.}

{\ displaystyle \ Pr (M | D) = {\ frac {\ Pr (D | M) \ Pr (M)} {\ Pr (D)}}.}

Termenul cheie dependent de date Pr ( D | M ) este o probabilitate și reprezintă probabilitatea ca datele să fie produse sub presupunerea validității modelului M ; evaluarea sa este punctul central al comparației bayesiene între diferite modele. Dovezile modelului (adică datele pe care se bazează modelul) ia de obicei rolul unei constante de normalizare sau este funcția de partiție a unei alte inferențe, adică inferența parametrilor modelului M odată obținute datele D.

Să luăm în considerare problema selectării unuia dintre cele două modele statistice pe baza datelor observate D. Probabilitatea celor două modele diferite M ₁ și M ₂ , parametrizate prin intermediul vectorilor modelului parametric $\theta _{1}$ ${\ displaystyle \ theta _ {1}}$ ${\ displaystyle \ theta _ {1}}$ Și $\theta _{2}$ ${\ displaystyle \ theta _ {2}}$ ${\ displaystyle \ theta _ {2}}$ , se constată prin intermediul factorului Bayes K dat de

K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}

{\ displaystyle K = {\ frac {\ Pr (D | M_ {1})} {\ Pr (D | M_ {2})}} = {\ frac {\ int \ Pr (\ theta _ {1} | M_ {1}) \ Pr (D | \ theta _ {1}, M_ {1}) \, d \ theta _ {1}} {\ int \ Pr (\ theta _ {2} | M_ {2}) \ Pr (D | \ theta _ {2}, M_ {2}) \, d \ theta _ {2}}}}

{\ displaystyle K = {\ frac {\ Pr (D | M_ {1})} {\ Pr (D | M_ {2})}} = {\ frac {\ int \ Pr (\ theta _ {1} | M_ {1}) \ Pr (D | \ theta _ {1}, M_ {1}) \, d \ theta _ {1}} {\ int \ Pr (\ theta _ {2} | M_ {2}) \ Pr (D | \ theta _ {2}, M_ {2}) \, d \ theta _ {2}}}}

unde Pr ( D | M _i ) se numește probabilitatea marginală pentru modelul i .

Dacă probabilitatea corespunzătoare estimării probabilității maxime a parametrului fiecărui model este utilizată în locul factorului Bayes integral, testul devine un test clasic al raportului de probabilitate . Spre deosebire de testul raportului de probabilitate, comparația bayesiană a modelelor nu depinde de niciun set particular de parametri, deoarece se integrează asupra tuturor parametrilor din fiecare model (în ceea ce privește distribuțiile lor a priori respective). Mai mult, un avantaj al utilizării factorului Bayes este că acesta include automat și, de fapt, în mod natural, o penalizare în cazul introducerii unui model prea structurat. ^[3] Prin urmare, ține sub control mecanismul de supraadaptare . Pentru modelele în care o versiune explicită a probabilității nu este disponibilă sau prea împovărătoare pentru a fi determinată numeric, se poate utiliza calculul bayesian aproximativ pentru a selecta modelul într-o schemă bayesiană. ^[4]

Alte abordări sunt:

tratați comparația dintre modele ca o problemă care trebuie rezolvată în contextul teoriei deciziei , calculând valoarea așteptată sau costul alegerii fiecărui model;
folosind lungimea minimă a mesajului (MML, „lungimea minimă a mesajului”).

Interpretare

O valoare de K ' mai mare decât unitatea înseamnă că modelul M ₁ este mai susținut de date decât modelul M ₂ . Rețineți că testul clasic al ipotezelor funcționează asimetric în ceea ce privește două ipoteze alternative (sau două modele), preferând una (așa-numita „ipoteză nulă”) și considerând ipoteza alternativă doar ca dovadă împotriva primei. Harold Jeffreys a furnizat o scară de comparație pentru interpretarea lui K : ^[5] .

K.	dB	biți	Robustitatea probelor
<1: 1	<0		Negativ (acceptă M ₂ )
1: 1 la 3: 1	De la 0 la 5	De la 0 la 1,6	De puțină semnificație
3: 1 până la 10: 1	5-10	1.6 la 3.3	Substanțial
10: 1 la 30: 1	10-15	3.3 la 5.0	Puternic
30: 1 la 100: 1	15-20	5.0 la 6.6	Foarte puternic
> 100: 1	> 20	> 6.6	Decisiv

Cea de-a doua coloană oferă greutățile corespunzătoare ale dovezilor exprimate în decibani (zecimi dintr-o putere de 10); pentru claritate, biții corespunzători sunt arătați în a treia coloană. Potrivit lui IJ Good, o variație de 1 deciban sau 1/3 dintr-un pic în greutatea dovezilor (adică o proporție între posibilitățile a două evenimente de aproximativ 5 până la 4) corespunde aproximativ capacității unei ființe umane de a percepe o ființa umană la fel de rezonabil de credibilă.ipoziții în mediul cotidian. ^[6]

Utilizarea factorilor Bayes sau testarea clasică a ipotezelor sunt plasate în contextul „ inferenței mai degrabă decât în cel al construcției deciziilor sub incertitudine („ luarea deciziilor sub incertitudine ”). Statisticile frecventiste fac o distincție puternică între aceste două tehnici, deoarece testele de ipoteză clasice nu sunt coerente în sens bayesian. Procedurile bayesiene, inclusiv factorii Bayes, sunt coerente, deci nu este necesar să se facă o astfel de distincție. Inferența este apoi revizuită ca un caz special de „luare a deciziilor” în condiții de incertitudine în care acțiunea rezultată constă în raportarea unei valori. Pentru a construi decizii, statisticienii bayesieni pot utiliza un factor Bayes în combinație cu o distribuție a priori și o funcție de pierdere pentru a se asocia cu alegerea greșită. Într-un context inferențial, funcția de pierdere ar lua forma unei „reguli de notare”. Utilizarea unei funcții de scor logaritmic, de exemplu, duce la o utilitate așteptată care ia forma divergenței Kullback - Leibler .

Exemplu

Să presupunem că avem o variabilă aleatorie care produce date care sunt considerate un succes sau un eșec. Vrem să comparăm modelul M ₁ pentru care probabilitatea de succes este q = ½ cu un alt model M _{2 în} care q este complet necunoscut având în vedere o distribuție a priori pentru q de tip uniform pe intervalul [0,1]. Să presupunem că eșantionăm 200 de valori și găsim 115 reușite și 85 de eșecuri. Probabilitatea poate fi calculată pe baza distribuției binomiale :

{{200 \choose 115}q^{115}(1-q)^{85}}.

{\ displaystyle {{200 \ choose 115} q ^ {115} (1-q) ^ {85}}.}

{\ displaystyle {{200 \ choose 115} q ^ {115} (1-q) ^ {85}}.}

Deci avem:

P(X=115|M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}=0.005956...,\,

{\ displaystyle P (X = 115 | M_ {1}) = {200 \ alege 115} \ left ({1 \ over 2} \ right) ^ {200} = 0.005956 ..., \,}

{\ displaystyle P (X = 115 | M_ {1}) = {200 \ alege 115} \ left ({1 \ over 2} \ right) ^ {200} = 0.005956 ..., \,}

dar

P(X=115|M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={1 \over 201}=0.004975...\,.

{\ displaystyle P (X = 115 | M_ {2}) = \ int _ {0} ^ {1} {200 \ alege 115} q ^ {115} (1-q) ^ {85} dq = {1 \ peste 201} = 0,004975 ... \,.}

{\ displaystyle P (X = 115 | M_ {2}) = \ int _ {0} ^ {1} {200 \ alege 115} q ^ {115} (1-q) ^ {85} dq = {1 \ peste 201} = 0,004975 ... \,.}

Deci coeficientul este 1.197 ..., ceea ce corespunde în clasificarea de mai sus echivalează cu a fi „de mică semnificație” chiar dacă tinde foarte ușor spre M ₁ .

Toate acestea diferă de testul clasic al coeficientului de probabilitate, care ar fi găsit estimarea maximă a probabilității pentru q , adică ¹¹⁵ ⁄ ₂₀₀ = 0,575, și utilizat pentru a obține un coeficient de 0,1045 ... (mai degrabă decât media peste toate valorile posibile ale q ) , tindând astfel spre M ₂ . Alternativ, „relația de schimb” Edwards ^{[ citație necesară ]} a două unități de probabilitate pe grad de libertate sugerează că $M_{2}$ ${\ displaystyle M_ {2}}$ $M_ {2}$ este de preferat (de fapt) să $M_{1}$ ${\ displaystyle M_ {1}}$ $M_ {1}$ , la fel de $0.1045\ldots =e^{-2.25\ldots }$ ${\ displaystyle 0.1045 \ ldots = e ^ {- 2,25 \ ldots}}$ ${\ displaystyle 0.1045 \ ldots = e ^ {- 2,25 \ ldots}}$ Și $2.25>2$ ${\ displaystyle 2.25> 2}$ ${\ displaystyle 2.25> 2}$ : excesul de probabilitate compensează parametrul necunoscut în $M_{2}$ ${\ displaystyle M_ {2}}$ $M_ {2}$ .

Un test de ipoteză frecvențistă a $M_{1}$ ${\ displaystyle M_ {1}}$ $M_ {1}$ (considerată aici ca o ipoteză nulă ) ar fi produs un rezultat mai dramatic. Să presupunem că M ₁ poate fi respins la un nivel de încredere de 5%, deci probabilitatea de a obține 115 sau mai multe accesări dintr-un eșantion de 200 dacă q = ½ este 0,02 ..., sau 0,04 ... într-un sistem cu două cozi testați pentru a obține o valoare numerică egală sau mai mare de 115. Observați că 115 este mai mult de două ori abaterea standard de la 100.

Modelul M ₂ este mai complex decât M ₁ deoarece are un parametru gratuit care îi permite să modeleze mai bine datele.

Un motiv pentru care inferența bayesiană a fost propusă ca justificare teoretică și generalizare a aparatului de ras Occam este capacitatea factorului Bayes de a lua în considerare diferența de complexitate dintre două modele prin reducerea erorilor de tip I ^[7] .

Notă

^ Goodman S, Către statistici medicale bazate pe dovezi. 1: Eroarea valorii P ( PDF ), în Ann Intern Med , vol. 130, nr. 12, 1999, pp. 995-1004, PMID 10383371 .
^ Goodman S, Către statistici medicale bazate pe dovezi. 2: Factorul Bayes ( PDF ), în Ann Intern Med , vol. 130, nr. 12, 1999, pp. 1005-13, PMID 10383350 . Adus la 8 martie 2013 (arhivat din original la 15 octombrie 2009) .
^ Robert E. Kass și Adrian E. Raftery (1995) "Bayes Factors", Journal of the American Statistical Association , Vol. 90, No. 430, p. 791.
^ Toni, T.; Stumpf, MPH, Selecție de modele bazate pe simulare pentru sisteme dinamice în sisteme și biologia populației ( PDF ), în Bioinformatică , vol. 26, n. 1, 2009, pp. 104-10, DOI :10.1093 / bioinformatics / btp619 , PMC 2796821 , PMID 19880371 .
^ H. Jeffreys, Theory of Probability , ediția a 3-a, Oxford, 1961. p. 432
^ IJ Good , Studies in the History of Probability and Statistics. XXXVII AM Lucrarea statistică a lui Turing în al doilea război mondial , în Biometrika , vol. 66, nr. 2, 1979, pp. 393–396, DOI : 10.1093 / biomet / 66.2.393 , MR 82c: 01049 .
^ Ascuțirea aparatului de ras Ockham pe o strop Bayesiană

Bibliografie

Gelman, A., Carlin, J., Stern, H. și Rubin, D. Analiza datelor bayesiene. Chapman și Hall / CRC. (1995)
Bernardo, J. și Smith, AFM, Teoria Bayesiană. John Wiley. (1994)
Lee, PM Statistică Bayesiană. Arnold. (1989).
Denison, DGT, Holmes, CC, Mallick, BK, Smith, AFM, Metode bayesiene pentru clasificare și regresie neliniară. John Wiley. (2002).
Richard O. Duda, Peter E. Hart, David G. Stork (2000) Clasificarea modelelor (ediția a II-a), Secțiunea 9.6.5, p. 487-489, Wiley, ISBN 0-471-05669-3
Capitolul 24 din Teoria probabilităților - Logica științei de ET Jaynes , 1994.
David JC MacKay (2003) Teoria informației, inferență și algoritmi de învățare, CUP, ISBN 0-521-64298-1 , ( disponibil și online )
Winkler, Robert, Introducere în inferența și decizia bayesiană, ediția a II-a (2003), probabilistică. ISBN 0-9647938-4-9 .

Elemente conexe

Test de verificare a informațiilor Akaike
Calcul Bayesian aproximativ
Deviance Information Criterion ( Deviance Information Criterion )
Alegerea modelului
Criteriul informației Bayes, așa cum este definit de Schwarz
Lungimea minimă a mesajului Wallace (Lungimea minimă a mesajului, MML)

Coeficienți statistici

Coeficient de disparitate (Odds ratio)
Risc relativ

linkuri externe

Critica bayesiană a testării ipotezelor clasice , pe cs.ucsd.edu .
Calculator bazat pe web pentru factorul Bayes pentru teste t, modele de regresie și date distribuite binomial , pe pcl.missouri.edu .
Manualul on-line: Teoria informației, inferența și algoritmii de învățare , de David JC MacKay , în capitolul 28, p. 343, discută comparația dintre modelele bayesiene.

[Goodman1999a-1] Goodman S, Către statistici medicale bazate pe dovezi. 1: Eroarea valorii P ( PDF ), în Ann Intern Med , vol. 130, nr. 12, 1999, pp. 995-1004, PMID 10383371 .

[Goodman1999b-2] Goodman S, Către statistici medicale bazate pe dovezi. 2: Factorul Bayes ( PDF ), în Ann Intern Med , vol. 130, nr. 12, 1999, pp. 1005-13, PMID 10383350 . Adus la 8 martie 2013 (arhivat din original la 15 octombrie 2009) .

[3] Robert E. Kass și Adrian E. Raftery (1995) "Bayes Factors", Journal of the American Statistical Association , Vol. 90, No. 430, p. 791.

[Toni2009b-4] Toni, T.; Stumpf, MPH, Selecție de modele bazate pe simulare pentru sisteme dinamice în sisteme și biologia populației ( PDF ), în Bioinformatică , vol. 26, n. 1, 2009, pp. 104-10, DOI :10.1093 / bioinformatics / btp619 , PMC 2796821 , PMID 19880371 .

[5] H. Jeffreys, Theory of Probability , ediția a 3-a, Oxford, 1961. p. 432

[6] IJ Good , Studies in the History of Probability and Statistics. XXXVII AM Lucrarea statistică a lui Turing în al doilea război mondial , în Biometrika , vol. 66, nr. 2, 1979, pp. 393–396, DOI : 10.1093 / biomet / 66.2.393 , MR 82c: 01049 .

[7] Ascuțirea aparatului de ras Ockham pe o strop Bayesiană

[1]

[2]

[3]

[4]

[5]

[6]

[7]