Inferența bayesiană

Inferența bayesiană este o abordare a inferenței statistice în care probabilitățile nu sunt interpretate ca frecvențe, proporții sau concepte similare, ci mai degrabă ca niveluri de încredere în apariția unui eveniment dat. Numele derivă din teorema lui Bayes , care stă la baza acestei abordări.

La rândul său, teorema lui Bayes poartă numele reverendului Thomas Bayes . Cu toate acestea, nu este clar dacă Bayes însuși ar subscrie la interpretarea teoriei probabilității pe care o numim acum bayesiană .

Principiile și instrumentele abordării bayesiene

Dovezi empirice și metodă științifică

Statisticienii bayesieni susțin că metodele de inferență bayesiană reprezintă o formalizare a metodei științifice , care implică în mod normal colectarea de date ( dovezi empirice ), care coroborează sau infirmă o ipoteză dată. În acest sens, nu puteți fi niciodată sigur cu privire la o ipoteză , dar pe măsură ce disponibilitatea datelor crește, gradul de încredere se schimbă; cu suficiente dovezi empirice, va deveni foarte mare (de exemplu, tindând la 1) sau foarte scăzută (tindând la 0).

Soarele a răsărit și a apus de miliarde de ani. Soarele a apus din nou în seara asta. Cu o probabilitate mare, soarele va răsări mâine.

Acest exemplu este preluat dintr-un bine-cunoscut argument al lui Pierre Simon Laplace , care pare să fi ajuns independent la rezultatul teoremei lui Bayes .

Statisticienii bayesieni susțin, de asemenea, că inferența bayesiană este cea mai logică bază pentru discriminarea dintre ipoteze alternative / conflictuale. Prin această abordare, se utilizează o estimare a gradului de încredere într-o anumită ipoteză înainte de a observa datele, pentru a asocia o valoare numerică cu gradul de încredere în aceeași ipoteză după observarea datelor. Întrucât se bazează pe niveluri subiective de încredere, pe de altă parte, inferența bayesiană nu este complet reductibilă la conceptul de inducție ; vezi și metoda științifică .

Teorema lui Bayes

În termeni mai simpli, teorema lui Bayes oferă o metodă de modificare a nivelului de încredere într-o ipoteză dată în lumina noilor informații. Denotând cu $\ H_{0}$ ${\ displaystyle \ H_ {0}}$ $\ H _ {{0}}$ ipoteza nulă și cu $\ E$ ${\ displaystyle \ E}$ $\ ȘI$ datele empirice observate, teorema lui Bayes poate fi afirmată ca:

\ P(H_{0}|E)={\frac {P(E|H_{0})P(H_{0})}{P(E)}}

{\ displaystyle \ P (H_ {0} | E) = {\ frac {P (E | H_ {0}) P (H_ {0})} {P (E)}}}

\ P (H _ {{0}} | E) = {\ frac {P (E | H _ {{0}}) P (H _ {{0}})} {P (E)}}

Lăsând deoparte originea ipotezei nule (care ar fi putut fi formulată ab initio sau dedusă din observațiile anterioare), ea trebuie în orice caz formulată înainte de observație $\ E$ ${\ displaystyle \ E}$ $\ ȘI$ . În terminologia statisticilor bayesiene , în plus:

$\ P(H_{0})$ ${\ displaystyle \ P (H_ {0})}$ $\ P (H _ {{0}})$ se numește probabilitate a priori a $\ H_{0}$ ${\ displaystyle \ H_ {0}}$ $\ H_ {0}$ ;
$\ P(E|H_{0})$ ${\ displaystyle \ P (E | H_ {0})}$ $\ P (E | H _ {{0}})$ se numește funcția de probabilitate și se bazează pe inferența clasică sau frecventistă ;
$\ P(E)$ ${\ displaystyle \ P (E)}$ $\ P (E)$ probabilitatea de observare se numește probabilitate marginală $\ E$ ${\ displaystyle \ E}$ $\ ȘI$ , fără informații anterioare; este o constantă de normalizare;
$\ P(H_{0}|E)$ ${\ displaystyle \ P (H_ {0} | E)}$ $\ P (H _ {{0}} | E)$ se numește probabilitatea posterioară a $\ H_{0}$ ${\ displaystyle \ H_ {0}}$ $\ H_ {0}$ , dat $\ E$ ${\ displaystyle \ E}$ $\ ȘI$ .

Factorul de scară $\ P(E|H_{0})/P(E)$ ${\ displaystyle \ P (E | H_ {0}) / P (E)}$ $\ P (E | H _ {{0}}) / P (E)$ poate fi interpretat ca o măsură a impactului acelei observații $\ E$ ${\ displaystyle \ E}$ $\ ȘI$ are asupra gradului de încredere al cercetătorului în ipoteza nulă , reprezentată la rândul ei de probabilitatea a priori $\ P(H_{0})$ ${\ displaystyle \ P (H_ {0})}$ $\ P (H _ {{0}})$ ; dacă este foarte puțin probabil ca asta $\ E$ ${\ displaystyle \ E}$ $\ ȘI$ să fie respectat, cu excepția cazului în care $\ H_{0}$ ${\ displaystyle \ H_ {0}}$ $\ H_ {0}$ nu este chiar adevărat, factorul de scară va fi mare. În consecință, probabilitatea (încrederea) a posteriori combină credințele pe care cercetătorul le are a priori cu cele care derivă din observarea datelor empirice.

Este ușor să arăți asta $\ P(H_{0}|E)$ ${\ displaystyle \ P (H_ {0} | E)}$ $\ P (H _ {{0}} | E)$ este întotdeauna mai mic sau cel mult egal cu 1, astfel încât proprietățile obișnuite ale probabilității sunt satisfăcute; intr-adevar:

\ P(E)\geq P(E\wedge H_{0})=P(E|H_{0})P(H_{0})

{\ displaystyle \ P (E) \ geq P (E \ wedge H_ {0}) = P (E | H_ {0}) P (H_ {0})}

\ P (E) \ geq P (E \ wedge H _ {{0}}) = P (E | H _ {{0}}) P (H _ {{0}})

astfel, dacă $\ P(E)=P(E\wedge H_{0})$ ${\ displaystyle \ P (E) = P (E \ wedge H_ {0})}$ $\ P (E) = P (E \ wedge H _ {{0}})$ , $\ P(H_{0}|E)=1$ ${\ displaystyle \ P (H_ {0} | E) = 1}$ $\ P (H _ {{0}} | E) = 1$ , și în orice alt caz probabilitatea posterioară va fi strict mai mică de 1.

Probabilitate obiectivă și subiectivă

Unii statistici Bayesieni cred că, dacă ar fi posibil să atribuim o valoare obiectivă probabilităților a priori, teorema lui Bayes ar putea fi utilizată pentru a furniza o măsură obiectivă a probabilității unei ipoteze . Pentru alții, totuși, nu ar fi posibil să se atribuie probabilități obiective ; de fapt, acest lucru pare să necesite abilitatea de a atribui probabilități tuturor ipotezelor posibile.

Alternativ (și mai des, în contextul statisticilor bayesiene ), probabilitățile sunt considerate o măsură a gradului subiectiv de încredere din partea cercetătorului și se presupune că restricționează potențialele ipoteze la un set limitat, încadrat într-un model de referință. Teorema lui Bayes ar trebui să furnizeze apoi un criteriu rațional pentru evaluarea măsurii în care o observație dată ar trebui să modifice convingerile cercetătorului; în acest caz, însă, probabilitatea rămâne subiectivă: prin urmare, este posibil să se utilizeze teorema pentru a justifica rațional unele ipoteze , dar în detrimentul respingerii obiectivității afirmațiilor care derivă din aceasta.

De asemenea, este puțin probabil ca doi indivizi să treacă de la același grad de încredere subiectivă. Susținătorii metodei bayesiene susțin că, chiar și cu probabilități a priori foarte diferite, un număr suficient de observații poate duce la probabilități a posteriori foarte apropiate. Aceasta presupune că cercetătorii nu resping ipotezele omologului lor a priori și că atribuie probabilități condiționale similare ( funcții de probabilitate ).

Școala italiană de statistică a adus contribuții importante la dezvoltarea concepției subiective a probabilității , prin opera lui Bruno de Finetti . Cu privire la distincția dintre probabilitatea obiectivă și subiectivă , a se vedea și articolul despre probabilitate .

Raportul de probabilitate

Adesea impactul observației empirice poate fi rezumat printr-un raport de probabilitate . Acesta din urmă poate fi combinat cu probabilitatea a priori, pentru a reprezenta gradul de încredere a priori și orice rezultate empirice anterioare. De exemplu, luați în considerare raportul de probabilitate :

\ \Lambda ={\frac {L(H_{0}|E)}{L({\textrm {not}}\ H_{0}|E)}}={\frac {P(E|H_{0})}{P(E|{\textrm {not}}\ H_{0})}}

{\ displaystyle \ \ Lambda = {\ frac {L (H_ {0} | E)} {L ({\ textrm {not}} \ H_ {0} | E)}} = {\ frac {P (E | H_ {0})} {P (E | {\ textrm {not}} \ H_ {0})}}}

\ \ Lambda = {\ frac {L (H _ {{0}} | E)} {L ({\ textrm {not}} \ H _ {{0}} | E)}} = {\ frac {P (E | H _ {{0}})} {P (E | {\ textrm {not}} \ H _ {{0}})}}

Enunțul teoremei lui Bayes poate fi rescris ca:

\ P(H_{0}|E)={\frac {\Lambda P(H_{0})}{\Lambda P(H_{0})+P({\textrm {not}}\ H_{0})}}={\frac {P(H_{0})}{P(H_{0})+\left(1-P(H_{0})\right)/\Lambda }}

{\ displaystyle \ P (H_ {0} | E) = {\ frac {\ Lambda P (H_ {0})} {\ Lambda P (H_ {0}) + P ({\ textrm {not}} \ H_ {0})}} = {\ frac {P (H_ {0})} {P (H_ {0}) + \ left (1-P (H_ {0}) \ right) / \ Lambda}}}

\ P (H _ {{0}} | E) = {\ frac {\ Lambda P (H _ {{0}})} {\ Lambda P (H _ {{0}}) + P ({\ textrm {not}} \ H _ {{0}})}} = {\ frac {P (H _ {{0}})} {P (H _ {{0}}) + \ left (1-P ( H _ {{0}}) \ right) / \ Lambda}}

Pe baza a două rezultate empirice independente $\ E_{1}$ ${\ displaystyle \ E_ {1}}$ $\ E_ {1}$ , $\ E_{2}$ ${\ displaystyle \ E_ {2}}$ $\ E_ {2}$ , cele de mai sus pot fi exploatate pentru a calcula probabilitatea posterioară pe baza $\ E_{1}$ ${\ displaystyle \ E_ {1}}$ $\ E_ {1}$ , și utilizați-l pe acesta din urmă ca nouă probabilitate a priori pentru a calcula o a doua probabilitate posterioară bazată pe $\ E_{2}$ ${\ displaystyle \ E_ {2}}$ $\ E_ {2}$ . Această procedură este algebric echivalentă cu înmulțirea rapoartelor de probabilitate. Asa de:

\ P(E_{1},E_{2}|H_{0})=P(E_{1}|H_{0})P(E_{2}|H_{0})\quad \wedge \quad P(E_{1},E_{2}|{\textrm {not}}\ H_{0})=P(E_{1}|{\textrm {not}}\ H_{0})P(E_{2}|{\textrm {not}}\ H_{0})

{\ displaystyle \ P (E_ {1}, E_ {2} | H_ {0}) = P (E_ {1} | H_ {0}) P (E_ {2} | H_ {0}) \ quad \ wedge \ quad P (E_ {1}, E_ {2} | {\ textrm {not}} \ H_ {0}) = P (E_ {1} | {\ textrm {not}} \ H_ {0}) P ( E_ {2} | {\ textrm {not}} \ H_ {0})}

\ P (E _ {{1}}, E _ {{2}} | H _ {{0}}) = P (E _ {{1}} | H _ {{0}}) P (E _ {{2}} | H _ {{0}}) \ quad \ wedge \ quad P (E _ {{1}}, E _ {{2}} | {\ textrm {not}} \ H _ {{ 0}}) = P (E _ {{1}} | {\ textrm {not}} \ H _ {{0}}) P (E _ {{2}} | {\ textrm {not}} \ H _ {{0}})

implica:

\ P(H_{0}|E_{1},E_{2})={\frac {\Lambda _{1}\Lambda _{2}P(H_{0})}{\Lambda _{1}\Lambda _{2}P(H_{0})+P({\textrm {not}}\ H_{0})}}

{\ displaystyle \ P (H_ {0} | E_ {1}, E_ {2}) = {\ frac {\ Lambda _ {1} \ Lambda _ {2} P (H_ {0})} {\ Lambda _ {1} \ Lambda _ {2} P (H_ {0}) + P ({\ textrm {not}} \ H_ {0})}}}

\ P (H _ {{0}} | E _ {{1}}, E _ {{2}}) = {\ frac {\ Lambda _ {{1}} \ Lambda _ {{2}} P ( H _ {{0}})} {\ Lambda _ {{1}} \ Lambda _ {{2}} P (H _ {{0}}) + P ({\ textrm {not}} \ H _ { {0}})}}

Funcția de pierdere

Statisticile bayesiene au legături importante cu teoria deciziei ; o decizie bazată pe fundamentarea inferenței bayesiene este determinată de o funcție de pierdere asociată. Funcția de pierdere reflectă în esență consecințele negative asociate cu decizia „greșită”. Un exemplu destul de comun și care duce la rezultate foarte apropiate de cele ale inferenței clasice sau frecvențiste, este cel al funcției de pierdere pătratică.

Distribuții particulare a priori și a posteriori

Vc Beta în inferența bayesiană

Vc Beta joacă un rol important în contextul inferenței bayesiene, deoarece pentru unele vc este atât distribuția a priori, cât și distribuția a posteriori (cu parametri diferiți) a parametrilor acestor vc

Priori căsătoriți și vc binomial

Dacă X este distribuit ca un Vc binomial cu parametrii n și π

f(x|\pi )=Binom(x|n;\pi )

{\ displaystyle f (x | \ pi) = Binom (x | n; \ pi)}

f (x | \ pi) = Binom (x | n; \ pi)

iar parametrul π este distribuit a priori ca vc Beta cu parametrii a și b

g(\pi )=Beta(\pi |a;b)

{\ displaystyle g (\ pi) = Beta (\ pi | a; b)}

g (\ pi) = Beta (\ pi | a; b)

atunci parametrul π este distribuit și a posteriori ca vc Beta, dar cu parametrii a + x și b + nx

g(\pi |x)=Beta(\pi |a+x;b+n-x)

{\ displaystyle g (\ pi | x) = Beta (\ pi | a + x; b + nx)}

g (\ pi | x) = Beta (\ pi | a + x; b + n-x)

Dacă distribuția a priori este o variabilă aleatorie dreptunghiulară în intervalul [0; 1] (adică presupunând a priori toate valorile posibile ale lui π la fel de probabile) și, prin urmare, a = 1 și b = 1 , atunci distribuția a posteriori este a Beta cu parametrii x + 1 și n-x + 1

g(\pi |x)=(n+1){n \choose k}\pi ^{k}(1-\pi )^{n+k}

{\ displaystyle g (\ pi | x) = (n + 1) {n \ alege k} \ pi ^ {k} (1- \ pi) ^ {n + k}}

g (\ pi | x) = (n + 1) {n \ alege k} \ pi ^ {k} (1- \ pi) ^ {{n + k}}

care are p ca valoare modală (și deci ca cea mai probabilă valoare)

p={\frac {x}{n}}

{\ displaystyle p = {\ frac {x} {n}}}

p = {\ frac {x} {n}}

, care corespunde frecvenței observate care este estimarea utilizată în contextul frecventistic

în timp ce valoarea care minimizează deviația pătrată , aceasta este media este

p={\frac {x+1}{n+2}}

{\ displaystyle p = {\ frac {x + 1} {n + 2}}}

p = {\ frac {x + 1} {n + 2}}

, care pentru x <n / 2 este mai mare decât valoarea modală

{\frac {x}{n}}

{\ displaystyle {\ frac {x} {n}}}

{\ frac {x} {n}}

Vc Beta, Binom și Beta-Binom

În cazul unui vc binomial $Binom(n;\pi )$ ${\ displaystyle Binom (n; \ pi)}$ $Binom (n; \ pi)$ cu conjugat anterior Beta (a, b) din $\pi$ ${\ displaystyle \ pi}$ $\ pi$ , vc care descrie probabilitatea de a obține x evenimente pozitive pe n este distribuit ca o variabilă aleatorie beta-binomială $BetaBin(n;a;b)$ ${\ displaystyle BetaBin (n; a; b)}$ $BetaBin (n; a; b)$ . Vc-binomial vc intră astfel în formula cu care probabilitatea posterioară a unui model este determinată într-un mod bayesian.

Priori conjugați și vc negativ binomial

Dacă X este distribuit ca un binom negativ vc cu parametrii m și θ

f(x|\theta )=BinNeg(x|m;\theta )

{\ displaystyle f (x | \ theta) = BinNeg (x | m; \ theta)}

f (x | \ theta) = BinNeg (x | m; \ theta)

iar parametrul θ este distribuit a priori ca vc Beta cu parametrii a și b

g(\theta )=Beta(\theta |a;b)

{\ displaystyle g (\ theta) = Beta (\ theta | a; b)}

g (\ theta) = Beta (\ theta | a; b)

atunci parametrul θ este distribuit și a posteriori ca vc Beta, dar cu parametrii a + m și b + x

g(\theta |x)=Beta(\theta |a+m;b+x)

{\ displaystyle g (\ theta | x) = Beta (\ theta | a + m; b + x)}

g (\ theta | x) = Beta (\ theta | a + m; b + x)

Dacă distribuția a priori este o variabilă aleatorie dreptunghiulară în intervalul [0; 1] (adică presupunând a priori toate valorile posibile ale θ echiprobabile) și, prin urmare, a = 1 și b = 1 , atunci distribuția a posteriori este a Beta cu parametrii m + 1 și x + 1

care are t ca valoare modală (și deci ca cea mai probabilă valoare)

t = m / (m + x)

Gamma vc în inferența bayesiană

Vc Gamma joacă un rol important în contextul inferenței bayesiene, deoarece pentru unele vc este atât distribuția a priori, cât și distribuția a posteriori (cu parametri diferiți) a parametrilor acestor vc

Priori căsătoriți și același vc Gamma

Dacă X este distribuit ca o gamă vc cu parametrii α și θ

f(x|\theta )=Gamma(x|\alpha ;\theta )

{\ displaystyle f (x | \ theta) = Gamma (x | \ alpha; \ theta)}

f (x | \ theta) = Gamma (x | \ alpha; \ theta)

iar parametrul θ este distribuit a priori la rândul său ca o gamă vc cu parametrii a și b

g(\theta )=Gamma(\theta |a;b)

{\ displaystyle g (\ theta) = Gamma (\ theta | a; b)}

g (\ theta) = Gamma (\ theta | a; b)

atunci parametrul θ este distribuit și a posteriori ca o gamă vc, dar cu parametrii a + α și b + x

g(\theta |x)=Gamma(\theta |a+\alpha ;b+x)

{\ displaystyle g (\ theta | x) = Gamma (\ theta | a + \ alpha; b + x)}

g (\ theta | x) = Gamma (\ theta | a + \ alpha; b + x)

Priori căsătoriți și vc Poissoniana

Dacă X este distribuit ca vc Poissonian cu parametrul λ

f(x|\lambda )=Poiss(x|\lambda )

{\ displaystyle f (x | \ lambda) = Poiss (x | \ lambda)}

f (x | \ lambda) = Poiss (x | \ lambda)

iar parametrul λ este distribuit a priori ca o gamă vc cu parametrii a și b

g(\lambda )=Gamma(\lambda |a;b)

{\ displaystyle g (\ lambda) = Gamma (\ lambda | a; b)}

g (\ lambda) = Gamma (\ lambda | a; b)

atunci parametrul λ este distribuit a posteriori și ca o gamă vc, dar cu parametrii a + x și b + n

g(\lambda |x)=Gamma(\theta |a+x;b+n)

{\ displaystyle g (\ lambda | x) = Gamma (\ theta | a + x; b + n)}

{\ displaystyle g (\ lambda | x) = Gamma (\ theta | a + x; b + n)}

Vc Poissoniana, Gamma și Poisson-Gamma

Dacă conjugatul anterior al unui vc Poissonian este un vc Gamma, atunci probabilitatea ca să apară x evenimente este distribuită ca o variabilă aleatorie Poisson-Gamma . Poisson-Gamma introduce astfel formula cu care probabilitatea unui model este determinată într-un mod bayesian după ce a cunoscut datele.

Vc exponențial, Gamma și Gamma-Gamma

În cazul în care conjugatul anterior al unei variabile aleatorii exponențiale este o gamă vc, atunci funcția densității probabilității este distribuită ca o variabilă aleatorie Gamma-Gamma .

Priori căsătoriți și vc normal

Vc Gamma ca priori conjugați de vc normal

Dacă X este distribuit ca unVc normal cu parametrii μ și 1 / θ

f(x|\lambda )=N(x|\mu ;1/\theta )

{\ displaystyle f (x | \ lambda) = N (x | \ mu; 1 / \ theta)}

f (x | \ lambda) = N (x | \ mu; 1 / \ theta)

iar parametrul θ este distribuit a priori ca o gamă vc cu parametrii a și b

g(\lambda )=Gamma(\lambda |a;b)

{\ displaystyle g (\ lambda) = Gamma (\ lambda | a; b)}

g (\ lambda) = Gamma (\ lambda | a; b)

atunci parametrul θ este distribuit și în spate ca o gamă de curent continuu, dar cu parametrii a + 1/2 și + b (x-μ) ^2/2

g(\theta |x)=Gamma(\theta |a+1/2;b+(\mu -x)^{2}/2)

{\ displaystyle g (\ theta | x) = Gamma (\ theta | a + 1/2; b + (\ mu -x) ^ {2} / 2)}

g (\ theta | x) = Gamma (\ theta | a + 1/2; b + (\ mu -x) ^ {2} / 2)

Conjugat normal înainte de unul normal

Dacă X este distribuit ca unvc normal cu parametrii m și σ ²

f(x|m)=N(x|m;1/r^{2})

{\ displaystyle f (x | m) = N (x | m; 1 / r ^ {2})}

f (x | m) = N (x | m; 1 / r ^ {2})

iar parametrul m este distribuit a priori ca un vc normal cu parametrii μ și σ ²

g(m)=N(m|\mu ;1/\sigma ^{2})

{\ displaystyle g (m) = N (m | \ mu; 1 / \ sigma ^ {2})}

g (m) = N (m | \ mu; 1 / \ sigma ^ {2})

atunci parametrul m este distribuit și a posteriori ca un Vc normal, dar cu parametri $(\sigma ^{2}\mu +r^{2}x)/(\sigma ^{2}+r^{2})$ ${\ displaystyle (\ sigma ^ {2} \ mu + r ^ {2} x) / (\ sigma ^ {2} + r ^ {2})}$ $(\ sigma ^ {2} \ mu + r ^ {2} x) / (\ sigma ^ {2} + r ^ {2})$ Și $(\sigma ^{2}r^{2})/(\sigma ^{2}+r^{2})$ ${\ displaystyle (\ sigma ^ {2} r ^ {2}) / (\ sigma ^ {2} + r ^ {2})}$ $(\ sigma ^ {2} r ^ {2}) / (\ sigma ^ {2} + r ^ {2})$

g(m|x)=N(m|(\sigma ^{2}\mu +r^{2}x)/(\sigma ^{2}+r^{2});(\sigma ^{2}r^{2})/(\sigma ^{2}+r^{2}))

{\ displaystyle g (m | x) = N (m | (\ sigma ^ {2} \ mu + r ^ {2} x) / (\ sigma ^ {2} + r ^ {2}); (\ sigma ^ {2} r ^ {2}) / (\ sigma ^ {2} + r ^ {2}))}

g (m | x) = N (m | (\ sigma ^ {2} \ mu + r ^ {2} x) / (\ sigma ^ {2} + r ^ {2}); (\ sigma ^ {2 } r ^ {2}) / (\ sigma ^ {2} + r ^ {2}))

Vich Dirichlet ca conjugat priori al multinominalului

Dacă X este distribuit ca o variabilă aleatorie multinomială

f(x|\theta )=Multinomiale_{k}(\theta _{1},\theta _{2},...,\theta _{k})

{\ displaystyle f (x | \ theta) = Multinomial_ {k} (\ theta _ {1}, \ theta _ {2}, ..., \ theta _ {k})}

f (x | \ theta) = Multinomial_ {k} (\ theta _ {1}, \ theta _ {2}, ..., \ theta _ {k})

iar distribuția a priori a lui θ este o variabilă aleatorie Dirichlet

g(\theta )=Dirichlet(\alpha _{1},\alpha _{2},...,\alpha _{k})

{\ displaystyle g (\ theta) = Dirichlet (\ alpha _ {1}, \ alpha _ {2}, ..., \ alpha _ {k})}

g (\ theta) = Dirichlet (\ alpha _ {1}, \ alpha _ {2}, ..., \ alpha _ {k})

atunci distribuția posterioară a lui θ este, de asemenea, un Dirichlet vc, dar cu parametri noi

g(\theta |x)=Dirichlet(\alpha _{1}+x_{1},\alpha _{2}+x_{k},...,\alpha _{k}+x_{k})

{\ displaystyle g (\ theta | x) = Dirichlet (\ alpha _ {1} + x_ {1}, \ alpha _ {2} + x_ {k}, ..., \ alpha _ {k} + x_ { k})}

g (\ theta | x) = Dirichlet (\ alpha _ {1} + x_ {1}, \ alpha _ {2} + x_ {k}, ..., \ alpha _ {k} + x_ {k})

Uniforma discretă în cazul extragerii simple

Dacă X este distribuit ca urmare a unei simple extracții a unei populații dihotomice

f(x|\theta )=\theta /n

{\ displaystyle f (x | \ theta) = \ theta / n}

f (x | \ theta) = \ theta / n

iar parametrul θ este distribuit a priori ca o variabilă aleatorie uniformă discretă

g(\theta )=1/n

{\ displaystyle g (\ theta) = 1 / n}

g (\ theta) = 1 / n

apoi distribuția posterioară cu funcția de probabilitate

g(\theta |x)=2\theta /(n+1)

{\ displaystyle g (\ theta | x) = 2 \ theta / (n + 1)}

g (\ theta | x) = 2 \ theta / (n + 1)

Popularitatea inferenței bayesiene

Inferența bayesiană a fost mult timp un curent minoritar în teoria statistică . Acest lucru se datorează în mare parte dificultăților algebrice pe care le pune; calculul probabilităților a posteriori se bazează pe calculul integralelor , pentru care adesea nu există expresii analitice.

Până acum câțiva ani, aceste dificultăți limitau capacitatea statisticilor bayesiene de a produce modele realiste ale realității. Pentru a evita confruntarea cu probleme algebrice, majoritatea rezultatelor s-au bazat pe teoria conjugatelor , familii particulare de distribuții pentru care probabilitatea posterioară pare să aibă aceeași formă ca cea a priori. În mod evident, o astfel de abordare nu a fost însoțită de ambiția bayeziană de a face statistici pornind de la ipoteze mai puțin restrictive decât cele de inferență clasică.

Datorită disponibilității crescute a resurselor IT din anii 1990 , a fost posibil să depășim aceste dificultăți. De fapt, este posibil să se rezolve numerele integrale , ocolind problemele algebrice, în majoritatea aplicațiilor de pe orice computer personal . Această posibilitate a stimulat, de asemenea, aplicarea la statistica bayesiană a metodelor numerice dezvoltate în alte contexte, precum cele bazate pe simulare ( metoda Monte Carlo , algoritmii de eșantionare Gibbs și Metropolis-Hastings ), precum și dezvoltarea de noi metode în domeniul Statisticile bayesiene în sine (de exemplu, metodele populare bazate pe lanțul Monte Carlo Markov sau MCMC). Acest lucru a crescut foarte mult popularitatea inferenței bayesiene în rândul statisticienilor; deși bayezienii constituie încă o minoritate, ei sunt o minoritate în creștere rapidă.

Dincolo de dificultățile numerice care au făcut mult timp nepopulară inferența bayesiană sau problemele epistemologice ridicate de metodele bayesiene, abordarea bayesiană are meritul de a fi stimulat, în statistici ca și în alte discipline (un exemplu recent este dat de economie ), reflecția asupra a ceea ce un model este și despre ce lectură trebuie să dea un cercetător despre el.

Elemente conexe

linkuri externe

Societatea internațională pentru analiza bayesiană , la bayesian.org .
(EN) Zalta Edward N. (eds), Epistemologie bayesiană , în Stanford Encyclopedia of Philosophy , Centre for the Study of Language and Information (CSLI), Universitatea Stanford .
(EN) Zalta Edward N. (eds), Teorema lui Bayes , în Stanford Encyclopedia of Philosophy , Centre for the Study of Language and Information (CSLI), Universitatea Stanford .
(EN) Zalta Edward N. (eds), Interpretations of Probability , în Stanford Encyclopedia of Philosophy , Centre for the Study of Language and Information (CSLI), Universitatea Stanford .
(EN) Zalta Edward N. (eds), Inductive logic , în Stanford Encyclopedia of Philosophy , Centre for the Study of Language and Information (CSLI), Universitatea Stanford .
( EN ) AN Shiryaev, abordare bayesiană a problemelor statistice , în Enciclopedia Matematicii , Springer și European Mathematical Society, 2002.
( EN ) LN Bol'shev, abordare bayesiană, empirică , în Encyclopaedia of Mathematics , Springer and European Mathematical Society, 2002.

Controlul autorității	Tezaur BNCF 36249 · LCCN (EN) sh85012506 · GND (DE) 4144220-9

Portalul de filosofie

Portalul de matematică

Portalul de statistici