Estimator Bayes

În teoria estimării și teoria deciziei , un estimator Bayes sau acțiunea Bayes este un estimator sau o regulă de decizie care minimizează valoarea așteptată a funcției de probabilitate sau pierdere posterioară (adică pierderea așteptată posterioară ). În mod echivalent, maximizează valoarea așteptată a posteriori a unei funcții utilitare. O formă alternativă de formulare a estimatorilor în statisticile bayesiene este estimarea maximă posterioară .

Definiție

Să presupunem că un parametru necunoscut θ este cunoscut ca având o distribuție a probabilității a priori $\pi$ ${\ displaystyle \ pi}$ $\ pi$ . Este $\delta =\delta (x)$ ${\ displaystyle \ delta = \ delta (x)}$ ${\ displaystyle \ delta = \ delta (x)}$ un estimator de θ (pe baza unor măsurători x ) și let $L(\theta ,\delta )$ ${\ displaystyle L (\ theta, \ delta)}$ ${\ displaystyle L (\ theta, \ delta)}$ o funcție de pierdere , cum ar fi o eroare pătratică. Riscul lui Bayes de $\delta$ ${\ displaystyle \ delta}$ $\ delta$ este definit ca $E_{\pi }\{L(\theta ,\delta )\}$ ${\ displaystyle E _ {\ pi} \ {L (\ theta, \ delta) \}}$ ${\ displaystyle E _ {\ pi} \ {L (\ theta, \ delta) \}}$ , unde valoarea așteptată este calculată peste distribuția de probabilitate a $\theta$ ${\ displaystyle \ theta}$ $\ theta$ : aceasta definește funcția de risc ca o funcție a $\delta$ ${\ displaystyle \ delta}$ $\ delta$ . Un estimator $\delta$ ${\ displaystyle \ delta}$ $\ delta$ se spune că este un estimator Bayes dacă este cel care minimizează riscul Bayes al tuturor estimatorilor. În mod echivalent, estimatorul care minimizează pierderea posterioară așteptată $E\{L(\theta ,\delta )|x\}$ ${\ displaystyle E \ {L (\ theta, \ delta) | x \}}$ ${\ displaystyle E \ {L (\ theta, \ delta) | x \}}$ pentru fiecare x, de asemenea, minimizează riscul Bayes și, prin urmare, este un estimator Bayes. ^[1]

Dacă distribuția a priori este necorespunzătoare, atunci un estimator care minimizează pierderea așteptată posterioară pentru fiecare x se numește un estimator Bayes generalizat . ^[2]

Exemple

Estimarea erorii minime pătrate

Funcția de pericol cea mai frecvent utilizată pentru estimarea bayesiană este „ eroarea medie pătrată, de asemenea, a spus riscul pătratic de eroare, MSE (eroare pătrată medie de la). MSE este definit prin

\mathrm {MSE} =E\left[({\widehat {\theta }}(x)-\theta )^{2}\right],

{\ displaystyle \ mathrm {MSE} = E \ left [({\ widehat {\ theta}} (x) - \ theta) ^ {2} \ right],}

{\ displaystyle \ mathrm {MSE} = E \ left [({\ widehat {\ theta}} (x) - \ theta) ^ {2} \ right],}

unde valoarea așteptată este calculată peste distribuția comună a $\theta$ ${\ displaystyle \ theta}$ $\ theta$ și $X$ ${\ displaystyle x}$ $X$ .

Mass-media a posteriori

Folosind MSE ca risc, estimarea Bayes a parametrului necunoscut este pur și simplu media distribuției posterioare ,

{\widehat {\theta }}(x)=E[\theta |x]=\int \theta \pi (\theta |x)\,d\theta .

{\ displaystyle {\ widehat {\ theta}} (x) = E [\ theta | x] = \ int \ theta \ pi (\ theta | x) \, d \ theta.}

{\ displaystyle {\ widehat {\ theta}} (x) = E [\ theta | x] = \ int \ theta \ pi (\ theta | x) \, d \ theta.}

Acest lucru este cunoscut ca un estimator al „erorii pătrate medii minime, MMSE (eroare pătrată medie minimă de la). Riscul Bayes, în acest caz, este varianța posterioară.

Estimatori Bayes pentru distribuții a priori conjugate

Același subiect în detaliu: Conjugați distribuția a priori .

Dacă nu există niciun motiv intrinsec pentru a prefera o distribuție a priori în fața alteia, atunci pentru simplitate se alege o distribuție a priori conjugată . O distribuție a priori conjugată este definită ca o distribuție a priori aparținând unei familii parametrice , pentru care distribuția posterioară rezultată aparține și aceleiași familii. Aceasta este o proprietate importantă, deoarece estimatorul Bayes, precum și proprietățile sale statistice (varianță, interval de încredere etc.), pot fi toate derivate din distribuția posterioară.

Distribuțiile a priori conjugate sunt utile în special pentru estimările secvențiale, unde distribuția posterioară a măsurării curente este utilizată ca distribuție a priori pentru următoarea măsurare. În estimarea secvențială, dacă nu se folosește o distribuție a priori, distribuția posterioară devine din ce în ce mai complexă pe măsură ce se fac noi măsurători, iar estimatorul Bayes nu poate fi calculat de obicei decât dacă se aplică metode numerice.

Iată câteva exemple de distribuții a priori conjugate.

Dacă x | θ este normal , x | θ ~ N (θ, σ ² ), iar distribuția a priori este normală, θ ~ N (μ, τ ² ), atunci distribuția a posteriori este de asemenea normală și estimatorul Bayes ' sub MSE este dat de

{\widehat {\theta }}(x)={\frac {\sigma ^{2}}{\sigma ^{2}+\tau ^{2}}}\mu +{\frac {\tau ^{2}}{\sigma ^{2}+\tau ^{2}}}x.

{\ displaystyle {\ widehat {\ theta}} (x) = {\ frac {\ sigma ^ {2}} {\ sigma ^ {2} + \ tau ^ {2}}} \ mu + {\ frac {\ tau ^ {2}} {\ sigma ^ {2} + \ tau ^ {2}}} x.}

{\ displaystyle {\ widehat {\ theta}} (x) = {\ frac {\ sigma ^ {2}} {\ sigma ^ {2} + \ tau ^ {2}}} \ mu + {\ frac {\ tau ^ {2}} {\ sigma ^ {2} + \ tau ^ {2}}} x.}

Dacă x ₁ , ..., x _n sunt variabile aleatoare independente și distribuite identic, iid , x _i | θ ~ P (θ) Poisson și dacă distribuția a priori este distribuția Gamma care este θ ~ G (a, b ), atunci distribuția posterioară este încă de tip Gamma, iar estimatorul Bayes sub MSE este dat de

{\widehat {\theta }}(X)={\frac {n{\overline {X}}+a}{n+{\frac {1}{b}}}}.

{\ displaystyle {\ widehat {\ theta}} (X) = {\ frac {n {\ overline {X}} + a} {n + {\ frac {1} {b}}}}.}

{\ displaystyle {\ widehat {\ theta}} (X) = {\ frac {n {\ overline {X}} + a} {n + {\ frac {1} {b}}}}.}

Dacă x ₁ , ..., x _n sunt variabile iid cu distribuție uniformă adică x _i | θ ~ U (0, θ) și dacă distribuția a priori este de tip Pareto adică θ ~ Pa (θ ₀ , a), atunci distribuția posterioară este încă de tip Pareto, iar estimatorul Bayes sub MSE este dat de

{\widehat {\theta }}(X)={\frac {(a+n)\max {(\theta _{0},x_{1},...,x_{n})}}{a+n-1}}.

{\ displaystyle {\ widehat {\ theta}} (X) = {\ frac {(a + n) \ max {(\ theta _ {0}, x_ {1}, ..., x_ {n})} } {a + n-1}}.}

{\ displaystyle {\ widehat {\ theta}} (X) = {\ frac {(a + n) \ max {(\ theta _ {0}, x_ {1}, ..., x_ {n})} } {a + n-1}}.}

Funcții alternative de risc

Funcțiile de risc sunt alese în funcție de modul în care se măsoară distanța dintre estimare și parametrul necunoscut. MSE este cea mai frecventă funcție de risc, în principal datorită simplității sale. Cu toate acestea, se utilizează ocazional funcții de risc alternative. Exemple de astfel de alternative sunt prezentate mai jos. Denotăm funcția de distribuție posterioară generalizată ca fiind $F.$ ${\ displaystyle F}$ $F.$ .

Mediană a posteriori și alte cuantile

O funcție de pierdere „liniară”, cu $a>0$ ${\ displaystyle a> 0}$ ${\ displaystyle a> 0}$ , care dă mediana posterioară după cum estimează Bayes:

L(\theta ,{\widehat {\theta }})=a|\theta -{\widehat {\theta }}|

{\ displaystyle L (\ theta, {\ widehat {\ theta}}) = a | \ theta - {\ widehat {\ theta}} |}

{\ displaystyle L (\ theta, {\ widehat {\ theta}}) = a | \ theta - {\ widehat {\ theta}} |}

F({\widehat {\theta }}(x)|X)={\tfrac {1}{2}}.

{\ displaystyle F ({\ widehat {\ theta}} (x) | X) = {\ tfrac {1} {2}}.}

{\ displaystyle F ({\ widehat {\ theta}} (x) | X) = {\ tfrac {1} {2}}.}

O altă funcție de pierdere „liniară”, care atribuie „greutăți” diferite $a,b>0$ ${\ displaystyle a, b> 0}$ ${\ displaystyle a, b> 0}$ la supra sau sub estimare. Oferă un cuantil din distribuția posterioară și constituie o generalizare a funcției de pierdere anterioare:

L(\theta ,{\widehat {\theta }})={\begin{cases}a|\theta -{\widehat {\theta }}|,&{\mbox{for }}\theta -{\widehat {\theta }}\geq 0\\b|\theta -{\widehat {\theta }}|,&{\mbox{for }}\theta -{\widehat {\theta }}<0\end{cases}}

{\ displaystyle L (\ theta, {\ widehat {\ theta}}) = {\ begin {cases} a | \ theta - {\ widehat {\ theta}} |, și {\ mbox {for}} \ theta - {\ widehat {\ theta}} \ geq 0 \\ b | \ theta - {\ widehat {\ theta}} |, și {\ mbox {for}} \ theta - {\ widehat {\ theta}} <0 \ sfârșit {cazuri}}}

{\ displaystyle L (\ theta, {\ widehat {\ theta}}) = {\ begin {cases} a | \ theta - {\ widehat {\ theta}} | și {\ mbox {for}} \ theta - {\ widehat {\ theta}} \ geq 0 \\ b | \ theta - {\ widehat {\ theta}} |, și {\ mbox {for}} \ theta - {\ widehat {\ theta}} <0 \ sfârșit {cazuri}}}

F({\widehat {\theta }}(x)|X)={\frac {a}{a+b}}.

{\ displaystyle F ({\ widehat {\ theta}} (x) | X) = {\ frac {a} {a + b}}.}

{\ displaystyle F ({\ widehat {\ theta}} (x) | X) = {\ frac {a} {a + b}}.}

Moda retrospectivă

Următoarea funcție de pierdere este mai complicată: oferă moda a posteriori sau un punct apropiat de ea în funcție de curbură și proprietățile distribuției posterioare. Pentru a folosi moda ca aproximare ( $L>0$ ${\ displaystyle L> 0}$ ${\ displaystyle L> 0}$ ), se recomandă valori mici ale parametrului $K>0$ ${\ displaystyle K> 0}$ $K> 0$ :

L(\theta ,{\widehat {\theta }})={\begin{cases}0,&{\mbox{for }}|\theta -{\widehat {\theta }}|<K\\L,&{\mbox{for }}|\theta -{\widehat {\theta }}|\geq K.\end{cases}}

{\ displaystyle L (\ theta, {\ widehat {\ theta}}) = {\ begin {cases} 0 și {\ mbox {for}} | \ theta - {\ widehat {\ theta}} | <K \ \ L, & {\ mbox {for}} | \ theta - {\ widehat {\ theta}} | \ geq K. \ end {cases}}}

{\ displaystyle L (\ theta, {\ widehat {\ theta}}) = {\ begin {cases} 0 și {\ mbox {for}} | \ theta - {\ widehat {\ theta}} | <K \ \ L, & {\ mbox {for}} | \ theta - {\ widehat {\ theta}} | \ geq K. \ end {cases}}}

Pot fi concepute și alte tipuri de funcții de pierdere, deși eroarea pătrată medie este cea mai utilizată și validată.

Estimatori Bayes generalizați

Până acum distribuția a priori $\pi$ ${\ displaystyle \ pi}$ $\ pi$ s-a presupus că este o distribuție de probabilitate adevărată, adică:

\int \pi (\theta )d\theta =1.

{\ displaystyle \ int \ pi (\ theta) d \ theta = 1.}

{\ displaystyle \ int \ pi (\ theta) d \ theta = 1.}

Cu toate acestea, aceasta poate fi uneori o cerință restrictivă. De exemplu, nu există o distribuție (definită pe întregul set R de numere reale) pentru care fiecare număr real este la fel de probabil. Mai mult decât atât, într - un sens, o astfel de „distribuție“ pare a fi alegerea naturala pentru neinformative o distribuție de probabilitate a priori, adică, o distribuție a priori , care nu implică nici o preferință pentru orice valoare particulară a parametrului necunoscut. Este încă posibil să se definească o funcție $\pi (\theta )=1$ ${\ displaystyle \ pi (\ theta) = 1}$ ${\ displaystyle \ pi (\ theta) = 1}$ , dar aceasta nu ar fi o distribuție adecvată a probabilității, deoarece ar avea o masă infinită,

\int {\pi (\theta )d\theta }=\infty .

{\ displaystyle \ int {\ pi (\ theta) d \ theta} = \ infty.}

{\ displaystyle \ int {\ pi (\ theta) d \ theta} = \ infty.}

Astfel de măsuri $\pi (\theta )$ ${\ displaystyle \ pi (\ theta)}$ ${\ displaystyle \ pi (\ theta)}$ , care nu sunt distribuții de probabilitate, se numesc distribuții a priori necorespunzătoare .

Utilizarea unei distribuții a priori necorespunzătoare înseamnă că riscul Bayes este nedefinit (deoarece distribuția a priori nu este o distribuție de probabilitate și nu poate fi utilizată pentru a calcula valoarea așteptată). În consecință, nu mai are sens să vorbim despre un estimator Bayes care minimizează riscul Bayes. Cu toate acestea, în multe cazuri, este încă posibil să se definească distribuția a posteriori

\pi (\theta |x)={\frac {p(x|\theta )\pi (\theta )}{\int p(x|\theta )\pi (\theta )d\theta }}.

{\ displaystyle \ pi (\ theta | x) = {\ frac {p (x | \ theta) \ pi (\ theta)} {\ int p (x | \ theta) \ pi (\ theta) d \ theta} }.}

{\ displaystyle \ pi (\ theta | x) = {\ frac {p (x | \ theta) \ pi (\ theta)} {\ int p (x | \ theta) \ pi (\ theta) d \ theta} }.}

Aceasta este o definiție și nu o aplicație a teoremei lui Bayes , deoarece aceasta poate fi aplicată numai atunci când toate distribuțiile sunt corecte. Cu toate acestea, nu este neobișnuit ca o astfel de distribuție „a posteriori” să fie o distribuție de probabilitate validă. În acest caz, pierderea retrospectivă așteptată

\pi (\theta |x)={\frac {p(x|\theta )\pi (\theta )}{\int p(x|\theta )\pi (\theta )d\theta }}.

{\ displaystyle \ pi (\ theta | x) = {\ frac {p (x | \ theta) \ pi (\ theta)} {\ int p (x | \ theta) \ pi (\ theta) d \ theta} }.}

{\ displaystyle \ pi (\ theta | x) = {\ frac {p (x | \ theta) \ pi (\ theta)} {\ int p (x | \ theta) \ pi (\ theta) d \ theta} }.}

este de obicei bine definit și finit. Reamintim că, pentru o distribuție a priori adecvată, estimatorul Bayes minimizează pierderea așteptată a posteriori. Atunci când distribuția a priori este necorespunzătoare, un estimator care minimizează pierderea așteptată posterioară se numește estimator Bayes generalizat . ^[2]

Exemplu

Un exemplu tipic se referă la estimarea unui parametru de poziție cu o funcție de pierdere de tip $L(a-\theta )$ ${\ displaystyle L (a- \ theta)}$ ${\ displaystyle L (a- \ theta)}$ . Aici $\theta$ ${\ displaystyle \ theta}$ $\ theta$ este un parametru de poziție, adică $p(x|\theta )=f(x-\theta )$ ${\ displaystyle p (x | \ theta) = f (x- \ theta)}$ ${\ displaystyle p (x | \ theta) = f (x- \ theta)}$ .

În acest caz este obișnuit să se utilizeze distribuția necorespunzătoare a priori $\pi (\theta )=1$ ${\ displaystyle \ pi (\ theta) = 1}$ ${\ displaystyle \ pi (\ theta) = 1}$ , mai ales atunci când nu sunt disponibile alte informații suplimentare subiective. Aceasta oferă:

\pi (\theta |x)={\frac {p(x|\theta )\pi (\theta )}{p(x)}}={\frac {f(x-\theta )}{p(x)}}

{\ displaystyle \ pi (\ theta | x) = {\ frac {p (x | \ theta) \ pi (\ theta)} {p (x)}} = {\ frac {f (x- \ theta)} {p (x)}}}

{\ displaystyle \ pi (\ theta | x) = {\ frac {p (x | \ theta) \ pi (\ theta)} {p (x)}} = {\ frac {f (x- \ theta)} {p (x)}}}

deci pierderea așteptată posterioară este egală cu

E[L(a-\theta )]=\int {L(a-\theta )\pi (\theta |x)d\theta }={\frac {1}{p(x)}}\int L(a-\theta )f(x-\theta )d\theta .

{\ displaystyle E [L (a- \ theta)] = \ int {L (a- \ theta) \ pi (\ theta | x) d \ theta} = {\ frac {1} {p (x)}} \ int L (a- \ theta) f (x- \ theta) d \ theta.}

{\ displaystyle E [L (a- \ theta)] = \ int {L (a- \ theta) \ pi (\ theta | x) d \ theta} = {\ frac {1} {p (x)}} \ int L (a- \ theta) f (x- \ theta) d \ theta.}

Valoarea este estimatorul generalizat Bayes $a(x)$ ${\ displaystyle a (x)}$ $a (x)$ ceea ce minimizează această expresie pentru toți $X$ ${\ displaystyle x}$ $X$ . Acest lucru echivalează cu minimizarea

\int L(a-\theta )f(x-\theta )d\theta

{\ displaystyle \ int L (a- \ theta) f (x- \ theta) d \ theta}

{\ displaystyle \ int L (a- \ theta) f (x- \ theta) d \ theta}

pentru

X .

{\ displaystyle x.}

{\ displaystyle x.}

(1)

Se poate arăta că, în acest caz, estimatorul generalizat Bayes ia forma $x+a_{0}$ ${\ displaystyle x + a_ {0}}$ ${\ displaystyle x + a_ {0}}$ , pentru unele constante $a_{0}$ ${\ displaystyle a_ {0}}$ $a_ {0}$ . Pentru a realiza asta, fie $a_{0}$ ${\ displaystyle a_ {0}}$ $a_ {0}$ valoarea de minimizare (1) când $x=0$ ${\ displaystyle x = 0}$ $x = 0$ . Deci, având în vedere o valoare diferită $x_{1}$ ${\ displaystyle x_ {1}}$ $x_1$ , trebuie să minimalizăm

\int L(a-\theta )f(x_{1}-\theta )d\theta =\int L(a-x_{1}-\theta ')f(-\theta ')d\theta '.

{\ displaystyle \ int L (a- \ theta) f (x_ {1} - \ theta) d \ theta = \ int L (a-x_ {1} - \ theta ') f (- \ theta') d \ theta '.}

{\ displaystyle \ int L (a- \ theta) f (x_ {1} - \ theta) d \ theta = \ int L (a-x_ {1} - \ theta ') f (- \ theta') d \ theta '.}

(2)

Aceasta este identică cu (1), cu excepția faptului că $la$ ${\ displaystyle a}$ $la$ a fost înlocuit cu $a-x_{1}$ ${\ displaystyle a-x_ {1}}$ ${\ displaystyle a-x_ {1}}$ . Prin urmare, expresia de minimizare este dată de $a-x_{1}=a_{0}$ ${\ displaystyle a-x_ {1} = a_ {0}}$ ${\ displaystyle a-x_ {1} = a_ {0}}$ , astfel încât estimatorul optim să ia forma

a(x)=a_{0}+x.\,\!

{\ displaystyle a (x) = a_ {0} + x. \, \!}

{\ displaystyle a (x) = a_ {0} + x. \, \!}

Estimatori empirici Bayes

Un estimator Bayes derivat prin metoda empirică Bayes se numește estimator empiric Bayes . Metodele empirice Bayes permit, în dezvoltarea unui estimator Bayes, utilizarea datelor empirice auxiliare din observațiile parametrilor înrudiți. Acest lucru se face presupunând că parametrii estimați sunt obținuți dintr-o distribuție a priori comună. De exemplu, dacă se fac observații independente ale parametrilor diferiți, atunci performanța în estimarea unui anumit parametru poate fi uneori îmbunătățită prin utilizarea datelor din alte observații.

Există abordări parametrice și non-parametrice ale estimării empirice Bayes. Forma parametrică este de obicei preferată datorită aplicabilității și preciziei sale mai mari pe cantități mici de date. ^[3]

Exemplu

Următorul este un exemplu simplu de estimare parametrică empirică a lui Bayes. Având în vedere observațiile deja cunoscute $x_{1},\ldots ,x_{n}$ ${\ displaystyle x_ {1}, \ ldots, x_ {n}}$ ${\ displaystyle x_ {1}, \ ldots, x_ {n}}$ având distribuție condiționată $f(x_{i}|\theta _{i})$ ${\ displaystyle f (x_ {i} | \ theta _ {i})}$ ${\ displaystyle f (x_ {i} | \ theta _ {i})}$ , cineva este interesat de estimare $\theta _{n+1}$ ${\ displaystyle \ theta _ {n + 1}}$ ${\ displaystyle \ theta _ {n + 1}}$ bazat pe $x_{n+1}$ ${\ displaystyle x_ {n + 1}}$ $x _ {{n + 1}}$ . Presupunem că $\theta _{i}$ ${\ displaystyle \ theta _ {i}}$ $\ theta _ {i}$ au o distribuție anterioară comună $\pi$ ${\ displaystyle \ pi}$ $\ pi$ în funcție de unii parametri necunoscuți. De exemplu, să presupunem că $\pi$ ${\ displaystyle \ pi}$ $\ pi$ este distribuit în mod normal cu suporturi media $\mu _{\pi }\,\!$ ${\ displaystyle \ mu _ {\ pi} \, \!}$ ${\ displaystyle \ mu _ {\ pi} \, \!}$ și varianță $\sigma _{\pi }\,\!$ ${\ displaystyle \ sigma _ {\ pi} \, \!}$ ${\ displaystyle \ sigma _ {\ pi} \, \!}$ necunoscute. Putem folosi apoi observațiile cunoscute pentru a determina media și varianța $\pi$ ${\ displaystyle \ pi}$ $\ pi$ în felul următor.

În primul rând, să estimăm media $\mu _{m}\,\!$ ${\ displaystyle \ mu _ {m} \, \!}$ ${\ displaystyle \ mu _ {m} \, \!}$ și varianța $\sigma _{m}\,\!$ ${\ displaystyle \ sigma _ {m} \, \!}$ ${\ displaystyle \ sigma _ {m} \, \!}$ a distribuției marginale a $x_{1},\ldots ,x_{n}$ ${\ displaystyle x_ {1}, \ ldots, x_ {n}}$ ${\ displaystyle x_ {1}, \ ldots, x_ {n}}$ folosind abordarea de maximă probabilitate :

{\widehat {\mu }}_{m}={\frac {1}{n}}\sum {x_{i}},

{\ displaystyle {\ widehat {\ mu}} _ {m} = {\ frac {1} {n}} \ sum {x_ {i}},}

{\ displaystyle {\ widehat {\ mu}} _ {m} = {\ frac {1} {n}} \ sum {x_ {i}},}

{\widehat {\sigma }}_{m}^{2}={\frac {1}{n}}\sum {(x_{i}-{\widehat {\mu }}_{m})^{2}}.

{\ displaystyle {\ widehat {\ sigma}} _ {m} ^ {2} = {\ frac {1} {n}} \ sum {(x_ {i} - {\ widehat {\ mu}} _ {m }) ^ {2}}.}

{\ displaystyle {\ widehat {\ sigma}} _ {m} ^ {2} = {\ frac {1} {n}} \ sum {(x_ {i} - {\ widehat {\ mu}} _ {m }) ^ {2}}.}

Apoi, să folosim relațiile:

\mu _{m}=E_{\pi }[\mu _{f}(\theta )]\,\!,

{\ displaystyle \ mu _ {m} = E _ {\ pi} [\ mu _ {f} (\ theta)] \, \!,}

{\ displaystyle \ mu _ {m} = E _ {\ pi} [\ mu _ {f} (\ theta)] \, \!,}

\sigma _{m}^{2}=E_{\pi }[\sigma _{f}^{2}(\theta )]+E_{\pi }[\mu _{f}(\theta )-\mu _{m}],

{\ displaystyle \ sigma _ {m} ^ {2} = E _ {\ pi} [\ sigma _ {f} ^ {2} (\ theta)] + E _ {\ pi} [\ mu _ {f} (\ theta) - \ mu _ {m}],}

{\ displaystyle \ sigma _ {m} ^ {2} = E _ {\ pi} [\ sigma _ {f} ^ {2} (\ theta)] + E _ {\ pi} [\ mu _ {f} (\ theta) - \ mu _ {m}],}

unde este $\mu _{f}(\theta )$ ${\ displaystyle \ mu _ {f} (\ theta)}$ ${\ displaystyle \ mu _ {f} (\ theta)}$ Și $\sigma _{f}(\theta )$ ${\ displaystyle \ sigma _ {f} (\ theta)}$ ${\ displaystyle \ sigma _ {f} (\ theta)}$ sunt momentele de distribuție condiționată $f(x_{i}|\theta _{i})$ ${\ displaystyle f (x_ {i} | \ theta _ {i})}$ ${\ displaystyle f (x_ {i} | \ theta _ {i})}$ , despre care se presupune că sunt cunoscute. Mai exact, să presupunem că $\mu _{f}(\theta )=\theta$ ${\ displaystyle \ mu _ {f} (\ theta) = \ theta}$ ${\ displaystyle \ mu _ {f} (\ theta) = \ theta}$ este asta $\sigma _{f}^{2}(\theta )=K$ ${\ displaystyle \ sigma _ {f} ^ {2} (\ theta) = K}$ ${\ displaystyle \ sigma _ {f} ^ {2} (\ theta) = K}$ ; avem atunci

\mu _{\pi }=\mu _{m}\,\!,

{\ displaystyle \ mu _ {\ pi} = \ mu _ {m} \, \!,}

{\ displaystyle \ mu _ {\ pi} = \ mu _ {m} \, \!,}

\sigma _{\pi }^{2}=\sigma _{m}^{2}-\sigma _{f}^{2}=\sigma _{m}^{2}-K.

{\ displaystyle \ sigma _ {\ pi} ^ {2} = \ sigma _ {m} ^ {2} - \ sigma _ {f} ^ {2} = \ sigma _ {m} ^ {2} -K. }

{\ displaystyle \ sigma _ {\ pi} ^ {2} = \ sigma _ {m} ^ {2} - \ sigma _ {f} ^ {2} = \ sigma _ {m} ^ {2} -K. }

În cele din urmă, obținem estimarea momentelor distribuției a priori

{\widehat {\mu }}_{\pi }={\widehat {\mu }}_{m},

{\ displaystyle {\ widehat {\ mu}} _ {\ pi} = {\ widehat {\ mu}} _ {m},}

{\ displaystyle {\ widehat {\ mu}} _ {\ pi} = {\ widehat {\ mu}} _ {m},}

{\widehat {\sigma }}_{\pi }^{2}={\widehat {\sigma }}_{m}^{2}-K.

{\ displaystyle {\ widehat {\ sigma}} _ {\ pi} ^ {2} = {\ widehat {\ sigma}} _ {m} ^ {2} -K.}

{\ displaystyle {\ widehat {\ sigma}} _ {\ pi} ^ {2} = {\ widehat {\ sigma}} _ {m} ^ {2} -K.}

De exemplu, dacă $x_{i}|\theta _{i}\sim N(\theta _{i},1)$ ${\ displaystyle x_ {i} | \ theta _ {i} \ sim N (\ theta _ {i}, 1)}$ ${\ displaystyle x_ {i} | \ theta _ {i} \ sim N (\ theta _ {i}, 1)}$ , și dacă presupunem o distribuție normală a priori (care în acest caz este o distribuție a priori conjugată ), concluzionăm că $\theta _{n+1}\sim N({\widehat {\mu }}_{\pi },{\widehat {\sigma }}_{\pi }^{2})$ ${\ displaystyle \ theta _ {n + 1} \ sim N ({\ widehat {\ mu}} _ {\ pi}, {\ widehat {\ sigma}} _ {\ pi} ^ {2})}$ ${\ displaystyle \ theta _ {n + 1} \ sim N ({\ widehat {\ mu}} _ {\ pi}, {\ widehat {\ sigma}} _ {\ pi} ^ {2})}$ , din care estimatorul Bayes $\theta _{n+1}$ ${\ displaystyle \ theta _ {n + 1}}$ ${\ displaystyle \ theta _ {n + 1}}$ bazat pe $x_{n+1}$ ${\ displaystyle x_ {n + 1}}$ $x _ {{n + 1}}$ poate fi calculat.

Proprietate

Admisibilitate

Regulile Bayes cu risc Bayes finit sunt de obicei admisibile . Urmează diverse exemple specifice de teoreme de admisibilitate.

Dacă o regulă Bayes este unică, atunci este permisă. ^[4] De exemplu, după cum sa menționat mai sus, în conformitate cu eroarea pătrată medie (MSE), regula Bayes este unică și, prin urmare, admisibilă.
Dacă θ aparține unui set discret, atunci toate regulile lui Bayes sunt admisibile.
Dacă θ aparține unui set continuu (nediscret) și dacă funcția de risc R (θ, δ) este continuă în θ pentru fiecare δ, atunci toate regulile Bayes sunt admisibile.

În schimb, regulile Bayes generalizate au deseori un risc Bayes nedefinit în cazul unei distribuții necorespunzătoare a priori. Aceste reguli sunt adesea inadmisibile și verificarea eligibilității lor poate fi dificilă. De exemplu, estimatorul Bayes generalizat al unui parametru de poziție θ bazat pe eșantioane Gaussiene (descris în paragraful „Estimator Bayes generalizat” de mai sus) este inadmisibil pentru $p>2$ ${\ displaystyle p> 2}$ ${\ displaystyle p> 2}$ ; acest lucru este cunoscut sub numele de fenomenul lui Stein .

Eficiență asimptotică

Fie θ o variabilă aleatorie necunoscută și să presupunem că $x_{1},x_{2},\ldots$ ${\ displaystyle x_ {1}, x_ {2}, \ ldots}$ ${\ displaystyle x_ {1}, x_ {2}, \ ldots}$ sunt probe Iid cu densitate $f(x_{i}|\theta )$ ${\ displaystyle f (x_ {i} | \ theta)}$ ${\ displaystyle f (x_ {i} | \ theta)}$ . Este $\delta _{n}=\delta _{n}(x_{1},\ldots ,x_{n})$ ${\ displaystyle \ delta _ {n} = \ delta _ {n} (x_ {1}, \ ldots, x_ {n})}$ ${\ displaystyle \ delta _ {n} = \ delta _ {n} (x_ {1}, \ ldots, x_ {n})}$ o secvență de estimatori Bayes de θ pe baza unui număr tot mai mare de măsurători. Suntem interesați de analiza performanței asimptotice a acestei secvențe de estimatori, adică a performanței $\delta _{n}$ ${\ displaystyle \ delta _ {n}}$ ${\ displaystyle \ delta _ {n}}$ pentru n valori mari.

În acest scop, este convenabil să considerăm θ ca un parametru non-aleatoriu a cărui valoare reală este $\theta _{0}$ ${\ displaystyle \ theta _ {0}}$ $\ theta_0$ . În condiții specifice, ^[5] pentru eșantioane mari (valori mari de n ), densitatea posterioară a lui θ este aproximativ normală. Cu alte cuvinte, pentru n mare, efectul probabilității distribuției a priori asupra distribuției a posteriori este neglijabil. Mai mult, dacă δ este estimatorul Bayes sub riscul MSE, atunci este asimptotic imparțial și converge în distribuție la distribuția normală :

{\sqrt {n}}(\delta _{n}-\theta _{0})\to N\left(0,{\frac {1}{I(\theta _{0})}}\right),

{\ displaystyle {\ sqrt {n}} (\ delta _ {n} - \ theta _ {0}) \ to N \ left (0, {\ frac {1} {I (\ theta _ {0})} } \ dreapta),}

{\ displaystyle {\ sqrt {n}} (\ delta _ {n} - \ theta _ {0}) \ to N \ left (0, {\ frac {1} {I (\ theta _ {0})} } \ dreapta),}

unde I (θ ₀ ) este informația Fisher de θ ₀ . Rezultă că estimatorul Bayes under _n din MSE este asimptotic eficient .

Un alt estimator asimptotic normal și eficient este estimatorul de maximă probabilitate (MLE). Relațiile dintre probabilitatea maximă și estimatorii Bayes pot fi prezentate în următorul exemplu simplu.

Să luăm în considerare estimatorul lui θ pe baza eșantionului binomial x ~ b (θ, n ) unde θ denotă probabilitatea de succes. Presupunând că θ este distribuit în funcție de distribuția conjugată a priori , care în acest caz este distribuția beta B ( a , b ), distribuția posterioară este cunoscută a fi B (a + x, b + nx). Prin urmare, estimatorul Bayes în cadrul MSE este

\delta _{n}(x)=E[\theta |x]={\frac {a+x}{a+b+n}}.

{\ displaystyle \ delta _ {n} (x) = E [\ theta | x] = {\ frac {a + x} {a + b + n}}.}

{\ displaystyle \ delta _ {n} (x) = E [\ theta | x] = {\ frac {a + x} {a + b + n}}.}

MLE în acest caz este x / n și astfel obținem,

\delta _{n}(x)={\frac {a+b}{a+b+n}}E[\theta ]+{\frac {n}{a+b+n}}\delta _{MLE}.

{\ displaystyle \ delta _ {n} (x) = {\ frac {a + b} {a + b + n}} E [\ theta] + {\ frac {n} {a + b + n}} \ delta _ {MLE}.}

{\ displaystyle \ delta _ {n} (x) = {\ frac {a + b} {a + b + n}} E [\ theta] + {\ frac {n} {a + b + n}} \ delta _ {MLE}.}

Ultima ecuație implică faptul că, pentru n → ∞, estimatorul Bayes (în problema în cauză) este aproape de MLE.

Pe de altă parte, când n este mic, informațiile a priori sunt încă relevante pentru problema deciziei și afectează estimarea. Pentru a vedea greutatea informațiilor a priori, presupunem că a = b ; în acest caz, fiecare măsurare aduce un nou bit de informații; formula de mai sus arată că informațiile a priori au aceeași greutate ca un + b bit de informații noi. În cazul practic, se știe adesea foarte puțin despre detaliile mai fine ale distribuției a priori; în special, nu există niciun motiv să presupunem că coincide exact cu B ( a , b ). În acest caz, o posibilă interpretare a acestui calcul este: „există o distribuție apriorică nepatologică cu o valoare medie de 0,5 și abaterea standard d care dă o greutate informațională a priori egală cu 1 / (4 d ² ) -1 un pic de informații noi ".

Notă

^ Lehmann și Casella, teorema 4.1.1
^ ^a ^b Lehmann și Casella, definiție 4.2.9
^ Berger (1980), sesiunea 4.5
^ Lehmann și Casella (1998), Teorema 5.2.4.
^ Lehmann și Casella (1998), sesiunea 6.8

Bibliografie

EL Lehmann, Casella, G., Theory of Point Estimation , Springer, 1998, pp. Ediția a II-a, ISBN 0-387-98502-6 .
James O. Berger, Statistic decision theory and Bayesian Analysis , ediția a doua, New York, Springer-Verlag, 1985, ISBN 0-387-96098-8 , MR 0804611 .

linkuri externe

Estimare bayesiană pe cnx.org , pe cnx.org .

Portal de statistici : accesați intrările Wikipedia care se ocupă de statistici

[1] Lehmann și Casella, teorema 4.1.1

[L&C-2] Lehmann și Casella, definiție 4.2.9

[3] Berger (1980), sesiunea 4.5

[4] Lehmann și Casella (1998), Teorema 5.2.4.

[5] Lehmann și Casella (1998), sesiunea 6.8

[1]

[2]

[3]

[4]

[5]

V · D · M Statistici
Statisticile descriptive	Medii ( aritmetice · geometrice · armonioase · Putere · aritmetice și geometrice · Integrale ) · Mediană · Modă · interval de variație · varianță · Deviație standard · deviație absolută medie · Simetrie · Diferență medie ( absolută · logaritmică ) · Curtosi
Inferință statistică	Test de testare a ipotezei · Semnificație · Ipoteză nulă / alternativă · Eroare I și tip II · Test Q · U test · Test t · Z Test · Probabilitate maximă · Standardizare · valoare p · Analiza variației
Analiza supraviețuirii	Rată de eșec · Estimator Kaplan-Meier · test log-rank
Analiza regresiei	Regresie liniară · Regresie neliniară · variabile instrumentale · metodă generalizată a momentelor · Regresie logistică · Model probit · Model logit