Eficiență (statistici)

În statistici , eficiența este o măsură a dorinței unui estimator . Eficiența unei statistici corecte $\ T$ ${\ displaystyle \ T}$ $\ T$ pentru un parametru $\ \vartheta$ ${\ displaystyle \ \ vartheta}$ $\ \ vartheta$ este definit ca:

\ e(T)={\frac {1/{\mathcal {I}}(\vartheta )}{{\textrm {var}}(T)}}

{\ displaystyle \ e (T) = {\ frac {1 / {\ mathcal {I}} (\ vartheta)} {{\ textrm {var}} (T)}}}

{\ displaystyle \ e (T) = {\ frac {1 / {\ mathcal {I}} (\ vartheta)} {{\ textrm {var}} (T)}}}

unde este $\ {\mathcal {I}}(\vartheta )$ ${\ displaystyle \ {\ mathcal {I}} (\ vartheta)}$ $\ {\ mathcal {I}} (\ vartheta)$ este informația Fisher a eșantionului; $\ e(T)$ ${\ displaystyle \ e (T)}$ ${\ displaystyle \ e (T)}$ este egal cu raportul celei mai mici varianțe posibile pentru un estimator de $\ \vartheta$ ${\ displaystyle \ \ vartheta}$ $\ \ vartheta$ și varianța sa reală. Inegalitatea Cramér-Rao implică asta $\ e(T)\leq 1$ ${\ displaystyle \ e (T) \ leq 1}$ $\ e (T) \ leq 1$ .

Estimator eficient

Dacă un estimator al unui parametru $\vartheta \in \Theta$ ${\ displaystyle \ vartheta \ in \ Theta}$ ${\ displaystyle \ vartheta \ in \ Theta}$ este astfel încât $\ e(T)=1$ ${\ displaystyle \ e (T) = 1}$ ${\ displaystyle \ e (T) = 1}$ pentru toate valorile posibile ale parametrului, se spune că estimatorul este eficient (în sens absolut). În termeni echivalenți, se spune că un estimator este eficient (în sens absolut) dacă varianța sa atinge limita inferioară Cramér-Rao $\ \forall \ \vartheta \in \Theta$ ${\ displaystyle \ \ forall \ \ vartheta \ in \ Theta}$ ${\ displaystyle \ \ forall \ \ vartheta \ in \ Theta}$ .

Dacă un estimator eficient (în termeni absoluți) este, de asemenea, corect , este un estimator MVUE sau un estimator de varianță minimă corectat (din „estimatorul englezesc de variație minimă fără prejudecăți). Acest lucru se datorează faptului că, în mod clar, niciun estimator corect alternativ nu va fi caracterizat printr-o varianță mai mică. Este interesant de observat că, pe de altă parte, un estimator de varianță minimă corectat (MVUE) nu este neapărat eficient în sens absolut: de fapt, ar putea exista un estimator părtinitor a cărui varianță atinge limita inferioară Cramér-Rao .

Eficiență asimptotică

Unii estimatori obțin eficiență într-un sens absolut doar asimptotic , adică dacă dimensiunea eșantionului în care sunt funcție tinde spre infinit. În acest caz vorbim de estimatori eficienți asimptotic. Acesta este cazul, de exemplu, cu estimatorii de maximă probabilitate .

Exemple

Luați în considerare o dimensiune a eșantionului $\ n$ ${\ displaystyle \ n}$ $\ n$ extrase dintr-opopulație normală cu valoarea așteptată $\ \mu$ ${\ displaystyle \ \ mu}$ $\ \ mu$ și varianța unității (de exemplu, $x_{i}\sim {\mathcal {N}}(\mu ,1),\ i=1,\ldots ,n$ ${\ displaystyle x_ {i} \ sim {\ mathcal {N}} (\ mu, 1), \ i = 1, \ ldots, n}$ ${\ displaystyle x_ {i} \ sim {\ mathcal {N}} (\ mu, 1), \ i = 1, \ ldots, n}$ ).

Proba medie ${\overline {x}}$ ${\ displaystyle {\ overline {x}}}$ $\ overline {x}$ a probei $x_{1},x_{2},\ldots ,x_{i}$ ${\ displaystyle x_ {1}, x_ {2}, \ ldots, x_ {i}}$ ${\ displaystyle x_ {1}, x_ {2}, \ ldots, x_ {i}}$ , definit ca:

{\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}

{\ displaystyle {\ overline {x}} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} x_ {i}}

{\ displaystyle {\ overline {x}} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} x_ {i}}

are o varianță egală cu $\ {\frac {1}{n}}$ ${\ displaystyle \ {\ frac {1} {n}}}$ ${\ displaystyle \ {\ frac {1} {n}}}$ . Această valoare este egală cu reciprocitatea informațiilor Fisher ale eșantionului și, prin urmare, pentru inegalitatea Cramér-Rao , media eșantionului este un estimator eficient în sens absolut.

Acum luați în considerare proba mediană ; este un estimator părtinitor, dar consecvent pentru $\ \mu$ ${\ displaystyle \ \ mu}$ $\ \ mu$ . În special pentru $\ n\rightarrow \infty$ ${\ displaystyle \ n \ rightarrow \ infty}$ ${\ displaystyle \ n \ rightarrow \ infty}$ mediana eșantionului are o distribuție aproximativnormală , cu o valoare așteptată $\ \mu$ ${\ displaystyle \ \ mu}$ $\ \ mu$ și varianță $\ {\frac {\pi }{2n}}$ ${\ displaystyle \ {\ frac {\ pi} {2n}}}$ ${\ displaystyle \ {\ frac {\ pi} {2n}}}$ . Prin urmare, eficiența sa este de aproximativ 0,64. De asemenea, rețineți că aceasta este o măsură a eficienței asimptotice ; în eșantioane mici (valori finite de $\ n$ ${\ displaystyle \ n}$ $\ n$ ) eficiența este de fapt mai mare (de exemplu, pentru $\ n=3$ ${\ displaystyle \ n = 3}$ ${\ displaystyle \ n = 3}$ există o eficiență de aproximativ 0,74). De asemenea, trebuie remarcat faptul că, în anumite aplicații, mediana este preferată mediei, pe baza faptului că robustețea sa mai mare (sensibilitate mai mică la prezența valorilor aberante în eșantion) ar compensa eficiența mai mică.

Eficiență relativă

Luați în considerare două exemple de statistici, $\ T_{1}$ ${\ displaystyle \ T_ {1}}$ ${\ displaystyle \ T_ {1}}$ Și $\ T_{2}$ ${\ displaystyle \ T_ {2}}$ ${\ displaystyle \ T_ {2}}$ , estimatori pentru parametru $\ \vartheta$ ${\ displaystyle \ \ vartheta}$ $\ \ vartheta$ ; bunul simț sugerează că $\ T_{1}$ ${\ displaystyle \ T_ {1}}$ ${\ displaystyle \ T_ {1}}$ este „mai eficient” decât $\ T_{2}$ ${\ displaystyle \ T_ {2}}$ ${\ displaystyle \ T_ {2}}$ de sine:

eroarea medie pătrată (sau MSE, din engleza Mean Squared Error ) nu o depășește pe cea de $\ T_{2}$ ${\ displaystyle \ T_ {2}}$ ${\ displaystyle \ T_ {2}}$ pentru fiecare valoare posibilă asumată de $\ \vartheta \in \Theta$ ${\ displaystyle \ \ vartheta \ in \ Theta}$ ${\ displaystyle \ \ vartheta \ in \ Theta}$ ;
MSE este mai mic cu cel puțin o valoare de $\ \vartheta \in \Theta$ ${\ displaystyle \ \ vartheta \ in \ Theta}$ ${\ displaystyle \ \ vartheta \ in \ Theta}$ .

Oficial,

\mathrm {E} \left[(T_{1}-\vartheta )^{2}\right]\leq \mathrm {E} \left[(T_{2}-\vartheta )^{2}\right]

{\ displaystyle \ mathrm {E} \ left [(T_ {1} - \ vartheta) ^ {2} \ right] \ leq \ mathrm {E} \ left [(T_ {2} - \ vartheta) ^ {2} \ dreapta]}

{\ displaystyle \ mathrm {E} \ left [(T_ {1} - \ vartheta) ^ {2} \ right] \ leq \ mathrm {E} \ left [(T_ {2} - \ vartheta) ^ {2} \ dreapta]}

$\ \forall \ \vartheta \in \Theta$ ${\ displaystyle \ \ forall \ \ vartheta \ in \ Theta}$ ${\ displaystyle \ \ forall \ \ vartheta \ in \ Theta}$ , și $\ \exists \ \vartheta _{0}\in \Theta$ ${\ displaystyle \ \ există \ \ vartheta _ {0} \ în \ Theta}$ ${\ displaystyle \ \ există \ \ vartheta _ {0} \ în \ Theta}$ astfel încât stă inegalitatea strictă.

Eficiența relativă a $\ T_{1}$ ${\ displaystyle \ T_ {1}}$ ${\ displaystyle \ T_ {1}}$ în comparație cu $\ T_{2}$ ${\ displaystyle \ T_ {2}}$ ${\ displaystyle \ T_ {2}}$ este apoi definit de:

e(T_{1},T_{2},\vartheta )={\frac {\mathrm {E} \left[(T_{1}-\vartheta )^{2}\right]}{\mathrm {E} \left[(T_{2}-\vartheta )^{2}\right]}}

{\ displaystyle e (T_ {1}, T_ {2}, \ vartheta) = {\ frac {\ mathrm {E} \ left [(T_ {1} - \ vartheta) ^ {2} \ right]} {\ mathrm {E} \ left [(T_ {2} - \ vartheta) ^ {2} \ right]}}}

{\ displaystyle e (T_ {1}, T_ {2}, \ vartheta) = {\ frac {\ mathrm {E} \ left [(T_ {1} - \ vartheta) ^ {2} \ right]} {\ mathrm {E} \ left [(T_ {2} - \ vartheta) ^ {2} \ right]}}}

In timp ce $e(\cdot )$ ${\ displaystyle e (\ cdot)}$ ${\ displaystyle e (\ cdot)}$ este în general o funcție a $\vartheta$ ${\ displaystyle \ vartheta}$ $\ vartheta$ , acest lucru nu este adesea cazul; în acest caz, o valoare de $e(\cdot )$ ${\ displaystyle e (\ cdot)}$ ${\ displaystyle e (\ cdot)}$ mai puțin de 1 ar indica faptul că estimatorul $\ T_{1}$ ${\ displaystyle \ T_ {1}}$ ${\ displaystyle \ T_ {1}}$ este preferabil (mai eficient), indiferent de adevărata valoare a $\ \vartheta$ ${\ displaystyle \ \ vartheta}$ $\ \ vartheta$ .

Elemente conexe

Portalul de matematică : accesați intrările Wikipedia care se ocupă de matematică