Suficiență (statistici)

În statistici , suficiența unei analize statistice (înțeleasă ca funcție a unui eșantion de observații) definește în mod formal capacitatea acestei funcții de a reprezenta sintetic informațiile conținute în eșantion. O funcție care are această caracteristică este definită, pornind de la opera lui Ronald Fisher , o statistică suficientă .

Definiție formală

O definiție formală a conceptului de suficiență este după cum urmează:

Având în vedere o variabilă aleatorie

\ X

{\ displaystyle \ X}

\ X

, cu parametru necunoscut

\ \vartheta

{\ displaystyle \ \ vartheta}

\ \ vartheta

, și o statistică

\ T(\cdot )

{\ displaystyle \ T (\ cdot)}

{\ displaystyle \ T (\ cdot)}

,

\ T(X)

{\ displaystyle \ T (X)}

\ T (X)

este suficient pentru

\ \vartheta

{\ displaystyle \ \ vartheta}

\ \ vartheta

dacă distribuția condițională a probabilității

\ X

{\ displaystyle \ X}

\ X

Data

\ T(X)

{\ displaystyle \ T (X)}

\ T (X)

nu depinde de

\ \vartheta

{\ displaystyle \ \ vartheta}

\ \ vartheta

.

Definiția de mai sus reprezintă o formalizare a ideii că o statistică suficientă rezumă toate informațiile despre populația conținute într-un eșantion - variabilă aleatorie $\ X$ ${\ displaystyle \ X}$ $\ X$ . Cu toate acestea, în practică, este mai ușor să lucrați cu următorul criteriu de factorizare , propus inițial de Fisher însuși:

Este

\ f(X;\vartheta )

{\ displaystyle \ f (X; \ vartheta)}

{\ displaystyle \ f (X; \ vartheta)}

densitatea probabilității variabilei aleatorii

\ X

{\ displaystyle \ X}

\ X

;

\ T(X)

{\ displaystyle \ T (X)}

\ T (X)

este suficientă statistică pentru

\ \vartheta

{\ displaystyle \ \ vartheta}

\ \ vartheta

dacă și numai dacă există două funcții

\ g

{\ displaystyle \ g}

\ g

,

\ h

{\ displaystyle \ h}

\ h

astfel încât:

\ f(X;\vartheta )=g(T(X);\vartheta )h(X)

{\ displaystyle \ f (X; \ vartheta) = g (T (X); \ vartheta) h (X)}

{\ displaystyle \ f (X; \ vartheta) = g (T (X); \ vartheta) h (X)}

O modalitate de a interpreta expresia de mai sus este să vă imaginați diferite $\ X$ ${\ displaystyle \ X}$ $\ X$ în așa fel încât valoarea statisticii $\ T(X)$ ${\ displaystyle \ T (X)}$ $\ T (X)$ este constant; ce efect ar avea acest lucru asupra inferenței cu privire la valoarea parametrului $\ \vartheta$ ${\ displaystyle \ \ vartheta}$ $\ \ vartheta$ ? Dacă criteriul de factorizare este îndeplinit, nici unul, deoarece dependența funcției de probabilitate $\ f(X;\vartheta )$ ${\ displaystyle \ f (X; \ vartheta)}$ ${\ displaystyle \ f (X; \ vartheta)}$ din $\ \vartheta$ ${\ displaystyle \ \ vartheta}$ $\ \ vartheta$ este neschimbat.

Exemple

De sine $\ X_{1},\ldots ,X_{n}$ ${\ displaystyle \ X_ {1}, \ ldots, X_ {n}}$ ${\ displaystyle \ X_ {1}, \ ldots, X_ {n}}$ sunt variabile aleatorii Bernoulli independente caracterizate prin parametru $\ p={\textrm {E}}[X_{i}],\ i=1,\ldots ,n$ ${\ displaystyle \ p = {\ textrm {E}} [X_ {i}], \ i = 1, \ ldots, n}$ ${\ displaystyle \ p = {\ textrm {E}} [X_ {i}], \ i = 1, \ ldots, n}$ , variabila aleatorie adaugă:

\ T(X)=X_{1}+\cdots +X_{n}

{\ displaystyle \ T (X) = X_ {1} + \ cdots + X_ {n}}

{\ displaystyle \ T (X) = X_ {1} + \ cdots + X_ {n}}

este suficientă statistică pentru

\ p

{\ displaystyle \ p}

\ p

.

Acest lucru poate fi văzut luând în considerare distribuția comună a probabilității:

\Pr(X=x)=P(X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n}).

{\ displaystyle \ Pr (X = x) = P (X_ {1} = x_ {1}, X_ {2} = x_ {2}, \ ldots, X_ {n} = x_ {n}).}

{\ displaystyle \ Pr (X = x) = P (X_ {1} = x_ {1}, X_ {2} = x_ {2}, \ ldots, X_ {n} = x_ {n}).}

Deoarece observațiile sunt independente, cele de mai sus pot fi scrise ca:

p^{x_{1}}(1-p)^{1-x_{1}}p^{x_{2}}(1-p)^{1-x_{2}}\cdots p^{x_{n}}(1-p)^{1-x_{n}}

{\ displaystyle p ^ {x_ {1}} (1-p) ^ {1-x_ {1}} p ^ {x_ {2}} (1-p) ^ {1-x_ {2}} \ cdots p ^ {x_ {n}} (1-p) ^ {1-x_ {n}}}

{\ displaystyle p ^ {x_ {1}} (1-p) ^ {1-x_ {1}} p ^ {x_ {2}} (1-p) ^ {1-x_ {2}} \ cdots p ^ {x_ {n}} (1-p) ^ {1-x_ {n}}}

Adunând puterile

\ p

{\ displaystyle \ p}

\ p

Și

\ 1-p

{\ displaystyle \ 1-p}

{\ displaystyle \ 1-p}

avem:

p^{\sum x_{i}}(1-p)^{n-\sum x_{i}}=p^{T(x)}(1-p)^{n-T(x)}

{\ displaystyle p ^ {\ sum x_ {i}} (1-p) ^ {n- \ sum x_ {i}} = p ^ {T (x)} (1-p) ^ {nT (x)} }

{\ displaystyle p ^ {\ sum x_ {i}} (1-p) ^ {n- \ sum x_ {i}} = p ^ {T (x)} (1-p) ^ {nT (x)} }

care satisface criteriul de factorizare, unde

\ h(X)

{\ displaystyle \ h (X)}

{\ displaystyle \ h (X)}

este pur și simplu funcția constantă 1. Observați că parametrul este estimat (aici

\ p

{\ displaystyle \ p}

\ p

) interacționează cu

\ X

{\ displaystyle \ X}

\ X

numai prin

\ T(X)

{\ displaystyle \ T (X)}

\ T (X)

.

De sine $\ X_{1},\ldots ,X_{n}$ ${\ displaystyle \ X_ {1}, \ ldots, X_ {n}}$ ${\ displaystyle \ X_ {1}, \ ldots, X_ {n}}$ sunt independente și distribuite uniform pe interval $\ [0,\vartheta ]$ ${\ displaystyle \ [0, \ vartheta]}$ ${\ displaystyle \ [0, \ vartheta]}$ , functia:

\ \max \left\{X_{1},\ldots ,X_{n}\right\}

{\ displaystyle \ \ max \ left \ {X_ {1}, \ ldots, X_ {n} \ right \}}

{\ displaystyle \ \ max \ left \ {X_ {1}, \ ldots, X_ {n} \ right \}}

este suficientă statistică pentru

\ \vartheta

{\ displaystyle \ \ vartheta}

\ \ vartheta

.

Acest lucru poate fi văzut luând în considerare distribuția comună a probabilității:

\Pr(X=x)=P(X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n}).

{\ displaystyle \ Pr (X = x) = P (X_ {1} = x_ {1}, X_ {2} = x_ {2}, \ ldots, X_ {n} = x_ {n}).}

{\ displaystyle \ Pr (X = x) = P (X_ {1} = x_ {1}, X_ {2} = x_ {2}, \ ldots, X_ {n} = x_ {n}).}

Deoarece observațiile sunt independente, cele de mai sus pot fi scrise ca:

{\frac {H(\theta -x_{1})}{\theta }}\cdot {\frac {H(\theta -x_{2})}{\theta }}\cdot \cdots \cdot {\frac {H(\theta -x_{n})}{\theta }}

{\ displaystyle {\ frac {H (\ theta -x_ {1})} {\ theta}} \ cdot {\ frac {H (\ theta -x_ {2})} {\ theta}} \ cdot \ cdots \ cdot {\ frac {H (\ theta -x_ {n})} {\ theta}}}

{\ displaystyle {\ frac {H (\ theta -x_ {1})} {\ theta}} \ cdot {\ frac {H (\ theta -x_ {2})} {\ theta}} \ cdot \ cdots \ cdot {\ frac {H (\ theta -x_ {n})} {\ theta}}}

unde este

\ H(X)

{\ displaystyle \ H (X)}

{\ displaystyle \ H (X)}

este funcția Heaviside step . Acest lucru poate fi scris ca:

{\frac {H\left(\theta -\max(x_{i})\right)}{\theta ^{n}}}

{\ displaystyle {\ frac {H \ left (\ theta - \ max (x_ {i}) \ right)} {\ theta ^ {n}}}}

{\ displaystyle {\ frac {H \ left (\ theta - \ max (x_ {i}) \ right)} {\ theta ^ {n}}}}

astfel încât criteriul de factorizare să fie încă satisfăcut; tot în acest caz

\ h(X)=1

{\ displaystyle \ h (X) = 1}

{\ displaystyle \ h (X) = 1}

.

Teorema Rao-Blackwell

Întrucât distribuția condiționată a $\ X$ ${\ displaystyle \ X}$ $\ X$ Data $\ T(X)$ ${\ displaystyle \ T (X)}$ $\ T (X)$ nu depinde de $\ \vartheta$ ${\ displaystyle \ \ vartheta}$ $\ \ vartheta$ , acest lucru este valabil și pentru așteptarea condiționată a $\ g(X)$ ${\ displaystyle \ g (X)}$ ${\ displaystyle \ g (X)}$ Data $\ T(X)$ ${\ displaystyle \ T (X)}$ $\ T (X)$ , unde este $\ g(\cdot )$ ${\ displaystyle \ g (\ cdot)}$ ${\ displaystyle \ g (\ cdot)}$ este o funcție care îndeplinește condițiile de regularitate care asigură existența valorii așteptate . În consecință, această valoare condiționată așteptată este ea însăși o statistică și poate fi utilizată în scopuri de estimare. De sine $\ g(X)$ ${\ displaystyle \ g (X)}$ ${\ displaystyle \ g (X)}$ este orice fel de estimator pentru $\ \vartheta$ ${\ displaystyle \ \ vartheta}$ $\ \ vartheta$ , de obicei așteptarea condiționată $\ {\textrm {E}}\left[g(X)|T(X)\right]$ ${\ displaystyle \ {\ textrm {E}} \ left [g (X) | T (X) \ right]}$ ${\ displaystyle \ {\ textrm {E}} \ left [g (X) | T (X) \ right]}$ este un estimator mai bun . Un mod de a face această afirmație mai precisă este dat de teorema Rao-Blackwell . Este adesea posibil să se construiască un prim estimator de aproximare $\ g(X)$ ${\ displaystyle \ g (X)}$ ${\ displaystyle \ g (X)}$ , și apoi calculați valoarea condiționată așteptată , obținând un estimator care este, din diferite puncte de vedere, optim.

Elemente conexe

Alte proiecte

Wikționarul conține dicționarul lema « suficiență »

Portalul de matematică : accesați intrările Wikipedia care se ocupă de matematică