Metoda momentului (statistici)

Metoda momentelor din statistici este o metodă de cercetare a estimatorilor , introdusă în 1894 de Karl Pearson . ^[1] Conform metodei momentelor, un estimator trebuie să îndeplinească o condiție care caracterizează unul sau mai multe dintre momentele sale de eșantionare; în general, este necesară egalitatea între momentul eșantionului și omologul său, care nu este observabil, care caracterizează populația (de exemplu între media eșantionului și valoarea așteptată pentru populație), determinând estimatorul ca soluție a ecuației rezultate.

Metodă

Luați în considerare problema estimării $k$ ${\ displaystyle k}$ $k$ parametri necunoscuți $\theta _{1},\theta _{2},\dots ,\theta _{k}$ ${\ displaystyle \ theta _ {1}, \ theta _ {2}, \ dots, \ theta _ {k}}$ ${\ displaystyle \ theta _ {1}, \ theta _ {2}, \ dots, \ theta _ {k}}$ caracterizând distribuția probabilității $f_{W}(w;\theta )$ ${\ displaystyle f_ {W} (w; \ theta)}$ ${\ displaystyle f_ {W} (w; \ theta)}$ a variabilei aleatorii $W$ ${\ displaystyle W}$ $W$ . ^[2] Să presupunem că primul $k$ ${\ displaystyle k}$ $k$ momentele distribuției de mai sus pot fi exprimate în funcție de parametrii necunoscuți $\theta$ ${\ displaystyle \ theta}$ $\ theta$ :

\mu _{1}\equiv E[W]=g_{1}(\theta _{1},\theta _{2},\dots ,\theta _{k}),

{\ displaystyle \ mu _ {1} \ equiv E [W] = g_ {1} (\ theta _ {1}, \ theta _ {2}, \ dots, \ theta _ {k}),}

{\ displaystyle \ mu _ {1} \ equiv E [W] = g_ {1} (\ theta _ {1}, \ theta _ {2}, \ dots, \ theta _ {k}),}

\mu _{2}\equiv E[W^{2}]=g_{2}(\theta _{1},\theta _{2},\dots ,\theta _{k}),

{\ displaystyle \ mu _ {2} \ equiv E [W ^ {2}] = g_ {2} (\ theta _ {1}, \ theta _ {2}, \ dots, \ theta _ {k}), }

{\ displaystyle \ mu _ {2} \ equiv E [W ^ {2}] = g_ {2} (\ theta _ {1}, \ theta _ {2}, \ dots, \ theta _ {k}), }

\vdots

{\ displaystyle \ vdots}

{\ displaystyle \ vdots}

\mu _{k}\equiv E[W^{k}]=g_{k}(\theta _{1},\theta _{2},\dots ,\theta _{k}).

{\ displaystyle \ mu _ {k} \ equiv E [W ^ {k}] = g_ {k} (\ theta _ {1}, \ theta _ {2}, \ dots, \ theta _ {k}). }

{\ displaystyle \ mu _ {k} \ equiv E [W ^ {k}] = g_ {k} (\ theta _ {1}, \ theta _ {2}, \ dots, \ theta _ {k}). }

Să presupunem un eșantion de amplitudine $n$ ${\ displaystyle n}$ $n$ este extras, realizând valorile $w_{1},\dots ,w_{n}$ ${\ displaystyle w_ {1}, \ dots, w_ {n}}$ ${\ displaystyle w_ {1}, \ dots, w_ {n}}$ . Pentru $j=1,\dots ,k$ ${\ displaystyle j = 1, \ dots, k}$ ${\ displaystyle j = 1, \ dots, k}$ ,

{\hat {\mu }}_{j}={\frac {1}{n}}\sum _{i=1}^{n}w_{i}^{j}

{\ displaystyle {\ hat {\ mu}} _ {j} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} w_ {i} ^ {j}}

{\ displaystyle {\ hat {\ mu}} _ {j} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} w_ {i} ^ {j}}

este al j-lea eșantion moment, o estimare de $\mu _{j}$ ${\ displaystyle \ mu _ {j}}$ ${\ displaystyle \ mu _ {j}}$ . Estimatorul metodei momentelor pentru $\theta _{1},\theta _{2},\dots ,\theta _{k}$ ${\ displaystyle \ theta _ {1}, \ theta _ {2}, \ dots, \ theta _ {k}}$ ${\ displaystyle \ theta _ {1}, \ theta _ {2}, \ dots, \ theta _ {k}}$ indicat ca ${\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{k}$ ${\ displaystyle {\ hat {\ theta}} _ {1}, {\ hat {\ theta}} _ {2}, \ dots, {\ hat {\ theta}} _ {k}}$ ${\ displaystyle {\ hat {\ theta}} _ {1}, {\ hat {\ theta}} _ {2}, \ dots, {\ hat {\ theta}} _ {k}}$ este definit ca soluția (dacă există și este unică) a sistemului de ecuații:

{\hat {\mu }}_{1}=g_{1}({\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{k}),

{\ displaystyle {\ hat {\ mu}} _ {1} = g_ {1} ({\ hat {\ theta}} _ {1}, {\ hat {\ theta}} _ {2}, \ dots, {\ hat {\ theta}} _ {k}),}

{\ displaystyle {\ hat {\ mu}} _ {1} = g_ {1} ({\ hat {\ theta}} _ {1}, {\ hat {\ theta}} _ {2}, \ dots, {\ hat {\ theta}} _ {k}),}

{\hat {\mu }}_{2}=g_{2}({\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{k}),

{\ displaystyle {\ hat {\ mu}} _ {2} = g_ {2} ({\ hat {\ theta}} _ {1}, {\ hat {\ theta}} _ {2}, \ dots, {\ hat {\ theta}} _ {k}),}

{\ displaystyle {\ hat {\ mu}} _ {2} = g_ {2} ({\ hat {\ theta}} _ {1}, {\ hat {\ theta}} _ {2}, \ dots, {\ hat {\ theta}} _ {k}),}

\vdots

{\ displaystyle \ vdots}

{\ displaystyle \ vdots}

{\hat {\mu }}_{k}=g_{k}({\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{k}).

{\ displaystyle {\ hat {\ mu}} _ {k} = g_ {k} ({\ hat {\ theta}} _ {1}, {\ hat {\ theta}} _ {2}, \ dots, {\ hat {\ theta}} _ {k}).}

{\ displaystyle {\ hat {\ mu}} _ {k} = g_ {k} ({\ hat {\ theta}} _ {1}, {\ hat {\ theta}} _ {2}, \ dots, {\ hat {\ theta}} _ {k}).}

Exemple

Consideră-te campion $\ \left\{x_{i}\right\}_{i=1}^{n}$ ${\ displaystyle \ \ left \ {x_ {i} \ right \} _ {i = 1} ^ {n}}$ $\ \ left \ {x_ {i} \ right \} _ {i = 1} ^ {n}$ variabilelor aleatorii distribuite identic și având o distribuțiegaussiană :

\ f_{X_{i}}(x_{i})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left\{-{\frac {1}{2}}\left({\frac {x_{i}-\mu }{\sigma }}\right)^{2}\right\}

{\ displaystyle \ f_ {X_ {i}} (x_ {i}) = {\ frac {1} {\ sqrt {2 \ pi \ sigma ^ {2}}}} \ exp \ left \ {- {\ frac {1} {2}} \ left ({\ frac {x_ {i} - \ mu} {\ sigma}} \ right) ^ {2} \ right \}}

{\ displaystyle \ f_ {X_ {i}} (x_ {i}) = {\ frac {1} {\ sqrt {2 \ pi \ sigma ^ {2}}}} \ exp \ left \ {- {\ frac {1} {2}} \ left ({\ frac {x_ {i} - \ mu} {\ sigma}} \ right) ^ {2} \ right \}}

Amintindu-mi că:

$\ \sigma ^{2}={\textrm {var}}(x_{i})={\textrm {E}}[x_{i}^{2}]-({\textrm {E}}[x_{i}])^{2}$ ${\ displaystyle \ \ sigma ^ {2} = {\ textrm {var}} (x_ {i}) = {\ textrm {E}} [x_ {i} ^ {2}] - ({\ textrm {E} } [x_ {i}]) ^ {2}}$ ${\ displaystyle \ \ sigma ^ {2} = {\ textrm {var}} (x_ {i}) = {\ textrm {E}} [x_ {i} ^ {2}] - ({\ textrm {E} } [x_ {i}]) ^ {2}}$

vrem să determinăm estimatorii pentru parametri $\ \mu$ ${\ displaystyle \ \ mu}$ $\ \ mu$ Și $\ \sigma ^{2}$ ${\ displaystyle \ \ sigma ^ {2}}$ $\ \ sigma ^ {{2}}$ .

Folosind metoda momentelor, este necesar ca:

- momentele eșantionului de ordine <3 sunt egale cu omologii lor teoretici;

- valoarea așteptată comună a $\ x_{i}$ ${\ displaystyle \ x_ {i}}$ $\ x_ {i}$ , $\ {\textrm {E}}[x_{i}]=\mu$ ${\ displaystyle \ {\ textrm {E}} [x_ {i}] = \ mu}$ ${\ displaystyle \ {\ textrm {E}} [x_ {i}] = \ mu}$ ;

- momentul comenzii 2 $\ {\textrm {E}}[x_{i}^{2}]=\sigma ^{2}+({\textrm {E}}[x_{i}])^{2}$ ${\ displaystyle \ {\ textrm {E}} [x_ {i} ^ {2}] = \ sigma ^ {2} + ({\ textrm {E}} [x_ {i}]) ^ {2}}$ ${\ displaystyle \ {\ textrm {E}} [x_ {i} ^ {2}] = \ sigma ^ {2} + ({\ textrm {E}} [x_ {i}]) ^ {2}}$ :

\ \left\{{\begin{matrix}n^{-1}\sum _{i}x_{i}&=&{\hat {\mu }}\\n^{-1}\sum _{i}x_{i}^{2}&=&{\hat {\sigma }}^{2}+{\hat {\mu }}^{2}\end{matrix}}\right.

{\ displaystyle \ \ left \ {{\ begin {matrix} n ^ {- 1} \ sum _ {i} x_ {i} & = & {\ hat {\ mu}} \\ n ^ {- 1} \ sum _ {i} x_ {i} ^ {2} & = & {\ hat {\ sigma}} ^ {2} + {\ hat {\ mu}} ^ {2} \ end {matrix}} \ right. }

{\ displaystyle \ \ left \ {{\ begin {matrix} n ^ {- 1} \ sum _ {i} x_ {i} & = & {\ hat {\ mu}} \\ n ^ {- 1} \ sum _ {i} x_ {i} ^ {2} & = & {\ hat {\ sigma}} ^ {2} + {\ hat {\ mu}} ^ {2} \ end {matrix}} \ right. }

Din prima ecuație rezultă că estimatorul pentru parametrul valorii așteptate este media eșantionului. Înlocuind această expresie în a doua ecuație, avem:

\ {\hat {\sigma }}^{2}={\frac {1}{n}}\sum _{i}x_{i}^{2}-{\hat {\mu }}^{2}={\frac {1}{n}}\left(\sum _{i}x_{i}^{2}-n{\hat {\mu }}^{2}\right)={\frac {1}{n}}\sum _{i}\left(x_{i}-{\hat {\mu }}\right)^{2}

{\ displaystyle \ {\ hat {\ sigma}} ^ {2} = {\ frac {1} {n}} \ sum _ {i} x_ {i} ^ {2} - {\ hat {\ mu}} ^ {2} = {\ frac {1} {n}} \ left (\ sum _ {i} x_ {i} ^ {2} -n {\ hat {\ mu}} ^ {2} \ right) = {\ frac {1} {n}} \ sum _ {i} \ left (x_ {i} - {\ hat {\ mu}} \ right) ^ {2}}

{\ displaystyle \ {\ hat {\ sigma}} ^ {2} = {\ frac {1} {n}} \ sum _ {i} x_ {i} ^ {2} - {\ hat {\ mu}} ^ {2} = {\ frac {1} {n}} \ left (\ sum _ {i} x_ {i} ^ {2} -n {\ hat {\ mu}} ^ {2} \ right) = {\ frac {1} {n}} \ sum _ {i} \ left (x_ {i} - {\ hat {\ mu}} \ right) ^ {2}}

Este interesant de observat că aceștia sunt aceiași estimatori obținuți cu metoda maximă probabilitate .

Pentru evitarea îndoielii, trebuie remarcat faptul că cele două metode de cercetare a estimatorilor nu conduc neapărat la identificarea aceluiași estimatori în condiții mai generale.

Pentru a ilustra proprietățile estimatorilor tocmai derivați, se observă că este imediat să se verifice corectitudinea $\ {\hat {\mu }}$ ${\ displaystyle \ {\ hat {\ mu}}}$ $\ \ hat {\ mu}$ :

\ {\textrm {E}}[{\hat {\mu }}]={\textrm {E}}\left[{\frac {1}{n}}\sum _{i=1}^{n}x_{i}\right]={\frac {1}{n}}\sum _{i=1}^{n}{\textrm {E}}[x_{i}]=\mu

{\ displaystyle \ {\ textrm {E}} [{\ hat {\ mu}}] = {\ textrm {E}} \ left [{\ frac {1} {n}} \ sum _ {i = 1} ^ {n} x_ {i} \ right] = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} {\ textrm {E}} [x_ {i}] = \ mu }

\ \ textrm {E} [\ hat {\ mu}] = \ textrm {E} \ left [\ frac {1} {n} \ sum_ {i = 1} ^ {n} x_ {i} \ right] = \ frac {1} {n} \ sum_ {i = 1} ^ {n} \ textrm {E} [x_ {i}] = \ mu

Pe de altă parte, $\ {\hat {\sigma }}^{2}$ ${\ displaystyle \ {\ hat {\ sigma}} ^ {2}}$ $\ \ hat {\ sigma} ^ {2}$ nu se bucură de această proprietate. Amintindu-mi că:

\ \sum _{i}(x_{i}-\mu )^{2}=\sum _{i}(x_{i}-{\hat {\mu }})^{2}-n({\hat {\mu }}-\mu )^{2}

{\ displaystyle \ \ sum _ {i} (x_ {i} - \ mu) ^ {2} = \ sum _ {i} (x_ {i} - {\ hat {\ mu}}) ^ {2} - n ({\ hat {\ mu}} - \ mu) ^ {2}}

{\ displaystyle \ \ sum _ {i} (x_ {i} - \ mu) ^ {2} = \ sum _ {i} (x_ {i} - {\ hat {\ mu}}) ^ {2} - n ({\ hat {\ mu}} - \ mu) ^ {2}}

rezultă că:

\ {\textrm {E}}[{\hat {\sigma }}^{2}]={\frac {1}{n}}{\textrm {E}}\left(\sum _{i=1}^{n}(x_{i}-{\hat {\mu }})^{2}\right)={\frac {1}{n}}{\textrm {E}}\left[\sum _{i}(x_{i}-\mu )^{2}-n({\hat {\mu }}-\mu )^{2}\right]={\frac {n-1}{n}}\sigma ^{2}

{\ displaystyle \ {\ textrm {E}} [{\ hat {\ sigma}} ^ {2}] = {\ frac {1} {n}} {\ textrm {E}} \ left (\ sum _ { i = 1} ^ {n} (x_ {i} - {\ hat {\ mu}}) ^ {2} \ right) = {\ frac {1} {n}} {\ textrm {E}} \ left [\ sum _ {i} (x_ {i} - \ mu) ^ {2} -n ({\ hat {\ mu}} - \ mu) ^ {2} \ right] = {\ frac {n-1 } {n}} \ sigma ^ {2}}

\ \ textrm {E} [\ hat {\ sigma} ^ {2}] = \ frac {1} {n} \ textrm {E} \ left (\ sum_ {i = 1} ^ {n} (x_ {i } - \ hat {\ mu}) ^ {2} \ right) = \ frac {1} {n} \ textrm {E} \ left [\ sum_ {i} (x_ {i} - \ mu) ^ {2 } -n (\ hat {\ mu} - \ mu) ^ {2} \ right] = \ frac {n-1} {n} \ sigma ^ {2}

Asa de $\ {\hat {\sigma }}^{2}$ ${\ displaystyle \ {\ hat {\ sigma}} ^ {2}}$ $\ \ hat {\ sigma} ^ {2}$ nu este un estimator corect ; un astfel de estimator ar fi dat de statistici:

\ {\hat {s}}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(x_{i}-{\hat {\mu }})^{2}

{\ displaystyle \ {\ hat {s}} ^ {2} = {\ frac {1} {n-1}} \ sum _ {i = 1} ^ {n} (x_ {i} - {\ hat { \ mu}}) ^ {2}}

\ \ hat {s} ^ {2} = \ frac {1} {n-1} \ sum_ {i = 1} ^ {n} (x_ {i} - \ hat {\ mu}) ^ {2}

Pe de altă parte, merită menționat acest lucru $\ {\hat {\sigma }}^{2}$ ${\ displaystyle \ {\ hat {\ sigma}} ^ {2}}$ $\ \ hat {\ sigma} ^ {2}$ este totuși un estimator corect asimptotic ; intr-adevar:

\ \lim _{n\rightarrow \infty }{\textrm {E}}[{\hat {\sigma }}^{2}]=\lim _{n\rightarrow \infty }{\frac {n-1}{n}}\sigma ^{2}=\sigma ^{2}

{\ displaystyle \ \ lim _ {n \ rightarrow \ infty} {\ textrm {E}} [{\ hat {\ sigma}} ^ {2}] = \ lim _ {n \ rightarrow \ infty} {\ frac { n-1} {n}} \ sigma ^ {2} = \ sigma ^ {2}}

\ \ lim_ {n \ rightarrow \ infty} \ textrm {E} [\ hat {\ sigma} ^ {2}] = \ lim_ {n \ rightarrow \ infty} \ frac {n-1} {n} \ sigma ^ {2} = \ sigma ^ {2}

Este important în Metoda Momentului să se verifice Coerența estimatorului construit, deoarece este una dintre cerințele necesare pentru a accepta (sau a respinge, dacă este inconsecvent) un potențial estimator. Pentru ca un estimator să fie consecvent, limita pentru n care tinde la infinit al varianței (obținută prin operatorul Var []) al estimatorului trebuie să fie egală cu 0.

Avantajele și dezavantajele metodei momentelor

În mai multe privințe, metoda momentelor a fost înlocuită de metoda de maximă probabilitate a lui Fisher , deoarece estimatorii de maximă probabilitate sunt mai eficienți , adică astfel încât estimările sunt mai susceptibile de a fi apropiate de valorile estimate.

Pe de altă parte, ecuațiile metodei probabilității maxime sunt adesea intratabile, dacă nu numeric, în timp ce metoda estimatorilor momentului poate fi rapid calculată analitic.

Metoda estimărilor momentului poate fi folosită și ca punct de plecare pentru procedurile numerice care vizează determinarea estimatorilor de maximă probabilitate , de exemplu ca punct de plecare al metodei Newton-Raphson .

În unele cazuri, rare cu eșantioane mari, dar nu rare în cazul eșantioanelor mici, estimările obținute prin metoda momentului se află în afara spațiului parametrilor și, prin urmare, nu sunt fiabile. Această problemă nu apare niciodată în cazul estimărilor de maximă probabilitate . Mai mult, este posibil ca metoda estimatorilor momentului să nu fie suficiente statistici , adică să nu reprezinte în mod adecvat toate informațiile conținute în eșantion.

Notă

^ ( EN ) și Alastair R. Hall, Metoda generalizată a momentelor , Oxford University Press, 2005, p. 6.
^ KO Bowman și LR Shenton, "Estimator: Method of Moments", pp. 2092-2098, Enciclopedia științelor statistice , Wiley (1998).

Bibliografie

DC Boes, FA Graybill, AM Mood (1988), Introducere în statistici , McGraw-Hill Libri Italia, ISBN 88-386-0661-7 , textul de referință pentru fundamentele statisticii matematice; conține mai multe capitole despre metodele de căutare a estimatorilor .
A. Boggio, G. Borello (2012), Statistics 2: Statistical Inference, Interpolation and Regression, editor Petrini, ISBN 978-88-494-0988-8 , extindere de prof. Paola Ranzani.

Elemente conexe

Portalul Economiei

Portalul de statistici

[1] ( EN ) și Alastair R. Hall, Metoda generalizată a momentelor , Oxford University Press, 2005, p. 6.

[2] KO Bowman și LR Shenton, "Estimator: Method of Moments", pp. 2092-2098, Enciclopedia științelor statistice , Wiley (1998).

[1]

[2]