Cele mai mici pătrate generalizate

Metoda generalizată a celor mai mici pătrate Aitken permite estimarea unui model liniar , sub ipoteze mai generale decât cele ale modelului clasic de regresie liniară multivariată.

De ce presupuneri mai generale?

Pe baza criteriului aparatului de ras al lui Occam , formularea unor ipoteze mai generale prezintă un cost din punct de vedere al tractabilității unui model, prin urmare se preferă în general să nu se sacrifice simplitatea și eleganța modelului clasic de regresie liniară, făcând ipoteze mai generale. În alte cazuri, precum exemplele următoare, există motive întemeiate care fac necesară formularea unor ipoteze mai puțin restrictive.

Despre absența / prezența corelației în perturbări: în contextul analizei seriilor de date istorice este rezonabil să ne așteptăm că există o anumită relație între observațiile făcute în instanțele ulterioare; de exemplu: evoluția ratei natalității într-o anumită zonă geografică, tendința în timp a unui semnal electric sau randamentele unui stoc;
În ceea ce privește homoskedasticitatea / heteroskedasticitatea tulburărilor: unde sunt prelevate probe unități statistice intrinsec eterogene, este rezonabil să ne așteptăm ca varianța tulburării să poată varia de la observare la observare; de exemplu: analiza consumului unui eșantion de gospodării sau a producției unui eșantion de întreprinderi, studiul incidenței unei boli transmisibile genetic într-un eșantion de regiuni.

Limitele modelului clasic de regresie liniară

Clasic de regresie liniară Modelul impune ipoteze relativ restrictive asupra structurii varianța - covarianței perturbațiilor matricei $\ \varepsilon$ ${\ displaystyle \ \ varepsilon}$ $\ \ varepsilon$ modelului:

$\ y=X\beta +\varepsilon$ ${\ displaystyle \ y = X \ beta + \ varepsilon}$ $\ y = X \ beta + \ varepsilon$

În special, se presupune că perturbările au valoarea zero așteptată : $\ {\textrm {E}}[\varepsilon ]=0$ ${\ displaystyle \ {\ textrm {E}} [\ varepsilon] = 0}$ $\ {\ textrm {E}} [\ varepsilon] = 0$ , precum și ipoteze:

Absența corelației : $\ {\textrm {E}}[\varepsilon _{i}\varepsilon _{j}]=0\ \forall j\neq i$ ${\ displaystyle \ {\ textrm {E}} [\ varepsilon _ {i} \ varepsilon _ {j}] = 0 \ \ forall j \ neq i}$ $\ {\ textrm {E}} [\ varepsilon _ {{i}} \ varepsilon _ {{j}}] = 0 \ \ forall j \ neq i$ ;
Homoskedasticitate: $\ {\textrm {E}}[\varepsilon _{i}^{2}]=\sigma ^{2}\ \forall i$ ${\ displaystyle \ {\ textrm {E}} [\ varepsilon _ {i} ^ {2}] = \ sigma ^ {2} \ \ forall i}$ $\ {\ textrm {E}} [\ varepsilon _ {{i}} ^ {{2}}] = \ sigma ^ {{2}} \ \ forall i$ ;

aceste ipoteze pot fi scrise sintetic, în notație matricială, ca:

\ {\textrm {E}}[\varepsilon \varepsilon ']=\sigma ^{2}I

{\ displaystyle \ {\ textrm {E}} [\ varepsilon \ varepsilon '] = \ sigma ^ {2} I}

\ {\ textrm {E}} [\ varepsilon \ varepsilon '] = \ sigma ^ {{2}} I

unde este $\ I$ ${\ displaystyle \ I}$ $\ Eu$ denotă o matrice identitară de ordinea adecvată. Luați în considerare o structură mai generală, cum ar fi:

\ {\textrm {E}}[\varepsilon \varepsilon ']=\sigma ^{2}\Omega

{\ displaystyle \ {\ textrm {E}} [\ varepsilon \ varepsilon '] = \ sigma ^ {2} \ Omega}

\ {\ textrm {E}} [\ varepsilon \ varepsilon '] = \ sigma ^ {{2}} \ Omega

unde este $\ \Omega$ ${\ displaystyle \ \ Omega}$ $\ \ Omega$ este orice matrice definitivă pozitivă . Aceasta înseamnă admiterea posibilității de corelare a tulburărilor și a heteroskedasticității . Luați în considerare, prin urmare, estimatorul celor mai mici pătrate obișnuite (OLS, din English Ordinary Least Squares ) derivat în contextul modelului clasic de regresie liniară :

\ {\hat {\beta }}_{OLS}=(X'X)^{-1}X'y

{\ displaystyle \ {\ hat {\ beta}} _ {OLS} = (X'X) ^ {- 1} X'y}

\ {\ hat {\ beta}} _ {{OLS}} = (X'X) ^ {{- 1}} X'y

Vrem să evaluăm proprietățile statistice ale $\ {\hat {\beta }}_{OLS}$ ${\ displaystyle \ {\ hat {\ beta}} _ {OLS}}$ $\ {\ hat {\ beta}} _ {{OLS}}$ sub ipotezele mai generale expuse mai sus. Estimatorul se bucură în continuare de proprietatea corectitudinii :

\ {\textrm {E}}\left[{\hat {\beta }}_{OLS}\right]={\textrm {E}}\left[\beta +(X'X)^{-1}X'\varepsilon \right]=\beta

{\ displaystyle \ {\ textrm {E}} \ left [{\ hat {\ beta}} _ {OLS} \ right] = {\ textrm {E}} \ left [\ beta + (X'X) ^ { -1} X '\ varepsilon \ right] = \ beta}

\ {\ textrm {E}} \ left [{\ hat {\ beta}} _ {{OLS}} \ right] = {\ textrm {E}} \ left [\ beta + (X'X) ^ {{ -1}} X '\ varepsilon \ right] = \ beta

În ceea ce privește matricea varianță -covarianță a $\ {\hat {\beta }}_{OLS}$ ${\ displaystyle \ {\ hat {\ beta}} _ {OLS}}$ $\ {\ hat {\ beta}} _ {{OLS}}$ , avem:

\ \Sigma ={\textrm {E}}\left[\left({\hat {\beta }}_{OLS}-\beta \right)\left({\hat {\beta }}_{OLS}-\beta \right)'\right]=(X'X)^{-1}X'{\textrm {E}}(\varepsilon \varepsilon ')X(X'X)^{-1}=

{\ displaystyle \ \ Sigma = {\ textrm {E}} \ left [\ left ({\ hat {\ beta}} _ {OLS} - \ beta \ right) \ left ({\ hat {\ beta}} _ {OLS} - \ beta \ right) '\ right] = (X'X) ^ {- 1} X' {\ textrm {E}} (\ varepsilon \ varepsilon ') X (X'X) ^ {- 1 } =}

\ \ Sigma = {\ textrm {E}} \ left [\ left ({\ hat {\ beta}} _ {{OLS}} - \ beta \ right) \ left ({\ hat {\ beta}} _ { {OLS}} - \ beta \ right) '\ right] = (X'X) ^ {{- 1}} X' {\ textrm {E}} (\ varepsilon \ varepsilon ') X (X'X) ^ {{-1}} =

\ =\sigma ^{2}(X'X)^{-1}X'\Omega X(X'X)^{-1}

{\ displaystyle \ = \ sigma ^ {2} (X'X) ^ {- 1} X '\ Omega X (X'X) ^ {- 1}}

\ = \ sigma ^ {{2}} (X'X) ^ {{- 1}} X '\ Omega X (X'X) ^ {{- 1}}

Amintiți-vă că matricea varianță - varianță a $\ {\hat {\beta }}_{OLS}$ ${\ displaystyle \ {\ hat {\ beta}} _ {OLS}}$ $\ {\ hat {\ beta}} _ {{OLS}}$ , sub ipotezele modelului clasic de regresie liniară , este dat de $\ \Sigma _{OLS}=\sigma ^{2}(X'X)^{-1}$ ${\ displaystyle \ \ Sigma _ {OLS} = \ sigma ^ {2} (X'X) ^ {- 1}}$ $\ \ Sigma _ {{OLS}} = \ sigma ^ {{2}} (X'X) ^ {{- 1}}$ . În general, nu este posibil să se stabilească dacă $\ \Sigma$ ${\ displaystyle \ \ Sigma}$ $\ \ Sigma$ este mai mare sau mai mică decât $\ \Sigma _{OLS}$ ${\ displaystyle \ \ Sigma _ {OLS}}$ $\ \ Sigma _ {{OLS}}$ (de exemplu, în sensul teoremei lui Gauss-Markov ), deoarece acest lucru depinde de $\ \Omega$ ${\ displaystyle \ \ Omega}$ $\ \ Omega$ , care este în general necunoscut. Cu toate acestea, este rezonabil să ne așteptăm la estimator $\ {\hat {\beta }}_{OLS}$ ${\ displaystyle \ {\ hat {\ beta}} _ {OLS}}$ $\ {\ hat {\ beta}} _ {{OLS}}$ nu este, în acest caz, optim în sensul stabilit de teorema Gauss-Markov sub ipotezele modelului clasic.

Estimator generalizat al celor mai mici pătrate

În conformitate cu ipotezele generale prezentate mai sus, este posibil să se demonstreze că optimă estimatorul este generalizată mai mici pătrate estimatorul (sau GLS, din limba engleză generalizat celor mai mici pătrate) de Aitken :

\ {\hat {\beta }}_{GLS}=(X'\Omega ^{-1}X)^{-1}X'\Omega ^{-1}y

{\ displaystyle \ {\ hat {\ beta}} _ {GLS} = (X '\ Omega ^ {- 1} X) ^ {- 1} X' \ Omega ^ {- 1} y}

\ {\ hat {\ beta}} _ {{GLS}} = (X '\ Omega ^ {{- 1}} X) ^ {{- 1}} X' \ Omega ^ {{- 1}} y

Din punct de vedere euristic, se poate spune că, datorită termenilor $\ \Omega ^{-1}$ ${\ displaystyle \ \ Omega ^ {- 1}}$ $\ \ Omega ^ {{- 1}}$ în expresia de mai sus, estimatorul atribuie o pondere mai mare observațiilor caracterizate printr-o varianță mai mică, care, prin urmare, trebuie considerate mai „fiabile”.

Derivarea estimatorului GLS

Estimatorul $\ {\hat {\beta }}_{GLS}$ ${\ displaystyle \ {\ hat {\ beta}} _ {GLS}}$ $\ {\ hat {\ beta}} _ {{GLS}}$ poate fi interpretat ca un estimator OLS bazat pe variabile transformate. De fapt, presupunem că există o matrice $\ L$ ${\ displaystyle \ L}$ $\ L$ nu singular astfel încât:

\ \Omega ^{-1}=L'L

{\ displaystyle \ \ Omega ^ {- 1} = L'L}

\ \ Omega ^ {{- 1}} = L.

astfel încât $\ \Omega =L^{-1}(L')^{-1}$ ${\ displaystyle \ \ Omega = L ^ {- 1} (L ') ^ {- 1}}$ $\ \ Omega = L ^ {{- 1}} (L ') ^ {{- 1}}$ . Prin multiplicarea ambilor membri ai $\ y=X\beta +\varepsilon$ ${\ displaystyle \ y = X \ beta + \ varepsilon}$ $\ y = X \ beta + \ varepsilon$ pentru $\ L$ ${\ displaystyle \ L}$ $\ L$ avem modelul în variabilele transformate:

\ {\tilde {y}}=Ly={\tilde {X}}\beta +{\tilde {\varepsilon }}=L(X\beta +\varepsilon )

{\ displaystyle \ {\ tilde {y}} = Ly = {\ tilde {X}} \ beta + {\ tilde {\ varepsilon}} = L (X \ beta + \ varepsilon)}

\ {\ tilde {y}} = Ly = {\ tilde {X}} \ beta + {\ tilde {\ varepsilon}} = L (X \ beta + \ varepsilon)

Se remarcă imediat că:

\ {\textrm {E}}[{\tilde {\varepsilon }}]=0

{\ displaystyle \ {\ textrm {E}} [{\ tilde {\ varepsilon}}] = 0}

\ {\ textrm {E}} [{\ tilde {\ varepsilon}}] = 0

\ {\textrm {E}}[{\tilde {\varepsilon }}{\tilde {\varepsilon }}']=\sigma ^{2}L\Omega L'=\sigma ^{2}LL^{-1}(L')^{-1}L'=\sigma ^{2}I

{\ displaystyle \ {\ textrm {E}} [{\ tilde {\ varepsilon}} {\ tilde {\ varepsilon}} '] = \ sigma ^ {2} L \ Omega L' = \ sigma ^ {2} LL ^ {- 1} (L ') ^ {- 1} L' = \ sigma ^ {2} I}

\ {\ textrm {E}} [{\ tilde {\ varepsilon}} {\ tilde {\ varepsilon}} '] = \ sigma ^ {{2}} L \ Omega L' = \ sigma ^ {{2}} LL ^ {{- 1}} (L ') ^ {{- 1}} L' = \ sigma ^ {{2}} I

Prin urmare, modelul din variabilele transformate testează ipotezele modelului liniar clasic . Prin urmare, se folosește estimatorul OLS:

\ {\hat {\beta }}=({\tilde {X}}'{\tilde {X}})^{-1}{\tilde {X}}'{\tilde {y}}=(X'L'LX)^{-1}X'L'Ly=(X'\Omega ^{-1}X)^{-1}X'\Omega ^{-1}y

{\ displaystyle \ {\ hat {\ beta}} = ({\ tilde {X}} '{\ tilde {X}}) ^ {- 1} {\ tilde {X}}' {\ tilde {y}} = (X'L'LX) ^ {- 1} X'L'Ly = (X '\ Omega ^ {- 1} X) ^ {- 1} X' \ Omega ^ {- 1} y}

\ {\ hat {\ beta}} = ({\ tilde {X}} '{\ tilde {X}}) ^ {{- 1}} {\ tilde {X}}' {\ tilde {y}} = (X'L'LX) ^ {{- 1}} X'L'Ly = (X '\ Omega ^ {{- 1}} X) ^ {{- 1}} X' \ Omega ^ {{- 1 }} y

Ultima expresie nu este alta decât GLS sau estimatorul generalizat al celor mai mici pătrate.

Proprietățile estimatorului GLS

Estimatorul $\ {\hat {\beta }}_{GLS}$ ${\ displaystyle \ {\ hat {\ beta}} _ {GLS}}$ $\ {\ hat {\ beta}} _ {{GLS}}$ se bucură, precum și $\ {\hat {\beta }}_{OLS}$ ${\ displaystyle \ {\ hat {\ beta}} _ {OLS}}$ $\ {\ hat {\ beta}} _ {{OLS}}$ , a proprietății de corectitudine :

\ {\textrm {E}}\left[{\hat {\beta }}_{GLS}\right]={\textrm {E}}\left[\beta +(X'\Omega ^{-1}X)^{-1}X'\Omega ^{-1}\varepsilon \right]=\beta

{\ displaystyle \ {\ textrm {E}} \ left [{\ hat {\ beta}} _ {GLS} \ right] = {\ textrm {E}} \ left [\ beta + (X '\ Omega ^ { -1} X) ^ {- 1} X '\ Omega ^ {- 1} \ varepsilon \ right] = \ beta}

\ {\ textrm {E}} \ left [{\ hat {\ beta}} _ {{GLS}} \ right] = {\ textrm {E}} \ left [\ beta + (X '\ Omega ^ {{ -1}} X) ^ {{- 1}} X '\ Omega ^ {{- 1}} \ varepsilon \ right] = \ beta

Matricea sa de varianță - variație este dată și de:

\ {\textrm {E}}\left[\left({\hat {\beta }}_{GLS}-\beta \right)\left({\hat {\beta }}_{GLS}-\beta \right)'\right]=(X'\Omega ^{-1}X)^{-1}X'\Omega ^{-1}{\textrm {E}}(\varepsilon \varepsilon ')\Omega ^{-1}X(X'\Omega ^{-1}X)^{-1}=

{\ displaystyle \ {\ textrm {E}} \ left [\ left ({\ hat {\ beta}} _ {GLS} - \ beta \ right) \ left ({\ hat {\ beta}} _ {GLS} - \ beta \ right) '\ right] = (X' \ Omega ^ {- 1} X) ^ {- 1} X '\ Omega ^ {- 1} {\ textrm {E}} (\ varepsilon \ varepsilon' ) \ Omega ^ {- 1} X (X '\ Omega ^ {- 1} X) ^ {- 1} =}

\ {\ textrm {E}} \ left [\ left ({\ hat {\ beta}} _ {{GLS}} - \ beta \ right) \ left ({\ hat {\ beta}} _ {{GLS} } - \ beta \ right) '\ right] = (X' \ Omega ^ {{- 1}} X) ^ {{- 1}} X '\ Omega ^ {{- 1}} {\ textrm {E} } (\ varepsilon \ varepsilon ') \ Omega ^ {{- 1}} X (X' \ Omega ^ {{- 1}} X) ^ {{- 1}} =

\ =\sigma ^{2}(X'\Omega ^{-1}X)^{-1}

{\ displaystyle \ = \ sigma ^ {2} (X '\ Omega ^ {- 1} X) ^ {- 1}}

\ = \ sigma ^ {{2}} (X '\ Omega ^ {{- 1}} X) ^ {{- 1}}

Teorema lui Aitken afirmă că estimatorul $\ {\hat {\beta }}_{GLS}$ ${\ displaystyle \ {\ hat {\ beta}} _ {GLS}}$ $\ {\ hat {\ beta}} _ {{GLS}}$ este, în clasa estimatorilor liniari pentru modelul de regresie generalizată bazat pe ipotezele de mai sus, cel caracterizat de cea mai mică varianță în acest sens, estimatorul GLS este un estimator eficient .

Utilizarea estimatorului GLS

În aplicații generale, matricea varianță- varianță $\ \Omega$ ${\ displaystyle \ \ Omega}$ $\ \ Omega$ nu este cunoscut, deci estimatorul GLS nu este utilizabil direct, cel puțin în forma în care este prezentat mai sus.

Cunoașterea fenomenului particular studiat poate, totuși, sugera cercetătorilor indicii despre structura $\ \Omega$ ${\ displaystyle \ \ Omega}$ $\ \ Omega$ . De exemplu, cercetătorul se poate aștepta doar la heteroskedasticitate sau corelație în tulburări sau la ambele. Această cunoaștere a fenomenului, posibil combinată cu o analiză a cauzelor perturbărilor, permite identificarea unui estimator adecvat al matricei varianță- covarianță, $\ {\hat {\Omega }}$ ${\ displaystyle \ {\ hat {\ Omega}}}$ $\ {\ hat {\ Omega}}$ . În general, se caută un estimator care se bucură de proprietatea consistenței , adică astfel încât:

\ {\textrm {plim}}_{N\rightarrow \infty }\ {\hat {\Omega }}=\Omega

{\ displaystyle \ {\ textrm {plim}} _ {N \ rightarrow \ infty} \ {\ hat {\ Omega}} = \ Omega}

\ {\ textrm {plim}} _ {{N \ rightarrow \ infty}} \ {\ hat {\ Omega}} = \ Omega

unde este $\ N$ ${\ displaystyle \ N}$ $\ N$ indică numărul de observații e $\ {\textrm {plim}}$ ${\ displaystyle \ {\ textrm {plim}}}$ $\ {\ textrm {plim}}$ denotă convergența în probabilitate și

\ \lim _{N\rightarrow \infty }{\textrm {var}}\left({\hat {\Omega }}\right)=0

{\ displaystyle \ \ lim _ {N \ rightarrow \ infty} {\ textrm {var}} \ left ({\ hat {\ Omega}} \ right) = 0}

\ \ lim _ {{N \ rightarrow \ infty}} {\ textrm {var}} \ left ({\ hat {\ Omega}} \ right) = 0

În acest caz, estimatorul celor mai mici pătrate generalizate se numește, în limba engleză , estimatorul celor mai mici pătrate generalizate fezabile și este dat de:

\ {\hat {\beta }}_{FGLS}=(X'{\hat {\Omega }}^{-1}X)^{-1}X'{\hat {\Omega }}^{-1}y

{\ displaystyle \ {\ hat {\ beta}} _ {FGLS} = (X '{\ hat {\ Omega}} ^ {- 1} X) ^ {- 1} X' {\ hat {\ Omega}} ^ {- 1} y}

\ {\ hat {\ beta}} _ {{FGLS}} = (X '{\ hat {\ Omega}} ^ {{- 1}} X) ^ {{- 1}} X' {\ hat {\ Omega}} ^ {{- 1}} y

Proprietățile $\ {\hat {\beta }}_{FGLS}$ ${\ displaystyle \ {\ hat {\ beta}} _ {FGLS}}$ $\ {\ hat {\ beta}} _ {{FGLS}}$ sunt analoage cu cele ale $\ {\hat {\beta }}_{OLS}$ ${\ displaystyle \ {\ hat {\ beta}} _ {OLS}}$ $\ {\ hat {\ beta}} _ {{OLS}}$ Și $\ {\hat {\beta }}_{GLS}$ ${\ displaystyle \ {\ hat {\ beta}} _ {GLS}}$ $\ {\ hat {\ beta}} _ {{GLS}}$ cu toate acestea, acestea sunt de natură asimptotică.

Bibliografie

Aitken, AC (1935), Despre cele mai mici pătrate și combinații liniare de observații, Proceedings of the Royal Statistical Society 55 , 42-48; contribuția inițială a lui Aitken;
Davidson, J. (2000), Teoria econometrică , Blackwell, ISBN 0-631-21584-0 , specialist în masterat / doctorat în econometrie ; examinează riguros aspectele algebrice ale metodei lui Aitken (în engleză );
Greene, WH (2000), Econometric Analysis , Prentice-Hall, ISBN 0-13-013297-7 , din nou un manual de econometrie , propune metoda celor mai mici pătrate generalizate în contextul unei analize mai largi a modelului de regresie liniară respirație (în engleză ).

Elemente conexe

Portalul Economiei : accesați intrările Wikipedia care se ocupă de economie