Regresie liniara

Exemplu de regresie liniară cu o variabilă dependentă și una independentă

Regresia formalizează și rezolvă problema unei relații funcționale între variabile măsurate pe baza eșantionului de date extrase dintr-o populație infinită ipotetică. Galton a folosit inițial termenul ca sinonim pentru corelație , totuși astăzi analiza regresiei este asociată cu rezolvarea modelului liniar în statistici . Datorită versatilității lor, tehnicile de regresie liniară sunt utilizate în domeniul științelor aplicate : astronomie , chimie , geologie , biologie , fizică , inginerie , medicină , precum și în științele sociale : economie , lingvistică , psihologie și sociologie .

Mai formal, în statistici regresia liniară reprezintă o metodă de estimare a așteptării condiționate a unei variabile dependente sau endogene , $Da$ ${\ displaystyle Y}$ $Da$ , date fiind valorile altor variabile independente sau exogene , $X_{1},\ldots ,X_{k}$ ${\ displaystyle X_ {1}, \ ldots, X_ {k}}$ ${\ displaystyle X_ {1}, \ ldots, X_ {k}}$ : $\mathbb {E} [Y|X_{1},\ldots ,X_{k}]$ ${\ displaystyle \ mathbb {E} [Y | X_ {1}, \ ldots, X_ {k}]}$ ${\ displaystyle \ mathbb {E} [Y | X_ {1}, \ ldots, X_ {k}]}$ . Utilizarea termenilor endogen / exogen este uneori criticată, deoarece ar implica o noțiune de cauzalitate pe care nu o prevede existența unei regresii; în anumite contexte, ar provoca și confuzie, deoarece, de exemplu, conceptul de exogenitate în econometrie este definit formal prin ipoteza ortogonalității la baza proprietăților statistice ale regresiei liniare cu metoda celor mai mici pătrate.

Origini istorice

Prima, și încă populară, formă de regresie liniară este cea bazată pe metoda celor mai mici pătrate (vezi mai jos). Prima publicație care conține o aplicație cunoscută a metodei este datată 1805 , pe numele lui Adrien-Marie Legendre ; Carl Friedrich Gauss a elaborat independent aceeași metodă, publicându-și cercetările în 1809 . Deși Gauss a susținut că a dezvoltat metoda încă din 1795 , autoritatea aplicațiilor sale statistice este atribuită în mod normal lui Legendre ; același termen minime pătrate derivă din expresia franceză, folosită de Legendre , moindres carrés .

Atât Gauss, cât și Legendre aplică metoda problemei determinării, pe baza observațiilor astronomice, a orbitelor corpurilor cerești din jurul soarelui. Euler lucrase la aceeași problemă, cu puțin succes, în 1748 . În 1821 Gauss a publicat o dezvoltare ulterioară a metodei celor mai mici pătrate , propunând o primă versiune a ceea ce este acum cunoscut sub numele de teorema Gauss-Markov .

Originea termenului de regresie este documentată istoric. Expresia reversiune a fost utilizată în secolul al XIX-lea pentru a descrie un fenomen biologic, prin care descendenții unor indivizi excepționali tind în medie să aibă caracteristici mai puțin notabile decât cele ale părinților lor și mai asemănătoare cu cele ale strămoșilor mai îndepărtați. Francis Galton a studiat acest fenomen, aplicând termenul poate impropriu de regresie spre medie (sau mediocritate ).

Pentru Galton , expresia regresie are doar acest sens, limitat la domeniul biologic. Opera sa ( 1877 , 1885 ) a fost extinsă ulterior de Karl Pearson și George Udny Yule la un context statistic mai general ( 1897 , 1903 ); lucrările lui Pearson și Yule fac ipoteza că distribuția comună a variabilelor dependente și independente are o naturăgaussiană . Această ipoteză este mai târziu slăbită de Ronald Fisher , în lucrările din 1922 și 1925 . Fisher, în special, face ipoteza că distribuția condiționată a variabilei dependente este gaussiană, ceea ce nu implică neapărat că acesta este cazul distribuției comune a variabilelor dependente și independente. În acest sens, formularea lui Fisher este mai apropiată de cea a lui Gauss din 1821 .

Regresie liniară simplă

Definiție

Modelul de regresie liniară este: ^[1]

Y_{i}=\beta _{0}+\beta _{1}X_{i}+u_{i},

{\ displaystyle Y_ {i} = \ beta _ {0} + \ beta _ {1} X_ {i} + u_ {i},}

{\ displaystyle Y_ {i} = \ beta _ {0} + \ beta _ {1} X_ {i} + u_ {i},}

unde este:

$the$ ${\ displaystyle i}$ $the$ variază între observații, $i=1,\ldots ,n$ ${\ displaystyle i = 1, \ ldots, n}$ $i = 1, \ ldots, n$ ;
$Y_{i}$ ${\ displaystyle Y_ {i}}$ $Y_ {i}$ este variabila dependentă ;
$X_{i}$ ${\ displaystyle X_ {i}}$ $X_i$ este variabila independentă sau regresor ;
$\beta _{0}+\beta _{1}X$ ${\ displaystyle \ beta _ {0} + \ beta _ {1} X}$ $\ beta _ {0} + \ beta _ {1} X$ este linia de regresie sau funcția de regresie a populației ;
$\beta _{0}$ ${\ displaystyle \ beta _ {0}}$ $\ beta _ {0}$ este interceptarea liniei de regresie a populației;
$\beta _{1}$ ${\ displaystyle \ beta _ {1}}$ $\ beta _ {1}$ este coeficientul unghiular al liniei de regresie a populației;
$u_{i}$ ${\ displaystyle u_ {i}}$ $u _ {{i}}$ este eroarea statistică .

Are câteva ipoteze OLS unice.

Ilustrația metodei

O determinare este disponibilă pentru fiecare probă de observare $Da$ ${\ displaystyle Y}$ $Da$ și de $k$ ${\ displaystyle k}$ $k$ determinări nestochastice $X_{1},X_{2},\ldots ,X_{k}$ ${\ displaystyle X_ {1}, X_ {2}, \ ldots, X_ {k}}$ ${\ displaystyle X_ {1}, X_ {2}, \ ldots, X_ {k}}$ . Prin urmare, căutăm o relație liniară între variabilă $Da$ ${\ displaystyle Y}$ $Da$ si $k$ ${\ displaystyle k}$ $k$ variabile deterministe. O primă analiză poate fi realizată având în vedere un model simplu cu două variabile (în practică se presupune că $k$ ${\ displaystyle k}$ $k$ este egal cu $1$ ${\ displaystyle 1}$ $1$ ). Un exemplu tipic poate fi găsit din experiența economică având în vedere relația dintre consum ( $C.$ ${\ displaystyle C}$ $C.$ ) și venituri ( $Da$ ${\ displaystyle Y}$ $Da$ ). Căutând o relație funcțională în care consumul este „explicat” de venituri, putem folosi relația liniară:

C=f(Y)

{\ displaystyle C = f (Y)}

{\ displaystyle C = f (Y)}

relație generică care caracterizează consumul;

C=a+bY

{\ displaystyle C = a + bY}

{\ displaystyle C = a + bY}

relație liniară ;

unde este $la$ ${\ displaystyle a}$ $la$ reprezintă interceptarea e $b$ ${\ displaystyle b}$ $b$ panta liniei de interpolare.

Estimări ale parametrilor în cazul bivariat

Generalizarea problemei cu două variabile $X$ ${\ displaystyle x}$ $X$ Și $y$ ${\ displaystyle y}$ $y$ , vom scrie:

y_{i}=a+bh(x_{i})+\varepsilon _{i},

{\ displaystyle y_ {i} = a + bh (x_ {i}) + \ varepsilon _ {i},}

{\ displaystyle y_ {i} = a + bh (x_ {i}) + \ varepsilon _ {i},}

$h(x)$ ${\ displaystyle h (x)}$ $h (x)$ este o funcție generică a $X$ ${\ displaystyle x}$ $X$ și se presupune în mod obișnuit $h(x)=x$ ${\ displaystyle h (x) = x}$ ${\ displaystyle h (x) = x}$ . Punând această condiție, fără pierderea generalității, formula devine:

y_{i}=a+bx_{i}+\varepsilon _{i}.

{\ displaystyle y_ {i} = a + bx_ {i} + \ varepsilon _ {i}.}

{\ displaystyle y_ {i} = a + bx_ {i} + \ varepsilon _ {i}.}

De aici variabila dependentă $y$ ${\ displaystyle y}$ $y$ este „explicat” printr-o relație liniară a variabilei independente $X$ ${\ displaystyle x}$ $X$ (acesta este: $a+bx$ ${\ displaystyle a + bx}$ ${\ displaystyle a + bx}$ ) și o cantitate aleatorie $\varepsilon _{i}$ ${\ displaystyle \ varepsilon _ {i}}$ $\ varepsilon _ {i}$ .

Problema de regresie are ca rezultat determinarea $la$ ${\ displaystyle a}$ $la$ Și $b$ ${\ displaystyle b}$ $b$ pentru a exprima relația funcțională dintre $y$ ${\ displaystyle y}$ $y$ Și $X$ ${\ displaystyle x}$ $X$ . Pentru a valida alegerea coeficienților de semnificație statistică, este necesar să se facă câteva ipoteze asupra modelului de regresie liniară:

$X$ ${\ displaystyle x}$ $X$ este o variabilă deterministă;
$\mathbb {E} (\varepsilon _{i})=0;$ ${\ displaystyle \ mathbb {E} (\ varepsilon _ {i}) = 0;}$ ${\ displaystyle \ mathbb {E} (\ varepsilon _ {i}) = 0;}$
$\sigma ^{2}(\varepsilon _{i})$ ${\ displaystyle \ sigma ^ {2} (\ varepsilon _ {i})}$ ${\ displaystyle \ sigma ^ {2} (\ varepsilon _ {i})}$ constantă pentru fiecare $the;$ ${\ displaystyle i;}$ ${\ displaystyle i;}$
$\sigma (\varepsilon _{i};\varepsilon _{j})=0,\ \forall j\neq i.$ ${\ displaystyle \ sigma (\ varepsilon _ {i}; \ varepsilon _ {j}) = 0, \ \ forall j \ neq i.}$ ${\ displaystyle \ sigma (\ varepsilon _ {i}; \ varepsilon _ {j}) = 0, \ \ forall j \ neq i.}$

Având în vedere aceste ipoteze, se calculează coeficienții $la$ ${\ displaystyle a}$ $la$ Și $b$ ${\ displaystyle b}$ $b$ conform metodei celor mai mici pătrate (în engleză Ordinary Least Squares , sau OLS, de unde și referința la estimatorii obținuți mai jos ca estimatori OLS ) propusă de Gauss ; spus:

S=S(a,b)=\sum _{i=1}^{N}\varepsilon _{i}^{2}=\sum _{i=1}^{N}(y_{i}-a-bx_{i})^{2},

{\ displaystyle S = S (a, b) = \ sum _ {i = 1} ^ {N} \ varepsilon _ {i} ^ {2} = \ sum _ {i = 1} ^ {N} (y_ { i} -a-bx_ {i}) ^ {2},}

{\ displaystyle S = S (a, b) = \ sum _ {i = 1} ^ {N} \ varepsilon _ {i} ^ {2} = \ sum _ {i = 1} ^ {N} (y_ { i} -a-bx_ {i}) ^ {2},}

estimările se obțin prin rezolvarea:

\{a,b\}=\arg \min _{a,b}S(a,b)

{\ displaystyle \ {a, b \} = \ arg \ min _ {a, b} S (a, b)}

{\ displaystyle \ {a, b \} = \ arg \ min _ {a, b} S (a, b)}

Soluțiile sunt obținute prin echivalarea derivatelor parțiale de la zero $S.$ ${\ displaystyle S}$ $S.$ cu privire la $la$ ${\ displaystyle a}$ $la$ Și $b$ ${\ displaystyle b}$ $b$ :

{\frac {\partial S}{\partial a}}=-2\sum _{i=1}^{N}(y_{i}-a-bx_{i})=0,

{\ displaystyle {\ frac {\ partial S} {\ partial a}} = - 2 \ sum _ {i = 1} ^ {N} (y_ {i} -a-bx_ {i}) = 0,}

{\ displaystyle {\ frac {\ partial S} {\ partial a}} = - 2 \ sum _ {i = 1} ^ {N} (y_ {i} -a-bx_ {i}) = 0,}

{\frac {\partial S}{\partial b}}=-2\sum _{i=1}^{N}(y_{i}-a-bx_{i})x_{i}=0.

{\ displaystyle {\ frac {\ partial S} {\ partial b}} = - 2 \ sum _ {i = 1} ^ {N} (y_ {i} -a-bx_ {i}) x_ {i} = 0.}

{\ displaystyle {\ frac {\ partial S} {\ partial b}} = - 2 \ sum _ {i = 1} ^ {N} (y_ {i} -a-bx_ {i}) x_ {i} = 0.}

Unde este $Nu.$ ${\ displaystyle N}$ $Nu.$ denotă numărul de observații; urmează:

aN+b\sum _{i=1}^{N}x_{i}=\sum _{i=1}^{N}y_{i}

{\ displaystyle aN + b \ sum _ {i = 1} ^ {N} x_ {i} = \ sum _ {i = 1} ^ {N} y_ {i}}

aN + b \ sum _ {{i = 1}} ^ {{N}} x_ {i} = \ sum _ {{i = 1}} ^ {{N}} y_ {i}

a\sum _{i=1}^{N}x_{i}+b\sum _{i=1}^{N}x_{i}^{2}=\sum _{i=1}^{N}x_{i}y_{i}

{\ displaystyle a \ sum _ {i = 1} ^ {N} x_ {i} + b \ sum _ {i = 1} ^ {N} x_ {i} ^ {2} = \ sum _ {i = 1 } ^ {N} x_ {i} y_ {i}}

a \ sum _ {{i = 1}} ^ {{N}} x_ {i} + b \ sum _ {{i = 1}} ^ {{N}} x_ {i} ^ {2} = \ sum _ {{i = 1}} ^ {{N}} x_ {i} y_ {i}

din care se obțin soluțiile:

b={\frac {N\sum _{i}x_{i}y_{i}-\sum _{i}x_{i}\sum _{i}y_{i}}{N\sum _{i}x_{i}^{2}-(\sum _{i}x_{i})^{2}}}={\frac {S_{xy}}{S_{xx}}}={\frac {\sigma (x,y)}{\sigma ^{2}(x)}}

{\ displaystyle b = {\ frac {N \ sum _ {i} x_ {i} y_ {i} - \ sum _ {i} x_ {i} \ sum _ {i} y_ {i}} {N \ sum _ {i} x_ {i} ^ {2} - (\ sum _ {i} x_ {i}) ^ {2}}} = {\ frac {S_ {xy}} {S_ {xx}}} = { \ frac {\ sigma (x, y)} {\ sigma ^ {2} (x)}}}

b = {\ frac {N \ sum _ {i} x_ {i} y_ {i} - \ sum _ {i} x_ {i} \ sum _ {i} y_ {i}} {N \ sum _ {i } x_ {i} ^ {2} - (\ sum _ {i} x_ {i}) ^ {2}}} = {\ frac {S _ {{xy}}} {S _ {{xx}}} } = {\ frac {\ sigma (x, y)} {\ sigma ^ {2} (x)}}

a={\frac {\sum _{i}y_{i}\sum _{i}x_{i}^{2}-\sum _{i}x_{i}\sum _{i}x_{i}y_{i}}{N\sum _{i}x_{i}^{2}-(\sum _{i}x_{i})^{2}}}={\bar {y}}-b{\bar {x}}

{\ displaystyle a = {\ frac {\ sum _ {i} y_ {i} \ sum _ {i} x_ {i} ^ {2} - \ sum _ {i} x_ {i} \ sum _ {i} x_ {i} y_ {i}} {N \ sum _ {i} x_ {i} ^ {2} - (\ sum _ {i} x_ {i}) ^ {2}}} = {\ bar {y }} - b {\ bar {x}}}

a = {\ frac {\ sum _ {i} y_ {i} \ sum _ {i} x_ {i} ^ {2} - \ sum _ {i} x_ {i} \ sum _ {i} x_ {i } y_ {i}} {N \ sum _ {i} x_ {i} ^ {2} - (\ sum _ {i} x_ {i}) ^ {2}}} = {\ bar {y}} - b {\ bar {x}}

Pentru calculul efectiv al $la$ ${\ displaystyle a}$ $la$ Și $b$ ${\ displaystyle b}$ $b$ , putem introduce conceptul de medii aritmetice ${\bar {x}}$ ${\ displaystyle {\ bar {x}}}$ ${\ bar {x}}$ Și ${\bar {y}},$ ${\ displaystyle {\ bar {y}},}$ ${\ displaystyle {\ bar {y}},}$ valorile respectiv $x_{i}$ ${\ displaystyle x_ {i}}$ $x_i$ Și $y_{i},$ ${\ displaystyle y_ {i},}$ ${\ displaystyle y_ {i},}$ și conceptul de discrepanțe în valorile mijloacelor aritmetice, pentru care setarea:

x_{i}'=x_{i}-{\bar {x}},

{\ displaystyle x_ {i} '= x_ {i} - {\ bar {x}},}

{\ displaystyle x_ {i} '= x_ {i} - {\ bar {x}},}

y_{i}'=y_{i}-{\bar {y}},

{\ displaystyle y_ {i} '= y_ {i} - {\ bar {y}},}

{\ displaystyle y_ {i} '= y_ {i} - {\ bar {y}},}

avem:

\sum _{i=1}^{N}x_{i}'=0,

{\ displaystyle \ sum _ {i = 1} ^ {N} x_ {i} '= 0,}

{\ displaystyle \ sum _ {i = 1} ^ {N} x_ {i} '= 0,}

\sum _{i=1}^{N}y_{i}'=0.

{\ displaystyle \ sum _ {i = 1} ^ {N} y_ {i} '= 0.}

{\ displaystyle \ sum _ {i = 1} ^ {N} y_ {i} '= 0.}

Înlocuind în a doua ecuație a sistemelor, obținem următoarele:

b={\frac {N\sum _{i}(x_{i}'+{\bar {x}})(y_{i}'+{\bar {y}})-\sum _{i}(x_{i}'+{\bar {x}})\sum _{i}(y_{i}'+{\bar {y}})}{N\sum _{i}(x_{i}'+{\bar {x}})^{2}-(\sum _{i}(x_{i}'+{\bar {x}}))^{2}}}

{\ displaystyle b = {\ frac {N \ sum _ {i} (x_ {i} '+ {\ bar {x}}) (y_ {i}' + {\ bar {y}}) - \ sum _ {i} (x_ {i} '+ {\ bar {x}}) \ sum _ {i} (y_ {i}' + {\ bar {y}})} {N \ sum _ {i} (x_ {i} '+ {\ bar {x}}) ^ {2} - (\ sum _ {i} (x_ {i}' + {\ bar {x}})) ^ {2}}}}

{\ displaystyle b = {\ frac {N \ sum _ {i} (x_ {i} '+ {\ bar {x}}) (y_ {i}' + {\ bar {y}}) - \ sum _ {i} (x_ {i} '+ {\ bar {x}}) \ sum _ {i} (y_ {i}' + {\ bar {y}})} {N \ sum _ {i} (x_ {i} '+ {\ bar {x}}) ^ {2} - (\ sum _ {i} (x_ {i}' + {\ bar {x}})) ^ {2}}}}

={\frac {N\sum _{i}x_{i}'y_{i}'+N{\bar {x}}\sum _{i}y_{i}'+N{\bar {y}}\sum _{i}x_{i}'+N^{2}{\bar {x}}{\bar {y}}-(\sum _{i}x_{i}'+N{\bar {x}})(\sum _{i}y_{i}'+N{\bar {y}})}{N\sum _{i}(x_{i}'^{2}+2{\bar {x}}x_{i}'+{\bar {x}}^{2})-(\sum _{i}x_{i}'+N{\bar {x}})^{2}}}

{\ displaystyle = {\ frac {N \ sum _ {i} x_ {i} 'y_ {i}' + N {\ bar {x}} \ sum _ {i} y_ {i} '+ N {\ bar {y}} \ sum _ {i} x_ {i} '+ N ^ {2} {\ bar {x}} {\ bar {y}} - (\ sum _ {i} x_ {i}' + N {\ bar {x}}) (\ sum _ {i} y_ {i} '+ N {\ bar {y}})} {N \ sum _ {i} (x_ {i}' ^ {2} + 2 {\ bar {x}} x_ {i} '+ {\ bar {x}} ^ {2}) - (\ sum _ {i} x_ {i}' + N {\ bar {x}}) ^ {2}}}}

{\ displaystyle = {\ frac {N \ sum _ {i} x_ {i} 'y_ {i}' + N {\ bar {x}} \ sum _ {i} y_ {i} '+ N {\ bar {y}} \ sum _ {i} x_ {i} '+ N ^ {2} {\ bar {x}} {\ bar {y}} - (\ sum _ {i} x_ {i}' + N {\ bar {x}}) (\ sum _ {i} y_ {i} '+ N {\ bar {y}})} {N \ sum _ {i} (x_ {i}' ^ {2} + 2 {\ bar {x}} x_ {i} '+ {\ bar {x}} ^ {2}) - (\ sum _ {i} x_ {i}' + N {\ bar {x}}) ^ {2}}}}

={\frac {N\sum _{i}x_{i}'y_{i}'+N{\bar {x}}\sum _{i}y_{i}'+N{\bar {y}}\sum _{i}x_{i}'+N^{2}{\bar {x}}{\bar {y}}-(\sum _{i}x_{i}'+N{\bar {x}})(\sum _{i}y_{i}'+N{\bar {y}})}{N\sum _{i}x_{i}'^{2}+2N{\bar {x}}\sum _{i}x_{i}'+N\sum _{i}{\bar {x}}^{2}-(\sum _{i}x_{i}'+N{\bar {x}})^{2}}}

{\ displaystyle = {\ frac {N \ sum _ {i} x_ {i} 'y_ {i}' + N {\ bar {x}} \ sum _ {i} y_ {i} '+ N {\ bar {y}} \ sum _ {i} x_ {i} '+ N ^ {2} {\ bar {x}} {\ bar {y}} - (\ sum _ {i} x_ {i}' + N {\ bar {x}}) (\ sum _ {i} y_ {i} '+ N {\ bar {y}})} {N \ sum _ {i} x_ {i}' ^ {2} + 2N {\ bar {x}} \ sum _ {i} x_ {i} '+ N \ sum _ {i} {\ bar {x}} ^ {2} - (\ sum _ {i} x_ {i}' + N {\ bar {x}}) ^ {2}}}}

{\ displaystyle = {\ frac {N \ sum _ {i} x_ {i} 'y_ {i}' + N {\ bar {x}} \ sum _ {i} y_ {i} '+ N {\ bar {y}} \ sum _ {i} x_ {i} '+ N ^ {2} {\ bar {x}} {\ bar {y}} - (\ sum _ {i} x_ {i}' + N {\ bar {x}}) (\ sum _ {i} y_ {i} '+ N {\ bar {y}})} {N \ sum _ {i} x_ {i}' ^ {2} + 2N {\ bar {x}} \ sum _ {i} x_ {i} '+ N \ sum _ {i} {\ bar {x}} ^ {2} - (\ sum _ {i} x_ {i}' + N {\ bar {x}}) ^ {2}}}}

={\frac {N\sum _{i}x_{i}'y_{i}'+N^{2}{\bar {x}}{\bar {y}}-(N{\bar {x}})(N{\bar {y}})}{N\sum _{i}x_{i}'^{2}+N\sum _{i}{\bar {x}}^{2}-(N{\bar {x}})^{2}}}

{\ displaystyle = {\ frac {N \ sum _ {i} x_ {i} 'y_ {i}' + N ^ {2} {\ bar {x}} {\ bar {y}} - (N {\ bar {x}}) (N {\ bar {y}})} {N \ sum _ {i} x_ {i} '^ {2} + N \ sum _ {i} {\ bar {x}} ^ {2} - (N {\ bar {x}}) ^ {2}}}}

{\ displaystyle = {\ frac {N \ sum _ {i} x_ {i} 'y_ {i}' + N ^ {2} {\ bar {x}} {\ bar {y}} - (N {\ bar {x}}) (N {\ bar {y}})} {N \ sum _ {i} x_ {i} '^ {2} + N \ sum _ {i} {\ bar {x}} ^ {2} - (N {\ bar {x}}) ^ {2}}}}

={\frac {N\sum _{i}x_{i}'y_{i}'+N^{2}{\bar {x}}{\bar {y}}-N^{2}{\bar {x}}{\bar {y}}}{N\sum _{i}x_{i}'^{2}+NN{\bar {x}}^{2}-N^{2}{\bar {x}}^{2}}}

{\ displaystyle = {\ frac {N \ sum _ {i} x_ {i} 'y_ {i}' + N ^ {2} {\ bar {x}} {\ bar {y}} - N ^ {2 } {\ bar {x}} {\ bar {y}}} {N \ sum _ {i} x_ {i} '^ {2} + NN {\ bar {x}} ^ {2} -N ^ { 2} {\ bar {x}} ^ {2}}}}

{\ displaystyle = {\ frac {N \ sum _ {i} x_ {i} 'y_ {i}' + N ^ {2} {\ bar {x}} {\ bar {y}} - N ^ {2 } {\ bar {x}} {\ bar {y}}} {N \ sum _ {i} x_ {i} '^ {2} + NN {\ bar {x}} ^ {2} -N ^ { 2} {\ bar {x}} ^ {2}}}}

={\frac {\sum _{i}x_{i}'y_{i}'}{\sum _{i}x_{i}'^{2}}}

{\ displaystyle = {\ frac {\ sum _ {i} x_ {i} 'y_ {i}'} {\ sum _ {i} x_ {i} '^ {2}}}}

{\ displaystyle = {\ frac {\ sum _ {i} x_ {i} 'y_ {i}'} {\ sum _ {i} x_ {i} '^ {2}}}}

={\frac {\sum _{i}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i}(x_{i}-{\bar {x}})^{2}}},

{\ displaystyle = {\ frac {\ sum _ {i} (x_ {i} - {\ bar {x}}) (y_ {i} - {\ bar {y}})} {\ sum _ {i} (x_ {i} - {\ bar {x}}) ^ {2}}},}

{\ displaystyle = {\ frac {\ sum _ {i} (x_ {i} - {\ bar {x}}) (y_ {i} - {\ bar {y}})} {\ sum _ {i} (x_ {i} - {\ bar {x}}) ^ {2}}},}

în timp ce din prima ecuație:

a={\frac {\sum _{i}y_{i}}{N}}-b{\frac {\sum _{i}x_{i}}{N}}={\bar {y}}-b{\bar {x}}.

{\ displaystyle a = {\ frac {\ sum _ {i} y_ {i}} {N}} - b {\ frac {\ sum _ {i} x_ {i}} {N}} = {\ bar { y}} - b {\ bar {x}}.}

{\ displaystyle a = {\ frac {\ sum _ {i} y_ {i}} {N}} - b {\ frac {\ sum _ {i} x_ {i}} {N}} = {\ bar { y}} - b {\ bar {x}}.}

Varianța observată fiind dată de

S_{xx}=\sigma ^{2}(x)={\frac {1}{N}}\sum _{i=1}^{N}(x_{i}-{\bar {x}})^{2}

{\ displaystyle S_ {xx} = \ sigma ^ {2} (x) = {\ frac {1} {N}} \ sum _ {i = 1} ^ {N} (x_ {i} - {\ bar { x}}) ^ {2}}

S _ {{xx}} = \ sigma ^ {2} (x) = {\ frac {1} {N}} \ sum _ {{i = 1}} ^ {{N}} (x_ {i} - {\ bar {x}}) ^ {2}

și covarianța observată de

S_{xy}=\sigma (x,y)={\frac {1}{N}}\sum _{i=1}^{N}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}}),

{\ displaystyle S_ {xy} = \ sigma (x, y) = {\ frac {1} {N}} \ sum _ {i = 1} ^ {N} (x_ {i} - {\ bar {x} }) (y_ {i} - {\ bar {y}}),}

{\ displaystyle S_ {xy} = \ sigma (x, y) = {\ frac {1} {N}} \ sum _ {i = 1} ^ {N} (x_ {i} - {\ bar {x} }) (y_ {i} - {\ bar {y}}),}

parametrii $la$ ${\ displaystyle a}$ $la$ Și $b$ ${\ displaystyle b}$ $b$ poate fi scris în formă

b=S_{xy}/S_{xx},

{\ displaystyle b = S_ {xy} / S_ {xx},}

{\ displaystyle b = S_ {xy} / S_ {xx},}

a={\bar {y}}-b{\bar {x}}.

{\ displaystyle a = {\ bar {y}} - b {\ bar {x}}.}

{\ displaystyle a = {\ bar {y}} - b {\ bar {x}}.}

În cele din urmă, prin înlocuire $la$ ${\ displaystyle a}$ $la$ în ecuația liniei de regresie $y=a+bx$ ${\ displaystyle y = a + bx}$ ${\ displaystyle y = a + bx}$ , obținem următoarea expresie:

y-{\bar {y}}=b(x-{\bar {x}}),

{\ displaystyle y - {\ bar {y}} = b (x - {\ bar {x}}),}

{\ displaystyle y - {\ bar {y}} = b (x - {\ bar {x}}),}

din care deducem că linia trece prin punct $({\bar {x}},{\bar {y}})$ ${\ displaystyle ({\ bar {x}}, {\ bar {y}})}$ ${\ displaystyle ({\ bar {x}}, {\ bar {y}})}$ ale căror coordonate sunt mediile aritmetice.

Corelație

Prin inversarea rolului $y$ ${\ displaystyle y}$ $y$ Și $X$ ${\ displaystyle x}$ $X$ , putem obține linia de regresie a lui $X$ ${\ displaystyle x}$ $X$ în comparație cu $y$ ${\ displaystyle y}$ $y$ :

x=a_{2}+b_{2}y

{\ displaystyle x = a_ {2} + b_ {2} y}

{\ displaystyle x = a_ {2} + b_ {2} y}

Cele două linii de regresie $y=a_{1}+b_{1}x$ ${\ displaystyle y = a_ {1} + b_ {1} x}$ ${\ displaystyle y = a_ {1} + b_ {1} x}$ Și $x=a_{2}+b_{2}y$ ${\ displaystyle x = a_ {2} + b_ {2} y}$ ${\ displaystyle x = a_ {2} + b_ {2} y}$ sunt înrudite între ele.

Cele două linii coincid atunci când toate punctele graficului de împrăștiere aparțin aceleiași linii, în timp ce cu cât este mai mare dispersia, cu atât este mai mare unghiul pe care îl formează.

Măsura intensității și a corelației dintre cele două variabile este reprezentată de coeficientul de corelație liniar al lui Bravais - Pearson :

r=\pm {\sqrt {b_{1}b_{2}}}

{\ displaystyle r = \ pm {\ sqrt {b_ {1} b_ {2}}}}

{\ displaystyle r = \ pm {\ sqrt {b_ {1} b_ {2}}}}

media geometrică a celor doi coeficienți de regresie, precedată de semn $+$ ${\ displaystyle +}$ $+$ dacă cei doi coeficienți sunt pozitivi, prin semn $-$ ${\ displaystyle -}$ $-$ dacă nu negativ.

Preluând conceptele de varianță și covarianță introduse anterior, acesta poate fi exprimat și ca:

r=\pm {\sqrt {{\frac {\sigma _{xy}}{\sigma _{x}^{2}}}{\frac {\sigma _{xy}}{\sigma _{y}^{2}}}}};

{\ displaystyle r = \ pm {\ sqrt {{\ frac {\ sigma _ {xy}} {\ sigma _ {x} ^ {2}}} {\ frac {\ sigma _ {xy}} {\ sigma _ {y} ^ {2}}}}};}

{\ displaystyle r = \ pm {\ sqrt {{\ frac {\ sigma _ {xy}} {\ sigma _ {x} ^ {2}}} {\ frac {\ sigma _ {xy}} {\ sigma _ {y} ^ {2}}}}};}

r={\frac {\sigma _{xy}}{\sigma _{x}\sigma _{y}}}.

{\ displaystyle r = {\ frac {\ sigma _ {xy}} {\ sigma _ {x} \ sigma _ {y}}}.}

{\ displaystyle r = {\ frac {\ sigma _ {xy}} {\ sigma _ {x} \ sigma _ {y}}}.}

Justificare probabilistică a metodei de regresie a celor mai mici pătrate

Luați în considerare următoarea problemă teoretică: date două variabile aleatorii $X$ ${\ displaystyle X}$ $X$ Și $Da$ ${\ displaystyle Y}$ $Da$ , care este cel mai bun estimator pentru valoarea așteptată a $Da$ ${\ displaystyle Y}$ $Da$ , adică care estimator are eroarea pătrată medie minimă (sau MSE, din engleza Mean Squared Error )?

Dacă se folosește un estimator afin care exploatează informațiile referitoare la variabila aleatorie $X$ ${\ displaystyle X}$ $X$ asa de $Y=a+bX$ ${\ displaystyle Y = a + bX}$ ${\ displaystyle Y = a + bX}$ , este posibil să se demonstreze că abaterea standard $\mathbb {E} \left[\left(Y-a-bX\right)^{2}\right]$ ${\ displaystyle \ mathbb {E} \ left [\ left (Ya-bX \ right) ^ {2} \ right]}$ ${\ displaystyle \ mathbb {E} \ left [\ left (Y-a-bX \ right) ^ {2} \ right]}$ este minimizat dacă:

b={\frac {\sigma (X,Y)}{\sigma ^{2}(X)}};\quad a=\mathbb {E} [Y]-b\mathbb {E} [X]=\mathbb {E} [Y]-{\frac {\sigma (X,Y)}{\sigma ^{2}(X)}}\mathbb {E} [X].

{\ displaystyle b = {\ frac {\ sigma (X, Y)} {\ sigma ^ {2} (X)}}; \ quad a = \ mathbb {E} [Y] -b \ mathbb {E} [ X] = \ mathbb {E} [Y] - {\ frac {\ sigma (X, Y)} {\ sigma ^ {2} (X)}} \ mathbb {E} [X].}

{\ displaystyle b = {\ frac {\ sigma (X, Y)} {\ sigma ^ {2} (X)}}; \ quad a = \ mathbb {E} [Y] -b \ mathbb {E} [ X] = \ mathbb {E} [Y] - {\ frac {\ sigma (X, Y)} {\ sigma ^ {2} (X)}} \ mathbb {E} [X].}

Această observație oferă o justificare probabilistică pentru expresiile propuse mai sus; vezi mai jos pentru o analiză formală, în cazul multivariat.

Observații privind metoda de estimare

Metoda celor mai mici pătrate este examinată în cazul bivariantă, derivă o linie care interpolează o dispersie de puncte prin minimizarea sumei pătratelor distanțelor $\varepsilon _{i}$ ${\ displaystyle \ varepsilon _ {i}}$ ${\ displaystyle \ varepsilon _ {i}}$ punctelor în sine din linia dreaptă; graficul oferă o perspectivă asupra procedurii.

Alegerea de a minimiza pătratele din $\varepsilon _{i}$ ${\ displaystyle \ varepsilon _ {i}}$ ${\ displaystyle \ varepsilon _ {i}}$ nu este, desigur, arbitrar. Referindu-ne, de exemplu, la suma simplă a $\varepsilon _{i}$ ${\ displaystyle \ varepsilon _ {i}}$ ${\ displaystyle \ varepsilon _ {i}}$ , distanțele pozitive (ascendente) și negative (descendente) s-ar compensa reciproc, înrăutățind în general calitatea interpolației; dacă, pe de altă parte, o funcție de criteriu egală cu suma valorilor absolute ale $\varepsilon _{i}$ ${\ displaystyle \ varepsilon _ {i}}$ ${\ displaystyle \ varepsilon _ {i}}$ , deoarece funcția de valoare absolută nu poate fi diferențiată pe întreaga axă reală, metoda elegantă de minimizare ilustrată mai sus nu a putut fi utilizată.

De asemenea, trebuie remarcat faptul că $\varepsilon _{i}$ ${\ displaystyle \ varepsilon _ {i}}$ ${\ displaystyle \ varepsilon _ {i}}$ ele reprezintă o distanță de un fel oarecum special. În geometrie, distanța unui punct de la o linie dreaptă este de fapt dată de lungimea segmentului care unește punctul cu linia dreaptă, perpendiculară pe aceasta din urmă; evident că nu este cazul $\varepsilon _{i}$ ${\ displaystyle \ varepsilon _ {i}}$ ${\ displaystyle \ varepsilon _ {i}}$ . Alegerea făcută este justificată de proprietățile statistice ale estimărilor, ilustrate mai jos: forma particulară a estimatorilor celor mai mici pătrate obținute mai sus permite un tratament mai simplu al proprietăților lor statistice.

În cele din urmă, două cuvinte despre semnificația regresiei liniare . Numele acestei tehnici statistice nu înseamnă că în funcția estimată variabila dependentă $y_{i}$ ${\ displaystyle y_ {i}}$ ${\ displaystyle y_ {i}}$ este o funcție liniară a variabilei explicative $x_{ji}$ ${\ displaystyle x_ {ji}}$ ${\ displaystyle x_ {ji}}$ , dar a parametrilor care se estimează ( $la$ ${\ displaystyle a}$ $la$ Și $b$ ${\ displaystyle b}$ $b$ pe). Estimarea unei funcții precum:

y_{i}=\alpha +\beta {\sqrt {x_{1i}}}+\gamma \ln x_{2i}+\varepsilon _{i},

{\ displaystyle y_ {i} = \ alpha + \ beta {\ sqrt {x_ {1i}}} + \ gamma \ ln x_ {2i} + \ varepsilon _ {i},}

{\ displaystyle y_ {i} = \ alpha + \ beta {\ sqrt {x_ {1i}}} + \ gamma \ ln x_ {2i} + \ varepsilon _ {i},}

se încadrează în domeniul modelului liniar, deoarece $y_{i}$ ${\ displaystyle y_ {i}}$ ${\ displaystyle y_ {i}}$ este o funcție liniară a parametrilor $\alpha$ ${\ displaystyle \ alpha}$ $\ alfa$ , $\beta$ ${\ displaystyle \ beta}$ $\ beta$ , $\gamma$ ${\ displaystyle \ gamma}$ $\gamă$ . Pentru considerații suplimentare în acest sens, a se vedea articolul Regresia neliniară .

Regresie liniară multiplă

Metoda de mai sus poate fi extinsă în cazul în care mai multe variabile contribuie la explicarea variabilei dependente $Da$ ${\ displaystyle Y}$ $Da$ : ^[1]

Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+\cdots +\beta _{k}X_{ki}+\varepsilon _{i},

{\ displaystyle Y_ {i} = \ beta _ {0} + \ beta _ {1} X_ {1i} + \ beta _ {2} X_ {2i} + \ cdots + \ beta _ {k} X_ {ki} + \ varepsilon _ {i},}

{\ displaystyle Y_ {i} = \ beta _ {0} + \ beta _ {1} X_ {1i} + \ beta _ {2} X_ {2i} + \ cdots + \ beta _ {k} X_ {ki} + \ varepsilon _ {i},}

unde este:

$the$ ${\ displaystyle i}$ $the$ variază între observații, $i=1,\ldots ,n$ ${\ displaystyle i = 1, \ ldots, n}$ $i = 1, \ ldots, n$ ;
$Y_{i}$ ${\ displaystyle Y_ {i}}$ $Y_ {i}$ si $the$ ${\ displaystyle i}$ $the$ -valoarea a variabilei dependente
$X_{1i},X_{2i}+\cdots +X_{ki}$ ${\ displaystyle X_ {1i}, X_ {2i} + \ cdots + X_ {ki}}$ $X _ {{1i}}, X _ {{2i}} + \ cdots + X _ {{ki}}$ este $the$ ${\ displaystyle i}$ $the$ -a observații ale fiecăruia dintre $k$ ${\ displaystyle k}$ $k$ regresori ;
$\beta _{0}+\beta _{1}x_{1i}+\beta _{2}x_{2i}\cdots +\beta _{k}x_{ki}$ ${\ displaystyle \ beta _ {0} + \ beta _ {1} x_ {1i} + \ beta _ {2} x_ {2i} \ cdots + \ beta _ {k} x_ {ki}}$ $\ beta _ {0} + \ beta _ {1} x _ {{1i}} + \ beta _ {2} x _ {{2i}} \ cdots + \ beta _ {k} x _ {{ki}}$ este linia de regresie ;
$\beta _{0}$ ${\ displaystyle \ beta _ {0}}$ $\ beta _ {0}$ este valoarea așteptată a $Da$ ${\ displaystyle Y}$ $Da$ când toate $X$ ${\ displaystyle X}$ $X$ sunt egale cu zero (adică este interceptarea);
$\beta _{1}$ ${\ displaystyle \ beta _ {1}}$ $\ beta _ {1}$ este coeficientul unghiular al $X_{1}$ ${\ displaystyle X_ {1}}$ $X _ {{1}}$ , $\beta _{2}$ ${\ displaystyle \ beta _ {2}}$ $\ beta _ {2}$ este coeficientul unghiular al $X_{2}$ ${\ displaystyle X_ {2}}$ $X _ {{2}}$ , (păstrând constant $X_{k}$ ${\ displaystyle X_ {k}}$ $X _ {{k}}$ nu se ia în considerare) etc.
$\varepsilon _{i}$ ${\ displaystyle \ varepsilon _ {i}}$ ${\ displaystyle \ varepsilon _ {i}}$ este eroarea statistică .

Are câteva ipoteze OLS unice.

Prin gruparea observațiilor variabilelor explicative într-o matrice $X$ ${\ displaystyle X}$ $X$ in marime $N\times (k+1)$ ${\ displaystyle N \ times (k + 1)}$ ${\ displaystyle N \ times (k + 1)}$ , care se presupune că are rang complet și egal cu $k+1$ ${\ displaystyle k + 1}$ $k + 1$ (termenul constant sau interceptare corespunde unei coloane de $1$ ${\ displaystyle 1}$ $1$ în $X$ ${\ displaystyle X}$ $X$ ), este posibil să scrieți, în notație matricială:

y=X\beta +\varepsilon .

{\ displaystyle y = X \ beta + \ varepsilon.}

{\ displaystyle y = X \ beta + \ varepsilon.}

În formularea cea mai de bază, se presupune că $\varepsilon \sim N(0,\sigma ^{2}I)$ ${\ displaystyle \ varepsilon \ sim N (0, \ sigma ^ {2} I)}$ ${\ displaystyle \ varepsilon \ sim N (0, \ sigma ^ {2} I)}$ , sau: $\mathbb {E} [\varepsilon _{i}]=0,\ \forall i$ ${\ displaystyle \ mathbb {E} [\ varepsilon _ {i}] = 0, \ \ forall i}$ ${\ displaystyle \ mathbb {E} [\ varepsilon _ {i}] = 0, \ \ forall i}$ $\mathbb {E} [\varepsilon _{i}^{2}]=\sigma ^{2},\ \forall i,$ ${\ displaystyle \ mathbb {E} [\ varepsilon _ {i} ^ {2}] = \ sigma ^ {2}, \ \ forall i,}$ ${\ displaystyle \ mathbb {E} [\ varepsilon _ {i} ^ {2}] = \ sigma ^ {2}, \ \ forall i,}$ ( homoskedasticitate ), $\mathbb {E} [\varepsilon _{i}\varepsilon _{j}]=0,\ \forall j\neq i$ ${\ displaystyle \ mathbb {E} [\ varepsilon _ {i} \ varepsilon _ {j}] = 0, \ \ forall j \ neq i}$ ${\ displaystyle \ mathbb {E} [\ varepsilon _ {i} \ varepsilon _ {j}] = 0, \ \ forall j \ neq i}$ (absența corelației în tulburări). De asemenea, se presupune că:

\mathbb {E} [X'\varepsilon ]=0,

{\ displaystyle \ mathbb {E} [X '\ varepsilon] = 0,}

{\ displaystyle \ mathbb {E} [X '\ varepsilon] = 0,}

adică nu există nicio corelație între regresori și perturbări aleatorii - această ipoteză este de o importanță crucială, deoarece face posibilă luarea în considerare a regresorilor incluși în matrice $X$ ${\ displaystyle X}$ $X$ ca variabile exogene (de unde și numele prin care este indicată adesea ipoteza: ipoteza exogenității ). Această ultimă proprietate este departe de a fi banală, deoarece numai acolo unde este valabilă este posibil să se garanteze că vectorul estimărilor parametrilor modelului, ${\hat {\beta }}$ ${\ displaystyle {\ hat {\ beta}}}$ ${\ hat \ beta}$ , are ca valoare așteptată valoarea reală a parametrilor $\beta$ ${\ displaystyle \ beta}$ $\ beta$ (bucurându-se astfel de proprietatea corectitudinii; vezi mai jos).

Sub astfel de ipoteze, este posibil să se obțină estimări ale vectorului parametru $\beta$ ${\ displaystyle \ beta}$ $\ beta$ folosind metoda celor mai mici pătrate rezolvând problema minimă:

\min _{\hat {\beta }}(y-X{\hat {\beta }})'(y-X{\hat {\beta }}).

{\ displaystyle \ min _ {\ hat {\ beta}} (yX {\ hat {\ beta}}) '(yX {\ hat {\ beta}}).}

{\ displaystyle \ min _ {\ hat {\ beta}} (y-X {\ hat {\ beta}}) '(y-X {\ hat {\ beta}}).}

Condițiile de primă ordine pentru un minim definesc sistemul (numite ecuații normale):

-2X'y+2X'X{\hat {\beta }}=0,

{\ displaystyle -2X'y + 2X'X {\ hat {\ beta}} = 0,}

{\ displaystyle -2X'y + 2X'X {\ hat {\ beta}} = 0,}

de la care:

{\hat {\beta }}=(X'X)^{-1}X'y.

{\ displaystyle {\ hat {\ beta}} = (X'X) ^ {- 1} X'y.}

{\ displaystyle {\ hat {\ beta}} = (X'X) ^ {- 1} X'y.}

Pentru proprietățile formei pătratice de minimizare, este sigur că soluția găsită corespunde unui minim, nu numai local, ci global.

Interpretarea geometrică a estimărilor OLS

Vectorul estimărilor OLS ${\hat {\beta }}$ ${\ displaystyle {\ hat {\ beta}}}$ ${\ hat {\ beta}}$ obține valorile așteptate („teoretice”) pentru variabila dependentă:

{\hat {y}}=X{\hat {\beta }}=X(X'X)^{-1}X'y.

{\ displaystyle {\ hat {y}} = X {\ hat {\ beta}} = X (X'X) ^ {- 1} X'y.}

{\ displaystyle {\ hat {y}} = X {\ hat {\ beta}} = X (X'X) ^ {- 1} X'y.}

În mod formal, expresia de mai sus corespunde unei proiecții ortogonale a vectorului de observații $y$ ${\ displaystyle y}$ $y$ pe spațiul generat de coloanele matricei $X$ ${\ displaystyle X}$ $X$ ; figura din lateral ilustrează acest rezultat.

Pentru a clarifica acest punct, fie ${\hat {y}}$ ${\ displaystyle {\ hat {y}}}$ ${\ hat {y}}$ proiecția de $y$ ${\ displaystyle y}$ $y$ pe spațiul generat de coloanele matricei $X$ ${\ displaystyle X}$ $X$ :

[X]=\left\{z\in \mathbb {R} ^{N}|z=Xv,\ v\in \mathbb {R} ^{k}\right\}.

{\ displaystyle [X] = \ left \ {z \ in \ mathbb {R} ^ {N} | z = Xv, \ v \ in \ mathbb {R} ^ {k} \ right \}.}

{\ displaystyle [X] = \ left \ {z \ in \ mathbb {R} ^ {N} | z = Xv, \ v \ in \ mathbb {R} ^ {k} \ right \}.}

Aceasta înseamnă că va exista un vector de greutăți $\gamma$ ${\ displaystyle \ gamma}$ $\gamă$ astfel încât este posibil să se obțină ${\hat {y}}$ ${\ displaystyle {\ hat {y}}}$ ${\ hat {y}}$ ca ${\hat {y}}=X\gamma$ ${\ displaystyle {\ hat {y}} = X \ gamma}$ ${\ hat {y}} = X \ gamma$ , adică ca o combinație liniară a coloanelor din $X$ ${\ displaystyle X}$ $X$ . In schimb $y$ ${\ displaystyle y}$ $y$ va fi egal cu ${\hat {y}}$ ${\ displaystyle {\ hat {y}}}$ ${\ hat {y}}$ plus o componentă $tu$ ${\ displaystyle u}$ $tu$ ortogonal cu spațiul generat de $X$ ${\ displaystyle X}$ $X$ :

y=X\gamma +u,\quad X'u=0.

{\ displaystyle y = X \ gamma + u, \ quad X'u = 0.}

{\ displaystyle y = X \ gamma + u, \ quad X'u = 0.}

Asa de ${\hat {y}}=X\gamma =y-u$ ${\ displaystyle {\ hat {y}} = X \ gamma = yu}$ ${\ hat {y}} = X \ gamma = y-u$ ; premultiplicând prin $X^{'}$ ${\ displaystyle X '}$ $X '$ avem: $X'X\gamma =X'y+X'u=X'y$ ${\ displaystyle X'X \ gamma = X'y + X'u = X'y}$ ${\ displaystyle X'X \ gamma = X'y + X'u = X'y}$ ; astfel încât:

\gamma =(X'X)^{-1}X'y,

{\ displaystyle \ gamma = (X'X) ^ {- 1} X'y,}

{\ displaystyle \ gamma = (X'X) ^ {- 1} X'y,}

adică expresia pentru vectorul estimărilor OLS ${\hat {\beta }}$ ${\hat {\beta }}$ ${\hat \beta }$ derivata in precedenza. Questa intuizione geometrica è formalizzata nel teorema di Frisch-Waugh-Lovell .

Proprietà algebriche degli stimatori OLS

Gli stimatori ${\hat {\beta }}$ ${\hat {\beta }}$ ${\hat {\beta }}$ degli OLS godono di una serie di interessanti proprietà algebriche; tali proprietà dipendono dal metodo dei minimi quadrati adottato, e non dal particolare modello oggetto di stima.

Laddove la matrice $X$ ${\displaystyle X}$ $X$ dei regressori include il termine costante (una colonna di soli $1$ ${\displaystyle 1}$ $1$ , che si denota col vettore $\mathbf {1}$ $\mathbf {1}$ ${\mathbf {1}}$ ), la prima riga del sistema delle equazioni normali, scritto in forma matriciale, è data da $\mathbf {1} 'X{\hat {\beta }}=\mathbf {1} 'y$ $\mathbf {1} 'X{\hat {\beta }}=\mathbf {1} 'y$ $\mathbf {1} 'X{\hat {\beta }}=\mathbf {1} 'y$ . Dividendo ambo i membri per il numero delle osservazioni $N$ ${\displaystyle N}$ $N$ , si ha:

{\bar {X}}{\hat {\beta }}={\bar {y}},

{\bar {X}}{\hat {\beta }}={\bar {y}},

{\bar {X}}{\hat {\beta }}={\bar {y}},

così che l' iperpiano che interpola le

y_{i}

y_{i}

y_{i}

passa per il loro punto medio ei punti medi di tutte le colonne della

X

{\displaystyle X}

X

.

Da quanto sopra risulta inoltre che il punto medio delle $y_{i}$ $y_{i}$ $y_{i}$ osservate è uguale a quello dei valori previsti dal modello: ${\bar {y}}={\frac {1}{N}}\sum _{i=1}^{N}y_{i}={\frac {1}{N}}\sum _{i=1}^{N}{\hat {y}}_{i}$ ${\bar {y}}={\frac {1}{N}}\sum _{i=1}^{N}y_{i}={\frac {1}{N}}\sum _{i=1}^{N}{\hat {y}}_{i}$ ${\bar {y}}={\frac {1}{N}}\sum _{i=1}^{N}y_{i}={\frac {1}{N}}\sum _{i=1}^{N}{\hat {y}}_{i}$ ; ciò si ottiene banalmente osservando che $\mathbf {1} '{\hat {y}}=\mathbf {1} 'X{\hat {\beta }}$ $\mathbf {1} '{\hat {y}}=\mathbf {1} 'X{\hat {\beta }}$ $\mathbf {1} '{\hat {y}}=\mathbf {1} 'X{\hat {\beta }}$ .
Per definizione del vettore dei residui ${\hat {\varepsilon }}=y-{\hat {y}},$ ${\hat {\varepsilon }}=y-{\hat {y}},$ ${\hat {\varepsilon }}=y-{\hat {y}},$ si ha:

\mathbf {1} '{\hat {\varepsilon }}=\mathbf {1} 'y-\mathbf {1} '{\hat {y}}=0,

\mathbf {1} '{\hat {\varepsilon }}=\mathbf {1} 'y-\mathbf {1} '{\hat {y}}=0,

\mathbf {1} '{\hat {\varepsilon }}=\mathbf {1} 'y-\mathbf {1} '{\hat {y}}=0,

così che la somma dei residui è nulla.

I residui sono ortogonali ai regressori; infatti:

X'{\hat {\varepsilon }}=X'(y-{\hat {y}})=X'y-X'X{\hat {\beta }}=0,

X'{\hat {\varepsilon }}=X'(y-{\hat {y}})=X'y-X'X{\hat {\beta }}=0,

X'{\hat {\varepsilon }}=X'(y-{\hat {y}})=X'y-X'X{\hat {\beta }}=0,

in base al sistema delle equazioni normali. Si osservi che questa proprietà può essere immediatamente desunta dall'interpretazione geometrica delle stime OLS, considerando che il vettore dei residui collega il vettore

y

{\displaystyle y}

y

con la sua proiezione ortogonale sullo spazio generato dai regressori,

{\hat {y}}

{\hat {y}}

{\hat {y}}

.

I residui sono inoltre ortogonali al vettore delle previsioni ${\hat {y}}$ ${\hat {y}}$ ${\hat {y}}$ ; ciò è immediato se si osserva che il vettore delle previsioni appartiene allo spazio generato dalla matrice dei regressori $X$ ${\displaystyle X}$ $X$ ; algebricamente, inoltre: ${\hat {y}}'{\hat {\varepsilon }}=(X{\hat {\beta }})'{\hat {\varepsilon }}={\hat {\beta }}'X'{\hat {\varepsilon }}=0$ ${\hat {y}}'{\hat {\varepsilon }}=(X{\hat {\beta }})'{\hat {\varepsilon }}={\hat {\beta }}'X'{\hat {\varepsilon }}=0$ ${\hat {y}}'{\hat {\varepsilon }}=(X{\hat {\beta }})'{\hat {\varepsilon }}={\hat {\beta }}'X'{\hat {\varepsilon }}=0$ .

Si osservi che le prime tre proprietà valgono solo se la matrice dei regressori include il termine costante, ossia se include un vettore di soli $1$ ${\displaystyle 1}$ $1$ .

Bontà del fitting e R²

L'R², o coefficiente di determinazione , è una misura della bontà dell'adattamento (in inglese fitting ) della regressione lineare stimata ai dati osservati.

Al fine di definire l'R², sia $M_{0}=I-{\frac {1}{N}}\mathbf {1} \mathbf {1} '$ $M_{0}=I-{\frac {1}{N}}\mathbf {1} \mathbf {1} '$ $M_{0}=I-{\frac {1}{N}}\mathbf {1} \mathbf {1} '$ ; questa matrice trasforma i vettori in scarti dalla propria media, così che, ad esempio, $M_{0}y=y-{\bar {y}}\mathbf {1}$ $M_{0}y=y-{\bar {y}}\mathbf {1}$ $M_{0}y=y-{\bar {y}}\mathbf {1}$ . Si osservi che la matrice $M_{0}$ $M_{0}$ $M_{{0}}$ è simmetrica ( $M_{0}=M'_{0}$ $M_{0}=M'_{0}$ $M_{0}=M'_{0}$ ) e idempotente ( $M_{0}M_{0}=M_{0}$ $M_{0}M_{0}=M_{0}$ $M_{0}M_{0}=M_{0}$ ). Dunque la somma degli scarti al quadrato delle $y_{i}$ $y_{i}$ $y_{i}$ da ${\bar {y}}$ ${\bar {y}}$ ${\bar {y}}$ è semplicemente: $y'M_{0}y$ $y'M_{0}y$ $y'M_{0}y$ .

L'R² è definito come:

R^{2}={\frac {{\hat {\beta }}'X'M_{0}X{\hat {\beta }}}{y'M_{0}y}}={\frac {{\hat {y}}'M_{0}{\hat {y}}}{y'M_{0}y}}={\frac {\sum _{i}({\hat {y}}_{i}-{\bar {y}})^{2}}{\sum _{i}(y_{i}-{\bar {y}})^{2}}}.

R^{2}={\frac {{\hat {\beta }}'X'M_{0}X{\hat {\beta }}}{y'M_{0}y}}={\frac {{\hat {y}}'M_{0}{\hat {y}}}{y'M_{0}y}}={\frac {\sum _{i}({\hat {y}}_{i}-{\bar {y}})^{2}}{\sum _{i}(y_{i}-{\bar {y}})^{2}}}.

R^{2}={\frac {{\hat {\beta }}'X'M_{0}X{\hat {\beta }}}{y'M_{0}y}}={\frac {{\hat {y}}'M_{0}{\hat {y}}}{y'M_{0}y}}={\frac {\sum _{i}({\hat {y}}_{i}-{\bar {y}})^{2}}{\sum _{i}(y_{i}-{\bar {y}})^{2}}}.

Spesso le quantità al numeratore e al denominatore sono chiamate, rispettivamente, ESS ( ${\hat {y}}'M_{0}{\hat {y}}$ ${\hat {y}}'M_{0}{\hat {y}}$ ${\hat {y}}'M_{0}{\hat {y}}$ , dall'inglese Explained Sum of Squares ) e TSS ( $y'M_{0}y$ $y'M_{0}y$ $y'M_{0}y$ , dall'inglese Total Sum of Squares ). Osservando che, per semplice sostituzione:

y'M_{0}y={\hat {\beta }}'X'M_{0}X{\hat {\beta }}+{\hat {\varepsilon }}'M_{0}{\hat {\varepsilon }}={\hat {\beta }}'X'M_{0}X{\hat {\beta }}+{\hat {\varepsilon }}'{\hat {\varepsilon }},

y'M_{0}y={\hat {\beta }}'X'M_{0}X{\hat {\beta }}+{\hat {\varepsilon }}'M_{0}{\hat {\varepsilon }}={\hat {\beta }}'X'M_{0}X{\hat {\beta }}+{\hat {\varepsilon }}'{\hat {\varepsilon }},

y'M_{0}y={\hat {\beta }}'X'M_{0}X{\hat {\beta }}+{\hat {\varepsilon }}'M_{0}{\hat {\varepsilon }}={\hat {\beta }}'X'M_{0}X{\hat {\beta }}+{\hat {\varepsilon }}'{\hat {\varepsilon }},

dove l'ultima uguaglianza segue dal fatto che la media dei residui è zero, si ha:

R^{2}=1-{\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{y'M_{0}y}},

R^{2}=1-{\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{y'M_{0}y}},

R^{2}=1-{\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{y'M_{0}y}},

così che l'R² sarà un numero compreso tra e $1$ ${\displaystyle 1}$ $1$ (alcuni pacchetti statistici trasformano tale numero in una percentuale); in analogia con quanto sopra, spesso la quantità ${\hat {\varepsilon }}'{\hat {\varepsilon }}$ ${\hat {\varepsilon }}'{\hat {\varepsilon }}$ ${\hat {\varepsilon }}'{\hat {\varepsilon }}$ è indicata con la sigla RSS (dall'inglese Residual Sum of Squares ), o SSR ( Sum of Squared Residuals , grammaticalmente più preciso, ma forse meno usato).

Euristicamente, l'R² misura la frazione della variabilità delle osservazioni $y_{i}$ $y_{i}$ $y_{i}$ che siamo in grado di spiegare tramite il modello lineare. Due importanti caveat devono in ogni caso essere tenuti a mente:

L'R² non misura se effettivamente sussista una relazione (di qualsiasi tipo) tra le $y_{i}$ $y_{i}$ $y_{i}$ ei regressori, ma soltanto fino a che punto un modello lineare consente di approssimare la realtà dei dati osservati; un modello non lineare, ad esempio, potrebbe meglio rappresentare la relazione tra variabile dipendente e regressori, e presentare un buon potere esplicativo, anche in presenza di un R² prossimo allo zero.

I due grafici illustrano questo problema; in entrambi i casi, la stima di un modello lineare tipo $y=a+bx$ ${\displaystyle y=a+bx}$ $y=a+bx$ porterebbe a un R² molto basso, o addirittura nullo; nel caso del grafico a sinistra, tuttavia, sarebbe arduo escludere che sussista una qualche relazione (probabilmente di tipo quadratico) tra $y$ ${\displaystyle y}$ $y$ e il regressore $x$ ${\displaystyle x}$ $x$ .
È possibile dimostrare che aggiungere regressori al modello non può che incrementare il valore assunto dall'R²; ciò non significa che il modello sia migliore, nel senso che meglio catturi i fattori che concorrono a spiegare la variabile dipendente, ma soltanto che il fitting è stato reso artificialmente migliore. Al fine di correggere la misura di bontà del fitting indicata, in maniera da penalizzare un modello caratterizzato da un gran numero di regressori, certi pacchetti statistici riportano un R² corretto, definito come:

{\bar {R}}^{2}=R^{2}-{\frac {k}{N-k-1}}(1-R^{2}).

{\bar {R}}^{2}=R^{2}-{\frac {k}{Nk-1}}(1-R^{2}).

{\bar {R}}^{2}=R^{2}-{\frac {k}{N-k-1}}(1-R^{2}).

È evidente che, al crescere del numero di regressori $k$ ${\displaystyle k}$ $k$ , ${\bar {R}}^{2}$ ${\bar {R}}^{2}$ ${\bar {R}}^{2}$ in generale decresce, correggendo l'artificiale incremento dell'R². Si può inoltre dimostrare che ${\bar {R}}^{2}$ ${\bar {R}}^{2}$ ${\bar {R}}^{2}$ aumenta, aggiungendo un regressore, soltanto se il valore della statistica $t$ ${\displaystyle t}$ $t$ associata al coefficiente di tale regressore (si veda oltre) è maggiore di $1$ ${\displaystyle 1}$ $1$ , così che il valore dell'R² corretto è legato alla significatività delle variabili aggiuntive.

È opportuno far emergere alcune credenze sbagliate riguardo l'R². Innanzitutto non può mai assumere valori negativi perché è il rapporto di due varianze; tuttavia i software statistici possono produrre un output di una regressione che presenta un R² negativo. Ciò è dovuto al fatto che in questi programmi l'R² si calcola come differenza tra varianza spiegata e quella dei residui. Tuttavia nel caso di mispecificazione del modello (si "dimenticano" variabili che il data generating process contiene, intercetta compresa), il valore atteso della stima dei residui è in genere diverso da zero, quindi la media dello stimatore di $Y$ ${\displaystyle Y}$ $Y$ è diverso dalla media di $Y$ ${\displaystyle Y}$ $Y$ . Pertanto il calcolo del software risulta errato perché non tiene conto di ciò.

Proprietà statistiche degli stimatori OLS

Sotto le ipotesi sopra formulate, il valore atteso dello stimatore ${\hat {\beta }}$ ${\hat {\beta }}$ ${\hat {\beta }}$ è uguale al vettore di parametri $\beta$ $\beta$ $\beta$ ; tale proprietà è detta correttezza ; al fine di verificare la correttezza di ${\hat {\beta }}$ ${\hat {\beta }}$ ${\hat {\beta }}$ , è sufficiente osservare che:

\mathbb {E} \left[{\hat {\beta }}\right]=\mathbb {E} \left[(X'X)^{-1}X'(X\beta +\varepsilon )\right]=\beta +\mathbb {E} \left[(X'X)^{-1}X'\varepsilon \right]=\beta .

\mathbb {E} \left[{\hat {\beta }}\right]=\mathbb {E} \left[(X'X)^{-1}X'(X\beta +\varepsilon )\right]=\beta +\mathbb {E} \left[(X'X)^{-1}X'\varepsilon \right]=\beta .

\mathbb {E} \left[{\hat {\beta }}\right]=\mathbb {E} \left[(X'X)^{-1}X'(X\beta +\varepsilon )\right]=\beta +\mathbb {E} \left[(X'X)^{-1}X'\varepsilon \right]=\beta .

La varianza (in effetti, matrice varianza - covarianza ) di ${\hat {\beta }}$ ${\hat {\beta }}$ ${\hat {\beta }}$ si ottiene come:

\sigma ^{2}\left({\hat {\beta }}\right)=\mathbb {E} ({\hat {\beta }}-\beta )({\hat {\beta }}-\beta )'=(X'X)^{-1}X'\mathbb {E} [\varepsilon \varepsilon ']X(X'X)^{-1}=\sigma ^{2}(X'X)^{-1}.

\sigma ^{2}\left({\hat {\beta }}\right)=\mathbb {E} ({\hat {\beta }}-\beta )({\hat {\beta }}-\beta )'=(X'X)^{-1}X'\mathbb {E} [\varepsilon \varepsilon ']X(X'X)^{-1}=\sigma ^{2}(X'X)^{-1}.

\sigma ^{2}\left({\hat {\beta }}\right)=\mathbb {E} ({\hat {\beta }}-\beta )({\hat {\beta }}-\beta )'=(X'X)^{-1}X'\mathbb {E} [\varepsilon \varepsilon ']X(X'X)^{-1}=\sigma ^{2}(X'X)^{-1}.

Il teorema di Gauss-Markov stabilisce che tale varianza è minima tra quelle degli stimatori di $\beta$ $\beta$ $\beta$ ottenibili come combinazione lineare delle osservazioni $y$ ${\displaystyle y}$ $y$ ; in questo senso ${\hat {\beta }}$ ${\hat {\beta }}$ ${\hat {\beta }}$ è uno stimatore efficiente (in effetti si tratta di uno stimatore BLUE , dall' inglese Best Linear Unbiased Estimator , il migliore stimatore corretto lineare).

Poiché ${\hat {\beta }}=\beta +(X'X)^{-1}X'\varepsilon$ ${\hat {\beta }}=\beta +(X'X)^{-1}X'\varepsilon$ ${\hat {\beta }}=\beta +(X'X)^{-1}X'\varepsilon$ e le combinazioni lineari di variabili casuali normali indipendenti sono ancora normali, se ne conclude che:

{\hat {\beta }}\sim N(\beta ,\sigma ^{2}(X'X)^{-1}).

{\hat {\beta }}\sim N(\beta ,\sigma ^{2}(X'X)^{-1}).

{\hat {\beta }}\sim N(\beta ,\sigma ^{2}(X'X)^{-1}).

Stimatore per il parametro varianza

Volendo stimare il parametro $\sigma ^{2}$ $\sigma ^{2}$ $\sigma ^{2}$ , un naturale candidato sarebbe la varianza campionaria:

{\hat {s}}^{2}={\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{N}}.

{\hat {s}}^{2}={\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{N}}.

{\hat {s}}^{2}={\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{N}}.

In effetti lo stimatore sopra sarebbe anche lo stimatore di massima verosimiglianza per $\sigma ^{2}$ $\sigma ^{2}$ $\sigma ^{2}$ . Semplici manipolazioni mostrano tuttavia che tale stimatore non gode della proprietà di correttezza; infatti:

\mathbb {E} \left[{\hat {s}}^{2}\right]=\mathbb {E} \left[{\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{N}}\right]={\frac {1}{N}}\mathbb {E} (y-X{\hat {\beta }})'(y-X{\hat {\beta }})=

\mathbb {E} \left[{\hat {s}}^{2}\right]=\mathbb {E} \left[{\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{N}}\right]={\frac {1}{N}}\mathbb {E} (yX{\hat {\beta }})'(yX{\hat {\beta }})=

\mathbb {E} \left[{\hat {s}}^{2}\right]=\mathbb {E} \left[{\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{N}}\right]={\frac {1}{N}}\mathbb {E} (y-X{\hat {\beta }})'(y-X{\hat {\beta }})=

={\frac {1}{N}}\mathbb {E} (X\beta +\varepsilon -X\beta -X(X'X)^{-1}X'\varepsilon )'(X\beta +\varepsilon -X\beta -X(X'X)^{-1}X'\varepsilon )={\frac {1}{N}}\mathbb {E} \left[\varepsilon 'M_{X}\varepsilon \right]

={\frac {1}{N}}\mathbb {E} (X\beta +\varepsilon -X\beta -X(X'X)^{-1}X'\varepsilon )'(X\beta +\varepsilon -X\beta -X(X'X)^{-1}X'\varepsilon )={\frac {1}{N}}\mathbb {E} \left[\varepsilon 'M_{X}\varepsilon \right]

={\frac {1}{N}}\mathbb {E} (X\beta +\varepsilon -X\beta -X(X'X)^{-1}X'\varepsilon )'(X\beta +\varepsilon -X\beta -X(X'X)^{-1}X'\varepsilon )={\frac {1}{N}}\mathbb {E} \left[\varepsilon 'M_{X}\varepsilon \right]

dove $M_{X}=I-X(X'X)^{-1}X'$ $M_{X}=IX(X'X)^{-1}X'$ $M_{X}=I-X(X'X)^{-1}X'$ . Il valore atteso dell'espressione sopra è:

{\frac {1}{N}}\mathbb {E} \left[\varepsilon 'M_{X}\varepsilon \right]={\frac {1}{N}}\mathbb {E} \left[{\textrm {tr}}(\varepsilon 'M_{X}\varepsilon )\right]={\frac {1}{N}}\mathbb {E} \left[{\textrm {tr}}(M_{X}){\textrm {tr}}(\varepsilon '\varepsilon )\right]={\frac {N-k}{N}}\sigma ^{2},

{\frac {1}{N}}\mathbb {E} \left[\varepsilon 'M_{X}\varepsilon \right]={\frac {1}{N}}\mathbb {E} \left[{\textrm {tr}}(\varepsilon 'M_{X}\varepsilon )\right]={\frac {1}{N}}\mathbb {E} \left[{\textrm {tr}}(M_{X}){\textrm {tr}}(\varepsilon '\varepsilon )\right]={\frac {Nk}{N}}\sigma ^{2},

{\frac {1}{N}}\mathbb {E} \left[\varepsilon 'M_{X}\varepsilon \right]={\frac {1}{N}}\mathbb {E} \left[{\textrm {tr}}(\varepsilon 'M_{X}\varepsilon )\right]={\frac {1}{N}}\mathbb {E} \left[{\textrm {tr}}(M_{X}){\textrm {tr}}(\varepsilon '\varepsilon )\right]={\frac {N-k}{N}}\sigma ^{2},

dove ${\textrm {tr}}(\cdot )$ ${\textrm {tr}}(\cdot )$ ${\textrm {tr}}(\cdot )$ denota l' operatore traccia di una matrice. Lo stimatore corretto per il parametro $\sigma ^{2}$ $\sigma ^{2}$ $\sigma ^{2}$ è dunque:

{\hat {\sigma }}^{2}={\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{N-k}}.

{\hat {\sigma }}^{2}={\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{Nk}}.

{\hat {\sigma }}^{2}={\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{N-k}}.

Infatti:

\mathbb {E} \left[{\hat {\sigma }}^{2}\right]={\frac {N}{N-k}}\mathbb {E} [{\hat {s}}^{2}]=\sigma ^{2}.

\mathbb {E} \left[{\hat {\sigma }}^{2}\right]={\frac {N}{Nk}}\mathbb {E} [{\hat {s}}^{2}]=\sigma ^{2}.

\mathbb {E} \left[{\hat {\sigma }}^{2}\right]={\frac {N}{N-k}}\mathbb {E} [{\hat {s}}^{2}]=\sigma ^{2}.

Si osservi inoltre che, poiché $\varepsilon \sim N(0,\sigma ^{2}I)$ $\varepsilon \sim N(0,\sigma ^{2}I)$ $\varepsilon \sim N(0,\sigma ^{2}I)$ , ${\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{\sigma ^{2}}}={\frac {\varepsilon 'M_{X}\varepsilon }{\sigma ^{2}}}$ ${\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{\sigma ^{2}}}={\frac {\varepsilon 'M_{X}\varepsilon }{\sigma ^{2}}}$ ${\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{\sigma ^{2}}}={\frac {\varepsilon 'M_{X}\varepsilon }{\sigma ^{2}}}$ ha una distribuzione chi quadro con $N-k$ ${\displaystyle Nk}$ $N-k$ gradi di libertà.

Test di ipotesi nel modello lineare

Le tecniche del modello lineare sopra esposte possono trovare diverse applicazioni; con una qualche semplificazione, due sono i principali usi della regressione lineare:

Calibrazione di un modello , nota nel contesto dell' analisi numerica come interpolazione , ovvero determinare i valori dei parametri di un modello noto sulla base dei dati osservati;
Test di ipotesi concernenti i parametri di un modello.

Confinando la nostra attenzione al secondo punto, nell'ambito della statistica classica (cioè non bayesiana ) condurre un test statistico non può portare ad accettare un' ipotesi nulla , ma al più a non rifiutarla , un po' come dire che lo statistico assolve per mancanza di prove.

Un primo ordine di test concerne i singoli coefficienti del modello; volere stabilire se la j-esima variabile delle $X$ ${\displaystyle X}$ $X$ abbia o meno potere esplicativo nei confronti della $y$ ${\displaystyle y}$ $y$ equivale a sottoporre a verifica l' ipotesi nulla che il corrispondente coefficiente ${\hat {\beta }}_{j}$ ${\hat {\beta }}_{j}$ ${\hat {\beta }}_{j}$ sia nullo. A tal fine si ricorre alla statistica test :

{\hat {t}}_{j}={\frac {{\hat {\beta }}_{j}}{\sqrt {\Sigma _{jj}}}},

{\hat {t}}_{j}={\frac {{\hat {\beta }}_{j}}{\sqrt {\Sigma _{jj}}}},

{\hat {t}}_{j}={\frac {{\hat {\beta }}_{j}}{\sqrt {\Sigma _{jj}}}},

dove $\Sigma =\sigma ^{2}(X'X)^{-1}$ $\Sigma =\sigma ^{2}(X'X)^{-1}$ $\Sigma =\sigma ^{2}(X'X)^{-1}$ , che sotto l' ipotesi nulla ${\textrm {H}}_{0}:\beta _{j}=0$ ${\textrm {H}}_{0}:\beta _{j}=0$ ${\textrm {H}}_{0}:\beta _{j}=0$ ha distribuzione t di Student .

Un caso più complesso, e di maggiore interesse, riguarda il test di un insieme di restrizioni lineari sui coefficienti del modello; si consideri al riguardo un' ipotesi nulla nella forma:

{\textrm {H}}_{0}:R\beta =r,

{\textrm {H}}_{0}:R\beta =r,

{\textrm {H}}_{0}:R\beta =r,

dove $R$ ${\displaystyle R}$ $R$ è una matrice di rango $\varrho$ $\varrho$ $\varrho$ . Ad esempio, volendo testare l' ipotesi che il primo e il terzo coefficiente siano uguali, sarà sufficiente ricorrere la matrice (in questo particolare caso, vettore ) $R=[1,0,-1,0,\cdots ,0]$ $R=[1,0,-1,0,\cdots ,0]$ $R=[1,0,-1,0,\cdots ,0]$ , con $r=0$ ${\displaystyle r=0}$ $r=0$ , così che l' ipotesi nulla risulti: ${\textrm {H}}_{0}:\beta _{1}-\beta _{3}=0$ ${\textrm {H}}_{0}:\beta _{1}-\beta _{3}=0$ ${\textrm {H}}_{0}:\beta _{1}-\beta _{3}=0$ .

Al fine di sottoporre a verifica ipotesi di questo tipo, è sufficiente considerare che, essendo la combinazione lineare di variabili casuali normali ancora normale:

R{\hat {\beta }}-r\sim N(0,\sigma ^{2}R(X'X)^{-1}R'),

R{\hat {\beta }}-r\sim N(0,\sigma ^{2}R(X'X)^{-1}R'),

R{\hat {\beta }}-r\sim N(0,\sigma ^{2}R(X'X)^{-1}R'),

sotto l' ipotesi nulla ${\textrm {H}}_{0}:R\beta =r$ ${\textrm {H}}_{0}:R\beta =r$ ${\textrm {H}}_{0}:R\beta =r$ . Ne consegue che:

{\frac {(R{\hat {\beta }}-r)'[R(X'X)^{-1}R']^{-1}(R{\hat {\beta }}-r)}{\sigma ^{2}}}\sim \chi _{\varrho }^{2},

{\frac {(R{\hat {\beta }}-r)'[R(X'X)^{-1}R']^{-1}(R{\hat {\beta }}-r)}{\sigma ^{2}}}\sim \chi _{\varrho }^{2},

{\frac {(R{\hat {\beta }}-r)'[R(X'X)^{-1}R']^{-1}(R{\hat {\beta }}-r)}{\sigma ^{2}}}\sim \chi _{\varrho }^{2},

per la nota proprietà per cui la combinazione lineare dei quadrati variabili casuali normali standardizzate ha distribuzione chi quadro , con gradi di libertà pari al rango della matrice $R(X'X)^{-1}R'$ $R(X'X)^{-1}R'$ $R(X'X)^{-1}R'$ , $\varrho$ $\varrho$ $\varrho$ (si osservi che in generale $\varrho \leq k$ $\varrho \leq k$ $\varrho \leq k$ , e che $\varrho$ $\varrho$ $\varrho$ sarà solitamente pari al numero di restrizioni imposte sui parametri del modello). Naturalmente in generale il parametro $\sigma ^{2}$ $\sigma ^{2}$ $\sigma ^{2}$ è incognito, per cui l'espressione sopra non può essere usata direttamente per fare inferenza statistica . Si ricorda tuttavia che:

{\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{\sigma ^{2}}}\sim \chi _{N-k}^{2}.

{\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{\sigma ^{2}}}\sim \chi _{Nk}^{2}.

{\frac {{\hat {\varepsilon }}'{\hat {\varepsilon }}}{\sigma ^{2}}}\sim \chi _{N-k}^{2}.

Essendo noto che il rapporto tra due variabili casuali aventi distribuzione chi quadro, divise per i rispettivi gradi di libertà, è distribuito come una F di Fisher , è possibile utilizzare la statistica test :

{\hat {F}}={\frac {(R{\hat {\beta }}-r)'[R(X'X)^{-1}R']^{-1}(R{\hat {\beta }}-r)}{{\hat {\varepsilon }}'{\hat {\varepsilon }}}}{\frac {N-k}{\varrho }}\sim F(\varrho ,N-k),

{\hat {F}}={\frac {(R{\hat {\beta }}-r)'[R(X'X)^{-1}R']^{-1}(R{\hat {\beta }}-r)}{{\hat {\varepsilon }}'{\hat {\varepsilon }}}}{\frac {Nk}{\varrho }}\sim F(\varrho ,Nk),

{\hat {F}}={\frac {(R{\hat {\beta }}-r)'[R(X'X)^{-1}R']^{-1}(R{\hat {\beta }}-r)}{{\hat {\varepsilon }}'{\hat {\varepsilon }}}}{\frac {N-k}{\varrho }}\sim F(\varrho ,N-k),

avente sotto l' ipotesi nulla distribuzione F di Fisher con $\varrho$ $\varrho$ $\varrho$ e $N-k$ ${\displaystyle Nk}$ $N-k$ gradi di libertà.

Multicollinearità

Se due o più colonne della matrice dei regressori $X$ ${\displaystyle X}$ $X$ sono linearmente dipendenti, non esiste l'inversa $(X'X)^{-1}$ $(X'X)^{-1}$ $(X'X)^{-1}$ per cui il vettore di stime OLS non può essere determinato. Se da un lato è assai improbabile che questa eventualità si verifichi nelle applicazioni pratiche, è comunque possibile che alcune colonne della matrice $X$ ${\displaystyle X}$ $X$ siano prossime alla dipendenza lineare; in tal caso sarà ancora possibile ottenere un vettore di stime OLS, ma sorgerà il problema della multicollinearità.

Si parla di multicollinearità allorché una o più colonne della matrice dei regressori $X$ ${\displaystyle X}$ $X$ sono prossime a essere linearmente dipendenti. L'effetto della multicollinearità è che la matrice $X^{'} X$ ${\displaystyle X'X}$ $X'X$ è prossima all'essere singolare . Questo ha due conseguenze di particolare rilievo nelle applicazioni:

la significatività statistica dei singoli coefficienti risulta modesta;
il fitting della regressione risulta elevato (si osservano elevati valori dell'indice R²).

Il primo punto implica che gli intervalli di confidenza per i valori dei coefficienti saranno relativamente ampi; se tali intervalli includono lo zero, non si può rifiutare l'ipotesi nulla che la variabile corrispondente non abbia alcun effetto sulla variabile dipendente.

Un indicatore di multicollinearità spesso utilizzato nella pratica è il variance inflation factor (fattore di inflazione della varianza), o VIF. Il VIF è calcolato per ciascuna variabile del modello (spesso automaticamente da diversi software statistici), in base all'espressione:

{\textrm {VIF}}_{i}={\frac {1}{1-R_{i}^{2}}},

{\textrm {VIF}}_{i}={\frac {1}{1-R_{i}^{2}}},

{\textrm {VIF}}_{i}={\frac {1}{1-R_{i}^{2}}},

dove $R_{i}^{2}$ $R_{i}^{2}$ $R_{i}^{2}$ è il coefficiente R² di una regressione della colonna $i$ ${\displaystyle i}$ $i$ -esima di $X$ ${\displaystyle X}$ $X$ su tutti gli altri regressori (incluso il termine costante, se è presente). È possibile dimostrare che la varianza dell'elemento $i$ ${\displaystyle i}$ $i$ -esimo del vettore delle stime OLS ${\hat {\beta }}$ ${\hat {\beta }}$ ${\hat {\beta }}$ è proporzionale al VIF; dunque un VIF elevato comporterà una minore significatività del coefficiente ${\hat {\beta }}_{i}$ ${\hat {\beta }}_{i}$ ${\hat {\beta }}_{i}$ , andando a ridurre il valore della statistica $t$ ${\displaystyle t}$ $t$ di Student associata. Un $R_{i}^{2}$ $R_{i}^{2}$ $R_{i}^{2}$ elevato è indice di dipendenza lineare tra la colonna $i$ ${\displaystyle i}$ $i$ -esima e le restanti colonne della matrice $X$ ${\displaystyle X}$ $X$ , ossia è un indice di multicollinearità. Non esiste, tuttavia, un particolare valore soglia del VIF che determina inequivocabilmente la multicollinearità; sta alla sensibilità del ricercatore valutare, con l'ausilio dell'indicazione del VIF, se sussista o meno multicollinearità, nel qual caso è opportuno rimuovere il regressore $i$ ${\displaystyle i}$ $i$ -esimo (colonna $i$ ${\displaystyle i}$ $i$ -esima della matrice $X$ ${\displaystyle X}$ $X$ sulla quale si è riscontrata multicollinearità).

Presentazione dei risultati di stima

Le stime e le statistiche test presentate sopra costituiscono l'obiettivo del ricercatore che effettua un'analisi di regressione lineare. Sebbene le convenzioni nella presentazione dei risultati varino significativamente a seconda dell'ambito scientifico o del tipo di pubblicazione, alcuni standard sono in generale rispettati. I risultati della stima di un modello di regressione lineare potrebbero e dovrebbero riportare:

il numero delle osservazioni;
i valori delle stime dei parametri ( ${\hat {\beta }}$ ${\hat {\beta }}$ ${\hat {\beta }}$ nella notazione sopra adottata);
i valori delle statistiche test t di Student associati a ciascun parametro, onde valutarne la significatività ; tali statistiche sono spesso accompagnate dall'indicazione dell' errore standard associato ( $\Sigma _{jj}^{\frac {1}{2}}$ $\Sigma _{jj}^{\frac {1}{2}}$ $\Sigma _{jj}^{\frac {1}{2}}$ nella notazione sopra), nonché del p-value , pari a $1-\Pr(|{\hat {t}}_{j}|)$ $1-\Pr(|{\hat {t}}_{j}|)$ $1-\Pr(|{\hat {t}}_{j}|)$ nella notazione sopra, dove $\Pr(\cdot )$ $\Pr(\cdot )$ $\Pr(\cdot )$ è la funzione di ripartizione della t di Student , che presenta un'indicazione immediata della significatività (e risparmia a chi legge la pena di effettuare un controllo sulle tavole della t di Student ); pur variando in funzione del settore scientifico, p-value considerati indice di significatività statistica sono quelli inferiori a 0,10, 0,05, 0,01;
statistiche atte a valutare la bontà complessiva del modello; queste possono essere a seconda dei casi limitate a misura di bontà del fitting quali R² e R² corretto per i gradi di libertà (v. sopra), ma anche statistiche test quali il test F , ossia la statistica F di Fisher associata all'ipotesi nulla che tutti gli elementi di $\beta$ $\beta$ $\beta$ , salvo l'intercetta, siano al contempo nulli (quest'ultima statistica test è pari al quadrato della statistica t associata al parametro pendenza nel caso univariato);
eventuali controparti asintotiche delle statistiche test testé menzionate (nel caso, ad esempio, in cui si abbia motivo di ritenere violata l'ipotesi di normalità dei disturbi);
ulteriori test statistici concernenti le ipotesi del modello classico di regressione lineare, quali test per l'assenza di autocorrelazione nei residui e/o di eteroschedasticità . In quest'ultimo caso, può essere utile presentare anche delle statistiche t robuste rispetto a tali problemi, e con esse i relativi errori standard e p-value .

Regressione e causalità

Particolare attenzione si deve porre nel ritenere che un modello:

y=X\beta +\varepsilon

y=X\beta +\varepsilon

y=X\beta +\varepsilon

implichi che le variabili ricomprese nella matrice $X$ ${\displaystyle X}$ $X$ "causino" la $y$ ${\displaystyle y}$ $y$ . È importante osservare che l'esistenza di regressione (formalmente definita nei paragrafi precedenti) non implica altro che l'esistenza di un valore atteso condizionato :

\mathbb {E} [y|X]=X\beta

\mathbb {E} [y|X]=X\beta

\mathbb {E} [y|X]=X\beta

In particolare, non si può in generale affermare che l'espressione sopra significhi che le variabili in $X$ ${\displaystyle X}$ $X$ causino il comportamento della $y$ ${\displaystyle y}$ $y$ . Come espresso con efficacia da Cochrane (2003), "le regressioni non hanno cause al secondo membro e conseguenze al primo membro." Tuttavia resta vero che uno dei principali task dell'analisi di regressione verte proprio sulle indagini di tipo causale; peraltro in contesti sperimentali "controllati" questa possibilità è tipicamente accettata. Inoltre anche in contesti osservazionali l'interpretazione causale, anche se molto più delicata, non si esclude assolutamente, anzi in certi contesti resta il task più importante. Particolare rilievo in questo contesto è giocato dal problema delle variabili omesse , se siamo portati a ritenere che tale problema non sia rilevante, allora l'interpretazione causale è lecita ^[2] .

Validità

I concetti di validità esterna ed interna forniscono uno schema di riferimento per valutare se uno studio statistico o econometrico sia utile per rispondere ad una domanda specifica di interesse.

Esterna

L'analisi è esternamente valida se le sue inferenze e conclusioni possono essere generalizzate dalla popolazione e dal contesto studiati ad altre popolazioni e contesti. Deve essere giudicata usando la conoscenza specifica della popolazione e del contesto usato e di quelli oggetto d'interesse. ^[1]

Un'ipotesi cruciale del modello classico di regressione lineare è che i regressori siano ortogonali al disturbo stocastico, ossia, formalmente:

\mathbb {E} [X'\varepsilon ]=\mathbf {0} .

\mathbb {E} [X'\varepsilon ]=\mathbf {0} .

\mathbb {E} [X'\varepsilon ]=\mathbf {0} .

Il motivo per cui tale ipotesi — anche nota come ipotesi di esogeneità — è fondamentale è presto illustrato; basta osservare che:

{\hat {\beta }}=\beta +(X'X)^{-1}X'\varepsilon ,

{\hat {\beta }}=\beta +(X'X)^{-1}X'\varepsilon ,

{\hat {\beta }}=\beta +(X'X)^{-1}X'\varepsilon ,

così che:

\mathbb {E} [{\hat {\beta }}]=\beta \ \iff \ (X'X)^{-1}\mathbb {E} [X'\varepsilon ]=0\ \iff \ \mathbb {E} [X'\varepsilon ]=0.

\mathbb {E} [{\hat {\beta }}]=\beta \ \iff \ (X'X)^{-1}\mathbb {E} [X'\varepsilon ]=0\ \iff \ \mathbb {E} [X'\varepsilon ]=0.

\mathbb {E} [{\hat {\beta }}]=\beta \ \iff \ (X'X)^{-1}\mathbb {E} [X'\varepsilon ]=0\ \iff \ \mathbb {E} [X'\varepsilon ]=0.

In altri termini: l'ipotesi di esogeneità dei regressori è condizione necessaria per la correttezza dello stimatore ${\hat {\beta }}$ ${\hat {\beta }}$ ${\hat \beta }$ del metodo dei minimi quadrati (un'analoga argomentazione può essere data in termini asintotici, passando dalla correttezza alla consistenza dello stimatore).

In tutti i casi in cui si ha motivo di credere che l'ipotesi di esogeneità sia violata — tutti i casi in cui si sospetta endogeneità dei regressori — non si può fare affidamento sui risultati di una regressione condotta col metodo dei minimi quadrati ordinari (la soluzione è di ricorrere a una regressione con variabili strumentali ).

Differenze di popolazioni

È la differenza tra la popolazione studiata e la popolazione d'interesse. Un esempio è quello di effettuare lo stesso test sui topi e sugli uomini senza chiedersi se vi siano delle differenze che inficino l'analisi.

Differenze di contesto

Anche se la popolazione studiata e quella d'interesse fossero uguali, sarebbe opportuno valutarne il contesto. Un esempio è uno studio su una campagna di alcolici su degli studenti universitari e su degli studenti delle classi primarie.

Interna

Un'analisi statistica è internamente valida se le inferenze statistiche sugli effetti causali sono validi per la popolazione oggetto di studio. ^[1]

Distorsione da variabile omessa

La distorsione da variabile omessa nasce quando viene omessa una variabile dalla regressione, che è una determinante di $Y$ ${\displaystyle Y}$ $Y$ ed è correlata con uno o più dei regressori .

L'omissione di variabili rilevanti (nel senso precisato in quanto segue) può rendere le stime OLS inconsistenti. Si supponga che il modello "vero" sia:

y_{i}=\beta _{1}x_{i1}+\beta _{2}x_{i2}+\varepsilon _{i},\quad \sigma (x_{i1},x_{i2})\neq 0

y_{i}=\beta _{1}x_{i1}+\beta _{2}x_{i2}+\varepsilon _{i},\quad \sigma (x_{i1},x_{i2})\neq 0

y_{i}=\beta _{1}x_{i1}+\beta _{2}x_{i2}+\varepsilon _{i},\quad \sigma (x_{i1},x_{i2})\neq 0

ma si stimi un modello:

y_{i}=\beta _{1}x_{i1}+{\tilde {\varepsilon }}_{i}

y_{i}=\beta _{1}x_{i1}+{\tilde {\varepsilon }}_{i}

y_{i}=\beta _{1}x_{i1}+{\tilde {\varepsilon }}_{i}

che omette la variabile rilevante $x_{i2}$ $x_{i2}$ $x_{{i2}}$ che contribuisce a spiegare la variabile dipendente $y$ ${\displaystyle y}$ $y$ . Si ha allora:

{\tilde {\varepsilon }}_{i}=y_{i}-\beta _{1}x_{i1}=\beta _{2}x_{i2}+\varepsilon _{i}

{\tilde {\varepsilon }}_{i}=y_{i}-\beta _{1}x_{i1}=\beta _{2}x_{i2}+\varepsilon _{i}

{\tilde \varepsilon }_{i}=y_{i}-\beta _{1}x_{{i1}}=\beta _{2}x_{{i2}}+\varepsilon _{i}

Poiché $\sigma (x_{i1},x_{i2})\neq 0$ $\sigma (x_{i1},x_{i2})\neq 0$ $\sigma (x_{{i1}},x_{{i2}})\neq 0$ , nel secondo modello il regressore $x_{i1}$ $x_{i1}$ $x_{{i1}}$ è correlato col disturbo ${\tilde {\varepsilon }}_{i}$ ${\tilde {\varepsilon }}_{i}$ ${\tilde \varepsilon }_{i}$ . Per la precisione:

\sigma (x_{i1},{\tilde {\varepsilon }}_{i})=\beta _{2}\sigma (x_{i1},x_{i2})\neq 0

\sigma (x_{i1},{\tilde {\varepsilon }}_{i})=\beta _{2}\sigma (x_{i1},x_{i2})\neq 0

\sigma (x_{{i1}},{\tilde \varepsilon }_{i})=\beta _{2}\sigma (x_{{i1}},x_{{i2}})\neq 0

Risulta così violata una delle ipotesi del modello classico di regressione lineare, e le stime del parametro $\beta _{1}$ $\beta _{1}$ $\beta_1$ col metodo dei minimi quadrati ordinari sono inconsistenti.

Si osservi che, qualora la variabile rilevante $x_{i2}$ $x_{i2}$ $x_{{i2}}$ sia ortogonale a $x_{i1}$ $x_{i1}$ $x_{{i1}}$ (e, di conseguenza, $\sigma (x_{i1},x_{i2})=0$ $\sigma (x_{i1},x_{i2})=0$ $\sigma (x_{{i1}},x_{{i2}})=0$ ), il problema scompare (il teorema di Frisch-Waugh-Lovell precisa ed estende quest'ultima considerazione).

Soluzione : se l'errore è osservabile bisogna includere la variabile omessa nella regressione multipla. Se non è osservabile è possibile:

1. Usare dati in cui la stessa unità è osservata in momenti diversi;

2. Usare la regressione a variabili strumentali ;

3. Effettuare un esperimento randomizzato controllato.

Forma scorretta della regressione

Questo errore sorge quando la funzione di regressione che descrive i dati non è corretta. Ad esempio una funzione di regressione di una popolazione non lineare è descritta come lineare.

Soluzione : cambiare la forma della funzione.

Errori nelle variabili

Tipicamente è un errore di misura o confusione, che va a distorcere l'intero data set.

Soluzione :

1. Ottenere una misura più accurata di

X

{\displaystyle X}

X

;

2. Usare la regressione a variabili strumentali .

Causalità simultanea

La distorsione di causalità simultanea si verifica in una regressione di Y su X quando, in aggiunta al legame causale d'interesse da $X$ ${\displaystyle X}$ $X$ a $Y$ ${\displaystyle Y}$ $Y$ , c'è un legame causale da $Y$ ${\displaystyle Y}$ $Y$ a $X$ ${\displaystyle X}$ $X$ . Questa causalità inversa rende $X$ ${\displaystyle X}$ $X$ correlato con l' errore statistico nella regressione d'interesse.

Soluzione :

1. Effettuare un esperimento causalizzato controllato dove il canale di causalità inversa sia controllato;

2. Usare la regressione a variabili strumentali .

Selezione campionaria

Si verifica quando il processo di selezione è legato al valore della variabile dipendente; ciò può introdurre la correlazione tra l' errore statistico ed il regressore , portando così ad una distorsione dello stimatore OLS .

Regressori stimati (o generati)

Si supponga di non poter osservare direttamente un regressore, che deve essere stimato (o generato , secondo una diversa terminologia); per concretezza, si consideri un "vero" modello:

y_{i}=\beta x_{i}+\varepsilon _{i},\quad \sigma (x_{i},\varepsilon _{i})=0

y_{i}=\beta x_{i}+\varepsilon _{i},\quad \sigma (x_{i},\varepsilon _{i})=0

y_{i}=\beta x_{i}+\varepsilon _{i},\quad \sigma (x_{i},\varepsilon _{i})=0

e si ipotizzi di disporre soltanto di una stima di $x_{i}$ $x_{i}$ $x_i$ :

{\hat {x}}_{i}=x_{i}+u_{i},\quad \sigma (x_{i},u_{i})=0

{\hat {x}}_{i}=x_{i}+u_{i},\quad \sigma (x_{i},u_{i})=0

{\hat x}_{i}=x_{i}+u_{i},\quad \sigma (x_{i},u_{i})=0

Se si procede nella stima di:

y_{i}=\beta {\hat {x}}_{i}+\varepsilon _{i}

y_{i}=\beta {\hat {x}}_{i}+\varepsilon _{i}

y_{i}=\beta {\hat x}_{i}+\varepsilon _{i}

Si ottiene:

{\hat {\beta }}_{\mathrm {OLS} }={\frac {\sigma ({\hat {x}}_{i},y_{i})}{\sigma ^{2}({\hat {x}}_{i})}}={\frac {\sigma (x_{i},y_{i})+\sigma (u_{i},\varepsilon _{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}=

{\hat {\beta }}_{\mathrm {OLS} }={\frac {\sigma ({\hat {x}}_{i},y_{i})}{\sigma ^{2}({\hat {x}}_{i})}}={\frac {\sigma (x_{i},y_{i})+\sigma (u_{i},\varepsilon _{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}=

{\hat \beta }_{{{\mathrm {OLS}}}}={\frac {\sigma ({\hat {x}}_{i},y_{i})}{\sigma ^{2}({\hat x}_{i})}}={\frac {\sigma (x_{i},y_{i})+\sigma (u_{i},\varepsilon _{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}=

={\frac {\sigma (y_{i},x_{i})}{\sigma ^{2}(x_{i})}}{\frac {\sigma ^{2}(x_{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}+{\frac {\sigma (u_{i},\varepsilon _{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}=

={\frac {\sigma (y_{i},x_{i})}{\sigma ^{2}(x_{i})}}{\frac {\sigma ^{2}(x_{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}+{\frac {\sigma (u_{i},\varepsilon _{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}=

={\frac {\sigma (y_{i},x_{i})}{\sigma ^{2}(x_{i})}}{\frac {\sigma ^{2}(x_{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}+{\frac {\sigma (u_{i},\varepsilon _{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}=

=\beta \times A+{\frac {\sigma (u_{i},\varepsilon _{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}

=\beta \times A+{\frac {\sigma (u_{i},\varepsilon _{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}

=\beta \times A+{\frac {\sigma (u_{i},\varepsilon _{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}

con:

A={\frac {\sigma ^{2}(x_{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}\leq 1

A={\frac {\sigma ^{2}(x_{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}\leq 1

A={\frac {\sigma ^{2}(x_{i})}{\sigma ^{2}(x_{i})+\sigma ^{2}(u_{i})}}\leq 1

.

Supponendo che $\sigma (u_{i},\varepsilon _{i})=0$ $\sigma (u_{i},\varepsilon _{i})=0$ $\sigma (u_{i},\varepsilon _{i})=0$ , la stima del parametro $\beta$ $\beta$ $\beta$ risulta più vicina a zero di quanto non sia il "vero" valore del parametro (questo effetto è noto con termine inglese come attenuation bias ). È immediato osservare che il problema è meno pronunciato laddove la varianza dell'errore nell'osservazione di $x_{i}$ $x_{i}$ $x_i$ , $u_{i}$ $u_{i}$ $u_{i}$ risulta minore della varianza di $x_{i}$ $x_{i}$ $x_i$ stesso — ossia, non sorprendentemente, quando $x_{i}$ $x_{i}$ $x_i$ può essere stimato con relativa precisione.

Si osservi infine che nessun problema si pone nel caso in cui la variabile dipendente — $y$ ${\displaystyle y}$ $y$ — sia stimata o generata. In tal caso, il termine di errore in essa contenuto sarà semplicemente incorporato nel disturbo della regressione — $\varepsilon$ $\varepsilon$ $\varepsilon$ , senza ledere la consistenza delle stime OLS.

Proprietà asintotiche del modello classico di regressione lineare

Le proprietà sopra esposte possono essere generalizzate al caso in cui le ipotesi sulla distribuzione dei termini di errore non siano necessariamente valide per campioni di dimensione finita. In questo caso, si ricorre alle proprietà asintotiche delle stime, supponendo implicitamente che, per campioni di dimensione sufficientemente grande, la distribuzione asintotica delle stime coincida, o approssimi ragionevolmente, quella effettiva. I risultati si fondano sulteorema del limite centrale , o su sue generalizzazioni.

Al fine di illustrare le proprietà asintotiche degli stimatori dei minimi quadrati ordinari, si ipotizzi:

$\mathrm {plim} \ {\frac {\varepsilon '\mathbf {1} }{N}}=0,$ $\mathrm {plim} \ {\frac {\varepsilon '\mathbf {1} }{N}}=0,$ $\mathrm {plim} \ {\frac {\varepsilon '\mathbf {1} }{N}}=0,$
$\mathrm {plim} \ {\frac {\varepsilon '\varepsilon }{N}}=\sigma ^{2}I,$ $\mathrm {plim} \ {\frac {\varepsilon '\varepsilon }{N}}=\sigma ^{2}I,$ $\mathrm {plim} \ {\frac {\varepsilon '\varepsilon }{N}}=\sigma ^{2}I,$
$\mathrm {plim} \ {\frac {X'X}{N}}=Q<\infty ,$ $\mathrm {plim} \ {\frac {X'X}{N}}=Q<\infty ,$ $\mathrm {plim} \ {\frac {X'X}{N}}=Q<\infty ,$

dove $\mathrm {plim}$ $\mathrm {plim}$ ${\mathrm {plim}}$ denota la convergenza in probabilità e $I$ ${\displaystyle I}$ $I$ la matrice identità.

L'espressione per lo stimatore dei minimi quadrati ordinari può essere riscritta come:

{\hat {\beta }}=\beta +\left(X'X\right)^{-1}X'\varepsilon =\beta +\left({\frac {X'X}{N}}\right)^{-1}{\frac {X'\varepsilon }{N}}.

{\hat {\beta }}=\beta +\left(X'X\right)^{-1}X'\varepsilon =\beta +\left({\frac {X'X}{N}}\right)^{-1}{\frac {X'\varepsilon }{N}}.

{\hat {\beta }}=\beta +\left(X'X\right)^{-1}X'\varepsilon =\beta +\left({\frac {X'X}{N}}\right)^{-1}{\frac {X'\varepsilon }{N}}.

Passando al limite per $N\rightarrow \infty$ $N\rightarrow \infty$ $N\rightarrow \infty$ , si ha allora:

\mathrm {plim} \ {\hat {\beta }}=\beta +Q^{-1}\ \mathrm {plim} {\frac {X'\varepsilon }{N}}=\beta

\mathrm {plim} \ {\hat {\beta }}=\beta +Q^{-1}\ \mathrm {plim} {\frac {X'\varepsilon }{N}}=\beta

{\mathrm {plim}}\ {\hat \beta }=\beta +Q^{{-1}}\ {\mathrm {plim}}{\frac {X'\varepsilon }{N}}=\beta

(si osservi che il limite in probabilità dell'inversa di $X'X/N$ ${\displaystyle X'X/N}$ $X'X/N$ è l'inversa di $Q$ ${\displaystyle Q}$ $Q$ ). Dunque, lo stimatore ${\hat {\beta }}$ ${\hat {\beta }}$ ${\hat \beta }$ converge in probabilità al vero valore del vettore di parametri $\beta$ $\beta$ $\beta$ – si dice dunque che ${\hat {\beta }}$ ${\hat {\beta }}$ ${\hat \beta }$ gode della proprietà di consistenza .

Applicando una banale estensione delteorema del limite centrale al caso multivariato, si ha inoltre:

{\frac {1}{\sqrt {N}}}X'\varepsilon {\stackrel {d}{\rightarrow }}\ z\sim N(\mathbf {0} ,\sigma ^{2}Q)

{\frac {1}{\sqrt {N}}}X'\varepsilon {\stackrel {d}{\rightarrow }}\ z\sim N(\mathbf {0} ,\sigma ^{2}Q)

{\frac {1}{{\sqrt {N}}}}X'\varepsilon {\stackrel {d}{\rightarrow }}\ z\sim N({\mathbf {0}},\sigma ^{2}Q)

dove ${\stackrel {d}{\rightarrow }}$ ${\stackrel {d}{\rightarrow }}$ ${\stackrel {d}{\rightarrow }}$ denota la convergenza in distribuzione . Da quest'ultimo risultato discende allora che:

{\sqrt {N}}\left({\hat {\beta }}-\beta \right)=\left({\frac {X'X}{N}}\right)^{-1}{\frac {X'\varepsilon }{\sqrt {N}}}\ {\stackrel {d}{\rightarrow }}\ \xi \sim N\left(\mathbf {0} ,\sigma ^{2}Q^{-1}\right)

{\sqrt {N}}\left({\hat {\beta }}-\beta \right)=\left({\frac {X'X}{N}}\right)^{-1}{\frac {X'\varepsilon }{\sqrt {N}}}\ {\stackrel {d}{\rightarrow }}\ \xi \sim N\left(\mathbf {0} ,\sigma ^{2}Q^{-1}\right)

{\sqrt {N}}\left({\hat \beta }-\beta \right)=\left({\frac {X'X}{N}}\right)^{{-1}}{\frac {X'\varepsilon }{{\sqrt {N}}}}\ {\stackrel {d}{\rightarrow }}\ \xi \sim N\left({\mathbf {0}},\sigma ^{2}Q^{{-1}}\right)

In altre parole, lo stimatore dei minimi quadrati ordinari è non solo consistente , ma anche asintoticamente normalmente distribuito ; l'insieme di queste proprietà si indica con la sigla inglese CAN ( Consistent and Asymptotically Normal ).

Estensioni del modello lineare classico

I metodi sopra esposti costituiscono il nucleo del modello classico di regressione lineare; quantunque validi strumenti di analisi per un ampio spettro di discipline e casi di studio, essi prestano il fianco a una serie di critiche, incentrate sulla semplicità delle ipotesi alla base del modello.

Tali critiche hanno portato alla formulazione di modelli più generali, caratterizzati da ipotesi meno restrittive rispetto a quelle poste sopra. L'analisi ha battuto alcune vie principali:

Rimozione delle ipotesi di assenza di correlazione e omoschedasticità ;
Ipotesi alternative circa la distribuzione di probabilità dei disturbi;
Analisi delle proprietà asintotiche del modello classico di regressione lineare, ad esempio tramite il delta method .

Ciò ha consentito lo sviluppo di modelli alternativi, o quantomeno complementari, al modello classico; tra i più noti, il metodo dei minimi quadrati generalizzati , metodi di stima tramite variabili strumentali , i vari modelli di regressione robusta , nonché numerosi modelli sviluppati nell'ambito dell'analisi delle serie storiche e dei dati panel .

Note

^ ^a ^b ^c ^d James Stock, Mark Watson, Introduzione all'econometria , Milano, Pearson Education, 2005, p. 95, ISBN 978-88-7192-267-6 .
^ Verbeek, A guide to modern econometrics - 2nd edition - cap 5.3.1 - pag 132: when we interpret the model as a conditional expectation, the ceteris paribus condition only refers to the included variables, while for a causal interpretation it also includes the unobservables (omitted variables) in the error term. .

Bibliografia

Articoli e contributi storici

AM Legendre ( 1805 ) Nouvelles méthodes pour la détermination des orbites des comètes (l'Appendice contiene una sezione intitolata "Sur la Méthode des Moindres Quarrés" - Sul Metodo dei Minimi Quadrati);
CF Gauss ( 1809 ) Theoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientum ;
CF Gauss ( 1821 / 1823 ) Theoria combinationis observationum erroribus minimis obnoxiae ;
Charles Darwin ( 1869 ) The Variation of Animals and Plants under Domestication (il Capitolo XIII contiene una descrizione di quanto era noto, all'epoca di Galton , sulla reversione ; Darwin usa il termine reversione ( reversion ) in luogo di regressione );
Francis Galton ( 1877 ) Typical laws of heredity, Nature 15 , 492-495, 512-514, 532-533 (Galton usa il termine reversione ( reversion ) in questo lavoro, in cui analizza la dimensione dei piselli);
Francis Galton ( 1885 ) Presidential address , Section H , Anthropology . (Galton usa il termine regressione ( regression ) in questo lavoro, in cui analizza l'altezza degli esseri umani);
Francis Galton ( 1886 ) Regression Towards Mediocrity in Hereditary Stature, Journal of the Anthropological Institute , 15 :246-263 (Una riproduzione è disponibile presso: [1] );
George Udny Yule ( 1897 ) On the Theory of Correlation, Journal of the Royal Statistical Society , 812-54;
Karl Pearson , GU Yule , Norman Blanchard, and Alice Lee ( 1903 ) The Law of Ancestral Heredity, Biometrika ;
Ronald Fisher ( 1922 ) The goodness of fit of regression formulae, and the distribution of regression coefficients, Journal of the Royal Statistical Society 85 , 597-612;
Ronald Fisher ( 1925 ) Statistical Methods for Research Workers .

Teoria moderna

DC Boes, FA Graybill, AM Mood ( 1988 ), Introduzione alla Statistica , McGraw-Hill Libri Italia, ISBN 88-386-0661-7 , il testo di riferimento per i fondamenti della statistica matematica; il Capitolo 10 contiene un'introduzione al modello lineare e tratta la regressione lineare classica nel caso univariato; i Capitoli 3, 5, 7-8 trattano le famiglie di distribuzioni sopra menzionate, problemi relativi a funzioni di variabili casuali , nonché la teoria generale classica della stima per punti e per intervalli di confidenza;
NR Draper, H. Smith ( 1998 ), Applied Regression Analysis , Wiley Series in Probability and Statistics, ISBN 0-471-17082-8 , illustra i metodi della regressione lineare classica sopra analizzati, e introduce metodi più avanzati di regressione robusta e bootstrap ; dedica i Capitoli 20-21 alle proprietà geometriche degli stimatori OLS (in inglese );
John R. Taylor , ( 1999 ) Introduzione all'analisi degli errori , Zanichelli editore, ISBN 88-08-17656-8 , illustra in modo chiaro ed intuitivo i fondamenti della statistica , introducendo il metodo della regressione lineare, le principali famiglie di distribuzioni , la teoria generale classica della stima per punti e per intervalli di confidenza, presentando anche diversi esempi concreti.

Pratica corrente

Nell'ambito dell' econometria (manuali, si veda anche l'articolo econometria ):

Davidson, J. ( 2000 ), Econometric Theory , Blackwell, ISBN 0-631-21584-0 , un testo avanzato, di livello master/dottorato; contiene un'analisi approfondita degli aspetti geometrici e statistici del modello di regressione lineare classico, delle sue proprietà statistiche asintotiche, nonché una diffusa trattazione di tecniche più avanzate, relative all'analisi delle serie storiche (in inglese );
Greene, WH ( 2000 ), Econometric Analysis , Prentice-Hall, ISBN 0-13-013297-7 , analizza nel dettaglio il modello classico di regressione lineare nel caso multivariato, con particolare riferimento alle sue applicazioni nell'ambito dell' econometria , disciplina per cui rappresenta il testo di livello universitario/master di riferimento (in inglese );
Lancaster, T. ( 2004 ), An introduction to Modern Bayesian Econometrics , Blackwell, ISBN 1-4051-1720-6 , contiene un'analisi (introduttiva) del modello di regressione lineare nella prospettiva dell' inferenza bayesiana , principale concorrente dell'approccio classico, o frequentista, nell' econometria (in inglese ).

Nell'ambito della finanza :

Campbell, J., AW Lo e AC MacKinlay ( 1996 ) The Econometrics of Financial Markets , Princeton University Press, ISBN 978-0-691-04301-2 , un testo di riferimento per applicazioni dell'analisi statistica, e in particolare di regressione, allo studio dei mercati finanziari (in inglese );
Cochrane, J. ( 2003 ) Asset Pricing — Revised Edition , Princeton University Press ISBN 0-691-12137-0 , un testo introduttivo sulla teoria dell' asset pricing , con numerosi capitoli dedicati alle applicazioni del modello di regressione lineare ai test empirici dei modelli di asset pricing .

Nell'ambito della fisica :

Loreti, M. ( 1998 ), Teoria degli errori e fondamenti di statistica , Decibel Zanichelli, ISBN 88-08-09785-4 , ottima introduzione alla statistica in fisica, scaricabile anche ( legalmente ) dal sito dell'autore, [2]

Nell'ambito della Ricerca sociale:

Pisati M.,Corbetta P. e Gasperoni G., (2001). "Statistica per la ricerca sociale", Il Mulino.

Nell'ambito della linguistica, in particolare della psicolinguistica:

Baayen, RH, (2006). Analyzing Linguistic Data. A Practical Introduction to Statistics Using R. , Cambridge University Press. (scaricabile anche dal sito dell'autore, [3] )

Voci correlate

Correlazione (statistica)
Correlazione spuria
Econometria
Metodo dei minimi quadrati
Metodo della stima tramite variabili strumentali
Metodo deiminimi quadrati a due stadi
Regressione con i minimi quadrati generalizzati
Regressione nonlineare
Teorema di Frisch-Waugh-Lovell
Teorema di Gauss-Markov
Statistica di Durbin-Watson , una statistica test utilizzata per rilevare la presenza di autocorrelazione dei residui in un'analisi di regressione

Altri progetti

Wikimedia Commons contiene immagini o altri file su regressione lineare

Collegamenti esterni

Controllo di autorità	Thesaurus BNCF 15574

Portale Economia

Portale Matematica

Portale Statistica

[atlas-1] James Stock, Mark Watson, Introduzione all'econometria , Milano, Pearson Education, 2005, p. 95, ISBN 978-88-7192-267-6 .

[2] Verbeek, A guide to modern econometrics - 2nd edition - cap 5.3.1 - pag 132: when we interpret the model as a conditional expectation, the ceteris paribus condition only refers to the included variables, while for a causal interpretation it also includes the unobservables (omitted variables) in the error term. .

[1]

[2]

V · D · M Statistica
Statistica descrittiva	Media ( aritmetica · geometrica · armonica · di potenza · aritmetico-geometrica · integrale ) · Mediana · Moda · Intervallo di variazione · Varianza · Deviazione standard · Scarto medio assoluto · Simmetria · Differenza media ( assoluta · logaritmica ) · Curtosi
Inferenza statistica	Test di verifica d'ipotesi · Significatività · Ipotesi nulla/alternativa · Errore del I e del II tipo · Test Q · Test U · Test t · Test Z · Massima verosimiglianza · Standardizzazione · Valore p · Analisi della varianza
Analisi di sopravvivenza	Tasso di guasto · Stimatore di Kaplan-Meier · Test dei ranghi logaritmici
Analisi della regressione	Regressione lineare · Regressione nonlineare · Variabili strumentali · Metodo generalizzato dei momenti · Regressione logistica · Modello probit · Modello logit

V · D · M Apprendimento automatico
Problemi	Classificazione · Regressione · Regole di associazione · Apprendimento non supervisionato · Apprendimento supervisionato · Apprendimento per rinforzo · Apprendimento profondo
Apprendimento non supervisionato	Clustering · Clustering gerarchico · K-means · Expectation maximization · Dbscan · Mean shift · Rete antagonista generativa (cGAN · VAE-GAN · cycleGAN)
Apprendimento supervisionato	Albero di decisione · Foresta casuale · CRF · HMM · KNN · Classificatore bayesiano · Rete neurale artificiale · Regressione lineare · Regressione logistica · PGM · SVM
Apprendimento per rinforzo	Q-learning · SARSA · TD
Riduzione della dimensionalità	Analisi fattoriale · CCA ·ICA · LDA · PCA · Selezione delle caratteristiche · Estrazione di caratteristiche · t-SNE
Reti neurali artificiali	Percettrone · RBF · BN · FFN · Rete di Hopfield · MLP · RNN ( LSTM ) · RBM · SOM · CNN · TDNN · SNN
Software	Keras · Microsoft Cognitive Toolkit · Scikit-learn · TensorFlow · Theano · Torch · Weka
Altro	Algoritmo genetico · PSO · Caratteristica