Formula computațională pentru varianță

În teoria probabilității și statisticile , există mai multe formule de calcul pentru varianță care fac posibilă obținerea varianței unei variabile aleatorii . Utilitatea lor depinde de ceea ce se știe deja despre variabila aleatorie; de exemplu, o variabilă aleatorie poate fi definită în funcție de funcția sa de densitate a probabilității sau prin construcție din alte variabile aleatoare. În acest context, intenționăm să obținem expresii algebrice pentru varianța teoretică a unei variabile aleatorii, spre deosebire de întrebările de estimare a varianței unei populații din datele eșantionului pentru care există considerații speciale pentru implementarea algoritmilor de calcul .

În ceea ce privește momentele de origine zero

Dacă momentele de origine zero E ( X ) și E ( X ² ) ale unei variabile aleatoare X sunt cunoscute (unde E ( X ) este valoarea așteptată a lui X ), atunci Var ( X ) este dat de

\operatorname {Var} (X)=\operatorname {E} (X^{2})-[\operatorname {E} (X)]^{2}.

{\ displaystyle \ operatorname {Var} (X) = \ operatorname {E} (X ^ {2}) - [\ operatorname {E} (X)] ^ {2}.}

{\ displaystyle \ operatorname {Var} (X) = \ operatorname {E} (X ^ {2}) - [\ operatorname {E} (X)] ^ {2}.}

Rezultatul se numește formula König - Huygens din literatura franceză ^[1] și este cunoscută sub numele de teorema de traducere a lui Steiner în Germania . ^[2]

Există o formulă corespunzătoare de utilizat pentru estimarea varianței din datele eșantionului, care poate fi utilă în calculele manuale. Este o identitate strâns legată, care este structurată pentru a crea o estimare fără părtiniri a varianței populației

{\hat {\sigma }}^{2}={\frac {1}{N-1}}\sum _{i=1}^{N}(x_{i}-{\bar {x}})^{2}={\frac {N}{N-1}}\left({\bar {x^{2}}}-{\bar {x}}^{2}\right)={\frac {N}{N-1}}\left({\frac {1}{N}}\left(\sum _{i=1}^{N}x_{i}^{2}\right)-{\bar {x}}^{2}\right)\equiv {\frac {1}{N-1}}\left(\left(\sum _{i=1}^{N}x_{i}^{2}\right)-N\left({\bar {x}}\right)^{2}\right).

{\ displaystyle {\ hat {\ sigma}} ^ {2} = {\ frac {1} {N-1}} \ sum _ {i = 1} ^ {N} (x_ {i} - {\ bar { x}}) ^ {2} = {\ frac {N} {N-1}} \ left ({\ bar {x ^ {2}}} - {\ bar {x}} ^ {2} \ right) = {\ frac {N} {N-1}} \ left ({\ frac {1} {N}} \ left (\ sum _ {i = 1} ^ {N} x_ {i} ^ {2} \ dreapta) - {\ bar {x}} ^ {2} \ dreapta) \ equiv {\ frac {1} {N-1}} \ left (\ left (\ sum _ {i = 1} ^ {N} x_ {i} ^ {2} \ right) -N \ left ({\ bar {x}} \ right) ^ {2} \ right).}

{\ displaystyle {\ hat {\ sigma}} ^ {2} = {\ frac {1} {N-1}} \ sum _ {i = 1} ^ {N} (x_ {i} - {\ bar { x}}) ^ {2} = {\ frac {N} {N-1}} \ left ({\ bar {x ^ {2}}} - {\ bar {x}} ^ {2} \ right) = {\ frac {N} {N-1}} \ left ({\ frac {1} {N}} \ left (\ sum _ {i = 1} ^ {N} x_ {i} ^ {2} \ dreapta) - {\ bar {x}} ^ {2} \ dreapta) \ equiv {\ frac {1} {N-1}} \ left (\ left (\ sum _ {i = 1} ^ {N} x_ {i} ^ {2} \ right) -N \ left ({\ bar {x}} \ right) ^ {2} \ right).}

Cu toate acestea, utilizarea acestor formule poate fi inconvenientă în practică atunci când se utilizează aritmetica în virgulă mobilă cu precizie limitată: scăderea dintre două valori de o amploare similară poate duce la anularea catastrofală ^[3] și, astfel, poate provoca o pierdere a sensului atunci când $\operatorname {E} (X)^{2}\gg \operatorname {Var} (X)$ ${\ displaystyle \ operatorname {E} (X) ^ {2} \ gg \ operatorname {Var} (X)}$ ${\ displaystyle \ operatorname {E} (X) ^ {2} \ gg \ operatorname {Var} (X)}$ . Există alți algoritmi de varianță stabili numeric pentru utilizare cu aritmetică în virgulă mobilă.

Demonstrație

Formula de calcul pentru varianța populației urmează direct din proprietatea de liniaritate a valorilor așteptate și definiția varianței:

{\begin{aligned}\operatorname {Var} (X)&=\operatorname {E} \left[(X-\operatorname {E} (X))^{2}\right]\\&=\operatorname {E} \left[X^{2}-2X\operatorname {E} (X)+[\operatorname {E} (X)]^{2}\right]\\&=\operatorname {E} (X^{2})-\operatorname {E} [2X\operatorname {E} (X)]+[\operatorname {E} (X)]^{2}\\&=\operatorname {E} (X^{2})-2\operatorname {E} (X)\operatorname {E} (X)+[\operatorname {E} (X)]^{2}\\&=\operatorname {E} (X^{2})-2[\operatorname {E} (X)]^{2}+[\operatorname {E} (X)]^{2}\\&=\operatorname {E} (X^{2})-[\operatorname {E} (X)]^{2}\end{aligned}}

{\ displaystyle {\ begin {align} \ operatorname {Var} (X) & = \ operatorname {E} \ left [(X- \ operatorname {E} (X)) ^ {2} \ right] \\ & = \ operatorname {E} \ left [X ^ {2} -2X \ operatorname {E} (X) + [\ operatorname {E} (X)] ^ {2} \ right] \\ & = \ operatorname {E} (X ^ {2}) - \ operatorname {E} [2X \ operatorname {E} (X)] + [\ operatorname {E} (X)] ^ {2} \\ & = \ operatorname {E} (X ^ {2}) - 2 \ operatorname {E} (X) \ operatorname {E} (X) + [\ operatorname {E} (X)] ^ {2} \\ & = \ operatorname {E} (X ^ {2}) - 2 [\ operatorname {E} (X)] ^ {2} + [\ operatorname {E} (X)] ^ {2} \\ & = \ operatorname {E} (X ^ {2} ) - [\ operatorname {E} (X)] ^ {2} \ end {align}}}

{\ displaystyle {\ begin {align} \ operatorname {Var} (X) & = \ operatorname {E} \ left [(X- \ operatorname {E} (X)) ^ {2} \ right] \\ & = \ operatorname {E} \ left [X ^ {2} -2X \ operatorname {E} (X) + [\ operatorname {E} (X)] ^ {2} \ right] \\ & = \ operatorname {E} (X ^ {2}) - \ operatorname {E} [2X \ operatorname {E} (X)] + [\ operatorname {E} (X)] ^ {2} \\ & = \ operatorname {E} (X ^ {2}) - 2 \ operatorname {E} (X) \ operatorname {E} (X) + [\ operatorname {E} (X)] ^ {2} \\ & = \ operatorname {E} (X ^ {2}) - 2 [\ operatorname {E} (X)] ^ {2} + [\ operatorname {E} (X)] ^ {2} \\ & = \ operatorname {E} (X ^ {2} ) - [\ operatorname {E} (X)] ^ {2} \ end {align}}}

Dovadă pentru estimarea varianței

{\begin{aligned}{\hat {\sigma }}^{2}&={\frac {1}{N-1}}\sum _{i=1}^{N}(x_{i}-{\bar {x}})^{2}\\&={\frac {1}{N-1}}\sum _{i=1}^{N}(x_{i}^{2}-2x_{i}{\bar {x}}+{\bar {x}}^{2})\\&={\frac {1}{N-1}}\left(\left(\sum _{i=1}^{N}x_{i}^{2}\right)-2{\bar {x}}\left(\sum _{i=1}^{N}x_{i}\right)+N{\bar {x}}^{2}\right)\\&={\frac {1}{N-1}}\left(\left(\sum _{i=1}^{N}x_{i}^{2}\right)-2N{\bar {x}}^{2}+N{\bar {x}}^{2}\right)\\&={\frac {1}{N-1}}\left(\left(\sum _{i=1}^{N}x_{i}^{2}\right)-N{\bar {x}}^{2}\right)\\&={\frac {N}{N-1}}\left({\frac {1}{N}}\left(\sum _{i=1}^{N}x_{i}^{2}\right)-{\bar {x}}^{2}\right)&={\frac {N}{N-1}}\left({\bar {x^{2}}}-{\bar {x}}^{2}\right)\end{aligned}}

{\ displaystyle {\ begin {align} {\ hat {\ sigma}} ^ {2} & = {\ frac {1} {N-1}} \ sum _ {i = 1} ^ {N} (x_ { i} - {\ bar {x}}) ^ {2} \\ & = {\ frac {1} {N-1}} \ sum _ {i = 1} ^ {N} (x_ {i} ^ { 2} -2x_ {i} {\ bar {x}} + {\ bar {x}} ^ {2}) \\ & = {\ frac {1} {N-1}} \ left (\ left (\ sum _ {i = 1} ^ {N} x_ {i} ^ {2} \ right) -2 {\ bar {x}} \ left (\ sum _ {i = 1} ^ {N} x_ {i} \ right) + N {\ bar {x}} ^ {2} \ right) \\ & = {\ frac {1} {N-1}} \ left (\ left (\ sum _ {i = 1} ^ {N} x_ {i} ^ {2} \ right) -2N {\ bar {x}} ^ {2} + N {\ bar {x}} ^ {2} \ right) \\ & = {\ frac {1} {N-1}} \ left (\ left (\ sum _ {i = 1} ^ {N} x_ {i} ^ {2} \ right) -N {\ bar {x}} ^ {2 } \ right) \\ & = {\ frac {N} {N-1}} \ left ({\ frac {1} {N}} \ left (\ sum _ {i = 1} ^ {N} x_ { i} ^ {2} \ right) - {\ bar {x}} ^ {2} \ right) & = {\ frac {N} {N-1}} \ left ({\ bar {x ^ {2} }} - {\ bar {x}} ^ {2} \ right) \ end {align}}}

{\ displaystyle {\ begin {align} {\ hat {\ sigma}} ^ {2} & = {\ frac {1} {N-1}} \ sum _ {i = 1} ^ {N} (x_ { i} - {\ bar {x}}) ^ {2} \\ & = {\ frac {1} {N-1}} \ sum _ {i = 1} ^ {N} (x_ {i} ^ { 2} -2x_ {i} {\ bar {x}} + {\ bar {x}} ^ {2}) \\ & = {\ frac {1} {N-1}} \ left (\ left (\ sum _ {i = 1} ^ {N} x_ {i} ^ {2} \ right) -2 {\ bar {x}} \ left (\ sum _ {i = 1} ^ {N} x_ {i} \ right) + N {\ bar {x}} ^ {2} \ right) \\ & = {\ frac {1} {N-1}} \ left (\ left (\ sum _ {i = 1} ^ {N} x_ {i} ^ {2} \ right) -2N {\ bar {x}} ^ {2} + N {\ bar {x}} ^ {2} \ right) \\ & = {\ frac {1} {N-1}} \ left (\ left (\ sum _ {i = 1} ^ {N} x_ {i} ^ {2} \ right) -N {\ bar {x}} ^ {2 } \ right) \\ & = {\ frac {N} {N-1}} \ left ({\ frac {1} {N}} \ left (\ sum _ {i = 1} ^ {N} x_ { i} ^ {2} \ right) - {\ bar {x}} ^ {2} \ right) & = {\ frac {N} {N-1}} \ left ({\ bar {x ^ {2} }} - {\ bar {x}} ^ {2} \ right) \ end {align}}}

Generalizare pentru covarianță

Această formulă poate fi generalizată pentru covarianță , cu două variabile aleatorii X _i și X _j :

\operatorname {Cov} (X_{i},X_{j})=\operatorname {E} (X_{i}X_{j})-\operatorname {E} (X_{i})\operatorname {E} (X_{j})

{\ displaystyle \ operatorname {Cov} (X_ {i}, X_ {j}) = \ operatorname {E} (X_ {i} X_ {j}) - \ operatorname {E} (X_ {i}) \ operatorname { E} (X_ {j})}

{\ displaystyle \ operatorname {Cov} (X_ {i}, X_ {j}) = \ operatorname {E} (X_ {i} X_ {j}) - \ operatorname {E} (X_ {i}) \ operatorname { E} (X_ {j})}

precum și pentru matricea covarianțelor n cu n a unui vector aleatoriu de lungime n :

\operatorname {Var} (\mathbf {X} )=\operatorname {E} (\mathbf {XX^{\top }} )-\operatorname {E} (\mathbf {X} )\operatorname {E} (\mathbf {X} )^{\top }

{\ displaystyle \ operatorname {Var} (\ mathbf {X}) = \ operatorname {E} (\ mathbf {XX ^ {\ top}}) - \ operatorname {E} (\ mathbf {X}) \ operatorname {E } (\ mathbf {X}) ^ {\ top}}

{\ displaystyle \ operatorname {Var} (\ mathbf {X}) = \ operatorname {E} (\ mathbf {XX ^ {\ top}}) - \ operatorname {E} (\ mathbf {X}) \ operatorname {E } (\ mathbf {X}) ^ {\ top}}

și pentru matricea covarianțelor încrucișate n pentru m între doi vectori aleatori de lungimi n și m :

\operatorname {Cov} ({\textbf {X}},{\textbf {Y}})=\operatorname {E} (\mathbf {XY^{\top }} )-\operatorname {E} (\mathbf {X} )\operatorname {E} (\mathbf {Y} )^{\top }

{\ displaystyle \ operatorname {Cov} ({\ textbf {X}}, {\ textbf {Y}}) = \ operatorname {E} (\ mathbf {XY ^ {\ top}}) - \ operatorname {E} ( \ mathbf {X}) \ operatorname {E} (\ mathbf {Y}) ^ {\ top}}

{\ displaystyle \ operatorname {Cov} ({\ textbf {X}}, {\ textbf {Y}}) = \ operatorname {E} (\ mathbf {XY ^ {\ top}}) - \ operatorname {E} ( \ mathbf {X}) \ operatorname {E} (\ mathbf {Y}) ^ {\ top}}

unde așteptările sunt luate element cu element e $\mathbf {X} =\{X_{1},X_{2},\ldots ,X_{n}\}$ ${\ displaystyle \ mathbf {X} = \ {X_ {1}, X_ {2}, \ ldots, X_ {n} \}}$ ${\ displaystyle \ mathbf {X} = \ {X_ {1}, X_ {2}, \ ldots, X_ {n} \}}$ Și $\mathbf {Y} =\{Y_{1},Y_{2},\ldots ,Y_{m}\}$ ${\ displaystyle \ mathbf {Y} = \ {Y_ {1}, Y_ {2}, \ ldots, Y_ {m} \}}$ ${\ displaystyle \ mathbf {Y} = \ {Y_ {1}, Y_ {2}, \ ldots, Y_ {m} \}}$ sunt vectori aleatori cu lungimile respective n și m .

Rețineți că această formulă suferă de aceeași pierdere de semnificație pe care o suferă formula varianței atunci când este utilizată pentru a calcula estimările covarianței.

Notă

^ În franceză: formule de Koenig - Huygens. A se vedea, de exemplu, Jean-Jacques Martiano, Maths: prépas commerciales , Studyrama, 2006, p. 148, ISBN 978-2-84472-828-9 .
^ În germană: Verschiebungssatz von Steiner. A se vedea, de exemplu, Gerd Christoph și Horst Hackel, Starthilfe Stochastik: Studium , Springer, 2013, p. 50, ISBN 978-3-322-84799-7 . .
^ Donald E. Knuth (1998). The Art of Computer Programming , volumul 2: Seminumerical Algorithms , ed. A III-a, P. 232. Boston: Addison-Wesley.

Elemente conexe

Algoritmi pentru calcularea varianței

[1] În franceză: formule de Koenig - Huygens. A se vedea, de exemplu, Jean-Jacques Martiano, Maths: prépas commerciales , Studyrama, 2006, p. 148, ISBN 978-2-84472-828-9 .

[2] În germană: Verschiebungssatz von Steiner. A se vedea, de exemplu, Gerd Christoph și Horst Hackel, Starthilfe Stochastik: Studium , Springer, 2013, p. 50, ISBN 978-3-322-84799-7 . .

[3] Donald E. Knuth (1998). The Art of Computer Programming , volumul 2: Seminumerical Algorithms , ed. A III-a, P. 232. Boston: Addison-Wesley.

[1]

[2]

[3]