Teoremele limitei centrale sunt o familie de teoreme de convergență slabe în contextul teoriei probabilităților .
Una dintre cele mai cunoscute formulări ale teoremei este următoarea:
Este {\ displaystyle X_ {j}} unul dintre {\ displaystyle n} variabile aleatorii independente și distribuite identic și lăsați-le să fie{\ displaystyle E [X_ {j}] = \ mu} Și {\ displaystyle \ mathrm {Var} [X_ {j}] = \ sigma ^ {2},} pentru {\ displaystyle j = 1, \ ldots, n,} cu {\ displaystyle 0 <\ sigma ^ {2} <+ \ infty} .
Loc {\ displaystyle \ displaystyle Y_ {n} = {\ frac {{\ frac {1} {n}} \ sum _ {j = 1} ^ {n} X_ {j} - \ mu} {{\ sigma} / {\ sqrt {n}}}}} asa de {\ displaystyle Y_ {n}} va avea o distribuție normală standard : {\ displaystyle Y_ {n} {\ stackrel {D} {\ to}} Y \ sim N (0,1)} .
Aceasta explică importanța pe care funcția gaussiană o asumă în ramurile matematice ale statisticii și, în special, ale teoriei probabilităților . A fost demonstrată în 1922 de Lindeberg în articolul „Eine neue Herleitung des Exponentialgesetzes in der Wahrscheinlichkeitsrechnung” , apoi independent de Turing .
Teorema Lindeberg-Lévy
Cea mai cunoscută formulare a teoremei limitei centrale este cea datorată Lindeberg și Paul Lévy ; ia în considerare o succesiune de variabile aleatorii {\ displaystyle \ \ left \ {x_ {j} \ right \} _ {j = 1} ^ {n}} independent și distribuit identic, definind ca o variabilă globală aleatorie:
- {\ displaystyle x ^ {*} = {\ frac {1} {\ sqrt {n}}} \ sum _ {j = 1} ^ {n} {\ frac {x_ {j} - \ langle x \ rangle _ {n}} {\ sigma _ {n}}} = {\ frac {1} {\ sqrt {n}}} \ sum _ {j = 1} ^ {n} y_ {j}.}
Pur și simplu trebuie să dovedim că variabila generală {\ displaystyle x ^ {*}} converge în distribuția Gaussiană cu valoarea așteptată 0 și varianța 1, adică:
- {\ displaystyle \ lim _ {n \ to + \ infty} x ^ {*} = {\ frac {e ^ {- {\ frac {\ scriptscriptstyle 1} {\ scriptscriptstyle 2}} x ^ {2}}} { \ sqrt {2 \ pi}}}.}
Din nou, pentru simplitatea notării, variabilele normalizate au fost, de asemenea, definite în mod explicit ca:
- {\ displaystyle y_ {j} = {\ frac {x_ {j} - \ langle x \ rangle _ {n}} {\ sigma _ {n}}}.}
Rețineți că {\ displaystyle {\ textrm {E}} [y_ {j}] = 0, \ {\ textrm {Var}} (y_ {j}) = {\ textrm {E}} [y_ {j} ^ {2} ] = 1, \ \ forall j} .
Demonstrație
Următoarea dovadă [1] folosește noțiunea de funcție caracteristică a {\ displaystyle x ^ {*}} , care poate fi definit echivalent ca o anumită funcție de valoare așteptată sau ca transformată Fourier a unei funcții de densitate {\ displaystyle \ f_ {x ^ {*}}} într-o variabilă (per total) {\ displaystyle x ^ {*}} :
- {\ displaystyle \ varphi _ {x ^ {*}} (t) = {\ textrm {E}} \ left [e ^ {- itx ^ {*}} \ right] = \ int _ {\ mathbb {R} } e ^ {- itx ^ {*}} f (x ^ {*}) dx ^ {*},}
unde este {\ displaystyle i} este unitatea imaginară . În domeniul Fourier, enunțul teoremei:
- {\ displaystyle \ lim _ {n \ to + \ infty} f (x_ {n} ^ {*}) = {\ frac {e ^ {- {\ frac {\ scriptscriptstyle 1} {\ scriptscriptstyle 2}} x ^ {* 2}}} {\ sqrt {2 \ pi}}},}
devine echivalent cu:
- {\ displaystyle \ lim _ {n \ rightarrow \ infty} \ varphi _ {x ^ {*}} (t) = e ^ {- {\ frac {t ^ {2}} {2}}}, \ qquad \ forall f (x ^ {*}),}
de fapt al doilea membru este funcția caracteristică a distribuției normale.
În cazul de față, avem:
- {\ displaystyle} {\ varphi _ {x ^ {*}} (t) = {\ textrm {E}} \ left [\ exp \ left \ {- itx ^ {*} \ right \} \ right] = { \ textrm {E}} \ left [\ exp \ left \ {{\ frac {-it} {\ sqrt {n}}} \ sum _ {j = 1} ^ {n} y_ {j} \ right \} \ right] = \ prod _ {j = 1} ^ {n} {\ textrm {E}} \ left [\ exp \ left \ {{\ frac {-it} {\ sqrt {n}}} y_ {j } \ corect corect],}
unde egalitatea supremă derivă din independența {\ displaystyle \ x_ {j}} prin urmare, de asemenea {\ displaystyle \ y_ {j}} . Prin realizarea dezvoltării exponențiale Maclaurin , putem calcula valoarea sa așteptată :
- {\ displaystyle \ {\ textrm {E}} \ left [\ exp \ left \ {{\ frac {-it} {\ sqrt {n}}} y_ {j} \ right \} \ right] = {\ textrm {E}} \ left [1 - {\ frac {i} {\ sqrt {n}}} ty_ {j} - {\ frac {1} {n}} {\ frac {t ^ {2}} {2 }} y_ {j} ^ {2} + o \ left (t ^ {2} y_ {j} ^ {2} \ right) \ right] = 1 - {\ frac {1} {n}} \ left ( {\ frac {t ^ {2}} {2}} \ right), \ \ forall j.} [1]
Rezultă că:
- {\ displaystyle \ varphi _ {x ^ {*}} (t) = \ prod _ {j = 1} ^ {n} \ left (1 - {\ frac {1} {n}} \ left ({\ frac {t ^ {2}} {2}} \ right) \ right) = \ left (1 - {\ frac {1} {n}} \ left ({\ frac {t ^ {2}} {2}} \ right) \ right) ^ {n}.}
Dar aplicând limita notabilă : {\ displaystyle \ \ lim _ {n \ rightarrow \ infty} \ left (1 - {\ frac {x} {n}} \ right) ^ {n} = e ^ {- x}} , avem:
- {\ displaystyle \ lim _ {n \ rightarrow \ infty} \ varphi _ {x ^ {*}} (t) = e ^ {- {\ frac {t ^ {2}} {2}}},}
așa cum era menit să demonstreze.
Teorema lui De Moivre-Laplace
Aceasta este o aplicație a teoremei Lindeberg-Lévy în cazul distribuției binomiale :
De sine {\ displaystyle Y = Bi (n, p)} este o variabilă aleatoare binomială, pe care o putem vedea ca suma lui {\ displaystyle n} Variabile aleatorii Bernoulli. Atunci pentru {\ displaystyle n \ to \ infty} :
- {\ displaystyle Y = N (np, np (1-p)),}
adică un gaussian cu răutate {\ displaystyle np} și varianță {\ displaystyle np (1-p)} .
Dacă standardizăm:
- {\ displaystyle \ lim _ {n \ to \ infty} {\ frac {Y_ {n} -np} {\ sqrt {np (1-p)}}} = Z.}
Această teoremă este foarte utilă în cazul în care doriți valori aproximative ale numărului de succese în repetarea unui experiment independent de rezultatele din trecut, deoarece variabila aleatoare binomială este adesea dificil de calculat cu numere mari. Aproximarea este mai bună cu cât numărul experimentelor este mai mare.
Demonstrație
Teorema lui De Moivre-Laplace poate fi dovedită mai ușor decât teorema limitei centrale, cu o dovadă pentru care este necesară cunoașterea expansiunilor lui Taylor și a aproximării Stirling . Pentru factorialul unui număr {\ displaystyle n} suficient de mare este formula Stirling, conform căreia:
- {\ displaystyle n! \ simeq {\ sqrt {2 \ pi n}} \ left ({\ frac {n} {e}} \ right) ^ {n},}
sau echivalent:
- {\ displaystyle n! \ simeq n ^ {n} și ^ {- n} {\ sqrt {2 \ pi n}}.}
Funcția de densitate a {\ displaystyle \ mathrm {Bi} (n, p)} poate fi apoi scris ca:
- {\ displaystyle {\ begin {align} {n \ choose k} \, p ^ {k} q ^ {nk} & = {\ frac {n!} {k! \ left (nk \ right)!}} p ^ {k} q ^ {nk} \\ & \ simeq {\ frac {n ^ {n} e ^ {- n} {\ sqrt {2 \ pi n}}} {k ^ {k} e ^ {- k} {\ sqrt {2 \ pi k}} {(nk)} ^ {nk} e ^ {- (nk)} {\ sqrt {2 \ pi (nk)}}}} p ^ {k} q ^ {nk} \\ & = {\ frac {\ sqrt {2 \ pi n}} {{\ sqrt {2 \ pi k}} {\ sqrt {2 \ pi (nk)}}}} \ cdot {\ frac {n ^ {n}} {k ^ {k} {(nk)} ^ {nk}}} \ cdot {\ frac {e ^ {- n}} {e ^ {- k} e ^ {- (nk )}}} p ^ {k} q ^ {nk} \\ & = {\ frac {\ sqrt {n}} {{\ sqrt {k}} {\ sqrt {2 \ pi (nk)}}}} \ cdot {\ frac {n ^ {n}} {k ^ {k} {(nk)} ^ {nk}}} \ cdot {\ frac {e ^ {- n}} {e ^ {- k} e ^ {- n} {e} ^ {k}}} p ^ {k} q ^ {nk} \\ & = {\ sqrt {\ frac {n} {2 \ pi k (nk)}}} n ^ {n} {\ left ({\ frac {p} {k}} \ right)} ^ {k} {\ left ({\ frac {q} {nk}} \ right)} ^ {(nk)} și ^ {- n + k + nk} \\ & = {\ sqrt {\ frac {n} {2 \ pi k (nk)}}} n ^ {nk + k} {\ left ({\ frac {p} {k}} \ right)} ^ {k} {\ left ({\ frac {q} {nk}} \ right)} ^ {(nk)} \\ & = {\ sqrt {\ frac {n} { 2 \ pi k (nk)}}} n ^ {nk} n ^ {k} {\ left ({\ frac {p} {k}} \ right)} ^ {k} {\ left ({\ frac { q} {nk}} \ right)} ^ {(nk)} \\ & = {\ sqrt {\ frac {n} {2 \ pi k (nk)}}} {\ left ({\ frac {np} {k}} \ right)} ^ {k} {\ left ({\ frac {nq} {nk}} \ right)} ^ {(nk)} \\ & = {\ sqrt { \ frac {n} {2 \ pi k (nk)}}} {\ left ({\ frac {k} {np}} \ right)} ^ {- k} {\ left ({\ frac {nk} { nq}} \ right)} ^ {- (nk)} \\\ end {align}}}
Să fie acum
- {\ displaystyle x = {\ frac {(k-np)} {\ sqrt {npq}}}}
- {\ displaystyle \ Rightarrow \ k = np + x {\ sqrt {npq}} \ quad} Și {\ displaystyle \ quad nk = nq-x {\ sqrt {npq}}}
- {\ displaystyle \ Rightarrow \ {\ frac {k} {np}} = 1 + x {\ sqrt {\ frac {q} {np}}} \ quad} Și {\ displaystyle \ quad {\ frac {nk} {nq}} = 1-x {\ sqrt {\ frac {p} {nq}}}}
- {\ displaystyle \ Rightarrow \ {n \ alege k} p ^ {k} q ^ {nk} \ simeq {\ sqrt {\ frac {n} {2 {\ mathbf {\ pi}} k (nk)}}} {\ left (1 + x {\ sqrt {\ frac {q} {np}}} \ right)} ^ {- k} {\ left (1-x {\ sqrt {\ frac {p} {nq}} } \ dreapta)} ^ {- (nk)}.}
Să considerăm mai întâi primul termen între paranteze pătrate în ultima egalitate:
- {\ displaystyle {\ begin {align} {\ sqrt {\ frac {n} {2 \ pi k \ left (nk \ right)}}} & = {\ sqrt {{\ frac {n} {2 \ pi k \ left (nk \ right)}} \ cdot {\ frac {{1} / {n ^ {2}}} {{1} / {n ^ {2}}}}} \\ & = {\ sqrt {\ frac {{1} / {n}} {{2 \ pi k (nk)} / {n ^ {2}}}} \\ & = {\ sqrt {\ frac {{1} / {n} } {2 \ pi {\ frac {k} {n}} {\ frac {(nk)} {n}}}} \\ & = {\ sqrt {\ frac {{1} / {n}} {2 \ pi {\ frac {k} {n}} \ left (1 - {\ frac {k} {n}} \ right)}}} \\ & = {\ sqrt {\ frac {{1} / {n }} {2 \ pi p \ left (1-p \ right)}}} \ qquad \ qquad \ qquad \ left [\ deoarece k \ to np \ Rightarrow {\ frac {k} {n}} \ to p \ dreapta] \\ & = {\ sqrt {\ frac {{1} / {n}} {2 \ pi pq}}} \ qquad \ qquad \ qquad \ left [\ deoarece p + q = 1 \ Rightarrow q = 1 -p \ right] \\ & = {\ sqrt {\ frac {1} {2 \ pi npq}}} \\ & = {\ frac {1} {\ sqrt {2 \ pi npq}}} \ end { aliniat}}}
- {\ displaystyle \ Rightarrow {n \ alege k} p ^ {k} q ^ {nk} \ simeq {\ frac {1} {\ sqrt {2 {\ mathbf {\ pi}} npq}}} {\ left ( 1 + x {\ sqrt {\ frac {q} {np}}} \ right)} ^ {- k} {\ left (1-x {\ sqrt {\ frac {p} {nq}}} \ right) } ^ {- (nk)}.}
Prin urmare:
- {\ displaystyle {\ left (1 + x {\ sqrt {\ frac {q} {np}}} \ right)} ^ {- k} {\ left (1-x {\ sqrt {\ frac {p} { nq}}} \ right)} ^ {- \ left (nk \ right)} = e ^ {\ ln \ left [{\ left (1 + x {\ sqrt {\ frac {q} {np}}} \ dreapta)} ^ {- k} {\ left (1-x {\ sqrt {\ frac {p} {nq}}} \ right)} ^ {- \ left (nk \ right)} \ right]}.}
Deci avem asta:
- {\ displaystyle {n \ choose k} p ^ {k} q ^ {nk} \ simeq {\ frac {1} {\ sqrt {2 {\ mathbf {\ pi}} npq}}} e ^ {\ ln \ left [{\ left (1 + x {\ sqrt {\ frac {q} {np}}} \ right)} ^ {- k} {\ left (1-x {\ sqrt {\ frac {p} {nq }}} \ right)} ^ {- \ left (nk \ right)} \ right]}.}
Prin urmare, considerăm logaritmul natural care apare în ultima egalitate.
- {\ displaystyle \ ln \ left [{\ left (1 + x {\ sqrt {\ frac {q} {np}}} \ right)} ^ {- k} {\ left (1-x {\ sqrt {\ frac {p} {nq}}} \ right)} ^ {- \ left (nk \ right)} \ right] = \ ln {\ left (1 + x {\ sqrt {\ frac {q} {np}} } \ right)} ^ {- k} + \ ln {\ left (1-x {\ sqrt {\ frac {p} {nq}}} \ right)} ^ {- \ left (nk \ right)} = -k \ ln \ left (1 + x {\ sqrt {\ frac {q} {np}}} \ right) - \ left (nk \ right) \ ln \ left (1-x {\ sqrt {\ frac { p} {nq}}} \ right).}
Folosind următoarele expansiuni Taylor:
- {\ displaystyle \ ln \ left (1 + y \ right) = y - {\ frac {y ^ {2}} {2}} + {\ frac {y ^ {3}} {3}} - {\ frac {y ^ {4}} {4}} + \ cdots,}
- {\ displaystyle \ ln \ left (1-y \ right) = - y - {\ frac {y ^ {2}} {2}} - {\ frac {y ^ {3}} {3}} - {\ frac {y ^ {4}} {4}} - \ cdots,}
avem:
- {\ displaystyle \ ln \ left (1 + x {\ sqrt {\ frac {q} {np}}} \ right) = x {\ sqrt {\ frac {q} {np}}} - {\ frac {x ^ {2} q} {2np}} + \ cdots}
Și
- {\ displaystyle \ ln \ left (1-x {\ sqrt {\ frac {p} {nq}}} \ right) = - x {\ sqrt {\ frac {p} {nq}}} - {\ frac { x ^ {2} p} {2nq}} - \ cdots}
de la care:
- {\ displaystyle {\ ln \ left [{\ left (1 + x {\ sqrt {\ frac {q} {np}}} \ right)} ^ {- k} {\ left (1-x {\ sqrt { \ frac {p} {nq}}} \ right)} ^ {- \ left (nk \ right)} \ right]} = - k \ left (x {\ sqrt {\ frac {q} {np}}} - {\ frac {x ^ {2} q} {2np}} + \ cdots \ right) - \ left (nk \ right) \ left (-x {\ sqrt {\ frac {p} {nq}}} - {\ frac {x ^ {2} p} {2nq}} - \ cdots \ right) = - \ left (np + x {\ sqrt {npq}} \ right) \ left (x {\ sqrt {\ frac { q} {np}}} - {\ frac {x ^ {2} q} {2np}} + \ cdots \ right) - \ left (nq-x {\ sqrt {npq}} \ right) \ left (- x {\ sqrt {\ frac {p} {nq}}} - {\ frac {x ^ {2} p} {2nq}} - \ cdots \ right),}
pentru care
- {\ displaystyle {\ begin {align} {\ ln \ left [{\ left (1 + x {\ sqrt {\ frac {q} {np}}} \ right)} ^ {- k} {\ left (1 -x {\ sqrt {\ frac {p} {nq}}} \ right)} ^ {- \ left (nk \ right)} \ right]} & = - \ left (np \ cdot x {\ sqrt {\ frac {q} {np}}} - np \ cdot {\ frac {x ^ {2} q} {2np}} + x {\ sqrt {npq}} \ cdot x {\ sqrt {\ frac {q} { np}}} - x {\ sqrt {npq}} \ cdot {\ frac {x ^ {2} q} {2np}} + \ cdots \ right) \\ & - \ left (-nq \ cdot x {\ sqrt {\ frac {p} {nq}}} - nq \ cdot {\ frac {x ^ {2} p} {2nq}} + x {\ sqrt {npq}} \ cdot x {\ sqrt {\ frac { p} {nq}}} + x {\ sqrt {npq}} \ cdot {\ frac {x ^ {2} p} {2nq}} + \ cdots \ right) \\ & = - \ left (x {\ sqrt {npq}} - {\ frac {x ^ {2} q} {2}} + x ^ {2} q + \ cdots \ right) - \ left (-x {\ sqrt {npq}} - {\ frac {x ^ {2} p} {2}} + x ^ {2} p + \ cdots \ right) \\ & = - \ left (x {\ sqrt {npq}} + {\ frac {x ^ { 2} q} {2}} + \ cdots \ right) - \ left (-x {\ sqrt {npq}} + {\ frac {x ^ {2} p} {2}} + \ cdots \ right) \ \ & = -x {\ sqrt {npq}} - {\ frac {x ^ {2} q} {2}} + x {\ sqrt {npq}} - {\ frac {x ^ {2} p} { 2}} - \ cdots \\ & = - {\ frac {x ^ {2} q} {2}} - {\ frac {x ^ {2} p} {2}} - \ cdots \\ & = - {\ frac {x ^ {2}} {2}} \ left (q + p \ right) - \ cdots \\ & = - {\ frac {x ^ {2}} {2}} - \ cdots \ end {aliniat}}}
- {\ displaystyle \ Rightarrow {\ ln \ left [{\ left (1 + x {\ sqrt {\ frac {q} {np}}} \ right)} ^ {- k} {\ left (1-x {\ sqrt {\ frac {p} {nq}}} \ right)} ^ {- \ left (nk \ right)} \ right]} \ simeq - {\ frac {x ^ {2}} {2}}}
- {\ displaystyle \ Rightarrow {n \ choose k} p ^ {k} q ^ {nk} \ simeq {\ frac {1} {\ sqrt {2 {\ mathbf {\ pi}} npq}}} e ^ {\ ln \ left [{\ left (1 + x {\ sqrt {\ frac {q} {np}}} \ right)} ^ {- k} {\ left (1-x {\ sqrt {\ frac {p} {nq}}} \ right)} ^ {- \ left (nk \ right)} \ right]} \ simeq {\ frac {1} {\ sqrt {2 {\ mathbf {\ pi}} npq}}} și ^ {{- x ^ {2}} / {2}}.}
Putem ignora termeni de grad mai mari decât al doilea, fiind {\ displaystyle x} proporțional cu {\ displaystyle (k-np)} care tinde să crească din {\ displaystyle n} . Deci, prin pătrare și împărțire la două {\ displaystyle x,} avem:
- {\ displaystyle {\ frac {x ^ {2}} {2}} = {\ frac {{\ left ({\ frac {(k-np)} {\ sqrt {npq}}} \ right)} ^ { 2}} {2}} = {\ frac {{\ left (k-np \ right)} ^ {2}} {2npq}}.}
Prin urmare,
- {\ displaystyle {n \ choose k} p ^ {k} (1-p) ^ {nk} \ simeq {\ frac {1} {\ sqrt {2 {\ mathbf {\ pi}} np (1-p) }}} și ^ {{- {\ left (k-np \ right)} ^ {2}} / {2np (1-p)}},}
care este exact afirmația pe care am vrut să o dovedim, de fapt termenul din dreapta este o distribuție gaussiană cu medie {\ displaystyle np} și varianță {\ displaystyle np (1-p).}
Notă
Bibliografie
- Sheldon M. Ross, Probabilitate și statistici pentru inginerie și știință , Trento, Apogeo, 2003, ISBN 88-7303-897-2 .
- Franco Flandoli, Teorema limitei centrale ( PDF ), pe users.dma.unipi.it . Adus de 13 ianuarie 2013.
Elemente conexe
Alte proiecte