Bias (statistici)

În statistici , termenii părtinire (etimologie incertă ^[1] ), părtinire sau deviere ^[2] sunt utilizați cu referire la două concepte. Un eșantion părtinitor este un eșantion statistic în care probabilitatea de includere în eșantion a indivizilor aparținând populației depinde de caracteristicile populației studiate. Un estimator părtinitor este un estimator care, dintr-un anumit motiv, are o valoare așteptată, alta decât cantitatea pe care o estimează; un estimator non-părtinitor se numește estimator imparțial.

Deși termenul prejudecată poate avea o conotație negativă, acest lucru nu este neapărat adevărat în contextul statisticilor. O probă părtinitoare este în general nedorită; pe de altă parte, un estimator părtinitor poate fi de dorit în funcție de aplicații.

Eșantion distorsionat

Un eșantion este părtinitor dacă probabilitatea ca un membru al populației să fie inclus în eșantion depinde de caracteristicile care fac obiectul inferenței. Un eșantion părtinitor oferă, în general, o estimare falsă a caracteristicilor populației supuse inferenței. Dacă, de exemplu, pentru o populație de indivizi probabilitatea de a fi inclus în eșantion este cu atât mai mică cu cât venitul individului este mai mic, venitul mediu al eșantionului va fi în medie mai mare decât venitul mediu al populației.

Un exemplu faimos al unei inferențe distorsionate datorate unui eșantion distorsionat este legat de alegerile prezidențiale din 1936 din SUA, în care s-au opus Alfred M. Landon și Franklin Delano Roosevelt. Literary Digest a chestionat 2.000.000 de oameni că primul ar trebui să câștige alegerile (el a obținut 57% din eșantionul de vot). George Gallup a obținut rezultate opuse cu un eșantion mult mai mic (300.000 de unități). În cele din urmă, rezultatul prezis de Gallup a avut loc. Greșeala Literary Digest a apărut din faptul că eșantionul a fost selectat folosind directoarele abonaților de telefonie și ai proprietarilor de mașini, care nu erau foarte populare la acea vreme. Aceasta a însemnat că cetățenii predominant bogați au intrat în eșantion, adică procentul de cetățeni bogați din eșantion a fost mai mare decât cel al cetățenilor bogați din populație. Această circumstanță a produs rezultate distorsionate, deoarece procentul de alegători pentru Roosevelt a fost mai mare în rândul claselor inferioare, a căror contribuție a fost subestimată de Literary Digest , astfel încât probabilitatea includerii în eșantion depindea de fapt de caracteristica studiată.

Acest tip de eroare într-o analiză statistică este, de asemenea, numită eroare non-eșantionare, pentru a o deosebi de eroarea de eșantionare. Acesta din urmă este inerent tipului de problemă cu care se confruntă (deducerea caracteristicilor unui agregat prin observarea unei părți a acestuia) și este ținut sub control, deoarece răspunde regulilor de calcul al probabilităților (nu o putem cuantifica, dar putem evaluați-l distribuția probabilității) și poate fi redus prin mărirea dimensiunii eșantionului. Pe de altă parte, nu știm nimic despre eroarea de eșantionare nici în termeni probabilistici, iar creșterea informațiilor de eșantionare nu servește pentru a o reduce.

Estimator părtinitor

Un alt tip de prejudecată în statistici se referă la utilizarea statisticilor a căror valoare așteptată este diferită de cea a cantității estimate. Să presupunem că doriți să estimați parametrul $\vartheta$ ${\ displaystyle \ vartheta}$ $\ vartheta$ printr-un estimator ${\hat {\vartheta }}$ ${\ displaystyle {\ hat {\ vartheta}}}$ ${\ hat {\ vartheta}}$ (adică o funcție a datelor observate). Distorsiunea de ${\hat {\vartheta }}$ ${\ displaystyle {\ hat {\ vartheta}}}$ ${\ hat {\ vartheta}}$ este definit ca:

\operatorname {E} ({\hat {\vartheta }})-\vartheta .

{\ displaystyle \ operatorname {E} ({\ hat {\ vartheta}}) - \ vartheta.}

\ operatorname {E} ({\ hat {\ vartheta}}) - \ vartheta.

Cu alte cuvinte, expresia de mai sus este valoarea așteptată a estimatorului ${\hat {\vartheta }}$ ${\ displaystyle {\ hat {\ vartheta}}}$ ${\ hat {\ vartheta}}$ minus adevărata valoare a $\vartheta$ ${\ displaystyle \ vartheta}$ $\ vartheta$ . Acest lucru poate fi scris și ca:

\operatorname {E} ({\hat {\vartheta }}-\vartheta ).

{\ displaystyle \ operatorname {E} ({\ hat {\ vartheta}} - \ vartheta).}

\ operatorname {E} ({\ hat {\ vartheta}} - \ vartheta).

adică valoarea așteptată a diferenței dintre estimator și valoarea reală a $\vartheta$ ${\ displaystyle \ vartheta}$ $\ vartheta$ .

Corectitudinea asimptotică

O cerință mai puțin strictă de corectitudine este corectitudinea asimptotică: este necesar doar estimatorul ${\hat {\vartheta }}_{n}$ ${\ displaystyle {\ hat {\ vartheta}} _ {n}}$ ${\ hat {\ vartheta}} _ {n}$ pe baza eșantionului $X_{1},\ldots ,X_{n}$ ${\ displaystyle X_ {1}, \ ldots, X_ {n}}$ $X_ {1}, \ ldots, X_ {n}$ are o valoare așteptată egală cu $\vartheta$ ${\ displaystyle \ vartheta}$ $\ vartheta$ , dar suntem mulțumiți că tendința valorii sale așteptate $\vartheta$ ${\ displaystyle \ vartheta}$ $\ vartheta$ pe măsură ce mărimea eșantionului crește

\lim _{n\to \infty }E({\hat {\vartheta }}_{n})=\vartheta

{\ displaystyle \ lim _ {n \ to \ infty} E ({\ hat {\ vartheta}} _ {n}) = \ vartheta}

\ lim _ {{n \ to \ infty}} E ({\ hat {\ vartheta}} _ {n}) = \ vartheta

cu alte cuvinte, un estimator este corect asimptotic dacă tendința tinde la zero pe măsură ce eșantionul crește

\lim _{n\to \infty }E({\hat {\vartheta }}_{n}-\vartheta )=0

{\ displaystyle \ lim _ {n \ to \ infty} E ({\ hat {\ vartheta}} _ {n} - \ vartheta) = 0}

\ lim _ {{n \ to \ infty}} E ({\ hat {\ vartheta}} _ {n} - \ vartheta) = 0

Exemplu: estimator al varianței

De exemplu, luați în considerare un eșantion X ₁ , .., X _n de variabile aleatorii independente și distribuite identic, cu valoarea așteptată μ și varianța σ². Este:

{\bar {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}

{\ displaystyle {\ bar {X}} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} X_ {i}}

{\ displaystyle {\ bar {X}} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} X_ {i}}

media eșantionului și:

S^{2}={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\bar {X}}\,)^{2}

{\ displaystyle S ^ {2} = {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} (X_ {i} - {\ bar {X}} \,) ^ {2 }}

S ^ {2} = {\ frac {1} {n}} \ sum _ {{i = 1}} ^ {n} (X_ {i} - {\ bar {X}} \,) ^ {2}

varianța eșantionului . Se poate arăta că $S^{2}$ ${\ displaystyle S ^ {2}}$ $S ^ {2}$ este un estimator părtinitor pentru σ²; acest lucru rezultă din faptul că:

\operatorname {E} (S^{2})={\frac {n-1}{n}}\sigma ^{2}\neq \sigma ^{2}.

{\ displaystyle \ operatorname {E} (S ^ {2}) = {\ frac {n-1} {n}} \ sigma ^ {2} \ neq \ sigma ^ {2}.}

\ operatorname {E} (S ^ {2}) = {\ frac {n-1} {n}} \ sigma ^ {2} \ neq \ sigma ^ {2}.

În schimb, se poate arăta că estimatorul corect este varianța corectă a eșantionului $S_{n-1}^{2}$ ${\ displaystyle S_ {n-1} ^ {2}}$ ${\ displaystyle S_ {n-1} ^ {2}}$ , obținut prin substituirea lui n - 1 în numitor, unde definiția lui $S^{2}$ ${\ displaystyle S ^ {2}}$ $S ^ {2}$ prezentat mai sus are n :

S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\bar {X}}\,)^{2}.

{\ displaystyle S_ {n-1} ^ {2} = {\ frac {1} {n-1}} \ sum _ {i = 1} ^ {n} (X_ {i} - {\ bar {X} } \,) ^ {2}.}

{\ displaystyle S_ {n-1} ^ {2} = {\ frac {1} {n-1}} \ sum _ {i = 1} ^ {n} (X_ {i} - {\ bar {X} } \,) ^ {2}.}

De fapt, pentru acesta din urmă rezultă:

\operatorname {E} (S_{n-1}^{2})={\frac {n-1}{n-1}}\sigma ^{2}=\sigma ^{2}.

{\ displaystyle \ operatorname {E} (S_ {n-1} ^ {2}) = {\ frac {n-1} {n-1}} \ sigma ^ {2} = \ sigma ^ {2}.}

{\ displaystyle \ operatorname {E} (S_ {n-1} ^ {2}) = {\ frac {n-1} {n-1}} \ sigma ^ {2} = \ sigma ^ {2}.}

Cu toate acestea, dacă eșantionul este extras dintr-o populație cu odistribuție normală , estimatorul este părtinitor $S^{2}$ ${\ displaystyle S ^ {2}}$ $S ^ {2}$ este, pe baza criteriului - adoptat în mod obișnuit - al erorii pătrate medii (MSE, din engleza Mean Squared Error ) preferabil estimatorului corect $S_{n-1}^{2}$ ${\ displaystyle S_ {n-1} ^ {2}}$ ${\ displaystyle S_ {n-1} ^ {2}}$ . Chiar și atunci, însă, rădăcina pătrată a estimatorului ajustat pentru varianța populației nu este un estimator corect al deviației standard a populației; acest lucru rezultă în mod trivial din inegalitatea lui Jensen .

Exemplu

Un caz în care un estimator părtinitor poate fi preferabil unui estimator corect este următorul. Să presupunem că X are distribuția Poisson cu parametrul λ. Vrem să estimăm:

\operatorname {P} (X=0)^{2}=e^{-2\lambda }

{\ displaystyle \ operatorname {P} (X = 0) ^ {2} = e ^ {- 2 \ lambda}}

\ operatorname {P} (X = 0) ^ {2} = e ^ {{- 2 \ lambda}}

Singura funcție a eșantionului care oferă un estimator corect este:

\ \tau (X)=(-1)^{X}

{\ displaystyle \ \ tau (X) = (- 1) ^ {X}}

\ \ tau (X) = (- 1) ^ {X}

Dacă valoarea observată a lui X este 100, estimarea va fi 1, deși valoarea reală a cantității care este estimată este cel mai probabil apropiată de 0, la extrema opusă. Dacă atunci valoarea observată a lui X este 101, atunci estimarea este și mai puțin plauzibilă: -1, deși cantitatea estimată este evident pozitivă. Estimatorul de probabilitate maximă (părtinitor):

\ \tau '(X)=e^{-2X}

{\ displaystyle \ \ tau '(X) = e ^ {- 2X}}

\ \ tau '(X) = e ^ {{- 2X}}

este, în cele din urmă, preferabil estimatorului corect propus mai sus, în sensul că eroarea pătrată medie (MSE):

e^{-4\lambda }-2e^{\lambda (1/e^{2}-3)}+e^{\lambda (1/e^{4}-1)}

{\ displaystyle e ^ {- 4 \ lambda} -2e ^ {\ lambda (1 / e ^ {2} -3)} + e ^ {\ lambda (1 / e ^ {4} -1)}}

e ^ {{- 4 \ lambda}} - 2e ^ {{\ lambda (1 / e ^ {2} -3)}} + e ^ {{\ lambda (1 / e ^ {4} -1)}}

este minor; eroarea pătrată medie (MSE) a estimatorului corectat este de fapt egală cu:

\ 1-e^{-4\lambda }

{\ displaystyle \ 1-e ^ {- 4 \ lambda}}

\ 1-e ^ {{- 4 \ lambda}}

Eroarea pătrată medie este o funcție a adevăratei valori a lui λ; părtinirea estimatorului de maximă probabilitate va fi:

\ e^{-2\lambda }-e^{\lambda (1/e^{2}-1)}

{\ displaystyle \ e ^ {- 2 \ lambda} -e ^ {\ lambda (1 / e ^ {2} -1)}}

\ e ^ {{- 2 \ lambda}} - e ^ {{\ lambda (1 / e ^ {2} -1)}}

Distorsiunea estimatorului de maximă probabilitate

Tendința unui estimator de maximă probabilitate poate fi, de asemenea, semnificativă. Luați în considerare următorul exemplu: n bilete, numerotate de la 1 la n , sunt plasate într-o urnă și una este selectată aleatoriu; denotați valoarea observată cu X. Dacă n este necunoscut, estimatorul maxim al probabilității lui n este X , deși valoarea așteptată a lui X este n / 2. Se poate fi sigur doar că n este cel puțin X și probabil că este mai mare decât X. Observați că, în acest caz, un estimator natural și corect pentru n este 2 X - 1.

Cu toate acestea, în ipoteze destul de generale, estimatorul de maximă probabilitate este corect asimptotic.

Dimensiunea eșantionului și nivelul de încredere

O formulă comună pentru determinarea dimensiunii eșantionului unei populații statistice de referință este următoarea ^[3] :

n={\frac {{Z}_{\alpha }^{2}Npq}{e^{2}(N-1)+{Z}_{\alpha }^{2}pq}}

{\ displaystyle n = {\ frac {{Z} _ {\ alpha} ^ {2} Npq} {e ^ {2} (N-1) + {Z} _ {\ alpha} ^ {2} pq}} }

{\ displaystyle n = {\ frac {{Z} _ {\ alpha} ^ {2} Npq} {e ^ {2} (N-1) + {Z} _ {\ alpha} ^ {2} pq}} }

(1)

unde este:

N : dimensiunea populației,
n : dimensiunea eșantionului,
$\sigma$ ${\ displaystyle \ sigma}$ $\ sigma$ : deviația standard a populației
și : (limita de) toleranță la eroare, în general fixă și între 1% (0,01) și 9% (0,09),
Z _α : cuantil Z _α al distribuției normale standard N ~ (0,1). Este un număr, ale cărui valori sunt tabelate în funcție de nivelul de încredere ales.

Valorile lui Z _α în funcție de nivelurile de încredere alese cel mai frecvent:

Valorile lui Z _α	1.28	1,65	1,69	1,75	1.81	1,88	1,96
Nivele de încredere	80%	90%	91%	nouăzeci și doi%	93%	94%	95%

Prin urmare, dacă statisticianul stabilește un nivel de încredere de 95%, valoarea Z _α = 1,96 trebuie înlocuită în formula (1).

Având în vedere o populație de N de 500 de indivizi, se alege:

un nivel de încredere de 95%, din care Z _α = 1,96
$\sigma =0.5$ ${\ displaystyle \ sigma = 0,5}$ ${\ displaystyle \ sigma = 0,5}$ ,
$e=0.05$ ${\ displaystyle e = 0,05}$ ${\ displaystyle e = 0,05}$ ,

substituind în formula (1), obținem dimensiunea eșantionului necesar n :

n={\frac {N\sigma ^{2}Z_{\alpha }^{2}}{e^{2}(N-1)+\sigma ^{2}Z_{\alpha }^{2}}}={\frac {{500}\cdot {0.5}^{2}\cdot {1.64}^{2}}{{0.05}^{2}\cdot (500-1)+{0.5}^{2}\cdot {1.64}^{2}}}={\frac {338.19}{1.9238}}=175.79

{\ displaystyle n = {\ frac {N \ sigma ^ {2} Z _ {\ alpha} ^ {2}} {e ^ {2} (N-1) + \ sigma ^ {2} Z _ {\ alpha } ^ {2}}} = {\ frac {{500} \ cdot {0.5} ^ {2} \ cdot {1.64} ^ {2}} {{0.05} ^ {2} \ cdot (500-1) + {0.5} ^ {2} \ cdot {1.64} ^ {2}}} = {\ frac {338.19} {1.9238}} = 175.79}

{\ displaystyle n = {\ frac {N \ sigma ^ {2} Z _ {\ alpha} ^ {2}} {e ^ {2} (N-1) + \ sigma ^ {2} Z _ {\ alpha } ^ {2}}} = {\ frac {{500} \ cdot {0.5} ^ {2} \ cdot {1.64} ^ {2}} {{0.05} ^ {2} \ cdot (500-1) + {0.5} ^ {2} \ cdot {1.64} ^ {2}}} = {\ frac {338.19} {1.9238}} = 175.79}

.

Rezultatul este rotunjit la numărul întreg de sus. Prin urmare: $n=176$ ${\ displaystyle n = 176}$ ${\ displaystyle n = 176}$ .

Notă

^ vezi Etimologia prejudecății
^ De asemenea, cunoscut sub numele de "eșantion de valoare ...".
^ Tamaño de una muestra para una investigación de mercado Trabajo de dos profesores de la Universidad Rafael Landívar.

Elemente conexe

Alte proiecte

Wikționarul conține dicționarul lema « părtinire »

linkuri externe

Un contraexemplu luminos (în engleză )

Controlul autorității	Tezaur BNCF 49943

Portalul de matematică

Portal de știință și tehnologie

[1] vezi Etimologia prejudecății

[2] De asemenea, cunoscut sub numele de "eșantion de valoare ...".

[3] Tamaño de una muestra para una investigación de mercado Trabajo de dos profesores de la Universidad Rafael Landívar.

[1]

[2]

[3]

V · D · M Concepte fundamentale de metrologie, statistici și metodologie de cercetare
Definiții de bază	Măsurarea Probabilitate Măsurarea fizică proprietate fizică Cantitatea Parametru statistice Populația adevărata valoare Exemplu de măsurare Precizie Precizia Repetabilitatea Reproductibilitatea Semnificația Toleranță Sensibilitate Rezoluție ( Lateral Rezoluție ) Homoskedasticity Heteroskedasticity statistice Ipoteză · Nul ipoteza · Apropierea · semnificativă figura · variabilă aleatoare · Normalizarea · Standardizare
Eroare de manipulare	Măsurarea incertitudinii de măsurare de eroare sistematică eroare statistică de eroare Sensibilitate eroare de rezultate fals negative fals pozitive absolută de eroare de eroare relativă Eroare de propagare Bias
Minimizarea erorilor	Analitică Calibrare Calibrare Calibrare Raport semnal / zgomot Comparație interlaboratorie Calitatea datelor anterioare
Prelevarea de probe	Spațiul de eșantionare Eșantionarea statistică Eșantionarea planului Eșantionarea motivată Eșantionarea la cota Eșantionarea aleatorie ( Eșantionarea sistematică Eșantionarea stratificată Eșantionarea în cluster Eșantionarea în mai multe etape ) Eșantionarea probabilistică
Parametrii de variație	Varianță · Covarianță · Deviație standard · Devianță · Interval dinamic · Coeficient de variație
Test	Testarea ipotezei ( Test parametric · Test non-parametric ) · Interval de încredere · valoarea p