Model Logit

Modelul logit este reprezentat în albastru.

În statistici , modelul logit , cunoscut și sub numele de model logistic sau regresie logistică , este un model de regresie neliniar utilizat atunci când variabila dependentă este dihotomică . Obiectivul modelului este de a stabili probabilitatea cu care o observație poate genera una sau cealaltă valoare a variabilei dependente; poate fi folosit și pentru clasificarea observațiilor, pe baza caracteristicilor acestora, în două categorii. ^[1]

Modelul logit face parte din clasa modelelor liniare generalizate , precum și modelul probit și modelul logliniar , de care diferă esențial în alegerea funcției $\Lambda$ ${\ displaystyle \ Lambda}$ $\ Lambda$ . ^[1]

Alegerea funcției

Funcția logit. Inversul acestei funcții este utilizat în regresia logistică.

Un model de regresie în care variabila dependentă este dihotomică, adică o variabilă care poate avea 0 și 1 ca singure valori sau care le pot fi atribuite, calculează probabilitatea ca această variabilă să dobândească valoarea 1.

\mathbb {E} \left[Y\mid X=x\right]=1\ Pr\left(Y=1\mid X=x\right)+0\ Pr\left(Y=0\mid X=x\right)=\ Pr\left(Y=1\mid X=x\right)

{\ displaystyle \ mathbb {E} \ left [Y \ mid X = x \ right] = 1 \ Pr \ left (Y = 1 \ mid X = x \ right) +0 \ Pr \ left (Y = 0 \ mid X = x \ right) = \ Pr \ left (Y = 1 \ mid X = x \ right)}

{\ displaystyle \ mathbb {E} \ left [Y \ mid X = x \ right] = 1 \ Pr \ left (Y = 1 \ mid X = x \ right) +0 \ Pr \ left (Y = 0 \ mid X = x \ right) = \ Pr \ left (Y = 1 \ mid X = x \ right)}

Deoarece probabilitățile sunt, prin definiție, limitate la un interval $C=\left[0,1\right]$ ${\ displaystyle C = \ left [0,1 \ right]}$ ${\ displaystyle C = \ left [0,1 \ right]}$ , utilizarea unui model de regresie liniară nu ar fi adecvată, de fapt ar returna valori aparținând întregului set $\mathbb {R}$ ${\ displaystyle \ mathbb {R}}$ $\ mathbb {R}$ . ^[2] De fapt, să presupunem următorul model liniar:

\ Pr\left(Y=1\mid X=x\right)=\beta _{0}+\beta _{1}X

{\ displaystyle \ Pr \ left (Y = 1 \ mid X = x \ right) = \ beta _ {0} + \ beta _ {1} X}

{\ displaystyle \ Pr \ left (Y = 1 \ mid X = x \ right) = \ beta _ {0} + \ beta _ {1} X}

.

Derivatul

{\frac {\partial }{\partial X}}\ Pr\left(Y=1\mid X=x\right)=\beta _{1}

{\ displaystyle {\ frac {\ partial} {\ partial X}} \ Pr \ left (Y = 1 \ mid X = x \ right) = \ beta _ {1}}

{\ displaystyle {\ frac {\ partial} {\ partial X}} \ Pr \ left (Y = 1 \ mid X = x \ right) = \ beta _ {1}}

fiind constantă și egală cu parametrul $\beta _{1}$ ${\ displaystyle \ beta _ {1}}$ $\ beta_1$ , nu permite funcției să schimbe panta pe baza valorii lui $X$ ${\ displaystyle X}$ $X$ și deci să poți avea ca codomain $C.$ ${\ displaystyle C}$ $C.$ . Această caracteristică este în schimb posedată, de exemplu, de funcțiile de distribuție . ^[2] De fapt, utilizarea unei funcții neliniare permite să aibă o primă derivată dependentă de $X$ ${\ displaystyle X}$ $X$ și, prin urmare, capabil să se schimbe pe măsură ce această variabilă variază. De fapt, dacă luăm în considerare următorul model:

\ Pr\left(Y=1\mid X=x\right)=\ F\left(\alpha _{0}+\alpha _{1}X\right)

{\ displaystyle \ Pr \ left (Y = 1 \ mid X = x \ right) = \ F \ left (\ alpha _ {0} + \ alpha _ {1} X \ right)}

{\ displaystyle \ Pr \ left (Y = 1 \ mid X = x \ right) = \ F \ left (\ alpha _ {0} + \ alpha _ {1} X \ right)}

unde derivatul este următorul

{\frac {\partial }{\partial X}}\ Pr\left(Y=1\mid X=x\right)=\ f\left(\alpha _{0}+\alpha _{1}X\right)\alpha _{1}

{\ displaystyle {\ frac {\ partial} {\ partial X}} \ Pr \ left (Y = 1 \ mid X = x \ right) = \ f \ left (\ alpha _ {0} + \ alpha _ {1 } X \ dreapta) \ alpha _ {1}}

{\ displaystyle {\ frac {\ partial} {\ partial X}} \ Pr \ left (Y = 1 \ mid X = x \ right) = \ f \ left (\ alpha _ {0} + \ alpha _ {1 } X \ dreapta) \ alpha _ {1}}

.

Se poate vedea cum panta curbei poate varia acum în funcție de variație $X$ ${\ displaystyle X}$ $X$ , putând astfel să posede un codomain $C.$ ${\ displaystyle C}$ $C.$ . Pentru modelul logit este folosit ca funcție $F.$ ${\ displaystyle F}$ $F.$ funcția de distribuție a distribuției logistice standard. ^[1]

Definiție

Modelul de regresie logit pentru populație este: ^[1] ^[3]

\mathbb {E} \left[Y\mid \mathbf {X} \right]=\ Pr\left(Y=1\mid X_{1},\ldots ,X_{k}\right)=\Lambda \left(\mathbf {X} ^{T}{\boldsymbol {\beta }}\right)=

{\ displaystyle \ mathbb {E} \ left [Y \ mid \ mathbf {X} \ right] = \ Pr \ left (Y = 1 \ mid X_ {1}, \ ldots, X_ {k} \ right) = \ Lambda \ left (\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}} \ right) =}

{\ displaystyle \ mathbb {E} \ left [Y \ mid \ mathbf {X} \ right] = \ Pr \ left (Y = 1 \ mid X_ {1}, \ ldots, X_ {k} \ right) = \ Lambda \ left (\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}} \ right) =}

={\frac {e^{\beta _{0}+\beta _{1}X_{1}+\ldots +\beta _{k}X_{k}}}{1+e^{\beta _{0}+\beta _{1}X_{1}+\ldots +\beta _{k}X_{k}}}}=p

{\ displaystyle = {\ frac {e ^ {\ beta _ {0} + \ beta _ {1} X_ {1} + \ ldots + \ beta _ {k} X_ {k}}} {1 + e ^ { \ beta _ {0} + \ beta _ {1} X_ {1} + \ ldots + \ beta _ {k} X_ {k}}}} = p}

{\ displaystyle = {\ frac {e ^ {\ beta _ {0} + \ beta _ {1} X_ {1} + \ ldots + \ beta _ {k} X_ {k}}} {1 + e ^ { \ beta _ {0} + \ beta _ {1} X_ {1} + \ ldots + \ beta _ {k} X_ {k}}}} = p}

unde este:

$P. r$ ${\ displaystyle Pr}$ $Relatii cu publicul$ indică probabilitatea;
$Da$ ${\ displaystyle Y}$ $Da$ este variabila dependentă dihotomică cu o distribuție Bernoulli $Y\sim {\mathcal {Be}}\left(p\right)$ ${\ displaystyle Y \ sim {\ mathcal {Be}} \ left (p \ right)}$ ${\ displaystyle Y \ sim {\ mathcal {Be}} \ left (p \ right)}$ ;
$\mathbf {X}$ ${\ displaystyle \ mathbf {X}}$ ${\ mathbf {X}}$ este vectorul variabilelor independente sau regresorilor $X_{1},\ldots ,X_{k}$ ${\ displaystyle X_ {1}, \ ldots, X_ {k}}$ ${\ displaystyle X_ {1}, \ ldots, X_ {k}}$ ;
${\boldsymbol {\beta }}$ ${\ displaystyle {\ boldsymbol {\ beta}}}$ ${\ displaystyle {\ boldsymbol {\ beta}}}$ este vectorul parametrilor $\beta _{0},\ldots ,\beta _{k}$ ${\ displaystyle \ beta _ {0}, \ ldots, \ beta _ {k}}$ ${\ displaystyle \ beta _ {0}, \ ldots, \ beta _ {k}}$ ;
$\Lambda$ ${\ displaystyle \ Lambda}$ $\ Lambda$ este funcția de distribuție a distribuției logistice standard;
$Și$ ${\ displaystyle e}$ $Și$ este numărul lui Euler , aproximativ egal cu $2,71828$ ${\ displaystyle 2.71828}$ ${\ displaystyle 2.71828}$ .

Varianța

Varianța variabilei dependente depinde de vectorul regresorilor $\mathbf {X}$ ${\ displaystyle \ mathbf {X}}$ ${\ mathbf {X}}$ . Intr-adevar

Var\left(Y\mid \mathbf {X} \right)=\mathbb {E} \left[Y^{2}\mid \mathbf {X} \right]-\mathbb {E} \left[Y\mid \mathbf {X} \right]^{2}=\Lambda \left(\mathbf {X} ^{T}{\boldsymbol {\beta }}\right)\cdot \left(1-\Lambda \left(\mathbf {X} ^{T}{\boldsymbol {\beta }}\right)\right)

{\ displaystyle Var \ left (Y \ mid \ mathbf {X} \ right) = \ mathbb {E} \ left [Y ^ {2} \ mid \ mathbf {X} \ right] - \ mathbb {E} \ left [Y \ mid \ mathbf {X} \ right] ^ {2} = \ Lambda \ left (\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}} \ right) \ cdot \ left (1- \ Lambda \ left (\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}} \ right) \ right)}

{\ displaystyle Var \ left (Y \ mid \ mathbf {X} \ right) = \ mathbb {E} \ left [Y ^ {2} \ mid \ mathbf {X} \ right] - \ mathbb {E} \ left [Y \ mid \ mathbf {X} \ right] ^ {2} = \ Lambda \ left (\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}} \ right) \ cdot \ left (1- \ Lambda \ left (\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}} \ right) \ right)}

.

Efect marginal

Efectul asupra variabilei dependente $Da$ ${\ displaystyle Y}$ $Da$ dat de o schimbare într-un regresor $X_{j}$ ${\ displaystyle X_ {j}}$ $X_j$ , numit efect marginal, se calculează ca derivată a valorii așteptate a $Da$ ${\ displaystyle Y}$ $Da$ în comparație cu $X_{j}$ ${\ displaystyle X_ {j}}$ $X_j$ :

{\frac {\partial }{\partial X_{j}}}\mathbb {E} \left[Y\mid \mathbf {X} \right]={\frac {\partial }{\partial X_{j}}}\Lambda \left(\mathbf {X} ^{T}{\boldsymbol {\beta }}\right)={\frac {\partial }{\partial X_{j}}}{\frac {e^{\mathbf {X} ^{T}{\boldsymbol {\beta }}}}{1+e^{\mathbf {X} ^{T}{\boldsymbol {\beta }}}}}=

{\ displaystyle {\ frac {\ partial} {\ partial X_ {j}}} \ mathbb {E} \ left [Y \ mid \ mathbf {X} \ right] = {\ frac {\ partial} {\ partial X_ {j}}} \ Lambda \ left (\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}} \ right) = {\ frac {\ partial} {\ partial X_ {j}}} {\ frac {e ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}}}} {1 + e ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}}}}} = }

{\ displaystyle {\ frac {\ partial} {\ partial X_ {j}}} \ mathbb {E} \ left [Y \ mid \ mathbf {X} \ right] = {\ frac {\ partial} {\ partial X_ {j}}} \ Lambda \ left (\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}} \ right) = {\ frac {\ partial} {\ partial X_ {j}}} {\ frac {e ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}}}} {1 + e ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}}}}} = }

={\frac {e^{\mathbf {X} ^{T}{\boldsymbol {\beta }}}}{1+e^{\mathbf {X} ^{T}{\boldsymbol {\beta }}}}}\cdot {\frac {1}{1+e^{\mathbf {X} ^{T}{\boldsymbol {\beta }}}}}\cdot \beta _{j}

{\ displaystyle = {\ frac {e ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}}}} {1 + e ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}}}}} \ cdot {\ frac {1} {1 + e ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}}}}} cdot \ beta _ {j}}

{\ displaystyle = {\ frac {e ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}}}} {1 + e ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}}}}} \ cdot {\ frac {1} {1 + e ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}}}}} cdot \ beta _ {j}}

unde este $\beta _{j}$ ${\ displaystyle \ beta _ {j}}$ ${\ displaystyle \ beta _ {j}}$ este parametrul asociat cu regresorul $X_{j}$ ${\ displaystyle X_ {j}}$ $X_j$ . ^[1] Pentru calcularea derivatei, regresorul trebuie să fie continuu.

Ilustrația metodei

Pentru fiecare probă de observare $i=1,\ldots ,n$ ${\ displaystyle i = 1, \ ldots, n}$ ${\ displaystyle i = 1, \ ldots, n}$ ai o determinare $Da$ ${\ displaystyle Y}$ $Da$ și de $k$ ${\ displaystyle k}$ $k$ determinări $X_{1},\ldots ,X_{k}$ ${\ displaystyle X_ {1}, \ ldots, X_ {k}}$ ${\ displaystyle X_ {1}, \ ldots, X_ {k}}$ . Modelul caută o relație neliniară, utilizând funcția de distribuție logistică standard, între variabila dependentă și $k$ ${\ displaystyle k}$ $k$ variabile independente, estimând valoarea coeficienților $\beta _{0},\ldots ,\beta _{k}$ ${\ displaystyle \ beta _ {0}, \ ldots, \ beta _ {k}}$ ${\ displaystyle \ beta _ {0}, \ ldots, \ beta _ {k}}$ folosind metoda de maximă probabilitate. ^[1]

Estimarea modelului

Vectorul parametrilor ${\boldsymbol {\beta }}$ ${\ displaystyle {\ boldsymbol {\ beta}}}$ ${\ displaystyle {\ boldsymbol {\ beta}}}$ se estimează de obicei cu metoda maximă probabilitate , cu care se obțin estimatori eficienți , consecvenți și distribuiți în mod normal dacă eșantionul statistic este suficient de mare. ^[4] Aceste proprietăți permit calcularea testului t pe un parametru, a testului F în cazul restricțiilor multiple și a intervalelor de încredere . ^[4] Estimarea parametrilor este urmată de estimarea probabilității $p$ ${\ displaystyle p}$ $p$ .

Funcția de probabilitate

În modelul logit, variabila dependentă $Da$ ${\ displaystyle Y}$ $Da$ este dihotomic și cu distribuție $Y\sim {\mathcal {Be}}\left(p\right)$ ${\ displaystyle Y \ sim {\ mathcal {Be}} \ left (p \ right)}$ ${\ displaystyle Y \ sim {\ mathcal {Be}} \ left (p \ right)}$ . Luați în considerare un eșantion de $n$ ${\ displaystyle n}$ $n$ observații unde fiecare dintre ele este identificat $i=1,\ldots ,n$ ${\ displaystyle i = 1, \ ldots, n}$ ${\ displaystyle i = 1, \ ldots, n}$ . Pentru definiția modelului, probabilitatea ca această variabilă să fie 1 pentru o observație dată $the$ ${\ displaystyle i}$ $the$ Și

\ Pr\left(Y_{i}=1\mid X_{1i},\ldots ,X_{ki}\right)=\Lambda \left(\beta _{0}+\beta _{1}X_{1i}+\ldots +\beta _{k}X_{ki}\right)=p_{i}

{\ displaystyle \ Pr \ left (Y_ {i} = 1 \ mid X_ {1i}, \ ldots, X_ {ki} \ right) = \ Lambda \ left (\ beta _ {0} + \ beta _ {1} X_ {1i} + \ ldots + \ beta _ {k} X_ {ki} \ right) = p_ {i}}

{\ displaystyle \ Pr \ left (Y_ {i} = 1 \ mid X_ {1i}, \ ldots, X_ {ki} \ right) = \ Lambda \ left (\ beta _ {0} + \ beta _ {1} X_ {1i} + \ ldots + \ beta _ {k} X_ {ki} \ right) = p_ {i}}

,

în timp ce probabilitatea ca acesta să fie 0 este

\ Pr\left(Y_{i}=0\mid X_{1i},\ldots ,X_{ki}\right)=1-\Lambda \left(\beta _{0}+\beta _{1}X_{1i}+\ldots +\beta _{k}X_{ki}\right)=1-p_{i}

{\ displaystyle \ Pr \ left (Y_ {i} = 0 \ mid X_ {1i}, \ ldots, X_ {ki} \ right) = 1- \ Lambda \ left (\ beta _ {0} + \ beta _ { 1} X_ {1i} + \ ldots + \ beta _ {k} X_ {ki} \ right) = 1-p_ {i}}

{\ displaystyle \ Pr \ left (Y_ {i} = 0 \ mid X_ {1i}, \ ldots, X_ {ki} \ right) = 1- \ Lambda \ left (\ beta _ {0} + \ beta _ { 1} X_ {1i} + \ ldots + \ beta _ {k} X_ {ki} \ right) = 1-p_ {i}}

.

Distribuția condițională a probabilității pentru fiecare element $the$ ${\ displaystyle i}$ $the$ poate fi scris ca

\ Pr\left(Y_{i}=y_{i}\mid X_{1i},\ldots ,X_{ki}\right)=p_{i}^{y_{i}}\left(1-p_{i}\right)^{1-y_{i}}

{\ displaystyle \ Pr \ left (Y_ {i} = y_ {i} \ mid X_ {1i}, \ ldots, X_ {ki} \ right) = p_ {i} ^ {y_ {i}} \ left (1 -p_ {i} \ right) ^ {1-y_ {i}}}

{\ displaystyle \ Pr \ left (Y_ {i} = y_ {i} \ mid X_ {1i}, \ ldots, X_ {ki} \ right) = p_ {i} ^ {y_ {i}} \ left (1 -p_ {i} \ right) ^ {1-y_ {i}}}

.

Acum luăm în considerare întregul eșantion și presupunem și pentru fiecare observație $the$ ${\ displaystyle i}$ $the$ , $\left(X_{1i},X_{2i},\ldots ,X_{ki},Y_{i}\right)$ ${\ displaystyle \ left (X_ {1i}, X_ {2i}, \ ldots, X_ {ki}, Y_ {i} \ right)}$ ${\ displaystyle \ left (X_ {1i}, X_ {2i}, \ ldots, X_ {ki}, Y_ {i} \ right)}$ sunt independente și distribuite identic . Astfel, rezultă că distribuția comună a probabilității $Y_{1},\ldots ,Y_{n}$ ${\ displaystyle Y_ {1}, \ ldots, Y_ {n}}$ ${\ displaystyle Y_ {1}, \ ldots, Y_ {n}}$ este produsul probabilităților condiționale ale fiecărei observații:

\ Pr\left(Y_{1}=y_{1},\ldots ,Y_{n}=y_{n}\mid X_{1i},\ldots ,X_{ki}\right)=

{\ displaystyle \ Pr \ left (Y_ {1} = y_ {1}, \ ldots, Y_ {n} = y_ {n} \ mid X_ {1i}, \ ldots, X_ {ki} \ right) =}

{\ displaystyle \ Pr \ left (Y_ {1} = y_ {1}, \ ldots, Y_ {n} = y_ {n} \ mid X_ {1i}, \ ldots, X_ {ki} \ right) =}

=\Pr \left(Y_{1}=y_{1}\mid X_{11},\ldots ,X_{k1}\right)\cdot \ldots \cdot \ Pr\left(Y_{n}=y_{n}\mid X_{1n},\ldots ,X_{kn}\right)=

{\ displaystyle = \ Pr \ left (Y_ {1} = y_ {1} \ mid X_ {11}, \ ldots, X_ {k1} \ right) \ cdot \ ldots \ cdot \ Pr \ left (Y_ {n} = y_ {n} \ mid X_ {1n}, \ ldots, X_ {kn} \ right) =}

{\ displaystyle = \ Pr \ left (Y_ {1} = y_ {1} \ mid X_ {11}, \ ldots, X_ {k1} \ right) \ cdot \ ldots \ cdot \ Pr \ left (Y_ {n} = y_ {n} \ mid X_ {1n}, \ ldots, X_ {kn} \ right) =}

=p_{1}^{y_{1}}\left(1-p_{1}\right)^{1-y_{1}}\cdot \ldots \cdot p_{n}^{y_{n}}\left(1-p_{n}\right)^{1-y_{n}}=\prod _{i=1}^{n}p_{i}^{y_{i}}\left(1-p_{i}\right)^{1-y_{i}}

{\ displaystyle = p_ {1} ^ {y_ {1}} \ left (1-p_ {1} \ right) ^ {1-y_ {1}} \ cdot \ ldots \ cdot p_ {n} ^ {y_ { n}} \ left (1-p_ {n} \ right) ^ {1-y_ {n}} = \ prod _ {i = 1} ^ {n} p_ {i} ^ {y_ {i}} \ left (1-p_ {i} \ dreapta) ^ {1-y_ {i}}}

{\ displaystyle = p_ {1} ^ {y_ {1}} \ left (1-p_ {1} \ right) ^ {1-y_ {1}} \ cdot \ ldots \ cdot p_ {n} ^ {y_ { n}} \ left (1-p_ {n} \ right) ^ {1-y_ {n}} = \ prod _ {i = 1} ^ {n} p_ {i} ^ {y_ {i}} \ left (1-p_ {i} \ dreapta) ^ {1-y_ {i}}}

.

Definiția modelului probit este acum preluată și înlocuită în locul $p_{i}$ ${\ displaystyle p_ {i}}$ $p_ {i}$ , obținând astfel funcția de probabilitate ^[5]

{\mathcal {L}}_{probit}\left(\beta _{0},\ldots ,\beta _{k};Y_{1},\ldots ,Y_{n}\mid X_{1i},\ldots ,X_{ki}\right)=\prod _{i=1}^{n}\left[\Lambda \left(\beta _{0}+\beta _{1}X_{1i}+\ldots +\beta _{k}X_{ki}\right)\right]^{Y_{i}}\left[1-\Lambda \left(\beta _{0}+\beta _{1}X_{1i}+\ldots +\beta _{k}X_{ki}\right)\right]^{1-Y_{i}}

{\ displaystyle {\ mathcal {L}} _ {probit} \ left (\ beta _ {0}, \ ldots, \ beta _ {k}; Y_ {1}, \ ldots, Y_ {n} \ mid X_ { 1i}, \ ldots, X_ {ki} \ right) = \ prod _ {i = 1} ^ {n} \ left [\ Lambda \ left (\ beta _ {0} + \ beta _ {1} X_ {1i } + \ ldots + \ beta _ {k} X_ {ki} \ right) \ right] ^ {Y_ {i}} \ left [1- \ Lambda \ left (\ beta _ {0} + \ beta _ {1 } X_ {1i} + \ ldots + \ beta _ {k} X_ {ki} \ right) \ right] ^ {1-Y_ {i}}}

{\ displaystyle {\ mathcal {L}} _ {probit} \ left (\ beta _ {0}, \ ldots, \ beta _ {k}; Y_ {1}, \ ldots, Y_ {n} \ mid X_ { 1i}, \ ldots, X_ {ki} \ right) = \ prod _ {i = 1} ^ {n} \ left [\ Lambda \ left (\ beta _ {0} + \ beta _ {1} X_ {1i } + \ ldots + \ beta _ {k} X_ {ki} \ right) \ right] ^ {Y_ {i}} \ left [1- \ Lambda \ left (\ beta _ {0} + \ beta _ {1 } X_ {1i} + \ ldots + \ beta _ {k} X_ {ki} \ right) \ right] ^ {1-Y_ {i}}}

.

Estimarea parametrilor

Pentru a calcula estimatorii ${\hat {\beta }}_{0},{\hat {\beta }}_{1},\ldots ,{\hat {\beta }}_{k}$ ${\ displaystyle {\ hat {\ beta}} _ {0}, {\ hat {\ beta}} _ {1}, \ ldots, {\ hat {\ beta}} _ {k}}$ ${\ displaystyle {\ hat {\ beta}} _ {0}, {\ hat {\ beta}} _ {1}, \ ldots, {\ hat {\ beta}} _ {k}}$ parametrii $\beta _{0},\beta _{1},\ldots ,\beta _{k}$ ${\ displaystyle \ beta _ {0}, \ beta _ {1}, \ ldots, \ beta _ {k}}$ ${\ displaystyle \ beta _ {0}, \ beta _ {1}, \ ldots, \ beta _ {k}}$ este convenabil să calculați funcția log-probabilitate, deoarece în acest fel este posibilă eliminarea productivității. Logaritmul este apoi aplicat funcției de probabilitate:

{\mathcal {l}}_{probit}\left(\beta _{0},\ldots ,\beta _{k};Y_{1},\ldots ,Y_{n}\mid X_{1i},\ldots ,X_{ki}\right)=\ln {\mathcal {L}}_{probit}\left(\beta _{0},\ldots ,\beta _{k};Y_{1},\ldots ,Y_{n}\mid X_{1i},\ldots ,X_{ki}\right)=

{\ displaystyle {\ mathcal {l}} _ {probit} \ left (\ beta _ {0}, \ ldots, \ beta _ {k}; Y_ {1}, \ ldots, Y_ {n} \ mid X_ { 1i}, \ ldots, X_ {ki} \ right) = \ ln {\ mathcal {L}} _ {probit} \ left (\ beta _ {0}, \ ldots, \ beta _ {k}; Y_ {1 }, \ ldots, Y_ {n} \ mid X_ {1i}, \ ldots, X_ {ki} \ right) =}

{\ displaystyle {\ mathcal {l}} _ {probit} \ left (\ beta _ {0}, \ ldots, \ beta _ {k}; Y_ {1}, \ ldots, Y_ {n} \ mid X_ { 1i}, \ ldots, X_ {ki} \ right) = \ ln {\ mathcal {L}} _ {probit} \ left (\ beta _ {0}, \ ldots, \ beta _ {k}; Y_ {1 }, \ ldots, Y_ {n} \ mid X_ {1i}, \ ldots, X_ {ki} \ right) =}

=\sum _{i=1}^{n}Y_{i}\ln \left[\Lambda \left(\beta _{0}+\beta _{1}X_{1i}+\ldots +\beta _{k}X_{ki}\right)\right]+\sum _{i=1}^{n}\left(1-Y_{i}\right)\ln \left[1-\Lambda \left(\beta _{0}+\beta _{1}X_{1i}+\ldots +\beta _{k}X_{ki}\right)\right]

{\ displaystyle = \ sum _ {i = 1} ^ {n} Y_ {i} \ ln \ left [\ Lambda \ left (\ beta _ {0} + \ beta _ {1} X_ {1i} + \ ldots + \ beta _ {k} X_ {ki} \ right) \ right] + \ sum _ {i = 1} ^ {n} \ left (1-Y_ {i} \ right) \ ln \ left [1- \ Lambda \ left (\ beta _ {0} + \ beta _ {1} X_ {1i} + \ ldots + \ beta _ {k} X_ {ki} \ right) \ right]}

{\ displaystyle = \ sum _ {i = 1} ^ {n} Y_ {i} \ ln \ left [\ Lambda \ left (\ beta _ {0} + \ beta _ {1} X_ {1i} + \ ldots + \ beta _ {k} X_ {ki} \ right) \ right] + \ sum _ {i = 1} ^ {n} \ left (1-Y_ {i} \ right) \ ln \ left [1- \ Lambda \ left (\ beta _ {0} + \ beta _ {1} X_ {1i} + \ ldots + \ beta _ {k} X_ {ki} \ right) \ right]}

.

Estimatorii calculați cu metoda de maximă probabilitate maximizează funcția anterioară rezolvând următoarea problemă:

\left\{{\hat {\beta }}_{0},{\hat {\beta }}_{1},\ldots ,{\hat {\beta }}_{k}\right\}_{MV}=\arg \max _{\beta _{0},\ldots ,\beta _{k}}{\mathcal {l}}_{probit}\left(\beta _{0},\ldots ,\beta _{k};Y_{1},\ldots ,Y_{n}\mid X_{1i},\ldots ,X_{ki}\right)

{\ displaystyle \ left \ {{\ hat {\ beta}} _ {0}, {\ hat {\ beta}} _ {1}, \ ldots, {\ hat {\ beta}} _ {k} \ right \} _ {MV} = \ arg \ max _ {\ beta _ {0}, \ ldots, \ beta _ {k}} {\ mathcal {l}} _ {probit} \ left (\ beta _ {0} , \ ldots, \ beta _ {k}; Y_ {1}, \ ldots, Y_ {n} \ mid X_ {1i}, \ ldots, X_ {ki} \ right)}

{\ displaystyle \ left \ {{\ hat {\ beta}} _ {0}, {\ hat {\ beta}} _ {1}, \ ldots, {\ hat {\ beta}} _ {k} \ right \} _ {MV} = \ arg \ max _ {\ beta _ {0}, \ ldots, \ beta _ {k}} {\ mathcal {l}} _ {probit} \ left (\ beta _ {0} , \ ldots, \ beta _ {k}; Y_ {1}, \ ldots, Y_ {n} \ mid X_ {1i}, \ ldots, X_ {ki} \ right)}

. ^[6]

Pentru a simplifica scrierea să luăm în considerare ${\boldsymbol {\beta }}$ ${\ displaystyle {\ boldsymbol {\ beta}}}$ ${\ displaystyle {\ boldsymbol {\ beta}}}$ un vector al parametrilor $\beta _{0},\beta _{1},\ldots ,\beta _{k}$ ${\ displaystyle \ beta _ {0}, \ beta _ {1}, \ ldots, \ beta _ {k}}$ ${\ displaystyle \ beta _ {0}, \ beta _ {1}, \ ldots, \ beta _ {k}}$ , $\lambda$ ${\ displaystyle \ lambda}$ $\ lambda$ derivatul de $\Lambda$ ${\ displaystyle \ Lambda}$ $\ Lambda$ , aceasta este funcția densității probabilității distribuției logistice și $n$ ${\ displaystyle n}$ $n$ numărul de observații din eșantion. Există două condiții pentru maximizare: prima ordine în care prima derivată în raport cu parametrii trebuie setată egală cu zero pentru a găsi extremele, a doua plasează în schimb a doua derivată, din nou în raport cu parametrii, mai mică decât zero la determinați concavitatea funcției și asigurați-vă astfel că cele găsite sunt doar puncte maxime .

${\frac {\partial }{\partial {\boldsymbol {\beta }}}}{\mathcal {l}}_{probit}\left({\boldsymbol {\beta }};\mathbf {y} \right)=0\Longleftrightarrow \sum _{i=1}^{n}\left\{{\frac {y_{i}-\Lambda \left(\mathbf {x} _{i}'{\boldsymbol {\beta }}\right)}{\Lambda \left(\mathbf {x} _{i}'{\boldsymbol {\beta }}\right)\left[1-\Lambda \left(\mathbf {x} _{i}'{\boldsymbol {\beta }}\right)\right]}}\cdot \lambda \left(\mathbf {x} _{i}'{\boldsymbol {\beta }}\right)\right\}=0$ ${\ displaystyle {\ frac {\ partial} {\ partial {\ boldsymbol {\ beta}}}} {\ mathcal {l}} _ {probit} \ left ({\ boldsymbol {\ beta}}; \ mathbf {y } \ right) = 0 \ Longleftrightarrow \ sum _ {i = 1} ^ {n} \ left \ {{\ frac {y_ {i} - \ Lambda \ left (\ mathbf {x} _ {i} '{\ boldsymbol {\ beta}} \ right)} {\ Lambda \ left (\ mathbf {x} _ {i} '{\ boldsymbol {\ beta}} \ right) \ left [1- \ Lambda \ left (\ mathbf { x} _ {i} '{\ boldsymbol {\ beta}} \ right) \ right]}} \ cdot \ lambda \ left (\ mathbf {x} _ {i}' {\ boldsymbol {\ beta}} \ right ) \ right \} = 0}$ ${\ displaystyle {\ frac {\ partial} {\ partial {\ boldsymbol {\ beta}}}} {\ mathcal {l}} _ {probit} \ left ({\ boldsymbol {\ beta}}; \ mathbf {y } \ right) = 0 \ Longleftrightarrow \ sum _ {i = 1} ^ {n} \ left \ {{\ frac {y_ {i} - \ Lambda \ left (\ mathbf {x} _ {i} '{\ boldsymbol {\ beta}} \ right)} {\ Lambda \ left (\ mathbf {x} _ {i} '{\ boldsymbol {\ beta}} \ right) \ left [1- \ Lambda \ left (\ mathbf { x} _ {i} '{\ boldsymbol {\ beta}} \ right) \ right]}} \ cdot \ lambda \ left (\ mathbf {x} _ {i}' {\ boldsymbol {\ beta}} \ right ) \ right \} = 0}$
${\frac {\partial ^{2}}{\partial {\boldsymbol {\beta }}\partial {\boldsymbol {\beta '}}}}{\mathcal {l}}_{probit}\left({\boldsymbol {\beta }};\mathbf {y} \right)<0$ ${\ displaystyle {\ frac {\ partial ^ {2}} {\ partial {\ boldsymbol {\ beta}} \ partial {\ boldsymbol {\ beta '}}}} {\ mathcal {l}} _ {probit} \ stânga ({\ boldsymbol {\ beta}}; \ mathbf {y} \ dreapta) <0}$ ${\ displaystyle {\ frac {\ partial ^ {2}} {\ partial {\ boldsymbol {\ beta}} \ partial {\ boldsymbol {\ beta '}}}} {\ mathcal {l}} _ {probit} \ stânga ({\ boldsymbol {\ beta}}; \ mathbf {y} \ dreapta) <0}$

De obicei soluțiile acestor condiții nu sunt ușor de determinat sau nu pot fi deloc găsite, dar pentru a depăși această problemă puteți utiliza programe statistice de computer care, prin intermediul unor algoritmi , își găsesc aproximările. ^[6]

Estimarea probabilității

Când s-a calculat vectorul ${\boldsymbol {\hat {\beta }}}$ ${\ displaystyle {\ boldsymbol {\ hat {\ beta}}}}$ ${\ displaystyle {\ boldsymbol {\ hat {\ beta}}}}$ , adică estimarea vectorului parametrilor ${\boldsymbol {\beta }}$ ${\ displaystyle {\ boldsymbol {\ beta}}}$ ${\ displaystyle {\ boldsymbol {\ beta}}}$ , este posibil să se estimeze probabilitatea $p$ ${\ displaystyle p}$ $p$ . Prin definiția modelului, această probabilitate este, de asemenea, valoarea așteptată a $Da$ ${\ displaystyle Y}$ $Da$ .

{\hat {p}}={\hat {\mathbb {E} }}\left[Y\mid \mathbf {X} \right]=\Lambda \left(\mathbf {X} ^{T}{\hat {\boldsymbol {\beta }}}\right)={\frac {e^{\mathbf {X} ^{T}{\hat {\boldsymbol {\beta }}}}}{1+e^{\mathbf {X} ^{T}{\boldsymbol {\hat {\beta }}}}}}

{\ displaystyle {\ hat {p}} = {\ hat {\ mathbb {E}}} \ left [Y \ mid \ mathbf {X} \ right] = \ Lambda \ left (\ mathbf {X} ^ {T } {\ hat {\ boldsymbol {\ beta}}} \ right) = {\ frac {e ^ {\ mathbf {X} ^ {T} {\ hat {\ boldsymbol {\ beta}}}}} {1+ și ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ hat {\ beta}}}}}}}

{\ displaystyle {\ hat {p}} = {\ hat {\ mathbb {E}}} \ left [Y \ mid \ mathbf {X} \ right] = \ Lambda \ left (\ mathbf {X} ^ {T } {\ hat {\ boldsymbol {\ beta}}} \ right) = {\ frac {e ^ {\ mathbf {X} ^ {T} {\ hat {\ boldsymbol {\ beta}}}}} {1+ și ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ hat {\ beta}}}}}}}

.

Notă

^ ^a ^b ^c ^d ^e ^f ( EN ) James H. Stock și Mark W. Watson, Regression with a Binary Dependent Variable , în Introduction to Econometrics , ediția a 3-a, Pearson, 2015, pp. 442-443, ISBN 978-1-292-07131-2 .
^ ^A ^b (EN) James H. Stock și Mark W. Watson, Regression with a Binary Dependent Variable, în Introduction to Econometrics, ediția a 3-a, Pearson, 2015, p. 437, ISBN 978-1-292-07131-2 .
^ Valoarea așteptată
^ ^A ^b (EN) James H. Stock și Mark W. Watson, Regression with a Binary Dependent Variable, în Introduction to Econometrics, ediția a 3-a, Pearson, 2015, pp. 441-442, ISBN 978-1-292-07131-2 .
^ Întreaga derivare a funcției de probabilitate poate fi consultată pe paginile raportate aici. ( EN ) James H. Stock și Mark W. Watson, Regression with a Binary Dependent Variable , în Introduction to Econometrics , ediția a 3-a, Pearson, 2015, pp. 465-466, ISBN 978-1-292-07131-2 .
^ ^A ^b (EN) James H. Stock și Mark W. Watson, Regression with a Binary Dependent Variable, în Introduction to Econometrics, ediția a 3-a, Pearson, 2015, pp. 465-466, ISBN 978-1-292-07131-2 .

Bibliografie

( EN ) Alan Agresti, Analiza datelor categorice , Wiley, 2003, ISBN 978-0-471-36093-3 .
( EN ) William H. Greene, Analiza econometrică , ediția a IV-a, Prentice Hall, 1999 [1993] , ISBN 978-0-130-13297-0 .
( EN ) James H. Stock și Mark W. Watson, Regression with a Binary Dependent Variable , în Introduction to Econometrics , ediția a 3-a, Pearson, 2015, ISBN 978-1-292-07131-2 .
( EN ) P. McCullagh și John A. Nelder, Generalized Linear Models , ediția a II-a, Chapman și Hall / CRC, 1989, ISBN 978-0-412-31760-6 .

Elemente conexe

Alte proiecte

Wikimedia Commons conține imagini sau alte fișiere cu privire la regresia logistică

Controlul autorității	LCCN (EN) sh85078131 · GND (DE) 4230396-5 · BNF (FR) cb13737339z (data)

Portalul Economiei

Portalul de statistici

[Definizione-1] ^ ^a ^b ^c ^d ^e ^f ( EN ) James H. Stock și Mark W. Watson, Regression with a Binary Dependent Variable , în Introduction to Econometrics , ediția a 3-a, Pearson, 2015, pp. 442-443, ISBN 978-1-292-07131-2 .

[Scelta_funzione-2] A ^b (EN) James H. Stock și Mark W. Watson, Regression with a Binary Dependent Variable, în Introduction to Econometrics, ediția a 3-a, Pearson, 2015, p. 437, ISBN 978-1-292-07131-2 .

[3] Valoarea așteptată

[Stimatori-4] A ^b (EN) James H. Stock și Mark W. Watson, Regression with a Binary Dependent Variable, în Introduction to Econometrics, ediția a 3-a, Pearson, 2015, pp. 441-442, ISBN 978-1-292-07131-2 .

[5] Întreaga derivare a funcției de probabilitate poate fi consultată pe paginile raportate aici. ( EN ) James H. Stock și Mark W. Watson, Regression with a Binary Dependent Variable , în Introduction to Econometrics , ediția a 3-a, Pearson, 2015, pp. 465-466, ISBN 978-1-292-07131-2 .

[metodo_MV-6] A ^b (EN) James H. Stock și Mark W. Watson, Regression with a Binary Dependent Variable, în Introduction to Econometrics, ediția a 3-a, Pearson, 2015, pp. 465-466, ISBN 978-1-292-07131-2 .

[1]

[2]

[3]

[4]

[5]

[6]

V · D · M Statistici
Statisticile descriptive	Medii ( aritmetice · geometrice · armonioase · Putere · aritmetice și geometrice · Integrale ) · Mediană · Modă · interval de variație · varianță · Deviație standard · deviație absolută medie · Simetrie · Diferență medie ( absolută · logaritmică ) · Curtosi
Inferință statistică	Test de testare a ipotezelor · Semnificație · Ipoteză nulă / alternativă · Eroare I și tip II · Test Q · U test · Test t · Z Test · Probabilitate maximă · Standardizare · valoare p · Analiza variației
Analiza supraviețuirii	Rata de eșec · Estimatorul Kaplan-Meier · jurnalul de testare
Analiza regresiei	Regresie liniară · Regresie neliniară · variabile instrumentale · metodă generalizată a momentelor · Regresie logistică · Model probit · Model logit