Modelul logit este reprezentat în albastru.
În statistici , modelul logit , cunoscut și sub numele de model logistic sau regresie logistică , este un model de regresie neliniar utilizat atunci când variabila dependentă este dihotomică . Obiectivul modelului este de a stabili probabilitatea cu care o observație poate genera una sau cealaltă valoare a variabilei dependente; poate fi folosit și pentru clasificarea observațiilor, pe baza caracteristicilor acestora, în două categorii. [1]
Modelul logit face parte din clasa modelelor liniare generalizate , precum și modelul probit și modelul logliniar , de care diferă esențial în alegerea funcției {\ displaystyle \ Lambda} . [1]
Alegerea funcției
Funcția logit. Inversul acestei funcții este utilizat în regresia logistică.
Un model de regresie în care variabila dependentă este dihotomică, adică o variabilă care poate avea 0 și 1 ca singure valori sau care le pot fi atribuite, calculează probabilitatea ca această variabilă să dobândească valoarea 1.
- {\ displaystyle \ mathbb {E} \ left [Y \ mid X = x \ right] = 1 \ Pr \ left (Y = 1 \ mid X = x \ right) +0 \ Pr \ left (Y = 0 \ mid X = x \ right) = \ Pr \ left (Y = 1 \ mid X = x \ right)}
Deoarece probabilitățile sunt, prin definiție, limitate la un interval {\ displaystyle C = \ left [0,1 \ right]} , utilizarea unui model de regresie liniară nu ar fi adecvată, de fapt ar returna valori aparținând întregului set {\ displaystyle \ mathbb {R}} . [2] De fapt, să presupunem următorul model liniar:
- {\ displaystyle \ Pr \ left (Y = 1 \ mid X = x \ right) = \ beta _ {0} + \ beta _ {1} X} .
Derivatul
- {\ displaystyle {\ frac {\ partial} {\ partial X}} \ Pr \ left (Y = 1 \ mid X = x \ right) = \ beta _ {1}}
fiind constantă și egală cu parametrul {\ displaystyle \ beta _ {1}} , nu permite funcției să schimbe panta pe baza valorii lui {\ displaystyle X} și deci să poți avea ca codomain {\ displaystyle C} . Această caracteristică este în schimb posedată, de exemplu, de funcțiile de distribuție . [2] De fapt, utilizarea unei funcții neliniare permite să aibă o primă derivată dependentă de {\ displaystyle X} și, prin urmare, capabil să se schimbe pe măsură ce această variabilă variază. De fapt, dacă luăm în considerare următorul model:
- {\ displaystyle \ Pr \ left (Y = 1 \ mid X = x \ right) = \ F \ left (\ alpha _ {0} + \ alpha _ {1} X \ right)}
unde derivatul este următorul
- {\ displaystyle {\ frac {\ partial} {\ partial X}} \ Pr \ left (Y = 1 \ mid X = x \ right) = \ f \ left (\ alpha _ {0} + \ alpha _ {1 } X \ dreapta) \ alpha _ {1}} .
Se poate vedea cum panta curbei poate varia acum în funcție de variație {\ displaystyle X} , putând astfel să posede un codomain {\ displaystyle C} . Pentru modelul logit este folosit ca funcție {\ displaystyle F} funcția de distribuție a distribuției logistice standard. [1]
Definiție
Modelul de regresie logit pentru populație este: [1] [3]
- {\ displaystyle \ mathbb {E} \ left [Y \ mid \ mathbf {X} \ right] = \ Pr \ left (Y = 1 \ mid X_ {1}, \ ldots, X_ {k} \ right) = \ Lambda \ left (\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}} \ right) =}
- {\ displaystyle = {\ frac {e ^ {\ beta _ {0} + \ beta _ {1} X_ {1} + \ ldots + \ beta _ {k} X_ {k}}} {1 + e ^ { \ beta _ {0} + \ beta _ {1} X_ {1} + \ ldots + \ beta _ {k} X_ {k}}}} = p}
unde este:
- {\ displaystyle Pr} indică probabilitatea;
- {\ displaystyle Y} este variabila dependentă dihotomică cu o distribuție Bernoulli {\ displaystyle Y \ sim {\ mathcal {Be}} \ left (p \ right)} ;
- {\ displaystyle \ mathbf {X}} este vectorul variabilelor independente sau regresorilor {\ displaystyle X_ {1}, \ ldots, X_ {k}} ;
- {\ displaystyle {\ boldsymbol {\ beta}}} este vectorul parametrilor {\ displaystyle \ beta _ {0}, \ ldots, \ beta _ {k}} ;
- {\ displaystyle \ Lambda} este funcția de distribuție a distribuției logistice standard;
- {\ displaystyle e} este numărul lui Euler , aproximativ egal cu {\ displaystyle 2.71828} .
Varianța
Varianța variabilei dependente depinde de vectorul regresorilor {\ displaystyle \ mathbf {X}} . Intr-adevar
- {\ displaystyle Var \ left (Y \ mid \ mathbf {X} \ right) = \ mathbb {E} \ left [Y ^ {2} \ mid \ mathbf {X} \ right] - \ mathbb {E} \ left [Y \ mid \ mathbf {X} \ right] ^ {2} = \ Lambda \ left (\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}} \ right) \ cdot \ left (1- \ Lambda \ left (\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}} \ right) \ right)} .
Efect marginal
Efectul asupra variabilei dependente {\ displaystyle Y} dat de o schimbare într-un regresor {\ displaystyle X_ {j}} , numit efect marginal, se calculează ca derivată a valorii așteptate a {\ displaystyle Y} în comparație cu {\ displaystyle X_ {j}} :
- {\ displaystyle {\ frac {\ partial} {\ partial X_ {j}}} \ mathbb {E} \ left [Y \ mid \ mathbf {X} \ right] = {\ frac {\ partial} {\ partial X_ {j}}} \ Lambda \ left (\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}} \ right) = {\ frac {\ partial} {\ partial X_ {j}}} {\ frac {e ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}}}} {1 + e ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}}}}} = }
- {\ displaystyle = {\ frac {e ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}}}} {1 + e ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}}}}} \ cdot {\ frac {1} {1 + e ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ beta}}}}} cdot \ beta _ {j}}
unde este {\ displaystyle \ beta _ {j}} este parametrul asociat cu regresorul {\ displaystyle X_ {j}} . [1] Pentru calcularea derivatei, regresorul trebuie să fie continuu.
Ilustrația metodei
Pentru fiecare probă de observare{\ displaystyle i = 1, \ ldots, n} ai o determinare {\ displaystyle Y} și de {\ displaystyle k} determinări {\ displaystyle X_ {1}, \ ldots, X_ {k}} . Modelul caută o relație neliniară, utilizând funcția de distribuție logistică standard, între variabila dependentă și {\ displaystyle k} variabile independente, estimând valoarea coeficienților {\ displaystyle \ beta _ {0}, \ ldots, \ beta _ {k}} folosind metoda de maximă probabilitate. [1]
Estimarea modelului
Vectorul parametrilor {\ displaystyle {\ boldsymbol {\ beta}}} se estimează de obicei cu metoda maximă probabilitate , cu care se obțin estimatori eficienți , consecvenți și distribuiți în mod normal dacă eșantionul statistic este suficient de mare. [4] Aceste proprietăți permit calcularea testului t pe un parametru, a testului F în cazul restricțiilor multiple și a intervalelor de încredere . [4] Estimarea parametrilor este urmată de estimarea probabilității {\ displaystyle p} .
Funcția de probabilitate
În modelul logit, variabila dependentă {\ displaystyle Y} este dihotomic și cu distribuție {\ displaystyle Y \ sim {\ mathcal {Be}} \ left (p \ right)} . Luați în considerare un eșantion de {\ displaystyle n} observații unde fiecare dintre ele este identificat{\ displaystyle i = 1, \ ldots, n} . Pentru definiția modelului, probabilitatea ca această variabilă să fie 1 pentru o observație dată {\ displaystyle i} Și
- {\ displaystyle \ Pr \ left (Y_ {i} = 1 \ mid X_ {1i}, \ ldots, X_ {ki} \ right) = \ Lambda \ left (\ beta _ {0} + \ beta _ {1} X_ {1i} + \ ldots + \ beta _ {k} X_ {ki} \ right) = p_ {i}} ,
în timp ce probabilitatea să fie 0 este
- {\ displaystyle \ Pr \ left (Y_ {i} = 0 \ mid X_ {1i}, \ ldots, X_ {ki} \ right) = 1- \ Lambda \ left (\ beta _ {0} + \ beta _ { 1} X_ {1i} + \ ldots + \ beta _ {k} X_ {ki} \ right) = 1-p_ {i}} .
Distribuția condițională a probabilității pentru fiecare element {\ displaystyle i} poate fi scris ca
- {\ displaystyle \ Pr \ left (Y_ {i} = y_ {i} \ mid X_ {1i}, \ ldots, X_ {ki} \ right) = p_ {i} ^ {y_ {i}} \ left (1 -p_ {i} \ right) ^ {1-y_ {i}}} .
Acum luăm în considerare întregul eșantion și presupunem și pentru fiecare observație {\ displaystyle i} , {\ displaystyle \ left (X_ {1i}, X_ {2i}, \ ldots, X_ {ki}, Y_ {i} \ right)} sunt independente și distribuite identic . Astfel, rezultă că distribuția comună a probabilității {\ displaystyle Y_ {1}, \ ldots, Y_ {n}} este produsul probabilităților condiționale ale fiecărei observații:
- {\ displaystyle \ Pr \ left (Y_ {1} = y_ {1}, \ ldots, Y_ {n} = y_ {n} \ mid X_ {1i}, \ ldots, X_ {ki} \ right) =}
- {\ displaystyle = \ Pr \ left (Y_ {1} = y_ {1} \ mid X_ {11}, \ ldots, X_ {k1} \ right) \ cdot \ ldots \ cdot \ Pr \ left (Y_ {n} = y_ {n} \ mid X_ {1n}, \ ldots, X_ {kn} \ right) =}
- {\ displaystyle = p_ {1} ^ {y_ {1}} \ left (1-p_ {1} \ right) ^ {1-y_ {1}} \ cdot \ ldots \ cdot p_ {n} ^ {y_ { n}} \ left (1-p_ {n} \ right) ^ {1-y_ {n}} = \ prod _ {i = 1} ^ {n} p_ {i} ^ {y_ {i}} \ left (1-p_ {i} \ dreapta) ^ {1-y_ {i}}} .
Definiția modelului probit este acum preluată și înlocuită în locul {\ displaystyle p_ {i}} , obținând astfel funcția de probabilitate [5]
- {\ displaystyle {\ mathcal {L}} _ {probit} \ left (\ beta _ {0}, \ ldots, \ beta _ {k}; Y_ {1}, \ ldots, Y_ {n} \ mid X_ { 1i}, \ ldots, X_ {ki} \ right) = \ prod _ {i = 1} ^ {n} \ left [\ Lambda \ left (\ beta _ {0} + \ beta _ {1} X_ {1i } + \ ldots + \ beta _ {k} X_ {ki} \ right) \ right] ^ {Y_ {i}} \ left [1- \ Lambda \ left (\ beta _ {0} + \ beta _ {1 } X_ {1i} + \ ldots + \ beta _ {k} X_ {ki} \ right) \ right] ^ {1-Y_ {i}}} .
Estimarea parametrilor
Pentru a calcula estimatorii {\ displaystyle {\ hat {\ beta}} _ {0}, {\ hat {\ beta}} _ {1}, \ ldots, {\ hat {\ beta}} _ {k}} parametrii {\ displaystyle \ beta _ {0}, \ beta _ {1}, \ ldots, \ beta _ {k}} este convenabil să calculați funcția log-probabilitate, deoarece în acest fel este posibilă eliminarea productivității. Logaritmul este apoi aplicat funcției de probabilitate:
- {\ displaystyle {\ mathcal {l}} _ {probit} \ left (\ beta _ {0}, \ ldots, \ beta _ {k}; Y_ {1}, \ ldots, Y_ {n} \ mid X_ { 1i}, \ ldots, X_ {ki} \ right) = \ ln {\ mathcal {L}} _ {probit} \ left (\ beta _ {0}, \ ldots, \ beta _ {k}; Y_ {1 }, \ ldots, Y_ {n} \ mid X_ {1i}, \ ldots, X_ {ki} \ right) =}
- {\ displaystyle = \ sum _ {i = 1} ^ {n} Y_ {i} \ ln \ left [\ Lambda \ left (\ beta _ {0} + \ beta _ {1} X_ {1i} + \ ldots + \ beta _ {k} X_ {ki} \ right) \ right] + \ sum _ {i = 1} ^ {n} \ left (1-Y_ {i} \ right) \ ln \ left [1- \ Lambda \ left (\ beta _ {0} + \ beta _ {1} X_ {1i} + \ ldots + \ beta _ {k} X_ {ki} \ right) \ right]} .
Estimatorii calculați cu metoda de maximă probabilitate maximizează funcția anterioară rezolvând următoarea problemă:
- {\ displaystyle \ left \ {{\ hat {\ beta}} _ {0}, {\ hat {\ beta}} _ {1}, \ ldots, {\ hat {\ beta}} _ {k} \ right \} _ {MV} = \ arg \ max _ {\ beta _ {0}, \ ldots, \ beta _ {k}} {\ mathcal {l}} _ {probit} \ left (\ beta _ {0} , \ ldots, \ beta _ {k}; Y_ {1}, \ ldots, Y_ {n} \ mid X_ {1i}, \ ldots, X_ {ki} \ right)} . [6]
Pentru a simplifica scrierea să luăm în considerare {\ displaystyle {\ boldsymbol {\ beta}}} un vector al parametrilor {\ displaystyle \ beta _ {0}, \ beta _ {1}, \ ldots, \ beta _ {k}} , {\ displaystyle \ lambda} derivatul de {\ displaystyle \ Lambda} , adică funcția densității probabilității distribuției logistice și {\ displaystyle n} numărul de observații din eșantion. Există două condiții pentru maximizare: prima ordine în care prima derivată în raport cu parametrii trebuie setată egală cu zero pentru a găsi extremele, a doua plasează în schimb a doua derivată, din nou în raport cu parametrii, mai mică decât zero la determinați concavitatea funcției și asigurați-vă astfel că cele găsite sunt doar puncte maxime .
- {\ displaystyle {\ frac {\ partial} {\ partial {\ boldsymbol {\ beta}}}} {\ mathcal {l}} _ {probit} \ left ({\ boldsymbol {\ beta}}; \ mathbf {y } \ right) = 0 \ Longleftrightarrow \ sum _ {i = 1} ^ {n} \ left \ {{\ frac {y_ {i} - \ Lambda \ left (\ mathbf {x} _ {i} '{\ boldsymbol {\ beta}} \ right)} {\ Lambda \ left (\ mathbf {x} _ {i} '{\ boldsymbol {\ beta}} \ right) \ left [1- \ Lambda \ left (\ mathbf { x} _ {i} '{\ boldsymbol {\ beta}} \ right) \ right]}} \ cdot \ lambda \ left (\ mathbf {x} _ {i}' {\ boldsymbol {\ beta}} \ right ) \ right \} = 0}
- {\ displaystyle {\ frac {\ partial ^ {2}} {\ partial {\ boldsymbol {\ beta}} \ partial {\ boldsymbol {\ beta '}}}} {\ mathcal {l}} _ {probit} \ stânga ({\ boldsymbol {\ beta}}; \ mathbf {y} \ dreapta) <0}
De obicei, soluțiile acestor condiții nu sunt ușor de determinat sau nu pot fi găsite deloc, dar pentru a depăși această problemă puteți utiliza programe statistice de computer care, prin intermediul unor algoritmi , își găsesc aproximările. [6]
Estimarea probabilității
Când s-a calculat vectorul {\ displaystyle {\ boldsymbol {\ hat {\ beta}}}} , adică estimarea vectorului parametrilor {\ displaystyle {\ boldsymbol {\ beta}}} , este posibil să se estimeze probabilitatea {\ displaystyle p} . Prin definiția modelului, această probabilitate este, de asemenea, valoarea așteptată a {\ displaystyle Y} .
- {\ displaystyle {\ hat {p}} = {\ hat {\ mathbb {E}}} \ left [Y \ mid \ mathbf {X} \ right] = \ Lambda \ left (\ mathbf {X} ^ {T } {\ hat {\ boldsymbol {\ beta}}} \ right) = {\ frac {e ^ {\ mathbf {X} ^ {T} {\ hat {\ boldsymbol {\ beta}}}}} {1+ și ^ {\ mathbf {X} ^ {T} {\ boldsymbol {\ hat {\ beta}}}}}}} .
Notă
- ^ a b c d e f ( EN ) James H. Stock și Mark W. Watson, Regression with a Binary Dependent Variable , în Introduction to Econometrics , ediția a 3-a, Pearson, 2015, pp. 442-443, ISBN 978-1-292-07131-2 .
- ^ A b (EN) James H. Stock și Mark W. Watson, Regression with a Binary Dependent Variable, în Introduction to Econometrics, ediția a 3-a, Pearson, 2015, p. 437, ISBN 978-1-292-07131-2 .
- ^ Valoarea așteptată
- ^ A b (EN) James H. Stock și Mark W. Watson, Regression with a Binary Dependent Variable, în Introduction to Econometrics, ediția a 3-a, Pearson, 2015, pp. 441-442, ISBN 978-1-292-07131-2 .
- ^ Întreaga derivare a funcției de probabilitate poate fi consultată pe paginile raportate aici. ( EN ) James H. Stock și Mark W. Watson, Regression with a Binary Dependent Variable , în Introduction to Econometrics , ediția a 3-a, Pearson, 2015, pp. 465-466, ISBN 978-1-292-07131-2 .
- ^ A b (EN) James H. Stock și Mark W. Watson, Regression with a Binary Dependent Variable, în Introduction to Econometrics, ediția a 3-a, Pearson, 2015, pp. 465-466, ISBN 978-1-292-07131-2 .
Bibliografie
- ( EN ) Alan Agresti, Analiza datelor categorice , Wiley, 2003, ISBN 978-0-471-36093-3 .
- ( EN ) William H. Greene, Econometric Analysis , ediția a IV-a, Prentice Hall, 1999 [1993] , ISBN 978-0-130-13297-0 .
- ( EN ) James H. Stock și Mark W. Watson, Regression with a Binary Dependent Variable , în Introduction to Econometrics , ediția a 3-a, Pearson, 2015, ISBN 978-1-292-07131-2 .
- ( EN ) P. McCullagh și John A. Nelder, Generalized Linear Models , ediția a II-a, Chapman și Hall / CRC, 1989, ISBN 978-0-412-31760-6 .
Elemente conexe
Alte proiecte