Kapitel 18: LINJÄRA SANNOLIKHETSMODELLER, LOGIT OCH PROBIT Regressionsanalys handlar om att estimera hur medelvärdet för en variabel (y) varierar med en eller flera oberoende variabler (x). Exempel: Hur varierar genomsnittlig lön med utbildning? Hur varierar genomsnittlig livslängd med inkomst och kön? Hur varierar genomsnittlig avkastning på en aktie beroende på veckodagen? I alla de här exemplen är utfallsvariabeln kvantitativ (lön, livslängd, avkastning). Men det finns heller inget som hindrar oss från att köra en regression då utfallsvariabeln är binär, dvs. då utfallsvariabeln bara antar två värden (0 och 1). Exempel: Vi samlar in data för ett tusental amerikaner och mäter om dessa stödjer Trump (=1) eller Hillary (=0). Vi samlar in data för ett hundratal låntagare och studerar om dessa lyckades betala tillbaka i tid (=1) eller inte (=0). Notera här att medelvärdet för en binär variabel är en andel. Exempel: Vi har samlat in data för 100 låntagare varav 70 betalade tillbaka i tid. Medelvärdet för den här variabeln blir då 0,7 vilket är andelen som betalade tillbaka i tid, eller sannolikheten att en person betalade tillbaka i tid. Med en binär utfallsvariabel så tittar vi alltså på andelar eller sannolikheter: Hur stor andel av låntagare betalar tillbaka i tid och hur varierar detta beroende på kön, ålder och utbildning? Eller med andra ord: Hur varierar sannolikheten att betala tillbaka i tid beroende på kön, ålder och utbildning? Vi kan tänka oss att modellera den här sannolikheten på lite olika sätt. Om vi estimerar sannolikheten att betala tillbaka i tid som en linjär funktion av x-variablerna så kallas detta för en linjär sannolikhetsmodell. Vi kan då använda OLS på traditionellt sätt. I nästa avsnitt ska vi se ett exempel på vad det här kan betyda. I avsnitt 18.2 och 18.3 ska vi se på två alternativa metoder, logit och probit, som också används för att estimera sannolikheter. I avsnitt 18.4 diskuterar vi maximum likelihood som är den estimator som används vid logit och probit.
18.1 DEN LINJÄRA SANNOLIKHETSMODELLEN Exempel: Nedan ser du ett utdrag av data för de personer som steg ombord på Titanic år 1912. Vi vill beskriva hur sannolikheten att överleva varierar som en funktion av biljettpriset. Utfallsvariabeln överlevde är nu binär; den antar värdet 1 för de som överlevde och annars värdet 0. Namn biljettpris överlevde Allen, Miss. Elisabeth Walton 211,3375 1 Allison, Master. Hudson Trevor 151,55 1 Allison, Miss. Helen Loraine 151,55 0 Allison, Mr. Hudson Joshua Creighton 151,55 0 Allison, Mrs. Hudson J C (Bessie Waldo 151,55 0 Daniels) Anderson, Mr. Harry 26,55 1 Andrews, Miss. Kornelia Theodosia 77,9583 1 Andrews, Mr. Thomas Jr 0 0 Appleton, Mrs. Edward Dale (Charlotte 51,4792 1 Lamson) Zimmerman, Mr. Leo 7,875 0 Nedan har vi kört en vanlig regression (OLS) med överleva som utfall och biljettpriset som oberoende variabel. Inom parentes ges det robusta standardfelet 1 : överleva = 0,31 + 0,0023pris (0,00026) För en person som betalat 100 pund för biljetten så blir prediktionen 0,54: överleva = 0,31 + 0,0023 pris 100 = 0,54 1 Den linjära sannolikhetsmodellen är per konstruktion heteroskedastisk, därför använder vi robusta standardfel. Vi kan se att modellen är heteroskedastisk på följande sätt: Variansen för en binär variabel ges av p(1-p). I detta exempel är p andelen överlevare (eller sannolikheten för att överleva). För de som betalat ett tillräckligt högt biljettpris så är denna sannolikhet hög och för de som betalat ett lågt biljettpris är sannolikheten lägre. Låt oss jämföra en person som har en överlevnadssannolikhet på 0,9 med en som har en sannolikhet på 0,5. I det första fallet bli överlevnadsvariansen 0,9(1-0,9) = 0,09 och i det andra fallet 0,5(1-0,5) = 0,25. Överlevnadsvariansen skiljer sig alltså mellan olika biljettpriser.
En sådan person predikteras alltså ha en 54-procentig sannolikhet att överleva. Och för varje extra pund som man spenderar på biljetten så ökar denna sannolikhet med 0,0023 eller 0,23 procentenheter. Den här effekten är signifikant (t = 0,0023/0,00026 = 8,85; p-värdet 0,000). I det här fallet passar det data bättre att mäta biljettpriset på en logaritmerad skala: överleva = 0,07 + 0,16 ln (pris) (0,013) Då biljettpriset ökar med 1 procent så ökar sannolikheten att överleva med 0,0016 eller 0,16 procentenheter. Vi kan också inkludera flera oberoende variabler i den här regressionen. Här har vi dessutom kontrollerat för kön och ålder: överleva = 0,02 + 0,11 ln(pris) + 0,49 kvinna 0,0024 ålder Då biljettpriset ökar med 1 procent så ökar sannolikheten att överleva med 0,0011 eller 0,11 procentenheter, kontrollerat för kön och ålder. Vi ser också att sannolikheten att överleva är 49 procentenheter högre för kvinnor än för män, och att chansen att överleva minskar med åldern; för varje extra år minskar denna sannolikhet med 0,24 procentenheter. Det går alltså bra att använda OLS även om utfallsvariabeln är binär. Men i praktiken är det ändå vanligare att använda alternativa metoder. I nästa avsnitt ska vi diskutera den populäraste av dessa: logistisk regression (logit). Men för att se varför logit är populärare än OLS, så ska vi börja med att diskutera kritiken mot den linjära sannolikhetsmodellen. Kritik mot linjära sannolikhetsmodeller Linjära sannolikhetsmodeller kritiseras eftersom de kan ge orimliga prediktioner, sannolikheter som ligger under 0 eller över 1. Exempel forts. Vi estimerade sannolikheten att överleva som en funktion av biljettpriset, kön och ålder: överleva = 0,02 + 0,11 ln(pris) + 0,49kvinna 0,0024ålder
Hur ser prediktionerna ut för olika personer i data? Jo, för de allra flesta ligger sannolikheten att överleva någonstans mellan 0 och 1 (precis som man skulle förvänta sig). Men det finns också en passagerare med en sannolikhet på 107 procent: Miss. Anna Ward var en 35-årig kvinna som betalade 512 pund för sin biljett: överlevde = 0,02 + 0,11 ln (pris ) + 0,49 kvinna 0,0024 ålder 35 512 1,07 Vi vet att den här prediktionen är felaktig, men då vi använder en linjär modell så finns det inget som ser till att prediktionerna faktiskt hamnar mellan 0 och 1. Eftersom överlevnadssannolikheten ökar linjärt med biljettpriset (mätt på en loggad skala) så kan vi alltid få en överlevnadssannolikhet som hamnar över 100 procent bara vi sätter biljettpriset tillräckligt högt. Den linjära modellen kan alltså inte vara korrekt. Den kan ge bra approximationer för begränsade värden på x, men den kan inte vara fullständigt korrekt. Vi ska nu se på en annan modell logit som är konstruerad så att de predikterade sannolikheterna alltid hamnar där de ska. 1
18.2 LOGISTISK REGRESSION (LOGIT) Exempel forts. Låt oss utgå från regressionen: överleva = 0,31 + 0,0023pris Här beskriver vi sannolikheten för att överleva som en linjär funktion av biljettpriset. När vi däremot estimerar en logistisk regression så beskriver vi oddset för att överleva som en multiplikativ modell av biljettpriset. I det här fallet ges den funktionen av: oddset för att överleva = 0,41 1,01 pris Låt oss fundera på vad den här regressionen säger. Precis som tidigare så kan vi använda den här regressionen för att göra prediktioner. För en passagerare som betalat 0 pund för biljetten så blir oddset för att överleva 0,41: oddset för att överleva = 0,41 1,01 pris = 0,41 1,01 0 = 0,41 1 = 0,41 För en passagerare som betalat 1 pund blir oddset 0,414: oddset för att överleva = 0,41 1,01 pris = 0,41 1,01 1 = 0,41 1,01 0,414 För en som betalat 2 pund blir oddset 0,422: oddset för att överleva = 0,41 1,01 pris = 0,41 1,01 2 = 0,41 1,01 1,01 0,422 Och för en passagerare som betalat 3 pund blir oddset 0,41 1,01 3 = 0,41 1,01 1,01 1,01. Om vi multiplicerar med 1,01 ännu en fjärde gång så får vi oddset för en som betalat 4 pund. Oddset för överleva ökar alltså med en faktor på 1,01 för varje extra pund man betalat för biljetten. Eller med andra ord: Oddset för att överleva ökar med 1 procent för varje extra pund man betalat för biljetten. Låt oss repetera: oddset för att överleva = 0,41 1,01 pris
0,41 är oddset för att överleva då priset sätts lika med 0. Då priset ökar med 1 pund så ökar oddset för att överleva med en faktor på 1,01, dvs. 1 procent. Vi kallar detta estimat (1,01) för en oddskvot 2. Anta att vi istället hade fått följande resultat: oddset för att överleva = 0,25 2,0 pris 0,25 är oddset att överleva för en person som betalade 0 pund för sin biljett. Och då priset ökar med 1 pund så ökar oddset för att överleva med en faktor på 2 vilket är en ökning med 100 procent. Eller anta att vi istället hade fått följande resultat: oddset för att överleva = 0,25 3,0 pris Då priset ökar med 1 pund så ökar oddset för att överleva med en faktor på 3 vilket är en ökning med 200 procent. Eller anta att vi istället hade fått följande resultat: oddset för att överleva = 0,25 0,9 pris Då priset ökar med 1 pund så minskar oddset för att överleva med 10 procent. I exemplet ovan så tänkte vi oss att oddset för att överleva var 0,25, givet att man betalat 0 pund för biljetten. Men vad betyder då ett odds på 0,25? Jo, detta betyder att det går 0,25 överlevare på varje person som dog. Eller med andra ord: Det går då 25 överlevare per 100 döda. Ett odds på 0,25 motsvaras alltså av en sannolikhet på 20 procent: I en grupp på 125 personer så är det 100 som dör och 25 som överlever: 25/125 = 0,2. Vi kan göra om ett odds till en sannolikhet genom följande formel: sannolikhet = odds odds + 1 När vi predikterat oddset för att överleva för olika personer i data så kan vi alltså skriva om dessa odds till sannolikheter. I figuren nedan har vi ritat ut sannolikheten för att överleva mot 2 1,01 är kvoten mellan två odds: Oddset att överleva då man betalat k+1 pund, genom oddset för att överleva då man betalat k pund.
Sannolikhet biljettpriset. (Här har vi använt oss av regressionen som bygger på riktiga data: oddset för att överleva = 0,41 1,01 pris.) Sannolikheten för att överleva Titanic 1.2 1 0.8 0.6 0.4 0.2 0 0 100 200 300 400 500 600 biljettpris Vi ser alltså att sannolikheten att överleva är en icke-linjär funktion av biljettpriset: Sannolikheten ökar brant i början men den här positiva effekten avtar då biljettpriset blir tillräckligt högt. Och när biljettpriset nått 500 pund så är överlevnadssannolikheten praktiskt taget 1. Men den kommer aldrig att bli större än 1 (oavsett biljettpris). Och på motsvarande sätt kan vi aldrig få negativa sannolikheter. Logiten Exempel forts. Vi beskrev oddset för att överleva genom uttrycket: oddset för att överleva = 0,41 1,01 pris Om vi tar den naturliga logaritmen på båda sidor får vi följande uttryck: ln (oddset för att överleva) = ln(0,41) + pris ln(1,01) = 0, 89 + 0, 01 pris Den här ekvationen säger precis samma sak som tidigare: För varje extra pund du betalar för biljetten så ökar oddset för att överleva med 1 procent. Notera att det här är motsvarande tolkning som i alla regressioner med loggat utfall!
Sannolikhet När vi på det här sättet tar den naturliga logaritmen av ett odds så kallas detta för en logit. Exempel: För en passagerare som betalat 0 pund för biljetten så är den naturliga logaritmen av oddset 0,89. Eller så kan vi kortare säga att logiten är -0,89. Exempel forts. Här har vi istället beskrivit oddset för att överleva som en funktion av biljettpriset mätt på en loggad skala: oddset Logiten för att överleva ges då av: ln (oddset) ln (pris) = 0,08 1,97 = 2,49 + 0,68 ln (pris) När biljettpriset ökar med 1 procent så ökar oddset för att överleva med 0,68 procent. I figuren nedan har vi illustrerat det här sambandet grafiskt; men här tittar vi på hur sannolikheten för att överleva varierar med biljettpriset: Sannolikheten för att överleva Titanic 1.2 1 0.8 0.6 0.4 0.2 0 0 100 200 300 400 500 600 Biljettpris Exempel forts. Här har vi även kontrollerat för ålder och kön: oddset ln (oddset) = 0,06 1,86 ln(pris) 0,99 ålder 10 kvinna = 2,8 + 0,6 ln(pris) 0,01ålder + 2,3kvinna Det spelar ingen roll vilken av dessa funktioner vi använder när vi tolkar resultatet. Båda beskriver exakt samma sak, bara uttryckt på olika sätt. Låt oss utgå från den färgglada logitvarianten: Då priset ökar med 1 procent så ökar oddset för att
överleva med 0,6 procent (kontrollerat för kön och ålder). Då åldern ökar med ett år så minskar oddset för att överleva med 1 procent (kontrollerat för biljettpris och kön). Oddset för att överleva är 900 procent högre bland kvinnor än bland män (kontrollerat för biljettpris och ålder). Notera: Koefficienten för kvinna är 2,3 vilket motsvarar en effekt på 900 procent. Det motsvarar alltså inte en effekt på 230 procent. Den här tolkningen skulle vara korrekt om koefficienten varit närmare 0. Exempel: Om koefficienten för kvinna hade varit 0,08 så hade vi sagt att oddset för att överleva är 8 procent högre bland kvinnor än bland män. Men den här regeln är approximativ och funkar bara bra för små procentuella effekter (+/- 10 procent). För att få den exakta procenten så tar vi istället 100*[exp(koefficienten)-1]. I detta exempel: 100 [exp(2,3) 1] 900 % Låt oss ännu se på hur resultatet kan se ut i ett statistiskt programpaket (STATA). När du kör en logistisk regression så kan du beställa resultatet i de två olika format som vi sett på här: (1) Beskriver oddset som en multiplikativ modell av de oberoende variablerna: oddset = 0,06 1,86 ln(pris) 10 kvinna 0,99 ålder (2) Beskriver logiten som en linjär funktion av de oberoende variablerna: ln (oddset) = 2,78 + 0,62 ln(pris) + 2,3kvinna 0,01ålder Du ser båda dessa utskrifter på nästa sida.
Låt oss ännu se på några andra nyckelsiffror ur dessa regressionsutskrifter. Vi ser att regressionsmodellen har signifikant förklaringsstyrka: LR chi2 = 368,24; p-värdet 0,0000. LR chi2-värdet är alltså motsvarigheten till ett F-värde då vi använder OLS. Vi ser också att biljettpriset har en signifikant effekt på oddset att överleva: z = 7,28; p-värdet 0,000. Z-värdet är alltså motsvarigheten till ett t-värde då vi använder OLS. 3 3 Se den första utskriften ovan (1): Om vi här tar den första oddskvoten (1,86) genom standardfelet (0,159) så får vi ett värde på ~11,7 och inte 7,28 som är z-värdet. Jämför detta med den andra utskriften (2): Om vi här tar den första koefficienten (0,62) genom standardfelet (0,085) så får vi z-värdet (7,28). Vad är det som pågår här? Jo, samplingfördelningen för en oddskvot följer en lognormalfördelning, medan samplingfördelningen för en loggad oddskvot följer en normalfördelning. I utskrift (2) har vi just loggade oddskvoter och då kan vi testa om resultatet är signifikant genom att dela dessa med sina standardfel.
Marginaleffekter Exempel forts. Vi hade regressionen: oddset ln (oddset) = 0,06 1,86 ln(pris) 10 kvinna 0,99 ålder = 2,8 + 0,6 ln(pris) 0,01ålder + 2,3kvinna Här ser vi till exempel att då åldern ökar med ett år så minskar oddset för att överleva med 1 procent, kontrollerat för biljettpris och kön. Men vad betyder det? Hur mycket minskar då sannolikheten för att överleva? Det finns inget enkelt svar på den frågan; hur mycket sannolikheten minskar beror också på din ålder i utgångsläget, vad du betalat för biljetten och ditt kön. Effekten av att åldern ökar med ett år kommer alltså att skilja sig mellan olika personer i data (beroende på deras värden på x- variablerna). Om vi räknar ut denna effekt skilt för varje person i data och sedan tar medelvärdet av alla dessa effekter, så får vi det som kallas för den genomsnittliga marginaleffekten. 4 Med hjälp av STATA kan vi räkna ut genomsnittliga marginaleffekter automatiskt: När biljettpriset ökar med 1 procent så ökar sannolikheten för att överleva i snitt med ~0,001 eller ~0,1 procentenheter, kontrollerat för kön och ålder. Sannolikheten för att överleva är i snitt ~37 procentenheter högre bland kvinnor än bland män 4 Rent tekniskt så får vi en marginaleffekt genom att ta fram ett uttryck som beskriver sannolikheten för att överleva som en funktion av x- variablerna. Vi deriverar denna sannolikhet med avseende på x- variabeln av intresse. Detta ger oss följande uttryck: b*p*(1-p) där b är koefficienten av intresse och p är den estimerade sannolikheten för ett gynnsamt utfall (där p skiljer sig mellan olika personer). Vi räknar därefter ut marginaleffekten skilt för varje person i data. Medelvärdet av dessa är den genomsnittliga marginaleffekten.
(kontrollerat för biljettpriset och ålder). Och när åldern ökar med ett år så minskar sannolikheten för att överleva i snitt med ~0,2 procentenheter (kontrollerat för biljettpris och kön). Att presentera resultatet Man kan presentera resultatet från en logistisk regression på olika sätt. Det vanligaste är att antingen visa de genomsnittliga marginaleffekterna, oddskvoterna eller bägge (vilket jag gjort i tabellen nedan). Här är GME en är förkortning för genomsnittlig marginaleffekt. (1) (2) VARIABLER GME Oddskvoter Ln(biljettpris) 0.100*** 1.860*** (0.0128) (0.159) Kvinna 0.374*** 10.11*** (0.0134) (1.590) Ålder -0.00225** 0.986** (0.000878) (0.00539) Konstant 0.0618*** (0.0180) Observationer 1,037 1,037 Standardfel inom parenteser *** p<0.01, ** p<0.05, * p<0.1
18.3 PROBIT Precis som logit så är probit också en modell där vi beskriver sannolikheten för ett gynnsamt utfall som en icke-linjär funktion av x-variablerna. Men tolkningen av resultatet skiljer sig från logit. Exempel forts. Nedan har vi använt Titanic-data och estimerat hur sannolikheten att överleva varierar som en funktion av biljettpriset, mätt på en loggad skala. Vi har här estimerat en probit: Vi kan använda den här modellen för att prediktera sannolikheten för att överleva, och hur denna sannolikhet varierar med biljettpriset. För en probit ges denna sannolikhet av: Pr(överleva) = Pr(Z 1,54 + 0,417 ln(priset)) där Z är en standardiserad normalfördelad variabel. Exempel: För en person som betalat 100 pund för biljetten så blir den sannolikheten 65 procent: Pr(överleva) = Pr (Z 1,54 + 0,417 ln (priset)) = Pr(Z 0,38) 0,65 100
För övrigt är det svårt att tolka koefficienterna från en probit. En positiv koefficient betyder att sannolikheten för att överleva ökar med den x-variabeln; en negativ koefficient betyder att sannolikheten för att överleva minskar med den x-variabeln. I det här exemplet är koefficienten för ln(biljettpriset) 0,417. Sannolikheten att överleva ökar alltså med biljettpriset. Men är 0,417 en stor eller liten positiv effekt? Detta är inte särskilt lätt att bedöma. 5 Men precis som vid logit kan vi också här uttrycka effekten som en genomsnittlig marginaleffekt: Då biljettpriset ökar med 1 procent så ökar sannolikheten för att överleva i snitt med 0,0015 eller 0,15 procentenheter. Logit kontra probit: Vilket är bättre? I praktiken har det liten betydelse om man väljer logit eller probit. Figuren nedan illustrerar detta. Här har vi använt Titanicdata och predikterat sannolikheten för att överleva som en funktion av biljettpriset (mätt på en loggad skala), kön och ålder. På x-axeln visas de predikterade sannolikheterna från en logit; på y-axeln visas motsvarande sannolikheter från en probit. 5 Vi förflyttar oss då 0,417 steg högerut på z-skalan. Det här har ganska stor betydelse om vi innan befann oss vid z = 0, men marginell betydelse om vi innan befann oss vid z = -3 eller z = 3.
Korrelationen är 0,9999; modellerna gör här mer eller mindre identiska prediktioner. De genomsnittliga marginaleffekterna är också praktiskt taget lika stora oavsett modell, vilket tabellen nedan visar. Tabell: Sannolikheten för att överleva Titanic (GME) (1) (2) VARIABLER LOGIT PROBIT Ln(biljettpris) 0.100*** 0.102*** (0.0128) (0.0130) Kvinna 0.374*** 0.392*** (0.0134) (0.0158) Ålder -0.00225** -0.00225** (0.000878) (0.000874) Observationer 1,037 1,037 Standardfel inom parenteser *** p<0.01, ** p<0.05, * p<0.1 Det spelar med andra ord egentligen ingen roll vilket vi väljer (logit eller probit). Detta är i första hand en fråga om vad man själv föredrar. De flesta väljer då logit, eftersom man då kan tolka resultatet i termer av oddskvoter. En notering här på slutet: Den linjära sannolikhetsmodellen (OLS) är inte heller särskilt dum, även om den kanske har lite skamfilat rykte. I tabellen nedan ser du en jämförelse mellan LOGIT, PROBIT och OLS. Alla estimat är genomsnittliga
marginaleffekter. 6 Skillnaden mellan OLS och de andra modellerna är för det mesta rätt liten. Tabell: Sannolikheten för att överleva Titanic (GME) (1) (2) (3) VARIABLER LOGIT PROBIT OLS Ln(biljettpris) 0.100*** 0.102*** 0.106*** (0.0128) (0.0130) (0.0137) Kvinna 0.374*** 0.392*** 0.491*** (0.0134) (0.0158) (0.0292) Ålder -0.00225** -0.00225** -0.00237** (0.000878) (0.000874) (0.000948) Observationer 1,037 1,037 1,037 Standardfel inom parenteser. OLS: Robusta standardfel. *** p<0.01, ** p<0.05, * p<0.1 6 Vid OLS så är regressionskoefficienterna samtidigt de genomsnittliga marginaleffekterna.
18.4 MAXIMUM LIKELIHOOD När du kör en logit eller probit så får du fram estimaten genom en metod som kallas för maximum likelihood. Vi kan också se detta i regressionsutskriften; programmet gör så kallade itereringar och beräknar varje gång fram något som kallas för en log-likelihood (se utskriften nedan). I det här fallet blev loglikelihooden -827,01596 i den sista itereringen. Den här siffran säger något om hur bra vår modell presterar. Ju närmare 0 vi kommer i den sista itereringen, desto bättre är biljettpriset på att prediktera vem som överlever och vem som dör. För att förstå vad detta handlar om så ska vi lära oss vad maximum likelihood-metoden går ut på. Vi ser detta bäst genom ett exempel: Säg att du jobbar på en bank och vill estimera sannolikheten för att en kund lyckas betala tillbaka ett lån i tid. För enkelhetens skull ska vi tänka oss att data bara täcker 4 personer varav 3 betalade tillbaka i tid: 1, 1, 1, 0 När vi använder maximum likelihood-estimatorn väljer vi det estimat för får parameter (p) som maximerar sannolikheten för att få det sampel som vi faktiskt fått. Låter det krångligt? Låt mig ta ett exempel. Anta att p = 0,5: Sannolikheten för att en kund betalar tillbaka i tid är 50 procent. Hur stor är då sannolikheten för att få det sampel som vi faktiskt har fått, dvs. först tre personer som betalade tillbaka i tid och sedan en som inte gjorde det? Jo, den sannolikheten är 6,25 procent: Pr(data p = 0,5) = 0,5 0,5 0,5 (1 0,5) = 0,0625
Eller anta att p = 0,6: Sannolikheten för att en kund betalar tillbaka i tid är 60 procent. Hur stor är då sannolikheten för att få det sampel som vi faktiskt har fått? Jo, den sannolikheten är 8,64 procent: Pr(data p = 0,6) = 0,6 0,6 0,6 (1 0,6) = 0,0864 Och om sannolikheten för att en kund betalar tillbaka i tid är p så blir sannolikheten: Pr(data p) = p p p (1 p) = p 3 (1 p) Frågan vi ställer oss: För vilket värde på p blir denna sannolikhet som allra störst? Jo, detta händer då p = 0,75. Vi kan se detta genom att derivera uttrycket ovan, sätta derivatan lika med 0 och lösa ut p. Men här är ett litet trick: Ibland är det lättare att först logaritmera ett uttryck innan man deriverar: ln(pr(data p)) = 3 ln(p) + ln(1 p) Man bryter inte mot några regler på det här sättet: Det värde på p som maximerar sannolikheten för data, är också det värde som maximerar den sannolikheten men mätt på en loggad skala. När vi kör en logit eller probit så är principen exakt densamma, bara att p i uttrycket ovan då är en funktion av våra oberoende variabler. Anta att vi vill estimera en logit där vi beskriver sannolikheten för att överleva Titanic (p) som en funktion av biljettpriset. Den logaritmerade sannolikheten för att få det datamaterial vi faktiskt har fått blir då: ln(pr(data p)) = [ln(p i ) över i + ln (1 p i )(1 över i )] där över är en binär variabel som antar värdet 1 för de som överlevde och annars värdet 0, och där: eβ 0+β 1 pris p i = 1 + e β 0+β 1 pris Vi ska alltså bestämma värdena för β 0 och β 1 så att den loggade sannolikheten blir så hög som möjligt, eller så att log-likelihoodfunktionen får ett så stort värde som möjligt. Det här är inget enkelt problem att lösa, inte ens för en dator. De facto måste datorn pröva sig fram på motsvarande sätt som vi prövade oss fram i bankexemplet genom att först sätta p = 0,5 och därefter p = 0,6. Datorn löser alltså problemet genom att använda en iterativ
metod och i varje iterering så kommer log-likelihooden lite närmare 0. I det här exemplet stannade vi slutligen på - 827,01596.