"!# " $ % &('*),+.-0/0%'&%3)5476 8 &(' 9;:<6=)?> +@),>BA % &C6D% &E>>):D4 F GIHJGLKMONQPRKTSVUXW Y[Z]\8 &4^>_\0%"à&b+ & c<d<daegfh jlkjkjmon5prq5ptsutjvwrt
Postadress: Matematsk statstk Matematska nsttutonen Stockholms unverstet 06 9 Stockholm Sverge Internet: http://www.matematk.su.se/matstat
!#" $% '&%(%(*)*+ /0 43536387,.- %7 97 :<;>=@?BADCFEHGI;J?K=@;FAMLON P =@? QSRTNUA5VFCWA5VWX ;>=YNU;Z=[V\V]A5R^L _[` a`cbedgfhjbmk\lm noo bmlqpsrutvtxw y{z} ~ z} Z z 6 ƒ J Z ˆ 5 }ŠŒ.ŠŽ v ' 9 H v 5.. ' 6 H ' 6 š4 ' 6 œšm 6 š ' ' # ž. 5 '. 5. 4 ' ŸU c 6š4š '. 5 8 Ž 6 4 j ˆ 5š#jY ' 6 ˆ 5 Œ. '.. O ' 6 š4 D ŠM K. 5 8 Ž. 6. j[ ˆ 6š#j j. 5 #ŠŽ T # 5 '. œ }Š8 Ž 'Ÿ š4 ' Ž 4 9 # 6 ' 6. 4 ' œ ª #Š8ŸH ŠŽ œÿ^ 6œ 5 «' 6 5 #ŠŽš 4 s #Š8 Tš4. Ž.ŠUŸ^ c 5š4š 6 x j ˆ S Ÿ^ Ž # ' 6.ŠŽ Š8 š 4 Ž 5š4 c c s.š8 # Ž. 6 9 # S c ž '.ŸUŠ s # '.. 6. 4Š± Ž ² 5 8ŠŽš 6 Š± eÿu c 6š4š 8Š8šq ³Y 6 5 #ŠŽ S µsš8 # TŠ8 8 Ž YŸ^ 5 Ž Ž ls ŠŽš4 6 4 O. 'Ÿ. '. # 5. 4 Ÿ ' ¹ 9 # 5 º[. MŠ8š4 ' '.ŸU 5 x x» 5 4 ' ± Ž Y¼] 6 6 ŠŽ 8 Ž ' Š.. 5 6 5 #Š Š8 Š8š4 5 Š # 6 Ž '. 6 Ž Š8. 6 ' ' ŠŽš 8ŠŽ 4Š8 š 6 @ #ŠŽŸI ˆ ' 8Š8. 4 v 5š. #ŠŽ 9 '.ŸUŠ # ' x Fµ[ 6. }ŠŽš4ŠŽ }ŠŽš ć I 4.. 6.ŠŽ 6 W½ ŠŽ 9 ¾Ž 5 O 6 5 HŠ8 š4 s 5 6 #Š8 ± ˆ 5š j j j ¾ 5 ± }Š ŠŽ 5 MÀ> } Ž. 5. v ' 9 8ŠŽ ŠŽ v 5š4 ŸU 8. 6. }ŠO 5. ¹š ¾Ž v S ŠŽš4Š8 # [ # š4š ŠŽ ŠÁ 6šš4 5 s * 5 jµ[ 6 š #Š8 # 5 ^. 8Ÿ^ ' sÿ^ 6 9 # 6 º[ 4 MŠŽš ' ' #Ÿ^ 5 K #k ³ kj kc. 6 º[ 4. 6ŠŽš4 Ž '. #Ÿ^ 5 ŸU 5 ¹š 4 Ž 6š c s #Š # Ž. 6 > c ¹ Ž '. 9 8ŠŽš 4 5 #Š8 >. '. # 5. 4 Ÿ ' 5 [ ' cšá 6. š Š M Ã. 6 O #¾8 5 K } 8 ŠÁŸ^ c 5š4š 6. Š. Š8 6 Ä}Å ÆŽÇ5ÈÉʃƎË*ÉË9Ì.Í ÎÏŽÇSÌЃÑÓÒ Ô\ÈqË9Î9Ð8Õ Ö Í *Î5ÍMØJÕDÐ ÙÚËÙ ÕDÌËSʃÛx܃ÇSÖYÕSÈ>ØZÝ5ÞSÚ߃Р٠Í
5 ƒz Ž Y ^ 6 v ' ^ 5. 6 4 v 5 ^ # S ' 6š ' Ÿ^ 6 U Ž Šž 6 6 U 6 ' 4 Ÿ^ c 5šY. š4 s '. 4 Œ 6 Ž. 6. 4 Ž x \ŠŽ OjU ' ' 5 KŠ 4 9 # '. Œ ' #š4 B Ž I 6 6. 5 '. \ŠŽ Oj j 5. 5. 4 v 5 Tš4 ' Ž 4 9 # Á. 6 Ž. 6. ' ~ 4. 6 Ž # c H Ž ª # U ' 6 5 #ŠŽš 5 6š4 6ŠŽ ¹Ÿ^ c 6šq Y U ŠŽš4 5 6 U Ž ª. Uš4 Ž 6š c c s%.š8. # 5 ± # K 4 Ž.ŸUŠ8. ' ž 6 # 5. 4ŠO 4 ¹ŸU 8 # s 8Š # 6 { ³Y 6 5 #ŠŽ S «µ@š8. 4 Œ Á. 6 «º[. «5. ' ls ŠŽš4 }Š8. 4 Ž œšž ^Šž. ' s 6. # 5. 4 Ž ~ ' #. 6 º[ 4. KŠŽš4 ' Ž.. Ÿ J» 6 ' ^ Ž ¼] 6 6 K Á. 5 #. 5 5 # O c ŸT v 6 Ž MŠ8. 6 ' Ž. 4 5 U 4 6Š8 # 5 ' '. MŠŽšª 8ŠŽ ŠŽ š 6 UŠ8 Ž ^ ŠŽ. 4ŠŽ š O. #ŠŽ 9 '.ŸUŠ8. 4 Ž x Y ŠŽ ŠŽšć. [ 8 \. 6 4 ŠŽš4 Y 4 [. 5. 6x Y ±ŠŽ v ' sÿu 5 # ' 5 4 MŠŽ sšž 4 \Š8 j j j ŠŽ š4 6. BŠK }Š8 #ŠŽ. S MÀZº[ 6. 6. v Ž. 8Š8. Š8 š4 Á 4 4 6Š8 # 5 ¹º[ S # 5 HŠKš ŠŽ ºªŠ8 ˆ 6 }Š8 4K ' s Ž 6 Y I 6. š # @ŠŽ. ¹ 6 'Ÿ^ }ŠŽ 6 º[ #. ±. 6 ºY 4. ;s*šžš ' ' # Ÿ k ³ kj Y T. 6 º[ 4. HŠŽš4 Ž '.. Ÿ º[. Bš4 Ž 6š4 c c s.š8. ^. 6. ŠŽ Œ 6 '. s 8Š8š4 4Š8 # 5. ' s 6. # 5. ' K. ƒº[ ' c câ v 5 ' Ÿ ŠŽ 6 8 W. ŠŽ 4š *é 'Ÿ. I v 6 9 Ÿ^ c 6šF 5 # Ÿ Š # 6 { ˆ 5 }ŠO #Š8 v ' # Ž ' ŸU. Š8ŸU 5 #Š8. v 5. ^!KŠ8 # 5Ÿ Š8. 4 Bkc Š # 4 9 # }¾Oprne j s Ž œ.¾ž kc. c D 'šÿ^ #"@ ' 6. # 5 6Àª c D ŠM c.š ŠŽ eÿu Ÿ Š8 ' 4 9 # 5.. 4š ~ ¾ Š # 6ŸUŠ8. 4. s% Š8 Š8š4 Ž '. Uš4 Ž kc # ' 9 F #ŠŽ # š4š%$@ 6š 6 }ŠY ' Z # Ž F #¾Žš Š8ŸU c ±. 4š4š& Y ŽŸ ŠŽ '$@ ' Žš4 ¹ }¾.kc # c s Žš4Ÿ^ "s ' 6.. 5 [ Ž Y 4 4 # 9 š4š{ }Š8 š4 5 p
Innehåll Inlednng... 4 Del I. Kredtvärderngens hstora... 5 Kredtmarknaden fram tll 950... 5 Statstsk kredtvärderng... 5 Del II. Teoretska resultat... 8 Logstsk regresson... 8 Den generalserade lnjära regressonsmodellen... Maxmum-lkelhoodmetoden... Maxmum-lkelhoodmetoden för logstsk regresson... 4 Defnton av lkelhoodfunktonen för den logstska regressonsmodellen... 4 Maxmerng av lkelhoodfunktonen för den logstska regressonsmodellen... 4 Asymptotska resultat för den logstska regressonsmodellen... 5 Lkelhood-ratotestet... 6 Modellval... 7 Stepwsealgortmen... 7 Informatonskrtera... 9 Informatonskrtera stepwsealgortmen... Modellvalderng... Korsvalderng... 4 Korsvalderng och stepwsealgortmen... 4 Resdualer... 4 Förbehandlng av kategoralvarabler... 6 WoE-kodnng... 7 Del III. Modellerngsexempel... 8 Databerednng... 8 Datakarakterstk... 8 Bevljnngsprocess... 9 Tllvägagångssätt vd betalnngsförsummelse... 30 Defnton av ett bra, dålgt samt obestämt kontrakt... 30 Tdga observatoner... 3 Lån avslutade av andra anlednngar än försummelse... 3 Sammanfattnng, uteslutna lån... 3 Identfkaton av felaktga data... 33 Hanterng av saknade data... 33 Förbehandlng av varabler... 34 Kategoralvarabler... 34 Intervallvarabler... 36 Modellerng... 37 Modellerngsresultat:... 37 Kontroller av modellen... 4 Orsaker tll lågt AR... 4 Studum av resdualer... 4 Modellvalderng... 43 Jämförelse med det generska scorekortet... 45 Appendx - Alternatva ansatser... 47 Ltteratur... 48 3
Inlednng Ordet kredt kommer från latnets credo, som betyder att tro. En långvare lånar ut pengar tll en låntagare tro att han kommer betala tllbaka lånet. Låntagaren betalar emellertd nte alltd tllbaka, så långvaren försöker därför uppskatta rsken av att låntagaren nte betalar tllbaka lånet nnan pengarna är utlånade. Långvaren bevljar endast lånet tll dem, som han tror kommer betala tllbaka tllräcklgt mycket av lånet för att han ska gå med vnst. Statstska modeller används fltgt nom fnanssektorn. Ett av tllämpnngsområdena är credt scorng, eller kredtvärderng. Kredtvärderng syftar tll att förutsäga sannolkheten att en klent kommer att betala tllbaka det lån han söker tll. Förbättrad kredtvärderng ger företaget högre nkomster för samma låneprodukt, eftersom företaget antngen kan acceptera fler ansöknngar med bbehållen rsknvå eller sänka förlusterna med bbehållen acceptatonsnvå. Företag med god kredtvärderng kan tllåta sg att erbjuda en enskld konsument lån med lägre ränta än konkurrenterna med samma vnstmargnal som konkurrenterna. På skt kan förbättrad kredtvärderng förväntas ge lägre ränta för konsumenten. 4
Del I. Kredtvärderngens hstora Kredtmarknaden fram tll 950 I början 800-talet var största delen av Sverges nvånare bönder. Banker bevljade endast lån tll välbärgade. Insttutonella lån från olka kassor, som fattgkassan eller kyrkokassan, förekom lten skala. 800-talets lantbrukare lånade mest nom socknen eller av den lokala lanthandlaren. Lantbrukarna brukade nte flytta och handlaren hade det svårt att vnna nya kunder utanför stt handelsområde, då vägar och kommunkatoner fungerade dålgt. När lantbrukarna behövde pengar tll utsäde på våren gav lanthandlaren eller en vän kredt. Efter skörden på hösten betalade man tllbaka, förutsatt att skörden blev den förväntade. Detta samarbete fungerade tack vare nskten om att man hade ett gemensamt hjälpbehov. Det var vanlgt att man både var gäldenär och borgenär på samma gång. Indrvnng skedde sällan. Handlarna och köpmännen bevljade nästan uteslutande kredt tll folk de kände väl. De hade förstahandsnformaton om sna kunders fnanser, och kunde vara säkra på vem som hade god rskprofl. När skörden slog fel, eller gäldenären dog, hände det dock ofta att handlaren gck konkurs. Från slutet av 800-talet tll 950, skedde en massv nflyttnng tll storstäderna. Andelen jordbrukare mnskade och andelen arbetare tllverknngsndustrn växte kraftgt. Sverge gck från att vara ett fattgt lantbruksland tll att bl ett välmående folkhem. 800-talets kredtmarknad var baserad på ömsesdgt beroende, god nskt låntagarens fnanser, säsongsbundna nkomster och på en geografskt begränsad marknad. I och med den stora nflyttnngen tll städerna och den ökade moblteten bröts som ndustralserngen nnebar slutade lånemodellen från 800-talet att fungera. Långvarens nsyn låntagarens ekonom var begränsad och nkomsterna var nte längre säsongsbundna. Under början av 900-talet var de vanlgaste kredtnsttutonerna pantbanken och den lokala lånehajen. Pantbanken gav lån mot säkerhet. Lantbrukarens höstskörd ersattes med slver, smycken eller andra ägodelar. Lånehajen lånade ut pengar utan säkerhet men tll hög ränta. Den som nte betalade kunde råka lla ut. Allt eftersom levnadsstandarden ökade Sverge, stadsbefolknngen stablserades och masstllverknngen tog fart, uppkom också en reguljär lånemarknad. Efter krget blev det vanlgare att ta amorterngslån för möbel- och fordonsnköp. Räntenvån för lån utan säkerhet var fortfarande hög. Statstsk kredtvärderng Grundaren tll statstskt baserad kredtvärderng USA anses vara Davd Durand. I sn artkel från 94, Rsk elements n consumer nstalment fnancng (Durand, 94) använde Durand dskrmnantanalys för att bedöma rsk för betalnngsförsummelse hos konsumentlån. 5
Dskrmnantanalysen hade utvecklats av Ronald Fsher fem år tdgare när han studerade karakterstska parametrar för olka typer av rs hos blommor och den geografska härkomsten för olka typer av kranum. Vd samma td hade postorderfrmor och fnansföretag problem med att bedöma låneansöknngar. Flertalet rskanalytker hade lämnat sna arbeten för att tjäna som soldater under andra världskrget. Det fanns nte tllräcklgt med folk som kunde bedöma betalnngsförmågan hos klenterna. Innan rskanalytkerna gck ut krget skrev de ned tumregler för kredtbedömnng. Dessa regler användes sedan av lekmän för att bevlja eller avvsa kredtansöknngar, och utgjorde ett av de första exemplen på ett expertsystem. 956 grundades det första konsultbolaget för rskvärderng av Bll Far och Earl Isaac, som sålde tumregler för kredtvärderng baserade på dskrmnantanalys tll postorder- och fnansföretag, så kallade scorekort. Förklarande parametrar dessa scorekort var t.ex. nkomst, ålder och utbldnng. Varje nvå hos respektve parameter hade ett Ronald Fsher 890-96 antal poäng, som representerade vkterna dskrmnantfunktonen. Poängen sammanräknades, och om poängsumman var högre än en bestämd konstant, en s.k. cut-off, var rsken för uteblven återbetalnng acceptabel och lånet bevljades. Tabell är ett exempel på ett scorekort. Enlgt detta scorekort får en 30-årg manlg akademker 50 poäng (0 för ålder, 30 för yrke och 0 för kön), vlket är mer än cut-off på 40 poäng. Hans låneansökan blr sålunda bevljad. En 0-årg kvnnlg försäljare får enlgt samma tabell 5 poäng. Hennes ansökan blr avvsad. Statstska scorekort ersatte rskbedömnngen som långvaren tdgare var utförde med hjälp av stt goda omdöme. Rskanalyser massproducerades och antalet försummade lån sjönk med 50% tll följd av den förbättrade kvalteten på rskanalysen, som scorekorten medförde. Räntenvån sänktes med p.g.a. den lägre rsknvån. Tabell. Exempel på ett scorekort Kredtbyråer var den andra nödvändga förutsättnngen för att man den ndustralserade världen skulle kunna erhålla samma nformaton som handelsmannen byn tdgare hade tllgänglg för att bedöma om han skulle låna ut pengar tll en kund eller ej. Det fanns gott om kunder som nte betalade tllbaka sna lån. Dessa kunde ta lån olka banker, utan att betala tllbaka. Tdgt uppkom en nskt om att kredtnsttutonerna hade ett gemensamt ntresse av att dela med sg nformaton om dålga och bra kunder. De första större kredtregstren uppkom USA på 960-talet. De utgjorde en lösnng som koperade den lokala handelsmannens nformaton om bynnevånarna. Kredtregstren var den moderna världens svar på byskvallret. Personer som nte betalade tllbaka stt lån regstrerades Blden på Ronald Fsher är hämtad från: http://en.wkpeda.org/wk/image:ronaldfsher.jpg 6
kredtregstret. När samma person sökte stt nästa lån kunde lånensttutonen begära ut en regsterutskrft som vsade att kunden hade försummat att betala stt tdgare lån. En sådan person fck det svårt att få stt nästa lån bevljat. Å andra sdan var det lättare att få lån om man betalat sna tdgare lån utan dröjsmål. På 80-talet snabbades kredtbedömnngsprocessen upp med datorernas ntrång. Scorekort automatserades och kunden kunde omedelbart få besked om huruvda hans lån var bevljat eller ej. Dskrmnantanalysen byttes ut mot den något robustare men mer beräknngsntensva logstska regressonsmodellen, vlken utgör fokus för denna rapport. Det tog det ndustralserade samhället ett sekel att ersätta bygemenskapens och den lokala köpmannens roll det agrara samhället. 7
Del II. Teoretska resultat I denna del vsar v teoretska resultat, för den logstska regressonsmodellen. Logstsk regresson används för att förutsäga en händelse, t.ex. att klenten nte betalar tllbaka stt lån td. V går genom teorn den logstska regressonsmodellen som ett specalfall av den generalserade lnjära modellen. Vdare dskuteras verktyg, som används tllsammans med den logstsk regresson: modellval, korsvalderng, resdualer samt förbehandlng av kategoralvarabler. Särsklt nrktar v oss på modferngar av stepwsealgortmen SAS. Verktygen från Del II används sedan Del III för att utveckla en kredtvärderngsmodell på ett dataset med nformaton om personlån. Logstsk regresson Logstsk regresson använder sg lkhet med lnjär regresson av tränngsdata, X, som beskrver omständgheterna för ett antal händelser Y. X och Y nnehåller observatoner av ett antal varabler. Varablerna X kallas för förklarande varabler eller parametrar och varabeln Y kallas för responsvarabel. Utfrån X och Y försöker v konstruera en modell, som gör en kvalfcerad gssnng av sannolkheten för att en ny händelse nträffar, gvet specfka värden på de förklarande varablerna. De förklarande parametrarna X kan exempelvs nnehålla parametrar rörande en låneansökan, som yrke, ålder och nkomst, och responsvarabeln Y kan anta värdet om lånet avslutats p.g.a. betalnngsförsummelse och 0 annars. V söker att så bra som möjlgt förutsäga sannolkheten för att responsvarabeln antar värdet, gvet några värden de förklarande varablerna. Formellt har v en ( n k) datamatrs X, och en ( ) n kolumnvektor Y. X nnehåller k parametrar och n oberoende observatoner av dessa parametrar. Y nnehåller n oberoende observatoner av utfallet från en stokastsk varabel. Mot observaton nummer svarar en rad X, kallad X och en observaton y Y. V kommer att koncentrera oss på att fnna sannolkheten p för en händelse Y = y, n, y { 0,}, gvet en stuaton, som beskrvs av parametrarna radvektorn X. V söker med andra ord fnna: Y y ( y ) ( ) ( ) E( ) p Y = y X, där p p Be p, och Y är oberoende, gvet X. (). Från Bernoullfördelnngen har v att ( ) Var Y = p ( p ). 8
En nav ansats för att försöka förutsäga där ( ) p p är en lnjär regressonsmodell: = X β, (),..., T β β β k är en kolumnvektor med k parametrar. Det gäller således att () kan skrvas som p β X,+ β X, +... + βkx, k, där X, j anger värdet för rad, kolumn j X. Ansats () har dock den kontrantutva egenskapen, att för stora, eller små värden på X, kan det hända att skattnngen p ˆ är större än ett eller mndre än noll, vlket borde vara omöjlgt. V försöker stället fnna en länkfunkton g, sådan att det aldrg kan nträffa att p < 0 eller p >, oavsett hur stora eller små värdena X är. V ändrar således () tll: ( ) g p = X β Tre funktoner används ofta som länkfunkton g : p. Logtfunktonen, logt( p ) ln, (3) p. Komplementära log-logfunktonen, ln( ln( )) 3. Inversen tll fördelnngsfunktonen (kvantlfunktonen) för normalfördelnngen med µ = 0 och σ =: probt( p ) Φ ( p ), För alla dessa funktoner gäller att dess nvers ( ) p g β p g har värdemängden ( 0, ). Då = X, kan stuatonen att p < 0 eller p > aldrg nfnna sg. V väljer logtfunktonen (3) ovan som länkfunkton. Logtfunktonen (3) har följande önskvärda egenskaper: P(händelse) Oddsfunktonen kan tolkas som P(ngen händelse) Logtfunktonen är symmetrsk: modellen för P(händelse) är ekvvalent med modellen för P(ngen händelse) med omvänt tecken påβ Koeffcenternaβ betecknar hur log-oddset förändras när parametrarna X ökar med ett. Summan av alla resdualer för en modell med ntercept är noll. 3 Valet av länkfunkton kan göras mer komplcerat, se Fahrmer och Tutz (00) för en ntrodukton. 3 Gäller för alla generalserade lnjära modeller med ntercept och kanonsk länkfunkton, se Woods (006). 9
V är ntresserade av att ha ett ntercept modellen, så v låter alltd fortsättnngsvs kolumn X, bara nnehålla :or, d.v.s. p = β+ β X, +... + β X,. k k Den logstska regressonsmodellen v kommer arbeta fortsättnngen med har således följande form: p T ln = Xβ, p E( Y ), Y Be( p ), Y oberoende gvet X, β { β,..., βk} (4) p Det följer att exp( Xβ ) p = g ( Xβ ) = =. (5) + exp( Xβ ) + exp( Xβ ) Efter att ha skattat β kan v från (5) skatta p gvet Oddsfunktonen, logtfunktonen och den nversa logtfunktonen vsas Fgur a, b och c nedan. X. p Fgur a. Oddsfunktonen:. p Fgur b. Logtfunktonen: ln p. p odds l 0 9 8 7 6 5 4 3 0 0. 0. 0.3 0.4 0.5 0.6 0.7 0.8 0.9 p odds l 6 4 0 0 0. 0. 0.3 0.4 0.5 0.6 0.7 0.8 0.9 - -4-6 p 0
Fgur c. Inversa logtfunktonen: p = g ( X β ) p 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0. 0. 0-5.0-4. -3. -.3 -.4-0.5 0.4 X*Beta.3. 3. 4.0 4.9 Värt att nämnas är att varansen den lnjära regressonsmodellen är konstant för alla observatoner, medan varansen för den logstska regressonsmodellen (), p ( p ) mnskar med avståndet från p=0,5. Den generalserade lnjära regressonsmodellen Den logstska regressonsmodellen är ett specalfall av den generalserade lnjära regressonsmodellen: där µ E( Y ), Y är oberoende stokastska varabler, gvet Y { y } g ( µ ) = X β, n, (6) exp θ b( θ ) /a( φ) + c( y, φ), vlket betecknar den kanonska formen för den exponentella famljen. Denna famlj nnehåller många kända fördelnngar som bland annat normal-, bnomal-, posson- och gamma-fördelnngarna. θ kallas för den kanonska parametern. β är en kolumnvektor {,..., T β β k} med k okända parametrar, g är en monoton kontnuerlgt dfferenterbar funkton. g kallas för länkfunkton. För den generalserade lnjära modellen gäller följande resultat för väntevärde och varans: E( Y ) µ = b ( ) θ X., Var( Y ) b ( θ )a( φ) =. (7) V motverar nedan att den logstska regressonsmodellen (4) uppfyller vllkoren för generalserad lnjär modell enlgt (6) ovan.
Först vsas att Bernoullfördelnngen () och (4) är tllhör den exponentella famljen: y ( ) ( ) ( ) y exp ln( y p p ( ) y = p p = exp[ y ln( p ) + ( y ) ln( p )] p = exp y ln + ln( p ) = exp { yθ b( θ )} / a( φ ) + c( y, φ ), p p θ θ ln logt ( p), b( θ ) ln( + e ), a( φ )=, c( y, φ ) 0. p Logtfunktonen (3) uppfyller vllkoret för monotonctet och derverbarhet (6). Monotonctet följer från att oddsfunktonen och logartmfunktonen båda är monotont växande. Kontnuerlg derverbarhet får v från faktumet att dervatan av ln ( x) är x och att oddsfunktonen aldrg antar värdet 0. Från (7) har v de kända resultaten att b ( θ ) = µ = p och b ( θ ) = Var( Y ) = p ( p ). (9) En annan akttagelse är att den kanonska parametern θ (8) är ekvvalent med länkfunktonen g. I dessa fall kallas länkfunktonen g för kanonsk länkfunkton. Logtfunktonen (3) är således den kanonska länkfunktonen tll Bernoullfördelnngen. (8) Maxmum-lkelhoodmetoden I vår modell (4) är parametrarnaβ nte kända. Dessa parametrar måste således skattas, för att v ska kunna beräkna skattnngen av sannolkheten pˆ P ( Y =) från nversen tll den kanonska länkfunktonen (5). V kallar skattnngen tll β för ˆβ. Nedan vsas några olka skattnngsmetoder och ansatser för att fnna ˆβ : Maxmum-lkelhoodmetoden, Mnsta kvadratmetoden, Bayes-skattnngar, Momentmetoden, MCMC-skattnngar, Bootstrappng, Rao-Blackwell skattnngar. V kommer att använda oss av maxmum-lkelhoodmetoden som skattnngsmetod för ˆβ. V defnerar lkelhoodfunktonen L, som följande funkton: ( ) ( ) ( ), L L θ L θ y f θ y (0)
T T där n, L : Θ R, θ= { θ,..., θk} Θ, y = { y,..., yn}, Y fθ( y). V kallar funktonen L( θ y ) för lkelhoodfunkton, eftersom den är defnerad på parameterrummet Θ, tll skllnad från fördelnngsfunktonen f θ ( y ) som är defnerad på mängden av alla utfall y från den stokastska varabelvektorn Y. θ är en parameter och nte en stokastsk varabel. V kommer fortsättnngen omväxlande att beteckna lkelhoodfunktonen som L, L( θ) eller L( θ y ). Maxmum-lkelhoodmetoden söker fnna den skattnng ˆθ, som maxmerar lkelhoodfunktonen: ( ) ˆ ˆ ˆ L θ y L θ y, θ Θ Det kan vsas att maxmum-lkelhoodskattnngen (ML-skattnngen) är nvarant: om ˆθ är en ML-skattnng, så är ˆ γ g( ˆ θ) också en ML-skattnng. () Egenskapen () ger oss genom nversen tll länkfunktonen (5) att p ˆ är en MLskattnng, om ˆβ är en ML-skattnng. Vdare kan man för ML-skattnngar under mlda vllkor för den generalserade lnjära modellen vsa 4, att om: (). log-lkelhood funktonen, ln(l) är två gånger derverbar och. I 0, I( θ) ln E θ ( L). I( θ ) kallas för Fshers nformatonsmatrs, så gäller att ˆθ är en asymptotskt optmal skattnng följande bemärkelse:. ˆθ är asymptotskt konsstent: Om θ ˆ n är baserad på n observatoner y,..., y och θ 0 är det sanna värdet av θ, så gäller att lm P ˆ ( n 0 < ε) n N (, I θ0 θ ) θ θ, för alla postva ε, (3). ˆθ är asymptotskt ( ), där ( ) I θ är Fshers nformatonsmatrs. (4) 3. ˆθ är asymptotskt effektv: ngen estmator har asymptotskt lägre varans än maxmumlkelhoodskattnngen ˆθ. (5) Ovanstående egenskaper gör Maxmum-lkelhoodmetoden tll en lämplg skattnngsmetod för den logstska regressonsmodellen. n 4 Vllkoren gäller för alla normala modeller, förutsatt att antalet förklarande varabler X nte växer för fort med antalet observatoner n. Se Fahrmer och Tutz (00) för en utförlgare dskusson. 3
ˆθ kan vanlgtvs nte uttryckas analytskt, utan får uppskattas med hjälp av numerska metoder. Maxmum-lkelhoodmetoden för logstsk regresson Maxmum-lkelhoodmetoden för att skatta β (4) kan delas upp två steg:. Defnton av lkelhoodfunktonen. Beräknng av det ˆ β som maxmerar lkelhoodfunktonen V avslutar kaptlet med att beskrva de asymptotska resultaten (3), (4) och (5) för den logstska regressonsmodellen (4). Defnton av lkelhoodfunktonen för den logstska regressonsmodellen Låt oss börja med att defnera lkelhoodfunktonen för β den logstska regressonsmodellen (4). V har från (4) att Y Be( p ), Y oberoende. V söker således maxmum för: ( β) ( β y ) = ( y) L L L f β = y n n y ( y ) p p ( p ) = ( p) = = p, (6) där den första lkheten följer från (0), och den andra lkheten följer från att Y är oberoende. V utnyttjar att max ( ) = max( ln( )) L L och väljer att maxmera p ln ln ln = p = n n ( L( β y n n )) = y + ( p) = ln ( X ) y β + e β där den ssta lkheten följer från logtfunktonen (4). X, (7) = = Maxmerng av lkelhoodfunktonen för den logstska regressonsmodellen Olka metoder kan användas för att fnna maxmum av en funkton. En vanlg metod är att sätta de partella dervatorna för varje parameter β tll noll, och sedan lösa ut värdet förβ teratvt. Komponent j vektorn av de partella dervatorna tll ln(l) är: ( L) n n n ln = yx, j X, j = X, j( y p) J j( β), j k. β + j Xβ = = ( e ) = där X, j betecknar värdet för rad, kolumn j modellmatrsen X. Den första lkheten är dervatan av (7). Den andra lkheten följer från (5). V får att: 4
ln ( L) β T X ( Y - P ) J( β), P ( ) =,..., T p p n Då β är en vektor med k parametrar har v således k ekvatoner att lösa. β varerar cke-lnjärt med X och Y, och går ej att lösa ut analytskt, tll skllnad från normalekvatonerna lnjär regresson. V använder oss stället av numerska metoder för att fnna maxmum av lkelhoodfunktonen (6). En vanlg metod för att fnna maxmum av lkelhoodfunktonen kallas för Fsher scorng. Fsher scorng är dentsk med Newton-Raphson algortmen för bnär respons och logtfunktonen som länkfunkton, dvs den typ av logstsk regresson som v behandlar denna rapport. V beskrver Newton-Raphson algortmen nedan. Alogrtmen uppdaterar skattnngen ˆβ teratvt enlgt nedan: där I är Fshers nformatonsmatrs från (). ( ) J( ) ˆ ˆ ˆ ˆ j j I j j β = β + β β, Som ntalskattnng algortmen sätter v 0 ˆβ = 0. I SAS anses algortmen konvergerat, när T ( ˆ β ) ( ˆ ) ( ˆ j β j β j) 6 ln L( ˆ β j) + 0 J I J ( ) < 0 8 Den konvergerade skattnngen är vår ML-skattnng avβ. Låt oss beteckna den med ML ˆβ. Asymptotska resultat för den logstska regressonsmodellen Man kan vsa att vllkoren () är uppfyllda för den logstska regressonsmodellen. 5 Nedan sksseras bevset. V börjar med att vsa att ln(l) (7) är två gånger derverbar: ( L) J( β) Xβ T Xβ ( ( e ) ) ( e ) ln T X Y - X = = + = + = β β β β ( ( Xβ Xβ e ) )( e ) ( ) Var ( Y ) + = X T X T X T P P X = X T X T ( ) Var( ) T I β = X Y X X VX (8) 5 Se Fahrmer och Tutz (00) 5
där (,..., T Y Y Y n ). Då Y Y är oberoende gäller att Var( ) V, = Var( Y) = p( p) I( β) 0 om nte Y V är en dagonalmatrs med. Log-lkelhood funktonen är således två gånger derverbar. p =0 eller p = för alla. Resultaten (3), (4) och (5) är således tllämpbara. V sammanfattar med att ML ˆβ för den logstska regressonsmodellen är asymptotskt väntevärdesrktg, effektv och normalfördelad med ( ) ˆβ ( T ) ML N β, X VX (9) De asymptotska resultaten ovan nnebär att v för stora n kan skatta konfdensntervall förβ och följdaktlgen även för p =. Dessa konfdensntervall är dock nte + exp( X β ) effektva om v nte vårt n är stort. Test baserade på normalfördelnngen (9) kallas för Wald-test och kan även användas för sgnfkanstest och konfdensntervall av ensklda parameterskattnngar ˆβ. Lkelhood-ratotestet Ofta vll v testa om en modell blr bättre och med att v lägger tll en parameter. Tll det kan v använda oss av konfdensntervallen Wald-testet ovan. I ltteraturen föredras dock ett annat test framför Wald-testet (se Hosmer och Lemeshow (000)). Detta test kallas för Lkelhood-ratotestet och beskrvs nedan. Antag att v vll testa hypotesen H : g( µ ) = X β 0 0 0 mot hypotesen H : g( µ ) = Xβ, där H0 och H beskrver två generalserade lnjära modeller (6), µ är väntevärdesvektorn för en responsvektor Y, och där 0 och vlka gäller att X0 X. ˆ ( ) Låt vdare ln L( β0) och ( ˆ ) n m 0 X X är två ( ) resp ( ) ( ) från föregående kaptel. Om H0 är sann, så gäller att: n m modellmatrser för ln L β vara de ML-maxmerade log-lkelhood funktonerna ( L( ˆ )) L( ˆ ) ( ) λ ln β ln β χm m 0, 0 0. (0) 6
V kan således testa om någon parameterβ a β är noll genom att defneraβ 0 som parametervektorn β utan denna parameter. Det är värt att notera att (0) kan skrvas som ett uttryck nnehållande kvoten mellan ˆ L ˆ β : L( β ) och ( 0) ( ˆ β0) ( ˆ β) L λ0, ln ( Λ), Λ, L därav namnet lkelhood-ratotestet. λ0, är således stor, när kvoten Λ är lten. I den logstska regressonsmodellen använder v log-lkelhooden från (7) tll detta test. Modellval Modellval utförs för att undvka att brusvarabler kommer n modellen och försvagar dess predktva förmåga. Frågan är vlka varabler som ska väljas tll modellen. Antalet möjlga varabelkombnatoner växer fort. För ett dataset med 50 varabler är antalet möjlga modeller 50 50 50 5 = = 0. Det är omöjlgt att undersöka alla dessa modeller, så ett alternatvt = tllvägagångssätt krävs. V kommer att använda oss av en metod för modellval, som kallas för stepwse selecton eller stepwsealgortmen. Denna metod kan också lätt ta med brusvarabler, vlket gäller för alla metoder för modellval som fnns tllgänglga SAS. Det gäller även att p-värdena för varablerna nte är exakta, utan endast anger den relatva vkten hos en varabel jämfört med de andra varablerna. I Del III förbehandlar v de förklarande varablerna och använder oss av stepwsealgortmen med lkelhood-ratotestet och korsvalderng för att mnska rsken för att brusvarabler kommer med den slutlga modellen. Stepwsealgortmen 6 Detta avsntt sksserar stepwsealgortmen som en metod för modellval. Stepwsealgortmen: Antag att v har en generalserad regressonsmodell med en modellmatrs X, där v lagt tll en parameter som antar värdet för alla observatoner. Låt parametervektorn tll X varaβ. Defnera ˆr β, som en parametervekor vd teratonssteg r, med ensklda ˆ( j ) ˆ( j ) parameterskattngar β, där j anger att β nkluderades ˆr β vd teratonssteget j, j r. Antalet parametrar ˆr β är mndre än eller lka med r. Exempelvs kan 6 Se Hosmer och Lemeshow (000) för en utförlgare dskusson 7
( ) ( ) ( 4) ( ) v ha att ˆ β ˆ β, ˆ β,0, ˆ β,0,0 T, där 4 ( ) β ι betecknar nterceptet och X har sex förklarande varabler. ˆ β + β ˆ som parametervekorn ˆr β utvdgad med en unvarat Defnera ( r ) 4 ( ) varabel nummer 3 X, så har v att ( ˆ ( ) ( 4) ( ) β ˆ 4 β ) ( ˆ β ˆ β ˆ β ˆ β ) ( ) Defnera ( ˆ β ˆ j r β ) som parametervektorn ˆr β med sn komponent ( ) satt tll noll. Exempel: ( ˆ ( ) ( 4) β4 ˆ β ) ( ˆ β, ˆ β,0,0,0,0) T, 4 parameterskattnng ˆβ ( ) ( 4) ( ). Exempel: om ˆ β ˆ β, ˆ β,0, ˆ β,0,0 T, och ˆβ skattar +,,,,0,0 T. ˆ j ( ) ˆβ enlgt ovan. β, j r Låt B r beteckna mängden av alla varabelnamn X, som nte skattas ˆr β. Exempel: om X nnehåller observatoner för varablerna ntercept, nkomst, utbldnng och anställnngstd, och ˆr β nnehåller skattnngar för ntercept och anställnngstd är r {'nkomst', 'utbldnng'} Låt p P χ ( m m ) λ B, ( ) >, beteckna p-värdet för lkelhood-ratotestet b, a b a a, b ( ) ( ) (0) mellan ln L( ˆ β a) och ln ( ˆ b) parametrar ˆa β och ˆb β. Inför två stoppkrtera: ( 0,) Inttalsteg: Låt r=, ˆ β ( ι ) att fnna ML skattnngen för nterceptet. L β, där ˆ β ˆ β och α och δ [ α,) a b ma och m b är antalet,0,...,0 T, där ι betecknar nterceptet. V börjar således med Addtonssteg - utvdga modellen med den mest sgnfkanta varabeln med p<α :. Beräkna ˆtmp ˆ β + β ˆ, och därefter p tmp, r för alla unvarata skattnngar ˆβ tll β =( r ) varablerna B. r. Låt ˆadd β vara den parameterskattnng ˆtmp β, som fck lägst p ˆtmp, r. () 3. Stoppkrterum: Om sätt ˆr β + ˆadd β. Låt ˆ βr + p ˆadd, r <α, () ˆ β annars. Låt r r+. r Subtraktonssteg - reducera modellen med den mnst sgnfkanta varabeln med p<δ :. Beräkna ˆtmp β =( ˆ β ˆ r β ) komponenterna ˆr β., och därefter p r, tmp för alla unvarata skattnngar ˆβ av ˆ r tmp. Låt ˆdel β vara den parameterskattnng ˆtmp β, som fck lägst p,. (3) 3. Stoppkrterum: Om 8
sätt ˆr β + ˆdel β. Låt ˆ βr + p ˆr, del <δ, (4) ˆ β annars. Låt r r+. r Algortmen har konvergerat när nga fler varabler läggs tll eller tas bort från modellen, dvs när: ˆ β = ˆ β ˆ = β. (5) r r r Förenklng: Om alla parametrar β har samma antal frhetsgrader, så gäller att den parameter som har högst, () ersättas med: *** ( ) p ˆ r+ r, alltd har högst ln ( ˆ r ) L β + (se (0)). I detta fall kan således Låt ˆadd β vara den parameterskattnng ˆtmp β som fck högst ln( L ). (6) (6) gäller analogt för ˆdel β (3). SAS använder sg av ett annat test än lkelhood-ratotestet (0) för beräknng av p ˆtmp, r addtonssteget (). Detta test kallas för scoretest och är baserat på dervator av loglkelhooden 7. Testet subtraktonssteget (3) är baserat på Wald-testet (9). Hosmer och Lemeshow (000) nämner att lkelhood-ratotestet för () och (4) har bättre statstska egenskaper och är att föredra stepwsealgortmen framför testen SAS. V kommer att jämföra stepwsealgortmen SAS mot den lkelhood-rato baserade stepwsealgortmen. Hosmer och Lemeshow (000) rekommenderar vdare 0.5-0.0 som lämplgt värde på α och δ. V kommer att dskutera denna rekommendaton avsnttet Informatonskrtera och stepwsealgortmen. I kaptlet Korsvalderng presenterar v ett alternatvt stoppkrterum. Låt oss fortsätta med att presentera ett alternatv tll lkelhood-ratotestet (0), som belyser svårgheten att välja lämplga värden på α och δ stepwsealgortmen. Informatonskrtera När v söker fnna den bästa modellen, kan det vara användbart att ha ett mått på hur bra ett antal modeller är, utan att kräva att de är herarkskt ordade, begränsnngar som det lkelhood-rato baserade testet (0) medför. V kallar sådana mått för nformatonskrtera. V kommer nästa avsntt vsa hur nformatonskrtera är relevanta för lkelhoodratotestet. Akakes nformatonskrterum (AIC) är det mest kända nformatonskrteret. AIC söker skatta ln ( L( β µ )), µ E[ Y], stället för ( ( )) ln L β y, (0). 7 Se SAS Insttute Inc (999), kaptel 39. 9