Statistisk analys av komplexa data

Transkript

1 Statistisk analys av komplexa data Kategoriska data Bertil Wegmann Avdelning statistik, IDA, Linköpings universitet November 18, 2016 Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

2 Översikt kategoriska data Kategoriska data oordnade data (nominal) ja eller nej, vilken yrkesgrupp en individ tillhör, en kunds val av tvättmedel ordnade data (ordinal) betyg, preferenser för olika frågor Korstabeller: goodness-of-t test för att testa om samband föreligger mellan variabler som antar olika kategorier Multinomialfördelning: generalisering av binomialfördelning Qualitative response (QR) models: beroende variabeln i en regressionsmodell antar diskreta utfall. Logit och probit modeller: binär beroende variabel Multinomial logit modell: beroende variabeln antar era oordnade kategorier Ordnad logit modell: beroende variabeln antar era ordnade kategorier Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

3 Oordnade data (nominal) Försäljning av ett samlarmynt på en auktion: försäljning sker om det högsta budet blir högre än säljarens hemliga reservationspris. Kodas med värdet 1 vid försäljning och 0 vid ingen försäljning. Frågeställning: hur påverkas sannolikheten för försäljning av specika auktionsegenskaper? Yrkesgrupp för ett urval av alumnistudenter vid LIU. Låt 0 vara revisor, 1 ingenjör, 2 advokat, 3 politiker, o.s.v. Frågeställning: vad är sannolikheten för ett visst antal LIU-studenter i respektive yrkesgrupp utifrån skattade proportioner av alumnistudenter i varje yrkesgrupp från tidigare undersökningar? Konsumenters val av tandkräm i en livsmedelsbutik en viss dag. Frågeställning: vad beror val av tandkräm på? Ålder? Kön? Utbildning? Lön? TV-tittande? Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

4 Ordnade data (ordinal) Inställning om en utbyggnad av kommunens tennishall. Låt 5 vara mycket positiv, 4 positiv, 3 neutral, 2 negativ, 1 mycket negativ. Inställningarna kan rankas gentemot varandra, men skillnaderna mellan nivåerna behöver inte vara samma. Frågeställning: kan grad av inställning förklaras med hjälp av andra variabler? Betyg på en kurs. Kategorierna VG, G och U kan kodas till numeriska värden och rankas gentemot varandra. Frågeställning: vad beror betyget på en kurs av? Tidigare kursbetyg? Förkunskaper? Intelligens? Ålder? Akademisk ålder? Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

5 Korstabeller - goodness-of-t test (nominal el. ordinal) Exempel: test av nollhypotes om inget samband mellan kön och ygplansreservationer. Kvinna Man TOTALT Resebyrå Internet Telefon TOTALT Urvalet om n st. individer har kors-klassicerats inom r = 3 st. olika kategorier av ygplansreservationer och k = 2 kategorier för kön. Under nollhypotesen förväntar vi oss inget samband mellan dessa egenskaper. Antalet förväntade observationer i varje cell (i, j) under nollhypotesen ges av E ij = R ik j n, där R i och K j är antalet observationer i respektive i:te rad och j:te kolumn. Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

6 Korstabeller - goodness-of-t test forts. Ett goodness-of-t test ger att nollhypotesen förkastas om r k i=1 j=1 (O ij E ij ) 2 E ij > χ 2 (r 1)(k 1),α där O ij är den observerade frekvensen i cell (i, j). Enligt data från tabellen förkastas nollhypotesen på alla rimliga signikansnivåer, eftersom χ 2 obs = 26.8 > χ2 (3 1)(2 1),0.005 = Alltså nns det stöd i data att kön och ygplansreservationer är associerade med varandra. Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

7 Multinomialfördelningen Generaliserar binomialfördelningen för 2 st. kategorier till k > 2 st. kategorier. Exempel: vad är sannolikheten för att (x 1, x 2,..., x k ) st. tvättmedelsförpackningar köps utav n = x 1 + x x k st. kunder i en butik en viss månad? Om man känner till sannolikheterna (p 1, p 2,..., p k ) för att en kund väljer respektive tvättmedel av totalt k st. olika tvättmedel, så ges sannolikheten från multinomialfördelningen som ( ) n P(x 1, x 2,..., x k ) = p x 1 1 x 1, x 2,..., x px 2 2 px k k k Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

8 Regressionsmodell för binära val Den beroende variabeln Y är binär, d.v.s. antingen är Y = 0 eller Y = 1. Vi vill förklara hur det förväntade värdet på Y beror på olika förklaringsvariabler i en regressionsmodell. Det förväntade värdet för Y är E [Y ] = P(Y = 1). Exempel: hur påverkas sannolikheten för försäljning, P(Y = 1), av specika auktionsegenskaper? Vi vill alltså förklara sannolikheten för den ena kategorin utifrån förklaringsvariablerna i regressionsmodellen. Detta kan uppnås med hjälp av olika funktioner, F (βx ), av parametervektorn β = (β 0, β 1, β 2,..., β k ) till vektorn med förklaringsvariabler x = (1, x 1, x 2,..., x k ), d.v.s. P(Y = 1) = F (βx ) Linjär regressionsmodell, F (βx ) = βx, är inte lämplig för detta ändamål, eftersom det måste gälla att 0 βx 1. Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

9 Probit och logit modellerna Normalfördelningen ger upphov till probit modellen där P(Y = 1) = βx φ(t) dt = Φ(βx ), där Φ( ) är fördelningsfunktionen för standard normalfördelningen. Logit modellen kommer från log-oddset ) som linjär ) funktion av förklaringsvariablerna, ln = ln = βx, vilket ger ( P(Y =1) P(Y =0) P(Y = 1) = ( P(Y =1) 1 P(Y =1) e βx = Λ(βx ), 1 + e βx där Λ( ) är den logistiska fördelningsfunktionen. Den logistiska fördelningsfunktionen liknar fördelningsfunktionen för standard normalfördelningen, förutom i svansarna nära sannolikheterna 0 och 1 där den är tjockare. Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

10 Marginella eekten från förklaringsvariablerna I logit modellen är den marginella eekten på log-oddset β j från respektive förklaringsvariabel x j, givet att (x 1,..., x j 1, x j+1,..., x k ) hålls konstanta. Marginell eekt på log-oddset är svårtolkat! Vad är den marginella eekten på P(Y = 1) = E [y]? Generellt, Logit modellen: E [y] x j = Probit modellen: E [y] x j = { dλ (βx } ) d (βx β j = ) E [y] x j = { df (βx } ) d (βx β j = f ( βx ) β j ) e βx ( 1 + e βx ) 2 β j = Λ(βx ) ( 1 Λ(βx ) ) β j { dφ (βx } ) d (βx β j = φ ( βx ) β j ) Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

11 Maximum likelihood estimation i binära valmodeller iid Y i Bernoulli (P(Yi = 1) = F (βx )). Likelihoodfunktionen ges som i [ P (Y 1 = y 1, Y 2 = y 2,..., Y n = y n ) = 1 F (βx )] i F (βx ) i y i =0 y i =1 = n i=1 Log Likelihoodfunktionen blir då ln L = [ F (βx i )] y i [ 1 F (βx i )] 1 y i n [ yi ln F (βx ) + i (1 y i) ln ( 1 F (βx ))] i i=1 Maximum likelihood skattningen fås genom att maximera log-likelihooden numeriskt. Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

12 Exempel: skattning av logit och probit modellerna Spector och Mazzeo (1980) analyserade eekten av en ny undervisningsmetod i nationalekonomi. Datamaterialet bestod av beroende variabel GRADE, en indikator med värdet 1 om studentens betyg förbättrades och 0 annars. förklaringsvariabel GPA: genomsnittsbetyg för varje individ i urvalet. förklaringsvariabel TUCE: poäng på ett test om förkunskaper. förklaringsvariabel PSI antar värdet 1 om den nya undervisningsmetoden användes och 0 annars. Skattning av probit och logit modellerna kan utföras m.h.a. statistiska programvaran R: mylogit<-glm(grade~gpa+tuce+psi,family="binomial") summary(mylogit) myp<-glm(grade~gpa+tuce+psi,family="binomial"(link="probit")) summary(myp) Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

13 Hypotestest av koecienter i probit och logit modellerna z-test för att testa om varje koecient för sig är skild från noll, koecienternas skattade standardavvikelser ges från asymptotiska kovariansmatrisen. Wald test kan användas för mera komplicerade restriktioner på formen H 0 : Rβ = q med Walds teststatistika (appr. χ 2 fördelad med antalet restriktioner som f.g. under nollhypotesen.) W = ( R ˆβ q ) { R ( S [ ˆβ ]) R } 1 ( R ˆβ q ), där S [ ˆβ ] är den skattade kovariansmatrisen för skattningarna ˆβ. Följande denitioner gäller för Walds teststatistika: r 10 r 11 r 1k β 0 q 1 r 20 r 21 r 2k R =......, β = β 1., q = q 2., r n0 r n1 r nk q n där r ij, q i är reella tal och n är antalet restriktioner under nollhypotesen. Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23 β k

14 Hypotestest av koecienter i probit och logit modellerna Detta ger att Rβ = q r 10 β 0 + r 11 β r 1k β k = q 1 r 20 β 0 + r 21 β r 2k β k = q r n0 β 0 + r n1 β r nk β k = q n Skattade koecienter och kovariansmatris för logit modellen i R: coef(mylogit), vcov(mylogit) Wald test för att både GPA och TUCE inte bidrar som förklaringsvariabler i logit modellen: wald.test(b = coef(mylogit), Sigma = vcov(mylogit), Terms = 2:3) Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

15 Hypotestest av koecienter i probit och logit modellerna Likelihood kvottest för allmänna restriktioner under nollhypotesen: LR = 2 [ ln ˆL r ln ˆL ], där ˆL r och ˆL är log-likelihood funktionerna utvärderade i de respektive restriktade (under nollhypotesen) och icke-restriktade skattade koecienterna. Sannolikhetsfördelningen för teststatistikan är appr. χ 2 fördelad med antalet restriktioner som f.g. under nollhypotesen. Likelihood kvottest för att både GPA och TUCE inte bidrar som förklaringsvariabler i logit modellen: modelunrestricted <- glm(grade~gpa+tuce+psi,family="binomial") modelrestricted <- glm(grade~psi,family="binomial") lrtest(modelunrestricted,modelrestricted) Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

16 Likheter/olikheter för Wald test och Likelihood kvottest Ger testen samma resultat? Varför eller varför inte? Dokumentation om detta nns här... Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

17 Goodness-of-t test i probit och logit modellerna Analogt till förklaringsgraden i den linjära regressionsmodellen är likelihood kvotindexet LRI = 1 ln L ln L 0, där ln L 0 = n [P ln P + (1 P) ln(1 P)] är log-likelihooden då alla lutningskoecienter är lika med noll och P är andelen 1:or eller 0:or för responsvariabeln. Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

18 Modeller för era val Ett beslut tas mellan er än två alternativ. Vi skiljer mellan ordnade och icke-ordnade beslutsalternativ. Exempel på icke-ordnade alternativ: transportsätt till jobbet, val av tvättmedel, val av kandidatprogram, o.s.v. Exempel på ordnade alternativ: inställningsfrågor i surveys, grad av anställning, nivå av försäkringsskydd Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

19 Multinomial logit modell Beräkning av multipla integraler för normalfördelningen innebär att en multinomial probit modell inte är särskilt lämplig. Multinomial logit modellen kan denieras som e β j x i P(Y i = j) = 1 + J, j = 1, 2,..., J, k=1 e β k x i där β j är vektorn av parametrar för kategori j av totalt J + 1 kategorier och x i är vektorn av förklaringsvariabler för en individ i. 1 P(Y i = 0) = 1 + J. k=1 e β k x i Koecienterna är svårtolkade! Marginella eekten från förklaringsvariablerna på sannolikheterna ges som [ ] P j = P j β j P k β k, x i J k=0 där β 0 = 0 och P j är proportionen individer i kategori j. Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

20 Log-odds kvoter och log likelihood Modellen ger log-odds kvoten för en individ i som [ ] Pij ln = x i (β j β k ) P ik Log-likelihooden för multinomiala logit modellen generaliserar den binomiala logit modellen: ln L = i J j=0 d ij ln P (Y i = j), där d ij = 1 om alternativ j väljs av individ i, och 0 annars. Test av alla lutningskoecienter lika med noll: ln L 0 = J n j ln P j. j=0 Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

21 Exempel: multinomial logistisk regression Studenter väljer ett av följande tre studieprogram: akademiskt (academic), allmänt (general) eller yrkesprogram (vocation). Deras val kan bero på skrivningspoäng på ett test (write) och deras socioekonomiska status (ses). I exemplet på har data samlats in för variablerna ovan. En multinomial logit modell ska anpassas till datamaterialet, se dokumentationen i exemplet. Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

22 Ordnad logit modell Multinomial logit och probit modellerna kan inte hantera ordnade data för den beroende variabeln. Linjär regression fungerar inte heller. Exempel: survey om inställning till en fråga där svaren rankas och kodas med 0, 1, 2, 3, 4. Linjär regression behandlar skillnaden mellan 4 och 3 p.s.s. som skillnaden mellan 3 och 2, även om värdena bara är en ranking mellan dem. Ordnad logit bygger på latent regression. Deniera y = βx + ɛ, där y är icke-observerat, men det gäller att y = 0 om y µ 1, = 1 om µ 1 < y µ 2, = 2 om µ 2 < y µ 3,. = J om µ J 1 y. Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23

23 Ordnad logit modell Sannolikheterna för respektive kategori ges som P(y = 0) = P(y µ 1 ) = P(βx + ɛ µ 1 ) = Λ ( µ 1 βx ), P(y = 1) = Λ ( µ 2 βx ) Λ ( µ 1 βx ), P(y = 2) = Λ ( µ 3 βx ) Λ ( µ 2 βx ), där µ 1 < µ 2 < < µ J 1. P(y = J) = 1 Λ ( µ J 1 βx ), Log-likelihood funktionen är en generalisering av logit modellen och maximering av log-likelihood funktionen ger skattade värden på β, µ 1, µ 2,..., µ J 1. Bertil Wegmann (statistik, LiU) Kategoriska data November 18, / 23