Introduktion till statistik för statsvetare

Transkript

1 "Det finns inget så praktiskt som en bra teori" November 2011

2 Bakgrund Introduktion till test Introduktion Formulera lämplig hypotes Bestäm en testvariabel Bestäm en beslutsregel Fatta ett beslut När det gäller att uttala sig om en eller två parametrar så klarar man sig utmärkt med konfidensintervall, i en eller två dimensioner, men när det gäller fler parametrar så bryter denna teknik ihop. För att klara flera parametrar samtidigt har test-tekniken utvecklats och den fungerar även för en till flera parametrar. Den filosofi som används i denna teknik kan dock kännas abstrakt. Vi pratar här om 4 steg 1 Formulera lämplig hypotes. 2 Bestäm en testvariabel (skattning). 3 Bestäm en beslutsregel. 4 Tag ett stickprov och bestäm ett numeriskt värde på testvariabeln och jämför detta med beslutsregeln.

3 Exempel från medicinen Introduktion Formulera lämplig hypotes Bestäm en testvariabel Bestäm en beslutsregel Fatta ett beslut Example Vid tillverkning av en viss medicin är det viktigt att mängden av en komponent inte varierar för mycket ty om det är för lite av komponenten är medicinen verkningslös och om det är för mycket blir medicinen ett gift. Den önskade mängden av komponenten per dos är 60 mikrogram och för att testa om produktionsinställningarna ger denna mängd tar man varje dag ett stickprov om 100 piller och mäter komponentens mängd. En dag har man erhållit medelvärdet x = Produktionens standardavvikelse är sedan tidigare känd till att vara σ = 0.7. Kan man skicka iväg dagens produktion till apoteken?

4 Analys Introduktion till test Introduktion Formulera lämplig hypotes Bestäm en testvariabel Bestäm en beslutsregel Fatta ett beslut Fundera lite över vilken sida du står på? Tillverkarens eller brukarens! Själv tar jag tillverkarens parti och resonerar utifrån detta perspektiv. Varför? Tänk nu på domstolarnas problematik: Ingen är skyldig innan skuld är bevisat utom varje rimligt tvivel. Rätten utgår ifrån tesen icke skyldig och det är upp till åklagaren att bevisa att den anklagade är skyldig. En fällande dom innebär däremot inte att den åtalade begått brottet och motsatsen en friande dom innebär inte att den åtalade ej begått brottet. Tillverkaren vill inte slänga produkter som håller sig inom givna gränser. Dennes tes är därför H 0 : µ = 60 Vi kallar H 0 noll-hypotesen (antagandet om noll förändring).

5 Analys (forts) Introduktion till test Introduktion Formulera lämplig hypotes Bestäm en testvariabel Bestäm en beslutsregel Fatta ett beslut Till varje tes finns en antites och i detta fall är den H 1 : µ = 60 och den kallas den alternativa hypotesen. Därmed är steg 1 klart H 0 : µ = µ 0 H 1 : µ = µ 0 Nästa steg är att bestämma vilken testvariabel som skall användas. Sedan tidigare vet vi att x = 1 n n i=1 x i är en lämplig skattning av µ = 60. Om denna skattning vet vi X N ( ) , 100 eller ekvivalent att Z = X N (0, 1)

6 Analys (forts) Introduktion till test Introduktion Formulera lämplig hypotes Bestäm en testvariabel Bestäm en beslutsregel Fatta ett beslut Sen kommer det svåra steget hur fattar vi beslut? Vi har två möjligheter: Förkasta H 0 och förkasta ej H 0. När vi förkastar H 0 så har vi ävenså två möjligheter 1) förkasta H 0 givet H 0 sann och 2) förkasta H 0 givet H 0 ej sann För att enklare se de olika möjligheterna sätter vi upp tabellen Testresultat Sanningen Förkasta H 0 Förkasta ej H 0 H 0 är sann Ej korrekt (α) Korrekt H 0 är ej sann Korrekt Ej korrekt (β)

7 Analys (forts) Introduktion till test Introduktion Formulera lämplig hypotes Bestäm en testvariabel Bestäm en beslutsregel Fatta ett beslut Tillverkaren vill nu hålla sannolikheten α = P(förkasta H 0 givet H 0 sann) så liten som möjligt. Varför? Denna sannolikhet sätts ofta till 5% (detta val är dock helt godtyckligt). Det är också samma α som förekommer i konfidensgraden 1 α. I och med att vi gjort detta val kan en beslutsregel bestämmas. Vi förkastar om Z obs = x > λ = 1.96

8 Analys (forts) Introduktion till test Introduktion Formulera lämplig hypotes Bestäm en testvariabel Bestäm en beslutsregel Fatta ett beslut I vårt fall var x = 59.7 varför z = 0.7 = 4.29 > Således måste dagens produktion kastas! Ett något oväntat resultat eller? Vi avslutar med en jämförelse mellan test och konfidensintervall Intervall Symmetriskt P(X < a 1 ) = α 2 och P(X > a 2 ) = α 2 Test H 0 : µ = µ 0 H 1 : µ = µ 0

9 M och S om det var val idag Example SCB:s partisympatiundersökning maj 2011 (9123 intervjuade, bortfall 32.6%) visade att Ms andel av väljarkåren var 31.1 procent samt att Ss andel var 34.0 procent. Avgör om Ss andel är signifikant större än Ms på 1%-nivån. Solution Vi konstaterar först att 6145 personer svarade på undersökningen. Bortfallets andel var Därefter anger vi vår modell och eftersom vi är intresserade av att jämföra proportioner börjar vi med, där i = 1, 2,..., 6145, X M i = { 1 om Mröst 0 annars { Xi S 1 om Sröst = 0 annars

10 M och S om det var val idag Från denna grundläggande bernoullimodellen följer nu X M = 6145 Xi M Bin (6145, p M ) och X S = i= Xi S Bin (6145, p S ) i=1 Men centrala gränsvärdessatsen ger att ( ) ( ) X M pm (1 p M ) N p M, och X S ps (1 p S ) N p S, n n (använd WinStats)

11 M och S om det var val idag De två första stegen blir 1 Vår hypotes är:h 0 : p M p S H 1 : p M < p S 2 Vår testvariabel är: Z = X M X S p(1 p) ( ) 6145 N (0, 1) där p = = 0.326

12 M och S om det var val idag De två sista stegen blir 1 Vårt förkastelsebeslut är: förkasta om Z obs < λ där vi väljer λ så att P(förkasta H 0 givet H 0 sann) = Vi har att λ = Vårt resultat är: ( ) ( ) = 3.43 < Härav sluter vi att Ss andel av väljarkåren är signifikant större än Ms på 1%-nivån

13 Analysis of variance (ANOVA) Test av en och två parametrar Vi har nu tittat på två exempel som generellt kan skrivas 1 Medicinexemplet X = µ + ɛ ɛ N ( 0, σ 2) Test: H 0 : µ = µ 0 2 Proportionsexemplet X 1 = µ 1 + ɛ 1 X 2 = µ 2 + ɛ 2 Test: H 0 : µ 1 = µ 2

14 Analysis of variance (ANOVA) Test av två och fler parametrar Vi skulle gärna vilja utvidga vår modell till X 1 = µ 1 + ɛ 1 X 2 = µ 2 + ɛ 2. =. Test: H 0 : µ 1 = µ 2 = = µ k. X k = µ k + ɛ k Hur man gör det är långtifrån självklart och sättet att göra det är ett ytterligare bevis på matematikens praktiska användbarhet.

15 Analysis of variance (ANOVA) Example Ibland behöver företag minska personalstyrkan på grund av minskad orderingång. Mät stressen hos anställda före annonsering om personalreducering genom att ta ett stickprov om 5 stycken. Därefter mäter vi stressen hos ett nytt stickprov om 5 stycken efter offentliggörande om att personalreduceringar skall ske. Till sist mäts stressen på ett förnyat stickprov, om 5 stycken, när personalreduceringen genomförs. Skiljer sig personalens stressnivå under de tre mättillfällena?

16 Analysis of variance (ANOVA) Vid ett tillfälle fann man följande nivåer på stresshormonerna Stress Stress Stress normal offentliggörande avskedande Skiljer sig de förväntade värdena på stresshormoner mellan de tre grupperna på nivån 5%?

17 Analysis of variance (ANOVA) Vi har nu en modell med tre slumpvariabler - en per grupp X 1 = µ 1 + ɛ 1 ɛ 1 ungefär N ( 0, σ 2) X 2 = µ 2 + ɛ 2 ɛ 2 ungefär N ( 0, σ 2) X 3 = µ 3 + ɛ 3 ɛ 3 ungefär N ( 0, σ 2) För varje parameter µ i antar vi att det finns n (5) observationer, j = 1, 2,..., n (alltså lika många i varje grupp), och vi har att µ i skattas av x i Under antagandet om att H 0 gäller så har vi att alla µ i är lika med µ och därför kan samtliga kn (3 5) observationer användas för att skatta detta gemensamma värde. µ skattas av x

18 Analysis of variance (ANOVA) Detta innebär att vi nu betraktar modellen X ij = µ + µ i + ɛ ij, i = 1, 2,..., k, j = 1, 2,..., n dvs µ i := µ + µ i (vi har således omdefinierat µ i ) och med denna modell har vi nu testet H 0 : µ 1 = µ 2 = = µ k = 0. Hur skall vi nu finna en testvariabel? Ja det är inte lätt. Man måste skaffa sig helikopterseende! Betrakta den totala variationen! s 2 = = k n i=1 j=1 k n i=1 j=1 (x ij x) 2 = (x ij x i ) 2 + k n i=1 j=1 k n i=1 j=1 (x ij x i + x i x) 2 ( x i x) k n i=1 j=1 (x ij x i ) ( x i x)

19 Analysis of variance (ANOVA) Dvs vi har att s 2 = = k n i=1 j=1 k n i=1 j=1 (x ij x i ) 2 + (x ij x i ) 2 + n k n i=1 j=1 k i=1 ( x i x) 2 ( x i x) 2 På svenska säger vi att den totala variationen har delats upp i variationen inom grupper plus variationen mellan grupper. Man kan sedan visa att E E ( ( 1 k 1 1 n k k i=1 k i=1 n j=1 n j=1 ( X i X ) 2 ) (X ij X i ) 2 ) = σ 2 + n k k 1 (µ i µ) 2 i=1 = σ 2

20 Analysis of variance (ANOVA) Om vi bildar kvoten mellan dessa två uttryck så blir den nära 1 om H 0 sann. Annars större än 1. För att bestämma vad som är större än 1 använder vi testvariabeln F (k 1, kn k) = n k k 1 Vårt förkastelseområde blir k i=1 n j=1 ( X i X ) 2 k i=1 n j=1 (X ij X i ) 2 F obs > F 0.05 (3 1, 15 3) = 3.88

21 Analysis of variance (ANOVA) Vårt observerade värde blir F obs = = 22.6 som ligger till höger om Slutsats: Den förväntade mängden stresshormoner, mellan mättillfällena, skiljer sig signifikant åt på nivån 5%. Hur man gör sina beräkningar