TAMS65 - Föreläsning 8 Test av fördelning χ 2 -test

Transkript

1 TAMS65 - Föreläsning 8 Test av fördelning χ 2 -test Martin Singull Matematisk statistik Matematiska institutionen

2 Innehåll Grundläggande χ 2 -test Test av given fördelning Homogenitetstest TAMS65 - Fö8 1/34

3 Det grundläggande χ 2 -testet Ett slumpmässigt försök kan ge resultaten A 1,..., A k. Vid n oberoende upprepningar inträffade A i totalt N i gånger, i = 1, 2,..., k. Vi vill pröva H 0 : P(A i ) = p i för i = 1,..., k, där p 1,..., p k är givna kända tal, mot H 1 : P(A i ) p i för minst ett i bland 1,..., k. TAMS65 - Fö8 2/34

4 Teststorhet: Q = k (N i np i ) 2 i=1 np i ( som ofta skrivs k i=1 (o i e i ) 2 e i ) Avvikelse från H 0 visar sig genom stora Q-värden. H 0 förkastas alltså om Q > c. TAMS65 - Fö8 3/34

5 Bakgrunden är, att den k-dimensionella stokastiska variabeln (N 1,..., N k ), då H 0 är sann, har multinomialfördelning med parametrarna n, p 1,..., p k, och då gäller speciellt att N i Bin(n, p i ). I teststorheten jämför vi alltså N i med dess väntevärde då H 0 är sann d.v.s. E(N i ) = np i. Låga Q-värden tyder på god överensstämmelse mellan N i och E(N i ) = np i och då finns det ingen anledning att betvivla nollhypotesen. Man kan visa att den s.v. Q är approx χ 2 (k 1) om H 0 är sann. TAMS65 - Fö8 4/34

6 Beviset att Q χ 2 (k 1) är ganska svårt och vi bevisar inte det, men det bygger på CGS (normalapprox) av multinomialfördelning. Betrakta k = 2. Då gäller att N 1, N 2 = n N 1 och P(A 1 ) = p, P(A 2 ) = 1 p. Q = (N 1 np) 2 np + (n N 1 n(1 p)) 2 n(1 p) men N 1 Bin(n, p) N(np, np(1 p)) ger N 1 np np(1 p) N(0, 1) och ( ) 2 N 1 np =... =, np(1 p) ( ) 2 N 1 np χ 2 (1). np(1 p) TAMS65 - Fö8 5/34

7 . Förlusten ( av 1 frihetsgrad beror på att de s.v. N 1,..., N k är k beroende 1 N i = n). Den kritiska gränsen c ges alltså i χ 2 (k 1)-tabell. χ 2 (k 1) α : : : : : : : : : : : : : : : : : : : : : : : : ; : : : : : : : : : Villkor: Approximationen med χ 2 -fördelning fungerar tillfredsställande om np i > 5. Om np i < 5 får man slå ihop fall, se exempel nedan. TAMS65 - Fö8 6/34

8 Exempel En maskin tillverkar enheter som klassas i fyra kategorier nämligen topkvalitet (T ), hög kvalitet (H), god kvalitet (G) och dålig kvalitet (D). Av lång erfarenhet vet man att P(T ) = 0.4, P(H) = 0.3, P(G) = 0.2 och P(D) = 0.1. En ny maskin som tillverkar samma sorts enheter har köpts och 500 enheter tillverkade av denna maskin har fått följande klassningar T H G D Kan man med någon säkerhet hävda att den nya maskinen har en annan fördelning över kvalitetsklasserna än den gamla? Genomför ett lämpligt χ 2 -test på nivån 5%. TAMS65 - Fö8 7/34

9 Q = = 4 (N i np i ) 2 i=1 np i ( ) ( ) Förkasta hypotesen om samma fördelning om = 7.75 Q > c = χ (4 1) = χ (3) = Alltså vi kan inte säga att det är skillnad vad det gäller fördelning mellan maskinerna. TAMS65 - Fö8 8/34

10 Test av en given fördelning Vid test av given fördelning får vi skilja på fallen med diskret respektive kontinuerlig fördelning. Test av en given diskret fördelning Då blir händelserna A i i allmänhet {X = i}, men vissa A i måste man slå ihop till större händelser. Viktigt: Alla tänkbara värden på X måste finnas med i någon händelse. TAMS65 - Fö8 9/34

11 Test av given kontinuerlig fördelning Man har n observationer x 1,..., x n och vill undersöka nollhypotesen H 0 att en täthetsfunktion f (x) passar till datamaterialet. Man delar in tallinjen i k stycken intervall (tumregel: antalet intervall antalet observationer/10), a i 2 a i 1 a i a i+1 a i+2 räknar hur många observationer som finns i de olika intervallen och får de observerade frekvenserna N 1,..., N k. TAMS65 - Fö8 10/34

12 Låt A i vara händelsen att en observation hamnar i ]a i 1, a i ] och p i = ai a i 1 f (x)dx, där f (x) är täthetsfunktionen som ska prövas. Observera att intervallen måste täcka in hela det område där f (x) 0. Därför kan man behöva intervall av typen (, a 1 ] och ]a k 1, ). TAMS65 - Fö8 11/34

13 I både fallen ovan gäller att om sannolikhetsfunktionen respektive täthetsfunktionen innehåller okända parametrar, så måste dessa skattas innan man beräknar p i. OBS Man förlorar en frihetsgrad i Q:s χ 2 -fördelning för varje skattad parameter i nollhypotesens sannolikhetsfunktion respektive täthetsfunktion. TAMS65 - Fö8 12/34

14 Exempel I ett datamaterial med 160 observationer har man stickprovsmedelvärdet x = 2.27 och stickprovsstandardavvikelsen s = Vi vill undersöka om datamaterialet kan vara normalfördelat, d.v.s. mot H 0 : X j N(µ, σ) H 1 : Normalfördelningen passar inte. Mätvärdena är givna med en decimal. Genom att utnyttja två decimaler i klassgränserna undviker man problemet att någon observation hamnar precis på klassgränsen. TAMS65 - Fö8 13/34

15 Indelning i fack: Fack Obs. frekv. N i ], 1.35] 65 ]1.35, 2.75] 52 ]2.75, 4.15] 15 ]4.15, 5.55] 15 ]5.55, 6.95] 9 ]6.95, [ 4 Vi skattar parametrarna i normalfördelningen med ˆµ = x = 2.27 och ˆσ = s = 2.12 för att veta vilken normalfördelning som vi vill jämföra mot. TAMS65 - Fö8 14/34

16 Vi har då följande sannolikheter för de olika facken ( Xj µ p 1 = P (X j 1.35) = P 1.35 µ ) ( ) 1.35 µ = Φ, σ σ σ ( ) p 1 Φ = Φ( 0.43) = , 2.12 ( 1.35 µ p 2 = P (1.35 < X j 2.75) = P < X j µ 2.75 µ ) σ σ σ ( ) ( ) 2.75 µ 1.35 µ = Φ Φ, σ σ ( ) ( ) p 2 Φ Φ = Φ(0.23) Φ( 0.43) = = TAMS65 - Fö8 15/34

17 Vidare har vi att ( ) ( ) p 3 Φ Φ och = Φ(0.89) Φ(0.23) = = , p = , p = p = TAMS65 - Fö8 16/34

18 Vi har nu följande indelning i fack. Fack Obs. frekv. Skattad Förv. frekv. N i slh. p i 160p i ], 1.35] ]1.35, 2.75] ]2.75, 4.15] ]4.15, 5.55] ]5.55, 6.95] ]6.95, [ TAMS65 - Fö8 17/34

19 Vi måste slå ihop de två sista klasserna och får då observerad frekvens 13 samt p med förväntad frekvens 9.7. Teststorhet: Q = 5 i=1 (N i 160p i ) 2 160p i Den s.v. Q är approx χ 2 (5 1 2) om H 0 är sann, eftersom vi till slut bara har fem klasser och skattade två parametrar. För α = 0.01 får vi den kritiska gränsen 9.22 ur χ 2 (2)-tabell > Alltså kan H 0 förkastas. Datamaterialet kommer med stor sannolikhet inte från normalfördelning. TAMS65 - Fö8 18/34

20 Anm. Den här metoden bygger direkt på iden att jämföra histogrammet med täthetsfunktionen för normalfördelningen. Det finns flera andra, ofta effektivare, metoder för att testa normalfördelningsantagandet. TAMS65 - Fö8 19/34

21 Något om att välja sannolikhetsfördelning Om man vill undersöka om en viss sannolikhetsfunktion eller täthetsfunktion passar till ett datamaterial kan man 1a i det diskreta fallet göra ett stolpdiagram och jämföra med den aktuella sannolikhetsfunktionen; 1b i det kontinuerliga fallet göra ett histogram och jämföra med den aktuella täthetsfunktionen, se den inledande föreläsningen; 2 göra χ 2 -test av fördelning, men vara försiktig med tolkningen (att H 0 inte kan förkastas behöver tex. inte innebära att H 0 är sann); 3 utnyttja Kolmogorov-Smirnovs test; 4 använda fördelningspapper (probability plotting) om man har observationer från en kontinuerlig fördelning (detta ingår inte i kursen, men det finns i många datorprogram). TAMS65 - Fö8 20/34

22 Kolmogorov-Smirnovs test - Ett stickprov Den empiriska fördelningsfunktionen för ett stickprov x 1,..., x n ges av F n (x) = 1 n n i=1 I {xi x}, där I {xi x} = { 1 om x i x, 0 annars. Om man vill undersöka om en viss fördelningsfunktion, F (x), passar ett stickprov är det av intresse att titta på differensen F n (x) F (x) och då speciellt Kolmogorov-Smirnov teststorheten D = max x F n (x) F (x). TAMS65 - Fö8 21/34

23 För stora värden på n har vi approximativt att P ( nd c ) 1 2 ( 1) k 1 e 2k2 c 2 = H(c). k=1 Ofta ger första termen i serien tillräckligt god approximation av Kolmogorov-Smirnovs test, som leder till följande approximativa test. Förkasta H 0, d.v.s. likhet i fördelning, på nivån α om D 1 ( α ) 2n ln. 2 Om man måste skatta parametrar, så fungerar inte denna approximation och man måste använda andra metoder. Det finns tabeller för t.ex. normal- och exponentialfördelning. TAMS65 - Fö8 22/34

24 Kolmogorov-Smirnovs test - Två stickprov Man kan även testa om två stickprov kommer från samma fördelning med Kolmogorov-Smirnovs test. Beräkna den empiriska fördelningen för de båda stickproven, F n (x) och G m (x), och teststorheten Man kan då visa att D = max x F n (x) G m (x). P och det approximativa testet. ( ) mn m + n D t H(t) Förkasta H 0, d.v.s. likhet i fördelning, på nivån α om D m + n ( α ) 2mn ln 2 TAMS65 - Fö8 23/34

25 Kolmogorov-Smirnovs test - MATLAB KSTEST Single sample Kolmogorov-Smirnov goodness-of-fit hypothesis test. H = KSTEST(X,CDF,ALPHA,TYPE) performs a Kolmogorov-Smirnov (K-S) test to determine if a random sample X could have the hypothesized, continuous cumulative distribution function CDF. CDF is optional: if omitted or empty, the hypothetical c.d.f is assumed to be a standard normal, N(0,1). ALPHA and TYPE are optional scalar inputs: ALPHA is the desired significance level (default = 0.05); TYPE indicates the type of test (default = unequal ). H indicates the result of the hypothesis test: H = 0 => Do not reject the null hypothesis at significance level ALPHA. H = 1 => Reject the null hypothesis at significance level ALPHA. KSTEST2 Two-sample Kolmogorov-Smirnov goodness-of-fit hypothesis test. H = KSTEST2(X1,X2,ALPHA,TYPE) performs a Kolmogorov-Smirnov (K-S) test to determine if independent random samples, X1 and X2, are drawn from the same underlying continuous population. TAMS65 - Fö8 24/34

26 Test om normalfördelning För att testa normalfördelning kan man använda Lilliefors test (h = lillietest(x)) - modifiering av Kolmogorov-Smirnovs test med skattade parametrar, eller andra test som man kan visa är bättre (d.v.s. har bättre styrka) t.ex. Shapiro-Wilks test, Anderson Darlings test. TAMS65 - Fö8 25/34

27 Homogenitetstest Vi vill testa om r försöksserier är homogena i meningen att P(A i ) för varje i är lika stor för samtliga försöksserier, se boken och formelsamlingen. Tillämpning: Man kan undersöka om r stickprov kommer från samma fördelning. Anm. Det finns också ett så kallat oberoendetest. Det har praktiken samma teststorhet som homogenitetstestet, men den skrivs annorlunda och tolkningen är inte heller densamma. TAMS65 - Fö8 26/34

28 Exempel - Homogenitetstest TABLE - Sample results of cell phone preferences for male and female users (observed frequencies). Cell phone preferences Sex Android iphone Windows Total Male Female Total H 0 : Kvinnor och män föredrar Android med samma sannolikhet p 1, iphone med samma sannolikhet p 2 och Windows med samma sannolikhet p 3. H 1 : Skillnad finns i fråga om preferenser. Nivå α = 5%. TAMS65 - Fö8 27/34

29 Cell phone preferences Sex Android iphone Windows Total Male N 11 = 20 N 12 = 40 N 13 = 20 n 1 = 80 n 1 ˆp i Female N 21 = 30 N 22 = 30 N 23 = 10 n 2 = 70 n 2 ˆp i Total ˆp i 50/150 70/150 30/150 TAMS65 - Fö8 28/34

30 ( )2 (10 14)2 Q = = 6.13 Under H 0 gäller att Q χ 2 ((2 1)(3 1)) = χ 2 (2). Förkasta H 0 om Q > c = χ (2) = Förkasta H 0, det verkar finnas skillnader mellan val av telefon. TAMS65 - Fö8 29/34

31 Exempel - Homogenitetstest I en studie ville man undersöka om inositol (ett ämne som finns i modersmjölk) minskar risken för ögonskador hos för tidigt födda barn, (New England Journal of Medicine, 1992). Studien omfattade 220 för tidigt födda barn som slumpmässigt delades in i två grupper med 110 i varje. Den ena gruppen fick intravenös tillförsel av inositol, medan den andra fick standardbehandlingen. Antalet barn med ögonskador var 14 i inositolgruppen och 29 i den andra. Låt p 1 och p 2 beteckna riskerna för ögonskador i de båda grupperna. Det är rimligt att anta att barnen får ögonskador oberoende av varandra. Kan man med någon säkerhet hävda att p 1 p 2? Besvara frågan med hjälp av ett lämpligt test på nivån 5% eller ett konfidensintervall med konfidensgraden 95% Här kan man konstruera I p1 p 2 eller göra ett homogenisitetstest. TAMS65 - Fö8 30/34

32 Bilda I p1 p 2. Vi har att där q i = 1 p i. X Bin(110, p 1 ) N(110p 1, 110p 1 q 1 ) Y Bin(110, p 2 ) N(110p 2, 110p 2 q 2 ), Vidare gäller att ˆp 1 ˆp 2 = = 3 från P 1 P 2 = X var ( X 110 Y 110 Stäng in hjälpvariabeln 22 som är en observation ) 110 Y 110 (p N 1 p 2, p1 q p 2q eftersom ) = var(x )+var(y ) = 110p 1q p 2 q 2 = p 1q p 2q P 1 P 2 (p 1 p 2 ) P1 Q P 2 Q2 110 N(0, 1) TAMS65 - Fö8 31/34

33 Vi får då intervallet ( ) ˆp1 ˆq 1 I p1 p 2 = ˆp 1 ˆp ˆp 2 ˆq = ( ; ), där ˆp 1 = , ˆq 1 = 1 ˆp 1 = och ˆp 2 = , ˆq 2 = 1 ˆp 2 = Alltså, med stor sannolikhet gäller att p 1 p 2 (p 1 < p 2 ). Men som sagt, man kan göra ett homogenitetstest istället. TAMS65 - Fö8 32/34

34 Hemuppgift TAMS65 - Fo 8 33/34

35 Hemuppgift J F M A M J J A S O N D S:a Ish.sp Samtl % Pröva H 0 : Ishockyspelarnas födelsedagar har samma fördelning över årets månader som den övriga befolkningens. på nivån 1%. Svar: Q = > 24.72; d.v.s. H 0 förkastas. TAMS65 - Fö8 34/34

36