Grundläggande matematisk statistik

Transkript

1 Density Grundläggande matematisk statistik Icke-parametriska test Uwe Menzel, Icke-parametriska metder Parametriska metder Fördelningen för ppulatinen sm stickprvet tgs ifrån är känd så nära sm på ett antal parametrar, t.ex: N med kända μ ch/eller σ Icke-parametriska metder Vill helst ha test med samma förmåga men utan antaganden m den underliggande fördelningen! (eftersm antagandena är icke uppfyllda) 0,0 0,15 μ, σ? 0,10 0,05 0,00-5,0 -,5 0,0,5 5,0 7,5 1

2 Lcatin Shift parametrisk t.ex -S t-test ickeparametrisk När behövs ett icke-parametrisk test? När förutsättningarna för ett parametriskt test är inte uppfyllda: -Sample t-test: det krävs att de underliggande ppulatinerna är nrmalfördelade One-Way ANOVA: kräver (ungefär) nrmalfördelning för alla grupper, dessutm (ungefär) hmgena varianser Om det är svårt att kvantifiera data rdinalskalr (strleksrdning finns, men differenser saknar betydelse: t.ex. strlek av T-tröjr, betyg i sklan: A, B, C, ) sådana data kan dck rangrdnas Hur pass bra fungerar icke-parametriska test? Nästan så bra sm parametriska test m nrmalfördelning ch andra förutsättningar föreligger styrkan (pwer, 1 β) fta mindre jämfört med parametriska test Är fta bättre när förutsättningarna (nrmalfördelning sv.) inte är uppfyllda

3 Vilket test ersätts med vilket? ppulatin nrmalfördelad 1-Sample T-test (1-Sample Z-test) Paired T-test ppulatin inte nrmalfördelad 1-Sample Sign test 1-Sample Wilcxn test Matched Pairs Sign test Wilcxn-Signed Rank test allmän fördelning R: SIGN.test symmetrisk fördelning 1-Sample Sign test på differenserna 1-Sample Wilcxn på differenserna -Sample T-test Mann-Whitney U-test R: wilcx.test One-Way ANOVA Kruskal-Wallis test R: kruskal.test One-Sample Sign test Syfte: kan testa m medianen för en ppulatin är lika med ett hyptetiskt värde m nllhyptesen stämmer brde ungefär hälften av alla värden ur ett stickprv vara större än det hyptetiska värdet, andra hälften brde vara mindre antalet värden sm är större än den hyptetiska medianen m 0 brde alltså vara binmialfördelad med p = 1 Τ (när H 0 är sann): X ~ Bin n, 0.5 Slumpvariabel: X = antalet värden sm är större än den hyptetiska medianen m 0 under H 0 : X ~ Bin n, 0.5 n = antalet mätvärden Nllhypteser ch alternativer hypteser: Fall 1 Fall Fall 3 H 0 m = m 0 m < m 0 m > m 0 H a m m 0 m > m 0 m < m 0 p-värde p = P X min x, n x p = P X x p = P X x 3

4 One-Sample Sign test P-värde, fall : H 0 förkastas m x är str. H a m > m 0 p = P X x X = antalet värden > m 0 Exempel: Låt ss anta att vi fick 0 mätvärden (n = 0), därav 17 större än den hyptetiska medianen, dvs. x = 17. m 0 Här verkar det vara sannlikt att den hyptetiska medianen m 0 stämmer. p = P X x = P X 17 där X ~ Bin 0, 0.5 ( under H 0 ) p = P X 17 = 1 P X 16 = 1 F X 16 = = tabell Facit: P-värdet är mindre än α = 0.05, vi förkastar H 0, dvs. vi förkastar antagandet att p = 0.5 ch därmed att m 0 är medianen för den underliggande fördelningen. Vi accepterar däremt den alternativa hyptesen m > m 0 (det sanna värdet på medianen måste vara större än vad hyptesen säger). 4

5 One-Sample Sign test P-värde, fall 3: H 0 förkastas m x är liten. H a m < m 0 p = P X x X = antalet värden > m 0 Exempel: Låt ss anta att vi fick 0 mätvärden (n = 0), därav 5 större än den hyptetiska medianen, dvs. x = 5. Här verkar det vara sannlikt att den hyptetiska medianen m 0 stämmer. p = P X x = P X 5 där X ~ Bin 0, 0.5 ( under H 0 ) p = P X 5 = F X 5 = tabell m 0 Facit: P-värdet är mindre än α = 0.05, vi förkastar H 0, dvs. vi förkastar antagandet att p = 0.5 ch därmed att m 0 är medianen för den underliggande fördelningen. Vi accepterar däremt den alternativa hyptesen m < m 0 (det sanna värdet på medianen måste vara mindre än vad hyptesen säger). 5

6 One-Sample Sign test P-värde, fall 1: H 0 förkastas m x är mycket liten eller mycket str (tvåsidigt test). H a m m 0 p = P X max x, n x + P X min x, n x Exempel 1: = P X min x, n x (eftersm p = 0.5) Låt ss anta att vi fick 0 mätvärden (n = 0), därav 1 större än den hyptetiska medianen, dvs. x = 1. m 0 Här är det svårt att se m den hyptetiska medianen m 0 kan stämma. p = P X max x, n x + P X min x, n x där X ~ Bin 0, 0.5 p = P X 1 + P X 8 = 1 P X 11 + P X 8 = 1 F X 11 + F X 8 = = Facit: P-värdet är större än α = 0.05, vi förkastar inte nllhyptesen att p = 0.5 ch att m 0 är medianen för den underliggande fördelningen. Det är helt möjligt att nllhyptesen stämmer. 6

7 One-Sample Sign test P-värde, fall 1: H 0 förkastas m x är mycket liten eller mycket str (tvåsidigt test). H a m m 0 p = P X max x, n x + P X min x, n x Exempel : = P X min x, n x (eftersm p = 0.5) Låt ss anta att vi fick 0 mätvärden (n = 0), därav 17 större än den hyptetiska medianen, dvs. x = 17. m 0 Här verkar det vara sannlikt att den hyptetiska medianen m 0 stämmer. p = P X max x, n x + P X min x, n x där X ~ Bin 0, 0.5 p = P X 17 + P X 3 = 1 P X 16 + P X 3 = 1 F X 16 + F X 3 = = Facit: P-värdet är mindre än α = 0.05, vi förkastar H 0, dvs. vi förkastar antagandet att m 0 är medianen för den underliggande fördelningen. Vi accepterar däremt den alternativa hyptesen m m 0 (sanna värdet på medianen måste vara någt annat än vad hyptesen säger). 7

8 One-Sample Sign test Fråga: vill möss ha en egen spegel? 16 möss med varsin bur sm har ett rum med spegel ch ett rum utan spegel i vilket rum uppehöll sig musen mest: mus med x x x utan x x x x x x x x x x x x x Sherwin, C.M Mirrrs as ptential envirnmental enrichment fr individually hused labratry mice. Appl. Anim. Behav. Sci. 87: H 0 : p = 0.5 ; H a : p 0.5 (tvåsidigt test) x = 3 (bservatin) X ~ Bin(16, 0.5) ( under H 0 ) p = P X 3 + P X 13 = P X P X 1 = F X F X 1 = = 0.01 Facit: Nllhyptesen förkastas. H 0 (p = 0.5) betyder ju att sannlikheten att musen finns där är lika str för båda rummen. Mus föredrar... att inte ha någn spegel. 8

9 Prbability One-Sample Sign test Distributin Distributin under Plt H 0 Binmial; n=16; p=0,5 0,0 0, = ,10 0,05 0,00 0, ,0106 Att det bserverade värdet kmmer upp är alltså mycket sannlikt m vi antar att H 0 stämmer. P-värde: Sannlikheten att erhålla det bserverade värdet, eller ännu mera extrema värden, givit att nllhyptesen stämmer. Om stickprvet är strt (n>5): One-Sample Sign test X ~ Bin(n, 0.5) under H 0 X ~ AsN n Τ, 1 Τ n (nrmalapprximtin) Z = X n ~ N 0, 1 1 n Variabeln Z måste vara standard-nrmal fördelad m H 0 stämmer. En bservatin av Z brde alltså ligger bra på täthetsfunktinen för N(0, 1). Om denna bservatin däremt ligger i svansen av denna täthetsfunktin förkastar vi nllhyptesen. Den kritiska reginen är alltså (se appendixet för härledning): Ω krit = z λα Τ för tvåsidigt test (H a : p 0.5) Ω krit = z λ α för ensidigt test med H a : p > 0.5) Ω krit = z λ α för ensidigt test med H a : p < 0.5) 9

10 One-Sample Wilcxn test Syfte testar m medianen för en ppulatin är lika med ett hyptetiskt värde m 0 skillnad till Sign-testet: fördelningen för den underliggande ppulatinen måste vara symmetrisk Exempel: Se stickprvet x i i tabellen, klumn 1: Fråga: Är medianen lika med nll? Beräkning av testvariabeln: Vi rangrdnar x i (se tabell, R i = rang ) (rang 1 = minsta) Om vi t.ex. testar m m 0 = 0 summeras alla ranger sm tillför psitiva x i ch alla ranger sm tillför negativa x i. Vi räknar alltså ut följande värden: W + = σ i R i + (summa över ranger sm tillhör psitiva x i ) W = σ i R i (summa över ranger sm tillhör negativa x i ) W + = = 16 W = = 75 x i x i R i -3,1 3,1 6-6,3 6,3 9 1, 1, 3 -,0,0 4-1,0 1,0-7, 7, 10 5,6 5,6 8,, 5-1,0 1,0 11-1,3 1,3 1-5,3 5,3 7-0,1 0,1 1-3,4 3,4 13 One-Sample Wilcxn test Idèn bakm 1-S Wilcxn testet: Om medianen av en symmetrisk fördelning är 0 brde W + ch W vara ungefär lika stra (se bild till vänster: W = 5 ; W + = 30) Att t. ex. alla negativa värden i ett stickprv har stra abslutvärden ch alla psitiva värden i stickprvet har låga abslutvärden är däremt sannlikt (se bild till höger: W = 15 ; W + = 40) H 0 förkastas när många höga ranger tillhör psitiva värden ch många låga ranger tillhör negativa värden - eller tvärtm. H 0 förkastas alltså m det finns en str skillnad mellan W + ch W, vilket ckså betyder att en av dem är låg. sm testvariabel används W = min W +, W i Kritisk regin: Ω krit = W < W 0 (H 0 förkastas för små värden av testvariabeln) W = = 30 W + = = 5 W = = 40 W + = = 15 sannlikt sannlikt m 0 = 0 m 0 = 0 10

11 One-Sample Wilcxn test Tabell över W 0 (kritiska värden) One-Sample Wilcxn test Om stickprvet är strt (n>5) Z = W+ μ ~ N(0, 1) är standard-nrmal σ μ = 1 n n + 1 väntevärdet för testvariabel W + ( under H 0 : hälften av den ttala rangsumman ) σ = n n + 1 n varians för testvariabel W + Ω krit = z > λ ( för tvåsidigt test ) α större än - vi testar ju W + 11

12 Wilcxn-Signed Rank test för parade stickprv två parade stickprv (t. ex. före/efter ) finns det en förskjutning ( lcatin shift ) mellan båda fördelningar eller är de identiska (H 0 )? praktiskt taget detsamma sm One-Sample Wilcxn test Exempel: aluminiumhalt av träd i en förrenad areal i augusti månad ch nvember månad Laureysens, I., R. Blust, L. De Temmerman, C. Lemmens and R. Ceulemans Clnal variatin in heavy metal accumulatin and bimass prductin in a pplar cppice culture. I. Seasnal variatin in leaf, wd and bark cncentratins. Envirn. Pllutin 131: Wilcxn-Signed Rank test för parade stickprv de absluta differenserna ( Δ i ) rangrdnas R i (rang 1 = minsta) beräkna W + ch W igen: W + = σ i R i + W = σ i R i W + = = 16 W = =75 Aug Nv Δ i Δ i R i 8,1 11, -3,1 3,1 6 10,0 16,3-6,3 6,3 9 16,5 15,3 1, 1, 3 13,6 15,6 -,0,0 4 9,5 10,5-1,0 1,0 8,3 15,5-7, 7, 10 18,3 1,7 5,6 5,6 8 13,3 11,1,, 5 7,9 19,9-1,0 1,0 11 8,1 0,4-1,3 1,3 1 8,9 14, -5,3 5,3 7 1,6 1,7-0,1 0,1 1 13,4 36,8-3,4 3,4 13 1

13 Wilcxn-Signed Rank test för parade stickprv Idè bakm testet: Om båda fördelningar var identiska brde ungefär hälften av de parvisa differenserna vara psitiva ch den andra hälften vara negativa Dessutm brde psitiva ch negativa differenser av samma strlek vara lika sannlika Vi förväntar ss alltså, under H 0, att alla psitiva differenser får ungefär samma rangsumma sm alla negativa differenser Vi genmför alltså ett 1-S Wilcxn test för de parvisa differenserna (ganska lika det parade t-testet) W + = σ i R i + (summa över ranger sm tillhör psitiva x i ) W = σ i R i (summa över ranger sm tillhör negativa x i ) W + = = 16 W = =75 Testvariabel: W = min W +, W i Kritisk regin: Ω krit = W < W 0 (H 0 förkastas för små värden av testvariabeln Syftet: Mann-Whitney U-test H 0 : två berende (icke-parade) stickprv kmmer från identiska ppulatiner H a : det finns en förskjutning mellan ppulatinerna ( lcatin shift ) mtsvarar Student s t-test för icke-nrmalfördelade ppulatiner Exempel: två stickprv A ch B: x A = 5, 6, 7, 31 ch x B = 8, 9, 3, 35 Beräkning av testvariabeln (U): rdnar alla värden enligt deras strlek (minsta först) räknar hur många värden av A kmmer före varje B-värdet U B räknar hur många värden av B kmmer före varje A-värdet U A värde Från stickprv: A A A B B A B B bidrag till U värden från stickprv A kmmer före detta B 4 värden från stickprv A kmmer före detta B 13

14 Beräkning av testvariabeln (U): Mann-Whitney U-test räknar hur många värden av A kmmer före varje B-värdet U B räknar hur många värden av B kmmer före varje A-värdet U A värde Från stickprv: A A A B B A B B bidrag till U B värden från stickprv A kmmer före detta B U B = = 14 4 värden från stickprv A kmmer före detta B värde Från stickprv: A A A B B A B B bidrag till U A värden från stickprv B 0 värden från stickprv B kmmer före detta A kmmer före detta a U A = = Beräkning av testvariabeln (U): Mann-Whitney U-test U = min U A, U B Kritiska mrådet: mycket små värden för testvariabeln U tyder på en skillnad mellan fördelningarna för ppulatin A respektive ppulatin B det kritiska värdet (U 0 ) fas ur en tabell Ω krit = U < U 0 Förutsättningar ch styrka: berende slumpmässiga stickprv (lite) mindre styrka jämfört med Student s t-test ifall ppulatinerna är nrmalfördelade större styrka än Student s t-test för många andra fördelningar 14

15 Mann-Whitney U-test U hänger ihp med W (Wilcxn): n 1, n stickprvsstrlekar värde stickprv A A A B B A B B bidrag till U B bidrag till U A Rang (Wilcxn) W W U U U A B A B A = = 1 = = 4 ( n + 1) n1 1 = n1 n + n = n1 n + + U = n n = 16 B 1 ( n + 1) W A W B Wilcxns rangsumma 0 = = 14 0 = = sammanhang mellan U ch W Denna frmler används fta i praktiken (beräkning av W verkar vara enklare). Mann-Whitney U-test Om stickprvet är strt (n>5) Z = U μ U σ U ~ N(0, 1) är standard-nrmal μ U = n 1 n väntevärdet för testvariabel U σ U = n 1 n n 1 + n standardavvikelse för testvariabel U Ω krit = z > λα ( för tvåsidigt test ) Alternativa namn för Mann-Whitney U-test: Mann Whitney Wilcxn test Wilcxn rank-sum test Wilcxn Mann Whitney test 15

16 Syfte: Kruskal-Wallis test används istället för One-Way ANOVA ifall ppulatinerna inte är N-fördelade flera ppulatiner (treatments) jämförs (antalet ppulatiner = k) H 0 : alla k ppulatiner har samma fördelning H a : minst två ppulatiner har förskjutna fördelningar ( lcatin shift föreligger) Beräkning av testvariabeln: alla n = n 1 + n + + n k bservatiner rangrdnas (n i = antalet värden i grupp i) R i summa av alla ranger för stickprv i ഥR i = R i n i തR = 1 n n + 1 n k V = i=1 medelvärdet av alla ranger för stickprv i = n + 1 medelvärdet av alla ranger n i ഥR i തR mtsvarar SST i ANOVA: m H 0 gäller är alla ഥR i (ch തR) ungefär lika V liten k Ri n n+1 = summa av alla ranger = summa av n första naturliga tal 1 V H = n n + 1 = 1 n n n + 1 testvariabel, liten under H n 0 i i=1 Beräkning av testvariabeln: Kruskal-Wallis test V = n i ഥR i തR m H 0 gäller är alla ഥR i (ch തR) ungefär lika V liten H = k i=1 k Ri 1 V n n + 1 = 1 n n + 1 i=1 n i 3 n + 1 testvariabel, liten under H 0 Kritiska mrådet: Om H 0 gäller är testvariabeln H ungefär χ - fördelad, m alla n i är dessutm tillräckligt stra ( 5). H 0 förkastas m H (alltså även V) är str, i så fall avviker ju gruppmedelvärdena ഥR i mycket från det gemensamma medelvärdet തR. Ω krit = H > χ α f f = k 1 16

17 Kruskal-Wallis test Experiment: Vi vill veta m temperaturförhöjningen av havsvattnet i närheten av ett kärnkraftverk har ett inflytande på fiskarnas vikt: Vikten av fisk 38 F 4 F 46 F 50 F x_38 = c(, 4, 16, 18, 19) x_4 = c(15, 1, 6, 16, 5, 17) kruskal_wallis.r x_46 = c(14, 8, 1, 19, 4, 3) x_50 = c(17, 18, 13, 0, 1) weight = c(x_38, x_4, x_46, x_50) temp = c( rep(38, length(x_38)), rep(4, length(x_4)), rep(46, length(x_46)), rep(50, length(x_50))) fish = data.frame(weight = weight, temp = temp) bxplt(weight ~ temp, data = fish) kruskal.test(weight ~ temp, data = fish) # Kruskal-Wallis rank sum test # Kruskal-Wallis chi-squared =.0404, df = 3, p-value = Appendix Icke-parametriska test Uwe Menzel, 018 uwe.menzel@slu.se ; uwe.menzel@matstat.de 17

18 One-Sample Sign test Härledning av det kritiska värdet för H a : p > 0. 5 m stickprvet är strt (n>5): X ~ Bin(n, 0.5) X ~ AsN m nllhyptesen H 0 stämmer n Τ, 1 Τ n m H 0 stämmer (nrmalapprximtin) Z = X n 1 n ~ N 0, 1 m H 0 stämmer Det kritiska värdet ω α tas fram genm att lösa: P X > ω α H 0 sann = α (α förvald) när x > ω α förkastas H 0 ; α = P(fel typ I) One-Sample Sign test Härledning av det kritiska värdet för H a : p > 0. 5 m stickprvet är strt (n>5): Det kritiska värdet ω α tas fram genm att lösa: P X > ω α H 0 sann = α (α förvald) mfrma i parantesen P X n ω α n > = α 1 n 1 n P X n 1 n > λ α = α detta gäller för att termen till vänster i parantesen är N(0,1)-fördelad (kvantildefinitin) Jämförelse av båda ekvatiner ger: ω α n 1 n = λ α alltså: ω α = n + λ α 1 n kritiska värdet för H a: p >

19 One-Sample Sign test Härledning av det kritiska värdet för H a : p > 0. 5 m stickprvet är strt (n>5): ω α = n + λ α 1 n kritiska värdet för H a: p > 0.5 H 0 förkastas m x > ω α, alltså m x > n + λ α 1 n H 0 förkastas alltså m x n 1 n > λ α H 0 förkastas alltså m z > λ α för H a : p > 0.5 z = x n 1 teststatistika för sign-test, H 0 : p = 0.5 n One-Sample Sign test Härledning av det kritiska värdet för H a : p > 0. 5 m stickprvet är strt (n>5): ω α = n + λ α 1 n kritiska värdet för H a: p > 0.5 På ett liknande sätt erhåller vi: ω α = n λ α 1 n kritiska värdet för H a: p < 0.5 ω α = n ± λ α 1 n kritiska värden för H a: p 0.5 Sammanfattning kritiska mråden för sign test, strt stickprv: Ω krit = z λα Τ för tvåsidigt test (H a : p 0.5) Ω krit = z λ α för ensidigt test med H a : p > 0.5) Ω krit = z λ α för ensidigt test med H a : p < 0.5) 19