Föreläsning 5 och 6.

Transkript

1 Föreläsning 5 och 6. Jesper Rydén Matematiska institutionen, Uppsala universitet jesper@math.uu.se Tillämpad statistik för STS vt 2014

2 Icke-parametriska metoder Föreläsningarnas innehåll: Allmänt, icke-parametrisk inferens Wilcoxons rangsummetest (tecken-rangtest) Wilcoxons parvis ordnade test Teckentest Runtest Test av fördelningar: Shapiro Wilk, Anderson Darling Återsamplingsmetoder

3 Icke-parametriska metoder Överblick, icke-parametriska metoder: Data är inte kvantitativa, kan t.ex. utgöras av rangordning. Normalfördelning anses inte rimlig, skev fördelning. Används för statistiska hypotestest med direktmetoden, konfidensintervall produceras ej. Nackdel: Ofta ett trubbigare instrument vid statistiskt test.

4 Inledning: Ett konfidensintervall Betrakta ett ordnat stickprov x (1),..., x (n) där x (1) <... < x (n). Låt µ = E[X ], bilda konfidensintervallet I µ = [x (1), x (n) ]. Vilken konfidensgrad får detta intervall? [Tavlan]

5 Introduktion till Wilcoxontest: Brun utan sol Man kan skaffa sig solbränna trots ett bistert klimat på två sätt: (1) Lotion; (2) Solarium. Lotion är billigare, men solarium anses ge ett bättre resultat. I en statistikkurs i USA slumpades 5 deltagare ut: 3 personer fick använda lotion, 2 fick besöka solarium. Resultatet granskades och rangordnades på en skala: 1: Bäst solbränna; 5: Sämst solbränna. Hur kan man testa eventuell skillnad? Kan ett p-värde genereras? [Tavlan]

6 Summor av ranger C.F. Gauss ( ) i skolan: N j = N = j=1 N(N + 1) 2

7 Wilcoxons tvåstickprovstest Mann Whitneys test Två datamaterial A : x 1,..., x n1 och B : y 1,..., y n2. Rangordna samtliga N = n 1 + n 2 observationer och bilda Då gäller att R A = Rangsumman för A-observationerna, R B = Rangsumman för B-observationerna. R A + R B = N = förutsatt att alla dubletter hanterats korrekt. N(N + 1) 2 Eftersom summan är konstant det ekivalent att basera testet på R A eller R B. Normalt väljs den som motsvarar det mindre stickprovet.

8 Wilcoxons tvåstickprovstest Mann Whitneys test Observationer: x 1,..., x n1 och y 1,..., y n2 är oberoende stickprov från de kontinuerliga fördelningarna F och G. Låt N = n 1 + n 2. Hypotes: H 0 : F = G Rangsumman r för x-stickprovet är en observation från R som under H 0 har N + 1 N + 1 E[R] = n 1, V[R] = n 1 n Om n 1 7, n 2 7 är R appr. normalfördelad. Om dubletter förekommer, dvs. e olika värden som förekommer d 1, d 2,..., d e gånger blir V[R] = n 1 n 2 N R-rutin: wilcox.test n 1 n 2 12N(N + 1) e i=1 d i (d 2 i 1)

9 Exempel: Sandkorn Diametern hos sandkorn i två typer av sediment uppmättes. Är sandkornen från andra stickprovet stokastiskt större, dvs. P(X 1 > a) P(X 2 > a) för alla a med sträng olikhet för något a. Sedimenttyp 1: Sedimenttyp 2: Vy från Sandhammaren.

10 Exempel: Sandkorn Sorterade data: I I I I II I I II I I I I II I I II II II I I II II II II II II II II I Rangsumma för sedimenttyp 1: = 162. Rangsumma för sedimenttyp 2: = 273.

11 Wilcoxons parade teckenrangtest Observationer: z 1, z 2,..., z n som är parvis differenser. Rangordna observationerna efter absolutbelopp och låt w vara rangsumman för de positiva observationerna. Rangsumman w är en observation av W som under H 0 har E[W ] = n(n + 1) n(n + 1)(2n + 1), V[W ] = 4 24 Om n är tillräckligt stort (n 12) är W appr. normalfördelad. Vid dubletter: V[W ] = R-rutin: wilcox.test n(n + 1)(2n + 1) e i=1 d i (d 2 i 1)

12 Exempel: Teckenrangtest En ny katalysatorkomponent undersöks genom att koloxidnivån i avgasutsläppen mäts hos 24 bilar, först med ordinarie katalysator och sedan med den nya komponenten tillsatt. Differenserna (ordinarie ny komponent) befinns vara (i lämplig enhet): Testa hypotesen H 0 : Den nya komponenten har ingen inverkan på koloxidnivån mot alternativet H 1 : Den nya komponenten minskar koloxidnivån. Alm & Britton, Exempel 8.15

13 Teckentest Situation: Parvis ordnat stickprov (x 1, y 1 ),..., (x n, y n ). Hypotes: H 0 : Samma fördelning för X och Y, H 1 : Fördelning förskjuten Inför z = Antal fall med x i y i > 0. Då gäller Z Bin(n, 1/2). Hypotestest: Direktmetoden, beräkna p-värde. Vid lika par: stryk paret. (Anm. 8.8) Alernativ tolkning: test av median. R-rutin: library(bsda), sign.test

14 Teckentest Några kommentarer: p-värdet blir större än i Wilcoxon tecken-rangtest Teckentestet har lägre styrka, dvs. inte samma förmåga att upptäcka signifikanta skillnader. Differenserna behöver inte uttryckas med siffror; räcker om de kan beskrivas som positiva eller negativa. Lägre styrka: priset man får betala för att inte göra några antaganden. Men testet kan alltid användas. Testet kan användas för att testa hypoteser om medianen i en kontinuerlig fördelning, eller andra kvantiler.

15 Helsingborgs rådhus. Exempel: Arkitekttävling Två arkitekter har gjort varsitt förslag, A och B, till nytt rådhus. Bland invånarna valdes slumpvis 11 att ingå i en kommitté som skulle bedöma förslagen. Resultat av bedömningen: 6 föredrog A, 3 föredrog B och 2 svarade vet ej. Är alternativ A populärast i populationen?

16 Exempel: Oktantal Datamaterial: 15 observationer av oktantal i bensin Testa på nivån 0.01 nollhypotesen att medianen µ = 98.0 mot att µ > 98.0.

17 Introduktion till likaföljdtest: Kasta mynt Kasta ett mynt som vi antar är välbalanserat 10 gånger, notera Krona (R) och Klave (L). Tre exempel på följder. Följd 1: Följd 2: Följd 3: R R R L L R L L R L R R R R R L L L L L R L R L R L R L R L Skattningen av sannolikheten för Krona densamma i samtliga fall. Ordningsföljden dock av olika struktur. Oberoende? Begreppet likaföljd (run) användbart: Följande sekvens har 5 likaföljder AAAA B AA BBBB A

18 Likaföljdtest (svit-test, run test) Föreligger slumpmässig ordning? Klustertendenser? Antag n 1 symboler av typ 1, n 2 av typ 2. Om n 1 10, n 2 10 gäller för att Z N(µ, σ 2 ) där Z = Totala antalet likaföljder µ = 2n 1n 2 n 1 + n 2 + 1, σ = 2n 1 n 2 (2n 1 n 2 n 1 n 2 ) (n 1 + n 2 ) 2 (n 1 + n 2 1)

19 Likaföljdtest (run tests) Jämnt antal symboler n = 2m. Exakt fördelning, direktmetoden: P(Z = 2k) = 2( )( m 1 m 1 ) k 1 k 1 ), P(Z = 2k + 1) = 2( )( m 1 m 1 ) k k 1 ( 2m ). m ( 2m m R-rutin: library(tseries), runs.test

20 Exempel: Produktion Vid en maskin tillverkas komponenter som kan uppfylla kvalitetskraven (K) eller vara felaktiga (F). Följande sekvens har registrerats: KKKKK FFFF KKKKKKKKKK FF KK FFFF Testa på signifikansnivån 0.01 att ordningsföljden är slumpmässig. [Tavlan]

21 Shapiro Wilk-test Hypotes: Teststorhet: H 0 : Normalfördelning råder ( n i=1 W = a ) 2 ix (i) n i=1 (x i x) 2 där x (i) utgör det ordnade stickprovet och a i är konstanter. Förkasta H 0 om W W α. Man har att 0 < W < 1. Värden nära 1: nära normalfördelning. R-rutin: shapiro.test

22 Anderson Darling-test Hypotes: H 0 : Data följer en viss fördelning Teststorhet: [ n ] A 2 = 1 (2i 1)(ln(u i ) + ln(1 u n+1 i )) n n i=1 där u i = F (x (i) ) är värdet av den teoretiska fördelningsfunktionen i den i:e största observationen x (i). Stora stickprov: Kritiskt värde (α = 0.05); (α = 0.01). R-rutin: library(nortest), ad.test (Testar mot normalfördelning)

23 Återsamplingsmetoder Oberoende stickprov x 1,..., x n från F (x; θ). Skattning: θ = θ (x 1,..., x n ). Empirisk fördelningsfunktion: F n (x). 1. Drag med återläggning n stycken obs från ursprungliga stickprovet x 1,..., x n. Kalla detta stickprov z 1,..., z n. 2. Beräkna θ B = θ (z 1,..., z n ). Upprepa steg (1) och (2) ett stort antal M gånger, resulterar i Beräkna θ B i, i = 1,..., M. θ B = 1 M M i=1 θ B i, s 2 θ B = 1 M 1 M (θi B θ B ) 2, i=1 finn kvantiler i det ordnade stickprovet θ B (1),..., θb (M).