Parade och oparade test Andrew Hooker Division of Pharmacokinetics and Drug Therapy Department of Pharmaceutical Biosciences Uppsala University
Hypotesprövning: möjliga jämförelser Jämförelser mot ett visst värde Parvisa observationer Före och Efter inom samma individ Gruppvisa jämförelser 2 oberoende grupper Mellan 2 eller fler variabler Regression Analys av frekvenser och proportioner - χ 2 -test Mellan 3 eller fler observationstillfällen eller mellan 3 eller flera olika grupper ANOVA (variansanalys) 2
Parvisa observationer Det finns två typfall - Före och efter inom samma individ - Matchande kontroller där varje individ i stickprovet har en tvilling I hypotesprövningen undersöks differensen mellan de två beroende variablerna - Före - Efter - Stickprovs-individ - tvilling 3
Hypotesprövning: Parvisa observationer Parametrisk analys Parat Z-test - Används då n är stort (σ okänd), (centrala gränsvärdessatsen) - Används då σ är känd Parat t-test OBS: n=antalet par - Används då n är litet (σ okänd) men normalfördelning kan antas Icke-parametrisk analys Wilcoxons tecken-rangtest - Används då n är litet och normalfördelning ej kan antas 4
Hypotesprövning: Parade värden Definiera och beräkna teststorhet Parametrisk analys Vi använder antingen Z eller t : Z = X μ σ t n 1 = X μ σ H 0 X μ δ 0 Medelvärdet av de parvisa skillnaderna s = 1 n 1 n i σ s n i 2 Parvisa skillnader Genomsnittlig skillnad i hela populationen Z = s n t n 1 = s n 5
Hypotesprövning: Parade värden Parametrisk analys Är det någon skillnad mellan viruskoncentrationerna dag 1 och dag 5? Ett nytt antiviralt preparat ges till 7 patienter med Hepatit A Blodprover tas dag 1 och dag 5 Viruskoncentrationen i proverna analyseras Viruskoncentrationerna kan antas vara normalfördelade Parade värden, n litet men normalfördelning Parat 2-sidigt t-test! 6
Hypotesprövning: Parade värden Parametrisk analys Viruskoncentration Är det någon skillnad mellan viruskoncentrationerna dag 1 och dag 5? H 0 : δ = 0, ingen genomsnittlig skillnad i populationen H 1 : δ 0 ID [Virus] D1 [Virus] D5 1 908 340 2 113 172 3 443 303 4 140 116 5 1057 724 6 1586 860 7 472 420 2000 1500 1000 500 0 Dag 1 Dag 5 7
Hypotesprövning: Parade värden Parametrisk analys Är det någon skillnad mellan viruskoncentrationerna dag 1 och dag 5? s = 1 n 1 n i=1 i 2 t n 1 = s n Vi behöver beräkna i,, och s för att beräkna t-värdet 8
Hypotesprövning: Parade värden Parametrisk analys Är det någon skillnad mellan viruskoncentrationerna dag 1 och dag 5? ID [Virus] D1 [Virus] D5 i 1 908 340 568 2 113 172-59 3 443 303 140 4 140 116 24 5 1057 724 333 6 1586 860 726 7 472 420 52 = 255 n i=1 i 2 313 2 (-314) 2 (-115) 2 (-231) 2 78 2 471 2 (-203) 2 i 2 = 532285
Hypotesprövning: Parade värden Parametrisk analys Är det någon skillnad mellan viruskoncentrationerna dag 1 och dag 5? = 255 n = 7 H 0 : H 1 : s = Kritiskt värde för 5% signifikansnivå (95% CI): ±2.45 t n 1 =
Konfidensintervall: Parvisa observationer Precis som för beräkningar av populationsmedelvärden så kan vi bestämma ett konfidensintervall för medelvärdet av de parvisa skillnaderna ( ). Om konfidensintervallet inkluderar värdet för H 0 (d.v.s. 0) så kan vi inte säga att det finns en statistisk skillnad på den aktuella signifikansnivån. 11
Konfidensintervall: Parade värden Parametrisk analys (Z) Det sanna medelvärdet av skillnaderna i populationen ligger med 95% sannolikhet inom gränserna: δ = ± Z 95% = ± 1.96 s s n n 12
Konfidensintervall: Parade värden Parametrisk analys (t) Det sanna medelvärdet av skillnaderna i populationen ligger med 95% sannolikhet inom gränserna: δ = ± t 95%,n 1 s n 13
Konfidensintervall: Parade värden Parametrisk analys Är det någon skillnad mellan viruskoncentrationerna dag 1 och dag 5? = 255 n = 7 s = 298 δ = ± t 95%,n 1 s n Lägre gräns - Lower 95%CI = Övre gräns - Upper 95%CI = 14
Hypotesprövning: Parade värden Icke-parametrisk analys Wilcoxons tecken-rangtest Bygger på rangordning av differenserna ( i ) Förutsätter inte en viss fördelning Okänsligt för extremvärden 15
Hypotesprövning: Parade värden Icke-parametrisk analys Är det någon skillnad mellan viruskoncentrationerna dag 1 och dag 5? Samma exempel som tidigare men Viruskoncentrationerna kan INTE antas vara normalfördelade Parade värden, n litet och normalfördelning kan INTE antas 2-sidigt Wilcoxons tecken-rangtest! 16
Hypotesprövning: Parade värden Icke-parametrisk analys Är det någon skillnad mellan viruskoncentrationerna dag 1 och dag 5? H 0 : Ingen skillnad i viruskoncentration H 1 : Det finns en skillnad (2-sidigt test) Tillvägagångssätt: 1. Rangordna differenserna ( i ) utan att ta hänsyn till differensernas tecken 2. Summera rangtalen för de positiva och de negativa differenserna var för sig 3. Bedöm sannolikheten att observera de erhållna (eller mer extrema) differenserna om H 0 är sann 17
Hypotesprövning: Parade värden Icke-parametrisk analys Är det någon skillnad mellan viruskoncentrationerna dag 1 och dag 5? ID [Virus] D1 [Virus] D5 i 1 908 340 568 2 113 172-59 3 443 303 140 4 140 116 24 5 1057 724 333 6 1586 860 726 7 472 420 52 Rangtal 6 3 4 1 5 7 2 T + = T =
Hypotesprövning: Parade värden Icke-parametrisk analys Är det någon skillnad mellan viruskoncentrationerna dag 1 och dag 5? T + = T = Kontrollräkning: T + + T = n n + 1 2 =
Hypotesprövning: Parade värden Icke-parametrisk analys Är det någon skillnad mellan viruskoncentrationerna dag 1 och dag 5? Det kritiska värdet vid ett 2-sidigt Wilkoxons teckenrangtest bestäms utifrån en tabell och om den lägsta rangsumman underskrider eller är lika med detta värde så förkastas H 0! T + : 28 27 15 14 13 1 0 T - : 0 1 13 14 15 27 28 T α 2 T α 2 Signifikansnivån α
Hypotesprövning: Parade värden Icke-parametrisk analys Är det någon skillnad mellan viruskoncentrationerna dag 1 och dag 5? H 0 : Ingen skillnad i viruskoncentration H 1 : Det finns en skillnad (2-sidigt test) Kritiskt värde för 5% signifikansnivå (n=7): T 0.025 = 2 T =
Hypotesprövning: möjliga jämförelser Jämförelser mot ett visst värde Parvisa observationer Före och Efter inom samma individ Gruppvisa jämförelser 2 oberoende grupper Mellan 2 eller fler variabler Regression Analys av frekvenser och proportioner - χ 2 -test Mellan 3 eller fler observationstillfällen eller mellan 3 eller flera olika grupper ANOVA (variansanalys) 22
Gruppvisa jämförelser När vi inte har parvisa observationer så kan vi istället jämföra medelvärdena från två oberoende stickprov (populationer) - Effekten av läkemedel jämfört med placebo - Effekten av läkemedel x jämfört med läkemedel y I hypotesprövningen undersöks differensen mellan de två oberoende variablerna - Läkemedel v.s. Placebo - x v.s. y 23
Gruppvisa jämförelser Effekten har mätts efter två olika behandlingar (parallellgruppsstudie) och behandlingarna har följande distributioner från vilka vi erhållit ett antal stickprov: μ a μ b Variabelvärde Behandling A: Medelvärde μ a, standardavvikelse σ a Behandling B: Medelvärde μ b, standardavvikelse σ b
Gruppvisa jämförelser Hur gör vi en objektiv bedömning av skillnaden och hur objektiva ska vi vara? μ a μ b Variabelvärde
Hypotesprövning: Gruppvisa jämförelser / Oparade värden Parametrisk analys Z-test (2 prov) - Används då n a och n b är stora (σ okänd), (centrala gränsvärdessatsen) - Används då σ är känd t-test (2 prov) - Används då n a och n b är små (σ okänd) men normalfördelning kan antas Icke-parametrisk analys Wilcoxons rangsummetest OBS: n a och n b måste inte vara lika! OBS: s a och s b är två skattningar av samma σ! - Används då n a och n b är små och normalfördelning ej kan antas 26
Hypotesprövning: Oparade värden Parametrisk analys Definiera och beräkna teststorhet Skillnaden i stickprovsmedelvärde för grupp a och grupp b Vi använder antingen Z eller t : Z = X μ σ X x a x b σ s a 2 + s 2 b n a n b t n 1 = σ X μ σ s 2 pool μ μ a μ b 1 n a + 1 n b Skillnaden i populationsmedelvärde för grupp a och grupp b 0 H 0 Z = x a x b s 2 a + s t b 2 na+nb 2 = n a n b x a x b 2 1 s pool + 1 n a n b
Hypotesprövning: Oparade värden Definiera och beräkna teststorhet Parametrisk analys De båda stickprovsstandardavvikelserna (s a och s b ) är olika noggranna skattningar av populationsstandardavvikelsen (σ) Ju större stickprov desto säkrare skattning s pool är ett vägt medelvärde av s a och s b s pool = s a 2 n a 1 + s b 2 n b 1 n a 1 + n b 1 28
Hypotesprövning: Oparade värden Parametrisk analys Är det någon skillnad i effekt mellan läkemedel A och läkemedel B? 16 patienter randomiseras till behandling med läkemedel A eller läkemedel B mot Hepatit A 2 patienter med läkemedel B drar tillbaka sin medverkan i studien av anledningar som inte har med läkemedel B att göra 29
Hypotesprövning: Oparade värden Parametrisk analys Är det någon skillnad i effekt mellan läkemedel A och läkemedel B? Blodprover tas dag 1 och dag 5 Viruskoncentrationen i proverna analyseras och skillnaden i koncentration mellan dag 1 och dag 5 beräknas Viruskoncentrationerna kan antas vara normalfördelade Oparade värden, n a och n b små, normalfördelning kan antas Oparat 2-sidigt t-test! 30
Hypotesprövning: Oparade värden Parametrisk analys Är det någon skillnad i effekt mellan läkemedel A och läkemedel B? Grupp A a = 2066 virus/l s a = 1180 virus/l Grupp B n a = 8 n b = 6 H 0 : H 1 : b = 664 virus/l s b = 297 virus/l Kritiskt värde för 5% signifikansnivå (95% CI): ±2.18 används här som notation istället för x eftersom vi jämför en sänkning av viruskoncentrationer i blodet. Dock används formlerna på samma sätt som om x hade använts!
Hypotesprövning: Oparade värden Parametrisk analys Är det någon skillnad i effekt mellan läkemedel A och läkemedel B? t na +n b 2 = a b s pool 2 1 n a + 1 n b 2 Vi behöver beräkna s pool för att kunna beräkna t-värdet 32
Hypotesprövning: Oparade värden Parametrisk analys Är det någon skillnad i effekt mellan läkemedel A och läkemedel B? 2 s pool = s a 2 n a 1 + s 2 b n b 1 n a 1 + n b 1 2 s pool = 33
Hypotesprövning: Oparade värden Parametrisk analys Är det någon skillnad i effekt mellan läkemedel A och läkemedel B? t na +n b 2 = a b s pool 2 1 n a + 1 n b 34
Hypotesprövning: Oparade värden Parametrisk analys Är det någon skillnad i effekt mellan läkemedel A och läkemedel B? Kritiskt värde för 5% signifikansnivå (95% CI): ±2.18
Konfidensintervall: Gruppvisa jämförelser Ett konfidensintervall för skillnaden mellan grupperna kan beräknas. Om konfidensintervallet inkluderar värdet för H 0 (d.v.s. 0) så kan vi inte säga att det finns en statistisk skillnad på den aktuella signifikansnivån. 36
Konfidensintervall: Oparade värden Parametrisk analys (Z) Den sanna skillnaden mellan gruppernas medelvärden ligger med 95% sannolikhet inom gränserna: μ a μ b = x a x b ± Z 95% s a 2 2 n a + s b n b = x a x b ± 1.96 s a 2 2 n a + s b n b 37
Konfidensintervall: Oparade värden Parametrisk analys (t) Den sanna skillnaden mellan gruppernas medelvärden ligger med 95% sannolikhet inom gränserna: μ a μ b = x a x b ± t 95%,na +n b 2 s pool 2 1 n a + 1 n b 38
Konfidensintervall: Oparade värden Parametrisk analys Är det någon skillnad i effekt mellan läkemedel A och läkemedel B? Grupp A a = 2066 virus/l s a = 1180 virus/l Grupp B n a = 8 n b = 6 2 s pool = 848987 b = 664 virus/l s b = 297 virus/l a b = Lägre gräns - Lower 95%CI = Övre gräns - Upper 95%CI =
Hypotesprövning: Oparade värden Icke-parametrisk analys Wilcoxons rangsummetest Bygger på rangordning av mätdata Förutsätter inte en viss fördelning Okänsligt för extremvärden Wilcoxons rangsummetest kallas ibland även för Mann-Whitneys U-test! 40
Hypotesprövning: Oparade värden Icke-parametrisk analys Är det någon skillnad i effekt mellan läkemedel A och läkemedel B? Samma exempel som tidigare men Viruskoncentrationerna kan INTE antas vara normalfördelade Oparade värden, n a och n b små, normalfördelning kan INTE antas 2-sidigt Wilcoxons rangsummetest! 41
Hypotesprövning: Oparade värden Icke-parametrisk analys Är det någon skillnad i effekt mellan läkemedel A och läkemedel B? H 0 : Ingen skillnad mellan grupperna (läkemedlen) H 1 : Det finns en skillnad (2-sidigt test) Tillvägagångssätt: 1. Rangordna alla observerade värden, från det lägsta till det högsta 2. Summera rangtalen för de båda stickproven var för sig 3. Rangsumman för det mindre stickprovet jämförs med motsvarande tabellvärden och om rangsumman är tillräckligt låg eller tillräckligt hög så förkastas H 0 42
Hypotesprövning: Oparade värden Icke-parametrisk analys Är det någon skillnad i effekt mellan läkemedel A och läkemedel B? ID i A/B Rangtal ID i A/B Rangtal 1 3574 A 14 8 555 B 3 2 508 A 2 9 1983 A 10 3 589 B 4 10 902 B 7 4 822 A 6 11 654 B 5 5 214 B 1 12 2645 A 11 6 1071 B 9 13 934 A 8 7 3127 A 13 14 2931 A 12 Rangsumman för den minsta gruppen (B): T B =
Hypotesprövning: Oparade värden Icke-parametrisk analys Är det någon skillnad i effekt mellan läkemedel A och läkemedel B? De kritiska värdena vid ett 2-sidigt Wilkoxons rangsummetest bestäms utifrån en tabell och om rangsumman för den minsta gruppen faller utanför intervallet som bildas av de kritiska värdena (eller exakt på intervallgränserna) så förkastas H 0!
Hypotesprövning: Oparade värden Icke-parametrisk analys Är det någon skillnad i effekt mellan läkemedel A och läkemedel B? H 0 : Ingen skillnad mellan grupperna (läkemedlen) H 1 : Det finns en skillnad (2-sidigt test) Kritiska värden för 5% signifikansnivå (n a = 8, n b = 6): T 0.05 = T B =
Sammanfattning Parametrisk vs. icke-parametrisk analys Parametrisk analys + Kvantifierar skillnader och spridningar Icke-parametrisk analys + Inga antaganden om fördelningen (gäller lika bra för alla fördelningar) + Ordinaldata (ordningstal) - Ej robust vid små n (och ej normalfördelning) - Kan missa små skillnader (lägre teststyrka) 46
Sammanfattning Parametrisk vs. icke-parametrisk analys Parametrisk analys Små n: Om normalfördelning kan antas Stora n: OK (om fördelningen ej är alltför skev - i så fall testa att transformera) Icke-parametrisk analys Om fördelningen är okänd (exempelvis p.g.a. litet n) Om fördelningen är skev Om många extrema värden (så kallade outliers ) finns Aldrig om n<4 47
Sammanfattning Hypotesprövning: Parade och oparade test Parvisa observationer Parametrisk analys Parat t-test Parat Z-test Konfidensintervall Icke-parametrisk analys Wilcoxons teckenrangtest Oberoende grupper Parametrisk analys Oparat t-test Oparat Z-test Konfidensintervall Icke-parametrisk analys Wilcoxons rangsummetest 48