Föreläsning 12, FMSF45 Hypotesprövning Stas Volkov 2017-11-14 Stanislav Volkov s.volkov@maths.lth.se FMSF45 F12: Hypotestest 1/1
Konfidensintervall Ett konfidensintervall för en parameter θ täcker rätt värde på θ med sannolikheten 1 α. 1 α kallas konfidensgrad. Vanliga värden är 0.95, 0.99 och 0.999. Intervall för normal(approximation) Om θ N(θ, D(θ )) eller θ N(θ, D(θ )): Om D(θ ) känd: I θ = θ ± λ α/2 D(θ ) Om D(θ ) okänd, skattas med d(θ ): I θ = θ ± t α/2 (f) d(θ ) om d(θ ) innehåller σ = s = I θ = θ ± λ α/2 d(θ ) annars Q f Stanislav Volkov s.volkov@maths.lth.se FMSF45 F12: Hypotestest 2/1
Exempel: Fosforhalt Man har mätt fosforhalten (μg/l) i en viss sjö n = 4 gånger: 92.7 110.9 101.4 122.9 Vi antar att mätningarna är oberoende observationer av X i N(μ, σ) där μ är den sanna fosforhalten i sjön. Vi vet att σ = 16 och skattar μ = x = 106.975. Om fosforhalten i en sjö överstiger 100 μg/l klassas sjön som hypertrof (övergödd). Kan vi påstå att sjön är övergödd, baserat på dessa fyra mätningar? Stanislav Volkov s.volkov@maths.lth.se FMSF45 F12: Hypotestest 3/1
Hypotesprövning H 0 förkastas om observationerna, θ, avviker för mycket från nollhypotesen θ 0. Testa nollhypotesen H 0 : θ = θ 0 mot mothypotesen (t.ex.) H 1 : θ θ 0 på nivån α; signifikansnivån (felrisken) α ges av α = P(H 0 förkastas, givet att den är faktiskt sann) För mycket beror på osäkerheten i skattningen, D(θ ), samt på signifikansnivån α. Normalt är α = 0.05, 0.01 eller 0.001. Stanislav Volkov s.volkov@maths.lth.se FMSF45 F12: Hypotestest 4/1
Mothypoteser (ekvivalent Alternativ hypoteser) De vanligaste mothypoteserna är H 1 : θ θ 0 då H 0 förkastas om θ avviker för långt från θ 0 både uppåt och nedåt. H 1 : θ < θ 0 då H 0 förkastas om θ är tillräckligt mycket mindre än θ 0. H 1 : θ > θ 0 då H 0 förkastas om θ är tillräckligt mycket större än θ 0. Stanislav Volkov s.volkov@maths.lth.se FMSF45 F12: Hypotestest 5/1
Olika metoder för att utföra hypotestest 1. Direktmetoden eller P-värde Antag att H 0 är sann Räkna ut P-värdet p = P(Få det vi fått eller värre ) Förkasta H 0 om p < α 2. Konfidensmetoden. Gör ett konfidensintervall med konfidensgraden 1 α och förkasta H 0 på nivån α om intervallet ej täcker θ 0. Intervallen skall, beroende på H 1, vara Test H 1 : θ < θ 0 H 1 : θ θ 0 H 1 : θ > θ 0 Intervall: uppåt begr tvåsidigt nedåt begr 3. Testkvantitet T(X) och kritiskt område C Förkasta H 0 om testkvantiteten hamnar i det kritiska området. C och T skall väljas så att α = P(T(X) C) = P(Förkasta H 0, givet H 0 är sann) Stanislav Volkov s.volkov@maths.lth.se FMSF45 F12: Hypotestest 6/1
Exempel: Fosforhalt(igen) Stickprov x 1,..., x n från X N(μ, σ) där n = 4, σ = 16 och μ = x = 106.975. Hypoteser: H 0 : μ = 100 H 1 : μ > 100 dvs H 0 förkastas om μ är tillräckligt mycket > 100. Hur långt från 100 kan man förvänta sig att medelvärdet kan hamna om väntevärdet är 100? = Kritiskt område Är 106.975 orimligt långt från 100? = Direktmetoden Är 100 ett rimligt väntevärde om skattningen blev 106.975? = Konfidensintervall Stanislav Volkov s.volkov@maths.lth.se FMSF45 F12: Hypotestest 7/1
Lämplig procedur för lösningar: Modell: Vad är slumpmässigt och vilken fördelning kan det ha? Sätt upp en lämplig modell. Skattning: Vilken parameter är vi intresserade av, vad i den är okänt och hur skattar vi det? Egenskaper: Vad har skattningen för egenskaper? Problemet: Formulera och lös problemet. Slutsats: Svara på frågan. Stanislav Volkov s.volkov@maths.lth.se FMSF45 F12: Hypotestest 8/1
Fosfor: 1. Modell: Vi har n = 4 oberoende observationer x 1,..., x n från X i = fosformätning nr. i N(μ, σ) där σ = 16 är känd. 2. Skattning: Vi skattar μ med μ = x = 106.975. 3. Egenskaper: ( Vi har ) att μ = X σ N μ, = N n ( μ, 16 4 ) = N(μ, 8). 4. Problemet: Vi vill testa H 0 : μ = 100 mot H 1 : μ > 100 på signifikansnivån (t.ex.) α = 0.05. ( ) Om H 0 är sann så gäller att μ σ N μ 0, = N(100, 8). n Stanislav Volkov s.volkov@maths.lth.se FMSF45 F12: Hypotestest 9/1
4. (forts): Lösning m.h.a. direktmetoden. P-värdet för testet blir p = P(få det vi fått eller värre om H 0 är sann) = P( X > x μ = μ 0 ) = P( X > 106.975 μ = 100) ) ( ) ( x μ0 106.975 100 = 1 Φ σ/ = 1 Φ n 8 1 Φ(0.87) 0.19 Eftersom p = 0.19 α = 0.05 kan H 0 kan inte förkastas på signifikansnivån 5 %. Lösning med hjälp av konfidensintervall:... Lösning med hjälp av kritiskt område:... 5. Slutsats: Nej, vi kan inte påstår att sjön är övergödd. Stanislav Volkov s.volkov@maths.lth.se FMSF45 F12: Hypotestest 10/1
Normalfördelning, θ N (θ, D(θ )), H 0 : θ = θ 0 Testkvantitet: T = θ θ 0 D(θ ), D(θ ) känd T = θ θ 0 d(θ ), D(θ ) okänd och σ = s = Förkasta H 0 om (kritiska områden) Q f H 1 : θ < θ 0 H 1 : θ θ 0 H 1 : θ > θ 0 D(θ ) känd T < λ α T > λ α/2 T > λ α D(θ ) okänd T < t α (f) T > t α/2 (f) T > t α (f) Jämför kvantiler λ α eller t α med konfidensintervallen. Stanislav Volkov s.volkov@maths.lth.se FMSF45 F12: Hypotestest 11/1
Styrkefunktion & Felrisker Styrkefunktion Används för att avgöra hur bra testet skiljer H 0 från H 1. h(θ) = P(Förkasta H 0 om θ är rätt värde) Typ 1 fel: Typ 2 fel: α = P(H 0 förkastas om H 0 sann) β = P(H 0 förkastas ej om H 0 ej sann) Naturens okända sanning H 0 sann H 1 sann Vårt H 0 förk. ej β beslut H 0 förkastas α Vi ser att α = h(θ 0 ). Om rätt värde på θ är θ 1 fås β = 1 h(θ 1 ). Stanislav Volkov s.volkov@maths.lth.se FMSF45 F12: Hypotestest 12/1
Felrisker Antag n = 5 observationer från en N (μ, 1) fördelning. Om vi vill testa H 0 : μ = 1 H 1 : μ > 1 blir fördelningen för μ då H 0 är sann respektive om μ = 2. Stanislav Volkov s.volkov@maths.lth.se FMSF45 F12: Hypotestest 13/1
Exempel: Rattonykterhet Gränsen för rattonykterhet är 0.2. Antag att mätvärdet vid en mätning, x i, är X i = μ + ε i där μ är den sanna alkoholhalten och ε i är oberoende, N(0, 0.04)-fördelade mätfel. För att avgöra om en person är skyldig till rattonykterhet kan man testa hypotesen H 0 : μ = 0.2 mot H 1 : μ > 0.2 på nivån α = 0.001. Stanislav Volkov s.volkov@maths.lth.se FMSF45 F12: Hypotestest 14/1
1. Ange i ord vad felrisken α = P(Förkasta H 0 om H 0 är sann) innebär i hypotestestet ovan. 2. Om man gjort n = 3 mätningar och fått medelalkoholhalten till x = 0.24, skall man då dömas? 3. Hur högt kan det uppmätta medelvärdet, baserat på 3 mätningar, vara utan att man döms? 4. Bestäm styrkefunktionen för testet. Dvs. få reda på h(μ) = P(H 0 förkastas om μ är det sanna värdet) 5. Om den sanna alkoholhalten är 0.25, vad är då sannolikheten att inte dömas? 6. Hur många mätningar behöver göras för att man med högst β = 20% sannolikhet skall frikännas om man har 0.25. (Dvs bestäm n så att h(0.25) 1 β, där β = 0.2.) Stanislav Volkov s.volkov@maths.lth.se FMSF45 F12: Hypotestest 15/1
Styrkefunktion för testet av promillehalt (H 0 : μ = 0.2) h(µ) = P(Förkasta H 0 ) 1 0.8 0.6 0.4 0.2 n = 3, σ = 0.04 0 0.1 0.2 0.3 0.4 faktisk alkoholhalt µ 1 0.8 0.6 0.4 0.2 n fördubblad resp. σ halverad 0 0.1 0.2 0.3 0.4 faktisk alkoholhalt µ Den okända sanningen Nykter Olovligt påverkad Mätresultat μ = x Säkerhetsmarginal Kritiskt område Slutsats från test Frikänns Döms μ 0 0.2 0.27 Stanislav Volkov s.volkov@maths.lth.se FMSF45 F12: Hypotestest 16/1