Jesper Rydén. Matematiska institutionen, Uppsala universitet Tillämpad statistik 1MS026 vt 2014

Transkript

1 Föreläsning 2. Jesper Rydén Matematiska institutionen, Uppsala universitet Tillämpad statistik 1MS026 vt 2014

2 ML-metoden: Standardfördelningar ML-skattning av parametrar i följande standardfördelningar: Poissonfördelning, exponentialfördelning, normalfördelning. [Tavlan] Läs på egen hand Exempel 7.14 (om likformig fördelning) och gör sedan Övning , taxiproblemet.

3 Minstakvadratmetoden Låt x 1,..., x n vara ett slumpmässigt stickprov från slumpvariabeln X med E[X ] = m(θ) där m är en känd funktion. Låt vidare Q(θ) = n (x i m(θ)) 2. i=1 Det värde θ Θ som mimimerar Q(θ) kallas minstakvadratskattningen av θ. Används flitigt i regressionsanalys.

4 Statistisk inferens Hittills: Metodik för punktskattning av parametrar. Nu följer: Metodik för statistisk inferens kring parametrarna; statistisk hypotesprövning. Dels allmänna begrepp, dels beräkningar för vissa viktiga specialfall.

5 Några exempel Krav: För medelnivån µ för utsläpp av en viss förorening skall gälla µ 3 (enhet: ppm, parts per million). Analytiker vid EPA granskar ett företag. Baserat på dagliga mätningar, kan man avgöra om företaget uppfyller kraven? EPA (United States Environmental Protection Agency)

6 Några exempel Kretskort till mobiltelefoner anländer till en tillverkare i paket om Underleverantören hävdar att högst 1% är felaktiga. Att testa samtliga är för tids- och kostnadskrävande, man tar därför ut stickprov om 100 stycken. Om antalet Y av felaktiga i stickprovet är tillräckligt stort skickas paketet åter till underleverantören.

7 Parametrisk inferens Från grundkursen: Antag n st. ober., normalfördelade obs. från N(µ, σ 2 ). Med hjälp av följande resultat för fördelningar kan konfidensintervall konstrueras och hypotestest genomföras: X µ σ/ n N(0, 1), X µ S/ t(n 1) n där S 2 = 1 n 1 n (X i X ) 2 i=1 I grundkursen: oftast inferens kring parametern µ.

8 Täthetsfunktioner, t-fördelningen df=1 df=5 N(0,1)

9 Gosset: Mannen bakom t-fördelningen William S. Gosset, Brittisk statistiker. Verksam vid bryggeriet Guinness.

10 Konfidensintervall för medelvärde resp. proportion Exempel: 95% konfidensintervall, n oberoende obs. Medelvärde Exakt intervall: x ± t (n 1) d där medelfelet d = s/ n. Stora stickprov (asymptotiskt): x ± λ d. Proportion Asymptotiskt (härlett under normalapproximation): ˆp ± λ d där medelfelet d = ˆp(1 ˆp)/n. (Avsevärt bättre intervall finns framtagna: Wilsonintervall, Agresti Coull.)

11 Statistisk hypotesprövning Statistisk hypotesprövning: Jerzy Neyman ( ), Egon S. Pearson ( ). Epokgörande artiklar

12 Statistisk hypotesprövning: vetenskaplig dispyt Citat från W.E. Deming, 1930-tal: Karl Pearson and R A Fisher disagree almost to the point of taking up arms on some questions in statistics. K Pearson has no use for Student, either. Student and R A Fisher stand together. Fisher can say nothing good of Neyman and Pearson. I have heard from all sources that Egon Pearson is really a prince of a fellow.

13 Några begrepp inom hypotesprövning Utgångspunkt: Stickprov x = (x 1,..., x n ) från X med fördelningen F (x; θ). Nollhypotes: H 0 : θ = θ 0 Alternativhypotesen H 1 kan vara enkel, H 1 : θ = θ 1, eller sammansatt, t.ex. H 1 : θ > θ 0. En hypotes av typen H 1 : θ > θ 0 eller H 1 : θ < θ 0 är ensidig, medan H 1 : θ θ 0 är tvåsidig. Definition. Med signifikansnivån eller felrisken α menas α = P H0 (Förkasta H 0 ). Önskvärt: liten felrisk (vanliga val: α = 0.05 α = 0.01, α = 0.001).

14 Exempel: Krav vid mätning av föroreningar Ett exempel på test för problemet i fråga: H 0 : µ = 3 med sammansatt, ensidig mothypotes H 1 : µ > 3 Fortsatt frågeställning: Hur kan data användas för att beräkna felrisker? Hur kan t.ex. medelvärdet x utnyttjas?

15 Diskussion! Ange lämpliga hypoteser (H 0 och H 1 ) i följande situationer: (a) Andelen rökare i en viss grupp undersöktes för ett år sedan och befanns vara 10%. Man vill nu undersöka effekten av en genomförd antirökkampanj. (b) Man vill undersöka om det är någon skillnad i rökbenägenhet mellan två grupper, A och B. (c) Blir det någon skillnad i (b) om man observerat andelarna 11% för A och 9% för B? (d) Man vill undersöka effekten (µ, som bör vara hög) hos en ny medicin jämfört med en befintlig med effekten µ 0. (e) En domstol ska avgöra om en person är skyldig eller inte i ett indiciemål. [Övn ]

16 Testvariabelmetoden Hitta en testvariabel T (x) baserad på stickprovet och till den ett kritiskt område C. Test: Om T C förkastas H 0 och ett signifikant resultat säges föreligga. Om T / C förkastas inte H 0 och resultatet är ej signifikant. Det kritiska området väljs så att felrisken α blir den önskade.

17 Tolkning (prof. Gunnar Blom, Lund) Observation av ett djur, förslag till nollhypotes och test. Testvariabel: Kritiskt område: H 0 : Djuret är en häst. T = Antal ben C = {0, 1, 2, 3, 5, 6,...}. Test: Om T 3 eller T 5 förkasta H 0 ; om T = 4, förkasta inte H 0. Om T = 4 förkastas inte H 0, men H 0 kan därför inte godkännas det kan ju röra sig om ett annat fyrfotadjur än en häst.

18 Viktigt exempel: väntevärde i normalfördelning Antag att man vill testa µ = 3 och ställer upp med mothypotesen H 0 : µ = 3 H 1 : µ > 3. Tillgängligt: Stickprovet x 1,..., x n från en normalfördelning med okänd varians σ 2 vilken skattas med s. Lämplig testvariabel (visas senare): T = x 3 s/ n Kritiskt område: {T > t α/2 (n 1)}.

19 Beslutsproblem: felrisker vid test Två fel kan inträffa vid hypotesprövning. Fel av första slaget (typ I): Förkasta H 0 av misstag (då alltså H 0 är sann). Fel av andra slaget (typ II): Förkasta inte H 0 trots att H 1 är sann. Ett tests så kallade styrka kan beräknas med hjälp av styrkefunktionen: h(θ) = P θ (Förkasta H 0 ).

20 Feltyper

21 Feltyper

22 Beslutsproblem: felrisker vid test Exemplet med granskning av utsläpp: H 0 sann H 1 sann Kraven uppfylls (acceptera H 0 ) Korrekt beslut Fel av typ II Kraven uppfylls inte (förkasta H 0 ) Fel av typ I Korrekt beslut Fel av typ I: Företaget oskyldigt dömt av EPA, trots att föreskrifterna följts. Fel av typ II: Missas av EPA, trots att föreskrifterna ej följts.

23 Konsekvenser, fel? Vilken feltyp är allvarligast? EPAs synvinkel: Typ I. En falsk anklagelse som senare uppdagas kan innebära dyra rättegångskostnader och försämrad goodwill. Boende nära industrin: Typ II. EPA missar att företagets nivåer är otillåtna, miljön förstörs.

24 Exempel: Uppgradering av programvara Ett företag har just utvecklat en uppgradering av en programvara. Man tror att det går att sälja denna till över 20% av de nuvarande kunderna. Tio kunder valdes ut slumpmässigt, och av dessa menade fyra att de tänkte köpa programmet. Baserat på detta stickprov, finns det tillräckliga bevis för att mer än 20% av kunderna kommer att köpa uppgraderingen?

25 Exempel: Uppgradering av programvara Beteckna med p den sanna andelen blivande köpare. Hypoteser: H 0 : p = 0.2 H 1 : p > 0.2 Inför slumpvariabeln Y Bin(10, p). Stora värden på Y stöder mothypotesen. Vad är lämpligt kritiskt område? Antag att vi i förväg valt Y 4. Testvariabel: T = y, kritiskt område: y 4. För stickprovet i fråga fann man y = 4, alltså förkastas H 0. Företaget har rätt i sin uppfattning.

26 Exempel: Uppgradering av programvara Fel av typ I (röd färg): α = P(Y 4 p = 0.2) = 1 P(Y 3 p = 0.2) = R-kod: 1-pbinom(3,10,0.2)

27 Exempel: Uppgradering av programvara Fel av typ II (röd färg). Vad är sannolikheten att inte förkasta H 0 : p = 0.2 när i själva verket p = 0.6? β = P(Y 3 p = 0.6) =

28 Exempel: Uppgradering av programvara Styrkefunktion (1 β) som funktion av p: R-kod: pv <- seq(0,1,by=0.01); plot(pv,1-pbinom(3,10,pv))

29 Styrkefunktion: Rökdetektor

30 Styrkefunktion: EPA-exempel

31 Metoder för hypotesprövning Flera metoder har utarbetats för hypotesprövning. 1. Användning av teststorhet (referensvariabel). För översikt, se kursboken, kap Normalapproximation för inferens i binomial- och Poissonfördelningarna. 2. Konfidensmetoden (användning av konfidensintervall) 3. Direktmetoden (att föredra vid diskreta fördelningar) 4. Likelihoodkvottest

32 Procedur vid hypotestest Hypotestest (av väntevärde i normalfördelning) 1. Förutsättningar och antaganden. Kvantitativ variabel, innebörd av väntevärde Oberoende obs. Fördelningen approximativt normal 2. Formulera nollhypotes och mothypotes (en- eller tvåsidig); Exempel: H 0 : µ = µ 0, H 1 : µ µ Formulera testvariabel: t = x µ 0 s/ n 4. Beräkna p-värde (tabell eller dator). 5. Slutsats: Förkasta H 0 om p-värdet mindre än eller lika med signifikansnivån (t.ex. 0.05). Relatera resultatet till det aktuella problemet.

33 Definition, p-värde Sannolikheten att få ett lika stort (eller extremare, i riktning av mothypotesen) som det observerade, under antagandet att H 0 är sann. Ett lågt p-värde utgör ett starkt skäl mot nollhypotesen H 0. En del forskare fiskar frenetiskt efter låga p-värden!

34 Exempel (väntevärde i normalfördelning) Från EPA vill man testa om väntevärdet µ = 3 ppm och har 15 observationer i ett slumpmässigt stickprov. Mätningarna gav som resultat x = 3.10 ppm. (a) Antag att standardavvikelsen vid denna typ av mätningar anses vara Utför ett hypotestest (α = 0.05). (b) Man har ingen uppfattning om standardavvikelsen utan skattar denna från stickprovet: ˆσ = s = Utför ett hypotestest (α = 0.05.) [Tavlan]

35 Exempel (forts), styrkefunktion Utgå från situationen (a) ovan och beräkna styrkefunktionen för hypotesprövningsproblemet H 0 : µ = 3 med mothypotesen H 1 : µ > 3. [Tavlan]

36 Styrkefunktion, normalfördelning Blå kurva: n = 15. Röd kurva: n = 40. Styrkan växer för värden i riktning av mothypotesen. Styrkan växer med ökad stickprovsstorlek.