Minsta kvadrat-metoden, MK. Maximum likelihood-metoden, ML. Medelfel. E(X i ) = µ i (θ) MK-skattningen av θ fås genom att minimera

Transkript

1 Matematisk statistik slumpes matematik Saolikhetsteori hur beskriver ma slumpe? Statistikteori vilka slutsatser ka ma dra av ett datamaterial? Statistikteori översikt Puktskattig Hur gör ma e bra gissig av e okäd storhet? Hur vet ma att de är bra? Itervallskattig Gissa i stället två tal som tillsammas täcker de okäda storhete med e give (stor) saolikhet. Hypotestest Om gissige blev 7., ka rätt värde på de okäda storhete ädå vara 6.5? Vad är saolikhete att vi ljuger om vi påstår att de ite är 6.5? Regressio Sambadsaalys. Tillämpig av ovaståede. F1 1 F Ett stickprov frå ågo fördelig Statistikteori, grudläggade begrepp Ett stickprov, x 1, x,..., x, är observatioer av s.v. X 1,..., X frå ågo fördelig X i F (θ) där θ är e okäd parameter. Täthet.4.. E skattig av θ, θ (x 1,..., x ) är e observatio av de s.v θ (X 1,..., X ). Båda beteckas oftast bara med θ. Bra egeskaper för e skattig Observatioer E(θ ) θ, Vätevärdesriktig, iget systematiskt fel. V (θ ) lite. Skattige skall vara effektiv. F1 F1 4 Variatio i observatioer ger variatio i skattige.8.6 Observatioeras fördelig Observatioer, x jk µ x j Skattigaras fördelig F1 5 F1 6 E skattig θ är ett tal, e s.v. och e fuktio Tal x1 x θ (x1,..., x) θ Modell för mätig med slumpmässigt mätfel Atag att vi vill mäta e storhet µ. Om ma tar upp st mätvärde, x 1,..., x är dessa observatioer av X i µ + ε i Rätt värde + Mätfel där ε i är ett slumpmässigt mätfel. Ofta atas att de är oberoede av varadra och S.V. X1 X θ (X) ε i N(, σ) Detta ger att våra observatioer blir Xi F (θ) θ Fuktio X i N(µ, σ) Vi ser att vätevärdet är de storhet vi försöker mäta upp. F1 7 F1 8

2 Maximum likelihood-metode, ML ML-skattige av θ fås geom att maximera likelihood-fuktioe L(θ; x 1,..., x ) map θ. L(θ) f X (x 1 )... f X (x ) (kot) L(θ) p X (x 1 )... p X (x ) (diskr) I det diskreta fallet ager L-fuktioe: Saolikhete att få det stickprov vi fått. Sätt upp L(θ) Logaritmera (l L(θ) maximeras av samma θ som L(θ)). Derivera, sätt lika med oll och lös m.a.p θ. Det θ som maximerar L(θ) är ML-skattige θml. Mista kvadrat-metode, MK E(X i ) µ i (θ) MK-skattige av θ fås geom att miimera förlustfuktioe Q(θ) map θ. Q(θ) (x i µ i (θ)) Normalfördelig Om x 1,..., x är observatioer av X i N(µ, σ) blir ML- och MK-skattige av µ och e korrigerad ML-skattig av σ µ x (σ ) s 1 1 (x i x) Dessa aväds äve för att skatta vätevärde och varias vid okäd fördelig F1 9 F1 1 Medelfel Om stadardavvikelse, D(θ ), för e skattig iehåller okäda parametrar ka ma ite räka ut ett ummeriskt värde på de. Om vi stoppar i skattigar på de okäda parametrara fås medelfelet d(θ ). Ex. p X, där X Bi(, p) (V (X) pq) V (p ) V ( X ) 1 V (X) 1 pq pq d(p p q ) Ex. µ X, där X N(µ, σ), σ okäd V (µ ) σ, d(µ ) s, där s 1 1 (x i x) F1 11

3 Föreläsig 7: Matstat AK för M, HT-8 MATEMATISK STATISTIK AK FÖR M HT-8 FÖRELÄSNING 7: KAPITEL 11: PUNKTSKATTNING Vi har X i hastighete hos bilist i N ( Ñ, ) där Xi är oberoede för i 1,..., där. PUNKTSKATTNINGAR INFERENSTEORI KONSTEN ATT DRA SLUTSATSER Vi har skaffat oss ett stickprov av oberoede observatioer x 1,..., x av de s.v. X (eller frå X 1,..., X ) geom experimet. Fördelige för X är helt eller delvis okäd me vi vill utyttja stickprovet till att uttala oss om ågo egeskap (i regel ågo parameter ) hos fördelige för X. Exempel (Växjökorsig): Uppskatta medelhastighete hos hela populatioe bilar ( Ñ E(X )) som passerar korsige (ite bara för de vi mätt)? Hur osäker är vår uppskattig? Hur stor är de förvätade adele fortkörare ( p P(X > 5)) och hur osäker är vår uppskattig? X i hastighet hos bil i, Y atal fortkörare. Observatioer: x 1, x,..., x 65, 5,..., 56 resp. y 41 LÄMPLIG PROCEDUR ATT ALLTID FÖLJA Steg 1: Vad är slumpmäsigt och vilke fördelig ka det ha? Iför beteckigar och sätt upp e lämplig modell. Steg : Vilke parameter är vi itresserade av, vad är det som är okät och hur skattar vi det? Steg : Vad har skattige för egeskaper? Behöver och ka vi ormalapproximera de? Steg 4: Behöver vi skatta ågot mer, t.ex. std.avv.? Steg 5: Utyttja skattige och dess egeskaper för att svara på fråga. Vi skattar fördeligsparameter med hjälp av ågo lämplig fuktio (x) av stickprovet x (x 1,..., x ). kallas e skattig av. Fuktioe (X) av motsvarade stokastiska variabler X (X 1,..., X ) är också e stokastisk variabel med t.ex. fördelig, vätevärde och varias. Fördelige för talar om vad skattige kude blivit istället, om vi gjort om försöket, t.ex. mätt ya bilister. LÖSNING STEG : SKATTA PARAMETRAR Vi vill skatta de okäda medelhastighete (vätevärdet av hastighete), Ñ med hjälp av stickprovet x 1,... x. Vi väljer mella de tre alterative (taga ur lufte): Ñ1 x 1 + x, Ñ x 1 + x och Ñ x 1 x i. Sätt i observatiosvärdea: Ñ 1 x 1 + x Ñ x 1 + x Ñ x x km/h, km/h, 51.7 km/h. Tre sätt att skatta samma sak ger tre olika resultat. Vilket är rätt? (iget!) Vilket är bäst? (det beror på vad vi mear med bra ). LÖSNING STEG 1: MODELL Vi har X i hastighete hos bilist i där E(X i ) Ñ och V(X i ) och alla X i är oberoede och likafördelade för i 1,..., där. Am.: Om vi dessutom atar att X i är ormalfördelade ska det också ages: ÖNSKVÄRDA EGENSKAPER E skattig bör vara Vätevärdesriktig, dvs E( (X)) och Effektiv, dvs V( (X)) så lite som möjligt. 1

4 Föreläsig 7: Matstat AK för M, HT-8 LÖSNING STEG : SKATTNINGENS EGENSKAPER gäller, eligt CGS, att Ñ N (Ñ, ) Vätevärdesriktig (skattar de rätt sak?): E(Ñ1) E( X 1 + X ) Ñ + Ñ Ñ E(Ñ) E( X 1 + X ) Ñ + Ñ Ñ E(Ñ) E( X X ) Ñ Ñ Ñ Alterativ Ñ 1 är ite bra eftersom de blir 5 % för stor i medeltal. De adra två blir rätt i medeltal. Variase (hur osäker är de?): V(Ñ1 ) V(X 1 + X ) V(Ñ ) V(X 1 + X ) V(Ñ ) V(X X ) Alterativ Ñ 1 är ite bra eftersom de har större varias ä e eskild observatio. Alterativ Ñ har midre varias ä e eskild observatio me variase är lika stor oavsett hur stort stickprovet är, det är ieffektivt. Alterativ Ñ har e varias som avtar med ökade stickprovsstorlek, det är bra. Alterativ Ñ 1 är varke vätevärdesriktig eller effektiv. Alterativ Ñ är vätevärdesriktig me ite effektiv. Alterativ Ñ är både vätevärdesriktig och effektiv (bevis för effektivitete igår ej i dea kurs). Alltså är Ñ bäst. Fördelig (hur varierar de?): Om X i N ( Ñ, ) så är alla tre skattigara ormalfördelade eftersom de är lijärkombiatioer av ormalfördeligar. Vätevärde och stadardavvikelser (m.h.a. variasera) ova: ( ) ( ) 5 5 Ñ1 N Ñ,, Ñ N Ñ, och 4 9 ( Ñ N Ñ, ). Approximativa fördeligar: Om vi ite vet mer om fördelige för X i ä att E(X i ) Ñ och D(X i ) ka vi iget säga om fördelige för Ñ 1 och Ñ! Me, eftersom är stort, MEDELFEL FÖR EN SKATTNING Om D( (X)) V( (X)) iehåller okäda parametrar måste de också skattas. Dea skattig d( ) D ( ) kallas medelfelet för. LÖSNING STEG 4: MEDELFEL Eftersom, som igår i alla tre variasera, är okäd måste de också skattas, t.ex. med stickprovsstadardavvikelse s 1 (x i x) km/h så att 5 5 d(ñ1) s km/h, d(ñ ) s 5.1 km/h, 9 d(ñ ) s. km/h. LÖSNING STEG 5: SVARA PÅ FRÅGAN Vi uppskattar medelhastighete till 51.7 km/h med e osäkerhet (stadardavvikelse) i skattige på.8 km/h. SKATTNINGEN ÄR EN STOKASTISK VARIABEL! Skilj på som är e kostat parameter, dvs ett (i regel okät) tal, och som är dess skattig. Skattige varierar med stickprovet, det gör ite. Varig för förvirrig! ka vara ett tal, dvs skattige uträkad med hjälp av ett visst stickprov ( 51.7 km/h) eller, ka vara stickprovsfuktioe (x) som talar om hur ma ska beräka skattige ( x), eller, ka vara e s.v., (X), dvs fuktioe av de s.v. som stickprovet är observatioer av ( X ).

5 Föreläsig 7: Matstat AK för M, HT-8 Fördelige för X : Mät måga bilar och gör histogram över bilaras hastighet. MAXIMUM-LIKELIHOOD-METODEN (ML) Fördelige för X i Ett sätt att hitta garaterat bra skattigar. Förutsätter käd fördeligstyp. Idé: Välj det värde på de okäda parameter som maximerar saolikhete att få de observatioer ma faktiskt fick Fördelige för Ñ : Gå varje dag ut och mät bilar och räka ut dages Ñ. Upprepa uder måga dagar och gör histogram över Ñ. Likelihoodfuktioe L( ; x) skall maximeras med avseede på : p Xi (x i ) X i diskreta L( ; x) P(X 1 x 1,..., X x ) f Xi (x i ) X i kotiuerliga Fördelige för θ * 1 (X 1 +X )/ Fördelig Ñ 1 X 1 + X för Logaritmera, derivera m.a.p., sätt till oll och lös ut. ML-metode ger alltid de skattig som har mist varias. De är ite ödvädigtvis vätevärdesriktig me E( ML ) är...1 Exempel (medelhastighet): Vi har observerat hastighetera hos bilister, x 1,..., x där X i N ( Ñ, ). Skatta medelhastighete Ñ Fördelige för θ * (X 1 +X )/ Fördelige för θ * (X X )/ Fördelig Ñ X 1 + X Fördelig Ñ X för för Steg 1 (modell): Ober. X i N ( Ñ, ) där i 1,..., och. Steg (skatta parametrar): Vi vill skatta Ñ. Likelihoodfuktioe L(Ñ; x) f X (x i ) f X (x 1 )... f X (x ) 1 e (x i Ñ) / ( Ô) e 1 Ô Logaritmera: 1 l L(Ñ) l( Ô) Derivera och sätt till oll: d l L(Ñ) d Ñ (x i Ñ) Lös ut Ñ: x i (x i Ñ) Ñ Ñ Ñ 1 P (x i Ñ) ML-skattige av Ñ blir Ñ x 51.7 km/h. x i x.

6 Föreläsig 7: Matstat AK för M, HT-8 Exempel (fortkörare): Vi har bara observerat att 41 av de var fortkörare. Skatta adele fortkörare i hela populatioe. Steg 1 (modell): Vi har e observatio y 41 frå Y atal fortkörare Bi(, p) där. Steg (skatta parametrar): Vi vill skatta p. Likelihoodfuktioe: L(p) p Y (y) p Y (41) Logaritmera: l L(p) l ( 41 ( ) p 41 (1 p) ) + 41 l p + ( 41) l(1 p). Förlustfuktioe Q(p; x) skall miimeras med avseede på där E(X i ) är e fuktio av : Q( ; x) (x i E(X i ; )). MK-metode ger ite alltid samma resultat som ML-metode. Lösig (ige, fortkörare): Vi har att E(Y ) p p. Q(p) (y E(Y )) (48 p) ; dq(p) (48 p) p 41 dp Derivera och sätt till oll: d l L(p) dp 41 p 41 1 p. Lös ut p: p % Allmät: p y. Steg (egeskaper): E(p ) E( Y ) p p, vätevärdesriktig! V(p ) V( Y p(1 p) ) D(p ) p(1 p) V(p ). p(1 p), avtar med. Eftersom( p (1 p ) 19.4 > 1 så gäller, eligt CGS, att Y N p, ) p(1 p) och alltså att p Y ) p(1 p) (p, N. Steg 4 (medelfel): p d(p ) (1 p ).56(1.56) 5.6 %. Steg 5 (svar): Adele fortkörare uppskattas till 5.6 % med e osäkerhet (stadardavvikelse) för skattige på 5.6 %. MINSTA-KVADRAT-METODEN (MK) Ett sätt att hitta bra skattigar av parametrar som igår i vätevärdet om ma ite vet vilke typ av fördelig ma har. Idé: Välj det värde på de okäda parameter som miimerar de kvadratiska avvikelse frå vätevärdet. Dvs, ugefär: miimera variase. 4