TAMS65 - Föreläsning 2 Parameterskattningar - olika metoder

Transkript

1 TAMS65 - Föreläsning 2 Parameterskattningar - olika metoder Martin Singull Matematisk statistik Matematiska institutionen

2 Innehåll Fö2 Punktskattningar Egenskaper Väntevärdesriktig Effektiv Konsistent Punktskattning för väntevärde och varians Minsta-kvadrat-metoden Likelihoodfunktionen Maximum-Likelihood-Metoden TAMS65 - Fö2 1/53

3 Punktskattning Låt x 1,..., x n vara observationer av oberoende s.v. X 1,..., X n, vars sannolikhetsfunktion p(k; θ) eller täthetsfunktion f (x; θ) innehåller en okänd parameter θ. Vi söker ett approximativt värde på θ, dvs. en punktskattning baserad på x 1,..., x n. Definition En punktskattning är en funktion av de observerade mätvärdena, det vill säga ˆθ = g(x 1,..., x n ). I boken har vi notationen ˆθ = θ (x). TAMS65 - Fö2 2/53

4 Stickprovsvariabeln Det fixa värdet ˆθ (eng. estimate) är observation av stickprovsvariabeln (eng. estimator) Θ = g(x 1,..., X n ). I boken har vi notationen Θ = θ (X). Ibland kallar vi även Θ för skattningsvariabel eller (punkt-) skattning. Fördelningen för Θ beskriver vilka värden vi kan få på ˆθ för olika observationsserier. TAMS65 - Fö2 3/53

5 Exempel - Punktskattning Antag att vi har tre oberoende mätningar x 1, x 2, x 3 från en och samma population med väntevärdet µ och standardavvikelsen σ. Vi kan till exempel skatta µ på två olika sätt ˆµ 1 = 1 3 (x 1 + x 2 + x 3 ) ˆµ 2 = 1 6 (x 1 + 2x 2 + 3x 3 ). Antag att x 1, = 1.32, x 2 = 2.41 och x 3 = 1.97 då blir de observerade skattningarna ˆµ 1 = 1 ( ) = ˆµ 2 = 1 ( ) = TAMS65 - Fö2 4/53

6 Väntevärdesriktighet m.m. Definition Θ kallas väntevärdesriktig (vvr) (eng. unbiased) om E( Θ) = θ. Definition Ett systematiskt fel är definierat som E( Θ) θ = systematiskt fel (eng. bias). Definition Om Θ 1 och Θ 2 är väntevärdesriktiga skattningar av θ, så kallas Θ 1 effektivare än Θ 2 om var( Θ 1 ) < var( Θ 2 ). TAMS65 - Fö2 5/53

7 Exempel, forts. Väntevärdesriktiga? ( ) E( M 1 1 ) = E 3 (X 1 + X 2 + X 3 ) =... = µ, ( ) E( M 1 2 ) = E 6 (X 1 + 2X 2 + 3X 3 ) =... = µ Alltså, båda skattningarna är vvr skattningar av µ, men vilken skattning är effektivast? ( ) var( M 1 1 ) = var 3 (X 1 + X 2 + X 3 ) = 19 (σ2 + σ 2 + σ 2 ) = σ2 3, ( ) var( M 1 2 ) = var 6 (X 1 + 2X 2 + 3X 3 ) = 1 36 (σ2 + 4σ 2 + 9σ 2 ) = σ2. Alltså gäller att var( M 1 ) < var( M 2 ) och skattningen µ 1 ( M 1 ) är effektivare och bör användas. TAMS65 - Fö2 6/53

8 Exempel Låt x 1,..., x 7 vara ett stickprov från en slumpvariabel X med E(X ) = µ och var(x ) = σ 2. Betrakta skattningen av σ 2 enligt ˆσ 2 = x x 6 2 (x 2 + x 6 )/2. 2 Är denna skattning vvr? ( X E(ˆσ 2 2 ) = E X X 2 4 X 6 4 = E(X 2 2) + E(X 6 2) E(X 2) E(X 6) = / E(Z 2 ) = var(z) + (E(Z)) 2 / = var(x 2) + (E(X 2 )) 2 2 = σ2 + µ 2 + σ2 + µ Svar: Nej, skattningen är inte vvr. ) + var(x 6) + (E(X 6 )) 2 2 µ 2 = σ2 + µ 2 µ 2 σ2 µ 4 µ 4 TAMS65 - Fö2 7/53

9 Konsistent skattning Om man har stora stickprov är även asymptotiska egenskaper hos punktskattningar intressanta. Definition Anta att Θ n är definierad för varje stickprovsstorlek n. Om för varje ε > 0 gäller att P( Θ n θ > ε) 0 då n, så sägs Θ n vara en konsistent skattning. När man ska bevisa att en skattning är konsistent har man ofta nytta av följande sats. Sats Om E( Θ n ) = θ och var( Θ n ) 0 då n, så är Θ n en konsistent skattning av θ. TAMS65 - Fö2 8/53

10 Bevis Använd Tjeysjovs-olikhet P( Y µ Y > kσ Y ) 1 k 2. Låt ε > 0 vara givet. Då gäller att ε P( Θ n θ > ε) = P( Θ n θ > D(Θ n )) D(Θ n ) }{{} =k = var(θ n) ε 2 0 då n eftersom var( Θ n ) 0 då n. ( D(Θn ) ε ) 2 TAMS65 - Fö2 9/53

11 Skattning av väntevärdet Låt x 1,..., x n vara observationer av oberoende s.v. X 1,..., X n med E(X i ) = µ och var(x i ) = σ 2. Sats Det gäller att stickprovsmedelvärdet M = X = 1 n n X i är en väntevärdesriktig och konsistent skattning av µ. TAMS65 - Fö2 10/53

12 Bevis E( M) = E( X ) = 1 n var( M) = var( X ) = Alltså var( M) 0 då n. n E(X i ) = 1 }{{} n nµ = µ =µ ( ) 1 2 n n var(x i ) = }{{} =σ 2 M är en vvr och konsistens skattning av µ. 1 n 2 nσ2 = σ2 n TAMS65 - Fö2 11/53

13 Kom ihåg att definitionen på varians är ( var(x ) = E (X µ) 2). Vi har nu följande sats. Sats Det gäller att stickprovsvariansen S 2 = 1 n 1 n (X i X ) 2 är en väntevärdesriktig skattning av σ 2. TAMS65 - Fö2 12/53

14 Bevis Vi har att n (X i X ) 2 = = n n (X 2 i 2X i X + X 2 ) = X 2 i n X 2 n X 2 i 2 X n X i }{{} =n X +n X 2 och E(X 2 i ) = var(x i ) + (E(X i )) 2 = σ 2 + µ 2 E( X 2 ) = var( X ) + (E( X )) 2 = σ2 n + µ2 vilket ger TAMS65 - Fö2 13/53

15 Bevis forts. ( ) E(S 2 1 n ) = E (X i n 1 X ) 2 ( n = 1 n 1 E = 1 n 1 = 1 n 1 ( n X 2 i n X 2 ) E(Xi 2 ) n E( X }{{} =σ 2 +µ 2 ( n ) = 1 n 1 E (X i X ) 2 2 ) }{{} = σ2 n +µ2 ) ( n(σ 2 + µ 2 ) σ 2 nµ 2) = 1 n 1 (n 1)σ2 = σ 2. Alltså, S 2 är en vvr skattning av σ 2. TAMS65 - Fö2 14/53

16 Anm. S är inte en väntevärdesriktig skattning av σ, eftersom 0 < var(s) = E(S 2 ) [E(S)] 2 = σ 2 [E(S)] 2 dvs. [E(S)] 2 < σ 2 och då är E(S) < σ. Hemuppgift Leta upp s på din räknare och lär dig använda den rutinen. Heter ibland σ n 1. TAMS65 - Fö2 15/53

17 Minsta-kvadrat-metoden Låt x 1,..., x n vara observationer av oberoende stokastiska variabler X 1,..., X n med E(X i ) = µ i (θ) och var(x i ) = σ 2. Det värde ˆθ som minimerar Q(θ) = n (x i µ i (θ)) 2, kallas minsta-kvadrat-skattningen (MK-skattningen) av parametern θ. Här behöver inte θ vara endimensionell, se tex. avsnittet om regressionsanalys. Tänk på att när vi minimerar Q(θ), så betraktar vi θ som en variabel, medan x 1,..., x n är fixa tal (mätvärden). TAMS65 - Fö2 16/53

18 Exempel - Normalfördelning Låt x 1,..., x n vara observationer av oberoende s.v. X 1,..., X n, där X i N (µ, σ) och σ är känt. Skatta µ med minsta-kvadratmetoden. n Q(µ) = (x i µ) 2 dq n dµ = 2 (x i µ) = 0 0 = n (x i µ) = n x i nµ vilket ger ˆµ = 1 n n x i = x. TAMS65 - Fö2 17/53

19 Exempel - Linjär regression I en studie har man velat undersöka sambandet mellan skadekostnader och avstånd till närmaste brandstation vid bränder i bostadshus. Distance from Fire Station Fire Damage x, miles y, thousands of dollars TAMS65 - Fö2 18/53

20 Exempel, forts. Ett approximativt linjärt samband verkar fullt rimligt. TAMS65 - Fö2 19/53

21 Exempel, forts. Problem: (i) Hur hittar man den räta linje som passar bäst till punkterna? (ii) Skulle en ny försöksserie ge ungefär samma linje? (iii) Hur beskriver vi avvikelserna från linjen? Vi besvarar fråga (iii) genom att göra en modell för mätvärdena som innebär att vi betraktar avvikelserna från linjen som slumpvariabler. TAMS65 - Fö2 20/53

22 Exempel, forts. Vi har värdepar (x j, y j ), där y j är observation av den stokastiska variabeln Y j = µ j + ε j = β 0 + β 1 x j + ε j, för j = 1,..., n, där µ j = β 0 + β 1 x j och x 1,..., x n är fixa tal medan ε 1,..., ε n är oberoende stokastiska variabler med E(ε j ) = 0 och var(ε j ) = σ 2. Modellen ger att E(Y j ) = µ j = β 0 + β 1 x j och var(y j ) = σ 2. Vi skattar β 0 och β 1 med hjälp av minsta-kvadrat-metoden, d.v.s. minimerar Q(β 0, β 1 ) = n (y j E(Y j )) 2 = 1 n (y j β 0 β 1 x j ) 2 1 med avseende på β 0 och β 1. TAMS65 - Fö2 21/53

23 Exempel, forts. Detta innebär att vi väljer den räta linje som minimerar summan av kvadraterna på avstånden i y-led från punkterna till den den räta linjen. TAMS65 - Fö2 22/53

24 Exempel, forts. I vårt exempel har vi n = 15 och minimeringen ger ˆβ 0 = och ˆβ 1 = Vi får den skattade regressionslinjen y = ˆβ 0 + ˆβ 1 x = x som ger de skattade väntevärdena för olika x-värden. Därmed har vi besvarat även fråga (i). Vi återkommer till fråga (ii) senare i kursen. TAMS65 - Fö2 23/53

25 Exempel - Hypergeometrisk fördelning I en urna finns N kulor varav Np är vita och N(1 p) är svarta. Man väljer slumpmässigt n stycken utan återläggning och får då X vita kulor. Då gäller att X har hypergeometrisk fördelning, X Hyp(N, n, p) dvs. ) p X (x) = P(X = x) = ( Np x )( N(1 p) n x ( N n), för 0 x Np och 0 n x N(1 p). TAMS65 - Fö2 24/53

26 Exempel - Hypergeometrisk fördelning Bland 200 ekonomiska transaktioner i ett företag väljer man ut 25 st och finner bland dem 3 felaktiga. Uppskatta p = andelen felaktiga transaktioner. N = 200, n = 25, x = 3 är en observation från X Hyp(N, n, p) E(X ) = np mm ger n ˆp = x d.v.s. ˆp = x n. mkm ger Q(p) = n (x i np) 2 = (x np) 2 dq dp = 2n(x np) samt d 2 Q dp 2 = 2n2 > 0 (min) dq dp = 0 ger ˆp = x n. TAMS65 - Fö2 25/53

27 Exempel - Exponentialfördelning Under en kort geologisk period kan det vara rimligt att anta att tiderna mellan successiva utbrott för en vulkan är oberoende och exponentialfördelade med ett väntevärde µ som är karakteristiskt för den enskilda vulkanen. I tabellen nedan finns tiderna i månader mellan 37 successiva utbrott för vulkanen Mauna Loa på Hawaii TAMS65 - Fö2 26/53

28 Exempel forts. För att se hur datamaterialet ser ut gör vi ett histogram. Tiderna mellan utbrott varierar mycket. Histogrammets form antyder att exponentialfördelning kan vara ett lämpligt antagande. TAMS65 - Fö2 27/53

29 Exempel forts. Om X är tiden mellan två utbrott så skulle täthetsfunktionen vara f (x) = 1 µ e x/µ för x 0. Parametern µ är väntevärdet och vi vet att µ > 0. För att kunna beskriva variationerna i tidsavstånden mellan utbrotten och kunna beräkna intressanta sannolikheter behöver vi ett approximativt värde på µ. Alltså, vi behöver punkskatta µ. Förslag? TAMS65 - Fö2 28/53

30 Exempel forts. Anta t.ex. att ett utbrott just är över. Uppskatta, utgående från antagandet om exponentialfördelning, sannolikheten att det dröjer mer än sex månader till nästa utbrott. Alltså vi ska beräkna ˆp = P(X > 6) = 6 f (x)dx = Vi återkommer till det här exemplet senare. 6 1 ˆµ e x/ˆµ dx TAMS65 - Fö2 29/53

31 Exempel - Binomialfördelning För ett datorsystem är det önskvärt att svarstiden, då man ger en viss typ av kommando, är under tre sekunder. Vid 66 oberoende testningar fick man 14 svarstider som var längre än tre sekunder. Vi vill uppskatta p = sannolikheten att en svarstid är > 3s. Modell: x = 14 är observation av X Bin(n, p) där n = 66. Hur ska vi skatta p? Förslag? Vi återkommer också till det här exemplet senare. TAMS65 - Fö2 30/53

32 Maximum-Likelihood-Metoden Låt x 1,..., x n vara observationer av oberoende s.v. X 1,..., X n med täthetsfunktion f (x; θ) eller sannolikhetsfunktion p(x; θ). Definition Funktionen n f (x i; θ) = f (x 1 ; θ)... f (x n ; θ) L(θ) = n p(x i; θ) = p(x 1 ; θ)... p(x n ; θ) kontinuerlig s.v. diskret s.v. kallas likelihoodfunktionen. Definition Det värde på ˆθ som maximerar likelihoodfunktionen L(θ), då θ A = {tillåtna värden på θ}, kallas maximum-likelihoodskattningen (ML-skattningen) av θ. TAMS65 - Fö2 31/53

33 Exempel - ML-metoden Stickprov x = ( 0.5, 0, 0.3, 0.5, 0.7, 0.8, 0.95, 1.15, 1.25, 1.30, 1.6, 1.9, 2.7, 3.5). Då θ ändras från θ 1 till θ 2 får vi en ny täthetsfunktion. ML-metoden väljer den täthetsfunktion som gör L(θ) så stor som möjligt. TAMS65 - Fö2 32/53

34 Anmärkningar Anm. 1 Vid maximeringen av L(θ) = n f (x i; θ) ska vi betrakta θ som en variabel och x i som konstant. Anm. 2 Det är oftare enklare att maximera ln L(θ) = n ln f (x i ; θ). Anm. 3 Skattningsvariabeln Θ som hör ihop med ML- skattningen har goda asymptotiska egenskaper vilket gör att man åtminstone för stora stickprov föredrar ML-skattningen framför andra typer av skattningar. Under ganska generella villkor gäller att den s.v. Θ är konsistent och asymptotiskt normalfördelad med optimal varians. TAMS65 - Fö2 33/53

35 Generaliseringar a) Parametern θ kan vara flerdimensionell, t.ex. två som i normalfördelningsfallet. b) Man har observationer x 1,..., x n och y 1,..., y m, där de s.v. X i har en fördelning och de s.v. Y j en annan fördelning, men båda fördelningarna innehåller samma parameter θ. Då är L(θ) = L 1 (θ) L 2 (θ). TAMS65 - Fö2 34/53

36 Exempel forts. - Exponentialfördelning I exemplet ovan har vi x 1,..., x n, n = 36 och f (x) = 1 µ e x/µ. L(µ) = n f (x i) = n 1 µ e x i /µ = 1 µ n e 1 µ n x i ln L(µ) = l(µ) = n ln µ 1 µ n x i dl dµ = n µ + 1 µ 2 n x i = 0 ger µ = x = Max? d 2 l dµ 2 = n µ 2 2 n µ 3 x i = µ= x n x 2 2 x 3 n x =... = n x 2 < 0 d.v.s. max. TAMS65 - Fö2 35/53

37 Exempel forts. p = P(X > 6) = 6 ˆp = e 6/ˆµ = e 6/ x µ e x/µ =... = e 6/µ TAMS65 - Fö2 36/53

38 Exempel forts. - Binomial Vi har att x = 14 är en observation av X Bin(n, p), där n = 66. p(k) = ( n k) p k (1 p) n k för k = 0, 1,..., n L(p) = ( ) n x p x (1 p) n x l(p) = ln L(p) = ln ( n x) + x ln p + (n x) ln(1 p) dl dp = x p n x 1 p = 0 ger p = x n (max?) ˆp = x n = TAMS65 - Fö2 37/53

39 ML-skattningarna i normalfördelningsfallet Vi har observationer x 1,..., x n av oberoende s.v. X 1,..., X n, där X i N(µ, σ). Fall 1: σ känd och µ okänd. Då är ˆµ = x. f (x) = 1 σ (x µ) 2 2π e 2σ 2 L(µ) = n 1 σ (x i µ) 2 2π e 2σ 2 = 1 (σ 2 2π) 1 n e 2σ n/2 2 (x i µ) 2 Funktionen L(µ) uppnår maximum samtidigt som funktionen n (x i µ) 2 antar minimum, d.v.s. då µ = x (samma som MK). TAMS65 - Fö2 38/53

40 ML-skattningarna i normalfördelningsfallet Fall 2: σ okänd och µ känd. Då är ˆσ 2 = 1 n n (x i µ) 2. (Hemuppgift) Fall 3: Både µ och σ okända. Likelihoodfunktionen ges av [ 1 ] [ L(µ, σ) = σ 1 2π e (x 1 µ)2 /2σ2... σ 2π ( 1 ) nσ = n e 1 n 2σ 2 (x i µ) 2. 2π Vidare får vi l(µ, σ) = ln L(µ, σ) = konst n ln σ 1 2σ 2 e (xn µ)2 /2σ2 ] n (x i µ) 2. TAMS65 - Fö2 39/53

41 Både µ och σ okända Man kan visa att maximum antas i ett nollställe till de partiella derivatorna. ( l µ = 1 n n ) 2σ 2 2(x i µ)( 1) = 1 σ 2 x i nµ l σ = n σ + 1 n σ 3 (x i µ) 2 l µ = 0 l σ = 0 ger ˆµ = 1 n n x i = x (vvr) ˆσ 2 = 1 n n (x i x) 2 (ej vvr) TAMS65 - Fö2 40/53

42 E(ˆσ 2 ) = 1 n E( n (X i X ) 2 ) = / se ovan / = 1 n (n 1)σ2 = n 1 n σ2 d.v.s. om vi väljer n n 1 ˆσ2 =... = s 2 ok. n n 1 ˆσ2 som skattning så är den vvr. TAMS65 - Fö2 41/53

43 Korrigerad ML-skattning Korrigerad ML-skattning av σ 2 är den vanliga stickprovsvariansen s 2 = 1 n 1 n (x i x) 2. Vid ett stickprov från normalfördelning har vi alltså skattningarna ˆµ = x och ˆσ 2 = s 2 = 1 n 1 n (x i x) 2, då båda parametrarna µ och σ 2 är okända. TAMS65 - Fö2 42/53

44 Exempel - Normalfördelning En affär har bestämt bemanningen på lördagar så att man behöver sälja för kronor för att gå runt den enskilda lördagen. Man vill bedöma hur vanlig en försäljningssumma under är och även studera den genomsnittliga försälj- ningen för lördagar. Försäljningssiffror för 40 lördagar: TAMS65 - Fö2 43/53

45 Exempel forts.- Normalfördelning Modell: Försäljningen i tusentals kronor en slumpmässigt vald lördag är en s.v. X N(µ, σ). Här beskriver parametern µ den genomsnittliga försäljningen i det långa loppet. En annan intressant parameter är ( X µ p = P(X < 25000) = P < µ ) ( ) µ = Φ σ σ σ Vi behöver approximativa värden på µ och σ och de är ˆµ = x = 29323, ˆσ = s = 1 40 (x i x) 2 = TAMS65 - Fö2 44/53

46 Exempel forts.- Normalfördelning De approximativa värdena på µ och σ ger ( ) ˆµ ˆp = Φ = Φ( ) = 1 Φ(0.7835) 0.22 s Tolkning: Ungefär 22% av lördagarna ligger försäljningen under kronor. Den genomsnittliga försäljningen µ på lördagar är ungefär kronor. TAMS65 - Fö2 45/53

47 Hur säker information har vi om µ och σ 2 via våra punktskattningar? Vi behöver studera fördelningarna för de s.v. M och S 2. Vi har att M = X = 1 n ( ) σ X i N µ, n n S 2 = 1 n ( Xi X ) 2??? - se nästa föreläsning. n 1 Vi återkommer till detta i samband med intervallskattning. TAMS65 - Fö2 46/53

48 Flera stickprov från normalfördelning Antag nu att vi har flera stickprov från normalfördelning. Vi har observationer x 1,..., x m, där X 1,..., X m är oberoende och N(µ 1, σ) y 1,..., y n, där Y 1,..., Y n är oberoende och N(µ 2, σ) På liknande sätt som vid fallet med ett stickprov från normalfördelning kan man härleda skattningarna av de tre parametrarna. Använd a) och b) på sid. 34 så får man likelihoodfunktionen L(µ 1, µ 2, σ 2 ) = L(µ 1, σ 2 )L(µ 2, σ 2 ) = ( m ) ( 1 σ (x i µ 1 ) 2 n 2π e 2σ 2 ) 1 σ (y i µ 2 ) 2 2π e 2σ 2 TAMS65 - Fö2 47/53

49 Flera stickprov från normalfördelning Vid två stickprov från normalfördelningar med skilda väntevärden och en gemensam standardavvikelse har vi ML-skattningarna ˆµ 1 = x, ˆµ 2 = ȳ, samt den korrigerade σ 2 -skattningen där s 2 = (m 1)s2 1 + (n 1)s2 2 (m 1) + (n 1), s 2 1 = 1 m 1 m 1 (x i x) 2 och s 2 2 = 1 n 1 n (y i ȳ) 2, d.v.s. stickprovsvariansen för respektive stickprovet. Det här resultatet kan generaliseras till flera stickprov (se F-S). TAMS65 - Fö2 48/53

50 Medelfel för en skattning Vi har använt oss av variansen var( Θ) eller standardavvikelsen D( Θ) som ett precisionsmått för skattningen Θ. Ju mindre varians, desto bättre skattning. Problem Variansen och standardavvikelsen är ofta okända, då de kan bero på just den parameter som vi vill skatta (och kanske ytterligare andra okända parametrar). Definition En skattning av D( Θ) kallas medelfelet för Θ och betecknas d = d( Θ) TAMS65 - Fö2 49/53

51 Exempel Medelfel för en skattning N(µ, σ) Låt X 1,..., X n vara oberoende och N(µ, σ), där µ och σ okända. Vi vet att en skattning av µ är ˆµ = x. Denna skattning har standardavvikelsen D( M) = på σ som är okänt. σ n, vilken beror Vi skattar variansen σ 2 med s 2 och medelfelet blir d( M) = s n. TAMS65 - Fö2 50/53

52 Exempel Medelfel för en skattning Bin(n, p) Skatta p med ˆp = x n som är en observation från P = X n. var( P) = 1 n 2 var(x ) = 1 p(1 p) np(1 p) = n2 n D( P) = p(1 p) n och d( P) = ˆp(1 ˆp) n TAMS65 - Fö2 51/53

53 Appendix - Summor och Produkter Summor n x i = x 1 + x x n n ax i = ax 1 + ax ax n = a(x 1 + x x n ) = a n c = n c Produkter n x i = x 1 x 2... x n n (ax i ) = (ax 1 ) (ax 2 )... (ax n ) = a n x 1 x 2... x n = a n n n x i x i TAMS65 - Fö2 52/53

54 Appendix - Logaritmlagarna ln(a b) = ln a + ln b ln a b = ln a ln b ln a c = c ln a ln e a = a e ln b = b TAMS65 - Fö2 53/53

55