Sannolikhetslära och inferens II Kapitel 9 Egenskaper hos punktskattare 1
Egenskaper hos punktskattare En skattare är en funktion av stickprovet och således en slumpvariabel. En bedömning av kvaliteten hos en skattare (i avsikt att skatta någon parameter θ) kan därmed göras via dess samplingfördelning. Vanliga kriterier är 1. Väntevärdesriktighet (unbiasedness) 2. Konsistens (consistency) 3. Effektivitet (efficiency) 2
Konsistens Definition. Låt θ vara en punktskattare av parametern θ. Om det för varje ε > 0 gäller att eller ekvivalent sägs θ vara en konsistent punktskattare av θ. Ett ekvivalent påstående är att θ konvergerar i sannolikhet till θ. Vi använder då följande notation. 3
Uppgift 9.26 Låt Y₁,Y₂,,Y n vara olfsv U(0,θ). Visa att θ=y (n) =max(y₁,y₂,,y n ) är en konsistent skattare av θ. Vi måste nu för varje ε>0 visa att I uppgift 6.74 visades att fördelningsfunktionen för Y (n) ges av 4
Uppgift 9.26 Om ε>θ kan Y (n) inte avvika med mer än ε från θ vilket innebär att saken är klar. Svårare blir det då 0<ε θ. varför det följer att 5
Viktiga resultat rörande konsistens Sats 9.1. Låt θ vara en väntevärdesriktig skattare av θ. Då gäller att θ är konsistent om Sats 9.2. Låt θ vara en konsistent skattare av θ och θ en konsistent skattare av θ. Då gäller följande Om g är en reellvärd funktion som är kontinuerlig i θ följer dessutom att 6
Slutskys sats Definition. Låt F n (x) vara fördelningsfunktion för en slumpvariabel X vid stickprovsstorlek n och F(x) fördelningsfunktion för en slumpvariabel Y. Om det för varje x gäller att lim n F n (x) = F(x) sägs X konvergera i fördelning till Y. d p Sats 9.3 (Slutsky). Låt U n Z där Z är N(0,1) och W n 1. Då gäller att 7
Uppgift 9.36 Låt Y vara Bi(n,p) med p okänd. För att skatta p använder vi p=y/n. I uppgift 9.20 såg vi att p är en väntevärdesriktig och konsistent skattare av p med variansen V(p)=pq/n där q=1-p. Enligt Centrala gränsvärdessatsen gäller dessutom att p approximativt är normalfördelad då n är stort vilket betyder att vi kan konstruera ett konfidensintervall för p via pivotkvantiteten Problemet är förstås att p är okänd. Hur löser vi detta problem? 8
Uppgift 9.36 d Enligt CGS gäller att Z n Z där Z är N(0,1). Eftersom p är en konsistent skattare av p gäller att p p. Låter vi q=1-y/n följer av samma anledning att q q. Slutligen följer av Sats 9.3 (Slutsky) att p Av Sats 9.2b följer nu att pq pq vilket innebär att vilket enligt Sats 9.2d leder till slutsatsen att p p 9
Relativ effektivitet Låt θ₁ och θ₂ vara två väntevärdesriktiga skattare av θ. Effektiviteten hos θ₁ relativt θ₂ ges av kvoten 10
Absolut effektivitet Det visar sig att det finns en undre gräns för hur liten varians en väntevärdesriktig skattare kan ha. Låt Y₁,Y₂,,Y n vara olfsv med gemensam täthetsfunktion f(y) som innehåller en okänd parameter θ. Låt θ vara en väntevärdesriktig skattare av θ. Då gäller att I(θ) kallas för Cramér-Rao-gränsen. En skattare θ för vilken det gäller att V(θ)=I(θ) sägs vara effektiv. 11
Uttömmande statistikor (Sufficiency) Hittills har skattare tagits fram baserat på intuition. Vi behöver en mer vetenskaplig metod för att finna bra skattare. En statistika sammanfattar den information som finns i ett stickprov vilket betyder att viss information går förlorad. En statistika som (i viss mening) innehåller all information från stickprovet gällande θ sägs vara en uttömmande statistika för θ. Låt X₁,X₂,,X n ha simultan täthetsfunktion f(x₁,x₂,,x n ). θ sägs vara uttömmande för θ om den betingade fördelningen. inte beror på θ. 12
Likelihoodfunktionen och Faktoriseringssatsen Låt X₁,X₂,,X n ha simultan täthetsfunktion f(x₁,x₂,,x n ) som beror på någon parameter θ. Eftersom täthetens värde beror på θ kan vi konstruera den sk Likelihoodfunktionen. om olfsv. Sats 9.4 (Faktoriseringssatsen). En statistika U är en uttömmande statistika för θ om och endast om där g(u,θ) är en funktion enbart av u och θ, samt att h(x₁,x₂,,x n ) är en funktion som inte beror på θ. 13
Uppgift 9.38 a Låt Y₁,Y₂,,Y n vara olfsv N(μ,σ) med μ okänd (men σ känd). 14
Det gäller alltså att Uppgift 9.38 a där och Följaktligen gäller att Y är en uttömmande statistika för μ. 15
Uppgift 9.49 Låt Y₁,Y₂,,Y n vara olfsv U(0,θ). Vi vill undersöka om är en uttömmande statistika för θ. Dock gäller att vilket innebär att vi inte direkt kan avgöra detta. För att lösa problemet införs en sk indikatorfunktion. 16
Uppgift 9.49 Detta innebär att täthetsfunktionen för U(0,θ) kan skrivas som varför likelihoodfunktionen blir Alltså följer av faktoriseringssatsen att Y (n) är en uttömmande statistika för θ. 17
MVUE och Rao-Blackwell Definition. Den väntevärdesriktiga skattare som har lägst varians sägs vara MVUE (Minimum Variance Unbiased Estimator). Sats (Rao-Blackwell). Låt θ vara en väntevärdesriktig skattare av θ sådan att V(θ)<. Låt vidare U vara en uttömmande statistika för θ. Konstruera nu en ny skattare Då gäller att θ* är en väntevärdesriktig skattare av θ som är minst lika bra som θ, dvs 18
MVUE och minsta uttömmande statistika För att kunna finna MVUE måste vi först finna den minsta uttömmande statistikan, dvs den som bäst sammanfattar stickprovsinformationen angående θ. Sats. Låt U vara en minsta uttömmande statistika för θ och h(u) en funktion av U sådan att Då gäller att h(u) är MVUE av θ. För de allra flesta sannolikhetsfördelningar gäller att den uttömmande statistika som följer via faktoriseringssatsen (Sats 9.4) är en minsta uttömmande statistika. 19
Metod för att finna MVUE för θ 1. Använd faktoriseringssatsen (Sats 9.4) för att finna en uttömmande statistika U för θ. 2. Bestäm E(U). För att finna E(U) måste man eventuellt först finna sannolikhetsfördelningen för U, dvs f U (u) eller p U (u). 3. Modifiera (eventuellt) U via någon funktion h(u) så att E[h(U)]=θ. 20
Uppgift 9.61 (forts. av 9.49) 1. I uppgift 9.49 visades via faktoriseringssatsen att Y (n) är en (minsta) uttömmande statistika för θ. 2. I Exempel 9.1 visades att 3. Således följer att är MVUE av θ. 21
Metod för att finna MVUE för g(θ) Metoden kan även användas för att finna en MVUE för någon funktion g(θ). 4. Eftersom h(u) är en MVUE för θ studeras g(h(u)). 5. g(h(u)) behöver inte vara en väntevärdesriktig skattare av g(θ) men efter vidare modifiering fås W=h*(g(h(U))) där Eftersom W är en funktion av den minsta uttömmande statistikan U följer att W är en MVUE av g(θ). 22
Uppgift 9.64 a Låt Y₁,Y₂,,Y n vara olfsv N(μ,1). Bestäm MVUE av μ 2. 4. Enligt uppgift 9.8a är Y MVUE av μ varför vi studerar (Y) 2 5. Nu gäller dock att varför vi modifierar och får som är MVUE av μ 2. 23
Momentmetoden Typiskt för de flesta sannolikhetsfördelningar är att momenten beror på fördelningens parametrar. Tanken med momentmetoden är att skatta populationsmomentet av ordning k med motsvarande stickprovsmoment. skattas med Momentmetoden ger konsistenta skattare som dock inte alltid är väntevärdesriktiga och inte heller de mest effektiva skattarna. Den stora fördelen med momentmetoden är dess enkelhet. 24
Uppgift 9.69 Låt Y₁,Y₂,,Y n vara olfsv med gemensam täthetsfunktion För att med momentmetoden kunna skatta θ beräknas E(Y). 25
Uppgift 9.69 Enligt momentmetoden ska vi använda Y som skattare av E(Y) varför vi för att finna θ ska lösa ekvationen Eftersom Y är en konsistent skattare av E(Y) följer av Sats 9.2 Faktoriseringssatsen ger att den minsta uttömmande skattaren är U=-ΣlnY i och eftersom θ inte är en funktion av denna är den inte MVUE. 26
Maximum-Likelihood-metoden Likelihoodfunktionen anger sannolikheten/tätheten (eller likelihood) för just detta stickprov som en funktion av θ. En rimlig tanke är att som skattning av θ använda det värde på θ som maximerar sannolikheten/tätheten för detta stickprov. En skattare som använder denna princip sägs vara en Maximum-Likelihood-skattare (ML-skattare). 27
Maximum-Likelihood-metoden Låt X₁,X₂,,X n vara olfsv med en sannolikhetsfördelning som beror på någon parameter θ. Bestäm ML-skattaren för θ. 1. Bestäm den gemensamma sannolikhets-/täthetsfunktionen f(x θ) och bestäm likelihoodfunktionen 2. För att finna det värde på θ som maximerar L(θ) kan vi (vanligtvis) derivera L(θ) och söka nollställe. Oftast är det dock enklare att istället studera lnl(θ) varpå ML-skattaren blir det värde på θ som löser ekvationen 28
Uppgift 9.82 a Låt Y₁,Y₂,,Y n vara olfsv med gemensam täthetsfunktion Eftersom följer att är en (minsta) uttömmande statistika för θ. 29
Uppgift 9.82 b Utifrån den i a-uppgiften bestämda likelihoodfunktionen följer att Derivering med avseende på θ ger att dvs Således gäller att ML-skattaren av θ är 30
Uppgift 9.82 c Utifrån den i a-uppgiften bestämda likelihoodfunktionen följer att Låt x=y r Liknar tätheten för Ga(2,θ). Således gäller att θ är en väntevärdesriktig skattare av θ. Eftersom ML-skattaren dessutom är en funktion av den minsta uttömmande skattaren U följer att den är en MVUE för θ. 31
Maximum-Likelihood-metoden Låt U vara uttömmande för θ. Faktoriseringssatsen (9.4) ger att där g(u,θ) är en funktion enbart av u och θ, samt att h(x₁,x₂,,x n ) är en funktion som inte beror på θ. Maximum för beror således på stickprovet enbart utifrån U. Alltså följer att en ML-skattare alltid är en funktion av U. Om en ML-skattare kan göras väntevärdesriktig är den följaktligen ofta MVUE för den aktuella parametern. 32
Uppgift 9.83 a Låt Y₁,Y₂,,Y n vara olfsv U(0,2θ+1). Bestäm ML-skattaren av θ. Eftersom kan problemet inte lösas på det vanliga sättet. Problemet med att parametern i definitionsområdet löser vi (som tidigare) med hjälp av en indikatorfunktion. Det följer att 33
Alltså fås att Uppgift 9.83 a 1. För att maximera L(θ) minimerar vi uttrycket (2θ+1) n vilket innebär att θ ska väljas så litet som möjligt. 2. Indikatorfunktionen ger begränsningen att 2θ+1 Y (n) ML-skattningen av θ blir således 34
Trevliga egenskaper hos ML-skattare Invariansegenskapen. Låt θ vara ML-skattare för θ och låt t(θ) vara en funktion av θ. Då gäller att är ML-skattare av t(θ). Asymptotisk effektivitet (Avsnitt 9.8, frivilligt). Under vissa (vanligtvis uppfyllda) omständigheter gäller att ML-skattare asymptotiskt uppfyller Cramér-Rao-gränsen. 35
Uppgift 9.83 b Variansen för U(0,2θ+1) är Det följer då att Invariansegenskapen är ML-skattare av V(Y). 36