MATEMATISK STATISTIK AK FÖR F, E, D, I, C, Π; FMS 012 FÖRELÄSNINGSANTECKNINGAR I

MATEMATISK STATISTIK AK FÖR F, E, D, I, C, Π; FMS 012 FÖRELÄSNINGSANTECKNINGAR I STATISTIKTEORI JOAKIM LÜBECK Mars 2014 Matematikcentrum Matematisk statistik CENTRUM SCIENTIARUM MATHEMATICARUM

FÖRELÄSNINGSANTECKNINGAR I STATISTIKTEORI MATEMATISK STATISTIK AK FÖR F, E, D, I, C, Π; FMS 012 JOAKIM LÜBECK, MARS 2014 Innehåll 1 Punktskattningar och deras egenskaper 5 1.1 Grundläggande begrepp................................... 5 1.2 Modell för mätning med slumpmässigt fel.......................... 6 1.3 Egenskaper hos en skattning................................. 7 1.4 Maximum Likelihood-metoden, ML............................ 8 1.5 ML-skattning vid normalfördelade observationer...................... 10 1.5.1 Skattningarnas fördelning.............................. 11 1.6 Minsta kvadrat-metoden, MK................................ 13 1.7 Medelfel........................................... 14 1.8 Variansskattning vid flera normalfördelade stickprov..................... 14 2 Intervallskattning 17 2.1 Konfidensintervall för µ i normalfördelningen........................ 17 2.1.1 σ känd....................................... 17 2.1.2 t-fördelningen.................................... 18 2.1.3 σ okänd....................................... 19 2.1.4 Sammanfattning konfidensintervall vid normalfördelad skattning.......... 21 2.2 Jämförande modeller..................................... 22 2.2.1 Två normalfördelade stickprov........................... 22 2.2.2 Stickprov i par.................................... 24 2.3 Normalapproximation.................................... 25 2.4 Transformation av intervallskattningar............................ 28 2.5 Konfidensintervall för σ 2 i normalfördelningen....................... 29 2.6 Ensidiga konfidensintervall................................. 30 3 Hypotestest 32 3.1 Direktmetoden eller P -värde................................ 33 3.2 Testkvantitet och kritiskt område.............................. 33 3.3 Konfidensmetoden...................................... 34 3.4 Hypotestest vid normalfördelad skattning.......................... 34 3.5 Styrkefunktion........................................ 38 3.6 Normalapproximation.................................... 40 Id: regression.tex 20 2008-09-25 11:48:29Z joa

INNEHÅLL 4 Enkel linjär regression 42 4.1 Punktskattningar och deras fördelning............................ 42 4.2 Intervallskattningar..................................... 44 4.3 Skattning av punkt på linjen................................. 44 4.4 Prediktionsintervall för observationer............................ 45 4.5 Kalibreringsintervall..................................... 46 4.6 Modellvalidering....................................... 47 4.6.1 Residualanalys.................................... 47 4.6.2 Är β signifikant?................................... 47 4.7 Linjärisering av några icke linjära samband......................... 48 4.8 Centrerad modell...................................... 48 5 Stokastiska vektorer 49 6 Multipel regression 50 6.1 Matrisformulering...................................... 51 6.2 MK-skattning av β..................................... 51 6.3 Skattningarnas fördelning.................................. 53 6.4 Skattning av punkt på planet............................... 55 6.5 Modellvalidering....................................... 56 6.6 Kolinjäritet mellan förklarande variabler........................... 57 6.7 Stegvis regression....................................... 57 6.8 Polynomregression...................................... 57 6.9 Kalibreringsområde..................................... 58 A ML- och MK skattningar av parametrarna i enkel linjär regression 60 A.1 Några hjälpresultat...................................... 60 A.2 Punktskattningar....................................... 60 A.3 Skattningarnas fördelning.................................. 61 B Tabeller 63 2

INNEHÅLL Förord Detta kompendie är baserat på de föreläsningsanteckningar jag använder på statistikdelen av grundkurserna i matematisk statistik på LTH. En del av materialet har jag lånat av kollegor, främst Anna Lindgren och Lena Zetterqvist. Målgruppen är främst de som läser niopoängskursen fms012 (F, E, D, I, C, och Π) men kan användas även till 7.5-poängskurserna. För B, K och N är det dock vissa skillnader i beteckningar Detta kompendie BKN-kursen Benämning Stokastisk variabel Slumpvariabel Parametrar i normalfördelningen N(µ, σ) N(µ, σ 2 ) Normalfördelningens α-kvantil λ α z α Parameter i exponentialfördelningen Exp(λ) Exp(a), a = 1/λ Styrkefunktion h(θ) π(θ) Härledningarna av skattningar med Maximum-Likelihood- och Minstakvadrat-metoden kan dessutom läsas kursivt av BKN-studenter. 3

INNEHÅLL 4

1 PUNKTSKATTNINGAR OCH DERAS EGENSKAPER 1 Punktskattningar och deras egenskaper 1.1 Grundläggande begrepp I sannolikhetsteorin har vi arbetat med stokastiska variabler vars fördelningar och deras parametrar varit kända. I statistikteori har vi i stället en samling mätvärden från någon fördelning vars parametrar i regel är okända; vi vill använda mätvärdena för att uppskatta de okända parametrarna på något bra sätt. Ett stickprov, x 1,..., x n är en samling observationer av stokastiska variabler X 1,..., X n från någon fördelning X i F (θ) där θ är en okänd parameter. Ofta kan observationerna antas vara oberoende av varandra. 0.7 Ett stickprov från någon fördelning 0.6 0.5 Täthet 0.4 0.3 0.2 0.1 0 2 3 4 5 6 7 8 Observationer Figur 1.1: Ett stickprov ( ) som är observationer från någon fördelning. De heldragna linjerna är några möjlig kandidater till observationenas rätta fördelning, men vi vet inte vilken det är. Vi kan ha en idé om att det t.ex rör sig om en normalfördelning och vi kan använda stickprovet för att skatta parametrarna i denna fördelning. Nu vill vi använda observationerna för att på något vis gissa parametern θ. En sådan gissning kallas för en skattning eller punktskattning (eftersom det är ett tal vi skattar) och betecknas med θ för att markera att det är en gissning av θ (beteckningen ˆθ är också vanlig). Eftersom vi använder observationerna för att göra skattningen kan vi även se den som en funktion av dessa, θ (x 1,..., x n ). På samma sätt som vi betraktade stickprovet som observationer av stokastiska variabler kan vi även betrakta skattningen θ (x 1,..., x n ) som en observation av den stokastiska variabeln θ (X 1,..., X n ), dvs samma funktion men där vi stoppar in de stokastiska variablerna i stället för observationerna. En skattning är alltså 1. En funktion, dvs en regel som talar om vad vi skall göra med observationerna för att få fram (de två följande tolkningarna av) skattningen. 2. Ett tal, det vi får ut då vi stoppat in observationerna. 3. En stokastisk variabel, det vi får då vi stoppar in de stokastiska variabler som stickprovet är observationer av. Man brukar beteckna skattningen θ i alla tre fallen, det framgår i regel av situationen vilket som avses. Ibland används begreppet skattare för funktionsformen. I en statistisk undersökning är målet det tal vi får som skattning och att dra några slutsatser kring detta, men om vi bara tittar på talet får vi inte någon som helst information om hurvida skattningen är bra. Är det t.ex 5

1 PUNKTSKATTNINGAR OCH DERAS EGENSKAPER troligt att den ligger nära det rätta värdet på θ? Det kan vi göra oss en uppfattning om genom att studera den som stokastisk variabel. 1.2 Modell för mätning med slumpmässigt fel Antag att vi vill mäta upp en fysikalisk storhet, kalla den µ. Vi mäter n gånger och får mätvärdena x 1,..., x n. Skulle nu alla mätvärden bli samma så är väl allt frid och fröjd, vi har ett värde på vårt hittills okända µ. Men det vanliga är nog ändå att de inte blir samma utan vi har en viss variation som ofta kan modelleras som slumpmässiga avvikelser kring det sanna värdet på µ. Vi kan då betrakta mätvärdena som observationer av X i = µ + ε i = Det sanna värdet + slumpmässigt mätfel. Har vi en vettig mätsituation med kalibrerade mätinstrument är det inte orimligt att anta att avvikelserna ε i är oberoende och likafördelade stokastiska variabler med väntevärde noll, dvs i medeltal är mätfelet noll. I många situationer kan man dessutom anta att de är normalfördelade, ε i N(0, σ). Detta medför att våra observationer är (tal + normalfördelad variabel) X i N(µ, σ). Vi ser att väntevärdet i observationernas fördelning är det okända tal vi försöker mäta upp, vi vill alltså göra en skattning av µ. Innan vi ger oss in på lite mer rationella metoder att ta fram skattningar kan vi ändå försöka skatta µ på något vettigt vis. Inspirerade av stora talens lag, som säger att fördelningen för medelvärdet mellan oberoende och likafördelade stokastiska variabler koncentreras mer och mer kring väntevärdet ju fler variabler som ingår i medelvärdet, kan vi helt enkelt bilda medelvärdet mellan observationerna och ta det som skattning av µ. µ = 1 n x i = x. För att se vilka egenskaper som metoden bilda medelvärdet mellan observationerna för att skatta µ har betraktar vi µ som en observation av den stokastiska variabeln µ = 1 n X i = X. Vi kan beräkna väntevärde och varians för denna stokastiska variabel E(µ ) = E( 1 n V (µ ) = V ( 1 n X i ) = 1 n X i ) = 1 n 2 E(X i ) = 1 n µ = µ V (X i ) = 1 n 2 σ 2 = σ2 n. Dessutom är µ N(µ, σ/ n) eftersom den är en linjär funktion av normalfördelningar. Vi ser att i medeltal, om vi alltså gör upprepade försök och skattar µ många gånger, ger metoden skattningar som varierar kring rätt värde på µ, eftersom E(µ ) = µ. Dessutom blir variationen mindre om man baserar skattningen på fler mätvärden då V (µ ) = σ 2 /n, se figur 1.2. Exempel 1.1. Kalle och Nisse skall mäta en fysikalisk konstant på en fysiklaboration. Kalle har turen att få det dyra mätinstrumentet varpå han kan läsa Mätfelet är N(0, 2) medan Nisse 6

1 PUNKTSKATTNINGAR OCH DERAS EGENSKAPER 1.6 1.4 1.2 1 Täthet 0.8 0.6 0.4 0.2 0 2 3 4 5 6 7 8 x Figur 1.2: Om fördelning för observationerna x i är N(5, 1) ( ), blir fördelningen för en skattning µ = x baserad på fem observationer N(5, 1/ 5) (-.-) samt för µ = x baserad på femton observationer N(5, 1/ 15) (- -). Vi ser att då stickprovsstorleken ökar har skattningen av µ större chans att komma nära det rätta värdet µ = 5 eftersom skattningens varians minskar. får ta det gamla instrumentet som är märkt med mätfel som är N(0, 3). Kalle nöjer sig med att mäta en gång, medan Nisse väljer att mäta tre gånger och bilda medelvärdet mellan dessa. Vem har störst chans att komma närmast rätt värde av Kalle och Nisse? Lsg. Den person vars skattning har minst varians (eller standardavvikelse) bör ha störst chans att komma närmast rätt värde. För Kalles del så får hans skattning, kalla den µ K, samma varians som hans enda observation, V (µ K ) = 22 = 4. För Nisses skattning blir variansen V (µ N ) = 3 2 /3 = 3. Nisse bör alltså ha störst chans att komma närmast rätt värde. 1.3 Egenskaper hos en skattning Vilka egenskaper bör då en bra skattning θ ha? Vi har redan varit inne på det och de är 1. Den bör var väntevärdesriktig (vvr), E(θ ) = θ. 2. Den bör var effektiv, V (θ ) ska vara liten. 3. Den bör vara konsistent, löst uttryckt: den bör bli bättre, dess fördelning koncentreras mer kring rätt värde, då man öka antalet observationer skattningen baseras på. För en väntevärdesriktig skattning hamnar man alltså i medeltal kring rätt värde vid upprepade skattningar. Har man flera sätt att skatta en parameter på är den metod med minst varians den effektivaste. Då vi inte går på djupet med konvergensbegrepp i den här kursen nöjer vi oss med den lite vaga definitionen av konsistens men man kan tillägga att om en skattning är väntevärdesriktig så är den även konsistens om dess varians går mot noll då antalet mätvärden n. I förra avsnittet såg vi att medelvärdet mellan likafördelade observationer (de var förvisso normalfördelade där men det räcker att de är likafördelade) är en väntevärdesriktig skattning av väntevärdet och att dess varians är σ 2 /n där σ 2 är observationernas varians. Exempel 1.2. Emma singlade slant 100 gånger och fick krona uppåt vid 54 av dessa tillfällen. 7

1 PUNKTSKATTNINGAR OCH DERAS EGENSKAPER Ange en vettig skattning av p = P ( Krona upp ) och avgör om den är väntevärdesriktig samt bestäm dess varians. Lsg. En helt naturlig skattning av denna sannolikhet är p = 54/100, men bara detta tal säger inget om skattningens egenskaper. Men vi kan här känna igen att X = antalet krona upp i de hundra försöken är binomialfördelat, X Bin(n, p) där n = 100, p den sökta sannolikheten och x = 54 är en observation av X. Då blir vår skattning p = x n = 54 100, som är en observation av p = X n. För X Bin(n, p) vet vi att E(X) = np och V (X) = np(1 p) så skattningen får väntevärde och varians enligt E(p ) = E( X n ) = 1 n E(X) = 1 n np = p V (p ) = V ( X n ) = 1 n 2 V (X) = 1 p(1 p) np(1 p) =. n2 n Denna skattning är alltså väntevärdesriktig och dess varians blir mindre (vi kommer alltså troligen närmre rätt värde) ju fler slantsinglingar man gör. Naturligtvis är denna skattning användbar varhelst man stöter på en binomialfördelning, det behöver inte nödvändigtvis vara slantsingling. 1.4 Maximum Likelihood-metoden, ML Hittills har vi tagit våra skattningar mer eller mindre ur luften. Det finns lite mer rationella sätt att ta fram skattningar för parametrar i olika fördelningar. En av dessa är maximum likelihood-metoden och med den väljer man som skattning det θ som maximerar likelihood-funktionen, L(θ). Om vi har n oberoende observationer x 1,..., x n av en variabel med täthetsfunktion f X (x) vid kontinuerlig fördelning respektive sannolikhetsfunktionen p X (k) vid diskret fördelning och denna fördelning har en okänd parameter θ blir n f X (x i ) = f X (x 1 ) f X (x 2 )... f X (x n ), vid kontinuerlig fördelning L(θ) = n p X (x i ) = p X (x 1 ) p X (x 2 )... p X (x n ), vid diskret fördelning. Man stoppar alltså in varje observation i sin täthets- eller sannolikhetsfunktion och multiplicerar ihop dem. I det diskreta fallet innebär det att vi maximerar sannolikheten att få just de observationer vi fått, vilket väl känns som en bra idé. I det kontinuerliga fallet är det den n-dimensionella täthetsfunktionen i den punkt som utgörs av stickprovet som maximeras. Ibland måste maximeringen ske med någon numerisk metod men i vissa fall går det bra att göra det analytiskt. Produktformen på L(θ) gör att maximeringen kan bli besvärlig så oftast söker man i stället maximum till logaritmen av den eftersom den har maximum på samma ställe som L(θ) men är enklare att hantera. ( n ) ln f X (x i ) = ln L(θ) = ( n ) ln p X (x i ) = ln f X (x i ) = ln f X (x 1 ) + ln f X (x 2 ) +... + ln f X (x n ) ln p X (x i ) = ln p X (x 1 ) + ln p X (x 2 ) +... + ln p X (x n ). 8

1 PUNKTSKATTNINGAR OCH DERAS EGENSKAPER Naturligtvis kan man stoppa in L(θ) i vilken strängt växande funktion som helst och maximera denna (eller strängt avtagande och minimera) men logaritmen har ju den fördelen att den gör om produkter till summor som blir enklare att t.ex derivera (och den naturliga logaritmen är lite lättare att derivera än alla andra logaritmer). Exempel 1.3. Rayleigh-fördelning. Antag att x 1,..., x n är observationer av en stokastisk variabel med täthetsfunktionen f X (x) = x x2 e 2b b2 2, x 0, b > 0. Härled maximum likelihood-skattningen av parametern b. Lsg. ML-skattningen av b, b ML ges av det b som maximerar likelihoodfunktionen L(b) = f X (x 1 )... f X (x n ) = x 1 = b 2n x 1... x n e 1 x 2 b 2 e 1 2b 2 2b 2 n x2 i, ln L(b) = 2n ln b + ln x 1 +... + ln x n 1 2b 2 d ln L(b) db 2nb 2 =... xn x 2 b 2 e n 2b 2 = [samla ihop relaterade delar] [logaritmera] x 2 i [derivera och sätt = 0] = 2n b + 0 + 1 b 3 x 2 i = 0 [lös ut b] x 2 i b ML = 1 x 2 i 2n. [ta den positiva roten] Att detta värde maximerar L(b) ser man om man t.ex. sätter in skattningen i andraderivatan av ln L(b) som då alltid är negativ. Observera att det är funktionsformen av skattningen vi är ute efter, skattaren. Så även om vi från början haft ett par uppmätta värden från den givna fördelningen hade det varit dumt att stoppa in dem i L(b) från början och sedan maximera den. Då förlorar vi informationen om vad vi gör med observationerna för att få fram skattningen och kan t.ex. inte ta reda på om den är väntevärdesriktig (samt att vi får göra om hela maximeringsarbetet nästa gång vi stöter på denna fördelning). Exempel 1.4. Binomialfördelning. Beräkna ML-skattningen av p baserat på en observation x av en binomialfördelning X Bin(n, p). Lsg. Nu har vi en observation av en diskret variabel så det blir bara en faktor i likelihoodfunktionen som alltså blir lika med sannolikhetsfunktionen för X. Så vi maximerar L(p) map p ( ) n L(p) = P (X = x) = p x (1 p) n x x ( ) n ln L(p) = ln + x ln p + (n x) ln(1 p) x d ln L(p) = 0 + x dp p n x 1 p = 0 = x(1 p) = (n x)p = p ML = x n. 9

1 PUNKTSKATTNINGAR OCH DERAS EGENSKAPER Vi ser att det är samma som den intuitiva skattning vi valde i exempel 1.2 där vi även konstaterade att den var väntevärdesriktig samt beräknade dess varians. Exempel 1.5. Poissonfördelning. Härled ML-skattningen och beräkna dess väntevärde och varians baserat på de oberoende observationerna x 1,..., x n av X i P o(µ). Lsg. Poisson-fördelningens sannolikhetsfunktion är p X (k) = P (X = k) = e µ µk, k = 0, 1, 2,.... k! Likelihood-funktionen och maximering av den blir L(µ) = P (X 1 = x 1,..., X n = x n ) = e µ µx 1 ln L(µ) = nµ d ln L(µ) dµ µ ML = 1 n ln(x i!) + ln(µ) = n 0 + 1 µ x i = x. x i = 0 = x i x 1!... e µ µxn x n! = e nµ 1 x 1!... 1 x n! µ n x i Här ser man enkelt att detta maximerar L(µ) eftersom andraderivatan av ln L(µ) är 1/µ 2 x i och alltid är negativ (alla x i är positiva heltal så summan är > 0, utom i fallet att alla x i = 0, men det får väl betraktas som lite speciellt). För observationerna har vi E(X i ) = V (X i ) = µ så för skattningen fås E(µ ) = E( 1 n V (µ ) = V ( 1 n X i ) = 1 n X i ) = 1 n 2 E(X i ) = 1 n µ = µ V (X i ) = 1 n 2 µ = µ n. 1.5 ML-skattning vid normalfördelade observationer Om vi har observationer x 1,..., x n av en normalfördelning X i N(µ, σ) är vanligtvis både µ och σ okända och behöver skattas. Med maximum likelihood-metoden blir likelihood-funktionen en funktion av två variabler att maximera den med avseende på, så det blir lite besvärligare än om man bara skattar en parameter (men vi behöver ju bara göra det en gång för denna viktiga situation och kan sedan återanvända resultatet). Vi väljer att beräkna skattningarna av observationernas väntevärde, µ, och deras varians, σ 2 (dvs inte σ). Likelihood-funktionen och dess logaritm blir L(µ, σ 2 ) = 1 2πσ 2 e (x 1 µ)2 2σ 2... ln L(µ, σ 2 ) = n 2 ln(2π) n 2 ln σ2 1 2σ 2 1 (xn µ)2 e 2σ 2 = 2πσ 2 (x i µ) 2. 10 1 (2π) n/2 1 σ 1 n e 2σ 2n/2 2 (x i µ) 2

1 PUNKTSKATTNINGAR OCH DERAS EGENSKAPER Maximum av denna funktion map µ och σ 2 fås genom att lösa ekvationssystemet ln L µ = 1 σ 2 (x i µ) = 0 ln L σ 2 = n 2σ 2 + 1 2σ 4 (x i µ) 2 = 0. Första ekvationen ger (x i µ) = 0 = x i = nµ = µ ML = 1 n x i = x. Detta värde på µ insatt i andra ekvationen ger nσ 2 = (x i x) 2 = (σ 2 ) ML = 1 n (x i x) 2. Vad gäller skattningen av µ har vi redan sett i avsnitt 1.2 att den är väntevärdesriktig och att dess varians är σ 2 /n, men för variansskattningen har vi ( ) E[(σ 2 ) 1 ML] = E (X i n X) 2 =... = (1 1 n )σ2. Den är alltså inte väntevärdesriktig 1 utan har ett systematiskt fel som gör att man i medeltal underskattar variansen med denna metod. Så anser man att väntevärdesriktighet är nödvändigt kan man korrigera sin skattning (genom att här dela (σ 2 ) ML med (1 1/n)). I det här fallet får vi att ML-skattningen av väntevärdet och en korrigerad ML-skattning av variansen µ = 1 n x i = x, (σ 2 ) = 1 n 1 (x i x) 2 = s 2 som båda är väntevärdesriktiga. Dessa skattningar använder man med fördel för att skatta väntevärde och varians även vid okänd fördelning. Vi inför även beteckningen s 2 för stickprovsvariansen. Vill man skatta observationernas standardavvikelse σ tar man helt enkelt roten ur variansskattningen dvs s. Denna skattning är dock inte väntevärdesriktig. Vid handräkning kan man ha nytta av att man kan utveckla kvadraten i kvadratsumman och skriva s 2 som [ s 2 = 1 ] ( (x i x) 2 = 1 x 2 i n x 2 = 1 ) 2 x 2 i 1 x i (1.1) n 1 n 1 n 1 n där den senare varianten är att föredra eftersom den är mindre känslig för avrundningsfel då n är stor. 1.5.1 Skattningarnas fördelning Vi har tidigare sett att om vi har oberoende observationer x 1,..., x n av N(µ, σ) och µ skattas med µ = x så är µ N(µ, D(µ )) = N(µ, σ n ) 1 Om µ till äventyrs skulle vara känd så är 1 n n (xi µ)2 en väntevärdesriktig skattning observationernas varians. 11

1 PUNKTSKATTNINGAR OCH DERAS EGENSKAPER vilket vi kommer att stor användning av i kommande avsnitt. Uttrycket för standardavvikelsen kommer att ha olika former men grundprincipen är den att vi har en normalfördelad skattning och kunskap om observationerna tillsammans med skattningsmetoden (i det här fallet medelvärde mellan normalfördelade observationer) gör att vi kan räkna ut skattningens standardavvikelse. Även om det primära är att skatta µ kommer vi även ha anledning att ta reda på vilken fördelning som är relaterad till variansskattningen. I sats 6.6 i läroboken såg vi att en kvadratsumma av n st N(0, 1)-variabler hade en så kallad χ 2 (n)-fördelning (chi-två). Detta kan generaliseras till: Om X 1,..., X n är oberoende (av varandra) och X i N(µ, σ) så är 1 σ 2 (X i µ) 2 χ 2 (n) och 1 σ 2 (X i X) 2 χ 2 (n 1). Det andra uttrycket är mest intressant för det påminner om stickprovsvariansen (σ 2 ) = s 2 = 1 n 1 (x i x) 2 som är en observation av (σ 2 ) = 1 n 1 där vi inför Q som summan av kvadratiska avvikelser kring medelvärdet. Så vi har alltså Q σ 2 χ2 (n 1) (n 1)(σ2 ) σ 2 χ 2 (n 1). (X i X) 2 = Q n 1 Parametern i χ 2 -fördelningen (n 1 i det här fallet) kallas antalet frihetsgrader och är antalet oberoende komponenter i kvadratsumman. Man kan även se den som antalet observationer minus antalet skattade parametrar i kvadratsumman, X är ju ett skattat väntevärde, µ. Observera att det alltid är samma tal som man delar med i variansskattningen. Exempel 1.6. Om man har åtta oberoende observationer av N(µ, σ) och skattar µ och σ 2 enligt ovan, vad är då Lsg. 1. sannolikheten att en observation, X i, avviker med mer än en standardavvikelse från det rätta värdet på µ? 2. sannolikheten att skattningen µ avviker med mer än en (av observationernas) standardavvikelse från det rätta värdet µ? 3. sannolikheten att skattningen (σ 2 ) är minst dubbel så stor som det sanna värdet σ 2? Använd gärna Matlab eller tabell 4 i läroboken bak å fram då χ 2 -fördelningens fördelningsfunktion är besvärlig att hantera analytiskt. 1. Vi har X i N(µ, σ) och avvikelsen från observationen till väntevärdet är X i µ så vi får sannolikheten till P ( X i µ > σ) = 1 P ( σ < X i µ < σ) = [standardisera] = = 1 P ( σ σ < X i µ < σ ) = 1 (Φ(1) Φ( 1)) = σ σ = [Φ( x) = 1 Φ(x)] = 2 2Φ(1) 0.32. 2. Nu har vi i stället µ = X N(µ, σ/ 8) så vi kan återanvända beräkningarna ovan (byt ut σ mot σ/ 8 i standardiseringen) P ( X µ > σ) = 2 2Φ( 8) 0.0047. 12

1 PUNKTSKATTNINGAR OCH DERAS EGENSKAPER 3. Här använder vi att (σ 2 ) = Q/(n 1) och att Q/σ 2 χ 2 (7) P ((σ 2 ) > 2σ 2 Q ) = P ( n 1 > 2σ2 ) = P ( Q σ 2 > 2(n 1)) = P ( Q σ 2 > 14). Om vi använder tabellen över χ 2 (7)-fördelningens kvantiler skall vi alltså leta efter den kvantil som är ungefär lika med 14. I tabell 4 ser vi att χ 2 0.05 (7) = 14.1 så den sökta sannolikheten är alltså ungefär 0.05. Använder man Matlab så fås svaret 0.0512 ur 1-chi2cdf(14,7). 1.6 Minsta kvadrat-metoden, MK Vid ML-skattning behöver vi information om observationernas fördelning (sånär som på de parametrar vi skall skatta) vilket inte alltid är fallet att man har. Med Minsta kvadrat-metoden räcker det att ha information om hur observationernas väntevärde beror av den/de parametrar som skall skattas. Om vi har observationerna x 1,..., x n av X i med E(X i ) = µ i (θ) ges minsta kvadrat-skattningen av θ av det θ som minimerar förlustfunktionen Q(θ) = (x i µ i (θ)) 2. Vi minimerar alltså summan av kvadratiska avvikelser från observationerna till deras väntevärde. Observera att denna funktion redan är på summaform och att det därför inte blir till någon hjälp att logaritmera den. Exempel 1.7. Exponentialfördelning. Beräkna minsta kvadrat-skattningen av λ baserad på observationerna x 1,..., x n av X i Exp(λ). Lsg. För exponentialfördelningen (med λ som parameter) har vi E(X i ) = 1/λ. Så vi minimerar Q(λ) = dq(λ) dλ (x i 1 λ )2 = 2 λ 2 (x i 1 λ ) = 0 = x i = n λ = λ MK = n n x i = 1 x. På grund av den kvadratiska formen på Q(λ) tror vi väl på att detta värde verkligen är minimum. Minsta kvadratmetoden kan justeras lite för att ta olika mycket hänsyn till de olika observationerna vid skattningen. Man inför vikter w i som anger hur mycket hänsyn man skall ta till mätvärde nr i. Man får en viktad minsta kvadrat-skattning av θ genom att minimera Q(θ) = w i (x i µ i (θ)) 2. Speciellt om mätvärde nr i har variansen σ 2 i kan man välja w i = 1/σ 2 i och därmed kommer mätvärden med stor varians (och därmed stor osäkerhet) att påverka skattningen i mindre utsträckning än de med liten varians. 13

1 PUNKTSKATTNINGAR OCH DERAS EGENSKAPER 1.7 Medelfel Vi har tidigare beräknat variansen för några skattningar och den är ju ett mått på osäkerheten i skattningen och det kommer i kommande avsnitt att vara nödvändigt att beräkna den numeriskt, eller oftare roten ur den, dvs skattningens standardavvikelse. Så kan vi för en skattning θ beräkna dess standardavvikelse D(θ ) är det bra, men ofta innehåller den okända parametrar som måste skattas. Sättes dessa skattningar in i D(θ ) får vi skattningens medelfel som betecknas med d(θ ) (dvs d(θ ) = D(θ ) ). I fallet när vi skattade µ i normalfördelningen med µ = x (avsnitt 1.2 och 1.5) hade vi V (µ ) = σ2 n = D(µ ) = σ n. Om σ skulle vara känd kan vi få en siffra på D(µ ), men är den det inte skattade vi ju observationernas standardavvikelse σ med stickprovsstandardavvikelsen σ = s så medelfelet blir d(µ ) = s n. När vi skattade p i en binomialfördelning (exempel 1.2 och 1.4) blev skattningens varians V (p ) = p(1 p) n p(1 p) = D(p ) =. n Här kan vi inte få fram en siffra eftersom skattningens standardavvikelser innehåller p som ju är okänd (vi skulle ju inte behöva skatta den om den vore känd). Men vi kan stoppa in vår skattning p = x/n och medelfelet blir d(p ) = p (1 p ) n x n = (1 x n ). n I fallet med poissonfördelningen (exempel 1.5) hade vi µ = x och V (µ ) = µ/n så d(µ ) = x/n. 1.8 Variansskattning vid flera normalfördelade stickprov Här betraktar vi k st oberoende normalfördelade stickprov med samma σ men med olika väntevärden. De kan till exempel vara mätningar på olika saker med en och samma mätmetod och det huvudsakliga bidraget till variationen kommer från mätmetoden. x 1,1, x 1,2,..., x 1,n1 obs. av X 1,i N(µ 1, σ) x 2,1, x 2,2,..., x 2,n2 obs. av X 2,i N(µ 2, σ). x k,1, x k,2,..., x k,nk obs. av X k,i N(µ k, σ). De k väntevärdena skattas som vanligt med medelvärdet av motsvarande stickprov, men för att skatta den gemensamma variansen σ 2 bör vi utnyttja alla mätvärden. Man kanske skulle kunna frestas att betrakta alla observationer som ett enda stickprov och ta den totala stickprovsvariansen som skattning av σ 2 och det skulle kunna fungera om alla µ i är ungefär lika stora, men ger naturligtvis en för stor skattning om de inte är det. Likaså kan man inte heller bilda medelvärdet mellan de enskilda stickprovsvarianserna (om det inte 14

1 PUNKTSKATTNINGAR OCH DERAS EGENSKAPER är lika många observationer i alla stickprov, då råkar det bli rätt). Utan vi gör en sammanvägd (eng. pooled) skattning av variansen enligt (det är en korrigerad ML-skattning) s 2 p = (n 1 1)s 2 1 + (n 2 1)s 2 2 + + (n k 1)s 2 k (n 1 1) + (n 2 1) + + (n k 1) = Q f där s 2 i är stickprovsvariansen för stickprov nr i. Liksom i avsnitt 1.5.1 är antalet frihetsgrader för denna skattning det tal som står i nämnaren, f = k 1 (n i 1), dvs totala antalet observationer och minus ett för varje skattad parameter i täljaren (ett skattat väntevärde i varje s 2 i ). Även här är skattningen relaterad till χ 2 -fördelningen genom Q σ 2 χ2 (f). Exempel 1.8. Olle är intresserad av vikten på sitt marsvin Hugo (eller snarare om han har gått upp i vikt, han har varit lite mager på sista tiden), så han gör tre vägningar på en våg som har ett slumpmässigt och normalfördelat mätfel ε i N(0, σ). Resultat i gram x i : 792 799 793. Detta är då observationer av X i N(µ x, σ) där µ x är Hugos vikt vid detta tillfälle. En vecka senare är det dags för vägning igen och nu blev resultatet y i : 799 802 804 799 som är observationer av Y i N(µ y, σ), vi antar här att det är samma σ som vid förra veckans vägning. 1. Skatta Hugos vikt vid de två tillfällena och beräkna skattningarnas medelfel. 2. Skatta Hugos viktuppgång, µ = µ y µ x samt ange vad den skattningen har för fördelning och beräkna medelfelet. Anm. I ett senare kapitel kan vi kanske ta reda på om Hugos viktuppgång är signifikant. Lsg. 1. De två väntevärdena skattar vi med vardera medelvärdet µ x = 1 3 x i = 794.67 g, µ y = 1 4 y i = 801.00 g 3 4 som är observationer av µ x N(µ x, σ/ 3) respektive µ y N(µ y, σ/ 4). Variansen σ 2 skattas med den sammanvägda stickprovsvariansen s 2 p s 2 x = 1 3 1 3 (x i x) 2 = 14.33 g 2, s 2 y = 1 4 1 4 (y i ȳ) 2 = 6.0 g 2 (σ 2 ) = s 2 p = (3 1)s2 x + (4 1)s 2 y (3 1) + (4 1) = 9.33 g 2. Eftersom D(µ x) = σ/ 3 och motsvarande för µ y blir medelfelen d(µ x) = s p 3 = 9.33 3 = 1.76 g, d(µ y) = s p 4 = 2. Hugos viktuppgång µ skattar vi helt naturligt med µ = µ y µ x = 801.00 794.67 = 6.33 g. 9.33 4 = 1.53 g. 15

1 PUNKTSKATTNINGAR OCH DERAS EGENSKAPER Eftersom denna skattning är en linjär funktion av två normalfördelningar blir naturligtvis även den normalfördelad, vi behöver bara bestämma väntevärde och standardavvikelse för att precisera fördelningen E(µ ) = E(µ x µ y) = E(µ x) E(µ y) = µ x µ y = µ V (µ ) = V (µ x µ y) = [ober.] = V (µ x) + ( 1) 2 V (µ y) = σ2 3 + σ2 4 ( 1 D(µ ) = σ 3 + 1 ) 1 = µ N µ, σ 4 3 + 1 4 och medelfelet d(µ ) = s p 1 3 + 1 4 = 2.33 g. 16

2 INTERVALLSKATTNING 2 Intervallskattning I förra avsnittet såg vi hur man kan ta fram skattningar samt att det är viktigt att betrakta dem som funktioner av stokastiska variabler för att kunna analysera deras egenskaper. Nu skall vi i stället skatta ett intervall och därmed få lite mer kvantitativ information om osäkerheten i skattningarna. Fokus kommer nu och framöver att ligga på normalfördelningen men vi skall se att metoderna kommer att vara tillämpbara även då skattningarna är approximativt normalfördelade. Ett konfidensintervall med konfidensgrad 1 α för en parameter θ är ett intervall som med sannolikheten 1 α täcker rätt värde på θ. Intervallet betecknas I θ. Har vi observationerna x 1,..., x n skattas alltså två tal, a 1 och a 2 I θ = [a 1(x 1,..., x n ), a 2(x 1,..., x n )] som vi, liksom i fallet med punktskattningar, betraktar som observationer av de stokastiska variablerna I θ = [a 1(X 1,..., X n ), a 2(X 1,..., X n )] och de har egenskapen P (a 1(X 1,..., X n ) θ a 2(X 1,..., X n )) = 1 α. Observera att det är intervallets gränser som är stokastiska, θ är ju bara ett okänt tal. Skall intervallet ge någon vettig information om θ bör naturligtvis konfidensgraden 1 α vara hög, hur hög den skall vara varierar med olika tillämpningar men vi använder oftast 95% och i bland 99% eller 99.9%. Då är det ganska troligt (men inte helt säkert) att det intervall vi skattar verkligen täcker θ. 2.1 Konfidensintervall för µ i normalfördelningen 2.1.1 σ känd För att göra ett konfidensintervall för µ då vi har oberoende observationer x 1,..., x n av X i N(µ, σ) kan vi utgå från ML-skattningen av µ från förra avsnittet. Vi hade ju µ = 1 n x i obs. av µ σ N(µ, ) µ µ n σ/ N(0, 1). n Utifrån detta kan vi härleda ett konfidensintervall för µ. Observera att observationernas standardavvikelse σ måste vara känd för att man skall kunna räkna ut intervallet. Normalfallet, att den inte är känd, tar vi upp senare. För en N(0, 1)-fördelning gäller, eftersom den är symmetrisk kring noll, att den ligger mellan kvantilerna λ α/2 och λ α/2 med sannolikheten 1 α, se figur 2.1. I detta fall betyder det alltså att (vi skriver för enkelhets skull D(µ ) i stället för σ/ n) P ( ) λ α/2 µ µ D(µ ) λ α/2 = 1 α. (2.1) Nu är målet att omforma detta intervall så att det ser ut som ett konfidensintervall; µ skall stå i mitten med 17

2 INTERVALLSKATTNING 0 λ α/2 λ α/2 Figur 2.1: Täthetsfunktion för N(0, 1)-fördelning. De två markerade areorna är vardera α/2 så arean mellan de två kvantilerna är 1 α. två stokastiska gränser omkring. Vi börjar med att förlänga med D(θ ) P ( λ α/2 D(µ ) µ µ λ α/2 D(µ ) ) = 1 α P ( µ λ α/2 D(µ ) µ µ + λ α/2 D(µ ) ) = 1 α P ( µ + λ α/2 D(µ ) µ µ λ α/2 D(µ ) ) = 1 α P ( µ λ α/2 D(µ ) µ µ + λ α/2 D(µ ) ) = 1 α där vi i sista steget bara bytte plats på gränserna. Vi ser att det bara är ett tecken som skiljer de två gränserna åt så konfidensintervallet blir I µ = µ ± λ α/2 D(µ ) = x ± λ α/2 σ n som är en observation av ett intervall som med sannolikheten 1 α (konfidensgraden) täcker rätt värde på den okända parametern µ. Vi ser att punktskattningen av µ ligger mitt i intervallet och att intervallbredden är 2λ α/2 σ/ n. Intervallet blir alltså smalare ju mindre observationernas standardavvikelse σ är eller ju större stickprovsstorleken n är, medan det blir bredare om konfidensgraden 1 α ökas (då minskar α och λ α/2 blir större) vilket verkar naturligt(?!). Nu krävde vi som sagt att σ skulle vara känd för att man skall kunna räkna ut detta intervall. Är den inte det har vi sedan tidigare ett bra sätt att skatta den på. 2.1.2 t-fördelningen I härledningen av konfidensintervallet för µ då σ var känd utgick vi från att skattningen av µ var normalfördelad (och därmed kunde transformeras till N(0, 1)). För att härleda intervallet då σ är okänd kan man gå tillväga på motsvarende vis som vi nyss gjort, men vi behöver först veta vilken fördelning µ µ σ / n där σ = 1 n 1 (X i X) 2 (2.2) har. Vi har alltså en normalfördelad skattning i täljaren och roten ur något som påminner om det som i avsnitt 1.5.1 var χ 2 -fördelat. Nu visar det sig (men det är överkurs att visa) att om X N(0, 1) är oberoende av Y χ 2 (f) så får vi en så kallad t-fördelning genom X Y/f t(f). (2.3) 18

2 INTERVALLSKATTNING t-fördelningen är liksom N(0, 1)-fördelningen symmetrisk kring origo men är, som man säger, mer tungsvansad, dvs har större del av sin massa ute i kanterna och därmed är dess kvantiler större än motsvarande kvantiler i N(0, 1). Se figur 2.2 för några exempel. 0.4 t fördelning med f = 1, 2, 4, 8, f = 0.2 f = 1 0 4 2 0 2 4 Figur 2.2: Täthetsfunktioner för t(f)-fördelning. Den har N(0, 1)-fördelningen som gränsfördelning då f. Så är då kvoten i ekvation 2.2 t-fördelad? Ja vi kan skriva om den som (dela upp täljare och nämnare på lämpligt sätt och dela dessa med σ) µ µ σ / n = µ µ σ/ n 1 σ 2 n (X i X) 2 /(n 1) så kan man känna igen en N(0, 1)-fördelning i täljaren och under roten i nämnaren en χ 2 (n 1)-fördelning (enligt avsnitt 1.5.1) delad med just n 1, dvs samma form som i ekvation 2.3. Återstår att visa att de dessutom är oberoende av varandra (det är ju samma X i som ingår i både µ och i nämnaren, så det är inte självklart) men även det är överkurs. Observera att parametern i t-fördelningen är den samma som i χ 2 -fördelningen så den kallas fortfarande för antal frihetsgrader (som alltså var det vi delade med i variansskattningen, och det var antalet oberoende komponenter eller antalet observationer minus antalet skattade parametrar i kvadratsumman som ingår i variansskattningen). 2.1.3 σ okänd Eftersom µ µ σ / t(n 1) n kan vi gå tillväga på samma sätt som vid känt σ. Med t(n 1)-fördelningens α/2-kvantil, t α/2 (n 1) (tabell 3 i kursboken Blom et al. [1]) och d(µ ) = s/ n fås på samma sätt som i ekvation 2.1 P ( ) t α/2 (n 1) µ µ d(µ ) t α/2(n 1) = 1 α. 19

2 INTERVALLSKATTNING Härledningen blir precis densamma som i fallet med känt σ (byt ut λ α/2 mot t α/2 (n 1) och D(µ ) mot d(µ )) och resultatet blir I µ = µ ± t α/2 (f)d(µ ) = x ± t α/2 (n 1) s n som täcker rätt värde på µ med sannolikheten 1 α. Exempel 2.1. Guinness. Man har tio observationer av alkoholhalten i ett fat med Guinness 2. Medelvärdet av mätvärdena blev x = 4.1 och stickprovsstandardavvikelsen s = 0.4. Formulera en modell baserad på normalfördelad variation och gör ett 95% konfidensintervall (dvs konfidensgraden 1 α = 0.95) för alkoholhalten i fatet. Lsg. Vi antar att de tio mätvärdena är observationer av en och samma normalfördelning, så modellen är x 1,..., x 10 är oberoende observationer av X i N(µ, σ), där µ är alkoholhalten i fatet. Ett konfidensintervall för denna situation har vi nyss härlett så vi kan använda resultatet och får I µ = µ ± t α/2 (f)d(µ ) = [1 α = 0.95 α/2 = 0.025] = x ± t 0.025 (n 1) s n = = [t 0.025 (9) = 2.26 från tabell 3] = 4.1 ± 2.26 0.4 10 = [3.96, 4.24]. Detta intervall täcker med 95% sannolikhet alkoholhalten i fatet. Exempel 2.2. Simulera 10 observationer från en N(3, 2)-fördelning och beräkna ett 95% konfidensintervall för µ baserad på okänt σ (vi vet ju att σ = 2 men kan ju skatta den ändå). Upprepa detta 100 gånger och plotta de 100 intervallen. Hur många intervall träffar rätt värde? Lsg. I Matlab kan simuleringen göras (kortare på bekostnad av läsbarhet) enligt n = 10; f = n-1; N = 100; my = 3; sigma = 2; konfgrad = 0.95; alfa = 1-konfgrad; kvantil = tinv(1-alfa/2, f); % Markera rätt my med en grön linje plot([my my], [0 N], g ); hold on for k=1:n x = normrnd(my, sigma, n, 1); % Ett stickprov m = mean(x); % Skattat väntevärde s = std(x); % Skattad standardavvikelse konfint = [m-kvantil*s/sqrt(n), m+kvantil*s/sqrt(n)]; if (konfint(1) < my && konfint(2) > my) plot(konfint, [k k], b ); % Blå linje för träffar else end end plot(konfint, [k k], r ); % och röd för missar 2 Teorin för t-fördelningen visades 1908 av kemisten och statistikern W. S. Gossett som arbetade på bryggeriet Arthur Guinness & Son i Dublin. Han skrev under pseudonymen Student, varav man ofta kallar den Students t-fördelning. 20

2 INTERVALLSKATTNING hold off title 100 konfidensintervall för \mu i N(3,2) xlabel \mu ylabel Intervall nr Resultatet av en körning visas i figur 2.3. Varje intervall har 95% chans att träffa µ = 3 oberoende av varandra, så i långa loppet bör ungefär 95 av 100 intervall träffa rätt. (Om vi låter Y = Antalet intervall som träffar rätt så är ju Y Bin(100, 0.95) med E(Y ) = 95). 100 100 konfidensintervall för µ i N(3,2) 90 80 70 Intervall nr 60 50 40 30 20 10 0 1 0 1 2 3 4 5 6 7 µ Figur 2.3: 100 stycken 95% konfidensintervall för µ baserade på vardera tio simulerade observationer från X i N(3, 2). Rätt värde µ = 3 är markerat med en lodrät linje och 94 av de 100 intervallen träffar den. 2.1.4 Sammanfattning konfidensintervall vid normalfördelad skattning Om vi har n st. oberoende observationer av X i N(µ, σ) fås konfidensintervall för µ med konfidensgraden 1 α ur σ känd: I µ = µ ± λ α/2 D(µ ) = x ± λ α/2 σ okänd: I µ = µ ± t α/2 (f)d(µ ) = x ± t α/2 (n 1) s n. σ n Resultaten visar sig dessutom vara användbar i långt mer än denna situation. Det primära är att vi har en normalfördelad skattning, θ N(θ, D(θ )), och kan räkna ut D(θ ) eller d(θ ) så kommer ett konfidensintervall för θ att ha formen D(θ ) känd: I θ = θ ± λ α/2 D(θ ) D(θ ) okänd: I θ = θ ± t α/2 (f)d(θ ) där antalet frihetsgrader, f, i den andra och vanligare situationen fås ur skattningen av σ som ingår i d(θ ). Vi behöver alltså inte härleda konfidensintervall baserade på en normalfördelad skattning igen, utan kan använda detta som mall. 21

2 INTERVALLSKATTNING 2.2 Jämförande modeller Det är vanligt att man vill jämföra olika saker, t.ex om olika tillverknings- eller mätmetoder skiljer sig åt, eller om det är någon skillnad före och efter en förändring av något slag. Man gör det genom att skatta just en skillnad. Vi har två olika metoder att göra detta på och de passar olika bra i olika situationer och försöksupplägg så det är viktigt att man lär sig vilken av dem som är lämplig i en given situation. (Det duger alltså inte att jämföra två olika konfidensintervall och dra olika statistiska slutsatser om de t.ex överlappar varandra eller ej, eller om t.ex en skattad parameter täcks av ett konfidensintervall för en annan parameter). 2.2.1 Två normalfördelade stickprov Om vi har två normalfördelade stickprov med oberoende observationer enligt modellen x 1,..., x nx obs. av X i N(µ x, σ) y 1,..., y ny obs. av Y i N(µ y, σ) (som vi redan nosat lite på i exempel 1.8) dvs samma σ för alla observationerna men vi har två olika väntevärden att jämföra med varandra. Vi kan utgå från punktskattningarna enligt tidigare µ x = x obs. av µ x = X N(µ x, σ nx ) och motsvarande för µ y. Skillnaden skattas helt enkelt enligt (µ x µ y ) = µ x µ y (eller tvärt om om det skulle kännas naturligare) som är en differens mellan två normalfördelningar, och därmed är även differensen normalfördelad med parametrarna E(µ x µ y) = E(µ x) E(µ y) = µ x µ y V (µ x µ y) = [ober.] = V (µ x) + ( 1) 2 V (µ y) = σ2 + σ2 n x n y ( ) D(µ x µ 1 y) = σ + 1 = µ x µ 1 y N µ x µ y, σ + 1 n x n y n x n y dvs en normalfördelad skattning precis som tidigare (som i och försig består av två termer, men det spelar ingen roll). Ett konfidensintervall för µ x µ y fås med hjälp av mallen till I µx µ y = µ x µ y ± t α/2 (f)d(µ x µ 1 y) = x ȳ ± t α/2 (f) s p + 1. n x n y Den gemensamma variansen σ 2 skattas som vi sett i avsnitt 1.8 med s 2 p = (n x 1)s 2 x + (n y 1)s 2 y n x 1 + n y 1 = Q f, ( Q σ 2 χ2 (f)) och f som ingår i t-kvantilen är som vanligt det vi delar med i variansskattningen. Skulle σ vara känd använder man den i stället för s p och då även λ- i stället för t-kvantil. Naturligtvis kan man ha fler än två stickprov att basera den gemensamma variansskattningen på men för att jämföra dem mer än parvis (för att t.ex se om något av väntevärdena skiljer sig från de övriga) behövs begrepp som inte ryms i denna kurs. 22

2 INTERVALLSKATTNING Modellen vi nu gått igenom är den vanligaste och därmed viktigaste, men har man anledning att tro att de två stickproven inte har samma σ, utan D(X i ) = σ x och D(Y i ) = σ y blir D(µ x µ σx y) = 2 + σ2 y och därmed d(µ x µ s n x n y) = 2 x + s2 y. y n x n y Den första kan användas tillsammans med en λ-kvantil om de två varianserna är kända, annars skattas de och man använder medelfelet och t-kvantil. I det senare fallet (som inte ens nämns i kursboken, så det är väl lite överkurs) får vi dock ingen exakt t-fördelning utan intervallet blir approximativt (eller har den approximativa konfidensgraden 1 α) och antalet frihetsgrader att använda i t-kvantilen kan man slå upp vid behov. f = (s2 x/n x + s 2 y/n y ) 2. (s 2 x/n x) 2 n x 1 + (s2 y /ny)2 n y 1 Men är det hyfsat många observationer (totalt något 50-tal eller fler) kan man kanske lika gärna strunta i t α/2 (f) och ta en λ-kvantil, de blir ju mer och mer lika varandra då f ökas och intervallet är ändå approximativt. Exempel 2.3. En löpare använder en portabel GPS-mottagare för att mäta längden på sina löprundor. Efter att ha uppdaterat programvaran i mottagaren verkar det som om den visar högre värden för en given sträcka. Följande mätvärden i meter togs upp på en och samma slinga Gammal programvara 5509 5521 Ny programvara 5518 5556 5532 5542 5537 5556 Ansätt en modell baserad på normalfördelad variation med lika standardavvikelse och gör ett 95% konfidensintervall för skillnaden i sträcka mellan den nya och gamla programvaran. Lsg. Modell: Gammal programvara: x i, i = 1,..., n x = 2 obs av X i N(µ x, σ). Ny programvara: y i, i = 1,..., n y = 6 obs av Y i N(µ y, σ). Medelvärde och stickprovsstandardavvikelser för de två dataserierna blir x = 1 n x x i = 5515.0, ȳ = 5540.2, s x = 1 n x (x i x) n x n x 1 2 = 8.485, s y = 14.65. Den gemensamma standardavvikelsen för X i och Y i skattas med (n x 1)s 2 x + (n y 1)s 2 y 1 8.485 s p = = 2 + 5 14.65 2 n x 1 + n y 1 1 + 5 = 13.81. Eftersom µ y µ x = ȳ x är en observation av N(µ y µ x, σ 1 n x + 1 n y ) blir konfidensintervallet I µy µ x = µ y µ x ± t α/2 (f)d(µ y µ 1 x) = ȳ x ± t α/2 (n x 1 + n y 1)s p + 1 = n x n y = [t α/2 (n x 1 + n y 1) = t 0.025 (6) = 2.45] = 25.15 ± 2.45 13.81 = [ 2.48, 52.78]. 1 2 + 1 6 = 23

2 INTERVALLSKATTNING 2.2.2 Stickprov i par Antag att vi vill undersöka effekten av en blodtryckssänkande medicin. Man skulle kunna tänka sig följande två försöksupplägg 1. Låt en grupp om tio personer få den blodtryckssänkande medicinen och en annan grupp om tio personer få placebo. 2. Mät blodtrycket före och efter behandling med medicinen på en grupp om tio personer. I första fallet skulle vi kunna tillämpa modellen i föregående avsnitt och göra ett konfidensintervall för skillnaden mellan de två gruppernas väntevärden. Problemet med denna metod är om det är stor skillnad mellan olika personers blodtryck och en ganska liten skillnad beroende på om man får placebo eller medicinen så kommer variationen mellan de olika personerna att dominera och det är svårt att se om medicinen har någon effekt; konfidensintervallet kommer att bli för brett. Med det andra försöksupplägget skulle man kunna göra sig av med variationen mellan personerna och i stället fokusera mer på variationen orsakad av medicinen. Men då behöver vi en ny modell. Så om mätvärdena hör ihop parvis, t.ex att man mäter två gånger på ett antal olika objekt under två olika förutsättningar, använder man modellen stickprov i par Objekt i: 1 2 n Obs. av x i x 1 x 2 x n X i N(µ i, σ x ) y i y 1 y 2 y n Y i N(µ i +, σ y ) Varje x i har alltså sitt eget väntevärde µ i och motsvarande y i har samma väntevärde plus en skillnad som är densamma för alla i. Nu verkar situationen lite hopplös med n st okända µ i, ett okänt och två okända standardavvikelser att skatta med de 2n observationerna. Men det är skillnaden vi vill åt och det gör vi genom att bilda parvisa differenser mellan observationerna Objekt i: 1 2 n Obs. av x i x 1 x 2 x n X i N(µ i, σ x ) y i y 1 y 2 y n Y i N(µ i +, σ y ) z i = y i x i z 1 z 2 z n Z i N(, σ) Differenserna bildar då nya observationer z i vars väntevärde är den sökta differensen som vi kan skatta på vanligt vis med = z. Ett konfidensintervall för blir då σ är okänd I = ± t α/2 (f)d( ) = z ± t α/2 (n 1) s z n. Skulle man anse att σ x och σ y är kända skulle man förstås få σ = σx 2 + σy 2 men det kräver att alla x i är oberoende av motsvarande y i vilket inte alltid är rimligt att anta (däremot bör alla x i vara oberoende av varandra och motsvarande för y i ). Exempel 2.4. Man har två vågar, A och B, där man misstänker att våg B har ett systematiskt fel så att den ger för högt utslag medan man vet att våg A väger rätt i medeltal. Man vägde 6 föremål på båda vågarna och fick nedanstående resultat: Föremål, i 1 2 3 4 5 6 våg A, x i 1.0 7.7 9.6 21.0 32.3 22.6 våg B, y i 3.1 8.8 12.0 19.5 35.5 32.5 24

2 INTERVALLSKATTNING Sätt upp en lämplig modell för data, baserad på normalfördelning och gör ett 99% konfidensintervall för skillnaden mellan vågarna. Lsg. I det här fallet skulle det vara enfaldigt att anta att vikten av de olika föremålen varierar kring ett gemensamt väntevärde, utan stickprov i par är lämpligast vilket kan ses i figur2.4. Så 40 30 Vikt 20 10 0 1 2 3 4 5 6 Föremål nr. Figur 2.4: Upmätta vikter för de sex föremålen från våg A ( ) och B ( ). Det är stor skillnad mellan de olika föremålen men liten skillnad mellan vågarna varför stickprov i par är lämpligt. vi bildar differenserna enligt modellen Föremål, i 1 2 3 4 5 6 Obs. av våg A, x i 1.0 7.7 9.6 21.0 32.3 22.6 X i N(µ i, σ 1 ) våg B, y i 3.1 8.8 12.0 19.5 35.5 32.5 Y i N(µ i +, σ 2 ) z i = y i x i 2.1 1.1 2.4-1.5 3.2 9.9 Z i N(, σ) och eftersom = z är en observation av N(, σ/ n) blir punktskattningarna och konfidensintervallet = z = 2.867, σ = s z = 1 (z i z) n 1 2 = 3.81 I = ± t α/2 (f)d( ) = z ± t 0.005 (5) s 6 = 2.867 ± 4.03 1.556 = [ 3.4, 9.1]. Observera att det inte måste röra sig om olika objekt. Modellen är användbar om mätvärdena hör ihop parvis på något vis. 2.3 Normalapproximation Vi har nu tagit fram en metod för hur man gör ett konfidensintervall för en parameter vars skattning är normalfördelad. Har man någon annan fördelning får man härleda konfidensintervallet från dess definition, men det kan vara besvärligt och i fallet med en skattning med diskret fördelning kan man i regel inte få en exakt konfidensgrad. Men i många situationer är en skattning approximativt normalfördelad och vi kan använda vår mall för normalfördelning, men med en liten modifikation. Har vi t.ex. n observationer av oberoende likafördelade variabler X i, med E(X i ) = µ och D(X i ) = σ och vi skattar µ med medelvärdet mellan observationerna kan vi ju ta receptet direkt och få intervall med approximativ konfidensgrad 1 α σ känd: I µ = µ ± λ α/2 D(µ ) = x ± λ α/2 σ okänd: I µ = µ ± t α/2 (f)d(µ ) = x ± t α/2 (n 1) s n σ n 25

2 INTERVALLSKATTNING eftersom µ = X är, enligt centrala gränsvärdessatsen, approximativt normalfördelad om antalet observationer den är baserad på är hyfsat stort (minst något tjugotal vid någorlunda symmetriskt fördelade observationer, fler annars). Ofta är det dock så att en parameter ingår i variansen för dess skattning och vi behöver då inte använda någon stickprovsstandardavvikelse (eller kan inte ens räkna ut en sådan om vi bara har en observation) och då har man inte någon anledning att blanda in t-fördelningen. Så vi tar följande recept för approximativt normalfördelade skattningar. Om θ N(θ, D(θ )) fås ett konfidensintervall för θ med approximativ konfidensgrad 1 α som D(θ ) känd: I θ = θ ± λ α/2 D(θ ) D(θ ) okänd: I θ = θ ± λ α/2 d(θ ) dvs alltid λ-kvantil. Undantaget är möjligen situationen med µ = X ovan eller liknande. Har vi t.ex en situation med en observation x av X Bin(n, p) har vi tidigare sett att p = x n obs. av p = X n. För X Bin(n, p) gäller att den är approximativt normalfördelad om np(1 p) > 10 (vilket vi iofs inte vet utan får nöja oss med att np (1 p ) > 10). Om X är approximativt normalfördelad gäller det naturligtvis även för p = X/n (fördelningen har samma form som för X men den antar värdena 0, 1/n, 2/n,..., 1 i stället för heltalen 0 till n). Väntevärde och varians för p härleds enkelt (exempel 1.2) p(1 p) p N(p, ) n och ett approximativt konfidensintervall för p blir om np (1 p ) > 10 I p = p ± λ α/2 d(p ) = p ± λ α/2 p (1 p ) n = x x n ± λ n (1 x n ) α/2. n Exempel 2.5. För att bilda sig en uppfattning om folks EU-sympatier tillfrågades 100 slumpmässigt valda personer Tycker du att Sverige skall vara med i EU och 45 av de tillfrågade svarade Ja. Gör ett approximativt 95% konfidensintervall för p = P ( En slumpmässigt vald person svarar Ja ), dvs andelen EU-anhängare. Lsg. Vi känner igen att x = 45 är en observation av X Bin(n, p) (om urvalet skett på lämpligt sätt), där n = 100. p skattas med p = 45/100 = 0.45 och ett approximativt 95% konfidensintervall för p blir p I p = p ± λ α/2 d(p ) = p ± λ (1 p ) 0.025 n = 0.45 ± 0.0975 = [0.35, 0.55] = 0.45 ± 1.96 0.45(1 0.45) 100 = dvs intervallet mellan 35% och 55% täcker med ungefär 95% sannolikhet andelen EU-anhängare bland befolkningen. Intervallet får väl betraktas som tämligen brett och vi vet inte ens om det är majoritet eller ej. Så vill man ha smalare intervall får man fråga fler, se tabell 2.1 där halva bredden 0.0975 av vårt intervall återfinns. 26