Innehållsförteckning. MAS110B - Föreläsningsserie (overheader) MAS110B Matematisk statistik, grundkurs, statistikteori, HT04

Transkript

1 Innehållsförteckning Föreläsning 1 - Punktskattningar I MAS110B - Föreläsningsserie (overheader) MAS110B Matematisk statistik, grundkurs, statistikteori, HT04 Henrik Bengtsson Matematikcentrum, avd. för Matematisk statistik, Lunds universitet 15 december 2004 Föreläsning 2 - Punktskattningar II Föreläsning 3 - Punktskattningar III Föreläsning 4 - Intervallskattningar II Föreläsning 5 - Intervallskattningar III Föreläsning 7 - Hypotesprövning II Föreläsning 9 - Regression I Föreläsning 12 - Variansanalys I Föreläsning 13 - Variansanalys II Föreläsning 14 - Bootstrap I Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 1 / 45 Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 2 / 45 Föreläsning 1 - Punktskattningar I Abstrakt om statistisk inferens* Föreläsning 1 - Punktskattningar I Abstrakt om statistisk inferens* Abstrakt om statistisk inferens* Inferens betyder att dra slutsatser (som inte är direkt uppenbara). Modus ponens: Vi vet p q och observerar p, vilket implicerar q. Exempel: Om den 3:e är en onsdag, då är den 5:e en fredag. Idag är det onsdagen den 3:e. Därför är den 5:e en fredag. Modus tollens: Vi vet p q och observerar q, vilket implicerar p. (ekvivalent med modus ponens) Exempel: Om det hade regnat i morse, så hade gräset varit blött. Men gräset var inte blött. Därför regnade det inte i morse. Vad händer nu när observationerna innehåller osäkerhet också? Exempel: Om gräset är fuktigt? Hur mäter vi att det är fuktigt? Var går gränsen mellan fuktigt och blött? Kan det vara så att det regnar och torkar upp extremt snabbt? Har det regnat? Statistisk inferensteori! Deduktiv inferens: Utgår från axiom och definitioner och bygger upp en värld av satser som bevisas utifrån axiom och andra bevisade satser. Bildar ett stor träd av slutsatser som är (och alltid kommer att förbli) sanna. Två vetenskaper är kända för mig: matematik och logik. (Sannolikhets- och statistikteori går in under matematik.) Induktiv inferens: Saknar axiom, men vi har en massa hypoteser om verkligenheten som stöds av våra observationer och erfarenheter. Vi kan inte vara säkra på att slutsatserna/hypoteser är sanna, men bara mer eller mindre troliga. Ibland kommer nya observationer in som kulkastar visa hypoteser och nya skapas. Exempel: All vetenskap, speciellt där mätningar ingår. Tänk bara på utvecklingen av vår världsbild om universum, atomerna och kvantmekanik. Vi använder statistikteori för att sammanfatta observationer, testa nya och gamla hypoteser, och tänka ut nya. Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 4 / 45 Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 5 / 45

2 Föreläsning 1 - Punktskattningar I HISTORIA: Studier av mätfel och uppkomsten av aritmetiskt medelvärde som skattare* HISTORIA: Studier av mätfel och uppkomsten av aritmetiskt medelvärde som skattare* För flera tusen år sedan noterade kineserna att man inte skall göra två mätningar, utan tre - då blir mittersta värdet mer korrekt (medianen). Kräver ju inga räkningar. Stora mängder astronomisk data har samlats in under lång tid. Tycho Brahe föreslog, i slutet av 1500-talet, att man bör ta det aritmetiska medelvärdet av upprepade mätningar. Det verkade bättre och blev en praktisk regel för alla. Galileo, under 1600-talet, noterade att: i) mätfel är oundvikliga, ii) små fel är vanligare än stora fel, iii) vi tenderar att lika ofta mäta fel åt ena hållet som åt andra hållet (symmetri). Vi känner igen detta som den symmetriska klockformade föredelningen centrerad kring 0:an. Thomas Simpson ( ) forsatte studera mätfel. Bland annat publiserade han On the Advantage of Taking the Mean of a Number of Observations, in practial Astronomy. Vi tycker detta är självklart, men varför? Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 6 / 45 Föreläsning 1 - Punktskattningar I Egenskaper hos skattare Figurkälla: W. Huber, Disputationsföredrag för H. Bengtsson, oktober Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 7 / 45 Föreläsning 2 - Punktskattningar II Stickprovsvariansen är väntevärdesriktig Bevis: (Sats ) Skattaren är s 2 ( ) och motsvarande stickprovsvariabel är s 2 (X). Vi vill alltså visa att E[s 2 (X)] def 1 = E[ (X i X ) 2 ] = σ 2. n 1 Vi börjar med att förenkla uttrycket (X i X ) 2 = [(X i m) (X m)] 2 = = = [(X i m) 2 2(X m)(x i m) + (X m) 2 ] (X i m) 2 2(X m) { = (X i m) = X i (X i m) + n(x m) 2 (X i m) 2 2n(X m) 2 + n(x m) 2 = } m = nx nm = n(x m) = (X i m) 2 n(x m) 2. Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 9 / 45 Föreläsning 2 - Punktskattningar II (X i X ) 2 = Väntevärdet av detta blir Stickprovsvariansen är väntevärdesriktig (X i m) 2 n(x m) 2. E[ (X i X ) 2 ] Sats5.7.4 = E[ (X i m) 2 ] ne[(x m) 2 ] Likaford. = E[ (X m) 2 ] ne[(x m) 2 ] Sats5.7.4 = ne[(x m) 2 ] ne[(x m) 2 ] Def = nv [X ] nv [X ] def.+sats5.7.4 = nσ 2 n(σ 2 /n) = nσ 2 σ 2 = (n 1)σ 2. Detta ger till sist att 1 E[ n 1 (X i X ) 2 ] = σ 2. Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 10 / 45

3 Föreläsning 2 - Punktskattningar II Vilken skattare är bäst? Vilken skattare är bäst? Föreläsning 3 - Punktskattningar III Personer Personer: Karl Pearson och Ronald A. Fisher Definition (20.2.3) Effektivet hos skattare Om två skattare θ1 ( ) och θ 2 ( ) är väntevärdesriktiga och V [θ 1(X)] < V [θ 2(X)] för alla θ A (med sträng olikhet för något θ A), så är θ1 ( ) effektivare (eng. effective) än θ2 ( ). Om θ 1 ( ) är effektivare kallas kvoten för effektiviteten hos θ 2 ( ). 0 V [θ 1 (X)] V [θ 2 (X)] 1 Exempel ( Senaste värdet ): Låt E[X ] = m och V [X ] = σ 2 som tidigre. Säg att vi istället för medelvärdet m1 (x) = x använder oss det senaste observerade värdet, dvs m2 (x) = x n som skattare. Vi vet redan att V [m1 (X)] = V [X ] = σ2 /n. Vi vet också att V [m2 (X)] = V [X ] = σ2. Alltså, effektiviteten är (σ 2 /n)/σ 2 = 1/n. Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 11 / 45 Karl Pearson ( ) and Sir Francis Galton ( ). Ronald A. Fisher ( ) in Figurkälla: Portraits of Statisticians, Dept. of Mathematics, University of York, Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 13 / 45 Föreläsning 3 - Punktskattningar III HISTORIA: MK-metoden och ML-metoden HISTORIA: MK-metoden och ML-metoden Föreläsning 3 - Punktskattningar III Några punktskattare vi kommer att stöta på Några punktskattare vi kommer att stöta på Karl Pearson [ ] (gillade Karl Marx; bytte Carl -> Karl) en tidig förgrundsfigur inom statistik. Menade att alla praktiska fördelningar kan beskrivas med momenten E[X ], V [X ], skevhet och kurtosis. Pearsons korrelationskoefficient ρ (som vi återkommer till senare i kursen). Mycket förenklat tillhör MK-metoden Pearsons tid. Ronald A. Fisher [ ] var den som myntande begreppet likelihood (för att inte blanda ihop det med probability ). Han formaliserade ML-metoden. Unge Fisher gick igenom Pearson publiserade arbete och hittade fel och föreslog förbättringar. Pearson ville inte erkänna Fishers arbete och publiserade inte hans artiklar i sin tidskrift Biometrika. Fisher återfinns bara i en fotnot. Fisher blev även utestängd från andra framstående tidsskrifter. Hans mycket viktiga arbete återfinns därför i mindre kända tidskrifter. skattare parameter (stickprovs-)medelvärde m (x) = x (populations-)väntevärde m (stickprovs-)varians s 2 (x) (populations-)varians σ 2 (stickprovs-)standardavvikelse s(x) (populations-)standardavikelsen σ (stickprovs-)proportion p (x) = k/n (populations-)proportion p Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 14 / 45 Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 15 / 45

4 Föreläsning 4 - Intervallskattningar II Personer - Jerzy Neyman Personer - Jerzy Neyman Föreläsning 5 - Intervallskattningar III Personer - Mr Gosset ( Student ) Personer - Mr Gosset ( Student ) Jerzy Neyman ( ). Född i Polen. Startade upp Statistikinstitutionen vid Universitet på Berkeley. Figurkälla: Dept. of Statistics, U.C. Berkeley, History of Bernoulli Society, The Bernoulli Society, Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 17 / 45 William Gosset ( ). Pseudonym Student. Figurkällor: J. O Conner & E. Robertson, The MacTutor History of Mathematics archive, history/ Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 19 / 45 Föreläsning 7 - Hypotesprövning II Färdigt test Stickprov i par Exempel: Stickprov i par Innan vi observerar data x sätter vi upp hypotesprövningen: Exempel: Modell X Bin(n, p) (antalet sexor). Nollhypotes H 0 H 0 : p = 1/6 Mothypotes H 1 H 1 : p > 1/6 Signifikansnivå α α = 0.01 Teststorhet t(x) t(x) = p = x/n (en punktskattning av p). Kritiskt område C C = {t : t > a 1 } Signifikanstest Förkasta H 0 om t(x) > a 1. Förkasta ej H 0 om t a 1. Tänk att ni köper ovanstående test av en konsultfirma och därefter samlar ni in data och stoppar in i testet. Man vill veta om en ny vetesort ger större skörd än den existerande sorten. Var och en av sex åkrar delas in i två delar, där var sin sort odlas. Åkrarna skiljer sig en del i bördighet och klimat. Resultatet är Åker nr X 1 : Skörd sort 1, kg/ha X 2 : Skörd sort 2, kg/ha Skillnad D j Punktskattningar: n = 6, D = 266.3, s D = 91.0 (kg/ha). Medelfelet är d(d) = s D / n = Ett 95%-konfidensintervall är I = (D ± t 0.025,5 d(d)) = (266.4 ± 95.5) = (171, 362) Hypotestest mha av konfidensintervall ger att 0 I och därför är signifikant skilt från 0. Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 21 / 45 Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 23 / 45

5 χ 2 -test χ 2 -test Översikt: χ 2 -test Exempel: χ 2 -test Antag att vi gör n oberoende försök som kan utfalla på r olika sätt A 1, A 2,, A r med sannolikheterna p 1, p 2,, p r med r p i = 1. Vi observerar utfallen x 1, x 2,, x r för de r olika alternativen. Antag att sannolikheterna p 1, p 2,, p r är okända. Vi vill nu testa en hypotes H 0 rörande värdet på dessa sannolikheter. Vi bildar r (x i np i ) 2 Q = np i med H 0 :s värden på p 1, p 2,, p r insatta. Om n är stort så är Q χ 2 (r 1). Dessutom brukar man ha tumregeln att alla np i skall vara större än 5. Om skattade parametrar behövs för att räkna ut p 1, p 2,, p r drar man ifrån ytterligare en frihetsgrad för varje skattad parameter. I ett numera berömt försök, som publicerades 1910, samlade Rutherford in data från radioaktivt sönderfall. I 2608 intervall på vardera 1/8 minut räknas antalet utsända α-partiklar från ett radioaktivt preparat. antal partiklar antal intervall antal partiklar antal intervall Vi vill nu med hjälp av ett χ 2 -test testa om dessa data kan komma från en Poisson-fördelning. Källa: M. Wiktorsson, MatStat AK för CD, föreläsning 11, vårtermin Källa: M. Wiktorsson, MatStat AK för CD, föreläsning 11, vårtermin Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 24 / 45 Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 25 / 45 χ 2 -test χ 2 -test Exempel: χ 2 -test, forts. Vi börjar med att skatta m som stickprovsmedelvärdet vilket ger att m = x = Vi kan nu räkna ut förväntat antal för de olika utfallen. För fallen och 15 partiklar är det förväntade antalet < 5. För att uppfylla kraven i χ 2 -testet slår vi samman dessa till klassen 11. Antal intervall Jämförelse mellan observerat och förväntat utfall 600 observerat förväntat Exempel: χ 2 -test, forts. antal partiklar observerat förväntat antal partiklar observerat förväntat Vi kan nu räkna ut vår teststorhet Q som Q = 12 (x i np i ) 2 ( )2 (6 5.8)2 = + + = np i Antal partiklar Nu är Q < χ (12 1 1) = vilket ger att vi inte kan förkasta H 0 på nivån Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 26 / 45 Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 27 / 45

6 Föreläsning 9 - Regression I Frågeställningar/problem inom regression Föreläsning 9 - Regression I HISTORIA: Regression to the Mean Regression to the Mean Frågeställningar/problem vi skall lösa de närmsta lektionerna: Skatta regressionslinjen y = f (x) = α + β(x x) Undersök skattningarnas precision: I α, I β Testa om det finns ett samband mellan x och Y ; H 0 : β = 0 mot H 1 : β 0. Givet ett x 0 -värde, vad är Y i medeltal? E[Y 0 ] = m 0 = α + β(x 0 x). Konfidensintervall I m0. Get ett x 0 -värde, var kan vi förvänta oss för y-värden i allmänhet? Y 0 = α + β(x 0 x) + ε 0 Prediktionsintervall I Y0. Givet att vi observerar y 0, vad är en skattning på x 0? Kalibreringsintervall I x0. Galtons (t.h ) studie av arvsanlag för längder. Förhållandet mellan längden på fädrar (x i ) och deras söner (y i ). Långa fädrar tenderar att få söner som är kortare än sig själva......och vice versa. Längden på söner tenderar alltså mot medelvärdet; regression to the mean. Lutningen på linjen blir mindre än 1. R. Tissot, Human Genetics, Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 29 / 45 Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 30 / 45 Föreläsning 9 - Regression I Linjär regression - introduktion Föreläsning 9 - Regression I Linjär regression - osäkerhet i parameterskattningar Linjär regression - introduktion Linjär regression - osäkerhet i parameterskattningar Modell: Y i = α + β(x i x) + ε i Figurkälla: GraphPad Software, Inc, Linear regression, Figurkällor: Food and Agriculture Organization of the US, GraphPad Software, Inc, Linear regression, Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 31 / 45 Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 32 / 45

7 Föreläsning 12 - Variansanalys I Exempel: Katalysatorer Variansanalys med en faktor - Exempel Föreläsning 12 - Variansanalys I Exempel: Katalysatorer forts... Variansanalys med en faktor - Exempel Fem olika kemiska katalysatorer. Har de samma utbyte (effektivitet)? Först, designa experimentet så att slumpmässigt så möjligt : Gör försöken i slumpmässig ordning: Katalysator Försök nummer A 1 1,2,3,4 A 2 5,6,7,8 A 3 9,10,11,12 A 4 13,14,15,16 A 5 17,18,19, A 5 A 5 A 2 A 3 A 3... Modell: X ij N(m i, σ); i = 1,..., 5, j = 1,..., 4. Hypoteser: H 0 : m 1 =... = m 5 = m H 1 : (i, j) : m i m j Signifikansnivå: α = Kritisktområde: C α = {v : v F α,p 1,N p }; F 0.001,5 1,20 5 = 8.25 Källa: [Olbjer, 2000, Exempel 13.1] Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 34 / 45 Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 35 / 45 Föreläsning 12 - Variansanalys I Exempel: Katalysatorer forts... Stickprov: Variansanalys med en faktor - Exempel Katalysator x ij (i precentenheter) x i A A A A A x A Föreläsning 12 - Variansanalys I Exempel: Katalysatorer forts... ANOVA-tabellen blir: Variansanalys med en faktor - Exempel Kvadratsumma Frihetsgrader Skattningar Test storhet Katalysator Q A = = v = Residual Q 0 = = Summa Q = = Signifikanstest: v = F 0.001,5 1,20 5 = 8.25 Förkasta H 0. Slutsats: Katalysatorerna är ej lika, dvs det finns minst en som skiljer sig. Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 36 / 45 Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 37 / 45

8 Föreläsning 13 - Variansanalys II Variansanalys med två faktorer Variansanalys med två faktorer Föreläsning 14 - Bootstrap I Empiriska fördelning och konfidensintervall Empiriska fördelning och konfidensintervall Exempel från Laboration 1 Låt X N(m, σ) med m = 3 och σ = 2. Generera B = 1000 stickprov x = (x 1,..., x n ) med n = 25. För varje stickprov, skatta väntevärdet med m = x. b x b mb B Medelvärdet av alla skattningar blir m = 1 B B b=1 m b = Figurkälla: Lynn E. Eberly, Biostatistics: ANOVA and Design, Lecture #23, lynn/ph5466/class.html Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 39 / 45 Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 41 / 45 Föreläsning 14 - Bootstrap I Empiriska fördelning och konfidensintervall Empiriska konfidensintervall, forts... Medelvärdet av alla skattningar blir m = 1 B B b=1 m b = 3.011, vilket är approximativt normalfördelad (CGS två ggr). Föreläsning 14 - Bootstrap I Pull oneself up with the bootstraps - Emulera genom att återsampla Empirisk fördelning med återsampling Frequency Histogram of mx m* Sample Quantiles Normal Q Q Plot Theoretical Quantiles Ett empiriskt 95% konfidensintervall baserat på alla m blir I m = (m(b(α/2)), m (B(1 α/2))) = (2.229, 3.733). Givet ett stickprov x från X N(m, σ) med okända m och σ, kan vi nu återsampla nu stickprov För varje stickprov, skatta väntevärdet med m = x. b x b mb B Medelvärdet av alla skattningar blir m = Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 42 / 45 Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 43 / 45

9 Föreläsning 14 - Bootstrap I Empirisk fördelning med återsampling Föreläsning 14 - Bootstrap I Empirisk fördelning med återsampling Återsampling... Referenser Frequency Histogram of mx m* Sample Quantiles Normal Q Q Plot Theoretical Quantiles Ett empiriskt 95% konfidensintervall baserat på alla m blir I m = (2.347, 3.764). Blom, G. and Holmquist, B. (1998). Statistikteori med tillämpningar (Bok B). Studentlitteratur, tredje upplagan edition. Olbjer, L. (2000). Experimentell och industriell statistik. Matematikcentrum, Matematisk statistik, Lunds universitet, femte upplagan edition. Salsburg, D. (2001). The Lady Tasting Tea. W. H. Freedman and Company. Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 44 / 45 Henrik Bengtsson (Lunds universitet) MAS110B - Föreläsningsserie (overheader) HT04 45 / 45