Repetitionsföreläsning

Transkript

1 Slumpförsök Repetitionsföreläsning Föreläsning 15 Sannolikhet och Statistik 5 hp Med händelser A B... avses delmängder av ett utfallsrum. Slumpförsök = utfallsrummet + ett sannolikhetsmått P. Fredrik Jonsson Maj 2010 Exempel på räkneregler: P(A c ) = 1 P(A) P(A B) = P(A) + P(B) P(A B) Den klassiska sannolikhetsdefinitionen Ett ändligt utfallsrum Ω = {u 1... u n } där alla utfall är lika troliga dvs: P({u 1 }) = P({u 2 }) = P({u n }) = 1/n. Likformigt sannolikhetsmått. Kombinatoriska principer (1.) Multiplikationsprincipen. Att två oberoende val med m respektive n valmöjligheter ger upphov till totalt m n möjligheter. (2.) Succesivt urval. Det finns n (n 1) (n m + 1) möjligheter att skapa en lista med m av n element (1 m n). (3.) Urval. Det finns ( ) n m = n (n 1) (n m+1) m (m 1) 1 möjligheter att välja ut en delgrupp om m element av n element (1 m n). Då gäller P(A) = A antal gynnsamma utfall = n antal möjliga utfall = andelen gynnsamma utfall

2 Betingade sannolikheter i nivåer. Inom A vad är sannolikheten för B? Betecknas P(B A). Oberoende händelser A och B är oberoende om P(A B) = P(A) P(B). En generalisering av multiplikationsprincipen. Definition: P(B A) = P(A B)/P(A) Oberoende är samma sak som att betingning med avseende på den ena händelsen inte inverkar på sannolikheten för den andra. I sannolikhetsresonemang är oberoende ofta en del i en intuitiv beskrivning eller ett grundantagande som man utgår ifrån. Snabbtest för TBC-smitta Bayes sats (att vända på en betingning): P(B A) = P(A B) P(B)/P(A) Tre typer av funktioner Betecknas med stora bokstäver i slutet av alfabetet X Y Z etc. Diskret eller kontinuerlig. Att X är diskret innebär att den antar värden x 1 x 2 x 3... med sannolikheter p(1) p(2) p(3).... En kontinuerlig övergång av denna beskrivning är att fördelningen beskrivs av en täthetsfunktion f (x) < x <. Det diskreta fallet F (x) = p(k) F (y) F (x) = p(k) k: x k x k: x<x k y Det kontinuerliga fallet F (x) = x F (x) = f (x) f (z) dz F (y) F (x) = y x f (z) dz

3 Likformiga fördelningar Standard-normal-fördelning Sannolikhetsmassan jämnt utspridd över de möjliga observationerna. X är standard-normal-fördelad: f X (x) = 1 2π e x2 /2 x R E(X ) = 0 D(X ) = 1 X antar punktvisa värden i det första (diskreta) fallet och alla värden inom ett ändligt intervall i det andra (kontinuerliga). x Φ(x) = P(X x) = f X (y)dy P(X > λ α ) = α 0 α 1 Normalsannolikheter och normalkvantiler Y är normalfördelad med parametrar µ och σ om Y = µ + σx med X standard-normal-fördelad Exempel Y N(µ σ 2 ) ( y µ ) P(Y y) = Φ σ ( y µ ) ( x µ ) P(x Y y) = Φ Φ σ σ Kvantiler x α = µ + σλ α Man skriver Y N(µ σ 2 ) och X N(0 1) dvs. µ = fördelningens genomsnittliga värde. E(Y ) = µ. P(Y > x α ) = α σ = standardavvikelsen. D(Y ) = σ.

4 Stickprov från en normalfördelning Föregående skattningars statistiska egenskaper x 1... x n är ett stickprov från N(µ σ 2 ). n stycken slumptal genererade från fördelningen: ett urval. Utfallen av oberoende likafördelade slumpvariabler X 1... X n med X i N(µ σ 2 ). Parametrar och skattningar Stickprovsmedelvärde: x = 1 n n i=1 x i. 1 Stickprovsstandardavvikelse: s = n n 1 i=1 (x i x) 2. Medelvärdet eller med andra ord Dessutom X N(µ σ 2 /n) X µ σ/ N(0 1) n X µ s/ n Standardavvikelsen t(n 1) Den bakomliggande fördelningens medelvärde: µ (n 1) s 2 χ 2 (n 1) Den bakomliggande fördelningens standardavvikelse : σ Konfidensintervall för µ Allmänt formulerad statistisk modell Med säkerhet 1 α gäller x λ α/2 σ/ n µ x + λ α/2 σ/ n x λ α σ/ n µ µ x + λ α σ/ n Beteckningar I µ = x ± λ α/2 σ/ n µ = x λ α σ/ n µ = x + λ α σ/ n Med σ okänd I µ = x ± t α/2 (n 1) s/ n µ = x t α (n 1) s/ n µ = x + t α (n 1) s/ n Slumpvariabel/observationer: X θ Parameter: θ Parameterrum: Fördelningen för X θ beror av värdet θ. Skattning θ en funktion av X θ. Skattningen känner alltså inte till värdet på θ utan baseras enbart på observationerna. Därför blir den osäker. Statistisk analys uttalar sig om denna osäkerhet.

5 s egenskaper Allmänt om medelvärden Skattningens genomsnittsbeteende Skattningen är väntevärdesriktig om E(θ ) = θ oberoende av värdet θ. Om motsatsen gäller talar man om systematiskt fel särskilt om avvikelsen är markant. Skattningens osäkerhet/variation/spridning Ett lämpligt mått är ofta standardavvikelsen D(θ ) som ofta beror på θ. En skattning av D(θ ) betecknas d(θ ) och kallas för medelfel. Många eller få observationer i stickprovet Om x 1... x n är ett stickprov från en godtycklig fördelning med väntevärde µ och standardavvikelse σ: Stora talens lag: Centrala gränsvärdessatsen: E( X n ) = µ D( X n ) = σ/ n X n µ då n X approx N(µ σ 2 /n) I de vanligaste rimliga fallen har man konvergens E(θ n) θ och D(θ n) 0 då stickprovsstorleken n. Detta kallas konsistens och betyder att önskvärd precision uppnås med tillräckligt stor stickprovsstorlek. Approximationen blir godtyckligt bra om n är tillräckligt stort för att kompensera för eventuell skevhet och andra icke-normaliteter i fördelningen. Väntevärden Varians och standardavvikelse Varians Väntevärdet för en slumpvariabel X : { k E(X ) = x k p(k) X diskret x f (x) dx X kontinuerlig Linjär egenskap E(a + b X + c Y ) = a + b E(X ) + c E(Y ) Vid oberoende Standardavvikelse V (X ) = E ( (X E(X )) 2) V (a + bx ) = b 2 V (X ) V (X + Y ) = V (X ) + V (Y ) D(X ) = V (X ) D(a + bx ) = b D(X ) för konstanter a b c och slumpvariabler X Y. Vid oberoende D(X + Y ) = (D(X )) 2 + (D(Y )) 2

6 Binomialmodellen Normalapproximations perspektivet Binär stickprovsundersökning. n = stickprovsstorleken p = andelen positiva i hela populationen. x = antalet positiva i stickprovet. x/n = p = andelen positiva i stickprovet. E(X ) = np D(X ) = npq vilket medför E(p ) = p D(p ) = pq/n d(p ) = p q /n Med tumregel npq > 5 gäller p approx N(p pq/n) Opinionsundersökningar och väljarsympatier Approximativa konfidensintervall I p = p ± λ α/2 p q /n Slumpmodell p = p λ α p q /n x är ett utfall av slumpvariabeln X Bin(n p) p = p + λ α p q /n För små stickprov... Vid väldigt små eller väldigt stora p är det lämpligare att räkna exakt på sannolikheterna. Tabeller som sammanfattar fördelningsfunktioner för n 19 och ett urval värden på p finns att tillgå.... kombinerat med stora värden på n finns det något som kallas poisson approximation av binomialfördelningar. Hur många träffas av blixten varje år?

7 Tillämpning av exponentialfördelningar X Exp(λ) betyder att X är exponentialfördelad med intensitet λ. f (x) = λe λx x > 0 F (x) = 1 e λx x > 0 X = tidsåtgång mellan inkommande samtal till en kundtjänst är exempel på en företeelse som eventuellt skulle kunna beskrivas av en lämpligt vald exponentialfördelning. λ = intensitet = genomsnittligt antal samtal per tidsenhet E(X ) = 1/λ D(X ) = 1/λ 1/λ = förväntat värde på X = genomsnittligt tidsåtgång mellan inkommande samtal Två stickprov Frågeställning vid två oberoende stickprov x 1... x n1 från N(µ 1 σ 2 1 ). y 1... y n2 från N(µ 2 σ 2 2 ). Om σ 1 = σ 2 = σ så kan informationen om σ vägas samman till så kallad poolad stickprovsstandardavvikelse (n 1 1)sx 2 + (n 2 1)sy 2 s p = n 1 + n 2 2 Har den ena populationen högre genomsnitt än den andra? µ 1 > µ 2 eller vice versa? Referensvariabler relativt µ 1 µ 2 X Ȳ (µ 1 µ 2 ) s p 1 n n 2 t(n 1 + n 2 2) X Ȳ (µ 1 µ 2 ) approx N(0 1) sx 2 n 1 + s2 y n 2 Den första används vid antagande om lika varianser den andra vid någorlunda stora stickprov och utan antagande om lika varianser. Används till I µ1 µ 2 samt motsvarande konfidensgränser.

8 och stickprovsandelar Stickprov i par Två oberoende binära stickprovsundersökningar. n 1 n 2 = stickprovsstorlekar p 1 p 2 = andelen positiva i respektive populationer. x y= antalet positiva i respektive stickprov. x/n 1 = p1 = andelen positiva i första stickprovet. y/n 2 = p2 = andelen positiva i första stickprovet. Referensvariabel p 1 p 2 (p 1 p 2 ) p 1 q 1 n 1 + p 2 q 2 n 2 approx N(0 1) x 1... x n och y 1... y n. Men vi antar inte att det är två separata stickprov. Däremot att differenserna z 1... z n z i = y i x i är ett stickprov från N( σ 2 ) för några parametervärden. Man räknar därefter på z och som ett fristående stickprov. Används till I p1 p 2 samt motsvarande konfidensgränser. Kalkning av sura sjöar Exempel Nollhypotes H 0 : µ 1 = µ 2 Mothypotes H 1 : µ 1 > µ 2 Mätningar ger x > ȳ Talar mätningarna för mothypotesen eller ligger den observerade skillnaden i medelvärden inom rimliga felmarginaler? Konfidensmetoden Frågan besvaras genom att beräkna en undre konfidensgräns för µ 1 µ 2 relativt en lämplig felrisk. Om detta värde är positivt kan vi förkasta H 0 annars är den observerade skillnaden icke signifikant. Direktmetoden Att räkna ut med vilken felrisk konfidensgränsen precis på gränsen klarar av att ge signifikant resultat. Enkel linjär regression Fixa värden x 1... x n. Observationer y 1... y n från oberoende slumpvariabler Y 1... Y n som beskrivs av Y i = α + βx i + ε med ε N(0 σ 2 ). Okända parametrar α β σ. Kokboksmetoder för hur man bör skatta parametrarna (minsta-kvadrat-metoden). Förklaringsgrad R 2. Ett mått på graden av linjäritet i data. 0 R 2 1. Ett värde på 0.7 eller lägre är inte speciellt högt medan över 0.9 får anses relativt högt. Relevant vid jämförelse av olika datamaterial. Recept Beräkna x ȳ S xx S xy och S yy med hjälp av miniräknare. Stoppa in i formler (formelsamling) och beräkna eventuellt konfidensintervall utifrån angivna referensvariabler.