MS-A0509 Grundkurs i sannolikhetskalkyl och statistik Sammanfattning, del I

Transkript

1 MS-A0509 Grundkurs i sannolikhetskalkyl och statistik Sammanfattning, del I G. Gripenberg Aalto-universitetet 28 januari 2014 G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 1 / 26

2 Vad är sannolikhet? Relativ frekvens vid upprepningar: Om en fabrik tillverkat exemplar av en produkt av vilka 5015 har något fel så är sannolikheten för en felaktighet Andelen fall då ett något förekommer: Om i en urna finns 6 svarta och 4 vita kulor och man slumpmässigt väljer en kula sä är sannolikheten att den är svart = 0.6. Ett mått på hur troligt man anser något vara: Sannolikheten för hård vind imorgon är 70%. G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 2 / 26

3 Sannolikhet, händelser, utfallsrum Mängden av alla tänkbara resultat av ett experiment är utfallstummet, ofta betecknat med Ω. Elementen i utfallsrummet, dvs. enskilda resultat av experimentet är elementarhändelser. Händelser är delmängder av utfallsrummet. För varje händelse A Ω finns det en sannolikhet Pr(A) för denna händelse. Sannolikhetsfunktionen uppfyller följande villkor: 0 Pr(A) 1 för varje händelse A. Pr(Ω) = 1. Pr( i=1 A i) = i=1 Pr(A i) om A j A k = då j k. G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 3 / 26

4 Obs Av antagandena ovan följer bla. också att Pr( ) = 0. Pr(A B) = Pr(A) + Pr(B) Pr(A B). Pr(Ω \ A) = 1 Pr(A). A B Pr(A) Pr(B). Obs! Då Ω innehåller ändligt många element är det naturligt att att alla delmängder av Ω är händelser men i allmänhet är detta inte alltid möjligt eller ens önskvärt och då är Pr en funktion definierad i en σ-algebra A i Ω, dvs en mängd A med följande egenskaper: A A A Ω, Ω A, A A Ω \ A A, A i A, i = 1, 2,... i=1 A i A. G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 4 / 26

5 Oberoende Händelserna A och B är oberoende ifall Pr(A B) = Pr(A) Pr(B), och händelserna A j, j J är oberoende om Pr(A j1 A j2... A jm ) = Pr(A j1 ) Pr(A j2 )... Pr(A jm ) alltid då j k J, k = 1,..., m, j p j q då p q. Obs! Om händelserna A j, j J är oberoende så är A jp och A jq oberoende då j p j k men om A jp och A jq är oberoende för alla j p j k så behöver inte händelserna A j, j J vara oberoende. G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 5 / 26

6 Betingad sannolikhet Den betingande sannolikheten för händelsen A givet händelsen B är Pr(A B) = Pr(A B), Pr(B) då man antar att Pr(B) > 0. Då händelsen B är given kan man begränsa utfallsrummet från Ω till B och räkna om sannolikheterna för händelserna A B som är delmängder av det nya utfallsrummet. Total sannolikhet Om n j=1 A j = Ω, A j A k = då j k och Pr(A j ) > 0 då j = 1,..., n så gäller n Pr(B) = Pr(A j ) Pr(B A j ). j=1 Varför? Eftersom B = B Ω = n j=1 B A j och (B A j ) (B A k ) = då j k så är Pr(B) = n j=1 Pr(B A j ) och enligt defintionen är Pr(A j ) Pr(B A j ) = Pr(B A j ). G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 6 / 26

7 Bayes formel Om n j=1 A j = Ω, A j A k = då j k och Pr(A j ) > 0 då j = 1,..., n så gäller Pr(A k B) = Pr(A k) Pr(B A k ) n j=1 Pr(A j) Pr(B A j ). Varför? Pr(A k B) = Pr(A k B), Pr(B) Pr(A k ) Pr(B A k ) = Pr(A k B) och n Pr(A j ) Pr(B A j ) = Pr(B). j=1 G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 7 / 26

8 Klassisk sannolikhet och kombinatorik Pr(A) = Antal fall då A inträffar Totala antalet möjliga fall Man antar alltså att varje elementarhändelse är lika sannolik och problemet blir att bestämma hur många element det det finns i utfallsrummet Ω och hur många av dessa hör som till mängden A. Produktprincipen Om i en urvalsprocess finns k steg och i steg j finns n j alternativ, oberoende av vilka val som gjorts i tidigare steg (men vilka alternativen är kan bero på valen) så är det totala antalet alternativ n 1 n 2... n k. G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 8 / 26

9 Permutationer, binomialkoefficineter etc. Om det i en mängd finns n element kan dessa ordnas på n! = (n 1) n, olika sätt. (Kom ihåg: 0! = 1) Om man ur en mängd med n element väljer k element och beaktar i vilken ordning elementen väljs, kan detta göras på n (n 1)... (n k + 1) = n! (n k)! olika sätt. Om man ur en en mängd med n element väljer en delmängd med k element, dvs. inte beaktar i vilken ordning elementen väljs, kan detta göras på ( ) n = k n! k!(n k)!, olika sätt. I alla dessa fall kan varje element i mängden väljas bara en gång, dvs. om man plockar kulor ur en urna läggs dessa inte tillbaka i urnan. G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 9 / 26

10 Upprepning av experiment Antag att ett experiment upprepas n gånger så att händelser vid olika gånger är oberoende. Då är sannolikheten för att händelsen A inträffar exakt k gånger ( ) n Pr(A) k( 1 Pr(A) ) n k. k G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 10 / 26

11 Slumpvariabler och fördelningsfunktioner En (reell) slumpvariabel (eller stokastisk variabel) är en funktion X : Ω R (alltså inte egentligen en variabel) där Ω är ett utfallsrum för ett experiment i vilken en sannolikhet är definierad och { ω Ω : X (ω) x } är en händelse för alla x R. Om X är en (reell) slumpvariabel så är dess (kumulativa) fördelningsfunktion funktionen F X (x) = Pr(X x) = Pr ( { ω Ω : X (ω) x } ). En funktion F : R [0, 1] är en fördelningsfunktion om och endast om 0 F (x) F (y) 1 då x < y, lim x F (x) = 0 och lim x F (x) = 1, lim y x+ F (y) = F (x) då x R. När F är en fördelningsfunktion för X så gäller dessutom att lim y x F (y) = Pr(X < x), lim y x+ F (y) lim y x F (y) = Pr(X = x). G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 11 / 26

12 Obs! Uttryck som X x och X < x är formellt sett inte händelser (dvs. delmängder i Ω) men man skriver oftast Pr(X x) istället för det längre uttrycket Pr ( { ω Ω : X (ω) x } ). Oberoende slumpvariabler De (reella) slumpvariablerna X j, j J definierade i samma utfallsrum är oberoende om händelserna { X j a j }, j J är oberoende för alla a j R, j J. G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 12 / 26

13 Diskreta slumpvariabler En (reell) slumpvariabel X är diskret om det finns en mängd A R och positiva tal f (a), a A så att F X (x) = f (a). a x a A Detta innebär att Pr(X = a) = f (a) då x A och a A f (a) = 1 så att Pr(X / A) = 0 och mängden A innehåller högst numrerbart många element liksom oftast också utfallsrummet Ω. Funktionen f är frekvensfunktionen eller sannolikhetsfunktionen för X. G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 13 / 26

14 Kontinuerliga slumpvariabler En slumpvariabel är kontiuerlig om fördelningsfunktionen är kontinuerlig, dvs. om Pr(X = a) = 0 för alla a R. Oftast använder man sig ändå av absolut kontinuerliga slumpvariabler för vilka det finns en täthetsfunktion f så att F X (x) = x f (t) dt. Detta innebär att f (x) 0 och f (t) dt = 1. G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 14 / 26

15 Väntevärde och varians Om X är en slumpvariabel så är dess väntevärde E(X ) = x Pr(X = x) = xf X (x), x x då X är en diskret slumpvariable med frekvensfunktion f X och E(X ) = xf X (x) dx, då X är en absolut kontinerlig slumpvariabel med täthetsfunktion f X, i båda fallen förutsatt att summan eller integralen existerar (i annat fall kan man skriva E(X ) = NaN). Om g är en mätbar funktion så är E(g(X )) = g(x)f X (x) dx. Om slumpvariabeln X har ett väntevärde så är dess varians ( (X ) ) 2 Var(X ) = E E(X ). G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 15 / 26

16 Väntevärde och varians, forts. Om X 1 och X 2 är två slumpvariabler så är E(c 1 X 1 + c 2 X 2 ) = c 1 E(X 1 ) + c 2 E(X 2 ), och om X 1 och X 2 är två oberoende slumpvariabler så är Var(c 1 X 1 + c 2 X 2 ) = c 2 1 Var(X 1 ) + c 2 2 Var(X 2 ). G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 16 / 26

17 Chebshevs olikhet ( Pr X E(X ) k ) Var(X ) Varför? x E(X ) k Var(X ) 1 k 2, k > 1. Låt g(x) = 1 om 1 och 0 annars. Detta betyder att E(g(X )) = Pr( X E(X ) k ( Var(X )). Nu är g(x) att ( Pr X E(X ) k ) Var(X ) = E(g(X )) ( ) 2 E x E(X ) k = 1 Var(X ) k x E(X ) k Var(X ) ) 2 så 2 Var(X ) Var(X ) = 1 k 2. G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 17 / 26

18 Några viktiga diskreta slumpvariabler och deras fördelningar Jämn diskret fördelning: Pr(X = x i ) = 1 n, i = 1, 2,..., n. Bernoullifördelning: Pr(X = 1) = p, Pr(X = 0) = (1 p). I detta fall är X (ω) = 1 då ω A Ω och X (ω) = 0 då ω Ω \ A där Pr(A) = p. Väntevärdet p och variansen p(1 p). Binomialfördelning X Bin(n, p): Pr(X = k) = ( n k) p k (1 p) n k, k = 0, 1,..., n, dvs. X är summan av n oberoende Bernoulli-fördelade slumvariabler. E(X ) = np och Var(X ) = np(1 p). Poissonfördelning X Poisson(λ): Pr(X = k) = e λ λk k!, k = 0, 1, 2,.... Fås som gränsvärde av binomialfördelningen då np λ. Väntevärdet och variansen är λ. Två varianter av geometrisk fördelning: Ett experiment upprepas tills händelsen A med sannolikheten p inträffar. X 1 är antalet upprepningar och X 2 är antalet upprepningar innan A inträffar så att X 1 = X 2 + 1, Pr(X 1 = k) = (1 p) k 1 p, k 1 och Pr(X 2 = k) = (1 p) k p, k 0. E(X 1 ) = 1 p, E(X 2) = 1 p p och båda har variansen 1 p p 2. G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 18 / 26

19 Några viktiga kontinuerliga slumpvariabler och deras fördelningar Likformig kontinuerlig fördelning (där < a < b < ): { 1 f X (x) = b a, a < x < b, 0, x a eller x > b. Väntevärdet är (a + b) och variansen 12 (b a)2. Normalfördelning X N(µ, σ 2 ): f x (x) = 1 σ (x µ) 2 2π e 2σ 2. Väntevärdet är µ och variansen σ 2. Exponentialfördelning X Exp(λ) med λ > 0: { λe λx, x > 0, f X (x) = 0, x 0. Väntevärdet är 1 λ och variansen 1 λ 2. G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 19 / 26

20 Centrala gränsvärdessatsen Ifall slumpvariablerna X 1, X 2,... är oberoende och har samma fördelning så att E(X j ) = µ och Var(X j ) = σ 2, j = 1, 2,..., så gäller n j=1 X j nµ σ a N(0, 1) då n, n dvs. lim Pr n ( n j=1 X j nµ σ n x ) x = F N(0,1) (x) def 1 = e 1 2 t2 dt. 2π Normalapproximation Om X är summan av tillräckligt många oberoende slumpvariabler med ändlig varians så är X E(X ) ungefär N(0, 1)-fördelad. VarX G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 20 / 26

21 Tvådimensionella slumpvariabler och fördelningar Ifall Ω är ett utfallsrum på vilket en sannolikhetsfunktion är definierad så är (X, Y ) : Ω R 2 en tvådimensionell slumpvariabel med fördelningsfunktion F XY (x, y) = Pr(X x, Y y) förutsatt att { ω Ω : X (ω) x, Y (ω) y } är en mängd för vilken sannolikheten är definierad. En tvådimensionell slumpvariabel (X, Y ) är diskret och den har frekvensfunktionen f XY (x, y) ifall f XY (x, y) 0 för alla x och y, x y f XY (x, y) = 1 och Pr(X = x, Y = y) = f XY (x, y) för alla x och y. En tvådimensionell slumpvariabel (X, Y ) är kontinuerlig och har täthetsfunktion f XY (x, y) ifall f XY (x, y) 0 för alla x och y, f XY (x, y) dx dy = 1 och F XY (x, y) = x y f XY (s, t) dt ds för alla x och y. G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 21 / 26

22 Marginalfördelningar Ifall f XY (x, y) är frekvensfunktionen för den diskreta tvådimensionella slumpvariabeln (X, Y ) så är marginalfrekvensfunktionerna för slumpvariablerna X och Y f X (x) = Pr(X = x) = y f XY (x, y) och f Y (y) = Pr(Y = y) = x f XY (x, y). Ifall f XY (x, y) är täthetsfunktionen för den kontinuerliga tvådimensionella slumpvariabeln (X, Y ) så är marginaltäthetsfunktionerna för slumpvariablerna X och Y f X (x) = f XY (x, y) dy och f Y (y) = f XY (x, y) dx. G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 22 / 26

23 Oberoende slumpvariabler Om (X, Y ) är en diskret tvådimensionell slumpvariabel eller en kontinuerlig tvådimensionell slumpvariabel med täthetsfunktion så gäller X och Y är oberoende f XY (x, y) = f X (x)f Y (y). Om X och Y är oberoende och f och g är mätbara funktioner så gäller E(f (X )g(y )) = E(f (X ))E(g(Y )). Kovarians och korrelation Kovarians: Cov(X, Y ) = E ( (X E(X ))(Y E(Y )) ) = E(XY ) E(X )E(Y ). Korrelation: Cor(X, Y ) = Cov(X, Y ) Var(X )Var(Y ), 1 Cor(X, Y ) 1. Om X och Y är oberoende så är Cov(X, Y ) = Cor(X, Y ) = 0. G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 23 / 26

24 Betingade fördelningar Ifall (X, Y ) är en diskret tvådimensionell slumpvariabel med frekvensfunktion f XY (x, y) eller en kontinuerlig tvådimensionell slumpvariabel med täthetsfunktion f XY (x, y) så är f Y X (y x) = f XY (x, y), då f X (x) > 0, f X (x) den betingande frekvensfunktionen respektive täthetsfunktionen för Y givet X = x. { y E(Y X = x) = yf Y X (y x) eller yf Y X (y x) dy E(Y X ) är en slumpvariabel så att E(Y X )(ω) = E(Y X = X (ω)) då ω Ω. E(E(Y X )) = E(Y ). G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 24 / 26

25 Den tvådimensionella normalfördelningen Slumpvariabeln (X, Y ) sägs vara normalfördelad om varje linär kombination αx + βy är normalfördelad och slumpvariabeln (X, Y ) har då, ifall ρ = Cor(X, Y ) ±1, σx 2 = Var(X ) > 0 och σ2 Y = Var(Y ) > 0, en täthetsfunktion med formen 1 f XY (x, y) = 2πσ X σ Y 1 ρ 2 e ( 1 2(1 ρ 2 ) Då är X N(µ X, σ 2 X ), Y N(µ Y, σ 2 Y ) och f Y X (y x) = 1 2πσY 1 ρ 2 e 1 2 (x µ X ) 2 σ 2 X ) + (y µ Y )2 σ Y 2 2ρ(x µ X )(y µ Y ) σ X σ Y. ( y µ Y ρ σ Y σx (x µ X ) σ Y 1 ρ 2 ( ) så att (Y X = x) N µ Y + ρ σ Y σ X (x µ X ), (1 ρ 2 )σy 2. Om ρ = 0 är X och Y oberoende. ) 2 G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 25 / 26

26 Obs! Observera att om (X, Y ) är en slumpvariabel så att X är normalfördelad och Y är normalfördelad så behöver inte (X, Y ) nödvändigtvis vara normalfördelad men om tex. X och Y är oberoende så är också (X, Y ) normalfördelad. Ett annat uttryck för täthetsfunktionen då (X, Y ) är normalfördelad Ett annat sätt att skriva täthetsfunktionen som gör det lättare att generalisera till det m-dimensionella fallet är f XY (x, y) = 1 2π 2 det(σ) e 1 2 (z µ)t Σ 1 (z µ), z = [ ] [ σ 2 1 där Σ = X ρσ X σ Y, så att Σ 1 = 1 σ ρσ X σ 1 ρ 2 X 2 Y σ 2 Y det(σ) = σ 2 X σ2 Y (1 ρ2 ). [ ] x, µ = y ρ σ X σ Y ρ 1 σ X σ Y σx 2 [ µx ] µ Y och ], G. Gripenberg (Aalto-universitetet) MS-A0509 Grundkurs i sannolikhetskalkyl och statistiksammanfattning, 28 januari 2014 del I 26 / 26