SF1901: Sannolikhetslära och statistik

Transkript

1 SF1901: Sannolikhetslära och statistik Föreläsning 8. Approximationer av sannolikhetsfördelningar Jan Grandell & Timo Koski Jan Grandell & Timo Koski Matematisk statistik / 40

2 Centrala gränsvärdessatsen Vi har sett några exempel på att normalfördelningen har trevliga statistiska egenskaper. Detta skulle vi inte ha så stor glädje av, om normalfördelningen inte dessutom var vanligt förekommande. Centrala gränsvärdessatsen CGS, som är den huvudsakliga motiveringen för normalfördelningen, kan utan vidare sägas vara ett av sannolikhetsteorins och statistikens allra viktigaste resultat. Sats (CGS) Låt X 1,X 2,... vara oberoende och lika fördelade s.v. med väntevärde µ och standardavvikelse σ. Då gäller att ( n ) P i=1 X i nµ σ x Φ(x) då n. n Jan Grandell & Timo Koski Matematisk statistik / 40

3 CGS Ofta uttrycker man slutsatsen i CGS som att n i=1x i nµ σ n är approximativt N(0, 1)-fördelad eller att n X i är approximativt N ( nµ, σ n ) -fördelad. i=1 Jan Grandell & Timo Koski Matematisk statistik / 40

4 Diskreta st. v:er: Binomialfördelningen Definition En diskret s.v. X säges vara binomialfördelad med parametrarna n och p, Bin(n, p)-fördelad, om ( ) n p X (k) = p k (1 p) n k, för k = 0,1,...,n. k Vi skriver detta med X Bin(n,p). Jan Grandell & Timo Koski Matematisk statistik / 40

5 Diskreta st. v:er: Binomialfördelningen De generella villkoren för detta: n oberoende upprepningar av ett försök. varje försök har två utfall, 0 och 1. sannolikheten för lyckat försök (=1) är densamma = p vid varje försök. X = antalet lyckade försök. ( ) n p X (k) = p k (1 p) n k, för k = 0,1,...,n. k Vi skriver detta med X Bin(n,p). Jan Grandell & Timo Koski Matematisk statistik / 40

6 Binomialfördelningen Antag att vi gör ett försök där en händelse A, med sannolikheten p = P(A), kan inträffa. Vi upprepar försöken n gånger, där försöken är oberoende. Sätt X = antalet gånger som A inträffar i de n försöken. Vi säger då att X är binomialfördelad med parametrarna n och p, eller kortare att X är Bin(n, p)-fördelad. Vi har ( ) n p X (k) = p k q n k, för k = 0,...,n, k där q = 1 p. Jan Grandell & Timo Koski Matematisk statistik / 40

7 X Bin(n,p), X = U U n Låt U 1,...,U n vara s.v. definierade av { 0 om A inträffar i försök nummer i, U i = 1 om A inträffar i försök nummer i. Lite eftertanke ger att U 1,...,U n är oberoende och att X = U U n. Jan Grandell & Timo Koski Matematisk statistik / 40

8 X Bin(n,p), X = U U n Då och E(U i ) = 0 (1 p)+1 p = p V(U 1 ) = E(U 2 i ) E(U i ) 2 = E(U i ) E(U i ) 2 = p p 2 = p(1 p) så följer E(X) = ne(u i ) = np och V(X) = nv(u i ) = npq. Jan Grandell & Timo Koski Matematisk statistik / 40

9 Bin(n,p) approximativt N(np, npq)-fördelad Av Xs representation som en summa följer att CGS kan tillämpas. Sats Om X är Bin(n,p)-fördelad med npq 10 så är X approximativt N(np, npq)-fördelad. Detta innebär att } P(X k) P(X < k) ( ) k np Φ. npq Med halvkorrektion menas att vi använder följande approximation: ( k P(X k) Φ np ), npq ( k 1 2 P(X < k) Φ np ). npq Jan Grandell & Timo Koski Matematisk statistik / 40

10 Binomial distribution: approximation For p = 0.5 and n = 15 the Binomial distribution with mean = 7.5, and variance = The curve in the right hand figure µ = 7.5 and σ 2 = σ 2π e (x µ)2 /2σ Jan Grandell & Timo Koski Matematisk statistik / 40

11 The Galton Board Jan Grandell & Timo Koski Matematisk statistik / 40

12 The Galton Board Experiment The Galton board experiment consists of performing n trials with probability of success p. The trial outcome are represented graphically as a path in the Galton board: success corresponds to a bounce to the right and failure to a bounce to the left. Jan Grandell & Timo Koski Matematisk statistik / 40

13 The Galton Board Experiment: Bell Shape Jan Grandell & Timo Koski Matematisk statistik / 40

14 The Galton Board Experiment An applet for the Galton board experiment Jan Grandell & Timo Koski Matematisk statistik / 40

15 Galtons Quincunx Jan Grandell & Timo Koski Matematisk statistik / 40

16 CGS: en tillämpning på multiplikativa processer Sats Låt X 1,X 2,...,X n vara oberoende och likafördelade s.v. och positiva dvs. för all i har vi P (X i > 0) = 1. Om n är tillräckligt stort, så har Y = X 1 X 2 X n approximativt en lognormalfördelning. Bevis. lny = lnx 1 +lnx lnx n Således är lny en summa av oberoende likafördelade s.v. er (dvs. lnx i na) och därmed enligt CGS approximativt normalfördelad om n är tillräckligt stort, och därför är Y approximativt lognormalfördelad, om n är tillräckligt stort. Jan Grandell & Timo Koski Matematisk statistik / 40

17 Extra: Lognormalfördelning Antag att Z är en positiv stokastisk variabel, dvs. P (Z > 0) = 1. Vi sätter Y = lnz och ANTAR att Y N(µ, σ). Vad är fördelningen för Z? Tag z > 0. Derivering ger F Z (z) = P (Z z) = P(lnZ lnz) ( Y µ = P (Y lnz) = P lnz µ ) σ σ ( ) lnz µ = Φ σ f Z (z) = d ( lnz µ dz F Z(z) = ϕ σ ) 1 σz = = 1 σz 2π e (lnz µ)2 /2σ2 Jan Grandell & Timo Koski Matematisk statistik / 40

18 Nytt: Lognormalfördelning Z är en positiv stokastisk variabel, d.v.s. P (Z > 0) = 1 och Y = lnz N(µ, σ) f Z (z) = { 1 σz 2π e (lnz µ)2 /2σ 2 för z 0, 0 för z < 0. Vi säger att Z är lognormalfördelad, Z LN(µ, σ). Jan Grandell & Timo Koski Matematisk statistik / 40

19 Lognormalfördelning Z LN(µ, σ). Observera att µ och σ INTE är väntevärde och standardavvikelse för Z. Man kan i själva verket härleda att ( ) E (Z) = e µ+σ2 /2,V (Z) = e 2µ+σ2 e σ2 1 Jan Grandell & Timo Koski Matematisk statistik / 40

20 Lognormalfördelning Z LN(1,1) E (Z) = 4.48, V (Z) = 34.5 Z LN(2,1) E (Z) = 12.18, V (Z) = Jan Grandell & Timo Koski Matematisk statistik / 40

21 Poissonfördelningen Definition En diskret s.v. X säges vara Poissonfördelad med parameter µ, Po(µ)-fördelad, om p X (k) = µk k! e µ, för k = 0,1.... Vi påminner om att om X är Po(µ)-fördelad, så gäller E(X) = µ och V(X) = µ. Jan Grandell & Timo Koski Matematisk statistik / 40

22 Summan av två oberoende diskreta: faltningsformeln Ett hjälpresultat: X och Y vara oberoende diskreta variabler. k är ett icke-negativt heltal, ( ) P(X +Y = k) = P k i=0{x = i Y = k i} = k P ({X = i Y = k i}), i=0 ty händelserna i unionen är diskjunkta. Oberoendet ger = och vi har den s.k. faltningsformeln P(X +Y = k) = k P ({X = i})p ({Y = k i}), i=0 k k p X (i)p Y (k i) = p X (k i)p Y (i). i=0 i=0 Jan Grandell & Timo Koski Matematisk statistik / 40

23 Summan av två oberoende Poissonfördelade Poissonfördelningen är den viktigaste diskreta fördelningen, och har t.ex. följande trevliga egenskap. Sats Om X och Y vara oberoende Po(µ X )- resp. Po(µ Y )-fördelade s.v. Då gäller att X +Y är Po(µ X + µ Y )-fördelad. Bevis. Hjälpresultatet (faltningsformeln) ovan ger P(X +Y = k) = k k µ P(X = i)p(y = k i) = i X i=0 i=0 i! k i=0 µ i X µ(k i) Y e µ µ(k i) X Y (k i)! e µ Y = e (µ X+µ Y ) i!(k i)! = e (µ X+µ Y ) (µ X + µ Y ) k k ( )( ) k i ( ) (k i) µx µy k!. i=0 i µ X + µ Y µ X + µ Y }{{} = 1, enl. Binomialsatsen. Jan Grandell & Timo Koski Matematisk statistik / 40

24 Approximation av Po(µ) Om bägge villkoren p 0.1 och npq 10 är uppfyllda kan vi välja om vi vill Poissonapproximera eller normalapproximera. Detta är ingen motsägelse, som följande sats visar. Sats Om X är Po(µ)-fördelad med µ 15 så är X approximativt N(µ, µ)-fördelad. Jan Grandell & Timo Koski Matematisk statistik / 40

25 Diskreta st. v:er: Poissonfördelningen Ofta när det är rimligt att anta att en s.v. X är Bin(n,p)-fördelad, så är det även rimligt att anta att p är liten och att n är stor. Låt oss anta att p = µ/n, där n är stor men µ är lagom. Då gäller ( ) n p X (k) = p k (1 p) n k n(n 1)...(n k +1) ( µ k ( = 1 k k! n) µ ) n k n = µk ( 1 µ k! n ) n n(n 1)...(n k +1) }{{} n k 1 µ }{{}}{{ n } e µ 1 1 ( ) k µk k! e µ. Jan Grandell & Timo Koski Matematisk statistik / 40

26 Approximation med Po(np) Vi kan alltså införa Poissonfördelningen som en approximation av binomialfördelningen. Detta kan vi formalisera till följande sats. Sats Om X är Bin(n,p)-fördelad med p 0.1 så är X approximativt Po(np)-fördelad. I vår approximation antog vi även att n var stor. Detta är inte nödvändigt, men vårt enkla resonemang fungerar inte utan denna extra förutsättning. Man kan visa att om X är Bin(n,p) och Y är Po(np) så gäller att P(X = k) P(Y = k) np 2. Jan Grandell & Timo Koski Matematisk statistik / 40

27 Ett exempel : approximation med Po(np), I en datalänk växlar de binära siffrorna eller bitarna (0 och 1) polaritet dvs. 0 övergår i 1 eller omvänt med sannolikheten En viss bit i en bitgrupp växlar polaritet oberoende av alla de andra bitarna. Protokollet i datalänken kontrollerar en bitgrupp som omfattar ( 1 Mbyte ) bitar. Felkontrollen upptäcker om fem eller flera bitar fått sina polariteter omkastade i bitgruppen. Om fem eller flera polaritetsväxlingar har upptäckts, begärs av protokollet en upprepad överföring av denna bitgrupp. Vi säger att en överföring lyckas om en upprepad överföring av bitgruppen inte kommer att begäras. De olika överföringarna av en och samma bitgrupp antas vara oberoende av varandra. Jan Grandell & Timo Koski Matematisk statistik / 40

28 Approximation med Po(np), ett exempel: forts. Betrakta den stokastiska variabeln X = antalet överföringar av en bitgrupp om bitar som behövs för att överföringen skall lyckas för första gången, den lyckade överföringen medräknad. Sökt: väntevärdet för X. Jan Grandell & Timo Koski Matematisk statistik / 40

29 Exempel: forts. Låt p s beteckna sannolikheten för att en ny överföring av en bitgrupp om bitar lyckas dvs. p s = sannolikheten för högst fyra växlingar av polaritet. Den stokastiska variabeln X har ffg (p s ) - fördelningen eller För-första-gången -fördelningen p.g.a. att de olika överföringarna är oberoende och p.g.a. att den lyckade överföringen medräknas. Dvs. P(X = k) = (1 p s ) k 1 p s, k = 1,2,3,..., En enkel kalkyl ger väntevärdet E (X) = 1 p s (se kursens formelsamling). Därmed behöver vi p s. Jan Grandell & Timo Koski Matematisk statistik / 40

30 Exempel: forts. Låt Z vara antalet bitar som får sin polaritet omkastad, när en bitgrupp om bitar överförs. Då fås p s = P (Z 4). P.g.a. att bitarna i en bitgrupp växlar polaritet oberoende av varandra är vi ledda till den statiska modellen Z Bin( ,10 7 ), dvs. att Z är binomialfördelad med parametrarna n = och p = Jan Grandell & Timo Koski Matematisk statistik / 40

31 Exempel: forts. Vi beräknar p s med en approximation av binomialfördelningen Bin( ,10 7 ) med Poissonfördelningen med parametern n p = 0.8. Denna approximation är rimlig, ty p = Vi har alltså att Z är approximativt Po(0.8)- fördelad. Tabellsamlingen ger med Poissonfördelningen Po(0.8) approximationen p s = P (Z 4) SVAR: E (X) Jan Grandell & Timo Koski Matematisk statistik / 40

32 Exempel: uppskattningen ovan X Bin( ,10 7 ) och Y är Po(0.8) så gäller att P(X = k) P(Y = k) np 2. P(X = k) P(Y = k) = e 08 Jan Grandell & Timo Koski Matematisk statistik / 40

33 Exempel: check mot MATLAB Statistics Toolbox >> help binocdf BINOCDF Binomial cumulative distribution function. Y=BINOCDF(X,N,P) returns the binomial cumulative distribution function with parameters N and P at the values in X. The size of Y is the common size of the input arguments. A scalar input functions as a constant matrix of the same size as the other inputs. The algorithm uses the cumulative sums of the binomial masses. See also binofit, binoinv, binopdf, binornd, binostat, cdf. >> binocdf(4, ,10 ( 7)) ans = Jan Grandell & Timo Koski Matematisk statistik / 40

34 Urnor igen Vi påminner om urnmodellerna. Vi hade en urna med kulor av två slag: v vita och s svarta. Vi drog n kulor ur urnan slumpmässigt. Sätt A = Man får k vita kulor i urvalet. Dragning utan återläggning: Dragning med återläggning: P(A) = P(A) = (v k )( s n k ) ( v+s n ). ( )( ) n v k ( ) s n k. k v +s v +s Jan Grandell & Timo Koski Matematisk statistik / 40

35 Hypergeometrisk fördelning Antag att vi har N enheter, där proportionen p, dvs Np stycken, har egenskapen A. Drag ett slumpmässigt urval om n stycken enheter. Sätt X = antalet enheter i urvalet med egenskapen A. I termer av urnmodellen för dragning utan återläggning gäller Np = v och N(1 p) = s om A = vit kula. Således fås p X (k) = P(X = k) = (Np k )(N(1 p) n k ) ( N n ), för 0 k Np och 0 n k N(1 p). Man säger att X är Hyp(N,n,p)-fördelad. Jan Grandell & Timo Koski Matematisk statistik / 40

36 Hypergeometrisk fördelning X är Hyp(N,n,p)-fördelad, man kan visa att E(X) = np och V(X) = N n N 1 np(1 p). Jan Grandell & Timo Koski Matematisk statistik / 40

37 Approximationer, Hyp(N, n, p) Om n/n är någolunda liten, så verkar det troligt att det inte spelar så stor roll om vi drar med återläggning eller ej. Vi har ( Np k )(N(1 p) n k ) ( N n ) = = Np! k!(np k)! n! k!(n k)! N(1 p)! n!(n n)! (n k)![n(1 p) (n k)]! N! Np!(N(1 p)!(n n)! (Np k)![n(1 p) (n k)]!n! ( ) n p k q n k. k n! (Np) k (N(1 p)) n k k!(n k)! N n = Jan Grandell & Timo Koski Matematisk statistik / 40

38 Approximationer, Hyp(N, n, p) Sats Om X är Hyp(N,n,p)-fördelad med n/n 0.1 så är X approximativt Bin(n, p)-fördelad. Sats Om X är Bin(n,p)-fördelad med npq 10 så är X approximativt N(np, npq)-fördelad. Detta innebär att } P(X k) P(X < k) ( ) k np Φ. npq Jan Grandell & Timo Koski Matematisk statistik / 40

39 Approximation av Hyp(N, n, p) Av detta följer att Hyp(N,n,p) N(np, npq) om n/n 0.1 och npq 10. Det räcker dock att kräva N n N 1np(1 p) 10. Jan Grandell & Timo Koski Matematisk statistik / 40

40 Sammanfattning n/n 0.1 {}}{ Hyp(N,n,p) Bin(n, p) N n N 1 np(1 p) 10 {}}{ N(np, npq) npq 10 {}}{ N(np, npq) µ 15 p 0.1 {}}{{}}{ Po( np ) N(µ, µ) }{{} =µ Jan Grandell & Timo Koski Matematisk statistik / 40