Sannolikhetsteori FORMELSAMLING MATEMATISK STATISTIK, AK 9HP, FMS012 [UPPDATERAD ] Sannolikhetsteorins grunder

Transkript

1 LUNDS TEKNISKA HÖGSKOLA MATEMATIKCENTRUM MATEMATISK STATISTIK FORMELSAMLING MATEMATISK STATISTIK, AK 9HP, FMS02 [UPPDATERAD ] Sannolihetsteori Sannolihetsteorins grunder Följande gäller för sannoliheter: 0 P(A P(Ï = P(A B = P(A + P(B, om händelserna A och B är oförenliga (disjunta Additionssatsen för två händelser: P(A B = P(A + P(B P(A B Betingad sannolihet: P(B A = Satsen om total sannolihet : P(A = P(A B P(A P(A H i P(H i, där händelserna H,,H n är parvis oförenliga (disjunta händelser och A och B är oberoende P(A B = P(A P(B Antalet olia sätt, m, att dra element ur n är: Med återläggning, med hänsyn till ordning: m = n ( n + Med återläggning, utan hänsyn till ordning: m = n H i = Ï Utan återläggning, med hänsyn till ordning: m = n(n (n + ( n Utan återläggning, utan hänsyn till ordning: m = Endimensionella stoastisa variabler Fördelningsfuntion för X : F X (x = P(X x Sannolihetsfuntion för en disret sv X : p X ( = P(X = Täthetsfuntionen för en ontinuerlig sv X : f X (x = df X (x dx b p X ( om X är disret och a och b är heltal, P(a < X b = F X (b F X (a = =a+ b a f X (x dx om X är ontinuerlig

2 Flerdimensionella stoastisa variabler Simultan fördelningsfuntion: F X,Y (x, y = P(X x, Y y = P(g(X, Y A = f X,Y (x, y dx dy g(x,y A p X,Y (j, j x, y y x f X,Y (t, u dt du om (X, Y är disret, om (X, Y är ontinuerlig Marginell täthetsfuntion för X : f X (x = f X,Y (x, y dy Att X och Y är oberoende är evivalent med att F X,Y (x, y = F X (x F Y (y för alla x och y, samt p X,Y (j, = p X (j p Y ( för alla j och om X och Y är disreta sv f X,Y (x, y = f X (x f Y (y för alla x och y om X och Y är ontinuerliga sv Betingad sannolihetsfuntion för X, givet Y = : p X Y= (j = p X,Y (j, p Y ( Betingad täthetsfuntion för X, givet Y = y: f X Y=y (x = f X,Y (x, y f Y (y Summor av stoastisa variabler Om X och Y är oberoende, så gäller för Z = X + Y, Väntevärden p Z ( = f Z (z = p X (i p Y ( i, i=0 f X (x f Y (z x dx Väntevärdet av g(x, Y : g(j, p X,Y (j, j, E(g(X, Y = g(x, y f X,Y (x, y dx dy om (X, Y är disret, om (X, Y är ontinuerlig Väntevärden är linjära, dvs E(ag(X + bh(y = ae(g(x + be(h(y Varians: V(X = E[(X E(X 2 ] = E(X 2 [E(X ] 2 Standardavvielse: D(X = V(X Kovarians: C(X, Y = E[(X E(X (Y E(Y ] = E(XY E(X E(Y Korrelationsoefficient: Ö(X, Y = C(X, Y D(X D(Y 2

3 Kovariansen är bilinjär, dvs C( j a j X j, b Y = j a j b C(X j, Y Väntevärde av linjärombination E( i a i X i + b = i a i E(X i + b Varians av linjärombination V( i a i X i + b = i a 2 i V(X i + 2 i<j a i a j C(X i, X j X, Y oberoende X, Y oorrelerade, dvs C(X, Y = 0 Betingat väntevärde för X, givet Y = : E(X Y = = j j p X Y= (j Betingat väntevärde för X, givet Y = y: E(X Y = y = För betingade väntevärden gäller E(X Y = p Y (, E(X = E(X Y = y f Y (y dy Gauss approximationsformler: E(g(X,,X n g(e(x,, E(X n V(g(X,,X n ci 2 V(X i + 2 c i c j C(X i, X j, i<j där c i = g (x,, x n x i x =E(X, x f X Y=y (x dx Normalfördelning och centrala gränsvärdessatsen Om X,, X n är oberoende och N ( ( Ñ,,, N Ñn, n och c,, c n R, så gäller att c i X i N c i Ñi, n c 2 i 2 i Centrala gränsvärdessatsen (CGS: Om X, X 2,, X n är oberoende och liafördelade med E(X i = Ñ och D(X i =, så gäller att då n Y n = X + + X n AsN(E(Y n, D(Y n, Med utnyttjande av, bland annat, CGS gäller följande approximationer Hypergeometris Binomial om n/n 0 Hypergeometris Poisson om p + n/n 0 och n 0 Hypergeometris Normal om N n npq 0 N Binomial Poisson om p 0 och n 0 Binomial Normal om npq 0 Poisson Normal om Ñ 5 3

4 Stoastisa processer med disret tid Övergångssannolihet: p ij = P(X n+ = j X n = i P = {p ij } är övergångsmatrisen Övergångssannolihet av ordning m: p (m ij = P(X n+m = j X n = i P (m = {p (m ij } är övergångsmatrisen av ordning m Chapman-Kolmogorovs sats: P (m = P m Absoluta sannoliheter: p i (n = P(X n = i p(n är radvetorn {p i (n} p(0 allas initialfördelningen p(n = p(n P = p(0p n Stationär fördelning: ÔP = Ô Beständighet: tillstånd i är beständigt om P(X n = i för något n > 0 X 0 = i = annars transient Kommuniation: tillstånd i ommunicerar ensidigt med j om p (m ij > 0 för något m > 0 Om i ommunicerar ensidigt med j och vice versa ommunicerar i och j tvåsidigt Irreducibilitet: alla tillstånd ommunicerar tvåsidigt Alla tillstånd är då antingen transienta, positivt beständiga eller nollbeständiga, och de har samma period Existens av stationär fördelning: om {X n } är irreducibel så existerar en (uni stationär fördelning om och endast om tillstånden är positivt beständiga Poissonprocessen En homogen Poissonprocess {X (t, t 0} har oberoende och stationära öningar och X (t + s X (s Po(Ðt Avstånden mellan onseutiva händelser är oberoende och Exp(Ð-fördelade En inhomogen Poissonprocess {X (t, t 0} har oberoende öningar och s+t X (t + s X (s Po( Ð(u du s 4

5 Tabell : Vanliga fördelningar Fördelning Väntevärde Varians Binomialfördelning, Bin(n, p Hypergeometris fördelning p( = p( = ( n p q n = 0,,, n np npq ( ( Np Nq n ( N n Np, n Nq np N n N npq Poissonfördelning, Po(Ñ Ñ Ñ p( = e! = 0,, 2, Ñ Ñ Geometris fördelning p( = pq = 0,, 2, q/p q/p 2 ffg-fördelning p( = pq =, 2, /p q/p 2 Normalfördelning, N ( f (x = (x Ñ2 e 2 Ñ, 2 x R Ñ 2 2Ô 2 Gammafördelning, (p, Ð Exponentialfördelning, Exp(Ð f (x = Ðp (p xp e Ðx ( x 0 p/ð p/ð 2 f (x = Ð e Ðx x 0 /Ð /Ð 2 Retangelfördelning, R(a, b f (x = b a a x b a + b 2 (a b 2 2 Dubbel exponentialfördelning F(x = e e (x b/a (OBS! fördelningsfuntion x R, a > 0 b + a ( a 2 Ô 2 6 Weibullfördelning c F(x = e x b a (OBS! fördelningsfuntion x b, a, c > 0 b + a ( + /c a 2 [ ( + 2 c 2 ( + c ] Lognormalfördelning ln X N (b, a f (x = (ln x b2 e x 2 a 2 2a 2 x 0 2Ô e b+a2 /2 e 2b+2a2 e 2b+a2 ( (p = 0 x p e x dx, p > 0 (p = (p (p (p = (p! om p heltal ( 2 = Ô (

6 Tvådimensionell normalfördelning ( ÑX (X, Y är tvådimensionellt normalfördelad med väntevärdesvetor Ñ = och ovariansmatris ÑY ( Ë = 2 X Ö X Y Ö X Y 2 om f X,Y (x, y = e Q/2, (x, y R 2, Y 2Ô det(ë ( T ( x där det(ë = 2 X 2 Y ( ÑX x Ö2 och Q = Ë y ÑX ÑY y ÑY Den betingade fördelningen för X givet att Y = y är en endimensionell normalfördelning med X E(X Y = y = ÑX + Ö (y ÑY, Y V(X Y = y = 2 X ( 2 Ö Fördelningar beslätade med normalfördelningar Õ 2 -fördelning X,,X n N (0,, oberoende Õ 2 (f = (f /2, /2 X 2 i Õ 2 (n t-fördelning, t(f X N (0,, Y Õ 2 (f, oberoende X Y /f t(f F-fördelning, F(f, f 2 X Õ 2 (f, Y Õ 2 (f 2, oberoende X/f Y /f 2 F(f, f 2 Additionsformler Om X och X 2 oberoende så gäller: X Bin(n, p, X 2 Bin(n 2, p X + X 2 Bin(n + n 2, p X Po(Ñ, X 2 Po(Ñ2 X + X 2 Po(Ñ + Ñ2 X (p, a, X 2 (p 2, a X + X 2 (p + p 2, a X Õ 2 (f, X 2 Õ 2 (f 2 X + X 2 Õ 2 (f + f 2 6

7 Statistiteori Puntsattningar vid normalfördelning och helt oänd fördelning Ett sticprov Låt x,,x n vara observationer av oberoende och liafördelade sv X,, X n med väntevärde Ñ och standardavvielse Väntevärdesritiga sattningar av Ñ och 2 är då Ñ = n ( 2 = n X i = X Om X i N ( ( Ñ, så Ñ N Ñ, n (X i Ñ 2 då Ñ änd Om X i N ( n( 2 Ñ, så 2 Õ 2 (n ( 2 = S 2 = Flera sticprov Q n = n Låt x i,,x ini vara ober obs från N ( Ñi, då i =,, Då är (X i X 2 då Ñ oänd Om X i N ( Q Ñ, så 2 Õ2 (n ( 2 = S 2 = Q f = (n S (n S 2 (n + + (n Eftersom X ij N ( Q Ñi, så 2 Õ2 (f Vanliga sattningsmetoder ML-sattning: Låt x,, x n vara observationer av X,,X n, som är oberoende sv med täthets- (sannolihets- funtion f (x i ; θ, i =,, n (p(x i ; θ, i =,, n ML-sattningen av parametern θ är det θml som maximerar lielihood-funtionen p(x ; θ p(x 2 ; θ p(x n ; θ, L(θ; x,, x n = f (x ; θ f (x 2 ; θ f (x n ; θ MK-sattning: Låt x,,x n vara oberoende observationer av stoastisa variabler med E(X i = Ñi(θ, där funtionerna Ñi är ända och parametern θ oänd MK-sattningen av parametern θ är det θmk som minimerar förlustfuntionen Q(θ; x,,x n = (x i Ñi(θ 2 Vitad MK-sattning: (Förutsättningar enligt MK-sattning ovan Den vitade MK-sattningen av θ är det θ MK som minimerar förlustfuntionen Q(θ; x,,x n = Ði(x i Ñi(θ 2, där Ði är en följd av viter, tex Ði = / 2 i, där 2 i = V(X i 7

8 Konfidensintervall Konfidensintervall med onfidensgrad för väntevärdet av en normalfördelad sattning: Om θ (X,,X n N (θ, D(θ så I θ = (θ ± Ð /2 D(θ om D(θ är änd I θ = (θ ± t /2 (f d(θ om D(θ = c där = D(X i, c är en onstant och 2 ( = S 2 = Q med Q f 2 Õ2 (f Konfidensintervall med onfidensgrad för väntevärdet i en normalapproximation: Om θ (X,,X n N (θ, D(θ enligt CGS (el dyl så I θ (θ ± Ð /2 D(θ om D(θ är änd I θ (θ ± Ð /2 d(θ om D(θ sattas med d(θ I θ (θ ± t /2 (f d(θ om D(θ sattas med d(θ där D(θ = c med = D(X i, c är en onstant och 2 ( = S 2 = Q f Konfidensintervall med onfidensgrad för variansen i en normalfördelning: Om X,, X n N ( Ñ, med 2 ( = S 2 = Q f och Q 2 Õ2 (f så I 2 = ( f s 2 f s 2 Õ 2 /2 (f, Õ 2 /2 (f Hypotestest Styrefuntion: h(θ = P(H 0 förastas θ är det rätta parametervärdet Speciellt: Signifiansnivån, = P(H 0 förastas H 0 sann Regression Enel linjär regression Modell: y i = + x i + i, i N (0, Parametersattningar: = ȳ x, = S xy, N, n + x2, C(, = x 2, ( 2 = s 2 = Q 0 n 2, ( N,, Sxx Q 0 = S yy S2 xy Q 0 2 Õ2 (n 2, Ñ0 = + x 0 N + x 0, n + (x 0 x 2 = (x i x 2, S yy = (y i ȳ 2, S xy = (x i x(y i ȳ 8

9 Ett preditionsintervall med onfidensgrad p för y(x 0 = + x ges av I y(x0 = + x 0 ± t p/2 (n 2 s + n + (x 0 x 2 Ett alibreringsintervall med onfidensgrad p för x 0 = y 0 ges av I x0 = x 0 ± t p/2 (n 2 s + n + (x 0 x2 där x 0 = y 0 Multipel linjär regression Modell: y i = 0 + x ( i + 2x (2 i + + px (p i + i, i N (0, Med matrisrepresentation an modellen srivas y = X + e med y x ( x (p y 2 y =, X = x ( 2 x (p 2 y n x n ( x n (p, = 0 p, e = 2 n Parametersattningar: = (X T X X T y, V( = 2 (X T X, Q 0 2 ( = s 2 = n (p +, Q 0 = y T y T X T y, ( N i, element(ii i (X T X, i ( Ñ0 = x 0 N Ñ0, x 0 (X T X x T 0 ( där x 0 = Q 0 2 Õ2 (n (p +, x ( 0 x (p 0 9