TAMS65. Formel- och tabellsamling i matematisk statistik TAMS65. Martin Singull TAMS65 TAMS65

Transkript

1 Formel- och tabellsamling i matematisk statistik Martin Singull

2 Innehåll 4.1 Multipel regression Sannolikhetslära Några diskreta fördelningar Några kontinuerliga fördelningar Kovarians och Korrelation Enkel linjär regression χ 2 -test Fackindelning med k fack Homogenitetstest Linjärkombinationer av slumpvariabler Genererande funktioner Centrala gränsvärdessatsen Approximationer mellan olika fördelningar Samband mellan betingade och obetingade väntevärden och varianser Stokastisk vektor Statistisk teori Ett stickprov Två stickprov Tabelle9 6.1 Normalfördelning t-fördelning χ 2 -fördelning F-fördelning Studentized Range Statistic Tukey Binomialfördelning Poissonfördelning Tukey s metod för parvisa jämförelser Variansanalys Enfaktorförsök Fix Enfaktorförsök Varianskomponentmodell Randomiserad Block Design Tvåfaktorförsök Romersk kvadrat Linjär regression 15

3 1 Sannolikhetslära 1.2 Några kontinuerliga fördelningar 1.1 Några diskreta fördelningar Binomialfördelning X Bin(n, p) ( ) n p X (k) = p k (1 p) n k, k k = 0, 1,..., n E[X] = np, var(x) = np(1 p), G X (s) = (1 + p(s 1)) n Poissonfördelning Hypergeometriskfördelning X P o(µ) p X (k) = µk k! e µ, k = 0, 1, 2,... E[X] = µ, var(x) = µ, G X (s) = e (s 1)µ X Hyp(N, n, p) ( ) ( ) Np N(1 p) k n k p X (k) = ( ), k = 0, 1,..., n N E[X] = np, Geometrisk fördelning n var(x) = N n np(1 p) N 1 X Ge(p) p X (k) = (1 p) k p, k = 0, 1, 2,... E[X] = 1 p p, var(x) = 1 p p, G p 2 X (s) = 1 (1 p)s För första-gången-fördelning X F fg(p) p X (k) = (1 p) k 1 p, k = 1, 2, 3... E[X] = 1 p, var(x) = 1 p sp, G p 2 X (s) = 1 (1 p)s Negativ Binomialfördelning E[X] = ( k + r 1 p X (k) = r 1 r(1 p), var(x) = p X NB(r, p) ) p r (1 p) k r k = 0, 1, 2,... ( r(1 p), G X (s) = p p 1 (1 p)s ) r Likformig (rektangulär) fördelning på intervallet (a,b) E[X] = a + b 2 Exponentialfördelning X U(a, b) f X (x) = 1 b a, a x b (b a)2, var(x) =, M X (p) = epb e pa 12 p(b a) X Exp(λ), där λ betecknar intensiteten. Ibland används väntevärdet µ = 1 som parameter. λ Normalfördelning χ 2 -fördelning f X (x) = λe λx, x 0 E[X] = 1 λ, var(x) = 1 λ 2, M X(p) = λ λ p, λ > p. f X (x) = 1 exp { 2πσ X N(µ, σ) (x µ)2 2σ 2 E[X] = µ, var(x) = σ 2, M X (p) = exp Y χ 2 (n) }, < x < + } {pµ + p2 2 σ2 Uppkomst: Om X 1,..., X n är oberoende, var och en N(0, 1), gäller att Y = X X 2 n får en χ 2 fördelning med n frihetsgrader. där Γ( ) är gammafunktionen f Y (x) = x(n/2) 1 e x/2 2 (n/2) Γ(n/2), x 0, Γ(c) = 0 x c 1 e x dx, där c > 0. E[Y ] = n, var(y ) = 2n, M Y (p) = 1 (1 p) n/2, p < 1

4 t-fördelning Z t(n) Uppkomst: Om X N(0, 1) och Y χ 2 (n) samt X och Y är oberoende, så gäller att Z = X får en t-fördelning med n frihetsgrader. Y/n F - fördelning Γ ( ) n+1 2 f Z (x) = ( nπγ n ) ( ) x 2 (n+1)/2, < x < + n 1.4 Linjärkombinationer av slumpvariabler 1. Generellt gäller att E[a 1 X a n X n + b] = a 1 E[X 1 ] a n E[X n ] + b. 2. För oberoende slumpvariabler X 1,..., X n gäller att var(a 1 X a n X n + b) = a 2 1 var(x 1 ) a 2 n var(x n ). 3. Generellt gäller att Y F (n 1, n 2 ) Uppkomst: Om X 1 χ 2 (n 1 ) och X 2 χ 2 (n 2 ) samt X 1 och X 2 är oberoende, så gäller att Y = X 1/n 1 X 2 /n 2 får en F -fördelning med n 1 och n 2 frihetsgrader. Gammafördelning Γ ( n 1+n 2 ) ( ) n1/2 n 1 2 n 2 x (n 1/2) 1 f Y (x) = Γ ( ) ( n 1 2 Γ n2 ) ( ), x 0 (n1+n2)/2 n 1 2 n 2 x + 1 Y Γ(α, λ) Uppkomst: Om X 1,..., X n är oberoende, var och en Exp(λ), så blir Y = X X n gammafördelad med parametrarna n och λ. Weibullfördelning f Y (x) = λ(λx)α 1 e λx, x 0 Γ(α) f X (x) = c ( x ) c 1 e (x/a) c, x 0 a a ( ) ( ) ( ( )) ) 2 c + 1 c + 2 c + 1 E[X] = aγ, var(x) = a (Γ 2 Γ c c c var(a 1 X a n X n + b) = 1.5 Genererande funktioner n a 2 j var(x j ) + 2 j=1 1 j<k n a j a k cov(x j, X k ). En diskret icke-negativ, heltalsvärd slumpvariabel X har sannolikhetsgenererande funktion G X (s) = E[s X ] = s k p X (k). En kontinuerlig slumpvariabel X har momentgenererande funktion M X (p) = E[e px ] = k=0 e px f X (x)dx. Om (X j ) j=1 är oberoende och likafördelade diskreta icke-negativa heltalsvärda slumpvariabler, samma fördelning som X, och Z är en diskret icke negativ, heltalsvärd slumpvariabel, och Y = X X Z, gäller: G Y (s) = G Z (G X (s)). Om (X j ) j=1 är oberoende likafördelade slumpvariabler, samma fördelning som X och Z är en diskret icke negativ, heltalsvärd slumpvariabel, och Y = X X Z, gäller: M Y (s) = G Z (M X (s)). 1.3 Kovarians och Korrelation Kovarians: cov(x, Y ) = E[(X µ X )(Y µ Y )], där µ X = E[X] och µ Y = E[Y ] Korrelation: ρ(x, Y ) = cov(x, Y ) σ X σ Y, där σ 2 X = var(x) och σ2 Y = var(y ) 1.6 Centrala gränsvärdessatsen Låt X 1,..., X n vara oberoende och likafördelade slumpvariabler, var och en med väntevärde E[X] = µ och varians var(x) = σ 2. Låt X n = 1 n (X X n ). Då gäller, approximativt, för stora n att

5 X n µ σ/ n ( X n N µ, N(0, 1), σ ), n n j=1 X j N(nµ, nσ). Normalfördelning En stokastiskvektor X = (X 1,..., X n ) som har täthetsfunktionen f X (x) = { 1 exp 1 } (2π) n/2 Σ 1/2 2 (x µ) Σ 1 (x µ), 1.7 Approximationer mellan olika fördelningar X Hyp(N, n, p) och n 1 X Bin(n, p) N 10 X Hyp(N, n, p) och (np, N nnp(1 p) 10 X N N n ), np(1 p) N 1 N 1 där x = (x 1,..., x n ), sägs vara en normalfördelad stokastiskvektor och betecknas X N n (µ, Σ) med väntevärdesvektor µ och kovariansmatris Σ. En normalfördelad stokastiskvektor har en momentgenererandefunktion som ges av { M X (p) = exp p µ + 1 } 2 p Σp. X Bin(n, p) och n 10, p 0.1 X P o(np) X Bin(n, p) och np(1 p) 10 X N(np, np(1 p)), X P o(µ) och µ 15 X N(µ, µ). 1.8 Samband mellan betingade och obetingade väntevärden och varianser E[X] = E Y [E[X Y ]], var(x) = E Y [var(x Y )] + var Y (E[X Y ]). 1.9 Stokastisk vektor 2 Statistisk teori 2.1 Ett stickprov Låt (X 1,..., X n ) vara ett slumpmässigt stickprov, X j har samma fördelning som X, med väntevärde E[X] = µ och varians var(x) = σ 2 för j = 1,..., n. Stickprovsmedelvärdet X := 1 n n j=1 X j skattar väntevärdet µ. Stickprovsvariansen S 2 := 1 n j=1 n 1 (X j X n ) 2 skattar variansen σ 2 om µ är okänt, i annat fall används σ 2 = 1 n n j=1 (X j µ) 2 som skattning av variansen σ 2. Låt µ X och Σ X var väntevärdesvektorn och kovariansmatrisen för en stokastisk vektor X. Då gäller följande räknelagar: Y = AX + b ger µ Y = Aµ X + b och Σ Y = AΣ X A. ( n ) Specialfall: var j=1 a jx j = var (a X) = a Σ X a. Prediktering: E[(Y a bx) 2 ] har minimum lika med var(y )(1 ρ 2 ) för Om X N(µ, σ), gäller följande: X µ σ/ N(0, 1), n (n 1)S 2 n j=1 = (X j X n ) 2 χ 2 (n 1), σ 2 σ 2 b = cov(x, Y ) var(x), a = E[Y ] b E[X]. 3. X µ S/ t(n 1). n

6 2.2 Två stickprov 3 Variansanalys Låt (X 1,..., X m ) vara ett slumpmässigt stickprov från X N(µ 1, σ 1 ) och (Y 1,..., Y n ) ett slumpmässigt stickprov från Y N(µ 2, σ 2 ). De båda stickproven antas vara oberoende. Låt S 2 1 och S 2 2 vara respektive stickprovsvarianser. Följande gäller, 3.1 Enfaktorförsök Fix 1. S1/σ F (m 1, n 1), S2/σ om σ 2 1 = σ 2 2 = σ 2, så används den sammanvägda σ 2 - skattningen Låt y ij vara observationer från Y ij = µ i + ε ij, där ε ij N(0, σ) oberoende, i = 1,..., a och j = 1,..., n i. Låt N = i n i. Då gäller kvadratsummeuppdelningen SS T OT = SS T REAT + SS E, SS T OT = ij (y ij ȳ.. ) 2, df = N 1, Det gäller att: och S 2 = (m 1)S2 1 + (n 1)S 2 2 (m 1) + (n 1) (m + n 2)S 2 m j=1 = (X j X) 2 + n j=1 (Y j Ȳ )2. m + n 2 σ 2 χ 2 (m + n 2) ( X Ȳ ) (µ 1 µ 2 ) t(m + n 2). S 1 m + 1 n SS T REAT = n i (ȳ i. ȳ.. ) 2, df = a 1, i E(SS T REAT ) = (a 1)σ 2 + i SS E = ij n i τ 2 i, (y ij ȳ i. ) 2, df = N a, E(SS E ) = (N a)σ Enfaktorförsök Varianskomponentmodell 2.3 Tukey s metod för parvisa jämförelser Låt y ij vara observationer från Y ij = µ + τ i + ε ij där τ i N(0, σ τ ) och ε ij N(0, σ) oberoende, i = 1,..., a och j = 1,..., n. Då gäller att Antag modellen Y ij = µ i + ε ij, där ε ij N(0, σ) oberoende, i = 1,..., a och j = 1,..., n. Då ges de ( a 2) konfidensintervallen för µi µ k av ȳ i. ȳ k. q α (a, f) s n, där s 2 är en skattning av σ 2 med f frihetsgrader. Intervallen har den simultana konfidensgraden exakt 1 α SS T OT = SS T REAT + SS E, SS T REAT = n(y i. y.. ) 2, df = a 1, i E(SS T REAT ) = (a 1)(nστ 2 + σ 2 ), SS E = (y ij y i. ) 2, df = a(n 1), ij E(SS E ) = a(n 1)σ 2.

7 3.3 Randomiserad Block Design 3.5 Romersk kvadrat Låt y ij vara observationer från Y ij = µ + τ i + β j + ε ij, där ε ij N(0, σ) oberoende, i = 1,..., a och j = 1,..., b. Då gäller att Givet en Romersk kvadrat p p med observationer y ij ges kvadratsummeuppdelningen av SS T OT = ij (y ij ȳ.. ) 2, df = p 2 1, SS T OT = SS A + SS B + SS E, SS T OT = ij (y ij ȳ.. ) 2, df = ab 1, SS A = p i SS B = p i (ȳ i. ȳ.. ) 2, df = p 1, (ȳ.j ȳ.. ) 2, df = p 1, (ȳ i. ȳ.. ) 2, df = a 1, SS C = p k (ȳ k ȳ.. ) 2, df = p 1, SS A = b i SS B = a j (ȳ.j ȳ.. ) 2, df = b 1, SS E = ij (y ij ȳ i. ȳ.j ȳ k + 2ȳ.. ) 2, df = (p 1)(p 2). SS E = ij 3.4 Tvåfaktorförsök (y ij ȳ i. ȳ.j + ȳ.. ) 2, df = (a 1)(b 1). 4 Linjär regression 4.1 Multipel regression Modell Låt Y = (Y 1,..., Y n ) vara en normalfördelad stokastisk vektor med väntevärde Xβ och kovariansmatris σ 2 I, där X : n (k + 1) är en designmatris och β = (β 0,..., β k ) och σ 2 är okända parametrar. Modellen ges av Låt y ijk vara observationer från Y ijk = µ + τ i + β j + (τβ) ij + ε ijk, där ε ijk N(0, σ) oberoende, i = 1,..., a, j = 1,..., b, k = 1,..., n och N = abn. Då gäller att där ε N n (0, σ 2 I). Y = Xβ + ε, SS T OT = SS A + SS B + SS AB + SS E, SS T OT = (y ijk ȳ... ) 2, ijk df = N 1, SS A = b n(ȳ i.. ȳ... ) 2, i df = a 1, Skattningar De okända parametrarna β och σ 2 skattas med ˆβ = (X X) 1 X Y N k+1 (β, σ 2 (X X) 1 ), ˆσ 2 = s 2 = SS E n (k + 1), SS B = a j n(ȳ.j. ȳ... ) 2, df = b 1, där SS E är residualkvadratsumman SS E = n j=1 (y j ˆµ j ) 2 med n (k + 1) frihetsgrader. Det skattade regressionsuttrycket ges av SS AB = ij (ȳ ij. ȳ i.. ȳ.j. + ȳ... ) 2, df = (a 1)(b 1), ˆµ j = ŷ(x j1,..., x jk ) = ˆβ 0 + ˆβ 1 x j ˆβ k x jk. SS E = ijk (y ijk ȳ ij. ) 2, df = ab(n 1).

8 Konfidensintervall och prediktering Låt Y 0 = u β + ε 0, där u = (1 u 1... u k ) och ε 0 N(0, σ). Väntevärdet µ 0 = u β skattas med ˆµ 0 = u β ( N u β, σ ) u (X X) 1 u och predikteringsfelet ges av Y 0 ˆµ 0 = Y 0 u β ( N 0, σ ) 1 + u (X X) 1 u. Kvadratsummeuppdelning Låt ȳ = 1 n n j=1 y j. Det gäller att SS T OT = n (y j ȳ) 2, df = n 1, j=1 SS T OT = SS R + SS E, n SS R = (ŷ j ȳ) 2, df = k, SS E = j=1 n (y j ŷ j ) 2, df = n (k + 1). j=1 F -test av alla förklaringsvariabler H 0 : β 1 = = β k = 0 (alla förklaringsvariablerna är meningslösa) mot H 1 : minst ett β i 0 (minst en förklaringsvariabel gör nytta.) SS R /k Teststorhet: V = SS E /(n (k + 1)) F (k, n (k + 1)) om H 0 är sann. F -test för tillägg av p förklarande variabler Modell 1: Y = β 0 + β 1 x β k x k + ε Modell 2: Y = β 0 + β 1 x β k+p x k+p + ε H 0 : β k+1 =... = β k+p = 0 (nya förklaringsvariablerna meningslösa) mot H 1 : minst en av β k+1,..., β k+p är 0. (SS (1) E Teststorhet: W = SS(2) E )/p SS (2) E /(n (k + p + 1)) F (p, n (k + p + 1)) under H 0, där SS (i) E är residualkvadratsumman för modell i = 1, Enkel linjär regression Modell Vid enkel linjär regression ges modellen av Y i = β 0 + β 1 x i + ε i, där ε i N(0, σ) i = 1,..., n och oberoende. Skattningar ( ) ˆβ 1 = i(x i x)y i i (x i x) N 1 β 2 1, σ i (x, i x) 2 ( ) ˆβ 0 = Y ˆβ 1 1 x N β 0, σ n + x 2 j (x, j x) 2 σ 2 = S 2 = 1 (Y j n 2 ˆβ 0 ˆβ 1 x j ) 2, j (n 2)S 2 (Yj = ˆβ 0 ˆβ 1 x j ) 2 χ 2 (n 2). σ 2 σ 2 De stokastiska variablerna Y, ˆβ 1 och S 2 är oberoende. Kvadratsummeuppdelning (y j y) 2 = ˆβ 1 2 (x j x) 2 + (y j ˆβ 0 ˆβ 1 x j ) 2 j j Konfidensintervall Konfidensintervall för µ 0 = β 0 + β 1 x 0 ges av ˆβ 0 + ˆβ 1 1 x 0 t s n + (x 0 x) 2 j (x j x). 2 Prediktering Prognosintervall (prediktionsintervall) för Y 0 = β 0 + β 1 x 0 + ɛ ges av ˆβ 0 + ˆβ 1 x 0 t s j n + (x 0 x) 2 j (x j x) 2.

9 5 χ 2 -test 6 Tabeller 5.1 Fackindelning med k fack 6.1 Normalfördelning 1. H 0 : Fördelningsfunktioner är F 0 (x) (inga okänd parametrar). Låt p i = F 0 (a i ) F 0 (a i 1 ) och N i antalet x i i intervallet (a i 1, a i ]. Teststorhet: T = k (N i np i ) 2 i=1 χ 2 (k 1)-fördelad under H 0. np i 2. H 0 : Given parametrisk fördelningsklass med fördelningsfunktion F (x). Teststorheten: T = k (N i np i ) 2 i=1, np i där p i beräknas som i 1. sedan parametrarna i F (x) har skattats. T är approximativt χ 2 (k 1 r)-fördelad under H 0 där r = antalet skattade parametrar i F (x). För både 1. och 2. krävs att alla np i Homogenitetstest Datamaterial 1 N 11 N N 1k n 1 observationer 2 N 21 N N 2k n 2 observationer där n = r i=1 n i, N j = r i=1 N ij, ˆp j = Nj n r N r1 N r2... N rk n r observationer Summa N 1 N 2... N k n H 0 : Datamaterialen är homogena, d.v.s., de kan anses komma från samma fördelning. Tabell för Φ(x) = P (X x), där X N(0, 1). För x < 0, använd att Φ(x) = 1 Φ( x). x Teststorhet: T = r k (N ij n iˆp j ) 2 i=1 j=1 χ 2 ((r 1)(k 1))-fördelad under H 0. n iˆp j Det krävs att alla n iˆp j

10 6.2 t-fördelning 6.3 χ 2 -fördelning Tabell för F (x) = P (X x), där X t(f). För F (x) < 0.5, använd att F (x) = 1 F ( x). Tabell för F (x) = P (X x), där X χ 2 (f). F (x) f F (x) f

11 Tabell för F (x) = P (X x), där X χ 2 (f). 6.4 F-fördelning F (x) f Tabell för F (x) = P (X x), där X F (, r 2 ). För F (x) < 0.5 utnyttjar man att 1 X F (r 2, ). F (x) = 0.90 r r

12 Tabell för F (x) = P (X x), där X F (, r 2 ). F (x) = 0.95 Tabell för F (x) = P (X x), där X F (, r 2 ). F (x) = r r r r

13 Tabell för F (x) = P (X x), där X F (, r 2 ). F (x) = 0.99 Tabell för F (x) = P (X x), där X F (, r 2 ). F (x) = r r r r

14 Tabell för F (x) = P (X x), där X F (, r 2 ). F (x) = Studentized Range Statistic Tukey Tabell för q(a, f), där a är antalet parametrar och f är frihetsgraderna för s 2. r r q 0.10 (a, f) a f f

15 q 0.05 (a, f) q 0.01 (a, f) a f f a f f

16 6.6 Binomialfördelning Tabell för P (X k) där X Bin(n, p). Tabell för P (X k) där X Bin(n, p). För p > 0.5, använd att P (X k) = P (Y n k) där Y Bin(n, 1 p). p n k p n k