Formelsamling Tillämpad statistik, A5

Transkript

1 Formelsamlig Tillämpad statistik, A5 Statistiska istitutioe, Uppsala uiversitet Nödvädiga tabeller fis i Tabell- och formelsamlig för A4/A8. Observera att iga ateckigar får fias i formelsamlige vid tetamestillfället! Iehåll 1 Dataisamlig Obudet slumpmässigt urval uta återläggig (OSU-UÅ) Stratifierat urval med OSU-UÅ frå respektive stratum Systematiskt urval Gruppurval där grupper väljs med OSU-UÅ Kofidesitervall Hypotesprövig Allokerig vid stratifierat urval Regressiosaalys 6.1 Varias, kovarias och Pearsos produktmometkorrelatio.. 6. Lijär regressio Modelle Skattig av modelle Residualer, kvadratsummeuppdelig och förklarigsgrad 7..4 Estimatio och test av eskilda parametrar Prediktio för e okäd y i med giva värde på x Test av modeller Multikollijäritet Några valiga icke-lijära modeller Logistisk regressio Variasaalys Evägs ANOVA, efaktorförsök Blockförsök, radomiserade block Tvåvägs ANOVA med samspel Kruskal-Wallis test Aalys av surveydata Fördeligstest Oberoedetest Homogeitetstest

2 5 Tidsserier Kompoeter Skattig av tredkompoete Tredbestämig med mista kvadrat-metode Tredbestämig med glidade medelvärde Skattig av säsogskompoete Stegvis resig Regressiosaalys Expoetiell utjämig Ekel expoetiell utjämig (ivå) Holt-Witers metod (ivå, tred) Holt-Witers metod (ivå, tred, säsog) Progosutvärderig

3 1. Dataisamlig Vi betraktar e ädlig populatio beståede av N elemet med värde x i, i = 1,, N och parametrara µ = 1 N N x i, τ = Nµ = N x i och om alla x i är biära p = 1 N N x i. Ett urval med elemet väljs med ett saolikhetsurval frå populatioe. Om /N > 0,1 aväds ädlighetskorrektio Obudet slumpmässigt urval uta återläggig (OSU-UÅ) 3 Parameter θ Estimator ˆθ Estimators varias V (ˆθ) Variasskattig ˆV (ˆθ) Fördelig av ˆθ i stora stickprov µ x = x ( ) i N σ ( 1 ) s Appr. N (µ, V ( x)) om > 30 N ( 1 ) N N σ τ ˆτ = N x N ( N 1 ) s Appr. N (µ, V (ˆτ)) om > 30 N 1 N p ˆp = x ( ) i N p(1 p) ( 1 ) ˆp(1 ˆp) Appr. N (p, V (ˆp)) om p(1 p) > 5 N 1 N 1 Notatio: σ = N (x i µ) /N, s = (x i x) /( 1) 1.. Stratifierat urval med OSU-UÅ frå respektive stratum Parameter θ Estimator ˆθ Estimators varias V (ˆθ) Variasskattig ˆV (ˆθ) Fördelig av ˆθ i stora stickprov K N j K ( ) ( ) µ x st = N x Nj Nj j σ j K ( ) ( Nj j 1 ) j s j Appr. N (µ, V ( x st)) om alla j > 0 N N j 1 j N N j j K K ( ) τ ˆτ st = N j x j Nj Nj j σ j K ( Nj 1 ) j s j Appr. N (τ, V (ˆτ st)) om alla j > 0 N j 1 j N j j K N j K ( ) ( ) p ˆp st = N ˆp Nj Nj pj (1 p j ) K ( ) ( Nj j 1 ) j ˆpj (1 ˆp j ) Appr. N (p, V (ˆp st)) om alla j p j (1 p j ) > 5 N N j 1 j N N j j 1 Notatio: Populatioe består av K strata. N j, j, p j, x j, ˆp j, σj och s j är stratumspecifika storheter.

4 1.3. Systematiskt urval Parameter θ Estimator ˆθ Estimators varias V (ˆθ) Variasskattig ˆV (ˆθ) Fördelig av ˆθ i stora stickprov µ x sys = x i [1 + ICC( 1)] σ Se OSU-UÅ om ram slumpvis ordad Se OSU-UÅ om ram slumpvis ordad τ ˆτ sys = N x sys N [1 + ICC( 1)] σ Se OSU-UÅ om ram slumpvis ordad Se OSU-UÅ om ram slumpvis ordad p ˆp sys = x i Utelämas Se OSU-UÅ om ram slumpvis ordad Se OSU-UÅ om ram slumpvis ordad Notatio: σ = N (x i µ) /N. Det fis H möjliga systematiska urval. µ h är medelvärdet i urval h. Itraklusterkorrelatioe ges av (H 1)MSB SST ICC =, där SST = N ( 1)SST (x i µ), MSB = [/(H 1)] H h=1 (µ h µ) Gruppurval där grupper väljs med OSU-UÅ 4 Parameter θ Estimator ˆθ Estimators varias V (ˆθ) Variasskattig ˆV (ˆθ) Fördelig av ˆθ i stora stickprov µ x vvr = N τ i N ( ) N σ u N (1 M M N 1 M ) s u Appr. N (µ, V ( x vvr)) om > 0 N x kvot = τ i m Utelämas Utelämas Utelämas i ( ) N σ τ ˆτ vvr = N x vvr N ( u N 1 ) s u Appr. N (µ, V ( x vvr)) om > 0 N 1 N ˆτ kvot = M x kvot Utelämas Utelämas Utelämas p ˆp vvr = N τ i Utelämas Utelämas Utelämas M ˆp kvot = τ i m Utelämas Utelämas Utelämas i Notatio: Populatioe består av N grupper och M elemet. Varje grupp består av m i elemet och τ i är totalvärdet för elemete i grupp i. I urvalet dras grupper. σu = N (τ i τ/n) /N, s u = (τ i τ i/) /( 1)

5 1.5. Kofidesitervall Om ˆθ är e ormalfördelad vätevärdesriktig estimator för θ ges ett 100(1 α)% kofidesitervall av ˆθ ± z α/ V (ˆθ) där z α/ är z-värdet som associeras med svassaolikhete α/ i höger svas i ormalfördelige. Om ˆθ är ormalfördelad, me V (ˆθ) är okäd och stickprovet är litet aväds t-fördelige med 1 frihetsgrader. Om populatioes fördelig är okäd, me stickprovet är stort, ka uder vissa förutsättigar ett approximativt 100(1 α)% kofidesitervall för θ ges av ˆθ ± z α/ ˆV (ˆθ) Hypotesprövig Vi ställer upp ollhypotese H 0 : θ = θ 0. Om ˆθ är e ormalfördelad vätevärdesriktig estimator aväds testfuktioe z = ˆθ θ 0 V (ˆθ) som är N(0, 1) om H 0 är sa. Om ˆθ är ormalfördelad, me V (ˆθ) är okäd och stickprovet är litet är testfuktioe t-fördelad med 1 frihetsgrader om H 0 är sa. Om populatioes fördelig är okäd, me stickprovet är stort, ka uder vissa förutsättigar testfuktioe z = ˆθ θ 0 ˆV (ˆθ) avädas, vilke är approximativt N(0, 1) om H 0 är sa Allokerig vid stratifierat urval Atalet elemet som väljs frå stratum j vid optimal allokerig är N j σ j / c j j = K N jσ j / c j där c j är kostade för udersöka ett elemet, σ j är stadardavvikelse och N j populatiosstorleke i stratum j. Neyma-allokerig tar ite häsy till kostad och proportioell allokerig tar ite häsy till vare sig kostad eller stadardavvikelse. 5

6 . Regressiosaalys Vi itroducerar ågra avädbara summor: SS yy = SS xx = SS xy = (y i ȳ) = (x i x) = yi ȳ = ( 1)s y x i x = ( 1)s x (x i x)(y i ȳ) = x i y i xȳ = ( 1)s xy.1. Varias, kovarias och Pearsos produktmometkorrelatio För två kvatitativa slumpvariabler x och y är variase, kovariase och Pearsos korrelatio V (x) = σ x = E[(x E(x)) ] = E(x ) E(x) V (y) = σ y = E[(y E(y)) ] = E(y ) E(y) Cov(x, y) = σ xy = E[(x E(x))(y E(y))] = E(xy) E(x)E(y) ρ xy = σ xy σ x σ y I ett slumpmässigt urval med parvisa observatioer (x 1, y 1 ), (x, y )..., (x, y ) skattas ovaståede parametrar med s x = 1 1 s y = 1 1 s xy = 1 1 (x i x) = SS xx 1 (y i ȳ) = SS yy 1 (x i x)(y i ȳ) = SS xy 1 r xy = s xy SS = xy s x s y SSxx SS yy För att testa ollhypotese H 0 : ρ xy = 0 aväds testfuktioe t = r xy 1 rxy som t-fördelad med frihetsgrader om 1) ollhypotese är sa och ) x i och y i kommer frå e bivariat ormalfördelad populatio. 6

7 .. Lijär regressio Nödvädiga förutsättigar beteckas (i)-(v)...1. Modelle Modelle består av k oberoede variabler x 1,..., x k som är relaterade till e beroede variabel y eligt e (i) lijär modell y = β 0 + β 1 x β k x k + ε Felterme ε är slumpmässig med (ii) oberoede fel och (iii) E(ε x 1,..., x k ) = 0. Feltermes varias är σ ε om (iv) lika varias för alla värde på x 1,..., x k.... Skattig av modelle Vi har ett eligt modelle slumpmässigt stickprov av storleke med oberoede observatioer. Modelle skattas med mista-kvadratmetode: ŷ = ˆβ 0 + ˆβ 1 x ˆβ k x k..3. Residualer, kvadratsummeuppdelig och förklarigsgrad Residual: ˆε i = y i ŷ Residualkvadratsumma: SSE = ˆε i = Residualvarias: s ε = MSE = Kvadratsummeuppdelig: SS yy = }{{} Total variatio (y i ŷ) SSE (k + 1). Om (iv) är E(s ε) = σ ε (ŷ i ȳ) Förklarigsgrad: R = 1 SSE SS yy }{{} Av modelle förklarad variatio Justerad förklarigsgrad: R a = Estimatio och test av eskilda parametrar 1 (k + 1) (1 R ) + SSE }{{} Oförklarad variatio Parameter θ Estimator ˆθ Estimators varias V (ˆθ) Variasskattig ˆV (ˆθ) β 0 ˆβ0 = ȳ ˆβ 1 x σ ε x i SS xx s ε x i SS xx β 1 ˆβ1 = SS xy/ss xx σε/ss xx s ε/ss xx ( ) ( ) 1 µ y x=xp ŷ σε (xp x) 1 + s (xp x) ε + SS xx SS xx 7

8 Medelfelet är ˆV (ˆθ) = sˆθ. För k > 1 utelämas formler för estimatorer och variasskattigar. Däremot gäller formlera för itervallskattig och hypotesprövig eda. Om (i)-(iv) är uppfyllda och ε är (v) ormalfördelad är estimatorera N(θ, V (ˆθ)). Eftersom V (ˆθ) är okäd gäller att: ett tvåsidigt 100(1 α)% KI för θ ges av ˆθ ± t (k+1),α/ ˆV (ˆθ). för att testa H 0 : θ = θ 0 aväds att t = ˆθ θ 0 t (k+1) om H 0 sa. ˆV (ˆθ) Om (v) ite är uppfylld me är stort är estimatorera approximativt N(θ, V (ˆθ))...5. Prediktio för e okäd y i med giva värde på x Ett 100(1 α)% prediktiositervall för y i ges av ŷ±t (k+1),α/ ( ˆV (ŷ) + s ε)..6. Test av modeller För test krävs att (i)-(v) gäller. Test av hel modell Hypoteser: H 0 : β 1 = β = = β k = 0 vs H 1 : Mist e β j 0 Testfuktio: F = (SS yy SSE)/k SSE/( (k + 1)) = MS(Model) F k,( (k+1)) MSE Förkasta H 0 om F obs > F k,( (k+1)),α Test av estade modeller Vi vill jämföra e reducerad modell E(y x) = β 0 + β 1 x β g x g med e full modell E(y x) = β 0 + β 1 x β g x g + β g+1 x g β k x k Hypoteser: β g+1 = β g+ = = β k = 0 vs H 1 : Mist e av de testade parametrara är skild frå oll. Testfuktio: F = (SSE R SSE C )/(k g) SSE C /( (k + 1) F (k g),( (k+1)) där SSE R och SSE C är SSE i reducerad respektive full modell och (k g) är atalet parametrar som testas. Förkasta H 0 om F obs > F (k g),( (k+1)),α..7. Multikollijäritet Variace iflatio factor för ˆV ( ˆβ): V IF j = 1/(1 Rj ) där R j är förklarigsgrade som fås vid regressio av x j på övriga obereode variabler. V IF > 10 idikerar problem som bör åtgärdas. 8

9 ..8. Några valiga icke-lijära modeller Modell med polyom av grad p: y = β 0 + β 1 x + β x + + β p x p + ε Log-lijär modell: l y = β 0 + β 1 x + ε Log-log-lijär modell: l y = β 0 + β 1 l x + ε..9. Logistisk regressio För att förklara e biär beroede variabel y (där 1 idikerar e hädelse och 0 idikerar fråvaro av e hädelse) med k beroede variabler x 1,..., x k aväds de (i) lijära modelle för log-oddset för e hädelse ( ) Pr(y = 1 x 1,..., x k ) l = β 0 + β 1 x β k x k 1 Pr(y = 1 x 1, x,..., x k ) Vi förutsätter att observatioera är (ii) oberoede och (iii) ett stort stickprov med mist 10 hädelser per variabel. Eligt modelle är saolikhete för e hädelse eβ0+β1x1+ +β kx k Pr(y = 1 x 1,..., x k ) = 1 + e β0+β1x1+ +β kx k Estimatio och test av eskilda parametrar β j skattas med maximum-likelihoodestimator ˆβ ML j ˆβ ML j vilke är approximativt N(β j, V ( )) om är stort. Eftersom detta gäller i stora stickprov aväds z-fördelige vid hypotesprövig och iterskattig. Oddskvote är OR j = e βj och ett kofidesitervall för OR j erhålls geom avädig av expoetialfuktioe på gräsera av ett kofidesitervall för β j. Test av estade modeller Vi vill jämföra e reducerad modell E(y x) = β 0 + β 1 x β g x g med e full modell E(y x) = β 0 + β 1 x β g x g + β g+1 x g β k x k Hypoteser: β g+1 = β g+ = = β k = 0 vs H 1 : Mist e av de testade parametrara är skild frå oll. Testfuktio: X = X full X reducerad som är χ -fördelad med (k g) är atalet parametrar som testas. Förkasta H 0 om X obs > χ (k g),α 9

10 3. Variasaalys 3.1. Evägs ANOVA, efaktorförsök Betrakta e faktor α i med a ivåer (i = 1,,..., a) och e beroede variabel y. Vi har i (i = 1,,..., i ) observatioer per ivå, dvs totalt = a i observatioer. Observatio j för ivå i ka beskrivas med modelle y ij = µ + α i + e ij där µ är populatiosmedelvärdet för y. Felterme e ij är slumpmässig med (i) oberoede fel, (ii) samma varias för alla i samt är (iii) ormalfördelad. Förutsättigara (i)-(iii) ka förkortas e ij NID(0, σe). Källa fg SS MS F -värde Behadlig a 1 SSA MSA Error a SSE MSE Totalt 1 SST MSA MSE SSA = SSE = SST = A = a i (ȳ i ȳ) = C B a i (y ij ȳ i ) = A C a i (y ij ȳ) = A B a i y ij B = 1 a i y ij a 1 i C = i y ij 100(1 α)% kofidesitervall för µ i respektive µ 1 µ ges av ( MSE 1 ȳ i ± t a,α/ och (ȳ 1 ȳ ) ± t a,α/ MSE + 1 ) i 1 För att testa H 0 : µ 1 = µ aväds testfuktioe ȳ 1 ȳ t = ( 1 MSE + 1 ) t a 1 10

11 3.. Blockförsök, radomiserade block Totalt atal observatioer: a b =. Modell : y ij = µ + α i + b j + e ij i = 1,,..., a j = 1,,..., b Förutsättigar: e ij NID(0, σe) Källa fg SS MS F -värde Behadlig a 1 SSA MSA Block b 1 SSB MSB Error (a 1)(b 1) SSE MSE Totalt 1 SST SSA = b SSB = a SSE = SST = A = C = 1 b a (ȳ i. ȳ) = C B b (ȳ.j ȳ) = D B a a a MSA ( MSE ) MSB MSE b (y ij ȳ i. ȳ.j + ȳ) = SST SSA SSB b (y ij ȳ) = A B b y ij a b B = 1 a y ij b D = 1 a y ij ( b a ) y ij 100(1 α)% kofidesitervall för µ 1 µ ges av ( 1 (ȳ 1 ȳ ) ± t (a 1)(b 1),α/ MSE b + 1 ) b 11

12 3.3. Tvåvägs ANOVA med samspel Modell 1 : y ijk = µ + α i + β j + (αβ) ij + e ijk Modell : y ijk = µ + α i + b j + (αb) ij + e ijk Modell 3 : y ijk = µ + a i + β j + (aβ) ij + e ijk Modell 4 : y ijk = µ + a i + b j + (ab) ij + e ijk där i = 1,,..., a j = 1,,..., b, k = 1,,..., c. Förutsättigar: e ijk NID(0, σe) Källa fg SS MS F -värde Faktor A a 1 SSA MSA Faktor B b 1 SSB MSB Samspel (a 1)(b 1) SSAB MSAB Error ab(c 1) SSE MSE Totalt abc 1 SST MSA MSE MSB MSE MSAB MSE Om mist e faktor är slumpmässig divideras MSA och MSB med MSAB. 100(1 α)% kofidesitervall för µ ij respektive µ ij µ kl ges av ȳ ij ± t ab(c 1),α/ MSE c ( 1 och (ȳ ij ȳ kl ) ± t ab(c 1),α/ MSE c + 1 ) c 3.4. Kruskal-Wallis test Om utfallet y är mätt på (i) mist ordialskaleivå, (ii) stickprove är oberoede och (iii) utvalda med OSU, har (iv) samma fördelig i alla populatioera samt om vi har (v) mist fem observatioer i alla stickprov ka vi testa med testfuktioe H = H 0 : η 1 = η = = η a H 1 : Alla η i är ej lika 1 ( + 1) a R i i 3( + 1) χ a 1 där ragsummora, R i (i = 1,,..., a) beräkas frå observatioer som är ragordade frå lägst till högst (medelrager vid ties). H 0 förkastas om H > χ a 1,α 1

13 4. Aalys av surveydata 4.1. Fördeligstest Testfuktioe är K χ (O i E i ) obs = E i χ K m 1 där m är atal skattade parametrar. H 0 förkastas om χ obs > χ K m 1,α. 4.. Oberoedetest Testfuktioe är r k χ (O ij obs = Êij) Ê ij χ (r 1)(k 1) där Êij = R ik j och R i är radsumma och K j är kolumssumma. H 0 förkastas om χ obs > χ (r 1)(k 1),α 4.3. Homogeitetstest Testfuktioe är r k χ (O ij obs = Êij) Ê ij χ (r 1)(k 1) där Êij = R ik j där R i är radsumma och K j är kolumssumma. H 0 förkastas om χ obs > χ (r 1)(k 1),α 5. Tidsserier 5.1. Kompoeter E tidsserie ka beskrivas eligt: y t = T t + S t + C t + R t y t = T t S t C t R t (Additiv modell) (Multiplikativ modell) där T t är tredkompoet, S t är säsogskompoet, C t är cyklisk kompoet och R t är slumpkompoet. 13

14 5.. Skattig av tredkompoete Tredbestämig med mista kvadrat-metode För additiv modell, aväd formlera i avsitt. för lijär regressio tillsammas med lämplig tredfuktio, exempelvis: y t = β 0 + β 1 t + ɛ t y t = β 0 + β 1 l t + ɛ t (Lijär tred) (Logaritmisk tred) Med multiplikativ modell med expoetiell tred, lijärisera modelle geom att logaritmera: y t = β 0 β1e t ɛt l y t = l β 0 + t l β 1 + ɛ t yt = β0 + β1t + ɛ t, yt = l y t, β0 = l β 0, β1 = l β 1 och aväd därefter formlera i avsitt Tredbestämig med glidade medelvärde Glidade medelvärde med jämt atal vikter: M t = 1 N (y t N/ + + y t + + y t+n/ 1 ) Glidade medelvärde med udda atal lika vikter: M t = 1 N (y t (N 1)/ + + y t + + y t+(n 1)/ ) Glidade medelvärde med udda atal olika vikter (vid säsogsvariatio): M t = y t 1 + y t + y t+1 4 M t = y t + y t 1 + y t + y t+1 + y t+ 8 M t = y t 6 + y t y t + + y t+5 + y t+6 4 (Halvårsdata) (Kvartalsdata) (Måadsdata) 5.4. Skattig av säsogskompoete Stegvis resig 1. Bestäm om modelle ska vara additiv eller multiplikativ: y t = T t + S t + R t y t = T t S t R t (Additiv) (Multiplikativ). Skatta trede med mista kvadrat-metode och lämplig tredfuktio eller med glidade medelvärde. Beräka säsogseffekter för varje period 14

15 (grov säsogsskattig) geom att tredresa serie: Ŝ t = y t ˆT t Ŝ t = y t ˆT t (Additiv) (Multiplikativ) 3. Beräka geomsittet S j av säsogseffektera för varje säsog. 4. Evetuell korrigierig, P = periodicitete (atal säsoger). Additiv: Korrigera om P S i 0, aväd S + j P = S j S i P Multiplikativ: Korrigera om P S i P, aväd S + j = S j P P S i 5. Skapa e y serie S + t geom att repetera säsogskompoetera S + j frå föregåede steg. Vid tidpukt t är S + t lika med det S + j som hör till säsoge tidpukt t tillhör. Fortsätt repeteradet så lågt som progoser ska göras. 6. Säsogsresig. y t = y t S + t y t = y t S + t (Additiv) (Multiplikativ) 7. Progoser. Apassa e tred med mista kvadrat-metode på de säsogsresade serie y t. De skattade modelle ger de skattade tredekvatioe ˆT t. Gör därefter progoser eligt: ŷ t = ˆT t + S + t ŷ t = ˆT t S + t (Additiv) (Multiplikativ) Regressiosaalys Lijär modell med additiv säsogsvariatio (kvartalsdata): y t = β 0 + β 1 t + β Q 1t + β 3 Q t + β 4 Q 3t + ɛ t Expoetiell tred med multiplikativ säsogsvariatio (kvartalsdata): y t = β 0 β t 1β Q1t β Qt 3 β Q3t 4 e ɛt De multiplikativa modelle ka skattas geom logaritmiserig, se avsitt Säsogsidikatorera Q jt är 1 för kvartal j och 0 aars. 15

16 5.5. Expoetiell utjämig Ekel expoetiell utjämig (ivå) 1. Bestäm ett värde för utjämigskostate w, 0 w 1. Beräka de utjämade serie: { y 1, t = 1 E t = wy t + (1 w)e t 1, t > 1 3. Progose k steg framåt är F +k = E, k = 1,, Holt-Witers metod (ivå, tred) 1. Bestäm utjämigskostatera v och w, där båda är mella 0 och 1. Beräka utjämigs- och tredkompoetera E t och T t eligt: { y, t = E t = wy t + (1 w)(e t 1 + T t 1 ), t > { y y 1, t = T t = v(e t E t 1 ) + (1 v)t t 1, t > 3. Progose k steg framåt är F +k = E + T k Holt-Witers metod (ivå, tred, säsog) 1. Bestäm utjämigskostatera w, v och u (alla mella 0 och 1). Bestäm periodicitete (atal säsogskompoeter) P 3. Beräka de utjämade seriera: y, t = E t = wy ( t + (1 ) w)(e t 1 + T t 1 ), t = 3, 4,..., P + w yt S t P + (1 w)(e t 1 + T t 1 ), t > P + { y y 1, t = T t = v(e t E t 1 ) + (1 v)t t 1, t > { yt E S t = t (, ) t =, 3,..., P + u yt E t + (1 u)s t P, t > P + 4. Progose k steg framåt är: F +k = (E + kt )S +k P 16

17 5.6. Progosutvärderig För y i = utfall, ŷ i = progos och m = atal progoser: (yi ŷ i ) Medelfel (ME) = m (yi ŷ i ) Medelkvadratfel (MSE) = m (yi ŷ i ) Rotmedelkvadratfel (RMSE) = m yi ŷ i Medelabsolutfel (MAD) = m Medelabsolutprocetfel (MAPE) = 1 y i ŷ i m y i 17