Regressions- och Tidsserieanalys - F3

Transkript

1 Regressions- och Tidsserieanalys - F3 Multipel regressionsanalys kap Linda Wänström Linköpings universitet November 6, 2013 Wänström (Linköpings universitet) F3 November 6, / 22

2 Interaktion Ibland ser sambandet mellan en förklaringsvariabel och responsvariabeln olika ut beroende på vad värdet på en annan förklaringsvariabel är. Då kan vi lägga till en interaktionsterm som är produkten av de två förklaringsvariablerna. y = β 0 + β 1 x 1 + β 2 x 2 + β 3 x 1 x 2 + ɛ Wänström (Linköpings universitet) F3 November 6, / 22

3 Kvalitativa oberoende variabler Hittils har vi bara använt kvantitativa förklaringsvariabler. Men ibland vill man även inkludera någon/några kvalitativa förklaringsvariabler. Då kan vi skapa dummyvariabler. Om den kvalitativa variabeln har två nivåer kan vi skapa en dummyvariabel. Om den har tre nivåer behöver vi skapa två dummyvariabler. Antalet dummyvariabler vi skapar är Antal nivåer minus ett. Wänström (Linköpings universitet) F3 November 6, / 22

4 Kvalitativa oberoende variabler Exempel: Samband mellan IQ och betyg Individ Betyg IQ Wänström (Linköpings universitet) F3 November 6, / 22

5 Spridiningsdiagram 5 4 Betyg IQ Wänström (Linköpings universitet) F3 November 6, / 22

6 Minitabutskrift Regression Analysis: Betyg versus IQ The regression equation is Betyg = 1,22 + 0,0428 IQ Predictor Coef SE Coef T P Constant 1,2191 0, ,78 0,000 IQ 0, , ,40 0,000 S = 0, R Sq = 56,7% R Sq(adj) = 56,7% Analysis of Variance Source DF SS MS F P Regression 1 437,26 437, ,57 0,000 Residual Error ,60 0,30 Total ,86 Wänström (Linköpings universitet) F3 November 6, / 22

7 Interaktion och dummyvariabel Kan sambandet mellan betyg och IQ se olika ut för de med hög socioekonomisk status (SES) och övriga? Individ Betyg IQ SEShög Hög Hög Övriga Övriga Övriga { 1 om hög SES D = 0 annars } Wänström (Linköpings universitet) F3 November 6, / 22

8 Spridningsdiagram uppdelat på SES 5 SEShög Betyg IQ Wänström (Linköpings universitet) F3 November 6, / 22

9 Signifikanstest för (dummyvariabeln) SES Först kan vi testa om det finns någon skillnad i betyg för de med hög SES och övriga, givet att de har samma IQ. Modellen ser då ut som följer och vi vill testa om det finns någon signifikant effekt av dummyvariabeln D. H 0 : β 2 = 0 H a : β 2 = 0 y = β 0 + β 1 x + β 2 D + ɛ t = b 2 s b2, Förkasta H 0 om t > t [α/2](n 2 1) Wänström (Linköpings universitet) F3 November 6, / 22

10 Minitab-utskrift Regression Analysis: Betyg versus IQ; SEShög The regression equation is Betyg = 1,13 + 0,0413 IQ + 0,164 SEShög Predictor Coef SE Coef T P Constant 1,1299 0,1135 9,95 0,000 IQ 0, , ,96 0,000 SEShög 0, , ,76 0,000 S = 0, R Sq = 57,6% R Sq(adj) = 57,5% Analysis of Variance Source DF SS MS F P Regression 2 443,86 221,93 762,86 0,000 Residual Error ,00 0,29 Total ,86 Wänström (Linköpings universitet) F3 November 6, / 22

11 Signifikanstest för interaktionstermen Nu kan vi testa om sambandet mellan betyg och IQ ser olika ut för de med hög SES och övriga. Modellen ser då ut som följer och vi vill testa om det finns någon signifikant effekt av interaktionstermen xd. H 0 : β 3 = 0 H a : β 3 = 0 y = β 0 + β 1 x + β 2 D + β 3 xd + ɛ t = b 3 s b3, Förkasta H 0 om t > t [α/2](n 3 1) Wänström (Linköpings universitet) F3 November 6, / 22

12 Minitabutskrift Regression Analysis: Betyg versus IQ; SEShög; IQ*SEShög The regression equation is Betyg = 0, ,0384 IQ 0,742 SEShög + 0,00880 IQ*SEShög Predictor Coef SE Coef T P Constant 0,8559 0,1362 6,28 0,000 IQ 0, , ,78 0,000 SEShög 0,7419 0,2543 2,92 0,004 IQ*SEShög 0, , ,60 0,000 S = 0, R Sq = 58,1% R Sq(adj) = 58,0% Analysis of Variance Source DF SS MS F P Regression 3 447,59 149,20 518,29 0,000 Residual Error ,27 0,29 Total ,86 Wänström (Linköpings universitet) F3 November 6, / 22

13 Signifikanstest för ett set av förklaringsvariabler Ibland vill vi testa flera förklaringsvariabler på samma gång. Vi kanske vill testa om det finns en signifikant effekt av en kvalitativ variabel med tre nivåer. Då måste vi lägga till två dummyvariabler till regressionsmodellen. Då vill vi inte testa om dessa två dummyvariabler är signifikanta var och en för sig, utan om de som ett set är signifikanta. Vi börjar med att ställa upp två modeller: En komplett (som innehåller alla variabler) och en reducerad (som inte innehåller variablerna vi vill testa för). Komplett modell: y = β 0 + β 1 x β g x g + β g +1 x g β k x k + ɛ Reducerad modell: y = β 0 + β 1 x β g x g + ɛ Wänström (Linköpings universitet) F3 November 6, / 22

14 Partiellt F-test H 0 : β g +1 = β g +2 =... = β k = 0 H a :Minst en av β g +1, β g +2,..., β k är skild från 0 F = (SSE R SSE C )/(k g ) SSE C /(n k 1)) Förkasta H 0 om F > F [α] (k g; n k 1) Wänström (Linköpings universitet) F3 November 6, / 22

15 Exempel Säg att vi i stället för att ha delat in SES i hög och övrig, så har vi delat in det i hög, medel och låg. Då har vi en kvalitativ variabel med tre nivåer. Individ Betyg IQ SES Hög Hög Medel Låg Låg { 1 om hög SES D 1 = 0 annars { 1 om låg SES D 2 = 0 annars } } Wänström (Linköpings universitet) F3 November 6, / 22

16 Partiellt F-test Vi tänker oss att vi vill testa om SES har någon effekt på betyg givet att IQ finns med i modellen. Då har vi följande kompletta och reducerade modeller: Komplett modell: y = β 0 + β 1 x + β 2 D 1 + β 3 D 2 + ɛ Reducerad modell: y = β 0 + β 1 x 1 + ɛ Wänström (Linköpings universitet) F3 November 6, / 22

17 Partiellt F-test H 0 : β 2 = β 3 = 0 H a :Minst en av β 2, β 3 är skild från 0 F = (SSE R SSE C )/(3 1) SSE C /(n 3 1)) Förkasta H 0 om F > F [α] (3 1; n 3 1) Wänström (Linköpings universitet) F3 November 6, / 22

18 Minitabutskrift komplett modell Regression Analysis: Betyg versus IQ; SEShög; SESlåg The regression equation is Betyg = 1,09 + 0,0411 IQ + 0,138 SEShög 0,0563 SESlåg Predictor Coef SE Coef T P Constant 1,0920 0,1168 9,35 0,000 IQ 0, , ,79 0,000 SEShög 0, , ,51 0,000 SESlåg 0, , ,38 0,168 S = 0, R Sq = 57,7% R Sq(adj) = 57,5% Analysis of Variance Source DF SS MS F P Regression 3 444,42 148,14 509,61 0,000 Residual Error ,44 0,29 Total ,86 Wänström (Linköpings universitet) F3 November 6, / 22

19 Minitabutskrift reducerad modell Regression Analysis: Betyg versus IQ The regression equation is Betyg = 1,22 + 0,0428 IQ Predictor Coef SE Coef T P Constant 1,2191 0, ,78 0,000 IQ 0, , ,40 0,000 S = 0, R Sq = 56,7% R Sq(adj) = 56,7% Analysis of Variance Source DF SS MS F P Regression 1 437,26 437, ,57 0,000 Residual Error ,60 0,30 Total ,86 Wänström (Linköpings universitet) F3 November 6, / 22

20 Interaktionsmodell Om vi tror att sambandet mellan Betyg och IQ ser olika ut för de tre SES-grupperna kan vi undersöka följande modell: y = β 0 + β 1 x + β 2 D 1 + β 3 D 2 + β 4 xd 1 + β 5 xd 2 + ɛ Wänström (Linköpings universitet) F3 November 6, / 22

21 Spridningsdiagram 5 SES Betyg IQ Wänström (Linköpings universitet) F3 November 6, / 22

22 Minitabutskrift Regression Analysis: Betyg versus IQ; SEShög;... The regression equation is Betyg = 0, ,0380 IQ 0,811 SEShög 0,108 SESlåg + 0,00919 IQ*SEShög + 0,00045 IQ*SESlåg Predictor Coef SE Coef T P Constant 0,7866 0,1886 4,17 0,000 IQ 0, , ,10 0,000 SEShög 0,8111 0,2858 2,84 0,005 SESlåg 0,1076 0,2738 0,39 0,695 IQ*SEShög 0, , ,32 0,001 IQ*SESlåg 0, , ,16 0,871 S = 0, R Sq = 58,2% R Sq(adj) = 58,0% Analysis of Variance Source DF SS MS F P Regression 5 448,297 89, ,59 0,000 Residual Error ,562 0,288 Total ,860 Wänström (Linköpings universitet) F3 November 6, / 22