TAMS65 - Föreläsning 11 Regressionsanalys fortsättning Modellval

Transkript

1 TAMS65 - Föreläsning 11 Regressionsanalys fortsättning Modellval Martin Singull Matematisk statistik Matematiska institutionen

2 Innehåll Repetition (t-test för H 0 : β i = 0) Residualanalys Modellval Framåtvalsprincipen TAMS65 - Fö11 1/45

3 Repetition Vi har modellen y : (n 1) är en obs. från Y = X β + ε, där ε N n (0, σ 2 I ), med MK-skattningen och σ 2 -skattningen Vidare gäller att s 2 = β = (X X ) 1 X y SS E n k 1 (df = n k 1). β = (X X ) 1 X Y N k+1 ( β, σ 2 (X X ) 1) och (n k 1)S 2 σ 2 χ 2 (n k 1). TAMS65 - Fö11 2/45

4 Om ( X X ) 1 = (hij ) k i,j=0 så har vi att den s.v. alltså ˆβ i N(β i, σ h ii ), ˆβ i β i σ h ii N(0, 1) och ˆβ i β i S h ii t(n k 1). Detta är vår hjälpvariabel för konstruktion av I βi. TAMS65 - Fö11 3/45

5 Vi vill pröva H 0 : β i = 0 mot H 1 : β i 0. Var har gjort det genom att konstruera I βi och förkasta H 0 om 0 I βi. Man kan i stället använda teststorheten t = ˆβ i 0 s h ii (tänk på att den s.v. ˆβ i N(β i, σ h ii )). Den s.v. T t(n k 1) om H 0 är sann. TAMS65 - Fö11 4/45

6 H 0 förkastas om t > b, dvs. om t < b eller t > b. t(n-k-1) α/2 α/2 -b b P = P( T > t OBS om H 0 är sann ) = P(T < t OBS ) + P(T > t OBS ) om H 0 är sann. H 0 förkastas om P < α. P-värdet för det här testet kan beräknas med MATLAB. P/2 P/2 - u OBS u OBS Det är praktiskt att kunna utnyttja det här testet i samband med t.ex. stegvis regression. TAMS65 - Fö11 5/45

7 Residualanalys De skattade väntevärdena ˆµ j kallas ibland också ŷ j, det vill säga ŷ j = ˆβ 0 + ˆβ 1 x j1 + + ˆβ k x jk. Residualerna definieras som e i = y j ŷ j. Om vi vill arbeta med vektorer istället så har vi modellen Y N n (X β, σi n ) och residualerna ges av e = y ŷ = y X β = (I X (X X ) 1 X )y. TAMS65 - Fö11 6/45

8 Enligt vårt modell antagande bör residualerna 1. ha konstant varians, oberoende av förklaringsvariablerna x 1,..., x p, 2. vara oberoende av varandra, 3. vara normalfördelade. 1. och 2. är viktiga för regressionsmodellen medan 3. är viktig för den fortsatta analysen när man ska göra inferens så som konfidensintervall och olika test. Alla våra t- och F-test bygger på normalfördelningsantagandet. TAMS65 - Fö11 7/45

9 Enklast är att göra residualanalysen visuellt, det vill säga studera olika plottar. Det kan vara intressant att studera plottar av e 1,..., e n 1. på en tallinje (histogram), 2. i tidsföljd, 3. mot de skattade väntevärdena ˆµ j (eller mot y j ), 4. mot var och en av förklaringsvariablerna x j, j = 1,..., p. TAMS65 - Fö11 8/45

10 Exempel Ett företag har mätt tre prestationsvariabler x 1, x 2 och x 3 för sina säljare. Vidare har de fått genomgå test där man mätt kreativitet (x 4 ), förmåga att resonera mekaniskt (x 5 ) respektive abstrakt (x 6 ) samt matematisk förmåga (x 7 ). Nr x 1 x 2 x 3 x 4 x 5 x 6 x Låt oss som övergripande prestationsmått utnyttja y = x 1 + x 2 +x 3. Vid nyanställning av personal är det intressant att förutsäga Y -värdet med hjäp av x 4,..., x 7. Analysera resultatet först med bara x 4 och x 7. TAMS65 - Fö11 9/45

11 TAMS65 - Fö11 10/45

12 Beräkna residualerna i MATLAB. regr = regstats(y,[x4 x7], linear, all ); yhat = regr.yhat; r = regr.r; figure; hist(r,15) figure; scatter(1:length(r),r) figure; scatter(yhat,r, * ) figure; normplot(r) TAMS65 - Fö11 11/45

13 Histogram för residualerna TAMS65 - Fö11 12/45

14 Residualerna plottade i ordning TAMS65 - Fö11 13/45

15 Residualerna plottade mot skattat väntevärde TAMS65 - Fö11 14/45

16 Normalfördelningsplot för residualerna TAMS65 - Fö11 15/45

17 Modellval När man studerar en responsvariabel Y, väljer man ofta mellan flera alternativa modeller genom att man kan göra olika val av förklaringsvariabler. Ambitionen är att förklara så stor del av variationerna i y-värdena som möjligt genom att utnyttja relevanta förklaringsvariabler. TAMS65 - Fö11 16/45

18 Modeller jämförs med hjälp av residualkvadratsummor respektive residualmedelkvadratsummor (= σ 2 -skattningar). Det finns andra kriterier också men ett litet värde på σ antyder att ε-variabeln i modellen är ganska försumbar. En extra förklaringsvariabel ger alltid en minskning av residualkvadratsumman. Vi behöver kunna bedöma när denna minskning är väsentlig. TAMS65 - Fö11 17/45

19 Vi antar nu att vi vill jämföra Modell 1: Y = β 0 + β 1 x β k x k + ε och Modell 2: Y = β 0 + β 1 x β k+p x k+p + ε alltså vi vill ev. utvidga Modell 1 med p nya förklaringsvariabler. Man får i allmänhet nya β-koefficienter och en ny ε-variabel, men vi behåller samma notation. TAMS65 - Fö11 18/45

20 Vi vill pröva H 0 : β k+1 =... = β k+p = 0 (nya förklaringsvariablerna meningslösa.) mot H 1 : minst en av β k+1,..., β k+p är 0. Teststorhet: W = (SS(1) E SS(2) E )/p SS (2) E /(n k p 1) (Se formelsamling) TAMS65 - Fö11 19/45

21 Teststorhet: W = (SS(1) E SS(2) E )/p SS (2) E /(n k p 1) p = antalet nya förklaringsvariabler i modell 2 och n k p 1 = n (k + p) 1 är frihetsgraderna för SS (2) E. H 0 förkastas om W > c. TAMS65 - Fö11 20/45

22 Alltså, H 0 förkastas om W > c. Vi har också den s.v. W F (p, n k p 1), om H 0 är sann. TAMS65 - Fö11 21/45

23 Stegvis regression Då man tillämpar stegvis regression börjar man ofta med en modell utan förklaringsvariabler och tar sedan in en förklarings- variabel i sänder i modellen. En förklaringsvariabel Om y j är observation av Y j = β 0 + β 1 x j + ε j, för j = 1,..., n, så kan man visa att SS R = r 2 n (y j ȳ) 2, i=1 SS E = SS TOT SS R = (1 r 2 ) n (y j ȳ) 2, där r är den empiriska korrelationen för (x 1, y 1 ),..., (x n, y n ). i=1 TAMS65 - Fö11 22/45

24 Slutsats Den förklaringsvariabel som är starkast korrelerad med Y (har högst värde på r ) ger minst residualkvadratsumma vid analyser med en förklaringsvariabel. OBS Den näst bästa förklaringsvariabeln hittar man inte via korrelationsmatrisen. TAMS65 - Fö11 23/45

25 Exempel En viss typ av buss har bara en dörr, som måste användas både av dem som stiger av och dem som stiger på. Man har vid 20 tillfällen mätt tiden y (i sekunder) från det att bussen stannat vid en hållplats tills den åter satt igång. Samtidigt har man noterat antalet påstigande (x 1 ) och antalet avstigande (x 2 ). y = [ ] ; x1 = [ ] ; x2 = [ ] ; Man vill försöka förklara bussens stopptid y med hjälp av en linjär regressionsmodell på x 1 och/eller x 2. TAMS65 - Fö11 24/45

26 En förklaringsvariabel: Välj x 1 eftersom den har störst korrelation med y. >> corr([x1 x2],y) ans = Modell 1: Y = β 0 + β 1 x 1 + ε Testa om förklaringsvariabeln gör nytta, dvs. H 0 : β 1 = 0 mot H 1 : β 1 0 prövas på nivån TAMS65 - Fö11 25/45

27 >> betahat = regr.tstat.beta betahat = >> se = regr.tstat.se se = >> t = regr.tstat.t t = >> fstat = regr.fstat fstat = sse: dfe: 18 dfr: 1 ssr: e+03 f: pval: e-11 TAMS65 - Fö11 26/45

28 Skattad regressionslinje: y = x 1 i βi d( β i ) Variansanalys: Frihetsgrader Kvadratsumma REGR RES TOT TAMS65 - Fö11 27/45

29 Teststorhet T 1 = β 1 d( β 1 ) t(18) under H 0. Observerat värde t 1 = β 1 d( β 1 ) = = Förkasta H 0 om t 1 > c, d.v.s. om t 1 < c eller t 1 > c där c = t (18) = Alltså, förkasta H 0. Förklaringsvariabeln x 1 gör nytta i modellen. TAMS65 - Fö11 28/45

30 >> t = regr.tstat.t >> betahat = regr.tstat.beta betahat = >> se = regr.tstat.se se = t = >> P = regr.tstat.pval P = 1.0e-03 * H 0 : β 1 = 0 kan förkastas eftersom P < α. TAMS65 - Fö11 29/45

31 En annan teststorhet för samma hypotes skulle kunna vara v = SS R/1 SS E /18 = som testar om alla förklaringsvariabler är meningslösa. Den s.v. V F (1, 18) om H 0 är sann. H 0 förkastas om v > c. Tabell ger c = > 8.29; med stor sannolikhet gör x 1 nytta som förklaringsvariabel. Ta med x 1 i modellen. TAMS65 - Fö11 30/45

32 Modell 2: Y = β 0 + β 1 x 1 + β 2 x 2 + ε Testa om x 2 gör nytta, dvs. H 0 : β 2 = 0 mot H 1 : β 2 0 på nivån TAMS65 - Fö11 31/45

33 Skattad regressionslinje: y = x x 2 i βi d( β i ) Variansanalys: Frihetsgrader Kvadratsumma REGR RES TOT TAMS65 - Fö11 32/45

34 Teststorhet T 2 = β 2 d( β 2 ) t(17) under H 0. Observerat värde t 2 = β 2 d( β 2 ) = = 3.50 Förkasta H 0 om t 2 > c, d.v.s. om t 2 < c eller t 2 > c där c = t (17) = Alltså, förkasta H 0. Förklaringsvariabeln x 2 gör också nytta i modellen. TAMS65 - Fö11 33/45

35 En annan teststorhet för samma hypotes skulle kunna vara w = (SS(1) E SS(2) E )/1 SS (2) E /17 = /17 = som testar om de extra förklaringsvariablerna gör nytta i modellen. Den s.v. W F (1, 17) om H 0 är sann. H 0 förkastas om w > c. Tabell ger den kritiska gränsen c > 8.41; H 0 förkastas. Med stor sannolikhet gör även x 2 nytta som förklaringsvariabel. Använd Modell 2. TAMS65 - Fö11 34/45

36 Exempel I exemplet med prestationsmått för försäljare använde vi bara x 4 och x 7 som förklaringsvariabler. Även för x 5 och x 6 finns det tendenser till linjära samband. Vi skall använda framåtvalsprincipen för att få fram rätt modell. TAMS65 - Fö11 35/45

37 TAMS65 - Fö11 36/45

38 Steg 1 Vi letar upp den bästa ensamma förklaringsvariabeln t.ex. genom korrelationsmatrisen. >> correlation = corr([x4 x5 x6 x7],y) correlation = x 7 är den bästa ensamma förklaringsvariabeln. TAMS65 - Fö11 37/45

39 Gör en regressionsanalys med x 7 och kontrollera om den förklaringsvariabeln gör nytta. >> regr = regstats(y,x7, linear, all ); >> t = regr.tstat.t t = >> P = regr.tstat.pval P = 1.0e-33 * t = och P < α, dvs. förkasta H 0 : β 7 = 0 och x 7 gör nytta. TAMS65 - Fö11 38/45

40 Steg 2 Gör alla analyser med x 7 och en annan förklaringsvariabel. Jämför SS E för de tre analyserna och välj den som har minst. disp( -- x7 och x4 -- ) regr = regstats(y,[x7 x4],... linear, all ); sse = regr.fstat.sse disp( -- x7 och x5 -- ) regr = regstats(y,[x7 x5],... linear, all ); sse = regr.fstat.sse disp( -- x7 och x6 -- ) regr = regstats(y,[x7 x6],... linear, all ); sse = regr.fstat.sse -- x7 och x4 -- sse = e x7 och x5 -- sse = x7 och x6 -- sse = TAMS65 - Fö11 39/45

41 SS x 7,x 5 E = 934 < SS x 7,x 6 E = 990 < SS x 7,x 4 E = 1014 Välj Y = β 0 + β 7 x 7 + β 5 x 5 + ε. Testa om x 5 gör nytta. -- x7 och x5 -- disp( -- x7 och x5 -- ) regr = regstats(y,[x7 x5],... linear, all ); t = regr.tstat.t P = regr.tstat.pval t = P = t = 2.07 och P < α, dvs. förkasta H 0 och även x 5 gör nytta. Ta in x 5 i modellen. TAMS65 - Fö11 40/45

42 Steg 3 Gör alla analyser med x 7, x 5 och en annan förklaringsvariabel. Jämför SS E för de två analyserna och välj den som har minst. disp( -- x7, x5 och x4 -- ) regr = regstats(y,[x7 x5 x4],... linear, all ); sse = regr.fstat.sse disp( -- x7, x5 och x6 -- ) regr = regstats(y,[x7 x5 x6],... linear, all ); sse = regr.fstat.sse -- x7, x5 och x4 -- sse = x7, x5 och x6 -- sse = TAMS65 - Fö11 41/45

43 SS x 7,x 5,x 4 E = 866 < SS x 7,x 5,x 6 E = 921 Välj Y = β 0 + β 7 x 7 + β 5 x 5 + β 4 x 4 + ε. Testa om x 4 gör nytta. regr = regstats(y,[x7 x5 x4],... linear, all ); t = regr.tstat.t P = regr.tstat.pval t = P = t = 1.9 och P > α, dvs. vi kan inte förkasta H 0. Vi stannar här! TAMS65 - Fö11 42/45

44 Framåtvalsprincipen ger modellen Y = β 0 + β 5 x 5 + β 7 x 7 + ε. Vi vill nu testa om modellen med all fyra förklaringsvariablerna är signifikant bättre. >> regr = regstats(y,[x7 x5],... linear, all ); >> fstat = regr.fstat fstat = sse: dfe: 47 dfr: 2 ssr: e+04 f: pval: 0 >> regr = regstats(y,[x7 x5 x4 x6],... linear, all ); >> fstat = regr.fstat fstat = sse: dfe: 45 dfr: 4 ssr: e+04 f: pval: 0 TAMS65 - Fö11 43/45

45 Teststorhet: w = (SS(1) E SS (2) E SS(2) E )/p ( )/2 = /(n k p 1) 848.8/45 = 2.26 Den s.v. W F (2, 45) om H 0 är sann. H 0 förkastas om w > c. MATLAB (eller tabell) ger den kritiska gränsen c=finv(0.95,2,45) vilken blir c = w = 2.26 < 3.20 = c dvs. vi kan inte förkasta H 0 : β 4 = β 6 = 0. Alltså, vi kan fortsätta använda den lilla modellen. TAMS65 - Fö11 44/45

46 Exempel - Linjär interpolering Vi har V F (2, 45) och söker c så att P(V > c) = c ( ) = Här ges 3.23 i F (2, 40)-tabell och 3.18 i F (2, 50)-tabell. TAMS65 - Fö11 45/45

47