Föreläsning 4 Kap 3.5, 3.8 Material om index. 732G71 Statistik B

Transkript

1 Föreläsning 4 Kap 3.5, 3.8 Material om index 732G71 Statistik B

2 Skötsel (y) Transformationer Ett av kraven för regressionsmodellens giltighet är att residualernas varians är konstant. Vad gör vi om så inte är fallet? Exempel: Föreliggande är ett datamaterial där vi önskar beskriva sambandet mellan privatägda fastigheters värde (X, i tusentals dollar) och hur mycket man årligen spenderar på fastighetsskötsel (Y, i dollar). Skötsel (Y) Värde (X) Scatterplot of Skötsel (y) vs Värde (x) Värde (x)

3 Residual Exempel (forts) Transformationer Regression Analysis: Skötsel (y) versus Värde (x) Residuals Versus Värde (x) (response is Skötsel (y)) The regression equation is 0 Skötsel (y) = Värde (x) -100 Predictor Coef SE Coef T P Constant Värde (x) S = R-Sq = 88.9% R-Sq(adj) = 88.6% Värde (x) Analysis of Variance Source DF SS MS F P Regression Residual Error Total Finns tecken på ickekonstant varians bland residualerna. Ett sätt att hantera detta är genom transformering av y. Vanligaste transformationerna: y* ln y y* y 0.5 y 3

4 Residual Exempel (forts) Transformationer Regression Analysis: ln(y) versus Värde (x) The regression equation is ln(y) = Värde (x) Predictor Coef SE Coef T P Constant Värde (x) S = R-Sq = 86.9% R-Sq(adj) = 86.5% Analysis of Variance Source DF SS MS F P Regression Residual Error Total Residuals Versus Värde (x) (response is ln(y)) Predicted Values for New Observations New Obs Fit SE Fit 95% CI 95% PI (7.0308; ) (6.6807; ) Values of Predictors for New Observations New Värde Obs (x) Värde (x)

5 Exempel (forts) Transformationer Predicted Values for New Observations New Obs Fit SE Fit 95% CI 95% PI (7.0308; ) (6.6807; ) Values of Predictors for New Observations New Värde Obs (x) En punktskattning av den förväntade summan spenderad på fastighetsskötsel för en fastighet värd 220 tusen dollar är ln yˆ Men prognosen är på logaritmisk skala! Antilogaritmering ger originalskala: yˆ e Ett 95% prognosintervall uttryckt på originalskala blir e y 220 e y Med 95% säkerhet görs fastighetsskötsel för mellan $797 och $1912 per år för en fastighet värd 220 tusen dollar. 5

6 Residual Exempel (forts) Transformationer Regression Analysis: y**0.5 versus Värde (x) The regression equation is y**0.5 = Värde (x) Predictor Coef SE Coef T P Constant Värde (x) S = R-Sq = 90.8% R-Sq(adj) = 90.5% Analysis of Variance Source DF SS MS F P Regression Residual Error Total Residuals Versus Värde (x) (response is y**0.5) Predicted Values for New Observations New Obs Fit SE Fit 95% CI 95% PI (34.191; ) (30.348; ) Values of Predictors for New Observations New Värde Obs (x) Värde (x)

7 Exempel (forts) Transformationer Predicted Values for New Observations New Obs Fit SE Fit 95% CI 95% PI (34.191; ) (30.348; ) Values of Predictors for New Observations New Värde Obs (x) En punktskattning av den förväntade summan spenderad på fastighetsskötsel för en fastighet värd 220 tusen dollar är yˆ Kvadrering ger originalskala: yˆ Ett 95% prognosintervall uttryckt på originalskala blir y y Med 95% säkerhet görs fastighetsskötsel för mellan $921 och $1596 per år för en fastighet värd 220 tusen dollar. 7

8 Exempel Vad påverkar kostnaden för produktion av korrugerat papper, dvs sådant som ingår i wellpapp och kartonger? Enligt en studie kan kostnaden förklaras av en eller flera av följande variabler: produktionsmängden (PAPER) maskintid (MACHINE) overhead-kostnader (OVERHEAD) antal personarbetstimmar (LABOR) Month Cost (y) Paper (x 1 ) Machine (x 2 ) Overhead (x 3 ) Labor (x 4 )

9 Exempel (forts) 9

10 Regression Analysis: COST versus PAPER, MACHINE, OVERHEAD, LABOR The regression equation is COST = PAPER MACHINE OVERHEAD LABOR Predictor Coef SE Coef T P Constant PAPER MACHINE OVERHEAD LABOR S = R-Sq = 99.9% R-Sq(adj) = 99.9% Analysis of Variance Source DF SS MS F P Regression Residual Error Total Source DF Seq SS PAPER MACHINE OVERHEAD 1 3 LABOR

11 Scattermatris Matrix Plot of PAPER; MACHINE; OVERHEAD; LABOR PAPER MACHINE OVERHEAD LABOR Det råder mycket starka samband mellan modellens förklarande variabler. Innebörd: de innehåller till stor del samma information! 11

12 Korrelationsmatris Correlations: PAPER; MACHINE; OVERHEAD; LABOR PAPER MACHINE OVERHEAD MACHINE OVERHEAD Korrelationen överstiger 0.9 för varje par av modellens förklaringsvariabler! ±0.9 är en vanlig gräns för mycket hög korrelation. LABOR Cell Contents: Pearson correlation P-Value Viktig information Mindre viktig information 12

13 Multikollinearitet (multikolinjäritet) Hög korrelation (normalt > ±0.9) mellan modellens förklaringsvariabler kan resultera i Fel tecken på regressionskoefficienterna (negativt där vi förväntat oss positivt tecken eller omvänt) SE Fit (s b ) överskattas, vilket resulterar i att j t = b j /s b blir för liten vilket i sin tur resulterar i att variabler som j egentligen är signifikanta förkastas ur modellen Orsaken är att det i en modell med hög korrelation mellan förklaringsvariablerna inte går att separera vad i respektive förklaringsvariabel som förklarar variationen i y. Problemet att en förklaringsvariabel är starkt linjärt beroende av en eller flera av de andra förklaringsvariablerna kallas multikollinearitet. 13

14 Identifiering av multikollinearitet Metod 1: Ta för vana att inför en regressionsanalys alltid göra en scattermatris och en korrelationsmatris mellan alla modellens variabler. Om två eller flera av förklaringsvariablerna har höga korrelationer med varandra, uteslut alla av dessa utom den som har högst korrelation med y. Metod 2: Matematiskt mått för graden av multikollinearitet mellan de förklarande variablerna i en regressionsmodell: Variance Inflation Factor (VIF) 14

15 Variance Inflation Factor (VIF) VIF där 2 R j R j = förklaringsgraden i en modell där x j är responsvariabel och övriga x-variabler är förklaringsvariabler VIF antar värden mellan 1 och VIF beräknas för varje förklaringsvariabel i modellen (görs automatiskt i Minitab) Multikollinearitet föreligger om det största av dessa VIF-värden är större än 10 eller om medelvärdet av samtliga VIF-värden är betydligt större än 1 15

16 Exempel (forts) Regression Analysis: COST versus PAPER; MACHINE; OVERHEAD; LABOR The regression equation is COST = PAPER MACHINE OVERHEAD LABOR Predictor Coef SE Coef T P VIF Constant PAPER MACHINE OVERHEAD LABOR S = R-Sq = 99.9% R-Sq(adj) = 99.9% Analysis of Variance Source DF SS MS F P Regression Residual Error Total

17 Exempel (forts) Regression Analysis: COST versus PAPER; OVERHEAD; LABOR The regression equation is COST = PAPER OVERHEAD LABOR Predictor Coef SE Coef T P VIF Constant PAPER OVERHEAD LABOR S = R-Sq = 99.7% R-Sq(adj) = 99.7% Analysis of Variance Source DF SS MS F P Regression Residual Error Total

18 Exempel (forts) Regression Analysis: COST versus PAPER; LABOR The regression equation is COST = PAPER LABOR Predictor Coef SE Coef T P VIF Constant PAPER LABOR S = R-Sq = 99.3% R-Sq(adj) = 99.2% Analysis of Variance Source DF SS MS F P Regression Residual Error Total

19 Fastighetsexempel (från FL 1-2) Regression Analysis: Pris versus Bostadsyta; Antal rum The regression equation is Pris = Bostadsyta Antal rum Predictor Coef SE Coef T P VIF Constant Bostadsyta Antal rum S = R-Sq = 48.6% R-Sq(adj) = 47.9% Analysis of Variance Source DF SS MS F P Regression E Residual Error E Total E+11 Source DF Seq SS Bostadsyta E+11 Antal rum Correlations: Pris; Bostadsyta; Antal rum Pris Bostadsyta Bostadsyta Antal rum

20 Är multikollinearitet alltid ett bekymmer? När den anpassade modellen skall användas för att förklara variation och samband ska modeller med multikollinearitet undvikas. Tolkningarna blir annars missvisande. När den anpassade modellen skall användas för prognoser i nya punkter är bekymret mindre eftersom anpassningen görs så att ingående x-variabler kopplar till värdet hos y så bra som möjligt. Då kan vi alltså acceptera en modell med multikollinearitet. 20

21 Justerad förklaringsgrad Förklaringsgraden R 2 ökar alltid när vi lägger till fler förklaringsvariabler i modellen, oavsett om dessa är signifikanta eller ej. För att kunna jämföra modeller med olika antal förklaringsvariabler 2 använder vi istället justerad förklaringsgrad ( ). R adj 2 R adj R 2 1 SSE / SST n k 1 / n 1 där k = antalet förklarande variabler i modellen Ju högre justerad förklaringsgrad, desto bättre modell. Justerad förklaringsgrad används för jämförelse av modeller, ej för tolkning. 21

22 Måttet C p Storhet som relaterar slumpvariansen i en anpassad modell till slumpvariansen hos modellen som inkluderar samtliga tillgängliga x-variabler (ofta kallat den maximala modellen) samt till antalet ingående parametrar C p SSE ( n 2 ( k 1)) 2 s p där s p2 är residualvariansen (dvs MSE) hos den maximala modellen och k antalet förklarande variabler i den studerade modellen Används för att jämföra modeller: C p ska vara så liten som möjligt, och samtidigt k+1 I annat fall har den anpassade modellen en för stor bias, dvs ligger snett i förhållande till verkligheten. 22

23 Exempel Ett företag undersöker 25 säljdistrikt med avseende på försäljning. Man vill försöka förklara y = försäljningen (SALES) i volymenheter med följande variabler: x 1 (TIME) = den tid (i månader) som säljaren (i distriktet) har varit anställd. x 2 (POTENT) = den totala industriförsäljningens volym i distriktet x 3 (ADV) = annonskostnader (i dollar) x 4 (SHARE) = företagets genomsnittliga marknadsandel i distriktet (de senaste 4 åren) x 5 (SHARECHG) = förändringen i marknadsandel i distriktet jämfört med perioden innan de senaste fyra åren. x 6 (ACCTS) = antal kontrakt som säljaren arbetat med x 7 (WORKLOAD) = faktor för arbetsbelastningen hos säljaren x 8 (RATING) = bedömningsmått på säljaren satt av försäljningsansvarig 23

24 Best Subsets Regression: SALES versus TIME, POTENT,... Response is SALES S W H O P A R R O S R A K A T T H E C L T I E A A C C O I M N D R H T A N Vars R-Sq R-Sq(adj) C-p S E T V E G S D G X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X 24

25 Regression Analysis: Y (Sales) versus X1 (Time); X2 (MktPoten);... The regression equation is Y (Sales) = X1 (Time) X2 (MktPoten) X3 (Adver) X4 (MktShare) X5 (Change) X6 (Accts) Predictor Coef SE Coef T P Constant X1 (Time) X2 (MktPoten) X3 (Adver) X4 (MktShare) X5 (Change) X6 (Accts) S = R-Sq = 92.0% R-Sq(adj) = 89.4% Analysis of Variance Source DF SS MS F P Regression Residual Error Total

26 Regression Analysis: Y (Sales) versus X1 (Time); X2 (MktPoten);... The regression equation is Y (Sales) = X1 (Time) X2 (MktPoten) X3 (Adver) X4 (MktShare) X5 (Change) Predictor Coef SE Coef T P VIF Constant X1 (Time) X2 (MktPoten) X3 (Adver) X4 (MktShare) X5 (Change) S = R-Sq = 91.5% R-Sq(adj) = 89.3% Analysis of Variance Source DF SS MS F P Regression Residual Error Total

27 27

28 Framåtvalsprincipen (forward selection) 1. Välj först den x-variabel som har högst absolut korrelation med y. (Blir också den variabel som i en enkel linjär regressionsmodell ger högst R 2 eller lägst SSE) 2. Testa med t- eller F-test om denna variabel blir signifikant 3. Om den blir det, fixera denna variabel i modellen, kalla den x (1). Om inte, stanna utan modell. 4. Anpassa alla modeller med x (1) och ytterligare en x-variabel, välj tillfälligt den modell som har högst R 2 (eller lägst SSE) 5. Testa med t-test eller partiellt F-test om den andra x-variabeln blir signifikant. 6. Om den blir det, fixera även denna, kalla den x (2). Om inte, stanna vid modellen med x (1). 7. Fortsätt på motsvarande sätt tills inga nya signifikanta variabler kan läggas till i modellen. 28

29 Stepwise Regression: Y (Sales) versus X1 (Time); X2 (MktPoten);... Forward selection. Alpha-to-Enter: 0.25 Response is Y (Sales) on 8 predictors, with N = 25 Step Constant X6 (Accts) T-Value P-Value X3 (Adver) T-Value P-Value X2 (MktPoten) T-Value P-Value X4 (MktShare) T-Value P-Value X5 (Change) T-Value P-Value X1 (Time) 2.3 T-Value 1.34 P-Value S R-Sq R-Sq(adj) Mallows Cp

30 Bakåtelimineringsprincipen (backward elimination) 1. Anpassa modellen med samtliga tillgängliga förklaringsvariabler. 2. Om alla förklaringsvariabler är signifikanta blir detta den slutliga modellen. 3. Om en eller flera variabler ej är signifikanta (ses i deras t-kvoter) tas den variabel bort som har lägst absolut t-kvot. 4. Anpassa en ny modell med de variabler som är kvar. Om alla förklaringsvariabler i denna är signifikanta Slutlig modell 5. Om en eller flera variabler ej är signifikanta, ta bort den med lägst absolut t-kvot. 6. Upprepa förfarandet till dess att samtliga ingående förklaringsvariabler är signifikanta. 30

31 Stepwise Regression: Y (Sales) versus X1 (Time); X2 (MktPoten);... Backward elimination. Alpha-to-Remove: 0.1 Response is Y (Sales) on 8 predictors, with N = 25 Step Constant X1 (Time) T-Value P-Value X2 (MktPoten) T-Value P-Value X3 (Adver) T-Value P-Value X4 (MktShare) T-Value P-Value X5 (Change) T-Value P-Value X6 (Accts) T-Value P-Value X7 (WkLoad) T-Value P-Value X8 (Rating) 8 T-Value 0.06 P-Value S R-Sq R-Sq(adj) Mallows Cp

32 Stegvis regression (stepwise regression) Genom att kombinera framåtval och bakåteliminering får vi stegvis regression: 1. Välj först den variabel som har högst korrelation med y 2. Behåll variabeln om den är signifikant 3. Lägg till en ny variabel om den blir signifikant, ta bort den gamla om den inte blir signifikant. 4. Fortsätt att lägga till och ta bort variabler till dess att inga nya signifikanta kan hittas och inga gamla kan tas bort. 32

33 Stepwise Regression: Y (Sales) versus X1 (Time); X2 (MktPoten);... Alpha-to-Enter: 0.15 Alpha-to-Remove: 0.15 Response is Y (Sales) on 8 predictors, with N = 25 Step Constant X6 (Accts) T-Value P-Value X3 (Adver) T-Value P-Value X2 (MktPoten) T-Value P-Value X4 (MktShare) T-Value P-Value X5 (Change) 263 T-Value 1.61 P-Value S R-Sq R-Sq(adj) Mallows Cp

34 Index En indexserie är statistiska uppgifter som visar utvecklingen under en tidsperiod. Det mest kända indexet är konsumentprisindex (KPI). KPI är ett mått på prisutvecklingen i Sverige. Exempel: KPI mellan 2001 och 2008 År KPI

35 Exempel enkla index Betrakta följande tabell över prisutvecklingen av 1 kilo torskfilé och 1 kilo falukorv under perioden (årliga medelpriser i kronor). År Torskfilé Falukorv (hämtat ur Statistisk årsbok 2002)

36 Index Exempel enkla index (forts) Torskfilé Falukorv

37 Exempel byte av bastidpunkt Följande tabell illustrerar löneutvecklingen för kvinnor och män under åren Basåret är 1947 (det vill säga, index för år 1947 är 100). År Män Kvinnor

38 Index Index Exempel byte av bastidpunkt (forts) Män Kvinnor Män Kvinnor