Laboration 2 multipel linjär regression I denna datorövning skall ni 1. analysera data enligt en multipel regressionsmodell, dvs. inkludera flera förklarande variabler i en regressionsmodell 2. studera residualer från anpassade regressionsmodeller för att bestämma om någon/några modeller är lämpliga. Datamaterialet som används här finns i MINITAB. Om ni väljer File->Open Worksheet så får ni upp en dialogruta. Där ska ni klicka på ikonen längst ner vid texten Look in Minitab Sample Data folder, öppna mappen Student12 och sedan välja filen Assess. Mäklare baserar sina husvärderingar på många olika variabler. Denna datamängd består av ett antal sådana variabler samt den slutliga värderingen av huset samt tomten. Kolumn Namn (översatta) Antal Saknade värden Beskrivning C1 Tomtpris 81 2 Mäklarens värdering av tomten (mätt i dollar) C2 Totalpris 81 2 Mäklarens värdering av huset och tomten (mätt i dollar) C3 Tomtyta 81 0 Antal tunnland C4-T Hustyp 81 0 Antal och typ av våningar: 1Story, 1Stryatk (en våning plus vind), 1.5Story, 2Stories, 2Storatk (två våningar plus vind), SplitLev (skilda 1.5Story, 2Stories, 2Storatk (två våningar plus vind)), SplitLev (skilda nivåer), eller BiLevel (två nivåer) C5 Bottenplansyta 81 0 Storlek på bottenplan (mätt i kvadratfot) C6-T Skick 81 0 Husets skick: Mycket bra (Mkt bra), Bra, eller Medel C7-T Uppvärmning 81 0 Uppvärmningskälla: Gas (naturgas), El (elektricitet), Sol (Solenergi), eller Olja C8 Rum 81 0 Antal rum C9 Sovrum 81 0 Antal sovrum C10 Badrum 81 0 Antal badrum C11 Toalett 81 0 Antal WC (utan bad/dusch) C12 Eldstad 81 0 Antal eldstäder (kakelugnar) C13-T Garage 81 0 Förekomst av garage: Ja eller Nej Under denna övning kommer ni att lägga till nya variabler till denna datamängd. Spara då helst arbetsbladet som en ny fil i er hemkatalog. Gör detta genom att klicka på File->Save Current Worksheet As...
Anpassa modell a) Totalpriset ska förklaras, börja med att analysera fem stycken möjliga förklaringsvariabler: Tomtytan, Bottenplansytan, Rum, Sovrum, och Badrum. 1. Plotta de olika variablerna mot Totalpriset. 2. Vilka samband finns? 3. Vilka variabler tycks vara lämpliga i en regressionsmodel? b) Gör en enkel linjär regression där totalpriset förklaras av tomtytan. 1. Hur stor förklaringsgrad får man? 2. Vad betyder förklaringsgraden? 3. Ska tomtytan vara med som förklaringsvariabel? c) Gör om b) för de enskilda variablerna listade i a). Identifiera härmed alla förklaringsvariabler som bör vara med i modellen. d) Anpassa en regressionsmodell där ni tar med alla förklaringsvariabler som ni identifierade som viktiga i c). Vad blir resultatet? Prova genom att lägga till fler eller ta bort några variabler. Studera för varje kombination: 1. Förklaringsgraden (Förbättras den nämnvärt om man lägger till variabler?) 2. tecknen hos de skattade lutningsparametrarna (Stämmer dessa med era noteringar från plottarna?) 3. signifikansen hos de anpassade modellerna (F-test) och för var och en av de ingående parametrarna (t-test) (Är resultaten konsistenta med era anteckningar om starka och svaga samband?) Residualanalys e) Prova nu modellen med tre förklaringsvariabler (Tomtyta, Bottenplansyta och Badrum) och genomför en residualanalys (kolla filen MINITAB för regressionsanalys för att se hur man gör). Titta på följande (smidigast är att använda Four in one): 1. histogram över residualerna (Histogram of residuals) 2. plot över residualerna mot anpassade värden (Residuals versus fits) Bedöm utifrån ovanstående plottar om residualerna är: 3. normalfördelade 4. har konstant varians f) I rutan Graphs under Regression kan man också välja att plotta residualerna mot enskilda förklaringsvariabler. Plotta residualerna mot Tomtyta och fundera om ett krökt samband mellan totalpriset och tomtytan skulle ge bättre resultat? Vilket samband såg ni i a) mellan dessa variabler? g) Gör också grafer över residualerna mot Bottenplansyta och Badrum. Kan ni se några krökningar där?
Prediktion h) Mäklaren har nu fått in ett nytt hus, som ska värderas. Mäklaren får veta dessa värden: 1. Tomten är 1,6 tunnland stor 2. Bottenplansytan är 2000 kvadratfot 3. Huset har två kompletta badrum Använd regressionsmodellen för att beräkna ett 99 % prediktionsintervall för totaltpriset på detta hus. Kvadratiska termer i) Man kan med lite god vilja ana ett kvadratiskt samband mellan Tomtyta och Totalpris i a) eller f). För att ta med ett sådant samband i regressionsmodellen behöver man skapa en ny variabel (t.ex. Tomtyta i kvadrat = Tomtyta 2 ). Notera att denna variabel behöver skapas och vara i en egen kolumn. Pröva att anpassa dessa två modeller: Dummyvariabler 1. y= x 1 (x 1) 2 + (x 1 = Tomtyta) 2. y= x 1 (x 1) 2 + 3 x 2 + 4 x 5 + (x 1 = Tomtyta, x 2 = Bottenplansyta, x 5 = Badrum) 3. Bedöm om den kvadratiska termen behövs i modellen. Om den kvadratiska termen inkluderas i modellen, undersök vilka effekter detta har på residuelarna, speciellt på residualerna mot Tomtyta. j) Gör om variabeln Garage till en indikatorvariabel med lämpligt namn. Anpassa en regressionsmodell som förklarar totalpriset med Tomtyta och indikatorvariabeln för garage. 1. Ökar värdet av huset om det finns ett garage eller inte? 2. Är ökningen signifikant? Interaktioner Att ha eller inte ha garage kanske inte alltid spelar lika mycket roll. Man kan t.ex. tänka sig att stora hus med stora tomter ökar mer i värde om det dessutom finns ett garage, medan mindre hus med mindre tomter inte ökar lika mycket. k) Prova därför en modell som inkluderar en interaktionsterm, som beskriver den gemensamma effekten av garage och tomtyta på totalpriset. Gör en ny variabel, som ni t.ex. kallar för Tyta*Gar (Tomtyta*Garage), notera att indikatorvariabeln för Garage ska användas. l) Anpassa nu en regressionsmodel för Totalpris som förklaras av de tre variablerna Tomtyta, indikatorvariabeln för garage och interaktionsvariabeln Tyta*Gar. m) Tolka nu värdena på de skattade lutningsparametrarna. Verkar det som att det föreligger två olika linjära samband mellan pris och tomtyta? n) För att illustrera sambanden kan man plotta totalpriset mot tomtyta med olika symboler för fastigheter med garage och sådana utan. Detta görs via Graph Scatterplot With Groups, och väl där väljs Totalpris till Y, Tomtyta till X och Garage till Categorical Kan ni se om det finns två olika samband, beroende på huset har garage eller inte?
Partiella F-test o) I många fall är man inte riktigt säker vissa variabler ska vara med i modellen eller inte. Genom att bedöma signifikansnivåer på de enskilda variablerna kan vissa slutsatser dras, men ofta vill man veta om en hel grupp av variabler kan uteslutas. Då använder vi partiella F- test. Förut hade vi garage med som förklaringsvariabeln. Modellen var: y= x 1 6 x 6 + 7 x 1 x 6 + x 1 =Tomtyta, x 6 = Garage, x 1*x 6 = Tomtyta*Garage För att avgöra om det är olika linjära samband mellan pris och tomtyta beroende på om fastigheten har garage eller inte skulle vi vilja testa hypotesen: H 0: 6= 7=0 med hjälp av en (enda) testfunktion. Om H 0: 6= 7=0 är sann kan man visa att testfunktionen: F SSE SSE R C SSE C / 2 /( n 3 1) får en F-fördelning med 2 och n-3-1 frihetsgrader. SSE R = Residualkvadratsumman i en anpassad modell med enbart x 1 som förklaringsvariabel (Reduced model) SSE C = Residualkvadratsumman i modellen med alla tre variabler (Complete model). n är i detta fall 79 (totalt antal observationer, två observationer saknar värden) tvåan i täljaren står för att det är två variabler som ifrågasätts (x 6 och x 1 x 6 ) trean i nämnaren kommer från att den fulla modellen innehåller 3 förklarande variabler För att genomföra ett partiell F-test måste man först köra båda modellerna (den reducerade och den kompletta). Notera de aktuella residualkvadratsummorna från utskrifterna, sätt in i formeln och beräkna värdet av testfunktionen. Observera att värdena är mycket stora här. p) Kan ni förkasta nollhypotesen? Hade ni förväntat er att ni skulle kunna göra det?
Det verkar ju en aning krångligt att man skall behöva göra två regressionsanalyser för att kunna beräkna denna testfunktion. Det finns faktiskt en viktig genväg. Med den reducerade modellen borde vi få följande ANOVA (Analysis of variance)-tabell: Analysis of Variance Source DF SS MS F P Regression 1 2.05416E+11 2.05416E+11 45.16 0.000 Residual Error 77 3.50225E+11 4548375603 Total 78 5.55641E+11 och SSR R=2.05416 10 11 Med den fullständiga modellen får vi följande ANOVA-tabell: Analysis of Variance Source DF SS MS F P Regression 3 2.48772E+11 82924009775 20.27 0.000 Residual Error 75 3.06869E+11 4091583530 Total 78 5.55641E+11 Source DF Seq SS Acreage 1 2.05416E+11 Garage 1 24602764786 Acr*Gar 1 18753391907 Och vi ser att SSR(Tomtyta) är densamma som SSR R. SSR c = 2,48772*10 11 Testvariabeln kan då räknas ut enligt: (SSR C SSR R )/2 MSE = (2,48772 1011 2,05416 10 11 )/2 4 091 583 530 Stämmer detta värde överens med det ni tidigare beräknade? 5,298 Det går alltså att fixa ett partiellt F test utan att behöva göra två separata analyser, förutsatt att man matat in förklaringsvariablerna i rätt ordning. Vi hade inte kunnat göra detta om vi t ex hade matat in kolumnerna i ordningen C15, C16, C3.
Multikollinearitet Nu ska alla möjliga numeriska förklaringsvariabler undersökas, dessa är: Tomtpris, Tomtyta, Tomtyta 2, Bottenplansyta, Rum, Sovrum, Badrum, Toalett, Eldstad, Garage, Tyta*Gar. q) Börja med att göra ett gäng enkla linjär regressioner där Totalpris förklaras av var och en variablerna. r) Anpassa nu en multipel regressionsmodell där alla förklaringsvariabler listade ovan ingår. 1. Studera t-testen, stämmer dessa överens med det ni noterat från de enkla linjära regressionerna? 2. Undersök de skattade regressionsparametrarna, har någon/några av dessa bytt tecken jämfört med de enkla linjära regressionerna (eller, tänk logiskt)? Ni bör upptäcka att några konstiga saker skett ovan, och detta kan bero på multikollinearitet. s) Börja med att undersöka detta genom att kolla på korrelationerna mellan förklaringsvariablerna (Stat Basic Statistics Correlation). t) Ta fram de olika VIF-värdena med hjälp av Minitab, finns under Stat Regression Regression Options. Visar dessa på problem med modellen? u) Tag succesivt bort de variabler med högst VIF-värden. Tänk på att kvadrater och interaktioner inte ska vara kvar i modellen om grundvariablerna tas bort! v) Vilken slutlig modell landar ni på?