Multipel linjär regression. Geometrisk tolkning. Tolkning av β k MSG Staffan Nilsson, Chalmers 1

Transkript

1 Multipel linjär regression l: Y= β 0 + β X + β 2 X β p X p + ε Välj β 0,β,β 2,, β p så att de minimerar summan av residualkvadraterna (Y i -β 0 -β X i - -β p X pi ) 2 Geometrisk tolkning Med Y=β 0 +β X anpassas en linje till punkter i två dimensioner genom att minimera kvadratavstånden i y-led. Med Y=β 0 +β X +β 2 X 2 anpassas ett plan till punkter i tre dimensioner genom att minimera kvadratavstånden i y-led. Tolkning av β k Den multipla regressionskoefficienten β k är den förväntade ändringen av Y för en enhets ökning av X k, samtidigt som alla andra X-variabler hålls konstanta Staffan Nilsson, Chalmers

2 Varför multipel regression? Reducera brus och öka därför chansen att finna samband med mindre starka prediktorer. Justera skattningar när flera prediktorer är korrelerade. Reducera brus -simulerat exempel l: Y= X + 2X 2 + 4X 3 + 8X 4 + 6X 5 + ε X i ~ UNIFORM(0,) ε~n(0,) Alla Xi är oberoende variabler 00 observationer simuleras enligt modellen Enkel linjär regression Unstandardized Standardized B Std. Error Beta t Sig. Lower Bound Upper Bound (Constant) X (Constant) X2 Unstandardized Standardized B Std. Error Beta t Sig. Lower Bound Upper Bound (Constant) X3 Unstandardized Standardized B Std. Error Beta t Sig. Lower Bound Upper Bound Staffan Nilsson, Chalmers 2

3 (Constant) X4 Unstandardized Standardized B Std. Error Beta t Sig. Lower Bound Upper Bound Uns tandardized Standardized B Std. Error Beta t Sig. Lower Bound Upper Bound (Constant) X E Coe fficients a Unstandardized Standardized B Std. Error Beta t Sig. Lower Bound Upper Bound (Constant) X X E X E X E X E Justerad analys Regression Residual Total Summary Adjusted Std. Error of R R Square R Square the Estimate.086a a. Enkel linjär regression Predictors: (Constant), exercise ANOVA b Sum of Squares df Mean Square F Sig a a. Predictors: (Constant), exercise b. Dependent Variable: glucose Coe fficients a Unstandardized Standardized B Std. Error Beta t Sig. Lower Bound Upper Bound (Constant) exercise a. Dependent Variable: glucose Justera samband för age,drinkany och BMI (Constant) exercise age drinkany BMI Uns tandardized a. Dependent Variable: glucose Regression Residual Total Summary Adjusted Std. Error of R R Square R Square the Estimate.268 a a. Predictors: (Constant), B MI, drinkany, exercise, age B Std. Error ANOVA b Sum of Squares df Mean Square F Sig a a. Predictors: (Constant), BMI, drinkany, exercis e, age b. Dependent Variable: glucose Standardiz ed Coefficient s Beta t Sig. Lower Bound Upper Bound Staffan Nilsson, Chalmers 3

4 Adjusted vs unadjusted Ojusterad β exercise = -.69 syftar på en gruppskillnad Justerad β exercise = syftar på en ren effekt av träning Båda måtten kan motiveras, men är alltså olika. Kolinjaritet (Constant) exercise age drinkany BMI a. Dependent Variable: glucose Unstandardized Coef ficients Standardized Collinearity Statistics t Sig. Tolerance VIF B Std. Error Beta 78,962 2,593 30,454,000 -,950,429 -,048-2,27,027,975,026,064,03,044 2,024,043,970,030,680,422,035,62,07,990,00,489,042,258,774,000,953,050 Variance Inflation Factor (VIF) Residual variance Förklaringsgrad med X j som respons och de övriga X-variablerna som prediktorer. Staffan Nilsson, Chalmers 4

5 addera height till modellen och BMI Katastrof! Staffan Nilsson, Chalmers 5

6 Y Y Enbart BMI eller BMI + weight Interaktion Interaktion X2=0 X2= X2=0 X2= X X Staffan Nilsson, Chalmers 6

7 Outlier High leverage point Influential point Staffan Nilsson, Chalmers 7

8 DFBeta Vad blir effekten av observation (j) på skattningen av estimate of β? (β-β (-j) ) / se(β (-j) ) DFBETA from SPSS Prediktorval I en del observationsstudier kan man ha 00-tals kandidater som prediktorer. Vilka man ska välja till sin modell är en hel vetenskap och beror på syfte. Ibland används automatiserade metoder. Staffan Nilsson, Chalmers 8

9 Best subset I princip, med 0 prediktorer finns 2 0 =024 modeller att beakta (då har vi ändå bara snälla additiva modeller, därutöver kan man tänka sig olika transformationer och). Olika kriterier på vad som är bäst (R 2 växer alltid, men många andra straffar för många prediktorer) Backward elimination Lägg in alla prediktorer Ta bort den minst signifikanta (om p > 0.) Iterera tills ingen mer tas bort Forward selection Pröva varje prediktor en i taget Inkludera den bästa (om p<0.05) i modellen och frys den där. Iterera tills inga fler kommer in Staffan Nilsson, Chalmers 9

10 Connecting a computer is not an excuse to disconnect your brain! Staffan Nilsson, Chalmers 0