Föreläsning 15, FMSF45 Multipel linjär regression

Transkript

1 Föreläsning 15, FMSF45 Multipel linjär regression Stas Volkov Stanislav Volkov FMSF45 F15 1/23

2 Linjär regression Vi har n st par av mätvärden (x i, y i ), i = 1,..., n där y i är observationer av Y i = α + βx i + ε i där ε i är oberoende av varandra, och ε i N (0, σ). Parameterskattningarna Skattningarna av α, β och (σ 2 ) är α = ȳ β x, β = (σ 2 ) = s 2 = Q 0 n 2 Q 0 = n i=1 (x i x)(y i ȳ) n i=1 (x i x) 2 n i=1 = S xy S xx, (y i α β x i ) 2 = S yy S2 xy S xx Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 2/23

3 Skattningarnas fördelning: α 1 N α, σ n + x2, S xx ( ) β σ N β, Sxx Men de är inte oberoende av varandra. Konfidens-, prediktions- och kalibrerings-intervall (f = n 2): I α = α 1 ± t a/2 (f) s n + x2, S xx I β = β ± t a/2 (f) s Sxx, I μ(x0 ) = α + β x 0 ± t a/2 (f) s 0+ 1 n + (x 0 x) 2, S xx I Y(x0 ) = α + β x 0 ± t a/2 (f) s n + (x 0 x) 2, S xx I x0 = x0 s ± t a/2 (f) β n + (y 0 ȳ) 2 (β ) 2. S xx Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 3/23

4 Linjärisering av exponentiella samband (vid behov) För att få ett linjärt samband y i = α + βx i + ε i kan vissa exponent- och potenssamband logaritmeras. z i = a e βx i ε i z i = a t β i ε i ln ln ln z i y i ln z i y i = ln a α = ln a α +β x i + ln ε i ε i +β ln t i x i + ln ε i ε i Om de multiplikativa felen, ε i, är lognormalfördelade blir då ln ε i N och vi kan använda linjär regression för att skatta ln α och β. Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 4/23

5 Antal transistorer Antal transistorer hos Intelprocessorer 8086 Intel386 TM 286 Intel Itanium 2 Intel Itanium Intel Pentium 4 Intel Pentium III Intel Pentium II Intel Pentium Intel486 TM Lanseringsår Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 5/23

6 5 x Skattat samband: y = e 0.35 x Antal transistorer Lanseringsår Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 6/23

7 Samband vikt och hjärnstorlek Elefant (Afr) Elefant (Ind) log(hjärnvikt) [g] Mullvad Råtta Hamster Människa Giraff Chimpans Häst Åsna GorillaKo Rhesus apa Får Gris Jaguar Varg Potar apa Get Känguru Katt Kanin Ekorrbäver Marsvin Brachiosaurus ( ) Triceratops ( ) ( ) Diplodocus Mus log(kroppsvikt) [kg] Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 7/23

8 Stanislav Volkov FMSF45 F15 8/23

9 Multipel linjär regression Modellen kan utökas med flera x-variabler: y i = β 0 + β 1 x i β k x ik + ε i, i = 1,..., n, ε i N (0, σ) som kan skrivas på matrisform som y = Xβ + ε där y och ε är n 1-vektorer, β en (k + 1) 1-vektor och X en n (k + 1)-matris, dvs. y 1 1 x 11 x 1k β 0 y 2 y =., X = 1 x 21 x 2k......, β = β 1.,ε = y n 1 x n1 x nk β k ε 1. ε n Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 9/23

10 Exempel Julklappar: En liten flicka vill undersöka om det lönar sig att vara snäll. Hon har därför noterat värdet på de julklappar hon fick från olika släktningar i år, när hon varit snäll, och i fjol då hon var stygg. Hon har insett att värdet på julklapparna också till stor del beror på givarens ekonomi och allmänna generositet. Hon räknar därför också ut ett lämpligt mått på givmildhet. värde (kr.) ln(värde) Släkting i fjol i år i fjol i år givmildhet Storebror Lillebror Mormor och morfar Farmor och farfar Mamma och pappa Moster Kusin? 62.? Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 10/23

11 x 1i = 0: stygg x 1i = 1: snäll z i = julklapparnas värde (kr) x 2i : givmildhet x 1i = 0: stygg x 1i = 1: snäll y i = ln(z i ) = ln(julklapparnas värde) x 2i : givmildhet Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 11/23

12 Lämplig regressionsmodell: ln z i = y i = α + β 1 x 1i + β 2 x 2i + ε i, i = 1,..., 13 där e β 1 = relativa ökningen i värde när flickan är snäll. Responsvariabeln: z i = värdet (i kronor) av julklapp i, = y i = ln z i = logaritmerat värde på julklapp i Förklarande variablerna: { 0 för alla fjolårets julklappar (då hon varit stygg) x 1i =, 1 för alla årets julklappar (då hon varit snäll) x 2i = givmildheten hos givaren av julklapp i ; ε i N (0, σ) oberoende Testa på nivån 5%, om det lönar sig att vara snäll, dvs om β 1 är signifikant större än 0. Gör ett tvåsidigt 95% prediktionsintervall för värdet på Kusinens julklapp i fjol, dvs. då den lilla flickan varit stygg. Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 12/23

13 Modell med matriser: Y = Xβ + ε där n = 13 samt k = 2 och ε 1 ε β 0 Y = 3.4 X = β = β 1 ε 3 ε = β ε ε Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 13/23

14 Skattning av parametrarna Skattning av β ML- och MK-skattningar av β 0,..., β k (elementen i β) blir β = (X T X) 1 (k+1) x (k+1) X T (k+1) x n y n x 1 En väntevärdesriktig skattning av σ 2 ges av (korrigerad ML) s 2 = Q 0 n (k + 1) där Q 0 = (y Xβ ) T (y Xβ ) Q 0 är alltså residualkvadratsumman och k + 1 är antalet skattade parametrar i Q 0 (obs. tumregeln!). Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 14/23

15 Skattningar: X T X = X T y = (X T X) 1 = så β β = (X T X) 1 X T y = β1 = β Q 0 = (y Xβ ) T (y Xβ ) = Q0 σ = s = = f samt f = n (k + 1) = 13 3 = 10 Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 15/23

16 x 1i = 0: stygg x 1i = 1: snäll z i = julklapparnas värde (kr) x 2i : givmildhet 10 8 x 1i = 0: stygg x 1i = 1: snäll y i = ln(z i ) = ln(julklapparnas värde) x 2i : givmildhet Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 16/23

17 Skattningarnas fördelning Skattningarna av β är linjära funktioner av Y och är därmed normalfördelade β i N (β i, D(β i )), där D(βi ) ges av roten ur diagonalelementen i kovariansmatrisen V(β0 ) C(β 0, β 1 ) C(β 0, β k ) V(β ) = σ 2 (X T X) 1 C(β1 =, β 0 ) V(β 1 ) C(β 1, β k ) C(βk, β 0 ) C(β k, β 1 ) V(β k ) (k+1) (k+1) matris För residualkvadratsumman gäller Q 0 σ 2 χ2 (n (k + 1)) Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 17/23

18 Konfidensintervall och hypotestest för β i Konfidensintervall för β i blir alltså [(X I βi = βi ± t a/2 (f) d(βi ) = β i ± t a/2 (f) s T X) 1] i,i där [(X T X) 1 ] i,i är diagonalelement nr i, f = n k 1. Obs! det första elementet har nummer i = 0. Intervallet kan användas för att testa hypotesen H 0 : β i = 0 kontra H 1 : β i 0 Alternativt kan man naturligtvis använda T = β i 0 d(β i ) och förkasta H 0 om T > t a/2 (n (k + 1)). Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 18/23

19 (1) Vi vill testa H 0 : β 1 = 0 mot H 1 : β 1 > 0 på signifikansnivån a = Medelfelet blir d(β 1 ) = s [(X T X) 1 ] 1,1 = = således (obs! ensidig...) T = β 1 0 d(β ) = = > t a(f) = t 0.05 (10) = 1.81 (dvs. för mycket ) kan H 0 förkastas. Ja, det lönar sig att vara snäll. Hur mycket lönar det sig? Ett tvåsidigt konfidensintervall för β 1 blir I β1 = β1 ± t a/2(f) d(β1 ) = ± } t 0.025(10) {{} 2.23 = (0.3174, ) I e β 1 = (e , e ) = (1.37, 2.01) Att vara snäll ökar värdet på julklapparna med i genomsnitt %! Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 19/23

20 Skattning av punkt på planet Y-s väntevärde i en punkt x 0 = [ ] 1 x 01 x 02 x 0k ges nu av k μ (x 0 ) = β0 + βi x 0i = x 0 β i=1 med V(μ (x 0 )) = x 0 V(β )x T 0 = σ2 x 0 1 x k I μ (x 0 ) = x 0 1 x k k x 1 ( ) 1 X T X } {{ } k x k x T 0 k x 1 Ett konfidensintervall för μ (x 0 ) blir således (med f = n (k + 1)) β ±t a/2 (f) s x 0 (X T X) 1 x T 0 I μ (x 0 ) = x 0 β ± t a/2 (f) s x 0 (X T X) 1 x T 0 För prediktionsintervallet får man, som tidigare, lägga till en etta under kvadratroten I Y(x0 ) = x 0 β ± t a/2 (f) s 1 + x 0 (X T X) 1 x T 0 Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 20/23

21 (2) Prediktionsintervall för Kusinens julklapp: Vi har x 0 = [ ] och skattningen μ (x 0 ) = x 0 β = 1 β β β 2 = , e μ (x 0 ) = e = kr, x 0 (X T X) 1 x T 0 = 0.18, därför I Y(x0 ) = ± = (3.21, 3.89) Omräknat till kronor blir det I e Y(x 0 ) = (e 3.21, e 3.89 ) = (25.69, 48.94) kr Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 21/23

22 Modellvalidering Precis som för enkel regression bör man undersöka residualerna e = y Xβ, och förvisssa sig om att de verkar vara oberoende och N (0, σ)-fördelade. Plotta residualerna Som de kommer, dvs mot 1, 2,..., n. Ev. ett histogram Mot var och en av x i -dataserierna I en normalfördelningsplot För var och en av β 1,..., β k (obs! i regel ej β 0 ) bör man kunna förkasta H 0 i testet H 0 : β i = 0 H 1 : β i 0 eftersom β i anger hur mycket y ändrar sig när vi ändrar x i. Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 22/23

23 Kolinjäritet (ex. två variabler, motsv. för fler) Man bör om möjligt välja sina (x 1i, x 2i )-värden så att de blir utspridda i (x 1, x 2 )-planet och inte klumpar ihop sig längs en linje. Detta ger en mer stabil grund åt regressionsplanet. Stanislav Volkov s.volkov@maths.lth.se FMSF45 F15 23/23