Jesper Rydén. Matematiska institutionen, Uppsala universitet Tillämpad statistik för STS vt 2014

Transkript

1 Föreläsning 8. Jesper Rydén Matematiska institutionen, Uppsala universitet Tillämpad statistik för STS vt 2014

2 Exempel: Pris och boyta Samband mellan två eller flera variabler? Spridningsdiagram kan indikera samband Matematisk/stokastisk modell?

3 Enkel linjär regression Observationer y 1,..., y n av variablerna Y 1,..., Y n, antas oberoende med gemensam varians σ 2. Väntevärdet µ i = E[Y i ] beror på givna storheter. Enkel linjär regression: µ i = α + β x i, i = 1,..., n Linjär syftar på uttryckets linjäritet i parametrarna (α, β). Även t.ex. µ i = α + β 1 x i + β 2 x 2 i + β 3 sin x i innebär (multipel) linjär regression.

4 Modell Låt x 1,..., x n vara givna (icke slumpmässiga) storheter. Antag vidare att Y 1,..., Y n är oberoende slumpvariabler med gemensam varians σ 2 och att µ i = α + βx i. Vi har då en enkel linjär regressionsmodell. Storheten x kallas regressor eller förklarande variabel eller oberoende variabel. Slumpvariabeln Y (eller dess observerade värde y) kallas för responsvariabel eller beroende variabel. Linjen för väntevärdet y = α + βx kallas för den teoretiska regressionslinjen, α benämnes intercept och β lutningskoefficient.

5 Enkel linjär regression Minstakvadratmetoden används för att finna punktskattningar. Sök de parametrar som minimerar Q = n (y i α βx i ) 2. i=1 Man finner punktskattningarna β = n i=1 y ix i n xȳ n i=1 x 2 i n x 2, α = ȳ β x, där ȳ = n 1 y i och x = n 1 x i. Skattad modell: med residualer y i = α + β x i e i = y i y i

6 Idé: Minimera kvadratsumma

7 Historisk kommentar: MK-metoden The method of least squares is the automobile of modern statistical analysis: despite its limitations, occasional accidents, and incidental pollution, it and its numerous variations, extensions, and related conveyances carry the bulk of statistical analyses, and are known and valued by nearly all. But there has been some dispute, historically, as who was the Henry Ford of statistics. SM Stigler (1981)

8 En vetenskaplig dispyt Adrien-Marie Legendre ( ) Carl Friedrich Gauss ( ) Publikation om metoden Publikation om metoden 1809.

9 J.D. Forbes experiment Estimate altitude above sea level from measurements of boiling point of water. Motivation: Difficulties in transportation of fragile barometers Barometric pressure (inches Hg) Boiling point (F)

10 Residuals (Forbes data) Residual value Residual number

11 Residuals (Forbes data) 5 Normal probability plot 4 3 Quantile Data

12 Varning: Orsak/verkan Beakta variablers inverkan! Datas karaktär: tvärsnittsdata (insamlat vid en given tidpunkt) eller longitudinella (insamlade över tid). Datainsamling? Experiment, enkäter; samhällsvetenskap/naturvetenskap.

13 Förklaringsgrad: Enkel linjär regression Förklaringsgrad: R 2 = 1 n i=1 e2 i n i=1 (y i ȳ) 2 Det gäller alltid 0 R 2 1. Ju närmare R 2 = 1, desto bättre anpassning För enkel linjär regression gäller R 2 = r 2 där r 2 är den kvadrerade skattade korrelationskoefficienten.

14 Enkel linjär regression: prediktion av väntevärde Givet x = x 0, prediktera värdet av beroende variabeln y genom att använda linjen: y 0 = α + β x 0 Man finner E[Y0 ] = α + βx 0 [ 1 V[Y0 ] = σ 2 n + (x 0 x) 2 ] n i=1 (x i x) 2

15 Enkel linjär regression: prediktionsintervall En framtida observation y 0 svarande till x 0 ; vi är intresserade av differensen y 0 y 0. E[Y 0 Y 0 ] = 0 V[Y 0 Y0 ] = V[Y 0 ] + V[Y0 ] [ = σ n + (x 0 x) 2 ] n i=1 (x i x) 2

16 Forbes data 32 Barometric pressure (inches Hg) Boiling point (F)

17 Regression med fel i bägge variablerna * EIV-modell (Error In Variables). Givet: observationspar (x 1, y 1 ),..., (x n, y n ). x i = ξ i + δ i y i = β 0 + β 1 ξ i + ɛ i där ξ i är okända värden och δ i samt ɛ i är oberoende fel med varianser σ 2 δ resp. σ2 ɛ. MK- och ML-skattningar kan härledas.

18 Multipel regression Beroende variabel (responsvariabel): y Oberoende variabler (förklarande variabler, regressorvariabler, carriers): x 1, x 2,..., x k Matematiskt samband: y = f (x 1, x 2,..., x k ) där f () är en funktion. Linjär modell Exempel, p = 2: y = β 0 + β 1 x 1 + β 2 x 2 + ɛ OBS! Linjäriteten avser parametrarna β i. Även y = β 0 + β 1 x 1 + β 2 x 2 + β 11 x β 22 x β 12 x 1 x 2 + ɛ är att betrakta som en linjär modell.

19 Responsytor, exempel 1 y = x x x 1 x 2

20 Responsytor, exempel 2 y = x x 2 + 8x 1 x 2

21 Multipel regression: matrisnotation Matrisnotation: där och y = y 1 y 2. y n y = Xβ + ɛ 1 x 11 x x ik, X = 1 x 21 x x 2k x n1 x n2... x nk β = β 0 β 1. β k ɛ 1, ɛ = ɛ 2. ɛ n

22 Enkel linjär regression: matrisnotation Matrisnotation: där och y = β = y 1 y 2. y n y = Xβ + ɛ 1 x 1 1 x 2, X =.. 1 x n [ β0 β 1 ɛ 1 ] ɛ 2, ɛ =. ɛ n

23 MK-metoden för estimering av parametrar Miniminera L(β) = (y Xβ) T (y Xβ) vilket leder till normalekvationerna X T X β = X T y och MK-skattningen β = (X T X) 1 X T y Anmärkning. Vid numerisk behandling används ofta en QR-faktorisering av matrisen X.

24 Anpassade värden och hattmatris Anpassade värden ŷ ges av ŷ = X ˆβ = Hy där H = X(X T X) 1 X T ofta kallas hattmatrisen. Residualer: e = y ŷ

25 Mer om skattningar Egenskaper hos skattningen ˆβ Väntevärdesriktig skattning med Cov(ˆβ) = σ 2 (X T X) 1 Skattning av σ 2 Inför residualkvadratsumman Q 0 = SS E = e T e = n (y i ŷ i ) 2 i=1 En väntevärdesriktig skattning ges av ˆσ 2 = Q 0 n k 1 och vidare gäller 1 σ 2 Q 0 χ 2 (n k 1) (följer av räkneregler för linjärkomb. av stok. vektor)

26 Spjälkning av kvadratsummor Man kan visa att n (y i ȳ) 2 = i=1 n n (ŷ i ȳ) 2 + (y i ŷ i ) 2 i=1 i=1 Tolkning: Total variation = Förklarad variation + Oförklarad variation Vanlig engelsk beteckning: SS T = SS R + SS E Kompendium: Q TOT = Q REGR + Q RES

27 Förklaringsgrad Förklaringsgrad (coefficient of multiple determination): R 2 = SS R SS T = 1 SS E SS T Ju fler förklarande variabler, desto högre värde på R 2. Emellanåt används dessutom en besläktad storhet. Justerad förklaringsgrad (adjusted R 2 statistic): R 2 adj = 1 SS E /(n k 1) SS R /(n 1) = 1 ( ) n 1 (1 R 2 ) n k 1

28 Statistisk analys: Test av regression Antag att ɛ i N(0, σ 2 ). Hypoteser: Teststorhet: H 0 : β 1 = β 2 = = β k = 0 H 1 : F 0 = β j 0 för minst ett j SS R /k SS E /(n k 1) Förkasta H 0 om F 0 > F α (n k 1). SS E = y T y ˆβ T X T y SS R = ˆβ T X T y ( n i=1 y i) 2 n

29 Test av enskilda parametrar Hypoteser: H 0 : β j = 0 mot H 1 : β j 0 Beteckna i matrisen (X T X) 1 elementen med c ij. Då gäller β j N(β j, σ 2 c jj ). Teststorhet: t 0 = ˆβ j 0 ˆσ 2 c jj Förkasta H 0 om t 0 > t α/2 (n k 1).

30 Konfidensintervall Ett 100(1 α) % konfidensintervall för β j, j = 0, 1,..., k, ges av ( ) ˆβ j t α/2 (n k 1) ˆσ 2 c jj, ˆβ j + t α/2 (n k 1) ˆσ 2 c jj Konfidensintervall för väntevärde vid x 0 : ( ) x T ˆβ 0 ± t α/2 (n k 1) ˆσ 2 x T0 (XT X) 1 x 0 Prediktionsintervall vid vid x 0 : ( ) x T ˆβ 0 ± t α/2 (n p) 1 + ˆσ 2 x T0 (XT X) 1 x 0

31 Exempel med R: Miljögifter och fiskar Studier av DDT-halten hos fiskarter utefter en flod i Alabama. En kemisk industri finns belägen längs floden. Totalt gjordes mätningar på 144 fiskar. De fem första observationerna: River Mile Species Length Weight DDT 1 FCM 5 CCATFISH FCM 5 CCATFISH FCM 5 CCATFISH FCM 5 CCATFISH FCM 5 CCATFISH

32 Exempel med R: Miljögifter och fiskar Antag att vi vill skatta parametrar i modellen y = β 0 + β 1 x 1 + β 2 x 2 + β 3 x 3 + ɛ Responsvariabel: y =DDT Förklarande variabler: x 1 =Mile, x 2 =Length, x 3 =Weight Call: lm(formula = DDT Mile + Length + Weight, data = fishes) Estimate Std. Error t value Pr(> t ) (Intercept) Mile Length Weight Residual standard error: on 140 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: on 3 and 140 DF, p-value:

33 Miljögifter och fiskar (a) Ange en skattning av standardavvikelsen σ för ɛ. Från R-utskriften finner vi direkt σ = (b) Ger data tillräckligt belägg för att dra slutsatsen att DDT-halten ökar med ökande längd (signifikansnivå 0.05)? Hypotestest: H 0 : β 2 = 0 H 1 : β 2 > 0 Från R-utskriften finner vi värde på teststorheten för t-test: t = Under antagande om normalfördelade residualer förkastas H 0 om t > t 0.05 (142). = 1.66, dvs. vi förkastar här H 0. Alternativt, studera motsvarande p-värde för aktuell variabel (ges i utskriften): p = /2 = Slutsats: Förkasta H 0 på nivån 0.05.

34 Miljögifter och fiskar (c) Beräkna ett 95% konfidensintervall för β 3. Tolka intervallet. Ett intervall ges av I β3 = [β 3 ± t (142)d[β 3] ] R-utskriften: β3. = och medelfelet d[β3 ] = Tabell eller dator ger t (142) = Intervallet ges av [ 0.11, ]. Tolkning: För varje grams ökning av fiskens vikt kan vi med 95% säkerhet slå fast att ökningen i DDT-halt ligger i intervallet [ 0.11, ], om övriga variabler i modellen, Mile och Length, hålls konstanta.

35 Miljögifter och fiskar (d) Testa regressionsmodellen på signifikansnivån Hypotestest: H 0 : β 1 = β 2 = β 3 = 0 H 1 : Minst ett β i 0 Detta kan testas med ett F-test, värdet på teststorheten kan utläsas: F = H 0 förkastas om F > F 0.05 (3, 140) = 2.67, dvs. i detta fall förkastas inte H 0. Motsvarande p-värde kan utläsas: p = ; förkasta inte H 0 på någon av de vanligast förekommande nivåerna. De förklarande variablerna förklarar inte tillräckligt bra responsvariabeln.