Föreläsningsanteckningar till Linjär Regression

Transkript

1 Föreläsgsateckgar tll Ljär Regresso Kasper K S Aderse 3 oktober 08 Statstsk modell Ofta söks ett sambad y fx mella e förklarade eller oberoede varabel x och e resposvarabel eller beroede varabel y V betrakter här det eklaste fall där y fx α + βx är e ljär fukto De statstska modelle är som följer: V har mätgar x, y,, x, y V betraktar x som e kostat och y som e observato av e stokastsk varabel Y V atar sambadet Y α + βx + ε där ε N0, σ represeterar störge ved :ta mätge Dessuttom atar v att ε,, ε är oberoede Lje y α + βx kallas de teoretska regressoslje Parametrera α och β är okäda och v söker att skatta dessa Om v för x x medelvärdet av x :era ka v skrva teoretska regressoslje på forme y α + βx α + βx +βx βx α + β x x α där α α + βx eller ekvvalet α α βx I stället för att skatta α och β måste v då skatta α och β, detta ger ågot eklare beräkgar Kvadratsummor och korrelatoskoeffcet V för följade kvadratsummor som aväds beräkgara S Y Y S xy x x Y Y x x Y Y x x Y Y x Y x Y Observerade värde av de två ssta summor beteckas S yy och S xy och upfyllar samma formler som ova

2 Defto: Korrelatoe eller Pearsos korrelatoskoeffcet eller produktmometkorrelatoskoeffcete deferas elgt R S xy S Y Y Sats: Korrelatoskoeffcete uppfyller R Ett perfekt ljärt sambad Y α + βx ger R + om β > 0 och R om β < 0 Iget ljärt sambad motsvarer R 0 3 Skattg av parametrara Avvkelse lodrät led för :ta observatoe ges av Y α β x x då α + β x x är y-värde på le y α + β x x motsvarede x x Dessa avvkelser ka vare båda postva och egatva varför v troducerar kvadratsumma Y α β x x som v söker att göra mst möjlg Detta kallas Mstakvadratmetode och utvecklades av Gauss Sats: Y α β x x α Y + β S xy + S Y Y S xy Q 0 Specelt blr kvadratsumma mst möjlg om α Y och β S xy

3 Bevs: Y α β x x Y + α + β x x α Y β Y x x + α β x x Y Y +α +β α Y β x x Y +α β x x 0 +α +β α Y β x x Y +β x x Y Y 0 + α + β α Y β x x Y Y S Y Y + Y + α α Y + β β S xy S Y Y + Y + α α Y + β β S xy S xx SxY SxY S Y Y + Y + α α Y + β β S xy + α Y + β S xy Detta bevsar formel Det ssta påståedet är u uppebart + S Y Y S xy 4 Itervallskattg av parametrara Då ε N0, σ fås jvf Sats 6A att Y α + β x x + ε är ormalfördelad Y Nα+β x x, σ Då ε,, ε är oberoede följer också att Y,, Y är oberoede Sats: Puktskattgara α och β är ormalfördelade α σ N α, och β σ N β, Specelt är båda α och β vätevärdesrktga De är äve de effektvasta puktskattgar av α och β Dessutom är α och β är oberoede 3

4 Bevs: Elgt Sats 6C är α Y Y ormalfördelad med E α EY α + β x x α + β x x α } {{ } 0 och V α V har omskrvge β S xy V Y σ σ σ x x Y Y x x Y x x Y c Y x x Y 0 där c x x edast beror på x:era Elgt Sats 6C är β då ormalfördelad med E β c EY x x α + β x x α x x + 0 β x x β β och V β c V Y x x σ σ x x σ σ V vsar te ssta dele av satse här 4

5 4 σ käd Sats: Itervallskattgar av α och β med kofdesgrad p ges av I α α σ λ p/, α σ + λ p/ och I β β σ λ p/, β σ + λ p/ där λ p/ är p/-kvatle N0, -fördelge 4 σ okäd Om σ te är käd måste v skatta dea Sats: E vätevärdesrktg puktskattg av σ ges av σ Q 0 S Y Y S xy Sats: Itervallskattgar av α och β med kofdesgrad p ges av I α α t p/ σ, α + t p/ σ och I β β σ t p/, β σ + t p/ där σ fördelge S Y Y S xy och t p/ är p/-kvatle t - Amärkg: Observera att atallet av frhetsgrader är 5 Exempler Exempel: Gvet datamateralet Befolkg 0000, x Vattekosumto per våera 00 l/dag, y Är det rmlgt att tro att det förelgger ett ljärt sambad y α +βx? Bestäm de skattade regressoslje Age tervallskattgar med 95% kofdesgrad av koeffcetera Lösg: V har 4 och beräkg ger x y

6 vlket ger x och y För att bestämma kvadratsummora beräkas Herav fås x y x y x x S yy y y S xy x y x y vlket ger korrelatoskoeffcete r S xy S yy Det verkar därfor rmlgt att ata att det fs e ljär relato V får αobs y 5 och βobs Sxy Alltså är y α obs + β obs x x x x Då σ te är käd skattar v dea V får s σobs Tabell ger t p/ t och sättg ger då I α αobs s ± t p/ 5 ± , 5 4 I β β obs ± t p/ s 0047 ± , 0 Iblad ka också vssa ckeljära sambad hateras geom avädg av e passade trasformato Exempel: Gvet datamateralet 6

7 x y Ata att x og y förhåller sg geom y a b x Age puktskattger av a och b Lösg: Sambadet är te ljärt, me avädg av logartmer ger l y l a + l b x Med z l y, α l a och β l b är z α + βx V får x z Beräkg ger observera att 5 z och S zz te behövs!: 5, 5 x 5, 5 z 6834, 5 x 35 och 5 x z 8309 Detta ger 0 och S xz 86 varav v får αobs z och β obs Sxz 086 Detta ger z x x Med l a obs α obs 4974 och l b obs β obs 086 fås a obs e α obs och b obs e β obs 08308, dvs y x Avrudg ger då y x 7