TAMS65 DATORÖVNING 2

Transkript

1 TAMS65 DATORÖVNING 2 Datorövningen behandlar multipel linjär regression Förberedelser Läs allmänt om regressionsanalys i boken och på föreläsningsanteckningarna Glöm inte att rensa minnet och alla fönster mellan varje uppgift så att det inte finns något gammalt sparat som kan störa dina resultat Du kommer att behöva filerna uppg21m, uppg22m, uppg23m, uppg24m, uppg25m som finns att ladda ner från kurshemsidan Redovisning Datorövningen ska göras, individuellt eller i grupp om två, innan redovisningstillfället som ni bokar med er lektionshandledare Anmäl er till vilken tid som ni ska redovisa på listor som lektionshandledarna har Om ni har problem att boka en tid med er lektionshandledare kontakta examinatorn för kursen Skriv en väldigt enkel rapport Max en sida per uppgift Fyll i redovisningsbladet sist i det här häftet och gör anteckningar så att ni kan diskutera uppgifterna och svara på följdfrågor Rapporten och en kopia av redovisningsbladet ska lämnas till lektionshandledaren senast klockan 16 vardagen innan redovisningen Det går även bra att skicka en kopia med e-post senast klockan 16 dagen innan redovisningen (dvs även söndag om redovisningen är på en måndag) Skriv ut intressant kod och plottar som kan vara bra att ha vid redovisning då ni ska diskutera uppgifterna och svara på följdfrågor Spara alla filer med kod (där ni lätt kan komma åt det) så att ni är beredda att visa det eller testköra under redovisningstillfället 1

2 Uppgift 1 Enkel linjär regression En gejser är en varm källa, som mer eller mindre regelbundet får utbrott, varvid vattnet kan spruta högt upp i luften Old Faithful Geyser i Wyoming är en sådan källa som blivit en turistattraktion Eftersom det är ganska långt mellan utbrotten, är man intresserad av att kunna prediktera tiden till nästa utbrott och man tror att denna tid beror på längden av det närmast föregående utbrottet För att konstruera en prognosformel har man registrerat samhörande värden på x = längden av det senaste utbrottet (enhet:min) och y = tiden till nästa utbrott (enhet:min), under ett antal dagar Vi skall analysera datamaterialet enligt modellen där Y j = β 0 + β 1 x j + ε j ε 1,, ε n är oberoende och N(0, σ) På filen uppg21m finns samhörande värden på x och y Börja med att plotta y mot x för att se att en linjär regression kan vara intressant att göra Även korrelationskoefficienten är ett mått på graden av linjärt samband Beräkna korrelationen med hjälp av kommandot corr Gör sedan en regressionsanalys med kommandot regstats; enligt stats = regstats(y,x, linear, all ); betahat = statststatbeta se = statststatse t = statststatt s2 = statsmse fstat = statsfstat b) Hur ser den skattade regressionslinjen ut? Skriv upp ekvationen Plotta den skattade regressionslinjen enligt scatter(x,y, * ) xlabel( x ), ylabel( y ) hold on lsline % ls = least square, dvs minsta-kvadrat anpassning c) I datautskriften hittar du de skattade standardavvikelserna d( ˆβ 0 ) och d( ˆβ 1 ), (se = standard error) dvs s h 00 och s h 11 Skriv upp formeln på hur variansen σ 2 skattas, vilken kvadratsumma ska användas Vad är frihetsgraderna för σ 2 -skattningen? d) Testa på nivån 001 H 0 : β 1 = 0 mot H 1 : β 1 0 med hjälp av t-test; ledning: teststorheten har beräknats enligt formeln ˆβ 1 /d( ˆβ 1 ) 2

3 För att se om normalfördelningsantagandet i modellen är ok kan en residualanalys göras Residualerna är beräknade i MATLAB Ta fram dem genom kommandot statsr och plotta med scatter, hist och normplot, tex enligt residualer = statsr; scatter(x,residualer, filled ) title( Residualer ) hist(residualer) title( Histogram för residualer ) normplot(residualer) f) Vad visar de olika residualplottarna? Är du nöjd med residualplottarna? e) Ett utbrott på 4 minuter har just avslutats Beräkna ett 95% prediktionsintervall för tiden till nästa utbrott Matrisen (X T X) 1 kan beräknas enligt XtXinv = statscovb/statsmse Fyll i redovisningsbladet, spara koden och spara eller skriv ut plottar Uppgift 2 Användning av dummy-variabler; beräkning av prediktionsintervall I en undersökning ville man studera om ett aktivt säkerhetsprogram har betydelse för antalet arbetstimmar som förloras på grund av olyckor i arbetet Man valde slumpmässigt ut 40 företag, 20 bland företag med säkerhetsprogram och 20 bland företag utan säkerhetsprogram För varje företag observerades Y = antalet förlorade arbetstimmar under 1 år, x 1 = antalet anställda, { 1, om man har säkerhetsprogram; x 2 = 0, annars Antalet Säkerhetsprogram Antalet förlorade arbetstimmar (y) anställda (x 1 ) (x 2 ) (årsvis, tusentals timmar)

4 Data finns i filen uppg22m För att bedöma vilken analysmodell som är lämplig kan man plotta y mot x 1 med olika symboler för företag med och utan säkerhetsprogram plot(x1(1:20),y(1:20), b* ) hold on plot(x1(21:40),y(21:40), r* ) Du ska nu välja mellan två modeller med olika egenskaper Modell 1: Y = γ 0 + γ 1 z 1 + γ 2 x 2 + ε, där z 1 = x 1 /1000 och x 2 = 1 om man har säkerhetsprogram och annars x 2 = 0 och där z 2 = x 2 z 1 För Modell 1 har vi väntevärde { γ 0 + γ 1 z 1 + γ 2, E(Y ) = γ 0 + γ 1 z 1, Modell 2: Y = β 0 + β 1 z 1 + β 2 z 2 + ε, för företag med säkerhetsprogram, för företag utan säkerhetsprogram Det blir alltså en väntevärdeslinje för varje fall Hur ligger de i förhållande till varandra? Förklara med hjälp av plotten du gjorde varför Modell 1 inte passar så bra För Modell 2 har vi väntevärde { β 0 + (β 1 + β 2 )z 1, E(Y ) = β 0 + β 1 z 1, för företag med säkerhetsprogram, för företag utan säkerhetsprogram Tänk efter varför Även här blir det en väntevärdeslinje för varje fall Hur ligger de i förhållande till varandra? Förklara varför den här modellen fungerar bättre med hänsyn till plotten du gjorde Du ska nu skapa de kolumner du behöver för att göra analyser enligt de båda modellerna Låt z1 = x1/1000; z2 = z1*x2; Genomför först en regressionsanalys enligt Modell 1 och sedan enligt Modell 2 Tänk efter vilka förklaringsvariabler du utnyttjar i respektive fall Använd regstats och beräkna prediktionsintervall för ett företag med säkerhetsprogram och 6600 anställda Glöm inte att z 1 = x 1 /1000 a) Skriv upp de skattade regressionslinjerna för de två modellerna b) Jämför R 2 -värdena för de båda modellerna c) Skriv upp de båda prediktionsintervallen d) Ger analys nr 2 indikationer på att säkerhetsprogram leder till färre förlorade arbetstimmar? Konstruera ett 95% konfidensintervall för en lämplig parameter och dra slutsatser med hjälp av detta Gör intervallet för hand eller använd regress i MATLAB Fyll i redovisningsbladet, spara koden och spara eller skriv ut plottar 4

5 Uppgift 3 Bedömning av lineariteten hos data Vid elektrisk svetsning har strömstyrkan betydelse för svetsfogens hållfasthet I ett försök studerades sex olika strömstyrkor För varje strömstyrka tillverkades tre svetsfogar vars hållfastheter bestämdes Resultat: x y Datamaterialet finns lagrat i filen uppg23m Plotta y mot x Det verkar inte helt orimligt att använda ett linjärt samband mellan x och y Modell 1: Y = β 0 + β 1 x + ε där ε N(0, σ 1 ) Du ska göra en analys enligt denna modell med följande kommando regr = regstats(y,x, linear, all ); Plotta y mot x igen, och lägg till den skattade regressionslinjen (du kan använda tex lsline) Hur ligger de observerade punkterna i förhållande till den skattade regressionslinjen? Är Du nöjd? Gör även en residualanalys enligt residualer = regrr; scatter(x,residualer, filled ) a) Ta fram den skattade standardavvikelsen ˆσ 1 = s 1 Skriv ner den i redovisningsbladet b) I residualplotten hittar du ett tydligt mönster vilket innebär att den linjära modellen nog inte är så bra Vilket mönster ser du? Jämför mönstret och den skattade regressionslinjen i plotten ovan Formen på residualplotten för Modell 1 antyder att kan vara aktuell Varför? Modell 2: Y = β 0 + β 1x + β 2x 2 + ε där ε N(0, σ 2 ) Bilda x 2 genom x2 = x^2; Genomför en regressionsanalys enligt Modell 2 För att plotta den skattade linjen från Modell 2, skriv xx = [4000:10:9000] ; xx2 = xx^2; 5

6 yy = [ones(length(xx),1) xx xx2]*betahat; scatter(x,y, * ) hold on plot(xx,yy) där betahat ska vara vektorn med de tre parameterskattningarna ˆβ 0, ˆβ 1 och ˆβ 2 från Modell 2 c) Anteckna σ 2 -skattningen ˆσ 2 = s 2 d) Plotta residualerna mot x och skriv ut Är Du nöjd med den här residualplotten? Är du nöjd med Modell 2? e) Skulle man kunna använda regressionssambandet för att förutsäga hållfastheten vid strömstyrkan 12000? Fyll i redovisningsbladet, spara koden och spara eller skriv ut plottar Uppgift 4 Stegvis regression enligt framåtvalsprincipen En amerikansk fastighetsmäklare vill utveckla en regressionsmodell med vars hjälp man kan prissätta stora enfamiljshus i utkanterna av en stad I datamaterialet finns uppgifter om 30 hus som nyligen sålts i det aktuella området Property Lot Attrac- Selling Taxes House Size Lot Size Size tiveness Price Property (dollars) (sq feet) (acres) Sq Index ($000) i x i1 x i2 x i3 x i4 x i5 y i Öppna filen uppg42m Ni ska nu välja en regressionsmodell enligt framåtvalsprincipen, dvs först ska ni välja den förklaringsvariabel som har störst korrelation med y för att sedan lägga till en variabel i taget enligt vissa kriterier 1 Sök först upp den x-variabel som är starkast korrelerad med Y Gör sedan en regressionsanalys med denna bästa ensamma förklaringsvariabel Anteckna modellen, residualkvadratsumman (sse) och dess frihetsgrad (dfe) Undersök om sambandet är signifikant (nivå 5%), dvs avgör med ett test om β-koefficienten framför x-variabeln är skild från noll (vilket görs enklast med hjälp av t-kvoten som i uppgift 1) Om β-koefficienten är signifikant skild från noll är det klart att denna första förklaringsvariabel ska ingå i modellen 2 Nästa steg är då att kombinera var och en av de övriga förklaringsvariablerna med den först 6

7 valda och genomföra regressionsanalyser för att hitta det par, som bäst förklarar variationen hos Y, dvs ger minst residualkvadratsumma Du behöver alltså göra fyra olika regressionsanalyser Anteckna modellen, residualkvadratsumman och dess frihetsgrad för varje analys Undersök för det bästa paret om den nya förklaringsvariabeln gör signifikant nytta (t-test på nivå 5%) 3 Om även den andra förklaringsvariabeln du hittat skall ingå i modellen, så är nästa steg att man studerar alla modeller med tre förklarande variabler, där de båda först valda ingår Fortsätt enligt framåtvalsprincipen och plocka in flera förklaringsvariabler i modellen (nivå 5% för samtliga test) Proceduren slutar då β-koefficienten framför den senaste förklaringsvariabeln inte är signifikant skild från noll a) Vilken modell ger framåtvalsprincipen? b) Gör ytterligare en analys enligt den valda modellen Genomför också en regressionsanalys med samtliga förklaringsvariabler och undersök om denna modell är signifikant bättre än slutmodellen i a) med hjälp av ett F-test på nivån 5% c) Studera i den fullständiga modellen, med alla fem förklaringsvariabler, ˆβ 3 och ˆβ 4 och deras t-värden Är β 3 och β 4 skilda från 0 på nivån 005? Jämför med resultatet i analysen enligt framåtvalsprincipens modell Förklaringen till det något egendomliga resultatet är att x 3 och x 4 är starkt korrelerade d) Beräkna korrelation mellan x 3 och x 4 Fyll i redovisningsbladet, spara koden och spara eller skriv ut plottar Anm 1 När man som i uppgiften ovan har tagit fram en regressionsmodell, bör man innan man accepterar modellen också göra alla upptänkliga residualplottar för att förvissa sig om att antagandena i modellen är rimliga Anm 2 Starkt korrelerade förklaringsvariabler kan ge konstiga β-skattningar, varför man bör vara extra försiktig beträffande slutsatserna om variablers inverkan i sådana situationer Undvik alltså om möjligt starkt korrelerade förklaringsvariabler Anm 3 Tumregel : Man bör ha åtminstone cirka 10p observationer om man har p förklaringsvariabler Anm 4 Kom ihåg att man via regressionsanalys inte kan bevisa orsakssamband 7

8 Uppgift 5 Avvikande värden, så kallade outliers I samband med presidentvalet i USA 2000 förekom mycket diskussioner kring valresultatet framför allt för Florida Bland annat klagade flera röstande i Palm Beach över att de missförstått valblanketten och av misstag röstat på Buchanan Vi ska med hjälp av regressionsanalyser försöka avgöra om resultatet för Palm Beach avviker från resultaten i övriga valdistrikt I tabellen nedan finns resultaten för olika valdistrikt i Florida County Bush Gore Buchanan Total Alachua Baker Palm Beach Washington Absentee I filen uppg25m finns dels det totala antalet röstande (x), dels Buchanans röstetal (Y ), men Palm Beach har tagits bort Plotta Y mot x Det finns ett samband mellan x och Y, men spridningen är mycket större för stora värden I stället för ett linjärt samband mellan x och Y skulle man kunna studera ett linjärt samband mellan de logaritmerade värdena a) Använd log10 i MATLAB för att logaritmera x och y Plotta 10 log y mot 10 log x och lägg till regressionslinjem med lsline Genomför en regressionsanalys med de logaritmerade värdena b) Gör ett 995% prediktionsintervall för Buchanans röstetal i Palm Beach (x = ), alltså för 10 log x = 10 log = Beräkna med hjälp av prediktionsintervallet för 10 log Y ett prediktionsintervall för Y = antalet röster för Buchanan i Palm Beach och jämför med det verkliga antalet, dvs 3411 Fyll i redovisningsbladet, spara koden och spara eller skriv ut plottar Anm Här ser det ut som att vi har ett avvikande värde i förhållande till övriga valdistrikt Men, vi har letat upp den mest avvikande valkretsen och sedan genomfört ett test, samtidigt som den simultana signifikansnivån är som störst = 034 Alltså vi har en ganska stor felrisk 8

9 REDOVISNINGSBLAD Fyll i namn och personnr med bläck 1) 2) Uppgift 1 a) Skattad korrelation mellan y och x: b) Skattad regressionslinje c) d( ˆβ 0 ) = d( ˆβ 1 ) = Formel s 2 = Frihetsgrad för s 2 : d) Teststorheten T = ; kritisk gräns för T : ; Förkastas H 0? e) Prediktionsintervall för tiden till nästa utbrott: (X T X) 1 = e) Är residualplottarna OK? OK Uppgift 2 a) Skriv upp de skattad regressionslinje för de två modellerna Modell 1: Modell 2: Förklara kort vad som är skillnaden mellan Modell 1 och Modell 2 och varför Modell 2 borde vara bättre Modell 1 Modell 2 b) R 2 -värde: c) Prediktionsintervall: d) Konfidensintervall: OK 9

10 Uppgift 3 a) s 1 = b) Vad är det för mönster i residualplotten? Skissa: c) s 2 = d) Är residualplotten OK? Är modell 2 OK? e) Svar: Varför? OK Uppgift 4 Bästa ensamma förklaringsvariabel: a) Modell enligt framåtvalsprincipen (skriv in den teoretiska modellen inte den med skattade parametrar): b) Teststorhet v = Kritisk gräns: Slutsats: c) ˆβ 3 = T 3 = ˆβ 4 = T 4 = Kritisk gräns för T i : Korrelation mellan x 3 och x 4 : OK Uppgift 5 a) Är du nöjd med den skattade regressionslinjen? b) Prediktionsintervall för Buchanans röstetal: OK 10