Föreläsning 10, del 1: Icke-linjära samband och outliers

Transkript

1 Föreläsning 10, del 1: och outliers Pär Nyman 19 september

2 Sammanfattning av tidigare kursvärderingar: - 2 -

3 Sammanfattning av tidigare kursvärderingar: Kursen är för svår

4 Sammanfattning av tidigare kursvärderingar: Kursen är för svår. Kursen är för enkel

5 Sammanfattning av tidigare kursvärderingar: Kursen är för svår. Kursen är för enkel. Dagens föreläsning tar upp lite mer avancerade saker

6 Sammanfattning av tidigare kursvärderingar: Kursen är för svår. Kursen är för enkel. Dagens föreläsning tar upp lite mer avancerade saker. Fastna inte i detaljer ni tycker är svåra

7 Sammanfattning av tidigare kursvärderingar: Kursen är för svår. Kursen är för enkel. Dagens föreläsning tar upp lite mer avancerade saker. Fastna inte i detaljer ni tycker är svåra. Den första timmen ska vi prata om två fenomen som kan påverka våra regressionsresultat

8 Sammanfattning av tidigare kursvärderingar: Kursen är för svår. Kursen är för enkel. Dagens föreläsning tar upp lite mer avancerade saker. Fastna inte i detaljer ni tycker är svåra. Den första timmen ska vi prata om två fenomen som kan påverka våra regressionsresultat

9 Sammanfattning av tidigare kursvärderingar: Kursen är för svår. Kursen är för enkel. Dagens föreläsning tar upp lite mer avancerade saker. Fastna inte i detaljer ni tycker är svåra. Den första timmen ska vi prata om två fenomen som kan påverka våra regressionsresultat

10 Sammanfattning av tidigare kursvärderingar: Kursen är för svår. Kursen är för enkel. Dagens föreläsning tar upp lite mer avancerade saker. Fastna inte i detaljer ni tycker är svåra. Den första timmen ska vi prata om två fenomen som kan påverka våra regressionsresultat... De sista två timmarna kommer handla om experiment

11 I anteckningarna till dagens föreläsning tar jag även upp två saker som inte examineras: Multikollinearitet uppstår när de oberoende variablerna är korrelerade med varandra. Gör det svårare att separera effekter från varandra och kan därför medföra att inget är signifikant

12 I anteckningarna till dagens föreläsning tar jag även upp två saker som inte examineras: Multikollinearitet uppstår när de oberoende variablerna är korrelerade med varandra. Gör det svårare att separera effekter från varandra och kan därför medföra att inget är signifikant. Interaktionseffekter innebär att effekten av en variabel är beroende av värdet på en annan variabel. Exempel: Små undervisningsgrupper i skolan förbättrar skolresultaten mer för personer med utländsk eller arbetarbakgrund än för personer med inrikes födda och högutbildade föräldrar

13 Hittills har vi antagit att alla är linjära, så att en ökning i x alltid ger samma ökning i ŷ

14 Hittills har vi antagit att alla är linjära, så att en ökning i x alltid ger samma ökning i ŷ. Men alla känner vi till där det antagandet inte stämmer

15 Hittills har vi antagit att alla är linjära, så att en ökning i x alltid ger samma ökning i ŷ. Men alla känner vi till där det antagandet inte stämmer. En person utvecklas mer mellan 2 och 4 år än mellan 30 och

16 Hittills har vi antagit att alla är linjära, så att en ökning i x alltid ger samma ökning i ŷ. Men alla känner vi till där det antagandet inte stämmer. En person utvecklas mer mellan 2 och 4 år än mellan 30 och 32. En ökning av inkomsten med kr betyder i de flesta avseenden mer för en student än för en höginkomsttagare

17 Ett avtagande innebär att en förändring i den oberoende variabeln x orsakar större förändringar i den beroende variabeln vid låga värden på x än vid höga värden på x

18 Ett avtagande innebär att en förändring i den oberoende variabeln x orsakar större förändringar i den beroende variabeln vid låga värden på x än vid höga värden på x. Exempel: BNP per capita och förväntad livslängd

19 Förväntad livslängd vid födseln (år) BNP per capita (USD) - 6 -

20 Logaritmering: bra att kunna hanteras ofta genom att man ersätter värdena på den beroende variabeln (x) med logaritmen av dessa värden (logx)

21 Logaritmering: bra att kunna hanteras ofta genom att man ersätter värdena på den beroende variabeln (x) med logaritmen av dessa värden (logx). När vi logaritmerar den oberoende variabeln analyserar vi effekten av relativa förändringar ( om x ökar med 100 procent ) i stället för absoluta förändringar ( om x ökar med 10 )

22 Logaritmering: bra att kunna hanteras ofta genom att man ersätter värdena på den beroende variabeln (x) med logaritmen av dessa värden (logx). När vi logaritmerar den oberoende variabeln analyserar vi effekten av relativa förändringar ( om x ökar med 100 procent ) i stället för absoluta förändringar ( om x ökar med 10 ). Valet att logaritmera kan motiveras både empiriskt ( passningen blir bättre ) och teoretiskt ( det är rimligt att en fördubbling av BNP orsakar en lika stor förändring i förväntad livslängd oavsett BNP-nivå )

23 Logaritmering: frivilligt att lära sig x log 2 x log 10 x En logaritm med basen k är samma sak som att fråga med vilken exponent måste k upphöjas för att anta värdet x

24 Logaritmering: frivilligt att lära sig x log 2 x log 10 x En logaritm med basen k är samma sak som att fråga med vilken exponent måste k upphöjas för att anta värdet x. När x fördubblas så ökar log 2 x med

25 Logaritmering: frivilligt att lära sig x log 2 x log 10 x En logaritm med basen k är samma sak som att fråga med vilken exponent måste k upphöjas för att anta värdet x. När x fördubblas så ökar log 2 x med 1. När x tiodubblas så ökar log 10 x med

26 Logaritmering: frivilligt att lära sig x log 2 x log 10 x En logaritm med basen k är samma sak som att fråga med vilken exponent måste k upphöjas för att anta värdet x. När x fördubblas så ökar log 2 x med 1. När x tiodubblas så ökar log 10 x med 1. Vilken bas vi använder påverkar inte formen på et mellan x och dess logaritm. Vår regressionslinje kommer därför se likadan ut oavsett bas

27 Variabeltransformationer Logaritmering: frivilligt att lära sig Logaritmen av x Värde på x - 9 -

28 Förväntad livslängd vid födseln (år) BNP per capita (USD)

29 Förväntad livslängd vid födseln (år) Logaritmerad BNP per capita

30 U-formade Många är formade som ett U eller ett upp och nervänt U

31 U-formade Många är formade som ett U eller ett upp och nervänt U. Det innebär att en ökning i den oberoende variabeln orsakar en positiv effekt i ett intervall och en negativ effekt i ett annat intervall

32 U-formade Många är formade som ett U eller ett upp och nervänt U. Det innebär att en ökning i den oberoende variabeln orsakar en positiv effekt i ett intervall och en negativ effekt i ett annat intervall. Exempel: Ökar sysselsättningsgraden när man blir äldre?

33 U-formade Många är formade som ett U eller ett upp och nervänt U. Det innebär att en ökning i den oberoende variabeln orsakar en positiv effekt i ett intervall och en negativ effekt i ett annat intervall. Exempel: Ökar sysselsättningsgraden när man blir äldre? Svar: Det beror på hur gammal man är

34 U-formade Procent av befolkningen Sysselsättningsgrad i olika åldersgrupper Ålder

35 U-formade Procent av befolkningen Sysselsättningsgrad i olika åldersgrupper Ålder

36 U-formade Procent av befolkningen Sysselsättningsgrad i olika åldersgrupper Ålder

37 U-formade För att tillåta U-formade inkluderar vi både x och x 2 i regressionsmodellen

38 U-formade För att tillåta U-formade inkluderar vi både x och x 2 i regressionsmodellen. Illustration: ŷ = x 0.1x

39 U-formade För att tillåta U-formade inkluderar vi både x och x 2 i regressionsmodellen. Illustration: ŷ = x 0.1x 2 När x ökar från 0 till 1 ökar 0.1x 2 bara med 0.1. ŷ ökar därför med 0.9 när x ökar från 0 till

40 U-formade För att tillåta U-formade inkluderar vi både x och x 2 i regressionsmodellen. Illustration: ŷ = x 0.1x 2 När x ökar från 0 till 1 ökar 0.1x 2 bara med 0.1. ŷ ökar därför med 0.9 när x ökar från 0 till 1. När x ökar från 9 till 10 ökar 0.1x 2 med 1.9 (från 8.1 till 10). ŷ minskar därför med 0.9 när x ökar från 0 till

41 Observationer med extrema variabelvärden kallas för outliers. Sådana observationer kan ha en avgörande effekt på regressionsresultaten. Anledning till det är att vår metod för att bestämma regressionslinjen OLS ger avvikande observationer stor betydelse

42 Tre typer av extremvärden ( outlierness ) Observationer med leverage är observationer som har ovanliga värden på de oberoende variablerna. Observationer som har ovanliga variabelvärden på den beroende variabeln givet värdena på de oberoende variablerna kallas för vertikala outliers eller regressionsoutliers. Vertikala outliers som dessutom har högt leverage kommer att ha stor påverkan på våra regressionsresultat. Den engelska termen för sådana observationer är influential observations

43 - 16 -

44 - 16 -

45 - 16 -

46 - 16 -

47 - 16 -

48 - 16 -

49 - 16 -

50 - 16 -

51 Om outliers är mätfel. Ta bort dem och berätta om det. Om vi inte är säkra på att de är mätfel, och det är tydligt vilka observationer som är outliers, redovisa resultat för regressioner både med och utan outliers. Diskutera hur resultaten skiljer sig åt. Om det inte är möjligt, använd något annat än OLS (långt bortanför vår kurs)

52 innebär att effekten av en förändring i x beror på värdet på x. innebär att en förändring i x har stora effekter på den beroende variabeln vid låga värden på x och små effekten vid stora värden på x. U-formade innebär att en variabel har en maxeller minimipunkt med avseende på en annan variabel. På varje sida av den punkten har effekten av en förändring i x olika tecken

53 Observationer som har extrema värden kallas för outliers. Sådana observationer kan ha en avgörande betydelse för våra regressionsresultat. Vi kan exkludera outliers om de orsakats av mätfel eller om vi anser att de är irrelevanta för den population vi intresserar oss för. Annars är det klokt att redovisa resultat både med och utan outliers