Repetitionsföreläsning

Transkript

1 Population / Urval / Inferens Repetitionsföreläsning Ett företag som tillverkar byxor gör ett experiment för att kontrollera kvalitén. Man väljer slumpmässigt ut 100 par som man utsätter för hård nötning och mäter den tid det tar innan byxorna går sönder. Populationen är alla byxor som företaget tillverkar och kommer att tillverka av denna modell. Urvalet är de 100 par man väljer att testa Inferens handlar om hur man med hjälp av information från ett urval kan dra slutsatser om populationen. En variabel kan mätas på 4 olika typer av skalor, som har en inbördes rangordning utifrån hur mycket information vi har tillgång till: 1. Nominalskala Innehåller minst information 2. Ordinalskala De olika utfallen kan rangordnas 3. Intervallskala De olika utfallen kan rangordnas och avståndet mellan utfallen har en innebörd. 4. Kvotskala De olika utfallen kan rangordnas, avståndet mellan utfallen har en innebörd och noll betyder avsaknad av egenskapen. Skaltypen avgör vilka beräkningar, diagram och statistiska test som vi kan använda. Vi kan alltid använda en metod som är avsedd för en lägre skaltyp men aldrig en metod som är avsedd för en högre skaltyp. Oftast är det dock ett sämre alternativ att välja en metod som är avsedd för en lägre skaltyp. Undersökning av en variabel. Skaltyp Test av Test metod Intervallskala eller kvotskala Ordinalskala eller nominalskala Ordinalskala eller nominalskala Medelvärde Andel som har ett visst utfall Fördelning över variabelns alla utfall Hypotestest på medelvärde från en population Hypotestest på andel från en population Chi 2 Men i de här fallen är det oftast bättre att göra konfidensintervall. Test av en hypotes om vilken av två variabler i en population som är störst, test av beroende urval. (Vi har en grupp och jämför två variabler i den gruppen, för varje individ har vi då två utfall och kan beräkna differensen mellan dem) Skaltyp Test av Test metod Intervallskala eller kvotskala Ordinalskala Ordinalskala Medelvärde av differenser Vilket tecken som har störst rangsumma Vilket tecken har flest observationer t test på beroende urval Wilcoxons teckenrangtest teckentest 1

2 Testerna på föregående 2 slide är i första hand deskriptiva test. Vi testar om en variabel i en population ser ut på ett visst sätt eller vilken av två variabler som är störst. (Testerna om vilken variabel som är störst kan dock användas för att undersöka samband, exempelvis om de båda variablerna är hälsotillstånd före respektive efter en behandling. Vi ska nu övergå till analytiska test, finns det ett samband mellan två variabler. Om den ena av dessa båda variabler är en variabel mätt på nominalskala, kan vi använda den för att dela in populationen i två eller flera grupper och se om dessa avviker från varandra med avseende på den andra variabeln. På nästa slide sammanfattas de olika tester vi har för att jämföra olika grupper. Vi kan dela in grupperna med hjälp av en variabel som är mätt på nominalskala, men även från variabler mätta på högre skaltyper. Nominalskala Ordinalskala Kvotskala Att jämföra oberoende urval/populationer 2 populationer Flera populationer Hypotestest på andelar från två populationer, Chi 2 i korstabell Wilcoxon rangsummetest Hypotesttest på medelvärde och/eller varians från två populationer Chi 2 i korstabell Kruska Wallis ANOVA testet Att undersöka samband mellan två variabler mätta på ordinalskala: Om vi vill testa om två variabler har ett samband där båda variablerna mäts på minst ordinalskala kan vi använda Spearmans korrelationskoefficient för att mäta styrkan i sambandet. Dock fångas enbart linjära samband av korrelationskoefficienter. I det här fallet kan vi också klassindela den ena variabeln, använda den för att dela in materialet i grupper och göra en Kruska Wallis. Det är en svagare test i den meningen att vi inte utnyttjar informationen om att utfallen kan rangordnas på den variabel vi använder till gruppindelning. Men vi kan fånga icke linjära samband och vi får resultaten redovisat per grupp. Vi kan också klassindela båda variablerna och använda chi2 i korstabell. Testen blir ännu svagare men vi får frekvenserna redovisade parvis för variablerna. Dessa tre tester kan komplettera varandra. Att undersöka samband mellan två variabler mätta på intervall eller kvotskala. Om vi vill testa om två variabler har ett samband där båda variablerna mäts på minst intervallskala kan vi använda pearssons korrelationskoefficient för att mäta styrkan i sambandet. Om vi kan utesluta en kausal påverkan i en av riktningarna, dvs om vi kan hävda att den ena variabeln är oberoende av den andra och därmed säga att det är den beroende variabeln som beror av oberoende kan vi beräkna hur stor den kausala effekten är genom att beräkna en regressionskoefficient. Men hjälp av en multipel regressionsmodell kan vi beräkna storleken på den kausala effekten från var och en av de oberoende variablerna givet att övriga oberoende variabler är oförändrade. Detta är vår kaxigaste metod. Vi säger inte enbart att det finns ett samband utan beräknar också storleken på kausala effekter. Därmed behöver vi starka antaganden som ska vara uppfyllda och intervall eller kvotskala på variablerna. (Eller dummyvariabler som oberoende variabler) Några exempel på metodval: Övning 19d, icke parametriska Erbjuder de hotell som tillhör en kedja mer eller mindre relevant kompetensutbildning till sin personal? nominalskala ordinalskala 2

3 Att jämföra oberoende urval/populationer Några exempel på metodval: Nominalskala Ordinalskala Kvotskala 2 populationer Flera populationer Hypotestest på andelar från två populationer, Chi 2 i korstabell Wilcoxon rangsummetest Hypotesttest på medelvärde eller varians från två populationer Chi 2 i korstabell Kruska Wallis ANOVA testet Övning 19c, icke parametriska Är yngre anställda mer eller mindre nöjda med relevansen i den kompetensutbildning som arbetsgivarna arbjuder kvotskala ordinalskala Spearmans rangkorrelationskoefficient är möjlig eftersom båda variablerna har minst ordinalskala. (Dock ej pearsons korrelationskoefficient) Om sambandet är icke linjärt kan Kruska Wallis avslöja att de i mellangruppen anser kompetensutbildningen mindre relevant. (I så fall delar i in åldersgrupper) Några exempel på metodval: Övning 19b, icke parametriska Har stora hotell yngre anställda än små hotell? kvotskala Vi kan använda regressionsanalys eftersom båda variablerna har kvotskala. Om sambandet är icke linjärt kan vi prova en kvadratisk modell eller en log linjär modell. (Vi kan dela in hotellen i grupper efter hur många anställda de har och göra ANOVA analys eller klassindela båda och göra korstabell, men eftersom regressionsanalys är vår kraftfullaste metod är det svårt att argumentera för något annat.) En forskare vill undersöka om det går att lindra huvudvärk med hjälp av en ny behandling. Han drar ett slumpmässigt urval av 11 patienter som har sökt för problem med återkommande huvudvärk. Patienterna får ange sina huvudvärksproblem på en skala mellan 1 och 10, där 10 är stora problem och 1 små problem, före respektive efter en tioveckors behandling med den nya metoden. Gör en hypotestest för att se om vi kan bevisa att behandlingen har effekt på huvudvärk. Använd 5 % signifikansnivå. : Behandlingen har ingen effekt på huvudvärk. : Huvudvärken antingen förbättras eller försämras av behandlingen. Här har vi två variabler mätta på ordinalskala, men vi ska inte se om de korrelerar utan om den ena är större än den andra. Därför är det inte spearmans korrelationskoefficient i det här fallet. Test av en hypotes om vilken av två variabler i en population som är störst, test av beroende urval. (Vi har en grupp och jämför två variabler i den gruppen, för varje individ har vi då två utfall och kan beräkna differensen mellan dem) Att använda Chi 2 på korstabeller i RCommander Välj Contingency tables / Two way table i Statistics menyn. Skaltyp Hypotes om Test metod Finns det något samband mellan kedjetillhörighet och lokalisering? Intervallskala eller kvotskala Medelvärde av differenser t test på beroende urval Skiljer sig kedjornas marknadsandelar åt mellan Pennsylvania och New Jersey? Ordinalskala Vilket tecken som har störst rangsumma Wilcoxons teckenrangtest Ordinalskala Vilket tecken har flest observationer teckentest 3

4 Att använda Chi 2 på korstabeller i RCommander Välj Contingency tables / Two way table i Statistics menyn. Att använda Chi 2 på korstabeller i RCommander Ange vilken variabel du vill ha i raderna Bocka för Chi square test of independence Bocka för Print expected frequencies Ange vilken variabel du vill ha i kolumnerna. Vi kan prova en korstabell med relativa frekvenser, Bocka för Row percentage H 0 : Lokalisering och kedjetillhörighet är oberoende variabler. H 1 : Lokalisering och kedjetillhörighet är beroende variabler. Förväntade frekvenser under H 0 New jersey Pennsylvania total Burger King 124,7 30,3 155 King Fried Chicken 61,9 15,1 77 Roy Roger 68,4 16,6 85 Wendys 45,0 11,0 56 total f 0 f e f 0 f e BK NJ BK PENN KFC NJ KFC PENN RR NJ RR PENN WENDYS NJ WENDYS PENN totalt I en uppsats klistrar vi inte in datautskriften utan gör en tabell ungefär så här, p värdet anges i undertexten till tabellen eller direkt i texten. 4

5 I en uppsats klistrar vi inte in datautskriften utan gör en tabell ungefär så här, p värdet anges i undertexten till tabellen eller direkt i texten. Spearmans rangkorrelationskoefficient i R Commander Om Chi 2 analysen hade varit signifikant hade det varit bra med en korstabell med relativa frekvenser, nu är det lite överflödigt eftersom vi inte bevisat några skillnader. Analys av ordinaldata Wilcoxon teckenrangtest för beroende urval (Signed-Rank Test for dependent samples) En forskare vill undersöka om det går att lindra huvudvärk med hjälp av en ny behandling. Han drar ett slumpmässigt urval av 11 patienter som har sökt för problem med återkommande huvudvärk. Patienterna får ange sina huvudvärksproblem på en skala mellan 1 och 10, där 10 är stora problem och 1 små problem, före respektive efter en tioveckors behandling med den nya metoden. Gör en hypotestest för att se om vi kan bevisa att behandlingen har effekt på huvudvärk. Använd 5 % signifikansnivå. : Behandlingen har ingen effekt på huvudvärk. : Huvudvärken antingen förbättras eller försämras av behandlingen. Vi kan se att 6 av 9 personer upplevde en förbättring före efter Diff Absolut diff Rank R+ R ,5 7, ,5 7, Summa 36 9 Wilcoxon teckenrangtest i R Commander Paired Wilcoxon test Välj de variabler vi ska jämföra, i detta fall before and after. 5

6 I en enkätundersökning om elbesparing ställdes bl a följande frågor Hur stor var den uppskattade elförbrukningen för hushållet under år 2009? Här fick man välja mellan ett antal olika förbrukningsmängder men kunde också kryssa i vet ej. Jag har vidtagit följande energibesparande åtgärder. Jag använder alltid lågenergilampor Rangordna från 1 till 7 där Inte alls (1) Alltid (7) Hypoteser: H 0 : De som känner till sin elförbrukning använder lågenergilampor i lika stor utsträckning som de som inte känner till sin elförbrukning. H 1 : De som känner till sin elförbrukning använder lågenergilampor i större eller mindre utsträckning än de som inte känner till sin elförbrukning. Är det så att de som vet hur mycket el de förbrukar använder lågenergilampor i större utsträckning? Om man är intresserad av energibesparing borde man veta hur mycket el man gör åt och man borde använda lågenergilampor 6

7 Wilcoxon rangsummetest i RCommander Välj Nonparametric tests / Two sample Wilcoxon test i Statistics menyn Wilcoxon rangsummetest i RCommander Välj Nonparametric tests / Two sample Wilcoxon test i Statistics menyn Användning av lågenergilampor Vet sin elförbrukning Jämförelser av flera oberoende urval vid ordinaldata: Kruskal Wallis test, Analysis av variances by ranks När vi testade medelvärden från flera olika populationer med hjälp av ANOVA test, var det ett krav att variabeln var mätt på kvotskala. Om variabeln är mätt på ordinalskala kan vi inte använda det testet, ett alternativ är då att använda Kruska Wallis test. Låt oss ta ett exempel från samma enkätundersökning om elbesparing men nu använder vi alla svaren från de som visste sin elförbrukning och delar in dem i tre grupper utifrån sysselsättning: arbetar, studerar och övriga. H 0 : De 3 grupperna använder lågenergilampor i lika stor utsträckning. H 1 : Minst 1 grupp avviker i användningen av lågenergilampor. Kruskal Wallis test i RCommander Välj Nonparametric tests / Kruska Wallis test i Statistics menyn Vi kan dela in grupperna efter sysselsättning istället. F_5A I vilken utsträckning använder du lågenergilampor? F_12tre Sysselsättning Kruskal Wallis test i RCommander Välj Nonparametric tests / Kruska Wallis test i Statistics menyn Vi kan testa frågan om att släcka lampor istället. F_5B I vilken utsträckning släcker du alla lampor i rum där ingen är? F_12tre Sysselsättning 7

8 Sammanfattning av regressionsanalys: Att tolka regressionskoefficienterna Om den beroende variabeln är en icke logaritmerad variabel och den oberoende variabeln är: En vanlig kvantitativ variabel: Ökningen av Y när X ökar med en enhet, vid oförändrade värden på övriga oberoende variabler. En dummy variabel: Skillnaden i Y jämfört med referenskategorin, vid oförändrade värden på övriga oberoende variabler. En kvadrerad variabel. Parametern före den okvadrerade variabeln ger oss effekten av X på Y när X är lågt. Parametern före den kvadrerade variabeln ger oss förändringen av effekten av X på Y när X ökar. Sammanfattning av regressionsanalys: Att tolka regressionskoefficienterna Om den beroende variabeln är en logaritmerad variabel och den oberoende variabeln är: Också en logaritmerad variabel Den procentuella ökningen av Y när X ökar en procent, vid oförändrade värden på övriga oberoende variabler. En vanlig kvantitativ variabel: Antilog av koefficienten minus ett och multiplicerat med hundra ger oss den procentuella ökningen av Y när X ökar en enhet, vid oförändrade värden på övriga oberoende variabler. En dummy variabel: Antilog av koefficienten minus ett och multiplicerat med hundra ger oss den procentuella skillnaden i Y jämfört med referenskategorin, vid oförändrade värden på övriga oberoende variabler. Sammanfattning av regressionsanalys: 3,2 1,5 0,11 10, 1,29 Om x 1 ökar med en procent ökar y med 1,5 procent, vid oförändrade värden på övriga oberoende variabler. Om x 2 ökar med en enhet ökar y med 29 procent, vid oförändrade värden på övriga oberoende variabler. Om x 2 är en dummy: skillnaden mot referenskategorin är 29 procent, vid oförändrade värden på övriga oberoende variabler. Att tolka regressionskoefficienter när variablerna är andelar. Y = antal allergiker per invånare. X = antal personer som bor i städer per invånare Att tolka regressionskoefficienter när variablerna är andelar. Y = andel allergiker. X = andel som bor i städer. tolkas som ökningen av antal allergiker per invånare, om andelen som bor i städer ökar med 1 person per invånare. tolkas som ökningen av andelen allergiker om andelen som bor i städer ökar med 1. Dock en lite märklig tolkning eftersom en andel knappast kan öka med ett. Bättre att dela med 10 (eller hundra) och göra tolkningen om andelen som bor i städer ökar med en tiondel (eller en hundradel, dvs en procentenhet). 8

9 Att tolka regressionskoefficienter när variablerna är andelar. Y = andel allergiker, procent. X = andel som bor i städer, procent. tolkas som ökningen av andelen allergiker uttryckt i procentenheter om andelen som bor i städer ökar med en procentenhet. log log tolkas som procentuella ökningen av andelen allergiker om andelen som bor i städer ökar med en procent. Antag att vi får följande resultat: 0,4 Om andelen som bor i städer ökar med en procentenhet ökar andelen allergiker med 0,4 procentenheter. log 4 log Om andelen som bor i städer ökar med en procent ökar andelen allergiker med fyra procent. I ett land där 50 % av befolkningen bor i städer och 5 % är allergiker innebär första regressionsmodellen att: Om andelen som bor i städer ökar till 51 % ökar andelen allergiker till 5,4 % Andra regressionsmodellen att Om andelen som bor i städer ökar till 50,5 % ökar andelen allergiker till 5,2 % ( 51% => 5,4% ) Problem som kan uppstå vid regressionsanalys. Ej normalfördelade residualer Heteroskedasticitet Endogenitet Multikollinearitet Felspecificerad modell linjär icke linjär felaktigt utelämnade oberoende variabler Sannolikhetslära Sannolikhet är ett tal mellan noll och ett som beskriver hur stor chans det är att något händer. Olika sätt att bestämma sannolikheter Klassisk sannolikhetsteori Fungerar enbart om alla utfall har samma sannolikhet Olika sätt att bestämma sannolikheter Empirisk sannolikhetsteori Baseras på historiska realiserade utfall. Sannolikheten för ett specifikt utfall: 1 ö Sannolikheten för en händelse: å ä ö Sannolikheten för en händelse: å ä å ö The law of large numbers : Ju fler gånger ett försök utförs desto säkrare blir den empiriska sannolikheten 9

10 Räkneregler för sannolikheter Slumpvariabel - random variable. En kvantitet (eller kategori) som är resultatet av ett experiment och som kan anta olika värden. Diskret slumpvariabel - discrete random variable. En slumpvariabel som enbart kan anta vissa distinkta värden. Kontinuerlig slumpvariabel - continous random variable. En slumpvariabel som kan anta alla värden inom ett intervall. Egenskaper hos en sannolikhetsfördelning. En sannolikhetsfördelning är ett sätt att visa en slumpvariabels alla utfall och de olika utfallens sannolikheter. Sannolikheten för ett enskilt utfall är ett tal mellan 0 och 1. Utfallen är ömsesidigt uteslutande händelser. Summan av sannolikheten för alla möjliga utfall är 1 Några specialfall av diskreta sannolikhetsföredelningar: Uniform diskret sannolikhetsfördelning. Alla utfall har samma sannolikhet Binomial sannolikhetsfördelning Vi räknar något och sannolikheten att det vi räknar ska uppkomma är hela tiden densamma Hypergeometrisk sannolikhetsfördelning Vi tar ett urval av en population utan återläggning och räknar antalet som har en viss egenskap Poisson fördelningen ingår ej i kursen Kontinuerliga sannolikhetsfördelningar 1. Uniform sannolikhetsfördelning 2. Normalfördelning Sannolikhetsfunktion för en uniform fördelning. (Density function) Sannolikheten att x hamnar mellan c och d är lika med den andel av arean som ligger mellan c och d. 3. Exponentialfördelning 1 b - a P c x d d - c b - a Senare kommer vi att gå igenom fler kontinuerliga sannolikhetsfördelningar: fördelningen Chi2 fördelningen F fördelningen a c d b 10

11 The Empirical Rule Vad är sannolikheten att ur den standardiserade normalfördelningen dra ett tal som är mindre än 2? Ett annat exempel: Vad är sannolikheten att ur den standardiserade normalfördelningen dra ett tal som är mindre än minus 1, Alla normalfördelningar kan konverteras till den standardiserade normalfördelningen. Exempel på beräkning Antag att svenska kroppslängden hos svenska män är normalfördelad med medelvärdet 181 cm och standardavvikelsen 6 cm. Kroppslängden hos svenska män kan noteras som: 181,6 Hur stor andel av svenska män är längre än cm? 187, ,4 z 1, P x P z 1, P 0 z 1,07 11

12 Alla normalfördelningar kan konverteras till den standardiserade normalfördelningen. Exempel på beräkning Antag att svenska kroppslängden hos svenska män är normalfördelad med medelvärdet 181 cm och standardavvikelsen 6 cm. Hur stor andel av svenska män är längre än cm? Kroppslängden hos svensk män kan noteras som: 181,6 187, ,4 z 1, P x P z 1, P 0 z 1, % av svenska män är längre än cm Beräkning av index över sysselsättningen i Sverige år antal sysselsatta Index , , , , , , Laspeyre Prisindex, Där: 100. p 0 = Pris vid tidpunkt 0. p t = Pris vid tidpunkt t. q 0 = Kvantitet vid tidpunkt 0. q t = Kvantitet vid tidpunkt t Paasches Prisindex, 100 Det år då indexet sätts till 100 kallas basår, i det här fallet Jordgubbar Pris per liter Jordgubbar Antal sålda liter Yougurt Pris per liter Yougurt Antal sålda liter Laspeyres År 1 År 2 prisökning % % Paasche År A B 1 2% 1% 2 1.5% 0.5% 3 2.5% 1% 4 3% -0.5% 5 2% 1% 6 1% 1.5% Principen för kedjeindex Antag att A och B är två variabler för vilka vi inte känner nivån men vet den årliga förändringen. Årlig förändring Index serier, basår:1 År A B ,5 100, ,0 101, ,2 101, ,3 102, ,4 103,5 107,2 1,02 101,5 0,995 12

13 Användning av prisindex ö ö 100 ä ä ä