S0004M F7 Urval och experiment. Introduktion. Syfte och användning

Transkript

1 S0004M F7 Urval och experiment Introduktion Den process som har till uppgift att producera de data som kunskapsbildningen behöver kallar vi databildningsprocessen 2 Syfte och användning Dataproducenten bör alltid tydligt ange för vilket syfte och för vilken användning primärdata producerats Användare av sekundärdata bör alltid fråga sig om data är användbara för det syfte och den användning som hon/han har tänkt sig 1

2 Definitioner Dataproducenten bör alltid ange hur begrepp och variabler är definierade Datakonsumenten bör alltid fråga sig om De egna definitionerna överensstämmer med producentens definitioner De egna definitionerna eventuellt kan anpassas till producentens definitioner Datakvalitet och felkällor Datainsamlingen måste var anpassad till den teori man har om problemområdet Teorier om dataanalys påverkar mätinstrumentets utformning och konstruktion Teorier om problemområdet Teorier om dataanalys Verklighet Mätinstrument Data 6 2

3 Jämförbarhet med annan statistik Producenten bör i tillämpliga fall ange jämförbarhet med t.ex. annan statistik inom samma arbetsområde En konsument som vill göra jämförelser måste alltid fråga sig om producentens definitioner, mätmetoder, etc. möjliggör sådana jämförelser Jämförbarhet över tiden Producenten bör alltid ange ändringar i definitioner, mätmetoder, etc. som försvårar jämförbarhet över tiden Konsumenten måste alltid noga kontrollera definitioner, mätmetoder, etc. innan jämförelser görs över tiden (t.ex. vid bildandet av tidsserier) Bias (bias, systematiskt fel) The design of a study is biased if it systematically favors certain outcames. 9 3

4 Experimentella och ickeexperimentella undersökningar Experimentella undersökningar: Behandling. Försöksenheterna utsätts för vissa behandlingar i avsikt att studera effekten av dessa behandlingar Ickeexperimentella undersökningar, observationsundersökningar. Undersökningsenheter eller händelseförlopp påverkas ej på något sätt. Behandlingarna i den experimentella studien ersätts av passivt observerande. 10 Mera om experimentella studier Typiskt för experimentella studier är Upprepbarhet. Experimentet kan upprepas ett önskat antal gånger Randomisering. Försöksenheterna fördelas slumpmässigt på olika behandlingar Dubbelblinda försök. Då försöksenheterna är människor vet i regel varken försökspersonen eller den som ger behandlingen vilken behandling försökspersonen får. Experimentella studier är i regel att föredra om man vill undersöka effekten av någon förklaringsvariabel på någon responsvariabel, eftersom det med en icke experimentell ansats kan vara svårt att särskilja effekten av förklaringsvariabeln från effekter av andra faktorer 11 Randomisering Randomisering innebär att slumpen avgör vilken behandling en undersökningsenhet tilldelas Genom randomisering undviks systematiska fel Randomisering medför att effekten av en eventuell behandling med hög grad av säkerhet och precision kan fastställas med hjälp av statistikteori Hur randomiserar man? Slumpgenerator i Minitab, SPSS, Matlab, Excel, etc. 12 4

5 Block designs In a block, or stratified, design, subjects are divided into groups, or blocks, prior to experiments to test hypotheses about differences between the groups. The blocking, or stratification, here is by gender. Generaliserbarhet Ett problem vid experimentella studier är att undersökningsenheterna inte alltid är slumpmässigt utvalda ur någon väldefinierad population och att därför de resultat som erhålls, i strikt mening, endast gäller för de som ingår i försöket I sådana fall måste generaliseringar utöver undersökningsenheterna bygga på icke statistiska argument 14 Brist på realism Försöken utförs ibland i en miljö som ej är verklig. Detta innebär också ett generaliseringsproblem. Det är inte säkert att en individ reagerar likadant i ett laboratorium som i verkligheten. 15 5

6 Urvalsundersökningar Varför urvalsundersökning i stället för totalundersökning? Billigare Snabbare Bättre mätning Praktiskt omöjligt med totalundersökning då populationen är mycket stor eller oändlig Förstörande prov 16 Olika typer av urval Lättåtkomliga element Frivilliga svar Frivilliga försökspersoner Sannolikhetsurval 17 Sannolikhetsurval Urvalsenheterna väljs med hjälp av någon slumpmekanism För varje enhet är sannolikheten för att inkluderas i urvalet känd 18 6

7 Med sannolikhetsurval kan man... ge objektiva mått på undersökningsresultatens precision utforma en teori för effektiv undersökningsplanering på förhand göra objektiva jämförelser mellan olika urvalsplaner på förhand uppskatta erforderliga urvalsstorlekar för att uppnå önskad precision 19 Olika typer av sannolikhetsurval Obundet slumpmässigt urval (OSU). Engelska: Simpel Random Sample (SRS) Systematiskt urval Stratifierat urval Klusterurval 20 Obundet slumpmässigt urval Vid varje dragning av en enhet har de i populationen kvarvarande enheterna samma sannolikhet att bli valda Vid OSU av n enheter har alla möjliga kombinationer av n enheter samma chans att bli valda 21 7

8 Stratifierat urval Populationen delas in i strata och ett OSU dras ur varje stratum Skäl: Om resultatet skall redovisas för varje stratum kan urvalsstorlekarna för varje stratum avpassas så att vissa precisionskrav uppfylles utan att man erhåller överflödiga observationer från vissa strata 22 Skattningar av populationsparametrar (t.ex. populationsmedelvärdet) kan göras med bättre precision än vid ett OSU, om bara stratifieringsvariabeln är bra (homogent inom strata, heterogent mellan strata) 23 Gruppurval (klusterurval) Populationen delas in i grupper (kluster) av enheter. Ett antal sådan kluster väljs slumpmässigt. Samtliga enheter inom ett kluster undersöks. Skäl: Ramproblem Geografisk spridning Kostnader 24 8

9 Mätning En tilldelning av tal till undersökningsenheterna på ett sådant sätt att vissa relationer mellan enheterna, med avseende på någon egenskap, avspeglas i relationer mellan talen Mätnivåer (skalnivåer) Nominal Endast klassificering Ordinal Klassificering och rangordning Intervall Klassificering, rangordning och ekvidistans Kvot Klassificering, rangordning, ekvidistans och absolut nollpunkt 26 Operationalisering Operationalisering av en variabel innebär en beskrivning av hur man skall gå tillväga, vilka operationer man måste utföra, för att kunna göra mätningen. Operationalisering innebär således att mätregler definieras. 27 9

10 Latenta variabler och indikatorer En latent variabel är en egenskap som ej är direkt observerbar (t ex attityd, livskvalitet, verbal förmåga etc) En indikator är en observerbar (manifest) variabel som används vid mätning av en latent variabel (brukar används flera indikatorer för mätning av en latent variabel: t ex ett helt batteri av test eller frågor för att mäta intelligens) 28 Mätmetoder Mätmetoden är det sätt på vilket man skaffar information om undersökningsvariablerna. Det finns många olika mätmetoder Bokföring Direkt observation Postenkäter Gruppenkäter Besöksenkäter Telefonintervjuer Besöksintervjuer Reliabilitet Grad av överensstämmelse mellan upprepade mätningar med samma mätinstrument på samma undersökningsenhet. Sikta på mätinstrument med hög reliabilitet

11 Validitet Mätinstrumentet mäter vad det avser att mäta Överensstämmelse mellan teoretisk och operationell definition Frånvaro av systematiska mätfel Sikta på mätinstrument med hög validitet. 31 Aktualitet Producenten bör alltid ange hur aktuella uppgifterna är. Är de reviderade eller preliminära? Konsumenten måste fundera över hur aktuella uppgifter som behövs. Preliminära uppgifter är mera aktuella men kan brista i noggrannhet Täckningsfel Övertäckning Urvalsramen innehåller individer som ej finns med i målpopulationen Undertäckning Urvalsramen saknar individer som finns med i målpopulationen Uppstår i samband med flytt Kan ge upphov till systematiska fel (bias) 33 11

12 Bortfallsfel Individbortfall innebär att man från en eller flera individer ej får något svar på t.ex. en postenkät Partiellt bortfall innebär svarsvägran på vissa frågor Kan ge stora systematiska fel 34 Mätfel Mätfel som beror på respondenten Respondenten kan vara okunnig om det sanna värdet Glömska. En del händelser kommer man inte ihåg. Andra kommer man ihåg men placerar fel i tiden. Känsliga frågor. Det kan vara svårt att få korrekta svar på frågor om sådant som konsumtion av droger, respondentens sexliv, etc. Prestigeladdade frågor. Exempel på denna typ av frågor är frågor om hur mycket man konsumerar av olika slag av finkultur. Leder till s.k. prestigebias. Egenintresse. Ibland kan det ligga i respondentens intresse att svara på ett visst sätt eftersom man vet att resultatet av undersökningen kan leda till att t.ex. politiker eller andra beslutsfattare agerar på ett för respondenten önskvärt sätt. 35 Mätfel som beror på intervjuaren Exempelvis så kan intervjuarens uppträdande påverka resultatet (intervjuareffekt). Mätfel som beror på mätmetoden Olika mätmetoder (besöksintervju, telefonintervju, postenkät, etc) kan ge olika resultat. Exempelvis så ger ofta postenkäter sannare svar på känsliga frågor. Mätfel som beror på frågeformuläret Oklara frågeformuleringar och definitioner, dåliga anvisningar, etc. kan ge upphov till stora systematiska fel. Även antalet frågor kan ha betydelse för kvaliteten på de data man får. Enkäter som tar lång tid att fylla i leder t.ex. i regel till större bortfall

13 Kodningsfel Tabuleringsfel Bearbetningsfel 37 Urvalsfel Uppstår när man studerar ett urval i stället för hela populationen Slumpmässigt och möjligt att uppskatta om urvalet görs korrekt 38 Checklista för konstruktion av frågeformulär Är språket enkelt? Kan frågan göras kortare? Är frågan tillräckligt exakt formulerad? Är frågan negerad? Är frågan ledande eller prestigeledande? Kommer viktigaste ledet i frågan sist? Är frågan relevant för alla? Har alla respondenter information nog för att besvara frågan? Kan frågan delas upp i två eller flera frågor? Är svarsalternativen uttömmande? Är svarsalternativen varandra uteslutande? Kommer svarsalternativen i samma ordningsföljd på frågor med samma alternativ? Är ordningsföljden mellan frågor lämplig? Är uppdelningen på block lämplig? (OBS! Undvik detta om möjligt!) Är det möjligt att slopa några frågor? Läs Svårt att ställa bra frågor på Fronter 39 13

14 Några exempel på syfte Vi är fem ekonomie kandidat som ska genomföra en studie i syfte att ta reda på hur studenter finansierar sin studietid. Till vår hjälp har vi utformat en enkät som vi hoppas att Du vill svara på. Enkäten tar ca 5 minuter att besvara. Naturligtvis är enkäten anonym. Tack på förhand! Matkostander bland studenter Mat är något som krävs för att en människa ska kunna överleva. Utöver överlevnad ger bra kostvanor ett välbefinnande som ger ökad arbetskapacitet vilket kan vara av stor vikt för studenter. Men hur ser matvanorna ut hos studenter där tid och pengar kan vara en bristande faktor, och finns det en skillnad mellan kvinnliga och manliga studenters matvanor. 40 Frågor att diskutera vid enkätseminariet (Sem 3) Kommer syftet att besvaras med hjälp av enkäten? För varje fråga i enkäten ska ni undersöka om: Är frågan relevant för studien? Kan frågan misstolkas? Finns ett svarsalternativ för alla? Är frågan tydligt definierad i tid och rum? 41 Frågeformulering är en konst. Här kommer några exempel på enkätfrågor. Diskutera om frågeformuleringarna och svarsalternativen är lämpliga eller inte? Var kritisk. Ge eventuella förslag på hur de kan förbättras. a) Brukar du läsa böcker? Ja Nej b) Har du ofta, ibland eller aldrig haft skuldkänslor för att du varit otrogen mot din partner? Ofta Ibland Aldrig c) Föredrar du att gå på Norrlandsoperan framför att gå på bio om du vill gå ut en kväll? Ja Nej d) Bör man inte sätta upp vägbulor för att få ner hastigheten på Bovikenvägen? Ja Nej e) Tycker du att vår nuvarande finansminister gör ett bra jobb? Ja Nej 42 14

15 Enkät (exempel) Ekonomstudenters användande av sociala medier Vi skulle vara tacksamma om du kunde svara på nedanstående enkätundersökning. Ringa in dina svar på givna svarsalternativ. Svaren kommer att behandlas anonymt. 1. Kön: Man Kvinna 2. Använder du någon/några av dessa sociala medier? Facebook: Ja Nej Instagram: Ja Nej Twitter: Ja Nej Om du svarade nej på samtliga alternativ i fråga 2 behöver du inte besvara resterande frågor, om du svarat ja på någon/några av ovanstående alternativ var vänlig och fortsätt att besvara enkäten. 3. Hur ofta besöker du Facebook? Aldrig Veckovis 1-5 ggr/dag 6-10 ggr/dag Fler än 10 ggr/dag 4. Vilket av följande alternativ stämmer bäst överens med dig angående ditt Facebook-användande? Spionen Like aren Statusuppdateraren Kommenteraren Bilduppläggaren 5. Hur ofta besöker du Instagram? Aldrig Veckovis 1-5 ggr/dag 6-10 ggr/dag Fler än 10 ggr/dag 6. Hur ofta publicerar du bilder på Instagram? Aldrig Veckovis Dagligen Flera gånger om dagen 7. Hur ofta besöker du Twitter? Aldrig Veckovis 1-5 ggr/dag 6-10 ggr/dag Fler än 10 ggr/dag 8. Hur ofta publicerar du något på Twitter? Aldrig Veckovis Dagligen Flera gånger om dagen 9. Har du en smartphone? Ja Nej 10. Om ja, har din smartphone bidragit till en ökad användning av sociala medier? Ja Nej Vet ej Stort tack för din medverkan! 43 15