Att skriva och utvärdera frågor till en statistisk undersökning Fredrik Scheffer Enheten för mätteknik SCB fredrik.scheffer@scb.se
Att skriva och utvärdera frågor till en statistisk undersökning Mätinstrumentet Några olika typer av frågor Svarsalternativ/skalor Test och utvärdering av frågor
Mätinstrumentet?
Mätinstrumentet Kommunikation via språket (tal/skrift) = Frågekonstruktör Uppgiftslämnare 2011-05-06 4
Mätinstrumentet Kommunikation via språket (tal/skrift) = Frågekonstruktör Uppgiftslämnare 2011-05-06 5
Svarsprocess (Fyrstegsmodellen CASM-modellen (Tourangeau 1984)) Förstå fråga Finna svar Bedöma svaret Avge svaret
Frågorna är viktiga! Jag förstår inte vad de menar i den där frågan. Jag chansar på något. De där uppgifterna finns inte i den enheten i våra system Det där vill jag inte svara på. Jag hoppar över frågan
Frågekonstruktion Frågan ska vara: enkel, kort, rak och begripligt formulerad (som en fråga). Frågan ska förstås av ALLA! Frågan ska vara neutral. Betrakta blanketten som ett samtal (som genomförs standardiserat)
Några olika frågetyper (att fundera kring) - Direkta frågor - Attitydfrågor - Påståendefrågor
Direkta frågor Hur många barn har du? Inga 1 2 3 4
Barn? Räknas sambos barn? Måste de vara hemmaboende? Ingår de som är över 18 och myndiga? Hur många barn har du? 2011-05-06 11
Tid och rum 1 Ja Läser du kvällstidningar? 2 Nej Hur länge har du bott här? Sedan år:..
Tid och rum 1 Ja Brukar du läsa kvällstidningar minst 5 dagar i veckan? ( eller... någon gång/hur ofta...) 2 Nej Hur länge har du bott i den här kommunen? Sedan år:..
Mer än en fråga Har du bytt arbetsgivare och arbetsplats under det senaste året? 1 Ja 2 Nej
Vag fråga - svåranalyserad Hur ofta brukar du sola på sommaren? (Hur många gånger per vecka eller månad)? 1 Mer än 2 gånger i veckan 2 1-2 gånger i veckan 3 2-3 gånger i månaden 4 1 gång i månaden eller mindre 5 Aldrig 6 Vet ej
Som man frågar får man svar Tänk igenom fråga för fråga Kan alla svara på den? Uppfattar alla frågan på samma sätt? Sunt förnuft
Attitydfrågor
Attitydfrågor Att fråga efter någons attityd/åsikt/inställning till någonting
Attitydfrågor Två typer av attityder Stabila Temporära
Attitydfrågor Stabila The filedrawer model (Wilson & Hodges 1992) Antaganden: Attityder finns redan Attityder är stabila
Attitydfrågor Temporära Skapa en åsikt här och nu Förstå fråga Finna Skapa svar Bedöma svar Avge svar
Attitydfrågor Temporära Skapa en åsikt här och nu Perifer info blir viktigt: Frågekontext Frågeordning Andra omständigheter = osäkra mätningar(?)
Attitydfrågor problem Frågans syfte & fokus Är det bra eller dåligt om du får möjlighet att välja mellan vård på ett privat sjukhus och vård på ett sjukhus som drivs av landstinget, förutsatt att det inte kostar mer på det privata sjukhuset? Tycker du det vore bra eller inte bra om också privata företag kunde äga och driva sjukhus om kostnaden för patienten vore densamma? Tycker du att privatägda företag ska få driva sjukhus med vinst, som kan tas ut ur verksamheten?
Attitydfrågor problem Frågans syfte & fokus Är det bra eller dåligt om du får möjlighet att välja mellan vård på ett privat sjukhus och vård på ett sjukhus som drivs av landstinget, förutsatt att det inte kostar mer på det privata sjukhuset? Bra 81% Tycker du det vore bra eller inte bra om också privata företag kunde äga och driva sjukhus om kostnaden för patienten vore densamma? Bra 56% Tycker du att privatägda företag ska få driva sjukhus med vinst, som kan tas ut ur verksamheten? Ja 30%
Att tänka på: (Wärneryd m.fl.) Attitydfrågor Temporära (och stabila) Var försiktig med att fråga om ämnen som folk inte intresserat sig för Var försiktig med att dra slutsatser från svaren på enstaka frågor Ej ja/nej-frågor
Frågor i påståendeform
Frågor i påståendeform Frågor i påståendeform ÄR problematiskt
Frågor i påståendeform Varför fungerar det dåligt? Hypotetiska situationer Uppmuntrar till acquiescence (benägenhet att hålla med) Osäkrare på sina svar Svårt att utforma neutrala påståenden Inte lika förpliktigande
Frågor i påståendeform När fungerar det? Riktiga påståenden, aktuella och som alla kan förväntas ha en uppfattning om När ämnet är känsligt Bättre för attityder/värderingar än för rena faktafrågor
Frågor om det förflutna Det första man bör fråga sig är om respondenterna kan förväntas ha uppmärksammat det man frågar efter överhuvudtaget. Hur många bilar passerade dig på vägen till jobbet imorse? Minnet är inte ett fotoalbum med objektiva bilder som förblir oförändrade över tid! Hur långt tillbaka kan man fråga om då? Det beror på vad man frågar efter. Riktlinjer: Framträdande händelser (större inköp, sjukhusvistelser, viktiga livshändelser etc) = kan minnas många år senare Vardagliga händelser (matinköp, motionerande etc) = Få veckor
Svarsalternativ 1 Grundregler 2 Svarsskalor 3 Antal skalsteg? 4 Mittenalternativ? 5 Vet inte/ingen åsikt/ej aktuellt
Svarsalternativ Grundregler 1 Ömsesidigt uteslutande 2 Uttömmande 3 Överblickbara 4 Jämna skalsteg 5 Ett svar på frågan
Svarsalternativ 1 Grundregler 2 Svarsskalor 3 Antal skalsteg? 4 Mittenalternativ? 5 Vet inte/ingen åsikt/ej aktuellt
Svarsskalor Konsekvens i blanketten om möjligt Verbaliserade alternativ (undantag) Jämna skalsteg
Frågor i påståendeform Bipolär unipolär skala Tomater är röda Instämmer helt Instämmer delvis Varken instämmer eller tar avstånd Tar delvis avstånd Instämmer helt Instämmer till stor del Instämmer till viss del Instämmer inte alls Tar helt avstånd Vet ej/ingen åsikt Vet ej/ingen åsikt
Svarsalternativ 1 Grundregler 2 Svarsskalor 3 Antal skalsteg? 4 Mittenalternativ? 5 Vet inte/ingen åsikt/ej aktuellt
Svarsskalor Antal skalsteg 5-10 (11)... 7 Dock två aspekter 1. Reliabilitet validitet 2. Användarvänligt Hur ska analysen göras/se ut?
Attitydfrågor - skattningsskalor Man får inte glömma bort att de flesta skalor är på nominal/ordinal-skalenivå!
Svarsalternativ 1 Grundregler 2 Svarsskalor 3 Antal skalsteg? 4 Mittenalternativ? 5 Vet inte/ingen åsikt/ej aktuellt
Mittenalternativ? Varken bra eller dåligt Både bra och dåligt
Mittenalternativ? Varken bra eller dåligt Både bra och dåligt En väg ut
Svarsalternativ 1 Grundregler 2 Svarsskalor 3 Antal skalsteg? 4 Mittenalternativ? 5 Vet inte/ingen åsikt/ej aktuellt
Vaga svarsalternativ Hur ofta gick du i kyrkan förra året? 1 Regelbundet 2 Då och då 3 Sällan 4 Aldrig
Vaga svarsalternativ Hur ofta gick du i kyrkan förra året? 1 Mer än 12 gånger 2 Mellan 6 och 12 gånger 3 Mellan 1 och 5 gånger 4 Ingen gång
Att tänka på Allt man gör ska hjälpa respondenten att läsa, förstå och svara på frågan! Plats får inte vara en faktor. I webb kostar det inte mer att använda mer plats!
Test och utvärdering av frågor Enheten för mätteknik SCB
Mätteknik inte bara frågekonstruktion Motsvarar frågorna ämnesproblemet? (mäter vi det vi avser att mäta?) Orsakar några frågor bortfall? Svarsmotivation Får rätt respondent rätt fråga? Respondentbörda / användarvänlighet Intervjuarträning Kostnadseffektivitet
Varför testa en blankett? I det stora hela: Minska det totala felet Strategier: Låtsas som det regnar Skatta alla felkomponenter Preventiva åtgärder - Varför testa överhuvudtaget? Extremt svårt att formulera frågor vid skrivbordet. Minska mätfel, öka svarsfrekvens, minska kostnader för granskning etc.
Att testa blanketter 1 Expertgranskning 2 Fokusgrupper 3 Djupintervjuer 4 Kognitiva intervjuer 5 Experiment 6 Debriefing
Hur vi utvärderar frågor på SCB Medlyssning Beteendekodning Processdata Före datainsamling Datainsamling Efter datainsamling Fokusgrupper Djupintervjuer Expertgranskning Kognitiva tekniker Experiment Experiment Analys av svarsdata Debriefings Återkontakter
Kognitiva intervjuer - Vad? När? Varför? Hur? Kognitiva intervjuer är en testmetod för att undersöka om uppgiftslämnarna upplever att de kan svara på frågan (dvs. tycker sig förstå frågan, kan svara på den och förstår hur svaret ska lämnas i blanketten.) 2011-05-06 52
Kognitiva intervjuer - Vad? När? Varför? Hur? Kognitiva intervjuer är en testmetod för att undersöka om uppgiftslämnarna upplever att de kan svara på frågan (dvs. tycker sig förstå frågan, kan svara på den och förstår hur svaret ska lämnas i blanketten.) undersöka om frågorna samlar in den önskade informationen (oavsett uppgiftslämnarnas upplevelse av frågan) 2011-05-06 53
Kognitiva intervjuer - Vad? När? Varför? Hur? En kognitiv intervju är en intervju som fokuserar på uppgiftslämnarnas svarsprocess 2011-05-06 54
Kognitiva intervjuer - Vad? När? Varför? Hur? En kognitiv intervju är en intervju som fokuserar på uppgiftslämnarnas svarsprocess Kognitiva intervjuer används för att testa relativt färdiga frågor 2011-05-06 55
Kognitiva intervjuer - Vad? När? Varför? Hur? En kognitiv intervju är en intervju som fokuserar på uppgiftslämnarnas svarsprocess Kognitiva intervjuer används för att testa relativt färdiga frågor Det är viktigt att testa på riktiga uppgiftslämnare eftersom det är mycket svårt att skapa fungerande frågor vid skrivbordet 2011-05-06 56
Kognitiva intervjuer - Vad? När? Varför? Hur? En kognitiv intervju är en intervju som fokuserar på uppgiftslämnarnas svarsprocess Kognitiva intervjuer används för att testa relativt färdiga frågor Det är viktigt att testa på riktiga uppgiftslämnare eftersom det är mycket svårt att skapa fungerande frågor vid skrivbordet Ett antal uppgiftslämnare får besvara blanketten och berätta om och motivera sina svar. 2011-05-06 57
Resultat från kognitiva intervjuer Syftet med frågan: att mäta antalet gånger inom referensperioden som uppgiftslämnaren pratat med en läkare om sin egen hälsa i en läkare-patient situation. Fråga: Hur många gånger har du talat med en läkare under de senaste tolv månaderna? Tespersonens svar: Jag antar att svaret beror på vad man menar med talat med. Jag pratar med min granne om lite av varje. Han är läkare men det är säkert inte det ni är ute efter. Nej, det är inte sådant prat vi vill mäta 2011-05-06 58
Resultat från kognitiva intervjuer Syftet med frågan: att mäta antalet gånger inom referensperioden som uppgiftslämnaren pratat med en läkare om sin egen hälsa i en läkare-patient situation. Fråga: Hur många gånger har du talat med en läkare under de senaste tolv månaderna? Tespersonens svar: Jag antar att svaret beror på vad man menar med talat med. Jag pratar med min granne om lite av varje. Han är läkare men det är säkert inte det ni är ute efter. Jag går på allmän läkarundersökning varje år, det räknar jag som en gång. Jag har också varit hos en specialist som tittade på mitt knä men jag är osäker på om det var under de senaste tolv månaderna. Osäkerhet om referensperioden 2011-05-06 59
Resultat från kognitiva intervjuer Syftet med frågan: att mäta antalet gånger inom referensperioden som uppgiftslämnaren pratat med en läkare om sin egen hälsa i en läkare-patient situation. Fråga: Hur många gånger har du talat med en läkare under de senaste tolv månaderna? Tespersonens svar: Jag antar att svaret beror på vad man menar med talat med. Jag pratar med min granne om lite av varje. Han är läkare men det är säkert inte det ni är ute efter. Jag går på allmän läkarundersökning varje år, det räknar jag som en gång. Jag har också varit hos en specialist som tittade på mitt knä men jag är osäker på om det var under de senaste tolv månaderna. Jag har också förståss pratat med flera läkare när mina barn har varit sjuka men det menar ni väl inte, men jag är inte säker. Det är inte samtal med läkare om andras hälsa vi vill mäta 2011-05-06 60
Resultat från kognitiva intervjuer Syftet med frågan: att mäta antalet gånger inom referensperioden som uppgiftslämnaren pratat med en läkare om sin egen hälsa i en läkare-patient situation. Fråga: Hur många gånger har du talat med en läkare under de senaste tolv månaderna? Tespersonens svar: Jag antar att svaret beror på vad man menar med talat med. Jag pratar med min granne om lite av varje. Han är läkare men det är säkert inte det ni är ute efter. Jag går på allmän läkarundersökning varje år, det räknar jag som en gång. Jag har också varit hos en specialist som tittade på mitt knä men jag är osäker på om det var under de senaste tolv månaderna. Jag har också förståss pratat med flera läkare när mina barn har varit sjuka men det menar ni väl inte, men jag är inte säker. Jo, förresten, jag har fått akupunktur också men jag vet inte om det räknas som en läkare, som ni ser det. Osäkerhet om vad som innefattas. Behövs en definition? 2011-05-06 61
Resultat från kognitiva intervjuer Syftet med frågan: att mäta antalet gånger inom referensperioden som uppgiftslämnaren pratat med en läkare om sin egen hälsa i en läkare-patient situation. Fråga: Hur många gånger har du talat med en läkare under de senaste tolv månaderna? Vi behöver förtydliga talat med (inte prat i annan egenskap än läkare, inte om andras hälsa). Behöver vi kortare referensperiod? Behöver läkare definieras? 2011-05-06 62
Kognitiva tekniker probing Olika typer av probes Kognitiv Probe Exempel Förståelse Minne Bedömning Anpassning Parafrasering Etc Hur tolkar du det senaste året? Vad är ansträngande motion för dig? Hur tänkte du när du kom fram till svaret var 3 gånger förra veckan? Av vilken anledning anser du att x men inte y ska ingå i svaret? Varför kryssade du först i x men ändrade till y? Kan du återge frågan med dina egna ord? 2011-05-06 63
Att testa blanketter Testa blanketten!
Strukturen i en blankett Vad är viktigt? Börja med det Var ska bakgrundsfrågorna vara? Sammanhängande block (samma ämne samma avsnitt) Logisk ordning Så få hoppanvisningar som möjligt Använd filterfrågor Om du har bil? Fråga: Ej svar eller partiellt bortfall?
Blankett - layout Intresseväckande Lätt att läsa Lätt att förstå Lätt att fylla i Rationell att hantera 6
Visuell design Bryt ner komplexa frågor till flera, enklare frågor Ha en konsekvent layout på sidan/skärmen Använd visuell design för att tydliggöra vad som hör ihop och inte Frågor och svarsalternativ ska vara nära varandra Ha instruktioner vid frågan där de behövs undvik separata instruktioner
Bra svensk litteratur om statistiska undersökningar Wärneryd B m.fl. (1990) Att fråga Om frågekonstruktion vid intervjuundersökningar och postenkäter. Statistiska centralbyrån. Dahmström K (2000). Från datainsamling till rapport att göra en statistisk undersökning Studentlitteratur, Lund Fråga rätt! Utveckla, testa, utvärdera och förbättra blanketter (2001) SCB http://www.scb.se/pages/publishingcalendarviewinfo 259923.aspx?PublO bjid=2048
Mer litteratur om statistiska undersökningar Ribe M. (1994, 1996) ABC i statistik, DEF i statistik Särtryck ur Välfärdsbulletinen Wallgren A och B, Persson R, Jorner U, Haaland J-A (1996): Graphing Statistics & Data. Creating Better Charts SAGE Publications Att köpa statistiska undersökning (1998) SCB
Engelsk litteratur Schwarz N, Dudman S (1996): Answering Questions Jossey-Bass Fowler Floyd J. (1995) Improving Survey Questions Design and Evaluation Willis G. B. (2005) Cognitive Interviewing SAGE Publications Couper M. (2008) Designing Effective Web Surveys. Cambridge New York. Dillman D, Smyth J.D, Christian L.M. (2009) Internet, Mail and Mixed Mode Surveys, The Tailored Design Method. Wiley & Sons
Kontaktstrategier web/mixed mode Optimal Contact Strategy in a Mail and Web Mixed Mode Survey (Holmberg, Lorenc, Werner 2008): http://epp.eurostat.ec.europa.eu/portal/page/portal/research_methodology/documents/s8p4 _OPTIMAL_CONTACT_STRATEGY_HOLMBERGLORENCWERNER.pdf To Mix or Not to Mix Data Collection Modes in Surveys (de Leeuw 2005): http://www.odum.unc.edu/odum/content/pdf/deleeuw%20mixed%20mode%20jos%202005.p df