Konsten att ställa frågor

Konsten att ställa frågor Fråge- och enkätkonstruktion Fredrik Scheffer (fredrik.scheffer@scb.se) Enheten för Mätteknik (PCA) SCB 2016-09-13 1

Frågekonstruktion psykologi &språk Att designa frågor och svarsalternativ Insamlingsmetoder - olika insamlingsmetoders för- och nackdelar Struktur & Layout Test - Vikten av att testa en blankett, vad vi gör, vad ni kan göra

Mätteknik? Mätfel Mätfel Mätfel Totalt fel Totalt fel Totalt fel

Den standardiserade finns inte! respondenten Varierande egenskaper språkförståelse kognitiva förutsättningar (förmåga) ålder, ursprung, kultur, utbildning etc.

Mätinstrumentet?

Frågeblanketten - kommunikation Kommunikation via språket (tal/skrift) = Frågekonstruktör Uppgiftslämnare

Ska det vara så svårt att kommunicera med uppgiftslämnarna? Språket är inte ett perfekt verktyg för kommunikation! 8

Språket Två, tack! KONTEXT

Svarsprocess CASM-modellen/4-stegs modellen Förstå fråga Finna svar Bedöma svaret (Tourangeau et al. 2000 m.fl.) Avge svaret

Frågekonstruktion Frågan ska vara: enkel, kort, rak, neutral och begripligt formulerad. Frågan ska förstås av ALLA!... och på samma sätt. Betrakta blanketten som ett samtal (som genomförs standardiserat)

Som man frågar får man svar Exempel på frågor som kan ge problem vid tolkningen av resultaten

1 Att vara specifik

Att vara specifik Tror du att barn far illa av att titta på program med våld i? Utvärderingar visade att testpersonerna uppfattade begreppen barn, far illa och våld väldigt olika. (Belson, 1981) 1

Att vara specifik Tycker du om fotboll?

Ledande fråga Den nya James Bond filmen har redan setts av 80 miljoner människor. Har du sett den? Ja Nej

Ledande fråga Har du sett den nya James Bondfilmen? Ja Nej

Ledande fråga Hur bra trivs du på ditt arbete? Hur dåligt trivs du på ditt arbete? Hur trivs du på ditt arbete?

Mer än en fråga Har du bytt arbetsgivare och arbetsplats under det senaste året? 1. Ja 2. Nej

Frågor om det förflutna

Frågor om det förflutna Det första man bör fråga sig är om respondenterna kan förväntas ha uppmärksammat och lagt på minnet det man frågar efter överhuvudtaget. Hur många bilar passerade dig på vägen till jobbet imorse? Minnet är inte ett fotoalbum med objektiva bilder som förblir oförändrade över tid! Hur långt tillbaka kan man fråga om då? Det beror på vad man frågar efter. Riktlinjer: Framträdande händelser (större inköp, sjukhusvistelser, viktiga livshändelser etc) = kan minnas många år senare Vardagliga händelser (matinköp, motionerande etc) = Få veckor

Referensperioder Senaste veckan / 3 mån /12 mån Minne - Logiskt

Frågor om framtiden Skulle du kunna tänka dig att ta ett arbete som innebär att resan från hemmet till arbetet tar mer än 1 timme?

Attitydfrågor

Attitydfrågor Att fråga efter någons attityd åsikt inställning till någonting

Attityd / åsiktsfrågor Attityd/åsiktsfrågor kan vara en utmaning att utforma Respondenten kanske inte har någon åsikt/kunskap om ämnet (attitydobjektet) 30% anger en åsikt om påhittade ämnen (Schuman & Presser, 1981)

Attitydfrågor Två typer av attityder Stabila Temporära

Attitydfrågor Stabila The filedrawer model (Wilson & Hodges 1992) Förstå fråga Finna svar Bedöma svar Avge svar

Attitydfrågor Stabila The filedrawer model (Wilson & Hodges 1992) Antaganden: Attityder finns redan Attityder är stabila

Attitydfrågor Temporära Skapa en åsikt här och nu Förstå fråga Skapa svar Bedöma svar Avge svar

Attitydfrågor Temporära Skapa en åsikt här och nu Perifer info blir viktigt: Frågekontext Frågeordning Andra omständigheter = osäkra mätningar(?)

Attityder

Attitydfrågor Att tänka på: (Wärneryd m.fl.) Var försiktig med att fråga om ämnen som folk inte intresserat sig för Var försiktig med att dra slutsatser från svaren på enstaka frågor

Frågor i påståendeform Frågor i påståendeform ÄR problematiskt

Frågor i påståendeform Frågor i påståendeform ÄR problematiskt Ursprung Varför fungerar det dåligt? När fungerar det?

Frågor i påståendeform Varför fungerar det dåligt? Mer komplicerad kognitiv process Mindre förpliktigande Hypotetiska situationer Uppmuntrar till acquiescence (benägenhet att hålla med) Osäkrare på sina svar Svårt att utforma neutrala påståenden

Frågor i påståendeform När fungerar det? Aktuella påståenden, som alla kan förväntas ha en uppfattning om När ämnet är känsligt mindre konfrontativt Bättre för attityder/värderingar än för rena faktafrågor

Rangordning Problematiskt avancerad kognitiv uppgift bedömning var för sig/i relation + ordna Tar tid resp. gör egna lösningar

Villkor Deltog du, på din fritid, i någon kurs eller annan aktivitet som leddes av lärare eller instruktör under vecka 32, till exempel gympapass, studiecirkel, föreläsning eller trafikskola?

Villkor Om du tänker på din fritid under v. 32: Deltog du i någon kurs eller annan aktivitet som leddes av lärare eller instruktör? (Exempel???? förlorar vi något?)

Exemplifiering Använde du på något sätt arbetsförmedlingens tjänster när du fick ditt nuvarande arbete, t.ex. deras tjänster på internet? Risk att exemplifieringen styr

Tips vid frågekonstruktion Undvik Långa meningar, långa ord, svåra begrepp, facktermer bindeord (och, samt, eller) negationer ledande frågor (pos/neg laddade)

Svarsalternativ 1 Grundregler 2 Svarsskalor 3 Antal skalsteg? 4 Mittenalternativ? 5 Vet inte/ingen åsikt/ej aktuellt

Svarsalternativ Grundregler Ömsesidigt uteslutande Uttömmande Överblickbara Jämna skalsteg Ett svar på frågan

Svarsskalor Konsekvens i blanketten om möjligt Verbaliserade svarsalternativ Jämna skalsteg

Svarsskalor Antal skalsteg 2-7... (11?)... 4-5 Dock två aspekter 1. Reliabilitet validitet 2. Användarvänligt Hur ska analysen göras/se ut?

Mittenalternativ Hur trivs du på ditt arbete? Mycket bra Ganska bra Varken bra eller dåligt Ganska dåligt Mycket dåligt

Mittenalternativ Varken bra eller dåligt??? Både bra och dåligt (lika mycket bra som dåligt)

Mittenalternativ Mittenalternativ kan ge bias: Uppgiftslämnare med olika förutsättningar använder samma svar: Vill inte ta ställning Har ingen åsikt Vill ligga i mitten av skalan ( lika bra som dåligt )

Mittenalternativ 15 möjliga mittpunkter (tolkningar): Varken P eller N Proportionellt lika mycket P och N Oproportionellt P och N Samtidigt helt P och helt N Dynamisk blandning av lika mycket P och N Till hälften helt P och till hälften helt N Halva tiden P och halva tiden N Ibland P, ibland N, ibland varken eller Ibland P, ibland N, ibland båda Ibland P, ibland N, ibland varken eller, ibland båda Osäker proportion Okänd proportion Irrelevant proportion Ovilja att svara Ingen åsikt om proportion Yorke 2001

Mittenalternativ bipolär skala Mycket bra Ganska bra Varken bra eller dåligt Ganska dåligt Mycket dåligt Mycket bra Ganska bra Ganska dåligt Mycket dåligt

Mittenalternativ bipolär skala Inget mittenalternativ kan ge bias: Ej jämna skalsteg: Större avstånd mellan mittenalternativen jämfört med övriga

Mittenalternativ bipolär/unipolär skala Mycket bra Ganska bra Varken bra eller dåligt Ganska dåligt Mycket dåligt Mycket bra Ganska bra Ganska dåligt Mycket dåligt Mycket bra Ganska bra Inte så bra Inte alls bra

Mittenalternativ bipolär/unipolär skala Unipolär skala kan ge bias: Positivt skev skala?: Alla skalsteg nämner ordet bra Kan det dock underlätta att ange negativa svar?

Svarsalternativ En väg ut Det ska finnas ett svarsalternativ för alla upptänkliga svar

Svarsskalor Alla respondenter måste vara överrens om tolkningen av varje skalstegs mening, och frågeställarna måste veta vad denna tolkning är Dvs. för att få reliabilitet måste respondenten ha klart för sig vad varje skalsteg står för. Ju mer respondenten måste tolka, ju större risk för inkonsistens i svar över tid och mellan respondenter (Krosnick et.al. 2005)

Frågans koncept Det är inte alltid våra teoretiska regler stämmer överens med verkligheten

Frågans koncept Trivs mycket bra Trivs ganska bra --------------------------- Trivs ganska dåligt Trivs mycket dåligt Mycket trygg Ganska trygg ------------------------ Ganska otrygg Mycket otrygg

Frågans koncept Trivs mycket bra Trivs ganska bra --------------------------- Trivs ganska dåligt Trivs mycket dåligt Mycket trygg Ganska trygg ------------------------ Ganska otrygg Mycket otrygg Mycket trygg ---------------------- Ganska trygg Ganska otrygg Mycket otrygg

Barn-ULF (10-11 åringar), svarsfördelning positivt och negativt riktade påståenden Stämmer precis Stämmer ungefär Stämmer dåligt Positvt (%) 98 2 Positvt (%) 97 2 Positvt (%) 98 2 Positvt (%) 98 2 Negativt (%) 42 57 Negativt (%) 26 72 Negativt (%) 10 90 Negativt (%) 26 73 Stämmer inte alls

Tolkning Nyhet 17:e april 2012 (SVT Aktuellt): 9 av 10 barn i Sverige känner sig trygga i skolan Jag känner mig trygg I skolan (5:e klassare) Stämmer helt Stämmer ganska bra Stämmer ganska dåligt Stämmer inte alls Vägt genomsnitt % 65,3 28,2 x x Mer än 3 av 10 barn i Sverige känner sig inte trygga i skolan?

Insamlingsmetoder Besöksintervju Telefonintervju Postenkät Webbenkät

Insamlingsmetoder Via örat ljud Via ögat visuellt

Insamlingsmetoder Primacyeffekt: Respondenten väljer ett av de första svarsalternativen (typiskt web/papper) Recencyeffekt: Respondenten väljer ett av de sista svarsalternativen (typiskt telefon)

Blandad insamling Mixed mode Anledningar till att blanda insamlingsmetoder: 1) Öka svarsfrekvensen (olika personer föredrar olika datainsamlingsmetoder) 2) Att utnyttja olika metoders styrkor (intervju för komplexa frågor och själv-administrerade för känsliga) 3) Att spara pengar starta med ett billigt alternativ och spara de dyrare till uppföljningar.

Blandad insamling Mixed mode Varför kan vi förvänta oss skillnader mellan olika datainsamlingsmetoder? 1) Intervjuarpåverkan (både pos och neg) 2) Människors vana av och beteenden kan variera mellan olika datainsamlingsmetoder (t.ex. Internetvana) 3) Presentation av informationen (visuellt eller ljudmässigt, öga eller öra)

Webb Smartphone Två insamlingsmetoder? Skärmstorlek Frånvaro av fysiskt tangentbord och mus Var man befinner sig när man svarar

Smartphone Webblankett via mobil Högre andel avhopp Längre svarstid Färre/kortare öppna svar Risk för skevhet i svar

Smartphone Insamlingsverktyget bör kunna optimera för vilken enhet uppgiftslämnaren använder!

Smartphone Allt som rör den enskilda frågan ska synas på skärmbilden uppgiftslämnaren ska inte behöva scrolla, zooma, svepa. Undvik onödiga element Tablåfrågor separata frågor

Smartphone Webblankett via mobil Ny värld av paradata ( data om data ) gör applikationen redo att samla in detta, t.ex. svarstid, enhet (device) m.m. Kommer troligen öka men sannolikt aldrig bra för längre undersökningar

Strukturen i en blankett Vad är viktigt? Börja med det (efter vissa bakgrundsfrågor ) Så få hoppanvisningar som möjligt Använd filterfrågor Om du har bil? Fråga: Ej svar eller partiellt bortfall? Logisk ordning Samma ämne samma avsnitt Rubriker

Blankett - layout Intresseväckande Lätt att läsa Lätt att förstå Lätt att fylla i Rationell att hantera 6

Instruktioner (Thanks: Jussi Rouhunkoski stat. Finland)

Blankett - layout

Visuell design Bryt ner komplexa frågor till flera, enklare frågor Ha en konsekvent layout på sidan/skärmen Använd visuell design för att tydliggöra vad som hör ihop och inte Frågor och svarsalternativ ska vara nära varandra Ha instruktioner vid frågan där de behövs undvik separata instruktioner

Visuell design handlar mycket om att dra nytta av perceptionslagar, respondenternas allmänna erfarenheter och att vara konsekvent Gör viktiga områden visuellt distinkta, mindre viktiga områden visuellt perifera Gör navigering enkel (upp->ned, vänsterjusterat) Ha frågan i fet stil och svarsalternativen i normal stil Ha svarsalternativen vertikalt!

Visuell information - bilder Bilders påverkan Hur ofta äter du på restaurang? Forskning (av t.ex. Mick Couper) har visat att bilder och till och med perifera visuella signaler kan påverka svaren. 2016-09-13 85

Visuell design - bilder

Att tänka på Allt man gör ska hjälpa respondenten att läsa, förstå och svara på frågan! Plats får inte vara en faktor. I webb kostar det inte mer att använda mer plats!

Mycket att tänka på men: Genom att följa grundreglerna kommer man långt! Frågan: enkel, kort, rak, neutral och begripligt formulerad. Svaren: Ömsesidigt uteslutande Uttömmande Överblickbara Jämna skalsteg (så gott det går) Ett svar på frågan Dom ska förstå frågorna Vi ska förstå svaren SUNT FÖRNUFT!

Att testa en blankett SCB - Enheten för mätteknik

Varför testa en blankett Varför se till att fallskärmen fungerar innan man hoppar?

Varför testa en blankett? I det stora hela: Minska det totala felet Strategier: Låtsas som det regnar Skatta alla felkomponenter Preventiva åtgärder - Varför testa överhuvudtaget? Extremt svårt att formulera frågor vid skrivbordet. Minska mätfel, öka svarsfrekvens, minska kostnader för granskning etc.

Att testa en blankett SCB enheten för mätteknik Debriefing Fokusgrupper Expertgranskning Kognitiva intervjuer

Test villkor Om mätinstrumentet är helt nytt. Om mätinstrumentet ändras, t.ex. frågor eller insamlingsmetod. Om mätsituationen förändras. Om det finns indikationer på problem. Om mätinstrumentet inte har testats tidigare. Om kunden önskar test, eller av policyskäl.

Att testa en blankett Testa blanketten!

Ny bok i tryck

Att testa en blankett Testa blanketten!

Tidningsrubrik Cyklister är för hjälmlag 73 procent är för lag om obligatorisk cykelhjälm

Tidningsrubrik Frågan bakom rubriken och artikeln: Skulle du vilja ha en lag om cykelhjälm om den hjälpte till att rädda cirka 30 liv per år?

Tack för mig! Fredrik.scheffer@scb.se

Litteratur: Schwarz N, Sudman S (1996): Answering Questions Jossey-Bass Tourangeau, R., Rips, L. J., & Rasinski, K.(2000). The psychology of Survey Response. Cambridge: Cambridge University Press. Buskirk, T. D., Andrus, C. (2012) Smart Surveys for Smart Phones: Exploring Various Approaches for Conducting Online Mobile Surveys via Smartphones De Bruijne, M., Wijnant, A., (2013) Comparing Survey Results Obtained via Mobile Devices and Computers: An Experiment With a Mobile Web Survey on a Heterogeneous Group of Mobile Devices Versus a Computer-Assisted Web Survey. To Mix or Not to Mix Data Collection Modes in Surveys (de Leeuw 2005): http://www.odum.unc.edu/odum/content/pdf/deleeuw%20mixed%2 0mode%20jos%202005.pdf Dillman, D. A. (2007). Mail and Internet Surveys: The Tailored Design Method. (2nd ed., 2007 update). Hoboken, John Wiley Co., New Jersey.

Litteratur: Schuman H, Presser S, eds. (1981). Questions and Answers in Attitude Surveys: Experiments on Question Form, Wording and Context. New York: Academic Sudman, S., Bradburn, N.M., & Schwarz, N. (1996). Thinking about answers The application of cognitive processes to survey methodology. SF: Jossey-Bass Publishers Wilson, T.D., & Hodges, S.D. (1992). Attitudes as Temporary Constructions in L. Martin, & A. Tesser, (eds.) The Construction of Social Judgment. Hillsdale, NJ. Erlbaum. Krosnick, J.A., Judd, C.M., & Wittenbrink, B. (2005) The Measurement of Attitudes. In D. Albarracin, B.T. Johnson & M.P. Zanna (Eds.) The Handbook of Attitudes (Chapter 2) Mahwah, NJ: Lawrence Erlbaum Associates, Inc. Yorke, M., (2001). Bipolarity or not? Some Conceptual Problems Relating to Bipolar Scales. British Educational Research Journal. Vol. 27, No. 2 pp. 171-186. Wärneryd B m.fl. (1990) Att fråga, Om frågekonstruktion vid intervjuundersökningar och postenkäter. Statistiska centralbyrån.

Litteratur: Fowler Floyd J. (1995) Improving Survey Questions, Design and Evaluation Willis G. B. (2005) Cognitive Interviewing, SAGE Publications Saris, W. E., Krosnick, J. A., Revilla, M., Shaeffer, E. M., (2010). Comparing Questions with Agree/Disagree Response Options to Question with Item-Specific Response Options, Survey Research Methods, Vol.4, No.1, 61-79. Couper M. (2008) Designing Effective Web Surveys. Cambridge New York. Dillman D, Smyth J.D, Christian L.M. (2009) Internet, Mail and Mixed Mode Surveys, The Tailored Design Method. Wiley & Sons Millar, M. M., Dillman, D. A. (2012) Encouraging Survey Response via Smartphones: Effects on Respondents Use of Mobile Devices and Survey Response Rates Belson, W. A. (1981) The design and understanding of survey questions. Gower Publishing, Co, Aldershot, England.

Bra svensk litteratur om statistiska undersökningar Wärneryd B m.fl. (1990) Att fråga, Om frågekonstruktion vid intervjuundersökningar och postenkäter. Statistiska centralbyrån. Dahmström K (2000). Från datainsamling till rapport en statistisk undersökning Studentlitteratur, Lund att göra Ribe M. (1994, 1996) ABC i statistik, DEF i statistik Särtryck ur Välfärdsbulletinen Wallgren A och B, Persson R, Jorner U, Haaland J-A, (1996): Graphing Statistics & Data. Creating Better, Charts SAGE Publications Att köpa statistiska undersökning (1998) SCB Fråga rätt! Utveckla, testa, utvärdera och förbättra blanketter (2001) SCB Persson A. (I tryck, 2016) Frågor och Svar Om frågekonstruktion i Enkät- och Intervjuundersökningar. SCB

Kontaktstrategier web/mixed mode Optimal Contact Strategy in a Mail and Web Mixed Mode Survey (Holmberg, Lorenc, Werner 2008): http://epp.eurostat.ec.europa.eu/portal/page/portal/research_methodology/documents/s8p4 _OPTIMAL_CONTACT_STRATEGY_HOLMBERGLORENCWERNER.pdf