Skakiga underlag. Kvantitativa enkätundersökningar är mycket bra, men bara om de används rätt. Andreas Nilsson. Norstat

Transkript

1 Skakiga underlag Kvantitativa enkätundersökningar är mycket bra, men bara om de används rätt Andreas Nilsson Norstat

2 Inledning Det tycks finnas en uppfattning om att underlag från enkätundersökningar är skakiga. En bakomliggande orsak tros vara enkättrötthet till följd av fler och allt längre enkäter. Som leverantör till många uppdragsgivare ser även vi ofta problem i enkätundersökningars metodupplägg och analys. I detta paper ska vi dock försöka nyansera uppfattningen att underlag från enkätundersökningar generellt är skakiga eller måste vara skakiga. Ett sätt att försöka klargöra problem och hur man kan komma åt dessa problem är att först definiera undersökningsprocessen som: behovsanalys val av insamlingsmetod urvalskälla frågeformulering inferens implementering När man kommit till sista steget i processen tenderar den att börja om, det vill säga efter implementering uppstår nya behov som behöver analyseras och undersökas. I detta paper är fokus primärt på behovsanalysen, frågeformulering och inferens men det är inte möjligt att belysa problem och möjligheter utan att beröra övriga delar i processen. Behovsanalys och alternativprincipen När det gäller behovsanalys kan situationen uppkomma att man gjort en helt korrekt analys av vad man har behov av att veta. Dock måste man också ta denna ett steg längre och fundera igenom om det är en lämplig metod att göra en enkätundersökning. Två frågor man kan ställa är då: 1. Finns det annan datamängd som belyser detta eller behöver vi göra egen datainsamling? 2. Har respondenter förmåga att svara på frågor om det vi vill veta? Här följer ett antal exempel för att belysa vilken vägledning man kunnat få av att ställa ovan frågor i olika undersökningssituationer. Inte helt sällan ser man att undersökningar görs i onödan för att data redan finns. Det är också vanligt att man försöker kompensera sin egen okunskap genom att fråga respondenter svåra frågor. Till exempel den så kallade facebookstudien 1, Sweden s Largest Facebook Study från Gothenburg Research Institute och Valentin & Byhr gav bland annat svar på hur mycket tid man som individ i Sverige lägger på Facebook. Den typen av frågeställningar är oerhört 1 Denti, Leif, et al. Sweden s Largest Facebook Study (2011).

3 svåra för respondenter att svara på, givet att man använder Facebook någorlunda mycket och ofta. Hur länge är man egentligen på Facebook åt gången? Hur ofta är man inne på Facebook? Räknas det om man bara skriver meddelande i Facebook-messenger? Om man har ett fönster med Facebook på datorn öppet samtidigt som man gör annat hur räknas då användningstid? Frågorna kring användningen av Facebook illustrerar ett vanligt problem, nämligen att vi vill låta våra respondenter ge oss svar på det vi inte själva vet eller kan ta reda på på annat sätt trots att det är svårt att besvara. Frågan är om ens en bästa uppskattning av respondenterna i detta fall ger ett värde som är rimligt nära det sanna värdet? Tidsanvändning av tekniska system och liknande är svårt för respondenter att svara på. För systemägaren är det dock betydligt enklare att se efter i loggar över användning och få fram mycket bra information om användning. Vi kallar detta för alternativprincipen, det vill säga det finns alternativa källor som ger svar på det vi vill veta. Detta förutsätter som sagt då att systemägaren är den som är intresserad av informationen eller att den intresserade har den relationen med systemägaren att uppgifterna låter sig göras tillgängliga. Motsvarande situation skulle kunna uppkomma om man vill undersöka faktisk bränsleförbrukning i en kommuns miljöklassade bilar inte i testmiljö utan i den verkliga körmiljön där bilarna används. Ställer vi frågan till ett antal bilägare eller förare av bilar om vilken bränsleförbrukning de har kommer de sannolikt att kunna ge en hyggligt bra uppskattning, men inte tillräckligt exakt för att vi ska kunna dra slutsatser om hur faktisk bränsleförbrukning skiljer sig från leverantörernas testvärden. I detta fall är en dagboksstudie att föredra där respondenter ges möjlighet att anteckna uppgifter från sina färddatorer. Ytterligare ett exempel vore om man vill studera hur ofta allmänheten i Sverige använder Försäkringskassans tjänster på internet. Det går visserligen troligen enklare att svara på än att svara på hur ofta man använder Facebook. Men samtidigt är det en svår fråga att veta antal tillfällen eller hur lång tid man använt Försäkringskassans tjänster på internet. Systemägaren kan dock i detta fall bistå med information om antal tillfällen per användare och tid per användare. En enkätundersökning i kombination med detta skulle dock kunna ge värdefulla insikter i varför icke-användare inte använder Försäkringskassans tjänster via internet överhuvudtaget eller varför frekventa användare behöver använda tjänsterna ofta. Antag att en kommun vill utvärdera förskoleverksamheten genom en enkätundersökning till föräldrar. Kommunen har bland annat bestämt att man ska ha mål om att förskolan ska arbeta för miljömedvetenhet hos förskolebarnen. I enkäten till föräldrarna ställs en fråga om man som förälder anser att förskolan arbetar tillräckligt mycket med frågor om miljö. Detta är ett exempel på när man som uppdragsgivare tror att respondenter sitter inne med kunskap som man själv saknar. För det första är det inte föräldrarna som satt upp miljömålet och har således inte nödvändigtvis det i åtanke utan sin egen uppfattning om vad som är

4 rimligt. För det andra kan det vara mycket svårt för föräldrar att veta hur och på vilket sätt miljöfrågorna lyfts fram i förskolan. Detta exempel visar på när en svarsgrupp felaktigt tillåts utvärdera en målsättning. Att svarsgruppen är föräldrar till barn som undervisas räcker inte för att ge dem kunskap att utvärdera förskoleverksamheten ur alla aspekter. Resonemanget kan överföras till andra delar av en kommuns verksamhet, till exempel skola. Sammantaget kan man säga att varje gång man vill undersöka något bör man ställa sig frågan om det finns alternativa källor samt om det är rimligt att respondenter sitter inne med svaret på det vi vill veta. Frågeformulär och motivationsmodell Mycket har skrivits genom åren om hur frågor bäst formuleras. Detta är i regel bra men de tenderar att fokusera på att göra frågeformuleringarna korrekta ur ett isolerat perspektiv och ger sällan råd i hur man förhåller sig till dessa när de sätts in i ett större sammanhang, till exempel är frågeformuläret för omfattande eller är frågornas sammansättning sådan att svaren på enskilda frågor påverkas på ett orimligt sätt av tidigare frågor och sammanhanget. Låt oss först utgå från en motivationsmodell som ett sätt att förklara varför och strukturera anledningar till att människor överhuvudtaget svarar på enkäter. Bild 1. Motivationsmodell tillämpad på respondenter i enkätstudier. Teorier om self-determined motivation utvecklades på 1970-talet när man jämförde inre och yttre motivation som grund för individens beteende. I grunden handlar det om att

5 människor ska känna kompetens, det vill säga uppleva att man kan kontrollera ett utfall, relatedness, det vill säga man vill interagera, vara en del av andra och man vill bry sig om andra, samt autonomi, det vill säga den inre driften att vara kausala agenter för sitt liv. Tillämpningar är många och en är varför respondenter svarar på enkäter. 2 Det viktiga att ha med sig från den här modellen när det gäller dess tillämpning på varför människor svarar på enkäter är att förstå att respondenter befinner sig på olika ställen på skalan och drivs vidare mot att svara på enkäten av helt olika saker. En annan viktig aspekt att ha med sig är att man kan minska respondenters motivation genom att anspela på sådant som befinner sig lägre på motivationsskalan. Använder man modellen rätt kan det vara en hjälp till att få upp motivation och engagemang i enkätstudier. Antag till exempel att man har en svarsgrupp bestående av cancerpatienter som ska utvärdera den vård man fått i samband med behandlingen av sin cancer i en omfattande enkät. Det är rimligt att anta att merparten av dem vill delta för att de anser att studien tjänar ett gott syfte genom att leda till bättre vård för dem själva och andra i framtiden. Antag dock vidare att vi skulle vilja öka motivationen till deltagande i studien i denna grupp och erbjuda dem en belöning i form av en trisslott. Detta är en form av yttre belöning som dessutom är ganska låg i förhållande till den insats som krävs för att besvara enkäten. För just den här svarsgruppen framstår en trisslott jämfört att hjälpa sin egen och framtidens cancervård som en betydligt lägre motivator. Man riskerar därför att sänka svarsgruppens motivation till deltagande. Förutom vid belöningar bör man resonera om respondentens motivation när det gäller själva frågeformulärets innehåll. I undersökningsbranschen ställs ofta frågan hur lång en enkät kan vara för att respondenterna inte ska tröttna. Svaren på den frågan varierar i regel mellan 5 min och 30 min beroende på vem man frågar. En anledning till att man inte får ett mer homogent svar på frågan är att det egentliga svaret borde vara: Det beror på. Uttröttning är inte perfekt korrelerad med enkätlängd. Det centrala i sammanhanget borde istället vara relevans och meningsfullhet. En kortare enkät kan många svara på utan att den behöver vara särskilt relevant. En lång enkät är det många som inte skulle svara på om den inte känns relevant eller meningsfull. Hur kan vi då förklara relevans? Ett ämne som intresserar eller angår är relevant. Ett syfte som angår kan också göra enkäten relevant eller meningsfull. Något man ofta missar är att frågorna i sig behöver kännas meningsfulla eller relevanta för respondenten. Det räcker alltså inte att övergripande syftet med studien intresserar respondenten. Kan respondenten inte se en mening med frågorna minskar motivationen att svara drastiskt. Ett sätt att hantera detta kan vara att i sin enkät kort förklara varför man ställer vissa frågor. Ett annat sätt kan vara att helt enkelt ta bort vissa frågor. Exemplet från förra avsnittet om när föräldrar till förskolebarn ska utvärdera hur förskolan arbetar med miljöfrågor kan vara ett exempel på 2 Wenemark, Marika (2011). The respondent s perspective in health-related surveys

6 när respondenten inte har tillräcklig kunskap och därmed inte finner enkäten relevant eller meningsfull trots att man skulle vilja svara på den för att tjäna syftet om bättre förskola för sina och andras barn. Att ett ämne i sig borde angå är dock inte samma sak som att det faktiskt känns relevant. Man finner ofta att ämnesområdet bank och försäkring är mindre relevant än livsmedel. Detta trots att inom bank och försäkring kan mycket stora värden finnas och detta kan då vara en bransch av stor betydelse för den enskilde. Respondenter tenderar dock att uppfatta så kallade låg-engagemangbranscher mindre relevanta att svara på enkäter om. Det är således rimligt att anta att respondenter i allmänhet finner exempelvis ämnesområdet pension mindre relevant än personer som är över 65 år eller närmar sig denna ålder. Det ska dock inte missförstås så att det bara är strikt egoistiska ämnen som skapar relevans hos respondenten. Det kan lika gärna vara att man inte har tillräcklig kunskap för att ge bra svar på frågorna. Olika typer av förtroendeundersökningar är exempel på detta. Vilket förtroende den enskilde medborgaren har för olika myndigheter är så klart beroende av dennes erfarenheter och det är inte ovanligt att man som enskild saknar erfarenhet av de flesta myndigheter. Beställare av sådana undersökningar brukar hävda att man formar sin attityd och inställning till aktörer även på andra sätt än genom direkt erfarenhet, till exempel genom vad man läser i tidningar eller hör av vänner och bekanta. Det är förvisso sant, men det gör inte desto mindre att det är svårt att bedöma myndigheterna på detaljerad nivå och även om den enskilde genom media, vänner och bekanta bildat sig en uppfattning kan det diskuteras om det ens är relevant. Av detta kan man nu tolka det så att det är problemfritt att undersöka förtroende och få detaljerade bedömningar av en myndighet förutsatt att respondenten har erfarenhet av myndigheten. Så kan man dock inte säga att det är. Enskilda som till exempel nekats ekonomiskt bistånd kan ur ett enskilt perspektiv tycka att detta är djupt orättvist och forma hela sin bedömning av verksamheten utifrån detta. En annan situation som är svår för respondenten är att bedöma myndigheten på ett högre plan än det man har erfarenhet av. Detta kan till exempel vara hur miljövänlig en viss myndighet är. Respondenten kan visserligen ha noterat exempelvis myndighetens miljöfordon eller återvinningsrum men någon djupare kunskap än så är svår att ha. Att man ändå vill undersöka den enskildes uppfattning om denna typ av faktorer torde hänga samman med att för kommersiell verksamhet kan uppfattningen snarare än de faktiska förhållandena om att vara en aktör som står för hållbarhet och socialt ansvarstagande vara direkt säljdrivande. Risken är att man som uppdragsgivare drar felaktiga slutsatser av en sådan studie. Enkäter som inte uppfyller kriterierna om att kommunicera relevans och meningsfullhet för respondenter är den typ av enkäter som skapar enkättrötthet hos respondenter. Det gör också att det blir mer resurskrävande att genomföra undersökningen eftersom till exempel söktiderna vid telefonintervjuer ökar eller att antal inbjudna i postala undersökningar måste dimensioneras upp. När man som uppdragsgivare sitter med sitt undersökningsupplägg

7 framför sig hjälper det ofta att ställa sig frågan om det ens är rimligt att respondenter kan och vill svara med det aktuella upplägget. En annan aspekt av att ha kunskap och förmåga att besvara enkät är formatet. Om enkäten är elektronisk och inte anpassas till skärmstorlekar kan respondenten uppleva det som svårt att besvara enkäten. Att arbeta med adaptiv layout är därför nödvändigt vid webbaserade undersökningar. Att ha flera insamlingsmetoder kan vara ett bra alternativ för att kunna erbjuda en form som passar alla, även om det kan medföra metodeffekter som kräver särskild hantering. I detta avsnitt har vi redogjort för hur en motivationsmodell kan användas för att förklara hur respondenter reagerar på enkäter och därmed även vad vi kan förvänta oss av olika frågeformulär. Av detta följer att det går att arbeta med relevans och meningsfullhet för att göra respondenter i enkätstudier mer motiverade. En checklista nedan kan hjälpa till för detta: Är studiens syfte förklarat på ett lättförståeligt sätt? Är studiens syfte förklarat på ett sätt som innebär att man rimligen borde hålla med om att den har ett värde för antingen respondenterna själva eller samhället i stort? Om ämnet i sig är intressant för många, framgår detta tydligt? Klarar respondenterna att besvara frågorna med de kunskaper de rimligen har? Ser man som respondent ett värde i de enskilda delarna av enkäten? o Förklaras syften med frågor som kan vara svåra att förstå o Följer man sociala regler kring begränsning av upprepning? o Är man onödigt långdragen? o Uttrycker man sig i enkäten så att respondenten förstår utan att man dumförklarar honom eller henne? Ska man ha en belöning? I så fall är den lagom stor så att den inte demotiverar den som skulle svarat i alla fall? Följer man vanliga sociala regler. o Ha med sådan text som är relevant o Hålla sig till sanning o Uttrycka sig så klart och tydligt som möjligt o Fråga inte på ett sätt som kan skapa ångest eller negativa känslor Sammanfattning Det florerar en mängd olika enkätundersökningar för att utvärdera samhällets medborgare (t.ex. som alkoholkonsumenter) och verksamheter (t.ex. kommuner och myndigheter). Förekomst av enkättrötthet är känd hos de flesta uppdragsgivare, vilket gör att man kanske är tveksam till resultat av enkätundersökningar och till att göra dem överhuvudtaget. Många

8 uppdragsgivare är dock inte bekanta med att det i många fall finns en oerhört stor motivation och engagemang med svarsvilja givet att man förhåller sig till vissa spelregler. Spelreglerna är egentligen ganska enkla och detta paper har försökt illustrera dessa genom att ta utgångspunkt i en motivationsmodell. En första grund för respondentens motivation är att han eller hon känner att man har tillräcklig kunskap och förmåga att svara på enkäten. Som uppdragsgivare gäller det att ställa sig inledande frågan om det är rimligt att respondenter har kunskap och förmåga om det man som uppdragsgivare vill veta. En andra grundläggande punkt är att man som uppdragsgivare ser till att enkätens enskilda delar ger relevans och mening. Syften och delsyften förklaras. Man följer vanliga sociala regler genom att undvika onödig upprepning, uttrycka sig klart och undvika att dumförklara respondenten. Sammantaget gör detta att det finns mycket goda möjligheter att göra bra enkätundersökningar som kan tjäna som värdefulla delar i utvärderingar av verksamheter eller företeelser bland samhällets medborgare. Nyckeln är ett väl utfört och genomarbetat förarbete.