Response rate (%) 2013-01-21 Marika Wenemark Folkhälsocentrum Landstinget i Östergötland Samhällsmedicin Institutionen för medicin och hälsa Linköpings universitet marika.wenemark@liu.se Färska svarsfrekvenser är dyster läsning UngKab09 om sexvanor med 6000 unga 16-29 år. Svarsfrekvens 24 %. Årets undersökning har, liksom tidigare år, ett slumpmässigt urval om 8 001 18-84 åringar bosatta i Göteborg. I årets undersökning har tyvärr den negativa utvecklingen fortsatt. Svarsfrekvens 46 procent. I Västernorrland svarade 8 000 personer, vilket är en svarsfrekvens på 45 procent. Samma siffra för 2009 var 62 procent. Svarsfrekvens i Riks-SOM 1995 2009. Idéer om hur man kan höja svarsfrekvensen 90 80 70 60 50 40 30 20-24 yrs 25-29 yrs 30-39 yrs 40-49 yrs 50-59 yrs 60-69 yrs 70-79 yrs 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 Prolonged interaction means maintaining a conversation long enough to identify the reasons for not wanting to participate and use effective persuaders to counter argue those reasons. Because a good response rate is so important, we will be sending reminders to nonrespondents. To avoid this irritant, why not fill it in now and get it over with!? Hardest-to-reach respondents are those who refused the interview at least twice before complying and/or required 21 or more calls to complete the interview. Ofta är det bättre att lägga resurserna på ett mindre utskick där man har resurser att jaga in svar. Utveckling av enkätmetodik och kognitiva intervjuer Avancerade index och skalor Intensivt uppföljningsarbete Övertalningsmetoder Men har vi inte glömt någonting? 1
Litteraturtips Enkäten i praktiken Göran Ejlertsson 2005 Enkätboken Jan Trost 1994 Att fråga Bo Wärneryd mfl. 1990 Designing effective Web surveys Couper 2008 International handbook of survey methodology Leeuw, Hox & Dillman 2008 Improving survey response Stoop mfl. 2010 Envisioning the survey interview of the future Conrad & Schober 2008 The psychology of survey response Tourangereau mfl. 2000 Thinking about answers Sudman mfl. 1996 Methods for testing and and evaluating survey questionnaires Presser mfl. 2004 Cognitive interviewing Willis 2005 Traditionell enkätmetodik Enkelhet i språket Entydiga frågor Precisa tids- och rumsangivelser Ej ledande frågor Undvik (dubbla) negationer En fråga åt gången Ett svar åt gången Försiktighet med hypotetiska frågor Ömsesidigt uteslutande svarsalternativ Svarsalternativ för alla Tips för att hitta brister Varför ställs sådana frågor? Enkelt språk Entydiga frågor Tidsangivelser Ledande frågor Dubbla negationer Flera frågor i en Ett svar åt gången Kan jag ta bort onödiga ord? Finns frågeord? Gå igenom alla termer (även entydighet mellan frågor) Gå igenom alla tidsangivelser (även mellan frågor) Leta efter värdeord (bra, dåligt, stort, litet osv) Leta efter negationsord (inte, nej, aldrig) Kolla alla och och eller. Kolla att svarsalternativen stämmer med frågan Okunskap Tidsbrist Jämförelser över tid Jämförelser med andra studier Jämförelser med andra länder Ingår i etablerad validerad skala Den kognitiva processen för att svara på en fråga (Tourangeau 2000) Förstå frågan Skaffa relevant information Formulera ställningstagande Anpassa svaret till givna svarsalternativ Justera svaret 2
Att förstå frågan Hur ofta känner du dig riktigt arg? Tolka orden och meningen Ta hjälp av motivet till att frågan ställs Ta hjälp av svarsalternativen Ta hjälp av andra frågor Ta hjälp av sociala regler Low Less than one a year About one every 6 months About once every 3 months More frequently High Several times a day About once a week 2 or 3 times a week Less frequently [Schwarz 1988] Gör det enklare genom att Fråga och svarsalternativ som stämmer Börja med frågeord Göm inte frågan i en bisats Variera inte språket Var noga med termer Strategier för datum och tidslängder Exakt datum Hållpunkter Ringa in tidsperiod Vild gissning Vilken strategi skulle du använda? Hur länge har du arbetat på din nuvarande arbetsplats? Hur gammal var du när du fick barn första gången? Hur gammal var du när du fick barn senaste gången? Strategier för frekvensbedömningar Tally (exakt uppräkning) Recall and count Frekvens Generellt intryck (approximation, justerad norm) Vild gissning 3
Vilken strategi skulle du använda? Vad avgör valet av strategi? Hur många syskon har du? Hur många gånger under de senaste 30 dagarna drack du öl? I genomsnitt hur många gånger om dagen är ditt barn irriterat och kinkigt (räkna både korta och långa stunder)? Ansträngningen Motivationen Hur lättillgänglig är info Frågans natur - antal händelser - tidsperiodens längd - regelbundenhet - hur viktigt - finns tally - distinkta händelser - hur många gånger - hur ofta - krav på exakthet - tid till förfogande Olika typer av svarsalternativ Helt öppna frågor Öppna frågor med numeriskt svar Fasta svarsalternativ med skala eller ordning Fasta svarsalternativ utan ordning Halvöppna Strategier för att välja svarsalternativ Perspektivprincipen Frekvensprincipen Undvika extremer Undvika negativa Skalnivåeffekt Påverkan av vet ej eller ingen åsikt Hur kan man testa sitt formulär? Fokusgrupper Reaktionstid Eye-tracking Läsa högt metoden 4
? Example of probes Tänka högt protokoll (think aloud) Retrospektiva hur tänkte du frågor Omformulera (Paraphrasing) Kan du upprepa frågan med dina egna ord? Tolkningsfrågor (Interpretation probe) Vad betyder begreppet... för dig? Säkerhetsfrågor (Confidence probe) Hur säker känner du dig på att du har besökt... xx ggr under det senaste året? Kognitiva frågor (Cognitive probe) Hur kom du fram till svaret xx ggr per månad? Hur bedömer du informationen du har fått när det gäller följande: Mycket Ganska Ganska Mycket Inte bra bra dålig dålig aktuellt Undersökningar/provtagningar [ ] [ ] [ ] [ ] [ ] Cancersjukdomen [ ] [ ] [ ] [ ] [ ] Förväntad prognos [ ] [ ] [ ] [ ] [ ] Tänk på att ingen vill erkänna att de inte förstår de som är med i testet vet att de ska få frågor om frågorna testa ändrade frågor igen de kan ha blivit sämre det är svårt att ge kritik till en okänd person Respondentintervjuer kan också användas för att bedöma till exempel Helheten i formuläret Relevansen på frågorna Felaktiga antaganden Frågor som skapar oro eller negativa känslor 5
Bias in responding The respondents perspectives, however, are often quite different. They are often unaware that the individual items are ignored in favor of the total score. Even when told that their responses will be scored by a computer, it is quite common to find marginal notes explaining and elaborating their answers. Thus, it appears that respondents treat each item as important in its own right, and often believe that their answers will be read and evaluated by another person. [Streiner Health measurement scales 2003] A survey is a voluntary social encounter between strangers and is subject to the rules that govern social relations between strangers Schwarz, Bradburn, Sudman 1996 Exempel på sociala regler (Paul Grice) Inte ljuga (Maxim of quality) Säga saker som är relevanta i diskussionen (Maxim of relation) Vara informativ och inte upprepa sig (Maxim of quantity) Uttrycka sig så klart som möjligt (Maxim of manner) Maxim of relation Är Matti här på jobbet idag? Det står en röd Volvo på parkeringen! Om det inte finns en logisk relevans så skapar vi den själva! Standardized interviewing Conversational interviewing Börda Ursäkta mig, var ligger stationen? Menar du tågstationen eller polisstationen? Whatever it means to you! (Engelsk variant) Var ligger stationen? (Svensk variant) Kognitiv börda Onödigt arbete Kränkande frågor Oro Misstro Standardiserar meningen i stället för orden 6
Lätta Viktiga Intressanta 2013-01-21 Face validity bra eller dåligt? there are situations where face and content validity may not be desirable, and may be consciously avoided. For example, in assessing behavior such as child abuse Tillfredsställelse Bidra Ansvar Komma till tals Reflektion Streiner Health measurement scales 2003 Self-determined motivation Amotivation Controlled extrinsic motivation Autonomous extrinsic motivation Intrinsic motivation Ser inget värde eller har inte kompetens att klara uppgiften Deltar för att få en extern belöning eller för att undvika skam/skuldkänslor Deltar för att studien kan få ett värde för samhället eller för dem själva Deltar för att det är spännande, kul eller intressant Utvärderingsfrågor Vad kan vi lära oss av kvalitativa studier? Befolkningsenkät Special Cancer Befolkningsenkät Special Cancer Befolkningsenkät Special Cancer Ganska lätta Lätta Ganska svåra Svåra Frågor som inbjuder till engagemang, eftertanke och berättande Materialet kvalitetssäkras med hjälp av informanterna Informanternas upplevelse följs ofta upp efteråt Informanterna bemöts som mycket värdefulla -50-40 -30-20 -10 0 10 20 30 40 50 60 70 80 90 100 7
och respekt Inte jaga eller hota Få komma till tals Inga belöningar i förväg Inga dolda motiv Respektera frivilligheten Vad tyckte respondenterna? Jobbigt att få det hemskickat 3 ggr med påminnelser om att det är HELT frivilligt. Svarar jag inte kommer det ju 100 påminnelser. Man känner sig tvingad att skriva i det när man får hem det för tredje gången. Det står ju att det är frivilligt men så känns det verkligen inte nu. Vad kan vi alla göra? Bredare verktygslåda för våra studier Gemensamma utvecklingsarbeten Gallra tuffare bland våra skalor Följa upp reaktionerna Minimera antalet förbannade respondenter Fokus på de som vill delta istället för på de som inte vill svara? Samarbete istället för övertalning? Utan respondenter ingen studie Respondent fokus Fokus på det sociala mötet istället för tekniska aspekter? Respondent tillfredsställelse istället för respondent börda? 8