Rekrytering till accesspaneler för- och nackdelar med olika metoder Bengt Larsson Marknadsundersökningens Dag 6 mars 2008
Innehåll Generaliserbarhet och kvalitet vid Internetundersökningar Olika rekryteringsmetoder ISO-standard för accesspaneler
ISO för undersökningsbranschen Två globala dokument ISO 20252 Market, opinion and social research Vocabulary and service requirement. Första version 2006 fastlagd. EU och svensk standard. En tvåspråkig version publicerades 15 november 2007. Finns att köpa på SIS hemsida. Gör det!!! Från svensk sida är det SCB, SIS och SMIF som främst bidragit ISO/TC 225/WG 2 Access panels in market, opinion and social research Vocabulary and service requirement. Troligen formellt klar dec. 2008. Huvuddelen dock i praktiken klar, men är ännu ej officiell
Paneluppbyggnad och urval ur panelen Internetundersökningar riktade mot allmänheten använder sig oftast av en s.k. panel. Man rekryterar personer som är villiga att deltaga i framtida undersökningar. Som villkor krävs vanligtvis att man använder e-post minst en gång i veckan. Vid en enskild undersökning drar man sedan ett urval ur sin panel och skickar ut inbjudningar att delta i undersökningen.
Viktiga faktorer för att bedöma kvaliteten i panelundersökningar - ISO Standard Hur är den aktuella panelen rekryterad? Hur inbjuds panelmedlemmen att delta i en enskild undersökning? Vilka kontinuerliga kontrollåtgärder finns avseende Datakvalitet Panelstruktur Panelmedlems identitet, profildata och seriositet Olika deklarerade svarsfrekvenser är inga kvalitetsmått
Svarsfrekvens Bortfall förekommer i två faser, under rekryteringen och vid urvalet till en enskild studie Effekter av bortfall förekommer främst i rekryteringsfasen Bortfall förorsakar bias eller snedvridning endast om svarsgruppen och icke svarsgruppen skulle ha svarat olika En hög svarsfrekvens är inget som helst kvalitetsmått. Det är t.o.m. ett begrepp som inte skall användas vid accesspaneler enligt den nya ISO standarden
Hur bör man rekrytera till en panel? Idealet vore om hela panelen var ett sannolikhetsurval ur populationen man vill generalisera till Sannolikhetslagar säkerställer god representativitet Vi kan tala om hur säkra våra resultat genom att beräkna medelfel eller konfidensintervall och vi kan signifikanstesta skillnader och förändringar etc. När det gäller icke sannolikhetsurval vet vi inte på samma sätt hur bra urvalet är. Kan här inte beräkna osäkerheten, inte testa etc. Sannolikhetsurval förhindrar systematisk och okontrollerad överrepresentation av specifika grupper Självrekryterade paneler innehåller relativt stor andel proffs- svarare och genvägare
Men vi når aldrig de som inte använder Internet inte heller om vi avgränsar oss till Online-populationen finns inte någon enkel urvalsram att dra stickprov ifrån det används idag en mängd rekryteringsmetoder som inte ger sannolikhetsurval men som är väldigt produktions- och kostnadseffektiva Därför är det viktigt att empiriskt forska på detta område för att utröna effekterna av olika metoder samt att bedöma kvaliteten på existerande paneler
Rekryteringsmetoder Köpa adresser från rikstäckande register, skicka inbjudan eller telefonnummersätt och ring och bjud in Inbjudan via andra riksrepresentativa, traditionella undersökningar Inbjudan via en pop-up undersökning Köpa e-post adresser Registrering via länk på egen hemsida Registrering via köpt länkplats / banner Snowballing / member get member
Vem bestämmer medlemskap en viktig skiljelinje Undersökaren styr över vem som får vara med i panelen Köpa adresser från rikstäckande register och bjud in via brev eller telefon Bjud in via andra riksrepresentativa traditionella undersökningar (Inbjudan via en pop-up undersökning) Panelmedlemmen själv väljer om han/hon vill vara med Registrering via länk på egen hemsida Registrering via köpt länkplats / banner (Snowballing / member get member) (Köpa e-post adresser) ( ) = gråzon
Många intressanta studier.. Ett exempel: The Effects of Panel Recruitment and Management on Research Results. Dutch Online Panel Study; NOPVO 2006 ESOMAR Panel Research Barcelona 2006
Rekryteringsmetoder Panelstudien i Holland Recruitment method of panel members in gross sample Buying addresses Self registration 15% 16% Via links/banners 22% Snowballing 6% By telephone 18% From existing panels Advertising in print media 1% 1% Via website surveys 5% Via traditional research 10% Other 5% Source: The Effects of Panel Recruitment and Management on Research Results, Dutch Online Panel Study; NOPVO 2006
Skillnader i resultat mellan olika paneler? Substantial differences between minimum and maximum scores min total max 53% 62% 82% 60% 69% 77% 50% 12% 19% 31% 21% 35% Paid job for over 15 hours per week Travels with public transport to workplace Awareness Corona Surfing on the Internet: 10+ hours per week Source: The Effects of Panel Recruitment and Management on Research Results, Dutch Online Panel Study; NOPVO 2006
Deltar panelmedlemmar i flera paneler? Number of panels per recruitment method 28 20 14 18 9 6 34 29 16 % 43 46 46 35 39 19 26 33 40 53 63 38 Buying addresses Via links/ banners Via website surveys Self registration Via traditional research By telephone Total 1 panel 2-5 panels over 6 panels Source: The Effects of Panel Recruitment and Management on Research Results, Dutch Online Panel Study; NOPVO 2006 71% av panelister rekryterade genom köpta adresser är med i flera paneler 20% av respondenterna står för 80% av genomförda intervjuer.
Specifika respondenttyper The Professional Respondent ( Proffs-tyckare ) Member of many panels; lots of questionnaires completed The Loyal Respondent Takes time to complete questionnaire and puts effort in open ended questions The Inattentive Respondent ( Genvägare ) Speeds through questionnaire and minimum input open ended questions
Samband respondenttyper rekryteringsmetod? recruitment panellist (data available of 12 panels) 31% 14% 17% 33% 45% 30% 19% 17% 23% 9% 14% 17% Traditional datacollection Adresses purchased Through links/banners Other 35% 56% 47% 23% Total professional: loyal: inattentive: Self selection By invitation Self select Source: The Effects of Panel Recruitment and Management on Research Results, Dutch Online Panel Study; NOPVO 2006
Varför vill jag vara med i panelen? Reasons for participating in internet surveys. Which one is the most important to you? 26% 39% 17% 9% 33% 17% Nice to do 22% 30% Incentive Other intrinsic drivers* 69% Other 54% 39% 34% 4% 1% 5% 3% Total professional: loyal: inattentive: nice to do intrinsic incentive motivations driven Source: The Effects of Panel Recruitment and Management on Research Results, Dutch Online Panel Study; NOPVO 2006 *Such as: Curiosity I like to give my opinion I like to see results I like to be part of an online community
Märkeskännedom bland olika respondenttyper? 15% 10% 5% 0% -5% -10% -15% Aiwa Akai Bang & Olufsen Beko Finlux Grundig Hitatchi JVC Lenco LG Loewe Metz NEC Orion Panasonic Philips Pioneer Sanyo Samsung Sharp Sony Thomson Toshiba Vestel Viewsonic professional loyal inattentive professional loyal inattentive Source: The Effects of Panel Recruitment and Management on Research Results, Dutch Online Panel Study; NOPVO 2006
Genvägare ilar genom formuläret 21% 14% 12% 12% 12% 7% 6% 6% 7% 4% 1% 1% 0% 2% 1% 1% clicking through ('straightlining') 'don't want to say' (1+) 'don't know' (1+) 6 or more (of 10) neutral scores on 5-p scale total professional loyal inattentive Source: The Effects of Panel Recruitment and Management on Research Results, Dutch Online Panel Study; NOPVO 2006
Reflektioner och rekommendationer 1(2) Använd sannolikhetsurval eller dess filosofi så långt möjligt i alla delar av panelarbetet. Om onlinerekrytering: Använd olika källor, gärna banners på många olika hemsidor. För specialistpaneler - använd köpt länk vid Google-sökning Rigorös rekryteringsprocess, ger kontroll och avskräcker genvägare Kolla noga ursprunget på köpta e-postadresser Undvik självrekrytering på egen hemsida Om snowballing nödvändigt; många bollar men bara 1-2 varv per boll
Reflektioner och rekommendationer 2(2) För alla paneler: Specifik invitation till varje enskild studie Var restriktiv med antalet invitationer och håll uppe studien länge Ha en policy för hur ofta varje panelmedlem får delta totalt och i olika kategorier av undersökningar Sök undvika att dina panelmedlemmar ingår i (många) andra paneler Modest och långsiktigt belöningssystem. Gärna poängsystem. Lotterier generellt ej tillåtna i Sverige! Kontrollera och plocka bort suspekta respondenter
Slutligen några framtidstankar Online-undersökningar och paneler är en stor del av vår framtid!!! Här finns stora fördelar avseende båda kostnad, tid, integritet och datakvalitet Utvecklingen måste fokusera på både smarta och kostnadseffektiva produktionslösningar och på att vi faktiskt skall generalisera till en verklig population! Vi borde i Sverige göra fler gemensamma öppna studier för att på empirisk väg lära oss mer om effekten av olika metoder. Tack för att ni lyssnat!