Utredning om metodik för webbpanelundersökningar

Storlek: px
Starta visningen från sidan:

Download "Utredning om metodik för webbpanelundersökningar"

Transkript

1 UTREDNINGSRAPPORT Datum Beteckning 1(25) Ert datum / Er beteckning Processavdelningen Jörgen Brewitz Martin Daniels Tillväxtverket Box STOCKHOLM Utredning om metodik för webbpanelundersökningar 1. Sammanfattning Syftet med denna utredning är att belysa fördelar och nackdelar med w ebbpanelund ersökningar i förhålland e till trad itionella und ersökningar baserade på sannolikhetsurval. Utredningen ska på så vis ge Tillväxtverket ett beslutsund erlag inför planering av fram tida statistikproduktion. Webbpanelundersökningar kan ha praktiska fördelar i att de vanligen är relativt billiga, enkla och snabba att genomföra. Vid are kan uppgiftslämnarbördan i en mening sägas bli lindrig, genom att respondenterna på eget bevåg väljer att gå med i webbpanelerna och får rutin på att medverka i undersökningar. En betydande nackdel med webbpanelundersökningar är att de vanligen saknar d en vetenskapliga grund som finns för trad itionella und ersökningar baserade på sannolikhetsurval. Webbpanelundersökningar kan delas in i två huvudtyper: de som i grunden bygger på sannolikhetsurval och de som helt bygger på icke-sannolikhetsurval. Den första typen är hanterbar med statistisk metodik för urval och bortfallskompensation, om bortfallet hålls under kontroll. Den andra typen kan t.ex. ha självrekryterade paneler eller paneler valda på något annat sätt utan full kontroll över förfarandet; denna typ har ingen sannolikhetsteoretisk grund och konfidensintervall är inte giltiga. Det är oklart hur tillförlitliga slutsatser ska kunn a d ras om populationsstorheter från webbpanelundersökningar, särskilt för de undersökningar som bygger på självrekryterade webbpaneler. Empiriska resultat visar på potentiellt stora systematiska fel för sådana undersökningar, utom möjligen för väljarbarometrar. Vidare kan problem med undertäckning snedvrida resultaten av undersökningar om företeelser som är särskilt frekventa i grupper av äldre, lågutbildade eller utrikes födda. Naturligtvis förekommer problem med osäkerhet även i trad itionella, sannolikhetsbaserade undersökningar, t.ex. när bortfallet blir stort. Dock finns där basala förutsättningar för att åtminstone kontrollera problemen. Postadress Besöksadress Telefon Fax Box , STOCKHOLM Karlavägen ÖREBRO Klostergatan E-post: scb@scb.se Organisationsnummer: Momsregnummer: SE

2 2(25) En bedömning är att det även vid stort bortfall ändå är en avgörande fördel med att utgå från sannolikhetsurval. En del nyare ansatser att i möjlig mån kompensera för inverkan av bortfall, primärt utformade för sannolikhetsbaserade undersökningar, kan vara tänkbara även för webbpanelundersökningar. Sådana metoder kan utnyttja kompletterande inform ation från andra datakällor, såsom registerdata eller totalundersökta data. Risken finns att informationen från de andra källorna inte är relaterad starkt nog till de undersökta företeelserna för att avgörande förbättra undersökningens kvalitet. Utredningen avlämnar följande slutsatser och rekommendationer: 1. Webbpanelundersökningar kan variera mycket i kvalitet, t.ex. beroende på om webbpanelerna är självrekryterade eller rekryterade utifrån sannolikhetsurval. 2. De svarande i en webbpanelundersökning kan inte sägas utgöra ett sannolikhetsurval. 3. Vid genomförande av webbpanelundersökningar ska öppen redovisning göras av valda metoder och av numeriska beskrivningsmått för bedömning av kvalitet. 4. Det saknas en vetenskaplig grund för att generalisera resultat från w ebbpanelund ersökningar avseend e allmänheten till hela popu - lationen. 5. Webbpanelundersökningar ska normalt undvikas när målet är att skatta populationsstorheter tillförlitligt. 6. Webbpaneler kan användas för kvalitativa och experimentella ändamål. Notera att ovanstående slutsatser kan komma att ändras om betydande fram steg görs inom forskning och praktik avseend e w ebbpanelund ersökningar. För detta fordras bland annat utveckling av ett vetenskapligt ramverk för webbpanelundersökningar. Det är ett rimligt krav på samhällsstatistik, som ligger till grund för viktiga beslut av myndigheter och andra aktörer, att vald undersökningsmetodik kan motiveras utifrån vetenskapliga principer. Ett alternativ till webbpanelundersökningar är ökad användning av webbenkäter inom traditionella, sannolikhetsbaserade undersökningar. Sw ed ish Tourism Survey, som beställs av Tillväxtverket, är en w ebbpanelundersökning av den typ som saknar sannolikhetsteoretisk grund. Det är omöjligt att veta om skattningarna hamnar någorlunda rätt eller inte, utifrån den information som ställts till utredarens förfogande och givet bristen på kvalitetsmått. Metodiken för webbpanelundersökningar, som används i undersökningen, saknar en solid vetenskaplig grund. Inte heller empiriska resultat från forskningslitteraturen inom området tyder på att tillförlitliga resultat kan förväntas. Möjligen kan kompletterande information från andra datakällor utnyttjas för att öka tillförlitligheten, men det gäller endast för variabler där det finns starkt relaterad infor-

3 3(25) mation tillgänglig. Mått på osäkerheten i de statistiska resultaten går inte att beräkna på ett giltigt sätt. Några numeriska beskrivningsmått, i linje med Surveyföreningens rekommendationer, bör dock kunna tas fram. När det gäller Entreprenörskapsbarometern bedöms den, liksom de flesta undersökningar, i nuläget inte vara särskilt lämpad att lägga över som webbpanelundersökning. Ett bättre alternativ bedöms vara att börja med w ebbinsam ling, i kombination m ed telefonintervju eller m öjligen postenkät, dvs. att börja med en mixed -mode-ansats. Vidare vore det önskvärt med en utvidgad användning av hjälpinformation i beräkningarna. 2. Utredningsuppdrag Metod iken för w ebbpanelund ersökningar är om d isku terad, och Tillväxtverket har behov av att bedöma om resultat från webbpanelundersökningar håller tillräcklig kvalitet. Syftet med denna utredning är att belysa fördelar och nackdelar med w ebbpanelund ersökningar i förhålland e till trad itionella und ersökningar baserade på sannolikhetsurval. I utredningsuppdraget ingår att ge ett utlåtande om lämpligheten i att utnyttja webbpanelmetodik för två specifika und ersökningar. Utred ningen ska ge Tillväxtverket ett beslutsunderlag inför planering av framtida statistikproduktion. Omfattningen på utredningen är relativt liten, och rapporten ger en översikt och kan inte på något sätt betraktas som uttömmande beträffande de frågeställningar som tas upp. Jörgen Brewitz (f.d. Svensson), processansvarig för området Utforma och utvärdera på SCB:s processavdelning, har genomfört denna utredning. Synpunkter som lett till förbättringar har lämnats av en referensgrupp bestående av Carl-Erik Särndal, professor emeritus, konsult åt SCB, Thomas Laitila, professor, Örebro universitet och SCB, Martin Axelson, senior metodstatistiker, SCB, och Joakim Malmdin, chef för Metodenhet företag och organisationer, Stockholm, SCB. 3. Metodik för webbpanelundersökningar 3.1 Bakgrund Den snabba utvecklingen av internet sedan mitten av 1990-talet har lett till en ny typ av undersökning: webbpanelundersökningen. Med en webbpanel (internetpanel, on-line-panel) avses en accesspanel bestående av personer (eller företag) som är villiga att svara på webbenkäter. En accesspanel är en databas över ett urval potentiella respondenter som har ställt sig villiga att delta i framtid a undersökningar om de väljs ut till dessa, se ISO (2009). En webbpanelundersökning kan då definieras som en und ersökning m ed urval från en w ebbpanel (eller flera), d vs. en und er-

4 4(25) sökning via webben utifrån personer som förklarat sig villiga att delta i sådana undersökningar om de blir utvalda. Webbpanelundersökningar kan lätt förväxlas med andra typer av undersökningar. En sådan är longitudinella undersökningar med fasta eller roterande paneler, såsom t.ex. i Arbetskraftsundersökningarna (AKU). Sådana undersökningar bygger dock traditionellt på s.k. sannolikhetsurval. Med sannolikhetsurval avses, något förenklat, ett urval (ett stickprov) som är draget med en sådan slumpmekanism att alla objekt eller personer i den population som statistiken ska avse har en chans att komma med i urvalet; och storleken på den chansen (sannolikheten) ska i princip vara känd, person för person. Det är väsentligt att hålla isär urvalsförfarande och insamlingssätt. En und ersökning som baseras på ett sannolikhetsurval och för vilken d ata - insamling görs helt eller delvis via webben, dvs. via webbenkäter, utgör inte i sig en webbpanelundersökning. SCB genomför en relativt stor del av sin datainsamling via webbenkäter, och för företagsundersökningar är det huvudalternativet. Webbpanelundersökningar kan synas ha praktiska fördelar framför trad itionella und ersökningar baserad e på sannolikhetsurval. Webbpaneler är ett relativt enkelt, snabbt och billigt sätt att samla in stora mängder data. Inga intervjuare är inblandade, och det blir inga kostnader för porto eller hantering av postförsändelser med pappersblanketter. Metodiken har därför fått stort genomslag bland marknads- och opinionsundersökare. Det finns emellertid allvarliga problem med webbpanelundersökningar. Huvudproblemet rör hur slutsatser ska kunna dras från dem som d eltar i undersökningen till målpopulationen (den population statistiken ska avse), dvs. generaliserbarheten eller möjligheten att göra inferens (dra slutsatser) från urval till population. Webbpanelerna är nämligen vanligen självselekterade, i den meningen att personerna själva väljer att vara med i en panel efter en bred inbjudan. Panelerna är då alltså inte upprättade med sannolikhetsurval från populationen. Även i de fall webbpaneler upprättas med sannolikhetsurval från början, vilket är principiellt annorlund a, är deltagarandelen (svarsand elen) ofta m ycket låg, så att bortfallet riskerar led a till stora system a- tiska fel i statistikresultaten. Relativt mycket forskning har bedrivits på senare år inom webbpanelmetodik; för en sammanställning av forskningsläget, se Callegaro m.fl. (2014). Det saknas dock fortfarande en solid vetenskaplig grund för webbpanelundersökningar, i synnerhet för dem som grundas helt på icke-sannolikhetsurval. För EU-reglerad statistik gäller Riktlinjer för europeisk statistik (Code of Practice). I inledningen står d et europeiska statistiksystemets vision: Det

5 5(25) europeiska statistiksystemet ska vara världsledande inom statistiska informationstjänster och den främsta leverantören av information till Europeiska unionen och dess medlemsstater. Med utgångspunkt i vetenskapliga principer och metoder ska det europeiska statistiksystemet erbjuda ett ständigt förbättrat program med harmoniserad europeisk statistik som utgör en väsentlig grund för de demokratiska processerna och framstegen i samhället. Utgångspunkten för statistikframställningen är alltså vetenskapliga principer och metoder. Princip 8 handlar om lämpliga statistiska förfaranden, som är väsentliga för att framställa vederhäftig statistik. Under den principen finns Indikator 8.3: Undersökningarna är välgrundade med avseende på utformning, urval och skattningsmetoder, och dessa aspekter ses regelbundet över och ändras vid behov. En fråga som bör ställas är om webbpanelundersökningar kan vara välgrundade med avseende på utformning, urval och skattningsmetoder. Frågan behandlas nedan i avsnitt Som underlag för resonemang i det följande, ges här några förenklade begreppsförklaringar. Det uppkomna felet för en skattning, dvs. ett statistikvärde i betydelsen ett redovisat värde på en statistisk storhet (parameter), från en statistisk undersökning är vanligen okänt och påverkas av systematiska och slumpmässiga effekter. Inom teorin för urvalsundersökningar beaktas genomsnittsegenskaper över alla möjliga utfall av urvalsprocessen, svarsprocessen, mätprocessen etc. Det totalfel (som är en genomsnittsegenskap) ett skattningsförfarande är behäftat med brukar teoretiskt uttryckas i termer av den förväntade avvikelsen mellan skattningens värde och den skattade storhetens faktiska, men okända, värde. Totalfelet kan i tanken delas upp i två delar: ett slumpmässigt och ett systematiskt fel. Det slumpmässiga felet i en skattning mäts vanligen med medelfelet (standardavvikelsen, kvadratroten ur variansen), sedd över alla möjliga utfall (av urval, svarsmängd etc.). Medelfelet skattas normalt utifrån de erhållna svaren i undersökningen. Ett (ungefärligt) konfidensintervall med 95 procents konfidensgrad bildas som det skattade värdet plus/ minus dubbla skattade medelfelet för skattningen. Det systematiska felet kan uppfattas som skillnaden mellan det skattade värdet på en statistisk storhet, i ett vägt genomsnitt över alla möjliga utfall, och det sanna värdet för storheten. Detta fel kallas även skevhet eller informellt snedvridning (engelska: bias). Det systematiska felet avspeglas i princip inte alls i angivna konfidensintervall, men kan i många situationer, t.ex. vid besvärande bortfall, stå för en större del av totalfelet. Konfid ensintervall bör alltså inte använd as som end a kvalitetsindikator för en statistisk undersökning. Begreppen ovan har en mening givet att undersökningen ifråga bygger på sannolikhetsurval. I annat fall finns ingen tydlig tolkning. Konfidensintervall kan ersättas med ett slags bedömningsintervall, som dock måste baseras på modellantaganden. Det systematiska felet för en skattning

6 6(25) från ett urval från en självselekterad webbpanel kan möjligen tolkas som skillnaden mellan den erhållna skattningen för en storhet i ett vägt genomsnitt över tänkbara utfall (som det inte finns någon beskrivning av) och det sanna värdet för storheten. Även här kan modellantaganden behövas. I d et följand e läggs störst fokus på inferensproblem atiken för w ebbpanelundersökningar, vilket behandlas i avsnitt 3.3 Icke-sannolikhetsurval. I avsnitt 3.2 och 3.4 behandlas undertäcknings- och mätfelsfrågor. Avsnitt 3.5 ger en allmän diskussion huruvida webbpanelundersökningar kan användas för att framställa tillförlitlig statistik. I avsnitt 3.6 presenteras slutsatser och rekommendationer. 3.2 Undertäckning En ram är en förteckning eller ett utdrag ur ett register, som används i en statistisk undersökning för att dra ett urval av objekt. Med rampopulation menas den mängd av populationsobjekt (såsom individer eller företag) som ingår i ramen. Rampopulationen skiljer sig vanligen från målpopulationen (den population statistiken ska avse), vilket leder till täckningsfel. Bristande täckning kan bestå av undertäckning, dvs. de objekt som ligger i målpopulationen men inte i rampopulationen, eller övertäckning, dvs. de objekt som ligger i rampopulationen men inte målpopulationen. Begreppen ovan används främst i det fall ett sannolikhetsurval dras från rampopulationen. För självselekterade webbpaneler finns ingen ram. I d et följand e förutsätts d ärför en vidare, ospecifik använd ning av begreppen, där täckning står för internettäckning och undertäckning får betyda de objekt som ligger i målpopulationen men inte i den tänkta rampopulationen (som det inte finns någon beskrivning eller tydlig avgränsning av). En webbpanelundersökning kan då liksom andra undersökningar sägas lida av undertäckning, dvs. att hela målpopulationen inte täcks in av webbpanelens tänkta rampopulation. Målgruppen för en undersökning är oftast vidare än de personer som har tillgång till internet, och webbpaneler kan inte företräda människor som inte når webben. Valet av datainsamlingsmetod medför alltså en undertäckning. Enligt Eurostat hade 95 procent av svenskarna i åldern år tillgång till internet år Enligt studien Svenskarna och internet 2014 från Stiftelsen för internetinfrastruktur hade 91 procent av svenskarna i åldern 18 år och uppåt tillgång till internet. Andelen i åldern 76 år och uppåt som använde internet minst någon gång var 34 procent, och andelen som använde internet dagligen var 24 procent. Detta borde medföra att webbpanelundersökningar inte behöver lida av stora systematiska fel på grund av undertäckning, om de inte rör företeelser som är vanliga just i grupper där tillgång till internet är mindre frekvent, t.ex. åldersrelaterade hälsoproblem.

7 7(25) Problematiskt är att internetanvändningen är ojämnt fördelad över befolkningen: äld re, lågu tbild ad e och utrikes föd da är und errepresenterade bland dem som har tillgång till internet. Försiktighet är alltså påkallad när det gäller undersökningar i ämnen med särskild betydelse för grupper av äldre, lågutbildade eller utrikes födda. För exempelvis en folkhälsoenkät skulle und ertäckningen kunna leda till att en w ebbpanelundersökning blir direkt missvisande. Betlehem och Biffignandi (2012) visar att det systematiska felet för ett skattat medelvärde av någon variabel på grund av undertäckning bestäms av två faktorer. Den första faktorn är andelen personer utan internet. Tillhörande fel minskar när internettäckningen ökar. Den andra faktorn är skillnaden mellan medelvärdet för målvariabeln (undersökningsvariabeln) för d em m ed respektive utan internet. Ju större skillnaden är, desto större bli skevheten. Eftersom internettäckningen kan väntas fortsätta öka, minskar effekten av den första faktorn. Det är dock inte klarlagt hur den andra faktorn utvecklas. Det kan inte uteslutas att den (lilla) återstående grupp en utan internet skiljer sig alltm er från resten av befolkningen. Därför kan fortfarande ett systematiskt fel kvarstå, även om internettillgången är hög. En tänkbar lösning för undertäckningsproblemet är att utvidga webbpanelen till en s.k. mixed-m od e-panel, dvs. att skapa en grupp panelm edlemmar utan internet och använda en annan datainsamlingsmetod för dem (postenkät eller telefonintervju ). Detta leder dock till ökade kostnader. Dessutom kan en del mätproblem uppstå med de olika insam - lingsmetoderna. Mixed-mode-paneler har prövats bland annat i Nederländerna och USA. En annan ansats är att kom pensera för und ertäckningen i skattningsfasen, t.ex. med kalibrering. Se vidare beskrivningen av kalibrering mot bortfall i und eravsnittet Justeringar vid skattning i avsnitt 3.3 Ickesannolikhetsurval nedan. Även övertäckning kan tänkas förekomma i webbpanelundersökningar. Exempel på detta är personer som inte bor i Sverige längre (om dessa inte ingår i målgruppen) och dubbletter av personer genom mer än en anmälan av en person till samma webbpanel. Det senare antas dock webbpanelföretagen kunna hantera genom processer som validerar att personen ifråga är den som den utger sig vara och att personen kan gå med i panelen endast en gång. Känd övertäckning kan tas bort ur beräkningsunderlaget. Okänd övertäckning är svårare att hantera. Sammantaget bedöms dock övertäckningsproblematiken i regel vara mindre än undertäckningsproblematiken i webbpanelundersökningar.

8 8(25) 3.3 Icke-sannolikhetsurval Sannolikhetsurval kontra icke-sannolikhetsurval Sedan omkring 1950-talet har urvalsundersökningar för samhällsstatistik i regel baserats på sannolikhetsurval. Detta gäller inte bara i Sverige utan i stora delar av världen. Förfarandet är transparent och bygger på vetenskaplig grund och utgör en grund bult i statistikprod uktion m ed urvalsundersökningar. Dessutom kan osäkerhetsmått, t.ex. skattade urvalsfel uttryckta i konfid ensintervall, beräknas för skattningarna (statistikvärdena). De skattade urvalsfelen täcker vid låga urvalsfraktioner in det mesta av de slumpmässiga felen i en undersökning, dvs. även slumpmässiga mätfel till stor del. Praktiska omständigheter kan göra det nödvändigt att avvika från sannolikhetsurval i en del fall, men då ska det finnas starka skäl. Ett tilltagande problem är förekomsten av bortfall. Bortfallet leder till en uppsättning av svarande som inte är ett sannolikhetsurval från populationen, såvida inte bortfallet är helt slumpmässigt. Det har visat sig att bortfallet ofta är ojämnt fördelat, t.ex. är det vanligen större bland unga och utrikes födda. Bortfallskompensation kan göras på så vis att svaren från personer i underrepresenterade grupper ges en något större vikt än övriga personers svar. Metod en för bortfallskom pensation är väl d oku - menterad i den statistikvetenskapliga litteraturen. Den garanterar dock inte att hela det systematiska bortfallsfelet kan elimineras. Surveyföreningen (2014) anger att termen sannolikhetsurval fortfarande används vid bortfall av mindre omfattning, då olika justeringar tillgrips. När bortfallsfelet bedöms vara av större omfattnin g anges seriösa undersökare avstå från att betrakta sina d ata som erhållna genom sannolikhetsurval. Det finns dock ingen vedertagen gräns för när storleken eller karaktären på bortfallet skulle göra att d et slutliga urvalet av m edverkand e (svarsm ängd en) inte längre kan beskrivas som ett sannolikhetsurval. Ett något annorlunda sätt att se på detta är att först konstatera att sannolikhetsurval används, vilket är principiellt viktigt, eftersom själva urvalet då är slumpmässigt på ett kontrollerat sätt, och att sedan hantera bortfallet på bästa sätt. Problemet blir då tydligare uppstrukturerat i två slumpmekanismer: dels en välkontrollerad där urvalet görs, dels en bortom effektiv kontroll där bortfallet uppstår. Det förekommer att webbpaneler rekryteras utifrån sannolikhetsurval. Den s.k. kumulativa deltagarandelen (se ISO, 2009), som grovt kan sägas motsvara svarsandelen i en traditionell undersökning, är dock ofta så låg (under 10 procent) att svarsmängden ändå kan betraktas som ett ickesannolikhetsurval, enligt synsättet i Surveyföreningen (2014). Som nyss nämnts ovan är ett annat synsätt att betona att undersökningen bygger på sannolikhetsurval, men att den är drabbad av ett stort bortfall.

9 9(25) Webbpanelundersökningar baseras dock ofta på icke-sannolikhetsurval, t.ex. genom rekrytering via reklam på internet. Panelen som erhålls är då självselekterad: respondenterna har själva valt att delta i panelen, och urvalsförfarandet är okontrollerat. Information saknas både om vilka personer som inte varit medvetna om att valet fanns att delta i panelen och om vilka personer som valt att inte vara med. Webbpaneler kan även rekryteras på något annat sätt utan full kontroll över urvalsförfarandet; även då handlar det om icke-sannolikhetsurval. Dessa fall är principiellt annorlunda och kan inte återföras på en traditionell undersökning. De två typerna av w ebbpanelundersökningar ovan, baserad e på sannolikhetsurval respektive icke-sannolikhetsurval, är i grunden olika. Den första typen är vetenskapligt och empiriskt grundad, även om det stora bortfallet kan ställa till allvarliga problem. Den senare typen saknar i nuläget en sannolikhetsteoretisk grund och bygger snarare på empiri från enskilda undersökningar. I det följande behandlas båda typerna som kraftigt påverkade av självselektion eller representativitetsproblem, trots oklarheten i begreppet representativitet enligt nedan. I sam band m ed använd ning av icke-sannolikhetsurval, t.ex. vid w ebbpanelundersökningar, talas en hel del om "representativitet" eller riksrepresentativa urval. Denna användning av begreppet representativitet är dock långt ifrån okontroversiell bland statistiker, eftersom det lätt för tankarna i fel riktning. Begreppet kan ha många betydelser och används ofta i en lös mening för att förmedla en vag uppfattning om god kvalitet. Enligt ISO (2009) får begreppet användas endast om det definieras tydligt. Vanligen avses att urvalets objekt, t.ex. personer, inte i några viktiga avseenden skiljer sig från populationens. Urvalet sägs utgöra en miniatyr av populationen, t.ex. ett mini-sverige. Detta tros visas genom att urvalet från webbpanelen har samma struktur på bakgrundsvariabler som kön, ålder, region och inkomst, eller attityd - och livsstilsvariabler. Ett annat sätt att bekräfta "representativitet" vid webbpanelundersökningar kan vara att jämföra resultaten från dessa med kända uppgifter från register eller undersökningar med sannolikhetsurval. Det är dock väl känt att ett urval, t.ex. från en webbpanel, kan vara representativt" med hänsyn till alla kända bakgrundsvariabler, och på så sätt representera populationens sam m ansättning, utan att ge tillförlitliga skattningar av de statistiska målstorheterna. De personer som ingår i undersökningen kan avvika med avseende på målvariablerna, från dem som inte ingår. Detta kan kallas ett självselektionsfel. Som kontrast till detta kan konstateras att vid sannolikhetsurval av tillräcklig storlek leder det slumpmässiga inslaget till en naturlig sp ridning eller "representativitet" på värdena i urvalet för alla variabler. Dock kan delvis liknande problematik med självselektion gälla även i situationer med stort bortfall i undersökningar med sannolikhetsurval. För icke-sannolikhetsurval saknar det vanliga osäkerhetsmåttet (skattat urvalsfel) tolkning, varför det inte heller kan användas för att konstruera

10 10(25) konfidensintervall. Följden blir att signifikanta (statistiskt säkerställda) skillnader mellan grupper eller över tid inte kan fastställas. Mer allmänt im plicerar ovanståend e att d et för statistik som baseras på icke-sannolikhetsurval normalt inte är möjligt att säkerställa att statistiken håller tillräcklig kvalitet för att kunna användas som beslutsunderlag. Som nämnts tidigare, är ett alternativ till konfidensintervall att ta fram ett slags bedömningsintervall. Detta måste dock baseras på en modell och blir starkt beroende av vilka antaganden som görs om urvalet och popu - lationen. Bedömningsintervall (engelska: credibility intervals, se AAPOR, 2012) är tänkta att spegla den statistiska osäkerhet som genereras av en modell som bygger på bayesiansk statistisk teori. Modellen väljs av en expert och ska ge ett slags översättning från deltagandet i en webbpanelundersökning till målpopulationen för densamma. En stor svårighet ligger i att värdera om modellantagandena är rimliga eller inte. AAPOR påkallar försiktighet i användningen av bedömningsintervall. Det har delvis diskuterats om de höga bortfallsnivåerna i många individoch hushållsundersökningar bord e led a till en om prövning av sannolikhetsurvalet som bas för urvalsundersökningar till individer och hushåll. En vanlig hållning bland statistikbyråer internationellt är att stå fast vid sannolikhetsurval som grundläggande förutsättning. Det bedöm s viktigt att bygga på en solid grund av sannolikhetsurval, hålla ned bortfallet så långt som möjligt och därefter justera för det återstående bortfallet med hjälp av tillgänglig hjälpinform ation från register. Ett sätt att minska bortfallet, eller åtminstone minska kostnaden för datainsamling eller minska bortfallets snedvridande effekt, är att övergå till mixed -mode-lösningar, där webbenkät i nuläget kan ses som en möjlighet. Hur tungt de praktiska fördelarna med webbpanelundersökningar ska väga kan också diskuteras. SCB har inte genom fört några w ebbpanelundersökningar och kan därför inte avgöra hur mycket billigare och snabbare undersökningarna skulle kunna göras. En misstanke är dock att fördelarna inte blir så stora om tillförlitlig statistik ska framställas. Se vidare Bethlehems rekommendationer i avsnitt 3.5 nedan. Det vore önskvärt att kunna ange kvaliteten som en funktion av kostnad en för en und ersökning, t.ex. i ett d iagram. Ett und ersökningsupplägg som led er till alltför låg kvalitet, givet syftet m ed und ersökningen (dvs. i relation till hur den är avsedd att användas), kan då betraktas som oanvändbart. Ett undersökningsupplägg som leder till hög kvalitet men mycket höga kostnader, givet syftet med und ersökningen, kan betraktas som icke prisvärt. Valet bör i stället falla på ett upplägg som ger tillräcklig kvalitet givet syftet och som har ett rimligt pris. För webbpanelundersökningar utifrån icke-sannolikhetsurval finns dock i nuläget inte tillräckligt med underlag för att överhuvudtaget bedöma kvaliteten i de erhållna statistikvärdena för en enskild undersökning (annat än från empiriska studier av andra webbpanelundersökningar, se avsnitt 3.5 nedan). Det är därför svårt, i synnerhet för samhällsstatistik,

11 11(25) att motivera valet av en webbpanelundersökning med en lägre kostnadsnivå. Bortfall i webbpanelundersökningar Vid urval från självselekterade webbpaneler är det inte helt meningsfullt att tala om bortfall och svarsfrekvens. Det är känt hu r många som faktiskt har svarat, men inte hur många därutöver som borde ha svarat under tänkta ideala förhållanden. I stället för bortfall skulle begrepp som (själv)selektionsfel kunna användas. I det följande används dock för enkelhets skull begreppet bortfall för båda typerna av w ebbpanelundersökningar, här i betydelsen de som inte selekterats fram och svarat (eller de som inte selekterat fram sig och svarat ). Bortfall uppstår i (minst) två faser för en webbpanelundersökning: vid rekrytering av pan elen (eller panelerna) och vid den specifika und ersökning som görs för ett urval från panelen. Bortfallet är i regel högre i den första än i den andra fasen. Det beror på att det behövs en särskild ansträngning att gå med i en webbpanel, medan besvarandet av en enskild enkät eventuellt inte är så ansträngande för någon som redan är panelmedlem. Bortfall vid rekrytering av panel Rekrytering till webbpanelundersökningar är svårare än rekrytering till en enskild undersökning, eftersom åtagandet är större för en sekvens av undersökningar. Rekryteringen kan som nämnts ovan ske utifrån en undersökning baserad på sannolikhetsurval, där undersökningen antingen enbart är avsedd för rekrytering eller har andra syften men kompletteras med en rekrytering. Då talas om sannolikhetsbaserade paneler. Bortfall uppstår genom att inte alla besvarar d enna und ersökning och genom att alla svarande inte väljer att acceptera ett erbjudande att gå med i en webbpanel. I själva verket kan andelen av de ursprungligen utvalda som väljer att ansluta sig till panelen vara mycket låg, t.ex. om kring 10 procent. I nästa fas genomförs vanligen en s.k. profilund ersökning för att dels få en bekräftelse på paneldeltagande (dubblerat medgivande), dels utöver e-postadressen få tillgång till psykografiska data, dvs. uppgifter om livsstil och attityder, från panelmedlemmarna. Dessa data kan användas för filtrering av kommande urval till speciella målgrupper och för att förstå och justera för bortfall i specifika undersökningar. Alla tilltänkta panelmedlemmar svarar dock inte på profilundersökningen. En risk är att panelen kommer att bestå av proffstyckare eller en högljudd minoritet, på bekostnad av den tysta majoriteten. Samma fenomen kan förvisso gälla för de svarande i en traditionell undersökning, men webbpaneler har normalt betydligt större bortfall än vad som förekommer i officiell statistikproduktion. Många paneler är självrekryterade, dvs. inte från början baserade på sannolikhetsurval. Rekryteringen görs via reklam på internet och innebär att de som utför undersökningen inte i förväg kan veta vilka personer som får inbjudan eller hur många gånger en person får en inbjudan, även

12 12(25) om inbjudan kan vara riktad mot vissa grupper av personer. Urvalssannolikheten för en individ är alltså okänd, och bortfallet i egentlig mening är också okänt. Även för självrekryterade paneler brukar en profilundersökning göras. Rekrytering till en webbpanel kan göras vid ett enstaka tillfälle, men det är vanligare att rekryteringen görs vid upprepade tillfällen. Det uppstår då olika kohorter ( kullar ) av panelmedlemmar. Om rekryteringen har gjorts utifrån sannolikhetsurval, kan urvalssannolikheten skilja mellan olika kohorter, vilket behöver beaktas i skattningarn a. Det förekommer även att webbpaneler rekryterade på olika sätt läggs samman, i syfte att öka volym en och representativiteten avseend e befolkningen i allm änhet. Bortfall genom utträde En panels sammansättning förändras hela tiden av olika orsaker. En medlem kan utträda på egen begäran eller bli utesluten på grund av inaktivitet. Det finns även andra orsaker till utträde (engelska: attrition). Se vidare Surveyföreningen (2014). Bortfall genom utträde leder till att panelen efter en tids existens har större bortfall eller kan bedömas vara m er självselekterad än d irekt efter rekrytering. Kom pletterand e rekrytering kan genomföras, och den kan då lämpligen inriktas mest på grupper med hög grad av utträde. Bortfall i den specifika undersökningen Ett urval från en webbpanel till en specifik undersökning kan utformas på olika sätt. Det förekommer obundna slumpmässiga urval, men de är ovanliga enligt Baker m.fl. (2010). Stratifiering är en effektiv metod för sannolikhetsurval, som ofta ökar precisionen i de slutliga skattningarna. Det är oklart hur vanligt det är med stratifierade urval från webbpaneler och hur väl de fungerar för självrekryterade webbpaneler eller för sannolikhetsbaserade webbpaneler med stora bortfall. Kvoturval (kvotaurval) är en vanlig metod att dra urval från webbpaneler. Då rekryteras de svarande så att andelarna (kvoterna) i olika undergrupper stämmer överens (ungefär) med de uppskattade andelarna i populationen. Till exempel rekryteras specificerade antal män och kvinnor i olika åldersgrupper. Kvoturval påminner om stratifierade urval, men saknar den vetenskapliga grunden för ett stratifierat sannolikhetsurval. Bortfall kan uppstå i specifika undersökningar när personen ifråga inte har tid eller intresse att delta i undersökningen och bidra med svarsinformation. Bortfall kan också bero på att personen inte hinner svara på enkäten innan den stängs eller innan en viss kvot i ett kvoturval är upp - fylld. Bortfallet är rimligen mind re för korta enkäter som maximalt tar några minuter att fylla i, t.ex. avseende opinioner eller väljarsympatier, än för längre enkäter. Specifika undersökningars bortfall bedöms i stort sett vara mindre snedvridande än rekryteringsbortfallet, särskilt efter lämpliga bortfallsjusteringar i skattningsfasen (se avsnittet Justeringar vid skattning nedan). Se vidare Bethlehem och Cobben (2013).

13 13(25) Systematiskt fel på grund av bortfall Det systematiska felet (i utvidgad bemärkelse) i en skattning av ett medelvärde eller en totalsumma på grund av bortfall eller självselektion beror på några olika faktorer. Bethlehem och Biffignandi (2012) presenterar resultat med en ansats som utgår från individspecifika deltagar - sannolikheter (svarsbenägenheter). De visar att felet är proportionellt mot korrelationen mellan svarsbenägenhet och målvariabel (undersökt variabel), mot standardavvikelsen för målvariabeln och mot standardavvikelsen för svarsbenägenheten, och omvänt proportionellt mot den genomsnittliga deltagarsannolikheten (dvs. svarsandelen eller den kumulativa deltagarandelen). Svarsandelen fungerar alltså inte så väl som enda indikator på det systematiska bortfallsfelet, se vidare Groves och Peytcheva (2008). Dock gäller att felet minskar om svarsandelen är hög, förutsatt att allt annat är lika. Vidare gäller att snedvridningen förvärras om det som ska mätas samvarierar med benägenheten att vara med i undersökningen och om denna benägenhet varierar mycket mellan personerna i den population statistiken ska avse. Ett exempel på ett stort systematiskt fel i en undersökning, innan justering utifrån en bortfallsstudie genomfördes, kan hämtas från en fritidsfiskeundersökning avseende 2006 som SCB genomförde på uppdrag av dåvarande Fiskeriverket. De svarande var markant mer intresserade av fiske än de som inte svarade, dvs. korrelationen var hög mellan svarsbenägenheten och den undersökta variabeln. Det snedvridande bortfallet ledde, före justering, till en stor överskattning av antalet fiskedagar, fiskefångst m.m. (se Jansson och Svensson, 2008). Det är inte svårt att föreställa sig liknande effekter för webbpanelundersökningar, t.ex. för frågan Hur ofta surfar du på nätet? Williams (2012) visad e att omfattningen av internetanvändning och d atorspeland e överskattad es kraftigt i en w ebbpanelund ersökning. Eftersom svarsbenägenheten vanligen är lägre än i traditionella undersökningar, kan en korrelation mellan svarsbenägenhet och den undersökta variabeln leda till ett större systematiskt fel (genom att felet även är omvänt proportionellt mot svarsbenägenheten). Det systematiska bortfallsfelet i en webbpanelundersökning kan även dekomponeras efter respektive selektionsfas (se Svensson, 2014), åtminstone om panelen rekryterats med ett sannolikhetsurval från början. Felet från rekryteringsfasen är lika med andelen som inte har rekryterats multiplicerad med den okända skillnaden mellan dem som rekryterats och dem som inte rekryterats (eventuellt efter justering i skattningen, se avsnittet nedan). Felen som uppstår i profileringsfasen och und ersökningsfasen kan beräknas på liknande sätt. Det sam m anlagda bortfallsfelet blir summan av dessa tre fel. Det räcker alltså inte med att känna till andelarna som inte har rekryterats, inte har profilerats respektive inte har deltagit i den specifika undersökningen. Den skevhet som uppstår i respektive fas bestämmer också det systematiska felet.

14 14(25) Justeringar vid skattning Tillförlitligheten i de skattningar som framställs beror inte bara på hur urvalet har dragits eller hur stort eller snedvridande bortfallet är, u tan även på hur skattningarna beräknas. Skattning av statistiska storheter görs normalt genom att varje objekt ges en vikt som multipliceras med variabelvärdet, varefter de så uppkomna produkterna per objekt adderas till populations- eller redovisningsgruppsnivå. Skattning innefattar ofta en om vägning för att justera för bortfallet, exem pelvis genom s.k. kalibrering. Motsvarande justering kan göras för en självselekterad svarsmängd. Justering med vägning är dock bara effektiv om de hjälpvariabler som används för att få fram nya vikter är korrelerade med svarsbenägenheten eller med målvariablerna. Med hjälpvariabler eller hjälpinformation menas en mängd av variabler för vilka värden finns för objekten i undersökningen ifråga och för vilka totalsummorna finns för hela den avsedda populationen (eller hela urvalet, vid bortfall). Hjälpvariablerna är ofta registervariabler, men kan i webbpanelfallet även hämtas från profilundersökningen. För en översikt om bortfallsjustering genom vägning vid sannolikhetsurval, se Särndal och Lundström (2005). För webbpanelundersökningar rekommenderas vägning i två steg, se Bethlehem och Cobben (2013), även om vägning i ett steg också är en möjlighet. Det första steget avser justering för rekryteringsbortfall (inkl. bortfall i profilundersökningen), och det andra steget avser justering för bortfall i den specifika undersökningen. Bortfallsmekanismerna kan näm ligen vara olika och kräva olika hjälpvariabler och vägningsmodeller. De slutliga kompensationsvikterna fås genom multiplikation av rekryteringsvikterna (första steget) med undersökningsvikterna (andra steget). För rekryteringsbortfallet kan enkla bakgrund svariabler som kön, åld ersgrupp och region utnyttjas för vägning (poststratifiering). Det är dock tveksamt om dessa variabler är korrelerade med svarsbenägenhet i rekrytering eller målvariabler. För undersökningsbortfallet i den specifika webbpanelundersökningen kan det vara lättare att hitta lämplig hjälpinformation. Bland annat kan alla variabler från profilundersökningen användas för bortfallsjustering. En del nyare ansatser att i möjlig mån kompensera för inverkan av bortfall, primärt utformade för sannolikhetsbaserade undersökningar, kan vara tänkbara även för webbpanelundersökningar. Sådana metoder kan utnyttja kompletterande information från andra datakällor, såsom registerdata eller totalundersökta data. En möjlighet är att väga i ett steg genom kalibrering mot ett riktmärke, dvs. en känd totalsumma för en hjälpvariabel, i de fall en lämplig sådan finns att tillgå. Risken finns att hjälpinformationen inte är relaterad starkt nog till de undersökta för eteelserna för att avgörande förbättra undersökningens kvalitet.

15 15(25) Ett mer ambitiöst alternativ är att genom föra en referensundersökning för att mäta hjälpvariabler och genomföra en s.k. propensity score adjustment, se Lee (2006). En sådan undersökning ska baseras på sannolikhetsurval och får inte ha ett snedvridande bortfall. Under de förutsättningarna kan hjälpvariablernas totalsummor skattas med god noggrannhet. Om d å d essa variabler även efterfrågas i w ebb panelundersökningen, kan en justering medföra minskat systematiskt fel, dock till priset av ett ökat slumpfel (eftersom referensundersökningen baseras på ett urval). Kontrollerad inferens från webbpanelundersökningar? Som beskrivits ovan finns problem med att dra inferens från ett urval ur en webbpanel till en målpopulation. En intressant frågeställning är om det går att dra nytta av fördelarna med en webbpanelundersökning utan att behöva ge upp en kontrollerad inferenssituation, se Svensson (2013) och Svensson (2014). Kombinationer av webbpanelundersökningar och traditionella sannolikhetsurval kan då möjligen vara en lösning. En sådan kombination i form av en referensundersökning har redan presenterats ovan. Tyngdpunkten flyttas då från en enskild undersökning som en fristående enhet till integration av data från flera olika källor. En sådan utveckling kan skönjas när d et gäller kom binationer av urvalsund ersök - ningar och registerbaserade undersökningar, och möjligen även för kombinationer av nya datakällor (under benämningen Big Data) och urvalsundersökningar eller registerbaserade undersökningar. Den vetenskapliga grunden är dock relativt svag för hur dessa kombinationer ska göras på bästa sätt. Olika kombinationsansatser kan vara tänkbara att pröva. I sammanhang där webbpanelundersökningar kan tänkas komma ifråga, kan två parallella und ersökningar genom föras: en traditionell, sannolikhetsbaserad undersökning och en webbpanelundersökning. Resultaten kan användas för att utröna grad en av skillnad i skattningarna mellan de två ansatserna. Dessutom kan den väletablerade, sannolikhetsbaserade und ersökningen utnyttjas för att överföra styrka till w ebbpanelund er - sökningen eller kommande sådana. Mer information om hur detta skulle kunna gå till ges i Svensson (2013). Notera dock att ansatserna kan komma att reducera fördelarna med webbpanelundersökningar, att de är enkla, snabba och billiga. 3.4 Mätfel Med mätfel (på objektnivå) avses skillnaden mellan det observerade variabelvärdet, dvs. det värde respondenten avger, och variabelns sanna värde. Att svara på frågor i en enkät eller via intervju är en komplex kognitiv process och mycket kan hända som leder till fel i mätningen. Mätfel uppstår genom brister i d atainsam lingsm etod en eller m ätinstru - mentet (frågor, svarsalternativ m.m.), genom misstag hos respondenten eller på grund av intervjuarens beteende. Felkällorna är dock inte

16 16(25) oberoende och felen orsakas ofta av en kombination av dessa. En väldesignad undersökning och motiverade respondenter är centralt för att minimera mätfelet. Jämfört med telefonintervjuer har webbundersökningar (och i viss mån andra självadministrerade insamlingsmetoder, t.ex. postenkäter) både fördelar och nackdelar när det gäller att begränsa mätfelet. En betydande fördel med webbinsamling är att den ger en mindre risk för mätfel från s.k. socialt önskvärd a svar, se Baker m.fl. (2010). Respond enterna tend e- rar att ge ärligare svar på känsliga frågor när ingen intervjuare finns närvarande. En annan fördel är att respondenten kan besvara formuläret i sitt eget tempo och d ärmed få större möjlighet att reflektera över frågan och eventuellt också ha bättre chans att minnas det korrekta svaret. Till nackdelarna hör att det i webbinsamling inte finns någon intervjuare som kan motivera respondenten och minska risken för missförstånd av frågor. Genom att intervjuare svarar på följdfrågor från respondenter eller fångar upp uppenbara missförstånd kan vissa fel und vikas i intervju - undersökningar. Att en intervjuare lägger sig i svarsprocessen innebär dock samtidigt att intervjuareffekten ökar och att mätningen blir mindre standardiserad. Vilken insamlingsmetod som är att föredra beror därmed till stor del på undersökningens ämne och frågornas karaktär. För att vid webbinsamling inte orsaka onödiga mätfel är det viktigt att tänka på att frågeform uläret kan ge olika, ibland bristfälliga, skärm bild er vid använd - ning av olika webbläsare eller olika hårdvaror (dator, surfplatta eller mobiltelefon). En viktig orsak till mätfel är även s.k. satisficing (engelska: blandning av satisfy och suffice). Satisficing innebär att respondenter inte i första hand väljer det svarsalternativ som är mest sant utan det första alternativ de ser eller hör och som är rimligt. I stället för att ta sig tid och fundera igenom frågan ordentligt och t.ex. läsa (alternativt lyssna på) samtliga svarsalternativ väljer respondenten det första alternativ som uppfattas som tillräckligt bra. Fenomenet kan leda till att respondenter felaktigt väljer mitten- eller vet ej-alternativ, väljer svar i samma kolum n i en tabellfråga, eller markerar färre svar än vad som är korrekt vid ifyllande av kryssrutor för flera svarsalternativ. Forskningsläget är oklart när det gäller förekomsten av satisficing vid webb- respektive intervjuinsamling, se Baker m.fl. (2010). En påverkan på m ätfelet kan också uppstå genom s.k. anpassat svarsbeteende (engelska: panel conditioning): när en person under en tid varit med i en panel finns risk att svarsbeteendet påverkas på ett inte önskvärt sätt. Medlemskapet i en panel kan påverka beteenden, attityder och värderingar. Panelmedlemmen kan tänkas bli omotiverad och slarvig eller medvetet lämna oriktiga uppgifter. Panelmedlemmar kan också visa tecken på professionalisering, t.ex. bli mer medvetna eller nyanserade i sitt tyckande än folk i allmänhet. Se vidare Surveyföreningen (2014). Forskningsresultaten är dock fortfarande motsägelsefulla beträffande förekomsten av mätfel på grund av anpassat svarsbeteende, se Baker m.fl. (2010).

17 17(25) Allmänt kan sägas att forskningsläget avseende mätfel i webbinsamling (inklusive i w ebbpanelund ersökningar) är fragmenterat. Ofta har experimentella studier gjorts på mindre grupper av studenter, och det är svårt att veta hur generaliserbara resultaten är (Bethlehem och Cobben, 2013). Det finns kunskap och metoder för att begränsa mätfelet genom god design och välkonstruerade mätinstrument, men mer forskning behövs för att kartlägga mätfelens storlek och riktning vid webbinsamling. 3.5 Diskussion Kan webbpanelundersökningar användas för att producera tillförlitlig statistik? Den frågan ställs i olika konferens- och tidskriftsartiklar. En organisation som har uttalat sig om webbpanelundersökningar är AAPOR (American Association for Public Opinion Research ). AAPOR tillsatte 2008 en expertgrupp (task force) för w ebbpaneler och w ebbpanelund ersökningar, beståend e av m ånga fram stående am erikanska statistiker. Gruppen lämnade 2010 en rapport avseende forskningsläget för webbpanelundersökningar samt om och hur webbpaneler kan användas för datainsamling och statistikproduktion. Rapporten återges i Baker m.fl. (2010). De slutsatser och rekommendationer som läggs fram kan fritt sammanfattas så här: Icke-sannolikhetsurval ger vanligen sämre tillförlitlighet än sannolikhetsurval. Icke-sannolikhetsbaserade webbpaneler bör undvikas när målet är att skatta populationsstorheter tillförlitligt. Icke-sannolikhetsbaserade webbpaneler kan komma till använd - ning i andra sammanhang än för att skatta popu lationsstorheter tillförlitligt. Webbpaneler kan variera mycket i sammansättning och hantering. Webbpanelföretag bör informera om sina metoder och data. Kvalitetsbedömningar kräver full öppenhet om hur statistiska resultat har erhållits. Forskningen om webbpaneler och icke-sannolikhetsurval måste fortsätta. Mest väsentligt här är att AAPOR avråder från icke-sannolikhetsbaserade webbpanelundersökningar vid skattning av populationsstorheter, dvs. vid framtagning av statistikvärden. Det som inte ingår i detta är bland annat kvalitativa och experimentella studier. AAPOR tillsatte 2011 en expertgrupp för icke-sannolikhetsurval, som avgav en rapport 2013, se AAPOR (2013). I rapporten ges många allm änna slutsatser och rekom m end ationer avseend e icke-sannolikhetsurval. Det sägs bland annat att urvals- och skattningsmetoder har betydelse för kvaliteten på skattningar från webbpanelundersökningar. Vidare hävdas att även om icke-sannolikhetsurval ofta har fungerat väl

18 18(25) för väljarbarom etrar, så är d eras tillförlitlighet oklar inom and ra ämnesområden och för mer komplexa undersökningar med flera syften. Väljarbarometrar förtjänar några egna kommentarer. Webbpanelbaserade väljarbarometrar har många gånger gett relativt säkra resultat, både i Sverige och utomlands (se Baker m.fl., 2010). Men väljarbarometrar är en speciell typ av undersökningar. De har en enda huvudfråga, vilken kan betraktas som enkel, väsentligen vilket parti respondenten skulle rösta på om det vore val i d ag. Justerande vägning kan göras med hjälp av de vanliga bakgrundsvariablerna, men det finns även möjlighet att fråga hur respondenten röstade i förra riksdagsvalet och använda detta för s.k. partivägning. I Sverige är dessutom valdeltagandet högt, vilket gör det lättare att jämföra och kalibrera väljarbarometrar mot valresultatet. Därtill finns det många andra konkurrerande barometrar att jämföra med. Att lyckas med en väljarbarometer, där det finns en tydlig huvudvariabel och gott om hjälpinformation, ger därför inte någon garanti för framgång med helt andra typer av undersökningar. Många av de undersökningar som genomförs på myndigheter avser dessutom kvantitativa variabler, som kan vara snedfördelade, vilket ökar risken för stora systematiska fel. Liksom för väljarbarometrar kan det övervägas för andra typer av webbpanelundersökningar om det är möjligt att jämföra och kalibrera mot ett riktmärke, dvs. en känd totalsumma för en hjälpvariabel. Det gäller dock att finna en hjälpvariabel som är starkt korrelerad med undersökningsvariablerna. Dessutom behöver mönstret vara stabilt över tiden. En överensstämmelse mellan hjälp - och undersökningsvariabel kan vara tillfällig och därmed av begränsat värde. Debatten om webbpanelundersökningar har varit livlig i USA på senare år. En del menar att AAPOR varit för konservativa när det gäller ny metodik, särskilt mot bakgrund av de höga bortfallsnivåerna i de traditionella opinionsundersökningarna i USA. Under 2014 tillsatte AAPOR, bland annat m ed anledning av debatten, ytterligare en expertgrupp, denna gång på temat omvärdering av dagens undersökningsmetoder (Reassessing Today s Survey Methods Task Force). Ett väsentligt empiriskt resultat om webbpaneler finns i den s.k. Stanford-studien, som redovisas i Yeager m.fl. (2011). Där jämfördes resultat från några amerikanska webbpanelundersökningar och från sannolikhetsbaserade undersökningar med riktmärken från tillförlitliga källor. Det visade sig att webbpanelundersökningarna konsekvent hade sämre tillförlitlighet, även efter bortfallsjusterande vägning, och att deras tillförlitlighet varierad e m er. Und ersökningarna som byggd e på sannolikhetsurval fungerade däremot väl, även vid relativt stora bortfall. I Scherpenzeel och Bethlehem (2011) jämförd es resu ltat från w ebbpanelundersökningar med kända riktmärken. Jämförelserna avsåg dels en sannolikhetsbaserad w ebbpanelund ersökning, d els en specifik und ersökning genomförd utifrån nitton olika självrekryterade webbpaneler.

19 19(25) Det systematiska felet var för fem av sex riktmärken mindre för den sannolikhetsbaserade undersökningen än för genomsnittet av de nitton andra undersökningarna. Tourangeau m.fl. (2013) presenterad e en m etaanalys av åtta självrekryterade webbpaneler avseende effekten av vägning för att redu cera skevhet på grund av undertäckning och självselektion. Justeringarna eliminerade som högst ca 60 procent av det systematiska felet, och för vissa variabler ökade felet. Även i Europa har webbpanelundersökningar varit föremål för forskning och debatt. En av de mest framstående forskarna inom området är professor Jelke Bethlehem, som är knuten till den nederländska statistik - byrån. I Bethlehem och Cobben (2013) besvaras frågan huruvid a w ebbpaneler kan använd as för officiell statistik. Svaret är ja und er förutsättning att panelmedlemmarna rekryteras med sannolikhetsurval bortfall både vid rekrytering och i den specifika undersökningen förebyggs i möjlig mån och hjälpinformation används för att justera för bortfallsfel panelen förnyas regelbundet undertäckningsproblemet hanteras genom en extra insats mätfelen hålls nere genom lämpliga åtgärder. Bethlehem utesluter alltså i nuläget användning av självrekryterade webbpaneler för framställning av officiell statistik. Han påpekar även att det är en komplex uppgift att uppfylla förutsättningarna ovan och att det kan vara resurskrävande. Slutligen påpekas vikten av investeringar i forskning och praktik, om w ebbpaneler ska kunna använd as för fram - ställning av tillförlitlig statistik. Danmarks statistik började under 2014 att bygga upp webbpaneler genom att fråga om paneldeltagande i traditionella, sannolikhetsbaserade undersökningar. I dessa undersökningar var svarsfrekvensen ca procent, och knappt hälften av de svarande valde att gå med i en webbpanel. Webbpanelen består nu av personer i åldern år. Dessa har jämförts med hela befolkningen, med samma åldersavgränsning, och visat sig ha för få unga, ogifta, ensamstående utan barn, lågutbild ade, låginkom sttagare, utrikes föd d a och arbet slösa. Webbpanelen ger alltså en för positiv bild av de ekonomiska resurserna i befolkningen. I november genomfördes ett första försök med en webbpanelunder - sökning för Gross National Happiness Index. Urvalet på 3000 personer till denna undersökning gjordes efter stratifiering och proportionell allokering m ed avseend e på kön, åld er, geografi, utbild ning och fam iljetyp. För dessa fem bakgrundsvariabler stämde därför fördelningen med befolkningsförd elningen. Deltagarand elen i d en specifika und ersökningen var 27 procent. (Den kumulativa deltagarandelen, se förklaring

20 20(25) nedan, blev därmed omkring 8 procent.) Bland de svarande visade sig på nytt samma mönster: för få unga, lågutbildade, ensam stående utan barn, osv. I skattningarna har justeringar för skevheterna gjorts med hjälp av kalibrering på kön, ålder, geografi, utbildning och familjetyp. Efter detta är det fortfarande för få låginkomsttagare och för många höginkomsttagare. Det kan även finnas skevheter som har med undersökningsvariablerna att göra. Utfallet av d etta första försök m ed en w ebbpanelundersökning hos Danmarks statistik är i skrivande stund inte färdigutvärderat. Det finns även internationella riktlinjer för w ebbpaneler och und ersök - ningar baserade på sådana. Dessa riktlinjer avser inte främst om utan hur webbpanelundersökningar bör genomföras. Riktlinjer ges bland annat ut av ESOMAR (European Society for Opinion and Market Research). ESOMAR:s 28 questions to help buyers of online samples (ESOMAR, 2012) är riktade till köpare av urval från webbpaneler och lyfter fram behovet av öppenhet och medvetenhet samt köparens bedömning av om en webbpanelundersökning kan motsvara köparens behov och förväntningar. Riktlinjerna enligt den internationella standarden ISO (ISO, 2009) gäller accesspaneler i allmänhet och anger standardiserade processer för hantering av sådana paneler. I Sverige tillsatte Surveyföreningen (en sektion inom Svenska statistik - främjandet) år 2009 en kommitté med uppgift att ta fram en skrift som belyser kvalitetsfrågor och presenterar mått som på olika sätt kan beskriva kvalitet i webbpanelundersökningar. Kommittén avlämnade sin rapport i fjol, se Surveyföreningen (2014). N ågra num eriska beskrivningsmått föreslogs för kvalitetsbedömning, och därutöver rekommenderades verbala beskrivningar av rekrytering, urval och skattning m.m. Måtten bygger delvis på Callegaro och DiSogra (2008) samt DiSogra och Callegaro (2009). Ett exempel på ett numeriskt mått är den kumulativa deltagarandelen. Den kan endast beräknas för paneler som använt sannolikhetsbaserade urvalsmetoder i rekryteringsfasen och i urvalet för den specifika under - sökningen. Andelen är lika med rekryteringsandelen multiplicerad med profilandelen och med deltagarandelen i en specifik undersökning. Den kumulativa deltagarandelen liknar svarsfrekvensen i en traditionell undersökning och kan användas för grova jämförelser. För en närmare beskrivning, se Surveyföreningen (2014). Ett annat numeriskt mått, som relaterar till själva panelen, avser d om inansen från vissa panelm ed lemmar, dvs. att några få svarar på en stor del av enkäterna. Dominansmåttet definieras som andelen svar som de 20 procent mest aktiva panelmed - lemmarna har bidragit med. Ett mått relaterat till den enskilda undersökningen, som beskriver anpassat svarsbeteende, är mediantiden vid besvarandet av enkäten. Måttet kan jäm föras m ellan en grupp av personer som deltagit i många undersökningar och en grupp av personer som deltagit i få undersökningar. Det finns inte underlag ännu för att säga hur väl de olika måtten predicerar kvaliteten i en webbpanelundersökning.

Urvalsundersökningar vetenskapliga aspekter och internationella utblickar

Urvalsundersökningar vetenskapliga aspekter och internationella utblickar Urvalsundersökningar vetenskapliga aspekter och internationella utblickar Jörgen Brewitz Processansvarig Utforma och utvärdera Surveyföreningen, februari 2016 2016-02-18 1 Inferensperspektiv Inferens att

Läs mer

Att bedöma webbpaneler och webbpanelundersökningar. - exempel på numeriska mått och verbala beskrivningar

Att bedöma webbpaneler och webbpanelundersökningar. - exempel på numeriska mått och verbala beskrivningar Att bedöma webbpaneler och webbpanelundersökningar - exempel på numeriska mått och verbala beskrivningar Åke Wissing SCB 2011 02 03 Litteraturkällor Exempel på källitteratur: För inspiration och koordination

Läs mer

Bortfall Konsekvenser Varför det kan vara allvarligt med bortfall. Ann-Marie Flygare Metodstatistiker, SCB

Bortfall Konsekvenser Varför det kan vara allvarligt med bortfall. Ann-Marie Flygare Metodstatistiker, SCB Bortfall Konsekvenser Varför det kan vara allvarligt med bortfall. Ann-Marie Flygare Metodstatistiker, SCB Konsekvenser av Bortfall Introduktion Illustration av hur bortfall påverkar resultaten i en statistisk

Läs mer

Är icke-sannolikhetsurval aldrig representativa?

Är icke-sannolikhetsurval aldrig representativa? Surveyföreningens webbpanelseminarium 2011-02-03 Är icke-sannolikhetsurval aldrig representativa? Jan Wretman Webbpanelkommittén 1 Det kommer att handla om: Begreppet representativitet. Bedömning av skattningars

Läs mer

Statistikens betydelse och nytta för samhället

Statistikens betydelse och nytta för samhället Statistikens betydelse och nytta för samhället SCB i Varför är SCB i Almedalen? Utveckla, framställa och sprida statlig statistik Förse våra användare med statistik som underlag för beslutsfattande, debatt

Läs mer

Kvalitet i webbpanelundersö kningar

Kvalitet i webbpanelundersö kningar Surveyföreningen Kvalitet i webbpanelundersö kningar Metöder öch ma tt Mars 2014 Innehåll Förord 3 Kort presentation av rapporten 4 1 Inledning 6 2 Webbpaneler och webbpanelundersökningar 8 2.1 Inledning...

Läs mer

Kvalitet i webbpanelundersökningar. Kvalitetsmått. Beskrivningsmått mått för att beskriva, värdera och tolka

Kvalitet i webbpanelundersökningar. Kvalitetsmått. Beskrivningsmått mått för att beskriva, värdera och tolka Kvalitet i webbpanelundersökningar Kvalitetsmått Beskrivningsmått mått för att beskriva, värdera och tolka Åke Wissing 2015-02-12 Wissing & Co 1 Transparens/öppenhet Felkällor = problem Kännedom om felkällor

Läs mer

Hur gör de egentligen?

Hur gör de egentligen? Hur gör de egentligen? bra statistik alltså! Vad är statistik? Ordet statistik kan ha olika betydelser. Vanligen menar man sifferuppgifter om förhållandena i samhället. Ursprungligen var det ordagrant

Läs mer

Hur går en statistisk undersökning till?

Hur går en statistisk undersökning till? Hur går en statistisk undersökning till? Gången i en statistisk undersökning framgår av bilden och är i stort sett densamma i en verklig undersökning, t ex folk- och bostadsräkningen, som i en miniundersökning.

Läs mer

Undersökningsplanering Datakällor: officiell statistik, olika databaser, registerstatistik

Undersökningsplanering Datakällor: officiell statistik, olika databaser, registerstatistik F2 Undersökningsplanering Datakällor: officiell statistik, olika databaser, registerstatistik Planeringen av en statistisk undersökning Tre huvudfrågor: Vem ska undersökas? Vad ska undersökas? Hur ska

Läs mer

Slumpmässiga resp ickeslumpmässiga. urval. Olika feltyper i en undersökning. Förra gången (F6)

Slumpmässiga resp ickeslumpmässiga. urval. Olika feltyper i en undersökning. Förra gången (F6) F7 Slumpmässiga resp ickeslumpmässiga urval. Förra gången (F6) Standardiseringsmetoder När vi vill jämföra medelvärden i olika grupper/populationer och standardisera dessa utifrån kända faktorer Standardpopulationsmetoden

Läs mer

Webbpanelundersökningar

Webbpanelundersökningar Webbpanelundersökningar Inledning Gösta Forsman Surveyföreningen 2011-02-03 Vad är en webbpanel? Vad är en webbpanel? Ett register över personer som förklarat sig villiga att delta i webbundersökningar

Läs mer

Urvalsmetoder: Sannolikhetsurval resp. icke-sannolikhetsurval, OSU (kap )

Urvalsmetoder: Sannolikhetsurval resp. icke-sannolikhetsurval, OSU (kap ) F3 Urvalsmetoder: Sannolikhetsurval resp. icke-sannolikhetsurval, OSU (kap 9.1-9.4) Urval Anta att vi ska göra en urvalsunderökning och samla in primärdata Totalundersökning ofta inte möjlig För dyrt Tar

Läs mer

Kvantitativa metoder en introduktion. Mikael Nygård, Åbo Akademi, vt 2018

Kvantitativa metoder en introduktion. Mikael Nygård, Åbo Akademi, vt 2018 Kvantitativa metoder en introduktion Mikael Nygård, Åbo Akademi, vt 2018 Vad är kvantitativ metod? Kvantitativa (siffermässiga) analyser av verkligheten: beskrivning och förklaringar av fenomen i fokus!

Läs mer

Urval. Varje element i populationen skall ha en känd sannolikhet (chans) som är större än 0 att bli utvald

Urval. Varje element i populationen skall ha en känd sannolikhet (chans) som är större än 0 att bli utvald F11 Repetition Undersökningar Olika slag av undersökningar Syftet Beskrivande Förklarande/utredande Framåtblickande Undersökningsplanering Vem ska undersökas? Målpopulation Rampopulation Vad ska undersökas?

Läs mer

Novus Opinion för TV4 Kalla Fakta. Allmänheten om september David Ahlin Lina Lidell

Novus Opinion för TV4 Kalla Fakta. Allmänheten om september David Ahlin Lina Lidell Novus Opinion för TV4 Kalla Fakta Allmänheten om 9 11 29 september 2009 David Ahlin Lina Lidell Allmänheten om 9 11 Undersökningen har genomförts av Novus Opinion på uppdrag av TV4 Kalla Fakta Intervjuerna

Läs mer

Kvalitet i webbpanelundersö

Kvalitet i webbpanelundersö Kvalitet i webbpanelundersö kningar - metöder öch ma tt Remissversiön Innehåll Förord 3 1 Inledning 4 2 Webbpaneler och webbpanelundersökningar 6 2.1 Inledning... 6 2.2 Panelrekrytering, antagning/bekräftelse

Läs mer

Förståelse för fem politiska begrepp som är vanligt förekommande i valrörelsen. Kontakt Novus: Mats Elzén & Liza Pettersson Datum:

Förståelse för fem politiska begrepp som är vanligt förekommande i valrörelsen. Kontakt Novus: Mats Elzén & Liza Pettersson Datum: Förståelse för fem politiska begrepp som är vanligt förekommande i valrörelsen Kontakt Novus: Mats Elzén & Liza Pettersson Datum: 2018-08-03 1 Bakgrund & Genomförande BAKGRUND Undersökningen har genomförts

Läs mer

F1 Introduktion. Statistisk undersökning. Vad är statistik? Vad är en statistisk undersökning? Klassificering efter mål eller syfte med undersökningen

F1 Introduktion. Statistisk undersökning. Vad är statistik? Vad är en statistisk undersökning? Klassificering efter mål eller syfte med undersökningen F1 Introduktion. Statistisk undersökning. Leif Ruckman och Christina Andersson Avdelningen för Nationalekonomi och Statistik Karlstads universitet Vad är statistik? 1. Statistiska uppgifter. T ex som underlag

Läs mer

Föreläsning 4. Kapitel 5, sid Stickprovsteori

Föreläsning 4. Kapitel 5, sid Stickprovsteori Föreläsning 4 Kapitel 5, sid 127-152 Stickprovsteori 2 Agenda Stickprovsteori Väntevärdesriktiga skattningar Samplingfördelningar Stora talens lag, Centrala gränsvärdessatsen 3 Statistisk inferens Population:

Läs mer

Urval. Slumpmässiga urval (sannolikhetsurval) Fördelar med slumpmässiga urval

Urval. Slumpmässiga urval (sannolikhetsurval) Fördelar med slumpmässiga urval Urval F3 Urvalsmetoder: Sannolikhetsurval resp. icke-sannolikhetsurval, OSU (kap 9.1-9.4) Ursprung: Linda Wänström Anta att vi ska göra en urvalsunderökning och samla in primärdata Totalundersökning ofta

Läs mer

1(6) Datum 2011-10-03. Anna Björkesjö Klara Jakobsson. Nedskräpning i stadens centrala gatumiljö. - Nyköping 2011. Metod- och kvalitetsrapport

1(6) Datum 2011-10-03. Anna Björkesjö Klara Jakobsson. Nedskräpning i stadens centrala gatumiljö. - Nyköping 2011. Metod- och kvalitetsrapport Datum 2011-10-03 1(6) Anna Björkesjö Klara Jakobsson Nedskräpning i stadens centrala gatumiljö - Nyköping 2011 Metod- och kvalitetsrapport 2(6) Metoddokumentation Målpopulation Målpopulationen för en skräpmätning

Läs mer

Bortfall i longitudinella undersökningar

Bortfall i longitudinella undersökningar Bortfall i longitudinella Silke Burestam, doktorand Statistiska institutionen Stockholms Universitet Projekt: Moderna statistiska undersökningsmetoder ett nätverkn Finansieras av Hemsida: Riksbankens http://www.statistics.su.se/

Läs mer

Kvalitetsstandarder inom statistikproduktionen. 2011-10-19 Lilli Japec, Dr Utvecklingschef SCB lilli.japec@scb.se

Kvalitetsstandarder inom statistikproduktionen. 2011-10-19 Lilli Japec, Dr Utvecklingschef SCB lilli.japec@scb.se Kvalitetsstandarder inom statistikproduktionen 2011-10-19 Lilli Japec, Dr Utvecklingschef SCB lilli.japec@scb.se 1 Inledning Vad är kvalitet? Vilka ramverk finns? Några exempel från SCB:s kvalitetsarbete

Läs mer

Introduktion till statistik för statsvetare

Introduktion till statistik för statsvetare och enkäter "Det finns inget så praktiskt som en bra teori" September 2011 och enkäter Inledning Inledning Om vi vill mäta en egenskap hos en population individer (individer kan vara personer, företag

Läs mer

Statistiska centralbyråns författningssamling

Statistiska centralbyråns författningssamling SCB-FS 2016:17 Utkom från trycket den 28 september 2016 Statistiska centralbyråns föreskrifter om kvalitet för den officiella statistiken; beslutade den 14 juni 2016. Statistiska centralbyrån (SCB) föreskriver

Läs mer

Föreläsning 1: Introduktion. Vad är statistik?

Föreläsning 1: Introduktion. Vad är statistik? Föreläsning 1: Introduktion Vad är statistik? 1 Statistiska undersökningar Ett gemensamt syfte för alla undersökningar är att få ökad kunskap om ett visst problemområde Det kanske viktigaste sättet att

Läs mer

Planeringen av en statistisk undersökning

Planeringen av en statistisk undersökning F2 Undersökningsplanering Datakällor: officiell statistik, olika databaser, registerstatistik (kap 2.5, 4) Planeringen av en statistisk undersökning Tre huvudfrågor: Vem ska undersökas? Vad ska undersökas?

Läs mer

EXAMINATION KVANTITATIV METOD

EXAMINATION KVANTITATIV METOD ÖREBRO UNIVERSITET Hälsoakademin Idrott B, Vetenskaplig metod EXAMINATION KVANTITATIV METOD vt-09 (090209) Examinationen består av 8 frågor, några med tillhörande följdfrågor. Frågorna 4-7 är knutna till

Läs mer

Föreläsning 1. 732G60 Statistiska metoder

Föreläsning 1. 732G60 Statistiska metoder Föreläsning 1 Statistiska metoder 1 Kursens uppbyggnad o 10 föreläsningar Teori blandas med exempel Läggs ut några dagar innan på kurshemsidan o 5 räknestugor Tillfälle för individuella frågor Viktigt

Läs mer

Metod1. Intervjuer och observationer. Ex post facto, laboratorie -, fältexperiment samt fältstudier. forskningsetik

Metod1. Intervjuer och observationer. Ex post facto, laboratorie -, fältexperiment samt fältstudier. forskningsetik Metod1 Intervjuer och observationer Ex post facto, laboratorie -, fältexperiment samt fältstudier forskningsetik 1 variabelbegreppet oberoende variabel beroende variabel kontroll variabel validitet Centrala

Läs mer

Allmänheten om monarkin

Allmänheten om monarkin Novus Allmänheten om monarkin 2010-04-21 Lina Lidell 1767 Om undersökningen Undersökningen har genomförts av Novus Opinion på uppdrag av Republikanska Föreningen. Intervjuerna har genomförts inom ramen

Läs mer

Laboration 3: Urval och skattningar

Laboration 3: Urval och skattningar S0004M Statistik 1 Undersökningsmetodik. Laboration 3: Urval och skattningar Denna laboration handlar om slumpmässiga urval. Dessa urval ska användas för att uppskatta egenskaper hos en population. Statistiska

Läs mer

Population. Antal tänder. Urval

Population. Antal tänder. Urval Population ID Antal tänder 1 12 2 14 3 15 4 28 5 16 6 11 7 24 8 19 9 23 10 21 Urval ID Antal tänder 2 14 4 28 8 19 10 21 Urvalsmetoder Population Urval Urval Urvalsmetoder Definitioner: Populationen består

Läs mer

Handisam. Beräkningsunderlag för undersökningspanel

Handisam. Beräkningsunderlag för undersökningspanel Beräkningsunderlag för undersökningspanel Kund Mottagare Ann Dahlberg Författare Johan Bring Granskare Gösta Forsman STATISTICON AB Östra Ågatan 31 753 22 UPPSALA Wallingatan 38 111 24 STOCKHOLM vxl: 08-402

Läs mer

34% 34% 13.5% 68% 13.5% 2.35% 95% 2.35% 0.15% 99.7% 0.15% -3 SD -2 SD -1 SD M +1 SD +2 SD +3 SD

34% 34% 13.5% 68% 13.5% 2.35% 95% 2.35% 0.15% 99.7% 0.15% -3 SD -2 SD -1 SD M +1 SD +2 SD +3 SD 6.4 Att dra slutsatser på basis av statistisk analys en kort inledning - Man har ett stickprov, men man vill med hjälp av det få veta något om hela populationen => för att kunna dra slutsatser som gäller

Läs mer

Några begrepp. Vad är statistik? Data. Grundläggande begrepp Olika slag av undersökningar

Några begrepp. Vad är statistik? Data. Grundläggande begrepp Olika slag av undersökningar Några begrepp F1 Grundläggande begrepp Olika slag av undersökningar Element, enhet, individ, unit, object, individual, subject Människor, bilar, företag, olika händelser, Population En mängd av enheter

Läs mer

Novus Allmänheten om Majblomman och dess tre sakpolitiska frågor. Juni 2010. 23 juni Helen Nilsson

Novus Allmänheten om Majblomman och dess tre sakpolitiska frågor. Juni 2010. 23 juni Helen Nilsson Novus Allmänheten om Majblomman och dess tre sakpolitiska frågor Juni 2010 23 juni Helen Nilsson 1862 Om undersökningen Undersökningen har genomförts av Novus Opinion på uppdrag av Majblomman. Intervjuerna

Läs mer

Vad beror benägenheten att återvinna på? Annett Persson

Vad beror benägenheten att återvinna på? Annett Persson Vad beror benägenheten att återvinna på? Annett Persson 12 mars 2011 Innehåll 1 Inledning 2 1.1 Bakgrund............................... 2 1.2 Syfte.................................. 2 1.3 Metod.................................

Läs mer

Inträdet på arbetsmarknaden efter gymnasieskolan

Inträdet på arbetsmarknaden efter gymnasieskolan Bortfallsanalys Inträdet på arbetsmarknaden efter gymnasieskolan Förord Bortfallsanalys Inträdet på arbetsmarknaden efter gymnasieskolan SCB, Stockholm 08-506 940 00 SCB, Örebro 019-17 60 00 www.scb.se

Läs mer

Li#eratur och empiriska studier kap 12, Rienecker & Jørgensson kap 8-9, 11-12, Robson STEFAN HRASTINSKI STEFANHR@KTH.SE

Li#eratur och empiriska studier kap 12, Rienecker & Jørgensson kap 8-9, 11-12, Robson STEFAN HRASTINSKI STEFANHR@KTH.SE Li#eratur och empiriska studier kap 12, Rienecker & Jørgensson kap 8-9, 11-12, Robson STEFAN HRASTINSKI STEFANHR@KTH.SE Innehåll Vad är en bra uppsats? Söka, använda och refera till litteratur Insamling

Läs mer

Stressundersökningen. Kontakt Novus: Kajsa Bergvall & Katarina Hajdu Datum: Novus All rights reserved.

Stressundersökningen. Kontakt Novus: Kajsa Bergvall & Katarina Hajdu Datum: Novus All rights reserved. Stressundersökningen 2019 x x Kontakt Novus: Kajsa Bergvall & Katarina Hajdu Datum: 2019-01-23 11 Novus 2019. All rights reserved. www.novus.se Bakgrund & genomförande BAKGRUND Undersökningen har genomförts

Läs mer

Kvalitet för den officiella statistiken

Kvalitet för den officiella statistiken Kvalitet för den officiella statistiken Surveyföreningens kvalitetsseminarium 2017 Joakim Malmdin, SCB facebook.com/statisticssweden @SCB_nyheter Lagen om officiell statistik Har sedan 2013 ett större

Läs mer

Stressundersökningen 2019: 2 frågor redovisade per län. 1 Novus All rights reserved.

Stressundersökningen 2019: 2 frågor redovisade per län. 1 Novus All rights reserved. Stressundersökningen 2019: 2 frågor redovisade per län x x Kontakt Novus: Kajsa Bergvall & Katarina Hajdu Datum: 2019-01-23 1 Bakgrund & genomförande BAKGRUND Undersökningen har genomförts av Novus på

Läs mer

Stressundersökningen 2019: 1 Novus All rights reserved. Kontakt Novus: Kajsa Bergvall & Katarina Hajdu Datum:

Stressundersökningen 2019: 1 Novus All rights reserved.   Kontakt Novus: Kajsa Bergvall & Katarina Hajdu Datum: Stressundersökningen 2019: x x Kontakt Novus: Kajsa Bergvall & Katarina Hajdu Datum: 2019-01-23 1 Novus 2019. All rights reserved. www.novus.se Bakgrund & genomförande BAKGRUND Undersökningen har genomförts

Läs mer

Djurens rätt Julen 2018

Djurens rätt Julen 2018 Djurens rätt Julen 2018 Kontakt: Peter Nilsson Kontakt på Novus: Liza Pettersson Datum: 07 12 2018 1 1 Novus 2018. All rights reserved. www.novus.se Bakgrund & Genomförande BAKGRUND Undersökningen har

Läs mer

Vem ska undersökas? Vem ska undersökas? Planeringen av en statistisk undersökning. Tre huvudfrågor: Vad ska undersökas? Hur ska undersökningen göras?

Vem ska undersökas? Vem ska undersökas? Planeringen av en statistisk undersökning. Tre huvudfrågor: Vad ska undersökas? Hur ska undersökningen göras? F2 Undersökningsplanering Datakällor: officiell statistik, olika databaser, registerstatistik (kap 2.5, 4) Planeringen av en statistisk undersökning Tre huvudfrågor: Vem ska undersökas? Vad ska undersökas?

Läs mer

Hur skriver man statistikavsnittet i en ansökan?

Hur skriver man statistikavsnittet i en ansökan? Hur skriver man statistikavsnittet i en ansökan? Val av metod och stickprovsdimensionering Registercentrum Norr http://www.registercentrumnorr.vll.se/ statistik.rcnorr@vll.se 11 Oktober, 2018 1 / 52 Det

Läs mer

Fakta om undersökningen

Fakta om undersökningen Medborgarnas attityder 2017 Fakta om undersökning Fakta om undersökningen Population och urval Populationen, d.v.s. de objekt som man vill kunna dra slutsatser om, utgjordes av samtliga invånare i åldern

Läs mer

STATISTIKENS FRAMSTÄLLNING

STATISTIKENS FRAMSTÄLLNING Statistikens framställning 1 (6) STATISTIKENS FRAMSTÄLLNING Vattenbruk Ämnesområde Jord- och skogsbruk, fiske Statistikområde Vattenbruk Produktkod JO1201 Kontaktuppgifter Statistikansvarig myndighet Kontaktinformation

Läs mer

Allmänhetens attityder till studieförbunden 2013

Allmänhetens attityder till studieförbunden 2013 Allmänhetens attityder till studieförbunden 2013 2013-03-26 Johan Orbe Caroline Theorell Om undersökningen Bakgrund och syfte: Sifo har på uppdrag av Folkbildningsförbundet (FBF) för fjärde gången genomfört

Läs mer

Maj DN/IPSOS JANUARI DECEMBER. POLITISK BAROMETER 22 Maj 2018 David Ahlin, Björn Benzler, Ipsos

Maj DN/IPSOS JANUARI DECEMBER. POLITISK BAROMETER 22 Maj 2018 David Ahlin, Björn Benzler, Ipsos DN/IPSOS JANUARI DECEMBER POLITISK BAROMETER 22 David Ahlin, Björn Benzler, Ipsos 1 DN/IPSOS VÄLJARBAROMETER MAJ Socialdemokraterna tappar, ökat stöd för SD DN/Ipsos väljarbarometer med intervjuer 10 21

Läs mer

Urvalsökningar. Precisionen i en skattning är normalt proportionell mot 1/ n där n är urvalsstorleken

Urvalsökningar. Precisionen i en skattning är normalt proportionell mot 1/ n där n är urvalsstorleken Urvalsökningar Precisionen i en skattning är normalt proportionell mot 1/ n där n är urvalsstorleken En urvalsökning från 21000 till 29500 individer borde då resultera i förbättring med ca 15% Eller? 1

Läs mer

Attityder kring SBU:s arbete. Beskrivning av undersökningens upplägg och genomförande samt resultatredovisning

Attityder kring SBU:s arbete. Beskrivning av undersökningens upplägg och genomförande samt resultatredovisning Attityder kring SBU:s arbete Beskrivning av undersökningens upplägg och genomförande samt resultatredovisning Hösten 2010 Innehållsförteckning INNEHÅLLSFÖRTECKNING ANALYSRAPPORT Sammanfattning... 1 Inledning...

Läs mer

F10. Ytterligare urvalsmetoder och skattningsmetoder (kap 9.8, 9.9) Flerstegsurval

F10. Ytterligare urvalsmetoder och skattningsmetoder (kap 9.8, 9.9) Flerstegsurval F10 Ytterligare urvalsmetoder och skattningsmetoder (kap 9.8, 9.9) Flerstegsurval Anta att man vill göra ett urval som täcker ett stort geografiskt område vill använda besöksintervju som insamlingsmetod

Läs mer

Teknisk Rapport En beskrivning av genomförande och metoder

Teknisk Rapport En beskrivning av genomförande och metoder Teknisk Rapport En beskrivning av genomförande och metoder Attityder till skolan Föräldrar 2012-09-10 Inledning Enheten för Utbildning och arbete vid Statistiska centralbyrån (SCB) genomförde under våren

Läs mer

DN/Ipsos väljarbarometer november 2016 Stockholm, 22 november Kontakt: David Ahlin,

DN/Ipsos väljarbarometer november 2016 Stockholm, 22 november Kontakt: David Ahlin, DN/Ipsos väljarbarometer 2016 Stockholm, 22 2016 Kontakt: David Ahlin, david.ahlin@ipsos.com Ipsos. 2014 Ipsos. All rights All rights reserved. DN/Ipsos väljarbarometer : medvind för Centerpartiet DN/Ipsos

Läs mer

Statistikens grunder. Mattias Nilsson Benfatto, Ph.D

Statistikens grunder. Mattias Nilsson Benfatto, Ph.D Statistikens grunder Mattias Nilsson Benfatto, Ph.D Vad är statistik? Statistik är en gren inom tillämpad matematik som sysslar med insamling, utvärdering, analys och presentation av data eller information.

Läs mer

Uppföljningsundersökning. Lärare. Teknisk rapport

Uppföljningsundersökning. Lärare. Teknisk rapport Uppföljningsundersökning Lärare Teknisk rapport Inledning Enheten för statistik om utbildning och arbete vid Statistiska centralbyrån (SCB) genomförde under perioden mars - juni 2011 en postenkät på uppdrag

Läs mer

KVALITETSDEKLARATION. IT bland individer. Statistiska Centralbyrån (12) Ämnesområde Levnadsförhållanden

KVALITETSDEKLARATION. IT bland individer. Statistiska Centralbyrån (12) Ämnesområde Levnadsförhållanden 2017-12-06 1 (12) KVALITETSDEKLARATION IT bland individer Ämnesområde Levnadsförhållanden Statistikområde Levnadsförhållanden Produktkod LE0108 Referenstid 2017 2017-12-06 2 (12) Statistikens kvalitet...

Läs mer

Kärnkraft och klimatmålen

Kärnkraft och klimatmålen Kärnkraft och klimatmålen Kontakt: Mattias Lantz Kontakt på Novus: Viktor Wemminger och Siobhan Hogan Datum: 28 06 2019 Har jobbat deltid 35% 1 1 Novus 2019. All rights reserved. www.novus.se Bakgrund

Läs mer

Novus Parallellstudie Självrekryterade jämfört med Slumpmässigt rekryterade paneler. Torbjörn Sjöström VD Novus Group

Novus Parallellstudie Självrekryterade jämfört med Slumpmässigt rekryterade paneler. Torbjörn Sjöström VD Novus Group Novus Parallellstudie Självrekryterade jämfört med Slumpmässigt rekryterade paneler Torbjörn Sjöström VD Novus Group 2012 Innehållsförteckning Sammanfattning... 2 Om Novus - den nya generationens undersökningsföretag...

Läs mer

DN/IPSOS VÄLJARBAROMETER

DN/IPSOS VÄLJARBAROMETER DN/IPSOS VÄLJARBAROMETER Mars 2019 21 januari 2019 26 mars 2019 Nicklas Källebring, Leif Johansson, Ipsos Nicklas Källebring, Leif Johansson, Ipsos DN/Ipsos: Små rörelser under turbulent tid Enligt DN/Ipsos

Läs mer

Bortfallsproblematik ur ett metodperspektiv

Bortfallsproblematik ur ett metodperspektiv Bortfallsproblematik ur ett metodperspektiv Daniel Thorburn Surveyföreningen 2011-05-27 Olika metodaspekter Bortfall versus andra fel Psykologi varför svarar man? (inte?) Åtgärder vid insamling (förebygg!)

Läs mer

, s a. , s b. personer från Alingsås och n b

, s a. , s b. personer från Alingsås och n b Skillnader i medelvärden, väntevärden, mellan två populationer I kapitel 8 testades hypoteser typ : µ=µ 0 där µ 0 var något visst intresserant värde Då användes testfunktionen där µ hämtas från, s är populationsstandardavvikelsen

Läs mer

Novus Föräldrar om läxor. September 2010

Novus Föräldrar om läxor. September 2010 Novus Föräldrar om läxor September 2010 2010-09-14 David Ahlin Proj. Nr Om undersökningen Undersökningen har genomförts av Novus Opinion på uppdrag av TV4. Intervjuerna har genomförts inom ramen för Novus

Läs mer

POPULATION OCH BORTFALL

POPULATION OCH BORTFALL RAPPORT POPULATION OCH BORTFALL En teknisk rapport om populationen och bortfallet i den internetbaserade Örebro-undersökningen om mobbning vid mätningarna 2012 och 2013. Björn Johansson Working Papers

Läs mer

MARS DN/IPSOS JANUARI DECEMBER. POLITISK BAROMETER 22 mars 2018 David Ahlin, Björn Benzler, Ipsos

MARS DN/IPSOS JANUARI DECEMBER. POLITISK BAROMETER 22 mars 2018 David Ahlin, Björn Benzler, Ipsos MARS DN/IPSOS JANUARI 2018 DECEMBER POLITISK BAROMETER 22 mars 2018 David Ahlin, Björn Benzler, Ipsos 1 Negativ långsiktig trend för Liberalerna Partisympatier mätningen bekräftar att moderaternas uppgång

Läs mer

KVALITETSDEKLARATION

KVALITETSDEKLARATION 2018-04-11 1 (10) KVALITETSDEKLARATION Analyser och statistik om befolkningens utbildning Ämnesområde Utbildning och forskning Statistikområde Befolkningens utbildning Produktkod UF0549 Referenstid Hösten

Läs mer

Hushållens icke-vinstdrivande organisationer 2005

Hushållens icke-vinstdrivande organisationer 2005 STATISTISKA CENTRALBYRÅN 1(8) Hushållens icke-vinstdrivande organisationer 2005 1 Inledning Emma-projektet, eller paraplyprojektet för förbättring av den ekonomiska statistiken, omfattar i huvudsak förbättringsförslagen

Läs mer

Gymnasieungdomars studieintresse Läsåret 2002/03

Gymnasieungdomars studieintresse Läsåret 2002/03 Gymnasieungdomars studieintresse Läsåret 2002/03 UF0513 A. Allmänna uppgifter A.1 Ämnesområde Utbildning och forskning. A.2 Statistikområde Befolkningen och utbildning. A.3 Statistikprodukten ingår i Sveriges

Läs mer

DN/IPSOS VÄLJARBAROMETER

DN/IPSOS VÄLJARBAROMETER Kadölfjkadölkjf öadslkjf öla DN/IPSOS VÄLJARBAROMETER April 2019 21 januari 2019 23 april 2019 Nicklas Källebring, Leif Johansson, Ipsos Nicklas Källebring, Leif Johansson, Ipsos DN/Ipsos: Små rörelser

Läs mer

Väljarnas förtroende för Miljöpartiet

Väljarnas förtroende för Miljöpartiet Novus Väljarnas förtroende för Miljöpartiet 10 maj 2010 David Ahlin Om undersökningen Undersökningen har genomförts av Novus Opinion på uppdrag av TV4 Nyheterna och Aftonbladet. Intervjuerna har genomförts

Läs mer

KVANTITATIV FORSKNING

KVANTITATIV FORSKNING KVANTITATIV FORSKNING Teorier innehåller begrepp som byggstenar. Ofta är kvantitativa forskare intresserade av att mäta företeelser i verkligheten och att koppla denna kvantitativa information till begrepp

Läs mer

Urval och insamling av kvantitativa data. SOGA50 16nov2016

Urval och insamling av kvantitativa data. SOGA50 16nov2016 Urval och insamling av kvantitativa data SOGA50 16nov2016 Enkät som datainsamlingsmetod Vad skiljer enkäten från intervjun? Erfarenheter från att besvara enkäter? Vad är typiskt för en enkät? Olika distributionssätt

Läs mer

Enkätmetodik felkällor. Kandidatprogrammet i folkhälsovetenskap, HT -11

Enkätmetodik felkällor. Kandidatprogrammet i folkhälsovetenskap, HT -11 Enkätmetodik felkällor Kandidatprogrammet i folkhälsovetenskap, HT -11 Problemformulering /målsättning Undersökningsplan Urvalsram Mätinstrument Urval Mätning Databehandling Statistisk analys Analys/ utvärdering

Läs mer

Frågor om källkritik. Kontakt Novus: Annelie Önnerud Datum:

Frågor om källkritik. Kontakt Novus: Annelie Önnerud Datum: Frågor om källkritik Kontakt Novus: Annelie Önnerud Datum: 2018-01-18 1 2018-03-08 Bakgrund & Genomförande BAKGRUND Undersökningen har genomförts av Novus på uppdrag av Telenor. Syftet med undersökningen

Läs mer

STATISTIKENS FRAMSTÄLLNING

STATISTIKENS FRAMSTÄLLNING Statistikens framställning version 1 1 (8) STATISTIKENS FRAMSTÄLLNING Konjunkturstatistik över sjuklöner (KSju) Ämnesområde Arbetsmarknad Statistikområde Sjuklöner Produktkod AM0209 Referenstid 2019 kvartal

Läs mer

Bilaga 1 Enkät till rektorer

Bilaga 1 Enkät till rektorer riksrevisionen granskar: statens insatser på skolområdet Bilaga 1 Enkät till rektorer I denna bilaga presenteras genomförandet av Riksrevisionens enkät till rektorer samt svarsfrekvens och analys av bortfall.

Läs mer

STATISTISKA CENTRALBYRÅN

STATISTISKA CENTRALBYRÅN STATISTISKA CENTRALBYRÅN 1(6) Enkät till lärare Inledning vid Statistiska centralbyrån (SCB) har under mars juli 2005 genomfört en enkätundersökning till lärare på uppdrag av Göteborgs universitet. Undersökningen

Läs mer

Folkhälsomyndigheten Attityder till och kunskap om hiv Nollmätning Hösten 2015. Kontakt: Monica Ideström, Hälsa och sexualitet

Folkhälsomyndigheten Attityder till och kunskap om hiv Nollmätning Hösten 2015. Kontakt: Monica Ideström, Hälsa och sexualitet Folkhälsomyndigheten Attityder till och kunskap om hiv Nollmätning Hösten 2015 Kontakt: Monica Ideström, Hälsa och sexualitet 1 Bakgrund & Genomförande BAKGRUND Novus har på uppdrag av Folkhälsomyndigheten

Läs mer

IT bland individer 2006

IT bland individer 2006 IT bland individer 2006 IT0102 A. Allmänna uppgifter A.1 Ämnesområde Informationsteknik A.2 Statistikområde Användning och tillgång av IT i företag och bland individer A.3 Statistikprodukten ingår ej i

Läs mer

Version Ett ord på vägen, det sunda förnuftet är jätteviktigt, glöm inte det. Det är ingen magi, det är inget trolleri.

Version Ett ord på vägen, det sunda förnuftet är jätteviktigt, glöm inte det. Det är ingen magi, det är inget trolleri. Novus Policyråd till redaktioner Policyråd för redaktioner kring nyhetsvärdering av undersökningar Denna guide är fritt fram att använda. Fritt fram att utgå från som egen stomme. Men ta inte bort dessa

Läs mer

OBS! Vi har nya rutiner.

OBS! Vi har nya rutiner. KOD: Kurskod: PM2315 Kursnamn: Psykologprogrammet, kurs 15, Metoder för psykologisk forskning (15 hp) Ansvarig lärare: Jan Johansson Hanse Tentamensdatum: 14 januari 2012 Tillåtna hjälpmedel: miniräknare

Läs mer

Data på individ/hushålls/företags/organisationsnivå. Idag större datamänger än tidigare

Data på individ/hushålls/företags/organisationsnivå. Idag större datamänger än tidigare MIKROEKONOMETRI Data på individ/hushålls/företags/organisationsnivå Tvärsnittsdata och/eller longitudinella data o paneldata Idag större datamänger än tidigare Tekniska framsteg erbjuder möjligheter till

Läs mer

Bilaga B till Uppföljning av försöksverksamheten med gymnasial lärlingsutbildning

Bilaga B till Uppföljning av försöksverksamheten med gymnasial lärlingsutbildning 14--1 1 (14) Bilaga B till Uppföljning av försöksverksamheten med gymnasial lärlingsutbildning Arbete efter gymnasial yrkesutbildning Denna rapport, som handlar om etablering på arbetsmarknaden för lärlingsutbildade

Läs mer

Vad tycker de äldre om äldreomsorgen? Metodbeskrivning

Vad tycker de äldre om äldreomsorgen? Metodbeskrivning Vad tycker de äldre om äldreomsorgen? 2018 Metodbeskrivning Innehåll Metodbeskrivning... 3 Statistikens innehåll... 3 Målpopulation... 3 Rampopulation... 3 Mätinstrumentet... 4 Datainsamling... 5 Insamlingsperiod...

Läs mer

Litteraturstudie. Utarbetat av Johan Korhonen, Kajsa Lindström, Tanja Östman och Anna Widlund

Litteraturstudie. Utarbetat av Johan Korhonen, Kajsa Lindström, Tanja Östman och Anna Widlund Litteraturstudie Utarbetat av Johan Korhonen, Kajsa Lindström, Tanja Östman och Anna Widlund Vad är en litteraturstudie? Till skillnad från empiriska studier söker man i litteraturstudier svar på syftet

Läs mer

Tomträttsindexet i KPI: förslag om ny beräkningsmetod

Tomträttsindexet i KPI: förslag om ny beräkningsmetod STATISTISKA CENTRALBYRÅN PM 1(7) Tomträttsindexet i KPI: förslag om ny beräkningsmetod Enhetens förslag. Enheten för prisstatistik föreslår att en ny beräkningsmetod införs för tomträttsindexet så snart

Läs mer

Surveyföreningen - Webpaneler i praktiken

Surveyföreningen - Webpaneler i praktiken Surveyföreningen - Webpaneler i praktiken Henrik Kronberg Stockholm 2011-02-03 Henrik Kronberg Norstat Sverige AB - Fältbolag Projektledare inom webundersökningar mot panel under flera år Statistikerbakgrund

Läs mer

Hyror i bostadslägenheter (HiB)

Hyror i bostadslägenheter (HiB) Statistiska centralbyrån SCBDOK 3.2 1 (17) Hyror i bostadslägenheter (HiB) 2014 BO0406 Innehåll 0 Allmänna uppgifter... 2 0.1 Ämnesområde... 2 0.2 Statistikområde... 2 0.3 SOS-klassificering... 2 0.4 Statistikansvarig...

Läs mer

STATISTIKENS FRAMSTÄLLNING

STATISTIKENS FRAMSTÄLLNING Statistikens framställning version 1 1 (8) STATISTIKENS FRAMSTÄLLNING Hushållens boende Ämnesområde Hushållens ekonomi Statistikområde Inkomster och inkomstfördelning Produktkod HE0111 Referenstid 31 december

Läs mer

Högutbildade utrikes födda

Högutbildade utrikes födda Högutbildade utrikes födda UF0529 Denna dokumentation är upprättad i efterhand Detta dokument avser referensåret 2004. Det är framtaget 2018, och innehåller den information som var känd 2004. Det innebär

Läs mer

Juni DN/IPSOS JANUARI DECEMBER. POLITISK BAROMETER 19 Juni 2018 David Ahlin, Björn Benzler, Ipsos

Juni DN/IPSOS JANUARI DECEMBER. POLITISK BAROMETER 19 Juni 2018 David Ahlin, Björn Benzler, Ipsos DN/IPSOS JANUARI DECEMBER POLITISK BAROMETER 19 David Ahlin, Björn Benzler, Ipsos 1 Högsta stödet hittills för Sverigedemokraterna DN/Ipsos väljarbarometer med intervjuer 7 18 juni visar att Sverigedemokraternas

Läs mer

Allmänheten om tågresande

Allmänheten om tågresande Allmänheten om tågresande Kontakt på Novus: Ieva Englund Kontakt på SilverRail: Yvonne Dahlberg Datum: 4 april 2019 1 1 Novus 2019. All rights reserved. www.novus.se Bakgrund & Genomförande BAKGRUND Undersökningen

Läs mer

DN/IPSOS VÄLJARBAROMETER

DN/IPSOS VÄLJARBAROMETER DN/IPSOS VÄLJARBAROMETER JANUARI 2017 DECEMBER Stockholm 19 september David Ahlin, Ipsos 1 DN/IPSOS VÄLJARBAROMETER SEPTEMBER 2017 Litet övertag för de rödgröna partierna DN/Ipsos väljarbarometer i september

Läs mer

Bilaga 6 till rapport 1 (5)

Bilaga 6 till rapport 1 (5) till rapport 1 (5) Bilddiagnostik vid misstänkt prostatacancer, rapport UTV2012/49 (2014). Värdet av att undvika en prostatabiopsitagning beskrivning av studien SBU har i samarbete med Centrum för utvärdering

Läs mer

KVALITETSDEKLARATION

KVALITETSDEKLARATION 2018-08-20 1 (10) KVALITETSDEKLARATION Analyser och statistik om befolkningens utbildning Ämnesområde Utbildning och forskning Statistikområde Befolkningens utbildning Produktkod UF0549 Referenstid Hösten

Läs mer

Konfidensintervall i populationsbaserade studier varför behövs de? Therese Andersson Sandra Eloranta

Konfidensintervall i populationsbaserade studier varför behövs de? Therese Andersson Sandra Eloranta Konfidensintervall i populationsbaserade studier varför behövs de? Therese Andersson Sandra Eloranta Bakgrund Populations-baserad cancerpatientöverlevnad skattas med hjälp av data från det svenska cancer

Läs mer

Allmänheten om samhällskris och volontärarbete

Allmänheten om samhällskris och volontärarbete Allmänheten om samhällskris och volontärarbete Kontakt Röda Korset: Josefine Karlsson Kontakt på Novus: Peter Blid, Linda Rudhult Datum: 21 december 2018 1 1 Novus 2018. All rights reserved. www.novus.se

Läs mer