R-indikatorer, räddningen för surveyer? En litteraturstudie av R-indikatorers egenskaper, funktioner och användningsområden

Transkript

1 Kandidatuppsats Statistiska institutionen Bachelor thesis, Department of Statistics R-indikatorer, räddningen för surveyer? En litteraturstudie av R-indikatorers egenskaper, funktioner och användningsområden R-indicators, survey saviors? A litterature study of the properties, functions and uses of R-indicators Nima Khodabandeh och Cajsa Krabbe Självständigt arbete, 15hp, HT-2012 Statistik III Handledare: Dan Hedlin Examinator: Michael Carlson

2 Sammanfattning Syftet med denna uppsats är att ge en översikt över R-indikatorer, deras funktioner och användning samt hur de indikerar representativitet i surveyer. Genom att använda en litteraturstudie som metod, tillsammans med ett empiriskt test av ett data-set i SAS, så visar uppsatsen de olika R-indikatorernas styrkor och svagheter. Det faktum att R-indikatorer baseras på beroende variabler, hjälpvariabler och även urvalsstorlek, gör att de kan manipuleras för att få ett önskvärt resultat. För de partiella R-indikatorerna är det enkelt att se hur hjälpvariabler interagerar och vilka av dem som påverkar resultatet mest. R-indikatorer är alltså beroende av hjälpvariabler för att kunna beräknas, och resultatet visar att representativitet i form av ett högt värde på en R-indikator inte nödvändigtvis är ett bevis för representativitet.

3 Innehållsförteckning 1. Inledning Syfte Metod Avgränsning Disposition Definitioner Representativitet MAR, MCAR och NMAR Den generella R-indikatorn Bakgrund R-indikatorns funktion Estimering av R-indikatorn Estimering med logistisk regression Insamlingsmetodens betydelse Partiella R-indikatorer Bakgrund Partiella R-indikatorernas funktion Ovillkorade partiella R-indikatorer Villkorade partiella R-indikatorer Hjälpvariablernas betydelse Vilka hjälpvariabler har störst effekt? Vad indikerar hjälpvariablerna? Empiriskt test Diskussion och slutsats Litteratur. 33 Bilaga Bilaga Bilaga Bilaga

4 1. Inledning Surveyer, eller undersökningar, har genom tiderna förekommit i olika former: från statsöverhuvuden som undersökt befolkningen för att estimera den potentiella skatteintäkten, till dagens företag som vill undersöka marknaden för olika produkter. Från att ha gjort stora totalundersökningar, så är vi i dagens samhälle vana vid att det istället görs urval av målpopulationen eftersom det är mer resurseffektivt. Proportionen som svarar i en survey har länge varit central för många företag och organisationer, som en form av kvalitetsindikator för representativiteten och som ett sätt att uttala sig om huruvida undersökningen är tillförlitlig eller inte (Paul P. Biemer & Lars E. Lyberg, 2003:95). Ett av antagandena har bland annat varit att register för urvalen är kompletta samt att bortfall är slumpmässiga. Det har även varit vanligt med krav på ett förutbestämt antal svarande för att på så sätt säkra surveyers tillförlitlighet och representativitet. Dock har studier på senare tid visat att trots högt bortfall så kan representativiteten vara väldigt god, något som alltså motsäger antagandet om att låg svarsfrekvens per automatik ger ett icke-representativt resultat. Länder i västvärlden har under en lång tid upplevt en stadig minskning i proportionen respondenter i olika typer av surveyer. Svaret till varför denna utveckling har skett kan endast spekuleras i. Följderna av bortfallsproblemet är att det är svårare att bedöma representativiteten: även om en obalans, eller snedvridning, mellan respondenter och bortfall inte enbart beror på bortfallsfrekvensen, så återstår frågan när surveyer trots ett högt bortfall kan hålla en hög kvalitet. Frågan som är intressant i detta avseende är möjligheten att avgöra om surveyer är representativa: vilka empiriska indikatorer 1

5 finns det att tillgå för att bedöma surveyers representativitet och kvalitet? Forskare har på senare tid tagit fram olika representativitetsindikatorer, så kallade R-indikatorer, för att med hjälp av dessa kunna bedöma kvaliteten och representativiteten på en survey utifrån andra kriterier än bortfallsfrekvensen. I dagens läge så har forskningen inom detta område inte kommit så långt, och relativt lite är känt om indikatorernas förmåga att upptäcka obalans till följd av bortfall i olika situationer. Vi har valt detta ämne på grund av att kunskapsläget ännu inte är så utvecklat och att det därför gör det extra intressant att se hur indikatorerna fungerar. Men också för att undersöka vad det finns för olika teorier om deras förmåga och funktion hittills, eftersom de ännu inte används i praktiken på ett utbrett plan Syfte Syftet med arbetet är att se hur bra R-indikatorerna är på att förklara representativiteten. Våra frågeställningar är följande: är R- indikatorerna ett bra mått på representativitet, utifrån olika aspekter? Hur kan man se på relationen mellan bortfall och representativitet? Hur framtiden ser ut för indikatorerna: vilka potentiella användningsområden finns och vilket är utgångsläget för fortsatt forskning? 1.2. Metod För att kunna svara på våra frågeställningar så har vi utfört en litteraturstudie, på grund av att det är en bra metod för att få överblick över de olika R-indikatorerna och deras funktioner. Ytterligare ett skäl till att en litteraturöversikt har valts som metod är att R-indikatorerna ännu inte används i praktiken på ett mer utbrett plan än i studiesyfte. Vi har använt oss av ett flertal olika akademiska artiklar som skrivits av en handfull forskare under 2000-talet. Ambitionen har varit att använda så dagsaktuell forskning som möjligt, eftersom forskningen på området är 2

6 förhållandevis ny och hela tiden gör framsteg och utvecklas. Vi har som primärkällor använt oss av två artiklar och en bok av de holländska statistikerna Jelke Bethlehem, Fannie Cobben och Barry Schouten, eftersom de ger en god överblick över området. Vi har bland annat kompletterat med artiklar av den amerikanske statistikern James Wagner och Chris Skinner, vars forskning främst behandlar problem inom surveymetodologi, samt Natalie Shlomo, som forskar på University of Southhampton. Vi har jämfört tre typer av R-indikatorer med varandra, och definierat modellantaganden, för att visa på skillnader och likheter, liksom för- och nackdelar. De tre typerna är den generella R-indikatorn samt två partiella R- indikatorer, en ovillkorad och en villkorad. För att konkretisera våra frågeställningar så har vi även genomfört ett empiriskt test på ett data-set i SAS. Av konfidensskäl så kunde vi inte utföra ett test på data från Statistiska centralbyrån, som var tanken från början. På grund av detta är data-setet, innehållande observationer, istället hämtat från RISQ:s hemsida (Representativity Indicators for Survey Quality). Det är ett EUfinansierat projekt för forskning om R-indikatorer. Modellen har manipulerats genom att inkludera och exkludera ett antal variabler, för att se hur R-värdet förändras utifrån vilka förutsättningar som modellen har. SAS-koden är även den hämtad från RISQ:s hemsida, men för att till fullo kunna utföra vårt test så har vi varit tvungna att själva modifiera delar av koden. Dessa delar finns i bilaga Avgränsning R-indikatorer är inte de enda indikatorerna för att indikera representativitet, till exempel så har Goodman och Kruskal (1979), Bentler (1990) och March, Balla och McDonald (1988) forskat inom detta område. Dessa övriga indikatorer som kan användas har en stark relation till R-indikatorer. Den avgörande skillnaden är att R- indikatorer mäter i en multivariat miljö (Jelke Bethlehem et al., 3

7 2009a). Vi har valt att inte inkludera dessa i vår uppsats på grund av att de har andra förutsättningar än R-indikatorerna. Vi har valt att inrikta oss på relativt aktuell forskning, och således omfattar uppsatsen inte forskning innan 2000-talets början. Bethlehem, Cobben och Schoutens arbeten har använts i större utsträckning än de andra artiklarna och böckerna. Detta beror främst på att deras forskning har lämpat sig väl för att få en bättre förståelse för R-indikatorer, men även för att de har varit delaktiga i det omfattande RISQ-projektet, varifrån vi bland annat har fått tillgång till data. Data-setet som vi har använt i vårt empiriska test kan ifrågasättas: vi har inte kännedom om varifrån och hur urvalet har dragits på grund av konfidensskäl. Dock är källan till datan, det vill säga RISQprojektet, tillförlitlig. Vidare så antar vi att data-setet är manipulerat, och/eller standardiserat, då fördelningen inom olika kategorier är väldigt jämn. Skälet till detta är antagligen pedagogiskt, eftersom det endast används för att belysa R-indikatorers syfte. Av utrymmesskäl så har en del längre matematiska uttryck och ekvationer uteslutits, vilket dock inte påverkar förståelsen av innehållet. För att förenkla förståelsen av ämnet så har vi också uteslutit exempel på estimation genom viktning av enheter i en survey. Viktning görs på grund av ojämn urvalssannolikhet, bortfall och täckningsfel (Biemer & Lyberg, 2003: ). Hur viktningen beräknas kan skilja sig från fall till fall och är således ett omdebatterat ämne, vilket är ytterligare ett skäl till att vi inom ramen för denna uppsats inte har utrymme nog att behandla denna aspekt Disposition Innan uppsatsens huvudsakliga ämne avhandlas så finns ett avsnitt som beskriver olika definitioner på ett antal relevanta begrepp som används genomgående i uppsatsen. Detta görs för att läsaren ska få 4

8 en grundläggande förståelse för resten av innehållet. Avsnitten som följer är: den generella R-indikatorn, partiella R-indikatorer och ett empiriskt test. Avsnitten är indelade i ett flertal underrubriker för att förtydliga de olika aspekterna av R-indikatorer. Diskussion, slutsats och litteraturförteckning är de avslutande avsnitten. 2. Definitioner 2.1. Representativitet Representativitet är ett relativt vagt och luddigt begrepp, som trots det ofta används inom surveyområdet. De tre forskarna Bethlehem, Cobben och Schouten menar att den generella betydelsen av representativitet är graden av likhet mellan ett set av respondenter och det kompletta urvalet, med avseende på vissa sociodemografiska och socioekonomiska karakteristika (Bethlehem et al., 2011:178). Matematikern och statistikern William Henry Kruskal och statistikern Frederick Mosteller har sammanställt nio användningar av innebörden av representativt urval. Dessa lyder som följer: som ett allmänt erkännande av data, avsaknad av selektiva krafter, en miniatyr av populationen, typiska eller ideala fall, täckning av populationen, en vag term som bör preciseras, representativt urval som en specifik urvalsmetod, en term som tillåter en god uppskattning och slutligen representativt urval som något som är tillräckligt bra för ett särskilt ändamål (Bethlehem et al., 2008a). Kruskal och Mosteller rekommenderar inte att använda ordet representativitet, utan istället specificera innebörden av ordet. Statistikern Ineke Stoop går ett steg längre och hävdar att det inte finns något som kan kallas representativitet, i likhet med samhällsvetaren Rainer Schnell som menar att 5

9 [r]epresentative sampling is an immeasurable, nonscientific concept without any specific meaning. (Bethlehem et al., 2008b). Två definitioner finns dock för representativitet för att underlätta förståelsen för uttrycket. En survey är starkt representativ, med avseende på urvalet, om sannolikheten för alla element i populationen att bli utvalda är samma och om varje svar från ett element är oberoende av alla andra svarselement. Detta medför också att definitionen avsaknad av selektiva krafter gäller som definition för en stark representativitet eftersom det inte finns selektiva krafter om alla svarssannolikheter är lika. Stark representativitet motsvarar Missing Completely at Random (se rubrik 2.2). Eftersom det i praktiken inte är möjligt att jämföra individuella svarssannolikheter, så är konsekvensen att det inte går att fastställa om surveysvaret är starkt representativt (Bethlehem et al., 2008a). En närmare förklaring och ett förtydligande av detta begrepp återfinns senare i uppsatsen. Ekvation (2.1) syftar till att matematiskt förtydliga det första villkoret för stark representativitet: ( ) (2.1) Där ekvation (2.1) visar en svarsdelmängd som är representativ med hänsyn till ett urval då svarsbenägenheten, även kallad svarspropensitet,, är densamma för alla enheter i populationen. Det antas att observationerna, eller objekten, är oberoende av varandra. Där { (2.2) (2.2) är en urvalsindikator, där 1 indikerar att individen dragits ur urvalet. 6

10 { ortfall (2.3) (2.3) visar på hur respondenten svarar förutsatt att personen i fråga är dragen ur urvalet. Ekvation (2.1) visar att svarsbenägenheten,, är sannolikheten att individ i svarar när personen dragits ur urvalet. (Bethlehem et al., 2009a). På grund av svårigheterna med att fastställa om surveysvaret är starkt representativt så har en svagare definition av representativitet utvecklats för att lösa problemet. Ett svar till en survey är svagt representativt, med avseende på urvalet, för hjälpvariabeln X om den genomsnittliga svarssannolikhet är samma i varje grupp som definieras av hjälpvariabeln X. Detta betyder att det inte är möjligt att se någon skillnad mellan respondenter och bortfall genom att endast använda informationen med avseende på X. Antagandet om svag representativitet kan därför kontrolleras för i praktiken genom att uppskatta medelvärdena av svarssannolikheterna i gruppen (Bethlehem et al., 2008a). (2.4) Där är populationsstorleken för kategori h, är svarsbenägenheten för en enhet k i kategori h (Bethlehem et al., 2009a) MAR, MCAR och NMAR MAR, MCAR och NMAR är termer som är relaterade till misslyckandet med att observera delar av önskvärda y-data, undersökningsvariabeln, och används som antagande när R- indikatorer ska beräknas. MAR och MCAR refererar till en svarsmekanism gällande bortfall, som till sin natur är sådan att den är försumbar (Sixten Lundström & Carl-Erik Särndal, 2005:103). 7

11 Försumbart bortfall betyder enligt amerikanska statistikern Sharon L. Lohr att en modell kan förklara bortfallsmekanismen och bortfallet kan således ignoreras i detta fall. Dock betyder det inte att bortfall kan ignoreras helt och hållet och att kompletta datametoder kan användas (Lundström & Särndal, 2005:104). MAR (Missing At Random) uppstår när sannolikheten för ett saknat värde för y kan vara beroende av x-värdet men är oberoende av y-värdet. Då formar inte y-värdena något delurval av urvalet, men däremot ett slumpmässigt delurval inom klasserna som är definierade av x- värdena (Bethlehem et al., 2009a). MCAR (Missing Completely At Random) uppstår när sannolikheten för ett saknat värde för y är oberoende av y-värdet och oberoende av x-värdet. Då formar de observerade värdena på y ett slumpmässigt delurval av urvalet (Bethlehem et al., 2009a). James Wagner uttrycker det såhär: [ ] the respondents are a random sample of the sample, without respect to any subgroupings. (James Wagner, 2012). Om svarssannolikheten är beroende av y-värden som saknas, så kallas mekanismen för NMAR (Not Missing At Random) (Bethlehem et al., 2009a). 3. Den generella R-indikatorn 3.1. Bakgrund A measure of the similarity between the response to a survey and the sample or the population under investigation. (Wagner, 2012). 8

12 Citatet ovan är beskrivningen av en R-indikator enligt Wagner. R- indikatorer representerar närheten till ett representativt svar som en funktion av fullt observerbar hjälpinformation, som exempelvis ålder, kön och så vidare (Ana Marujo, 2009). Kännedomen om olika indikatorers förmåga att upptäcka obalans mellan respondenter och bortfall vid flertalet varierande omständigheter är väldigt begränsad. R-indikatorerna grundas på standardavvikelsen av svarssannolikheterna och idén bakom R- indikatorn är att ju bättre bortfallsmekanismen kan förklaras, alltså ju bättre skillnader i svarsbenägenhet kan särskiljas, desto längre är svaret från representativitet (Wagner, Bethlehem et al., 2011:184). Bethlehem, Cobben och Schouten baserar R-indikatorn på en avståndsfunktion, där det euklidiska avståndet används. Anledningen till att avståndet används är av matematiska skäl, eftersom det innebär en enklare tolkning av indikatorerna (Bethlehem et al., 2009a). Forskarna gör en distinktion mellan R- indikatorer och avståndsfunktioner, där avstånd är symmetriska medan R-indikatorer mäter avvikelser med hänsyn till en specifik punkt där svarsbenägenheten är densamma. Skulle vektorn ändras för olika individuella benägenheter så skulle även denna punkt skifta i de flesta fall (Bethlehem et al., 2009a). Indikatorernas uppgift är att kunna jämföra undersökningar över tid, jämföra olika strategier för datainsamlingsmetoder samt övervaka och kontrollera datainsamling (Bethlehem et al., 2008b + Bethlehem et al., 2011:205). R-indikatorer uppmuntrar jakten på en ättre urvalsram och bättre paradata, det vill säga information eller data om (survey)processen (Biemer & Lyberg, 2003:372). De används som en guide för datainsamlingen: ju mer prediktiva dessa data är, desto bättre blir riskbedömningen för bortfallsobalans (Wagner, 2012). När R-indikatorer används som ett slags kvalitetsindikatorer under datainsamling behövs funktioner för svarsrepresentativiteten, 9

13 där dessa beskriver relationerna mellan svarsfrekvenser, R- indikatorer och kvalitetströsklar. Dessa antagna trösklar används för att bestämma om ett svar är acceptabelt i termer av kvalitet. Ett förbehåll är dock att samma urvalsram och samma paradata används (Bethlehem et al., 2008b + Bethlehem et al., 2011:205 + Wagner, 2012). Detta leder till att preferenser för metoder som jämnar ut svarsfrekvensen över alla delgrupper kan upptäckas. Dock kan inte estimeringar inom en survey jämföras eftersom det endast finns en modell för R-indikatorns estimeringar (Wagner, 2012). Då svarsbeteende är en oberoende faktor i en surveysituation så hamnar också mycket fokus på det, vilket gör att vikten av hjälpinformation och paradata understryks för att kunna estimera dessa indikatorer (Betlehem et al., 2008b). Målet blir slutligen att balansera svarsfrekvensen mellan grupperna som är definierade av hjälpvariablerna, istället för att exempelvis intervjua objekten som har högst sannolikhet att svara. Wagner menar att en av de största svagheterna är att indikatorerna existerar på survey-nivå, och således beräknar risken för bortfallsbias väldigt generellt på den nivån. Indikatorerna kräver ett antagande om att det finns en mekanism som genererar liknande obalans, för alla estimat som är produkten av en survey (Wagner, 2012). Användningen av R-indikatorer kräver också en implicit modell som antar att urvalsdata och paradata, som används för att skapa indikatorerna, är korrelerade med alla survey-estimat. Wagner menar att detta dock inte alltid behöver vara sant. Modellantagandet kan också innebära problem för det sanna värdet på R-indikatorn, dess värde beror till stor utsträckning på vilken modell som väljs: svarssannolikheterna kan modelleras på olika sätt (Wagner, 2012). Ytterligare en svaghet enligt honom är att data är av skiftande kvalitet från survey till survey: till exempel finns mer data att tillgå vid en survey som använt sig av myndighetsregister än en Random Digit Dialing (RDD), där endast uppgifter om geografiskt läge finns. 10

14 På grund av detta skiftar även R-indikatorernas kvalitet (Wagner, 2012). Wagner poängterar att för uttalanden om kvaliteten på surveyer måste antagandet att en korrekt modell har skapats gälla. Han menar att konsekvenserna av en felspecificerad modell kräver mer forskning, liksom MAR-antagandet, eftersom det inte är känt vad som händer om bortfallet inte är missing at random (Wagner, 2012). För att indikatorerna ska kunna användas i realiteten krävs att R- indikatorerna utvärderas tillsammans med ett konfidensintervall. Vilken vektor X som används ska anges, liksom att samma X ska användas när olika surveyer jämförs. Vid jämförelse över tid används, liksom vid andra jämförelser, ett fixt X på förhand för att underlätta utvärderingen. Vid jämförelser mellan olika surveyer så är partiella R-indikatorer ett supplement till R-indikatorerna (Bethlehem et al., 2011:195). Modellerna för estimeringar av svarsbenägenheten bör vara okomplicerade och endast inkludera generella hjälpvariabler. Men även vid jämförelser mellan olika surveyer över tid, så gäller likväl att partiella R-indikatorer är supplement till R-indikatorerna. Modeller för estimeringar av svarsbenägenheterna kan vara mer komplexa och därför kan paradata användas som komplement till hjälpvariablerna. Vid förbättring av svarsrepresentativiteten så ska målet alltid vara att öka svarsfrekvensen och minska variationen i svarsbenägenheten (Bethlehem et al., 2011:195) R-indikatorns funktion Den generella R-indikatorn gäller i de fall där den individuella svarsbenägenheten är känd. I ekvation (3.1) är antagandet att hjälpvariabler för bortfallet är kända. R-indikatorn undersöker avståndet mellan de två grupperna. Detta är proportionerligt till standardavvikelsen för svarsbenägenhet. 11

15 ( ) ( ) (3.1) Från ekvation (3.1) antas att: ( ) ( ) (3.2) För ytterligare matematiskt förtydligande, se bilaga 2. Ekvation (3.2) visar att standardavvikelsen ligger i ett intervall mellan 0 och 0.5. R-indikatorn ska istället vara på en skala från 0 till 1, där 1 är stark representativitet och 0 dess motsats. R-indikatorn är definierad som: ( ) ( ) (3.3) Ju större standardavvikelsen är, desto lägre är representativiteten från svaret. Följaktligen så är indikatorns värde 1 när standardavvikelsen är 0 (Bethlehem et al., 2011:184). När indikatorvärdet motsvarar 1, visar det att någon variation mellan respondenter i form av svarsbenägenhet inte existerar Estimering av R-indikatorn R-indikatorn kan inte beräknas direkt, eftersom svarsbenägenheterna är okända. Därför måste R-indikatorn bli estimerad, genom att exempelvis använda en logistisk eller probit regressionsmodell. Vidare så måste populationsvariansen ersättas av en urvalsvarians. R-indikatorn blir ersatt av en estimator,, och svarsbenägenheterna av estimerade svarsbenägenheterna ( ) ( ) (3.4) 12

16 Med ( ) ( ( ) ) (3.5) (Bethlehem et al., 2011:184f). Till följd av att R-indikatorn är en estimerad svarsbenägenhet så är den en slumpmässig variabel. Med detta antagande så menas att R- indikatorn har en viss noggrannhet och möjligtvis bias. Detta resulterar i att storleken på urval är en viktig faktor när R-indikatorn ska bedömas. Små urval kommer inte tillåta att korrekta slutsatser om representativiteten kan dras på grund av bortfallet (Bethlehem et al., 2009a) Estimering med logistisk regression Benägenheterna estimeras med hjälp av en logistisk regressionsmodell, där β representerar vektorn med regressionskoefficienten och X den motsvarande vektorn för förklarande variabler. Svarsbenägenhet definieras genom: ( ) ( ) (3.8) [ ( ) ] ( ) ( ) (( ) ) (3.9) Den logistiska regressionsmodellen, för att skatta R-indikatorn, är befäst med ett set av hjälpvariabler som är tillgängliga för hela urvalet, både för respondenter och för bortfall. Dessa hjälpvariabler kan dras från urvalsramen eller från paradata (Bethlehem et al., 2011:184). 13

17 3.3. Insamlingsmetodens betydelse Studien som används som belysande exempel på insamlingsmetodens betydelse för värdet på R-indikatorn är baserad på surveyn Statistics Netherlands Labour Force Survey (LFS), från perioden juli till december Surveyn tar två urval av bortfall som kontaktades ytterligare en gång, antingen genom återuppringning (call-back) eller med basic question approach. Återuppringningsförsöken använde sig av de ursprungliga frågorna i CAPI, Computer Assisted Personal Interviewing, medan basic question approach använde sig av förkortade frågeformulär i en mixed-mode setting. Mixed-mode använder sig av webb, papper och CATI, Computer Assisted Telephone Interviewing (Biemer & Lyberg, 2003:189 + Bethlehem et al., 2009a). Tabell 3.1 visar att svarsandelen ökar när de två metoderna används för att minska bortfallet. Men i LFS + basic question approach så sjunker R-indikatorn från 80.1% till 78%. Dock så minskar biastermen, vilket kan bero på att svarsandelen har ökat. Tabell 3.1. n= urvalsstorleken, andelen=svarsandelen, =estimerade R-indikatorn, = konfidensintervallet för, = maximala snedvridningen, =maximala RMSE. Response N Andel LFS % 80.1% ( ) 8.0% 8.0% LFS+call-back % 85.1% ( ) 4.8% 4.9% LFS+Basic-question % 78.0% ( ) 7.3% 7.3% Tabell 3.1 visar också konfidensintervallen för de olika metoderna. LFS har en R-indikator på 80.1% med konfidensintervall LFS + call-back har en R-indikator på 85.1% med 14

18 konfidensintervall Bethlehem hävdar att R-indikatorn således är signifikant skild från den vanliga LFS på alphanivån 0.05 (Bethlehem et al., 2009a). Från tabell 3.1 utläses att en högre svarsandel leder till en minskning av risken för obalans mellan respondenter och bortfall. Men det slutgiltiga resultatet behöver dock inte, som tidigare nämnt, resultera i en mer balanserad svarsfördelning (Bethlehem et al., 2009a). 4. Partiella R-indikatorer 4.1. Bakgrund Partiella R-indikatorer mäter effekten av hur hjälpvariabler indikerar avvikelser från representativa svar (Marujo, 2009). Partiella R- indikatorer används för att signalera om hjälpvariablerna är tillräckligt bra för att se avvikelser i representativt svar. Två typer av partiella R-indikatorer definieras: ovillkorade och villkorade. Ovillkorade partiella R-indikatorer mäter hur mycket en enskild hjälpvariabel bidrar till att visa bristen av representativt svar. De villkorade partiella R-indikatorer mäter hur mycket en enskild hjälpvariabel bidrar till att visa bristen på representativt svar, givet andra hjälpvariabler. De ovillkorade partiella indikatorerna är designade för jämförelser av olika surveyer, eller surveyer över tid. Villkorade partiella indikatorer är särskilt lämpliga för datainsamlingsövervakning. Vidare så kan både villkorade och ovillkorade partiella R-indikatorer beräknas på variabel- och kategorinivå. Kategorinivån är endast tillämplig när variabeln ifråga är kategorisk. På variabelnivå så representerar de inflytandet av variabeln som helhet, även om inflytandet beror på klassificeringen och kategorierna som används (Bethlehem et al., 2011:189f). 15

19 Partiella indikatorer är användbara för att testa surveymetoder men även för att vikta de olika klasserna. De används också för att identifiera variabler som bidrar till representativitet (Marujo, 2009). Olika delmängder som är under- eller överrepresenterade kan då upptäckas. Detta gör att insamlingen kan styras så att urvalet blir mer balanserat (Barry Schouten et al., 2011) Partiella R-indikatorernas funktion Svarsbenägenheten är definierad som det villkorliga förväntade R- värdet givet hjälpvariabel x, för vektorn X av hjälpvariablerna: ( ) ( ) ( ) (4.1) Här antas att alla x-värden är kända för både respondenter och bortfall. Vidare så kan specificerade variabler och fältarbetsvillkor inkluderas. Svarsbenägenhet är således villkorligt definierad på designvalen i surveyn (Schouten et al., 2011). I definitionen av en partiell R-indikator så är Z en kategorisk hjälpvariabel, som exempelvis kön. Antalet kategorier= k. För det totala bidragandet av variabeln Z så benämns den partiella indikatorn ( ) samt ( ) för en enskild kategori av variabeln Z. I de båda fallen så beräknas indikatorerna på svarsbenägenheten med hänsyn till X, som är hjälpvariabelvektorn (Schouten et al., 2011). Det är önskvärt att dela upp variansekvationen i två olika delar: en som representerar variansen inom variablerna och en som representerar variansen mellan dem. ( ) ( ) ( ) (4.2) 16

20 ( ) ( ) ( ) (4.3) ( ) ( ) ) (4.4) Där är antalet enheter i kategori k, är storleken av och är den genomsnittliga svarsbenägenheten i. Ekvation (4.3) visar variansen mellan variablerna och (4.4) visar variansen inom dem (Schouten et al., 2011) Ovillkorade partiella R-indikatorer Ovillkorade partiella R-indikatorer använder sig av euklidiskt avstånd för att indikera representativt svar. Den ovillkorade partiella R-indikatorn för Z definieras som: ( ) ( ) (4.5) Ekvation (4.5) visar att detta är kvadratroten av variansen för svarsbenägenheten mellan grupper definierade av variabeln Z. Den har egenskapen att vara ickenegativ. Ju större värde på (4.5) desto mer bidrar Z till att se brist på representativitet. Om ( ) ( ) så står variabeln Z för all brist i representativitet från X (Schouten et al., 2011). Den ovillkorade partiella R-indikatorn för kategori k av Z definieras som: ( ) ( ) (4.6) 17

21 ( ) är kvadratroten av det kvadrerade ( ) över k. Därför kan ( ) användas för att undersöka bristen på representativitet som kan uppstå från Z (Schouten et al., 2011). Ekvation (4.6) kan anta värden mellan -0.5 och 0.5 där 0 betyder att variabeln inte har någon effekt Villkorade partiella R-indikatorer För villkorade partiella indikatorer så antas Z finnas med i en vektor av variabler för att definiera svarsbenägenhet. Den del som exkluderar variabeln Z så att ( ) benämns. Antagandet är att endast utgörs av kategoriska variabler bestående av ett set av stratum,. Definitionen för villkorat representativt svar definieras på följande sätt: svaret i en survey benämns som villkorat representativt för Z givet då den villkorade svarsbenägenheten är densamma för alla val av. Detta leder till att när svaret är villkorligt representativt, så är benägenheten för X densamma som. Denna definition tillåter analyser i effekten av variabler på ickerepresentativt svar, justerat för andra variabler. I detta fall beräknas även euklidiskt avstånd mellan och (Schouten et al., 2011). Indikatorer på variabelnivå: ( ) (( ) (( ) (4.7) Indikatorer på kategorisk nivå ( ) [ ( ) ] (4.8) I ekvation (4.7) så byts stratumet ut mot delmängden, som definieras av kategori k av Z. Ju högre värde på (4.7) desto större är 18

22 variationen av svarsbenägenheten inom stratumet. Då variationen endast kan förklaras av Z, så tolkas (4.7) som ett mått på hur mycket Z bidrar till R-indikatorn efter att ha kontrollerat för effekten av de variabler som finns kvar,. Ekvation (4.7) kan anta värden mellan 0 och 0.5, där 0 betyder att det inte finns någon effekt. Om det antas att Z är kategorisk, där är en 0-1 dummyvariabel som är lika med 1 då Z=k och 0 annars, så definieras den partiellt villkorade R-indikatorn för kategori Z= k som (4.8). Ekvation (4.8) är inom standardavvikelsen av ( ) begränsad till antalet enheter, u, i denna kategori. Från ekvation (4.8) definieras som den genomsnittliga svarsbenägenheten ( ) i stratum l av. Ekvation (4.8) tillåter att bristen på representativitet som reflekteras av ( ) förklaras. Indikatorn på kategorisk nivå har ett intervall mellan 0 och 0.5, där 0 betyder att det inte finns något villkorat bidragande av kategorin (Schouten et al., 2011) Hjälpvariablernas betydelse Hjälpvariablernas betydelse belyses här genom exempel som är baserade på hushållssurveyn Dutch Labour Force Survey (LFS) och företagssurveyn Dutch Short Term Statistics Survey, från år 2006 respektive 2008 (Schouten et al., 2011). Det som surveyerna vill ta reda på är vilka variabler som har störst påverkan på svarsrepresentativiteten. Fokus finns också på en anpassningsbar undersökningsdesign (Schouten et al., 2011). Dutch Labour Force Survey görs varje månad med face-to-faceintervjuer för olika hushåll. Målet med surveyn är att estimera andelen som har arbete och andelen arbetslösa för olika sociodemografiska delpopulationer. Målpopulationen är individer mellan 15 år och äldre. LFS jämförs mellan 2006 och

23 Vilka hjälpvariabler har störst effekt? Tabell 4.1 visar att svarsandelarna för de två åren approximativt är desamma, vilket också kan sägas om R-indikatorn. Skillnaden är att de enskilda variablernas effekter har varierat: effekten av ålder är lägre och värdet på hus är större 2008 jämfört med Mellan 2006 och 2008 så förändrades mönstret för LFS:s svarande. Tabell 4.1 Kontakt och svarsandelar för R-indikatorerna och partiella indikatorer på variabel nivå ( = ovillkorad, = villkorad ). Kontakt Svar Andel 94.1% 94.9% 63.2% 63.4% R-indikator Ålder Värdet på hus Ålder Värdet på hus Short Term Statistics Survey görs på två sätt: genom postenkäter och genom webbenkäter där företagen rapporterar varje månad. Tre hjälpvariabler är inkluderade: affärsgren, storlek på företaget och mervärdesskatt. Storleken på företaget och mervärdesskatten antas ha ett starkt samband och slås därför ihop (Schouten et al., 2011). Frågeställningen är huruvida svaren är tillräckligt representativa efter 25 dagar med hjälp av partiella R-indikatorer. Om inte, vilka typer av företag behöver mer resurser? Samt: är det värt att förlänga databehandlingstiden? 20

24 Vad indikerar hjälpvariablerna? Figur 4.1 visar de partiellt ovillkorade indikatorerna på kategorisk nivå på affärsgren för industrin över tid. Figur 4.1 visar att efter 30 dagar så har NACE 29, kemikalieindustri, det mest signifikanta värdet. Detta indikerar att de är underrepresenterade. Från dag 25 till dag 30 så minskar dessa indikatorer och Schouten, Shlomo och Skinner menar därför att det är värt att vänta 30 dagar. Tabell 4.2 visar att skillnaden mellan ovillkorade och villkorade indikatorer är små. Schouten, Shlomo och Skinner menar att effekten av affärsgren inte försvinner genom att kontrollera för storleken för företaget och mervärdesskatten. Tabell 4.2 visar även att värdena för industri är avsevärt större. Givet att R-indikatorerna är liknande till storlek och således har samma variation i svarsbenägenhet, så utläses att affärsgren har en större påverkan på representativitet för industri jämfört med detaljhandel. Denna effekt minskar dock med tiden. Till följd av detta så påverkar storleken på företaget och mervärdesskatten detaljhandeln mer i form av representativitet. Detta resulterar i att det finns utrymme för förbättring av representativitet inom industrin genom att försöka skynda på svar för olika affärsgrenar. På samma sätt så kan fokus ligga på storleken på företag och mervärdesskatt för att öka representativitet för detaljhandeln. 21

25 Figur 4.1 partiellt ovillkorade indikatorerna på kategorisk nivå för affärsgrenen industri över tid. Tabell 4.2. Ovillkorade och villkorade partiella indikatorer för detaljhandel och industri över tid. Detaljhandel Industri Dagar Ovillkorad Villkorad Ovillkorad Villkorad

26 För detaljhandel så är det inte någon större skillnad mellan dag 25 och dag 30, därför bör man inte vänta längre än 25 dagar för att behandla erhållna data (Schouten et al., 2011). 5. Empiriskt test Ett data-set bestående av anonymiserade observationer har tagits från RISQ:s hemsida (RISQ, 2012b). Variablerna är följande: ålder, kön, etnicitet, grad av urbanisering, civilstånd, typ av hushåll, har arbete/har inte arbete och innehav av telefon/inte innehav av telefon. Utifrån vetskapen om att färre variabler ökar R-indikatorns värde så har ett test utförts för att påvisa hur antalet variabler i modellen förändrar R-indikatorns värde. Eventuella mönster för detta kan dock vara väldigt olika (Bethlehem et al., 2009b). I modellerna 1-4 hålls urvalsstorleken konstant på 35455, det vill säga att modellerna är totalundersökningar. Modell 1-4 undersöker olika hjälpvariablers påverkan på R-indikatorn. Modell 5-7 tar ett urval på , med samma hjälpvariabler som modell 1-4. Modell 1-7 håller svarsandelen konstant, medan modell 8-10 undersöker en varierande svarsandels påverkan på R-indikatorn. Tabell 5.1. En totalundersökning med hjälpvariablerna ålder och kön. Modell 1 Urval Variabler Ålder och kön R- indikatorn R-indikator Svarsandel Standardavvikelse Undre gräns Övre gräns

27 Modell 1 visar att R-indikatorn har ett värde på med två huvudsakliga hjälpvariabler: ålder och kön. R-indikatorn har ett konfidensintervall på (0.891; 0.912). Tabell 5.2. En totalundersökning med hjälpvariabeln kön. Modell 2 Urval Variabler Kön R- indikatorn R-indikator Svarsandel Standardavvikelse Undre gräns Övre gräns Vidare så används ett test för att påvisa att färre hjälpvariabler ger ett högre värde på R-indikatorn. Modell 2 visar att R-indikatorn har ett värde på med hjälpvariabeln kön. Konfidensintervallet på (0.905; 0.926) visar att detta resultat inte är signifikant skilt från modell 1 på alphanivån Tabell 5.3. En totalundersökning med hjälpvariabeln etnicitet. Modell 3 Urval Variabler Etnicitet R-indikator R-indikatorn Svarsandel Standardavvikelse Undre gräns Övre gräns

28 Modell 3 visar att R-indikatorn har ett värde på med hjälpvariabeln etnicitet. Resultatet kan påvisa att olika hjälpvariabler påverkar R-indikatorn på olika sätt: kön relaterar starkare till svarsbenägenhet än etnicitet till exempel. Modell 4 visar en R-indikator med värdet för hjälpvariablerna kön, ålder, etnicitet, innehav av telefon samt om de har ett arbete. Konfidensintervallet är (0.849; 0.869). Modell 4 visar att den är signifikant skild från modell 1, eftersom konfidensintervallen inte överlappar varandra. Resultatet visar att modeller med fler hjälpvariabler har lägre värden på R-indikatorn jämfört med modeller med färre hjälpvariabler. Tabell 5.4. En totalundersökning med hjälpvariablerna kön, ålder, etnicitet, innehav av telefon och arbete. Modell 4 Urval Variabler Kön, ålder, etnicitet, innehav av telefon och arbete R-indikator R-indikatorn Svarsandel Standardavvikelse Undre gräns Övre gräns I modellerna 5-7 tas ett obundet slumpmässigt urval på , motsvarande 70.5% av målpopulationen. Modellen testar inte hjälpvariabeln etnicitet då det redan påvisats att olika hjälpvariabler påverkar modellen i olika grad. 25

29 Tabell 5.5. Ett urval på med hjälpvariablerna ålder och kön. Modell 5 Urval Variabler Ålder och kön R-indikator R- indikatorn Svarsandel Standardavvikelse Undre gräns Övre gräns Modell 5 visar en R-indikator med ett värde på med hjälpvariablerna ålder och kön, med konfidensintervallet (0.440; 0.446). Modell 5 har ett lägre värde på R-indikatorn jämfört med modell 1, där samma hjälpvariabler används. Resultatet tyder på att mindre urval påverkar R-indikatorn negativt. Tabell 5.6. Ett urval på med hjälpvariabeln kön. Modell 6 Urval Variabler Kön R-indikator R- indikatorn Svarsandel Standardavvikelse Undre gräns Övre gräns

30 Modell 6 visar en R-indikator på 0.446, med konfidensintervallet (0.444; 0.449). Modell 6 belyser, liksom modell 2, att R-indikatorn ökar då antalet hjälpvariabler reduceras i modellen. Modell 6 har ett högre värde på R-indikatorn jämfört med modell 6, där två hjälpvariabler används. Resultatet är dock inte signifikant. Från modell 7 utläses ett värde på för R-indikatorn, med konfidensintervallet (0.426; 0.434). Modell 7 har ett statistiskt signifikant lägre värde på R-indikatorn än modell 5, som har färre hjälpvariabler. Med ett mindre urval så tenderar R-indikatorn, återigen, att få ett lägre värde då fler variabler finns i modellen. Författarna till RISQ-kompendiet How to use R-indicators? menar dock att urvalsstorleken har större betydelse för R-indikatorns värde än antalet hjälpvariabler i modellen, även om en av deras slutsatser är att valet av hjälpvariabler också har en betydande roll (Bethlehem et al., 2009b). Tabell 5.7. Ett urval på med hjälpvariablerna ålder, kön, etnicitet, innehav av telefon, arbete. Modell 7 Urval Variabler Ålder, kön, etnicitet, innehav av telefon, arbete R-indikator R- indikatorn Svarsandel Standardavvikelse Undre gräns Övre gräns Modell 8-10 håller hjälpvariablerna och urvalet konstant medan svarsandelen är den exogena variabeln. Från modell 8 utläses att 70.9 % svarar. I modellen så sjunker R- indikatorn till jämfört med modell 1. 27

31 Tabell 5.8. En totalundersökning där svarsandelen är 70%. Med hjälpvariablerna ålder och kön. Modell 8 Urval Variabler Kön, ålder R-indikator R- indikatorn Svarsandel Standardavvikelse Undre gräns Övre gräns Tabell 5.9. En totalundersökning där svarsandelen är 12.4%. Med hjälpvariablerna ålder och kön. Modell 9 Urval Variabler Kön, ålder R-indikator R- indikatorn Svarsandel Standardavvikelse Undre gräns Övre gräns Modell 9 har en svarsandel på 12.4%. Även här så har R-indikatorn sjunkit till jämfört med modell 1. En intressant iakttagelse är att modell 8 och 9 har snarlika värden på R-indikatorn, detta trots att svarsandelen är väldigt annorlunda. Detta beror troligtvis på att R- indikatorn är baserad på en avståndsfunktion med standardavvikelse. 28

32 Tabell En totalundersökning där svarsandelen är 0.09%. Med hjälpvariablerna ålder och kön. Modell 10 Urval Variabler Kön, ålder R-indikator R- indikatorn Svarsandel Standardavvikelse Undre gräns Övre gräns Modell 10 visar att svarsandelen är 0.9% med en R-indikator på Denna modell har ett högre värde på R-indikatorn jämfört med modell 1, trots att svarsandelen är väldigt låg. Detta resultat visar att urvalet är representativt, trots att väldigt få har svarat. Återigen grundas detta på att modellen är baserad på standardavvikelsen mellan respondenter och bortfall. Teoretiskt sett så är modell 10 korrekt då variationen är väldigt liten mellan respondenter och bortfall. Men i praktiken så är den inte felfri om hänsyn endast tas till R-indikatorns värde. En praktisk, och paradoxal, nackdel är att när svarsbenägenheten sjunker från 0.5 till 0 så ökar R-indikatorn. Detta är rent teoretiskt troligt då 0 i svarsbenägenhet betyder att inga personer svarat och att det då inte finns någon variation (Bethlehem et al., 2009a). Då svarsfrekvensen är 0 så får R-indikatorn ett värde på 1. R-indikatorn börjar på 1 för att sedan få ett lägsta möjliga värde, det vill säga 0, då svarsfrekvensen är 0.5. Det är endast då svarsfrekvensen är 0.5 som R-indikatorn kan få ett värde mellan 0 och 1. Det går därför att argumentera för att den optimala nivån på svarsfrekvensen är 0.5 eftersom lägre eller högre värden kan vara missvisande (Bethlehem et al., 2009a). 29

33 6. Diskussion och slutsats Uppsatsens syfte är att undersöka hur väl R-indikatorn förklarar representativitet, huruvida det ett bra mått om alla förutsättningar för en god estimering finns tillgängliga, hur relationen bortfall och representativitet kan tolkas samt hur framtiden för R-indikatorerna ser ut. Detta med hjälp av en litteraturstudie. Artiklarna visar att även då bortfallet minskar så ökar inte nödvändigtvis representativiteten. Ett minskat bortfall gör dock att risken för obalans mellan respondenter och bortfall minskar: med en minskad risk så är ett mer representativt svar mer troligt. Det vill säga att om bortfallet skiljer sig markant från respondenterna, men endast utgör en procent, blir obalansen mindre betydelsefull än om bortfallet är femtio procent och har samma obalans. Att använda bortfall som enda kvalitetsindikator är inte ett tillräckligt bra alternativ, men det bör tas i beaktning att ett minskat bortfall som sagt minskar risken för obalans. Vidare så visar resultatet att R-indikatorn kan förklara representativitet på ett bra sätt då den använder olika hjälpvariabler för att beräkna svarsbenägenheten. Men vi fann även att det finns en del brister: representativitet i form av ett högt värde på en R- indikator behöver inte nödvändigtvis vara ett bevis för representativitet. Det faktum att R-indikatorn baseras på beroende variabler, hjälpvariabler och urvalsstorlek gör att den kan manipuleras för att få ett önskvärt resultat. Från det empiriska testet så såg vi att modell 1 med två relativt bra hjälpvariabler, ålder och kön, gav en R-indikator på När vi istället adderade fler hjälpvariabler i modellen så minskade R-indikatorn. På samma sätt så ökade R-indikatorn när vi endast hade en hjälpvariabel i modellen. Detta resultat påvisar att ett selektivt urval av hjälpvariabler ger en hög R-indikator. En viktig faktor i skapandet av R-indikatorn är som sagt dess hjälpvariabler, den andra faktorn är 30

34 urvalsstorleken: vi såg att för ett mindre urval så minskade R- indikatorn, ceteris paribus. För de partiella R-indikatorerna såg vi att olika hjälpvariabler och deras effekter kan urskiljas. Det är enkelt att se hur de interagerar och vilka variabler som påverkar resultatet mest. På en kategorisk nivå är det tydligt vilka grupper som är under- eller överrepresenterade. Denna egenskap är väldigt attraktiv eftersom med hjälp av den kan resurser fördelas på ett sådant sätt så att fokus kan ligga på underrepresenterade grupper. En annan aspekt som är positiv är att det går att urskilja huruvida man ska fortsätta med datainsamlingar eller inte. Vi ställer oss frågan om antagandet om att hjälpinformationen är intakt och inte har något systematiskt fel håller i realiteten. I länder som Sverige, som har breda register över befolkningen, finns det goda förutsättningar för ett sådant antagande. Men risken finns att användningen av R-indikatorer är begränsad till länder med relativt bra register för olika hjälpvariabler. Paradata kan användas för att få en god estimering, men detta faktum gör att det blir en variation från survey till survey. Att använda R-indikatorer som ett index är troligtvis väldigt svårt då det finns för många faktorer som påverkar resultatet. Att ha fullständiga register är alltså a och o, och att samma hjälpvariabler används. Den senare faktorn går att styra, men den första kräver tid och granskning. Är det överhuvudtagen möjligt att jämföra R-indikatorer mellan I-länder och U-länder? Eventuellt kan denna metod endast appliceras i länder med liknande socioekonomisk struktur, eftersom olika variabler påverkar en survey på olika sätt. I frågan om R-indikatorn är ett bra mått så vet vi att jämförelser mellan olika surveyer med hjälp av R-indikatorer inte har gjorts i någon större omfattning. Att jämföra samma survey över tid kan däremot visa på vilken datainsamlingsmetod som är att föredra, vilket gör R-indikatorn väldigt informativ i den aspekten. 31

35 R-indikatorn är lämplig att använda vid jämförelser av olika insamlingsmetoder inom samma survey. För detta ändamål så finns det en framtid för dem. Men det faktum att det ännu inte är möjligt att jämföra med andra surveyer på ett okomplicerat och lättillgängligt sätt gör att det finns fortsatta utvecklingsmöjligheter för indikatorerna. Det är tänkbart att ett framtida krav i en specifik survey kan vara att öka R-indikatorns värde till en viss nivå, istället för att försöka öka svarsandelen till en förutbestämd nivå, eftersom de sista procentenheterna kan kosta mycket att samla in men ändå inte ge ett mer representativt resultat. I västvärlden finns behov av en ny kvalitetsindikator för surveyer eftersom bortfallet har ökat, men att påstå att R-indikatorn ska vara den nya lösningen är svårt att se: den största orsaken till det är att vi förmodar att den antagligen inte kan tillämpas i länder som inte har fullständiga register av hjälpvariabler på grund av att det då är svårare att uttala sig om bortfallet eftersom det inte finns tillräcklig information om dessa personer. Men även för att modellen kan påverkas genom att urvalen som tas är homogena och är korrelerade med hjälpvariablerna. R-indikatorn är baserad på en enkel modell, men den har i dagsläget sina begränsningar, bland annat för att hjälpvariablerna och urvalsstorleken påverkar olika surveyer på olika sätt. Om R-indikatorerna ska kunna användas på ett mer allmängiltigt och adekvat vis så bör de olika variablerna och metoderna standardiseras på något sätt. Riktlinjer för användning och beräkning av R-indikatorerna är en viktig komponent och förutsättning för ett bredare och mer användbart användande. Det skulle vara av intresse i framtiden att se om det är möjligt att finna ett optimalt eller standardiserat sätt att använda olika hjälpvariabler för att göra R-indikatorn mer användbar internationellt. 32

36 7. Litteratur Bethlehem, Jelke- Cobben, Fannie- Schouten, Barry, 2008a. Indicators for the Representativeness of Survey Response. Proceedings of Statistics Canada Symposium Data Collection: Challenges, Achievements and New Directions. RISQ:s hemsida december Bethlehem, Jelke- Cobben, Fannie- Schouten, Barry, 2008b. The history of the R-indicator. First RISQ Meeting, Statistics Netherlands, 7-8 April RISQ:s hemsida december Bethlehem, Jelke- Cobben, Fannie- Schouten, Barry, 2009a. Indicators for the representativeness of survey response. Survey Methodology 35(1): Bethlehem, Jelke- Morren, Mattijn- Schouten, Barry- Shlomo, Nathalie- Skinner, Chris, How to use R-indicators?. Work package 4, deliverable 3. RISQ:s hemsida december Bethlehem, Jelke- Cobben, Fannie- Schouten, Barry, Handbook of Nonresponse in Household Surveys. West Sussex: John Wiley-Blackwell. Biemer, Paul P.- Lyberg, Lars E., Introduction to Survey Quality. New Jersey: Wiley Interscience. Lundström, Sixten- Särndal, Carl-Erik, Estimation in Surveys with Nonresponse. West Sussex: John Wiley & Sons, Ltd. Marujo, Ana, Representativity Indicators for Measuring Survey Quality. Siena, Italy, juni 2009: ITACOSM09. 33