Teknisk Rapport En beskrivning av genomförande och metoder

Transkript

1 Teknisk Rapport En beskrivning av genomförande och metoder Attityder till skolan Föräldrar

2 Inledning Enheten för Utbildning och arbete vid Statistiska centralbyrån (SCB) genomförde under våren 2012, på uppdrag av Skolverket, en undersökning om attityder till skolan. Undersökningen bestod av 4 delar som riktade sig till lärare, äldre elever, yngre elever och skolbarnsföräldrar. Föreliggande rapport beskriver enkätundersökningen bland skolbarnsföräldrar. Populationen utgjordes av vårdnadshavare till barn i åldern 7-19 år. Urvalet bestod av vårdnadshavare till barn i åldern 7-19 år (födda ). Det var totalt personer som besvarade frågeblanketten, vilket var 42,8 procent av urvalet. Ytterligare 120 personer besvarade blanketten men kontrollfrågorna (fråga 16 och 17) visade att det var fel person som besvarade blanketten. Se även avsnitt Viktberäkning och estimation. Resultatet i form av en datafil, tabeller och öppna svar levererades vecka 37. Undersökningsledare på SCB var Anna Eriksson och Johan Löfgren var metodstatistiker. Skolverkets kontaktperson gentemot SCB var Linnéa Rask. Omfattning Population och urval Populationen, d.v.s. de objekt som man vill kunna dra slutsatser om, utgjordes av vårdnadshavare till barn i grund- och gymnasieskola. För att kunna dra ett urval från populationen skapades en urvalsram som avgränsade, identifierade och möjliggjorde koppling till objekten i populationen. Urvalsramen i undersökningen skapades med hjälp av data från Registret över totalbefolkningen (RTB) Urvalsramen bestod av alla barn födda För varje barn hämtades information om vilka personer som är barnets vårdnadshavare och som dessutom är folkbokförda på samma fastighet som barnet. För att kunna särredovisa svaren för vårdnadshavare som är födda i Sverige respektive utanför Sverige, gjordes stratifiering efter barnets bakgrund. Stratifieringen syftade i att ca vårdnadshavare med svensk bakgrund och ca 600 vårdnadshavare med utländsk bakgrund skulle ingå i urvalet. (Enligt definitionen gäller utländsk bakgrund för personer som själva är födda utomlands eller är födda i Sverige med två utrikes födda föräldrar). I det första steget drogs ett stratifierat obundet slumpmässigt urval om barn. Ett stratifierat obundet slumpmässigt urval innebär att alla objekt inom ett stratum har samma sannolikhet att komma med i urvalet. Urvalsstorlekar för olika strata framgår av tabell 1. 2

3 I det andra steget drogs en vårdnadshavare för varje utvalt barn med obundet slumpmässigt urval. Efter att urvalet dragits kontrollerade om någon familj ( RTB-familj ) dragits till urvalet flera än en gång. Ett fåtal dubbletter exkluderades från urvalet, så att familjerna endast besvarar en enkät inom undersökningen. Tabell 1a Urvalsram och urval fördelat på stratum Stratum Namn Urvalsram Urval 11 Utrikes födda Inrikes födda Inrikes födda Inrikes födda Totalt Beskrivning av stratum: Stratum 11 barn födda utomlands. Stratum 12 barn födda i Sverige, med två utrikes födda föräldrar. Stratum 21 barn födda i Sverige, med en inrikes och en utrikes född förälder. Stratum 22 barn födda i Sverige, med två inrikesfödda föräldrar. Frågor/Variabler Undersökningen av attityder till skolan 2012 är den sjunde som genomförs av Skolverket. Föräldrars attityder undersöktes senast Skolverket utformade frågorna i frågeblanketterna i samarbete med SCB. Vissa förändringar av frågornas innehåll gjordes, jämfört med undersökningen från Därefter genomfördes en snabbgranskning av mätteknisk expertis i syfte att minska risken för mätfel. Grundläggande för bra kvalitet i en undersökning är kvaliteten på de data som samlas in. För att säkerställa att frågorna fungerar så bra som möjligt och enligt intentionerna har därför alla blanketter genomgått ett mättekniskt test. Blanketten bestod av 17 numrerade frågor samt en ruta för ytterligare kommentarer. Flera av frågorna hade delfrågor vilket genererade totalt 98 frågor. Förutom de variabler som samlades in via frågeblanketten hämtades variablerna för personer: 3

4 - huvudman, skolkod, barnets årskurs/år och barnets gymnasieprogram/anknytningsprogram från Skolverkets elevregister - kön, ålder, postnummer, kommunkod, antal barn i ålder 7-19 boende i samma hushåll (från variabeln RTB-familj ), barnets kön och barnets ålder från RTB. Referensperiod för enkätfrågorna, se bifogad frågeblankett. Med referensperiod menas vilken tidpunkt svaren avser, t.ex. idag, förra veckan, senaste tre månaderna. Datainsamling I ett informationsbrev ombads föräldrarna att besvara frågorna, via internet eller på en bifogad pappersblankett, och skicka svaret till SCB. Utskicket av informationsbrev och enkät gjordes den 2 maj Sedan skickades 2 påminnelser till dem som inte besvarat enkäten. Ett tackoch påminnelsekort (ToP-kort) skickades den 11 maj. En andra påminnelse skickades den 25 maj. Insamlingen avslutades den 25 juni Tabell 2 Beskrivning av inflödet 1. Antal och andel Antal Andel Efter första utskick 611 (660) 23,5 (25,4) Efter ToP-kort 339 (384) 13,0 (14,7) Efter enkätpåminnelse 163 (189) 6,3 (7,3) Totalt (1 233) 42,8 (47,4) Bortfall (1 368) 57,2 (52,6) Urval ,0 I informationsbrevet kunde uppgiftslämnarna läsa om undersökningens bakgrund, syfte och att undersökningen genomfördes i samarbete mellan Skolverket och SCB. Informationsbrevet informerade också om att uppgifter hämtades från SCB:s register över totalbefolkningen samt från Skolverkets elevregister och att avidentifierade uppgifter levereras till Skolverket. Brevet informerade även om personuppgiftslagen samt offentlighets- och sekretesslagen och att det var frivilligt att medverka i undersökningen. För att SCB ska kunna lämna ut data från en enkätundersökning krävs informerat samtycke av uppgiftslämnarna. Det innebär att de genom att be- 1 Inom parantes visas inflödet inkl. 120 borttagna personer där fel person besvarat blanketten. 4

5 svara blanketten och skicka in den godkänner att deras svar kompletteras med de bakgrundsvariabler, och behandlas på det sätt, som beskrivs i informationsbrevet. Datainsamlingen genomfördes av enkätenheten vid SCB. De enkäter som kommit in via post registrerades med hjälp av skanning. Kontroller har genomförts bland annat för att säkerställa så att endast valida värden förekommer i materialet. Vid dubbelmarkeringar i enkäterna har rättningar gjorts enligt Skolverkets önskemål. I dubbelmarkeringar där en av markeringarna varit vet ej eller ej aktuellt har det andra svarsalternativet prioriterats före. Vid dubbelmarkeringar med två svar där inte något är vet ej eller ej aktuellt har ett svar av de två slumpats. SCB kan inte garantera att den utvalda personen själv besvarat frågeblanketten. Vid kontroller av att rätt person har besvarat frågorna har 120 fall hittats där personnumret inte stämmer överens med kön och födelseår som angetts i enkäten. Efter diskussion med Skolverket bestämdes det att två uppsättningar av resultat skulle tas fram från undersökningen; en där de 120 personerna är bortplockade och en där de ingår. I enkäter där man inte svarat på frågan om födelseår eller kön har antagits att rätt person fyllt i enkäten. Svarsdatafilen kompletterades med vikter för uppräkning till populationsnivå. Bortfall Bortfallet består dels av objektsbortfall, som innebär att frågeblanketten inte är besvarad alls, och dels av partiellt bortfall som innebär att vissa frågor i blanketten inte är besvarade. Om bortfallet skiljer sig från de svarande, med avseende på undersökningsvariablerna, så kan skattningarna som grundar sig på enbart de svarande vara skeva. För att reducera bortfallsskevheten har vikter beräknats med hjälp av kalibrering (se bilaga). Objektsbortfall kan bland annat bero på att uppgiftslämnaren inte är villig att delta i undersökningen, att uppgiftslämnaren inte går att nå eller att uppgiftslämnaren är förhindrad att medverka. Objektsbortfallet i denna undersökning redovisas i tabell 3 nedan. 5

6 Tabell 3 Beskrivning av objektsbortfall Antal Ej avhörda Postreturer 12 Avböjd medverkan 8 Förhindrad medverkan 1 Ej anträffad 7 Övertäckning 2 Fel person har svarat 120 Totalt Med Ej avhörda menas att ingen uppgift om varför frågeblanketten/intervjun inte är besvarad har lämnats. Med Avböjd medverkan menas att SCB meddelats att uppgiftslämnaren inte vill medverka i undersökningen. Förhindrad medverkan innehåller t.ex. språksvårigheter. Ej anträffad innehåller saknad adress i Registret över totalbefolkningen (RTB), eller hemlig adress. Övertäckningen består i denna undersökning av två personer. Se vidare under avsnittet om Ramtäckning. Partiellt bortfall kan bero på att en fråga är svår att förstå, är känslig eller att uppgiftslämnaren glömmer att besvara frågan. Det partiella bortfallet är lågt och varierar mellan 0,5 och 2 procent för samtliga frågor i enkäten. Viktberäkning och estimation För varje svarande person (kallas objekt i fortsättningen) har en vikt beräknats. Syftet med detta är att kunna redovisa resultat för hela populationen och inte bara för de svarande. Vikten kallas därför även för uppräkningstal. Vikterna har beräknats utifrån urvalsdesignen samt antaganden om objektsbortfall och täckningsfel. Beräkningen gjordes med hjälp av ett av SCB egenutvecklat SAS-makro (CLAN). Vikterna i denna undersökning kan beskrivas med formeln: wk = ak. gk Där wk = vikt/uppräkningstal för objekt k 6

7 ak gk = designvikt för objekt k, justerad för bortfall = kalibreringsvikt baserad på hjälpinformation Designvikten är den del av vikten som beror på urvalsdesignen. Vid bortfall kan det vara så att vissa grupper av urvalet svarar i större utsträckning än övriga, t.ex. kan kvinnor svara i högre grad än män. Om de grupper som svarat i högre grad har en annan fördelning på undersökningsvariablerna än övriga kan detta ha en snedvridande effekt på resultatet. För att kompensera för detta har kalibreringsvikter använts (se bilaga för mer detaljer). Vikterna bygger på antagandet att ramen återspeglar populationen väl och därmed att över- och undertäckningen är försumbar. För en mer utförligare beskrivning av kalibreringsestimatorn se Lundström och Särndal (2001): Estimation in the Presence of Nonresponse and Frame Imperfections, Statistics Sweden. Vikterna/uppräkningstalen multipliceras med objektens variabelvärden för att skapa statistikvärden gällande för populationen. Om vikterna inte används så kan resultaten bli helt missvisande. Vikterna kompenserar för objektsbortfallet men inte för det partiella bortfallet. För beräkning av skattningen av totaler används följande formel: Ŷ r w k y k där wk = vikt/uppräkningstal för objekt k yk = variabelvärde för objekt k summering sker av de svarande (r) Och för beräkning av skattningen av medelvärden används följande formel: Ŷ r w r k w y k k där wk = vikt/uppräkningstal för objekt k yk = variabelvärde för objekt k summering sker av de svarande (r). För de 120 objekt där SCB bedömt att fel person har svarat på enkäten har inga kalibrerade vikter beräknats. I det ordinarie viktförfarandet har dessa objekt räknats som bortfall och inte tilldelats något vikt alls. I det alterna- 7

8 tiva viktförfarandet har de tilldelats sin designvikt. Designvikten har inte korrigerats utifrån hjälpinformation. Statistikens tillförlitlighet Ramtäckning Täckningsfel, under- och övertäckning, innebär att urvalsram och population inte helt stämmer överens. Undertäckning innebär att vissa objekt som ingår i populationen saknas i urvalsramen. Övertäckning innebär att objekt som inte ingår i populationen ändå finns i urvalsramen. Ett sätt att minska täckningsfelen är att ha bra och uppdaterade register. Urval Denna kvalitetskomponent avser fel som uppkommer på grund av att endast ett urval av populationen undersöks. Urvalsfel är således den avvikelse mellan ett skattat värde och det faktiska värdet som beror på att man inte undersöker alla objekt i populationen. Urvalsfelets storlek minskar med en ökad urvalsstorlek. Mätning Ett fel som kan uppstå vid mätning är att lämnade uppgifter skiljer sig från faktiska uppgifter. Felet kallas mätfel och kan uppkomma då uppgiftslämnaren inte minns de faktiska uppgifterna, missförstår frågan eller medvetet svarar felaktigt. Bearbetning Vid den manuella och maskinella bearbetningen av datamaterialet kan bearbetningsfel uppstå. Exempel på bearbetningsfel är registreringsfel och kodningsfel. Dessa fel kan förhindras och upptäckas i de kontroller som genomförs vid dataregistreringen. I den här undersökningen bedöms registreringsfelet vara litet eftersom de flesta frågorna i frågeblanketten hade fasta svarsalternativ. Bortfall Bortfallsfel inträffar om objekten i bortfallet och de svarande skiljer sig åt avseende frågorna/variablerna i undersökningen. En beskrivning av bortfallet finns i den bortfallsanalys som gjorts i samband med valet av hjälpinformation till kalibreringen (se bilaga). 8

9 Beskrivning av tabeller och datafil Tabeller och diagram Tabellerna har räknats upp till populationsnivå, vilket innebär att resultatet avser hela populationen och inte endast de svarande. Uppgifterna är således skattningar av andel personer i populationen med den aktuella egenskapen. (Att antalet individer är olika för olika frågor beror på hoppinstruktioner då olika delpopulationer avses. Detta gäller för fråga 2 6 som bara besvaras av föräldrar med barn i grundskolan eller gymnasieskolan och fråga 7 som bara besvaras av de med barn i grundskolan). I tabellerna är värdena avrundade till närmaste heltal och värden under 0,5 är därmed avrundade till noll. Tabellerna har sekretessgranskats så att inga uppgifter för enskilda objekt röjs. Mycket osäkra skattningar, där konfidensintervallet är större än andelsskattningen, har också prickats. De tabeller som presenteras i denna rapport har tagits fram enligt de formler som presenterats i avsnitt Viktberäkning och estimation med hjälp av SPSS/SAS och variansprogrammet ETOS. Datafil Observera att de bifogade vikterna ska användas vid analys och resultatframställning. I ett stratifierat urval kan datamaterialet inte ses som ett urval av oberoende lika fördelade observationer, som ofta antas i traditionell statistisk teori. Det är därför viktigt att tänka på att de flesta förprogrammerade dataprogram inte klarar av att analysera datamaterialet ifrån en urvalsundersökning på ett korrekt sätt. Var noga med att kontrollera att de dataprogram som används för analys behandlar vikterna på ett riktigt sätt. Att ta fram frekvenser med beaktande av vikter klarar däremot de flesta statistikprogram. Granskningen av datafilen med enkätsvaren börjar med att gå igenom samtliga frågor i enkäten och vilka svar som finns registrerade. Här kontrolleras att om en fråga har fyra svarsalternativ ska det bara finns svaren 1, 2, 3 eller 4 samt 88 eller 0 för uppgift saknas. Antalet individer kan vara olika för olika frågor, vilket beror på hoppinstruktioner då olika delpopulationer avses. Detta gäller för fråga 2 6 som bara besvaras av föräldrar med barn i grundskolan eller gymnasieskolan. Totalt 13 personer har svarat att barnet varken går i grundskolan eller gymnasieskola och frågorna 2-6 har i dessa fall kodats med 0 = Ska ej svara. 9

10 På liknande vis ska fråga 7 enbart besvaras av de med barn i grundskolan och värdet 0 har angetts för de 309 personer som inte ska svara på frågan. Om det är partiellt bortfall (uppgift saknas) i en fråga har värdet 88 angetts. I fråga 16 där föräldern ska ange sitt födelseår har rimligheten i svaren kontrollerats. Vid dubbelmarkeringar i enkäterna har rättningar gjorts i samråd med Skolverket. I dubbelmarkeringar där en av markeringarna varit vet inte / ej aktuellt har det andra svarsalternativet prioriterats. Vid dubbelmarkeringar med två svar där inte något är vet inte / ej aktuellt har ett svar av de två slumpats. Hanteringen av dubbelmarkeringar framgår nedan: Fråga 1: - Kryss 3 och 4. Dessa har slumpats - Kryss 1 och 2. - Kryss 2 och 4. - Kryss 2 och 5. - Kryss 3 och 5. - Kryss 4 och 6. Dessa har kod 4 Fråga 2, 4, 8 och 11: - Kryss 1 till 5. Dessa har slumpats ut. - Kryss 1 till 5 och 6. Dessa har kod 1 till 5. Fråga 3: - Kryss 1 till 3. Dessa har slumpats ut. - Kryss 1 till 3 och 4. Dessa har kod 1 till 3. Fråga 9: - Kryss 1 till 4. Dessa har slumpats ut. - Kryss 1 till 4 och 5. Dessa har kod 1 till 4. Fråga 15: - Kryss 1 till 2. Dessa har slumpats ut. - Kryss 1 till 2 och 3. Dessa har kod 1 till 2. Statistiska mått Materialet lämpar sig bäst att redovisas som totaler eller procentuella andelar för hela målpopulationen eller fördelat på olika redovisningsgrupper. 10

11 Redovisningsgrupper Ofta redovisas statistik inte bara för hela populationen utan också för delgrupper (redovisningsgrupper). Redovisningsgrupper i den här undersökningen kan avgränsas med hjälp av registervariabler (skolans huvudman, barnets kön, förälderns högsta utbildning och förälderns födelseland) och bakgrundsfrågor i enkäten (skolform och förälderns kön). Jämförbarhet Jämförbarhet över tid Skolverket har genomfört sju attitydundersökningar till skolan sedan starten SCB har varit tidigare varit involverade i undersökningen av föräldrars attityder 2000 och Sekretess och utlämnande SCB har gjort en intern sekretessprövning för utlämnandet av data på mikronivå. Dessutom har information om sekretesskydd skickats till Skolverket med avseende på hur det avidentifierade datamaterialet får hanteras. Bilagor Frågeformulär_Föräldrar Informationsbrev_Föräldrar Påminnelse_Föräldrar Tack- och påminnelsekort_föräldrar Kalibreringsrapport 11