Regiongemensam elevenkät Bortfallsrapport

Transkript

1 Regiongemensam elevenkät 2016 Bortfallsrapport

2 Mölndal, april 2016 Kontaktperson Indikator: Karin Tidlund Kontaktperson GR: Jenny Sjöstrand

3 Inledning Om undersökningen Den regiongemensamma elevenkäten har genomförts sedan 2011 och innefattar i år samtliga GR:s medlemskommuner. Undersökningen omfattar alla kommuners grundskoleelever i årskurserna 2, 5 och 8 samt gymnasieelever i årskurs 2 och syftar till att ge ett underlag om hur elever uppfattar sin skola inom ett antal utvalda områden. Undersökningen har genomförts som en webbenkät. Skolorna, och en därför utsedd kontaktperson på skolan, har försetts med elevunika inloggningskoder, uppdelade klassvis. Frågorna har besvarats (i huvudsak) på lektionstid. Datainsamlingen påbörjades den 22 februari 2016 och avslutades den 26 mars Om bortfall En undersöknings bortfall är viktigt att studera därför att det är en indikation på resultatets representativitet, det vill säga i vilken utsträckning som vi kan anta att de som har besvarat enkäten tycker likadant som hela den grupp vi vill kunna uttala oss om. I elevenkäten är målpopulationen elever i grundskolans årskurs 2, 5, 8 och år 2 på gymnasiet som går i en skola i någon av GR-kommunerna. Några kommuner har utökat målpopulationen till att omfatta flera årskurser. En undersöknings bortfall uppstår i flera steg i anslutning till urvalsprocessen och datainsamlingen. I de första faserna är det viktigaste att skapa bra definitioner som fångar den grupp man vill undersöka och samtidigt designa en effektiv insamlingsmetod. Under datainsamlingen är fokus på att så många som möjligt av de som har fått möjlighet också ska besvara enkäten. Till sist finns också ofta internt bortfall i form av överhoppade frågor bland de ifyllda enkäterna. En undersöknings bortfall kan på så sätt sammanfattas i följande faser utifrån var det uppstår: - Fas 1: definiera målpopulationen - Fas 2: definiera urvalsramen - Fas 3: datainsamling - Fas 4: internt bortfall i resultatet

4 Bortfallets faser Fas 1 Definiera målpopulationen Ju tydligare avgränsningen av målpopulationen kan göras desto bättre för möjligheten att diskutera resultatets representativitet. Möjligheten att göra avgränsningar beror ofta på tillgången till förteckningar och listor över de som ingår i populationen. I Elevenkätens fall är målpopulationen mycket tydligt definierad, det är grundskoleelever i årskurs 2, 5, 8, gymnasieelever i år 2 samt i vissa kommuner elever i grund- och gymnasiesärskolan, som går i skolan i någon av GR-kommunerna. Dessa avgränsas tydligt med hjälp av kommunernas klassförteckningar. Fas 2 Bortfall från urvalsramen Bortfallet som uppstår i detta steg beror på hur väl urvalsramen kan motsvara den definierade målpopulationen. I teorin utgörs urvalsramen av kommunernas klassförteckningar, men eftersom inte alla klasser och skolor inkluderas av olika anledningar så utgörs urvalsramen istället av de klasser som fick möjlighet att besvara enkäten, det vill säga de som anmäldes till Indikator av kommunrepresentanterna innan undersökningens start. Bortfallet från urvalsramen är således skillnaden mellan kommunernas klassförteckningar och det som rapporterades till Indikator. Det består av: - Friskolor som inte fått möjlighet att delta. I bland annat Göteborg inkluderades inte friskolor när kontaktpersonerna rapporterade - Friskolor som tackat nej till att delta Indikator har begränsad kunskap om i vilken utsträckning klasser har exkluderats i de olika kommunerna. Det gör att bortfallet i denna fas är svår att uppskatta utan att hänvisa till kommunernas kontaktpersoner. Urvalsramen var också möjlig att korrigera efter datainsamlingens slut genom att kontaktpersonerna kunde meddela att vissa klasser inte fått möjlighet att delta. Detta gjordes i syfte att få en mer korrekt bild, och totalt minskade det urvalsramen med 22 klasser och antalet elever med 393. Det rörde framför allt: - Klasser som var otillgängliga under insamlingsperioden, exempelvis för praktik - Klasser som bedömdes inte ha möjlighet att svara till exempel för att eleverna är nyanlända, framför allt gäller detta flera av IM-klasserna Tabell 1. Urvalsram före och efter korrigering. Klasser Elever Urvalsram före datainsamling Korrigerad urvalsram Fas 3 Bortfall i datainsamlingen Här utgörs bortfallet dels av de klasser som (potentiellt) fick möjlighet att besvara enkäten men inte gjorde det, och dels de individer som fick möjligheten men inte gjorde det. Av totalt klasser registrerades svar i av dem, vilket motsvarar 95% och ett bortfall om 99 klasser. Indikator har ingen uppgift om varför dessa klasser inte deltagit. Eftersom enkäten besvarades i huvudsak i klassrummet är svarsfrekvensen på individnivå hög. Om en elev inte var närvarande vid undersökningstillfället hade hen möjlighet att besvara enkäten senare genom att en inbjudan med inloggningskod kunde tas med hem eller fyllas i vid annat tillfälle i skolan. Några klasser har inte haft något ifyllningstillfälle på lektionstid utan har delat ut inbjudningarna. Bortfallet på individnivå består

5 därför huvudsakligen av elever som var frånvarande vid ifyllningstillfället, exempelvis på grund av sjukdom eller ledighet. Högst svarsfrekvens bland kommunerna har Tjörn och Ale. Alla kommuner har lägre svarsfrekvens bland pojkar än flickor, vilket påverkar könsfördelningen negativt i det slutliga resultatet. Se tabell 2 för en sammanställning av rampopulationen och svarspopulationen. I årets enkät fanns möjligheten att ange ett tredje kön, Annat, för elever i årskurs 7 och uppåt. Totalt har 768 elever gjort det, varav högst andel finns i årskurs 8 och 9 (5%). Tabell 2. Rampopulation och svarspopulation per kommun. Rampopulation Svarspopulation Svarsfrekvens Antal TOT Antal pojkar* Antal TOT Antal exkl Annat Antal pojkar Andel TOT Andel pojkar** Ale % Alingsås % 87% Göteborg % 81% Härryda % 83% Kungsbacka % 78% Kungälv % 79% Lerum % 85% Lilla Edet % 80% Mölndal % 87% Partille % 86% Stenungsun % 87% d Tjörn % 93% Öckerö % GR totalt % * Ale och Öckerö har inte angett antal pojkar per klass ** Svarsfrekvensen för pojkar är beräknad på svarspopulationen exkl de som angett annat kön. Sett till svarsfrekvens finns några generella mönster. Ju yngre eleverna är desto högre är svarsfrekvensen rent generellt, vilket gör att den generellt är högre på grundskolan än på gymnasiet. Särskolan har lägre svarsfrekvens än övriga och allra lägst har IM-klasserna. En del av bortfallet i särskolan och IM kan antas ha att göra med svårigheter att fylla i enkäten och att skolan valt att inte delta för att bedömer svårigheterna för stora. Se tabell 3 för en sammanställning av svarsfrekvenser per årskurs.

6 Tabell 3. Rampopulation och svarspopulation per årskurs. Rampopulation Svarspopulation Svarsfrekvens ÅK % ÅK % ÅK % ÅK % ÅK % ÅK % ÅK % ÅK % ÅK % Grundsär % Gy % Gy % Gy % Gysär år % IM % GR totalt % Fas 4 Internt bortfall Även bland de som har besvarat enkäten kan det finnas bortfall, om eleven av någon anledning inte har besvarat enskilda frågor. Webbenkäten var utformad så att det inte gick att gå vidare till nästa fråga om alla frågor på den aktuella sidan inte var besvarade. Om en elev avbröt enkäten innan den lämnades in har deras svar generellt inte inkluderats i resultatet. Totalt var det 240 elever som inte skickade in sina påbörjade enkäter, och som inte räknats med. Det var flest i gymnasiesär-klasser (2,1%) och årskurs 4 (1,7%) som inte lämnade in sina enkäter. Sett till undersökningen som helhet var det 0,6%. Ett undantag är elever som har besvarat alla frågor fram till bakgrundsfrågan om kön. Eftersom dessa elever har tagit ställning till alla påståenden har deras svar ändå inkluderats. Det var 61 enkäter som saknade svar på bakgrundsfrågan om kön, samt 117 som inte svarade på de kommunspecifika frågorna - men hade alla värderingsfrågor ifyllda, och det är således det enda interna bortfallet.

7 Bortfallets effekter Hur representativa är de elever som har besvarat undersökningen för målpopulationen som helhet? I den här undersökningen är bortfallet i fas 2 och 3 mest relevant eftersom det i de två andra faserna är väldigt litet. Sammantaget kan följande noteringar om bortfallet göras: - Att ett antal friskolor inte deltar kan antas påverka resultatet. Sett till de friskolor som deltar så finns det skillnader i jämförelse med hur elever i offentliga skolor svarar. - Det kan finnas fler systematiska likheter mellan de skolor som inte ingår i urvalsramen. Exempelvis så varierar täckningsgraden av klasser och skolor mellan kommuner. Eftersom det finns skillnader i hur elever i olika kommuner värderar sina skolor som kan detta påverka resultaten. - Svarsfrekvensen är generellt mycket hög, både på klassnivå och elevnivå. Men bland pojkar är den lägre än bland flickor, vilket gör att representativiteten för pojkar i materialet är något sämre än för flickor. - Svarsfrekvensen bland särskolans elever är betydligt lägre än övriga. Det gör att möjligheten att dra slutsatser om gruppen som helhet minskar. Den sammantagna representativiteten på årskurs-, kommun- och GR-nivå bedöms generellt som mycket god, till stor del på grund av den höga svarsfrekvensen och den väl avgränsade målgruppen.