Tekniska rapporter Attityder till vuxenutbildningen 2012

Transkript

1 Tekniska rapporter Attityder till vuxenutbildningen 2012 I denna PDF finns tekniska rapporter från Statistiska Centralbyrån (SCB) som beskriver genomförande och metoder för de olika undersökningar som ingår i Attityder till vuxenutbildningen I de tekniska rapporterna finns även information om viktberäkning och resultatens tillförlitlighet.

2 Teknisk Rapport En beskrivning av genomförande och metoder Attityder till vuxenutbildning- elever i utbildning i svenska för invandrare

3 Inledning Enheten för utbildning och arbete vid Statistiska centralbyrån (SCB) genomförde under hösten 2012, på uppdrag av Skolverket, en enkätundersökning om attityder till vuxenutbildning. Syftet med undersökningen var att komplettera Skolverkets nationella uppföljning och utvärdering av den svenska skolan genom att ge en nationell bild av olika gruppers attityder till skolan. Skolverkets undersökning Attityder till skolan har genomförts vart tredje år sedan 1993 och undersökningen har då riktat sig till elever och lärare i grund- och gymnasieskolan samt tidigare även till skolbarnsföräldrar och allmänhet. Det har vid flera tillfällen framförts önskemål att utvidga Attityder till skolan till att omfatta även vuxenutbildningen. Skolverket genomförde under 2011 en studie för att utreda förutsättningarna för en utvidgning, vilket ledde till de undersökningar som ingår här. Attityder till vuxenutbildning bestod av fyra olika delar som riktade sig till lärare inom kommunal vuxenbildning och utbildning i svenska för invandrare, elever i grundläggande vuxenutbildning, elever i gymnasial vuxenutbildning samt elever i utbildning i svenska för invandrare. Populationen för delen avseende svenska för invandrare, avsåg täcka sfielever. Urvalsramen bestod av skolenheter i SCB:s skolregister, från vilket de även hämtades. Urvalet skedde sedan i två steg. I det första steget valdes ett antal skolenheter från skolregistret slumpmässigt ut. Efter kontakt med skolenheterna valdes sedan det antal grupper/klasser ut som behövdes för att nå urvalsstorleken, vilka sedan totalundersöktes. I urvalet ingick sammanlagt elever från 80 skolenheter/anordnare och 306 grupper. Av dessa var det sedan 231 grupper från totalt 60 skolenheter som medverkade, med totalt personer, vilket var ca 53 procent av det antal kursdeltagare som först hade samlats in från skolenheterna. Undersökningsledare på SCB var Mikael Schöllin. Michael Franzén samt Johan Löfgren var metodstatistiker och de som arbetade med undersökningen på enheten för utbildning och arbete var Anna Andersson och Mattias Fritz. Namnet på Skolverkets kontaktperson gentemot SCB var Ola Höckert. Resultatet i form av avidentifierade datafiler, tabeller och öppna svar levererades vecka 7, två veckor senare än uppskattad leveranstidpunkt i offert. 2

4 Omfattning Population och urval Populationen, d.v.s. de objekt som man vill kunna dra slutsatser om, utgörs här av elever inom utbildning i svenska för invandrare. För att kunna dra ett urval från populationen skapas en urvalsram som avgränsar, identifierar och möjliggör koppling till objekten i populationen. Urvalsramen här skapas med hjälp av data från skolregistret version maj 2012, samt registret över Sfi: elever, kursdeltagare och utbildningsresultat avseende andra halvåret Alla aktiva anordnare/skolenheter hämtas ifrån skolregistret avseende sfi (347 st), version maj Uppgifter om antal personer som deltagit i SFI under andra halvåret 2011 matchas på för varje skolenhet. För 44 av enheterna saknas uppgifter om antal personer som deltagit. Från urvalsramen plockas de 20 största anordnarna med avseende på antal deltagare ut. Dessa delas sedan upp på region: Tabell 1 De 20 största skolenheterna avseende utbildning i svenska för invandrare fördelade på region Region Beskrivning Antal av de 20 största skolenheterna m.a.p. sfi 1 Storstäder 9 2 Förortskommuner till storstäder 3 3 Större städer 8 4 Övriga kommuner 0 Grupperna ovan definierar egna strata. Resterande anordnare stratifieras efter region och storlek (antal personer som deltagit i SFI). Stratumgränser skapas med cum- f metoden. De största anordnarna (stratum 1,4,7,10) totalundersöks. Resterande del av urvalet allokeras med x-optimal allokering där antal deltagare i SFI används som x-variabel. Totalt dras 80 anordnare. Inom varje strata dras sedan urvalet med Pareto πps. Antal deltagare i SFI har använts som storleksmått. För de anordnare där uppgifter om deltagare saknas har ett storleksmått imputerats (medianen av antal deltagare per region). 3

5 Steg 2 i urvalsdragningen för elever inom sfi innebär sedan att det utifrån insamlade uppgifter om SFI-grupper dras ett urval av grupper från varje anordnare. Tabellen nedan visar hur många anordnare som lämnade in uppgifter om grupper. Tabell 2 Urvalsram och urval fördelat på stratum Stratum Region Storleksklass Antal i ramen Urval Antal svar största antal deltagare största antal deltagare största antal deltagare största antal deltagare Totalt Urvalet av grupper från anordnarna allokerades så att ungefär en fjärdedel av grupperna valdes ut. Urvalen drogs med OSU inom varje anordnare. Ett obundet slumpmässigt urval innebär att alla objekt har samma sannolikhet att komma med i urvalet. Urvalsstorleken bestämdes i samråd mellan SCB och Skolverket. Urvalet resulterade i att 306 grupper drogs. Enligt inlämnade uppgifter finns elever i dessa grupper. Eftersom personnummer inte samlades in från skolenheterna kan det ej avgöras i hur stor omfattning dubbletter förekommer, d.v.s. att en kursdeltagare förekommer på flera kurser. Att det förekommer blev dock klart vid ett par kontakter med skolenheter, men det bör ej förekomma i samma utsträckning som inom komvux, utan bör här handla om enstaka fall. 4

6 Frågor/Variabler Skolverket utformade frågorna i frågeblanketterna i samarbete med SCB. Därefter genomfördes snabbgranskningar av mätteknisk expertis i syfte att minska risken för mätfel. Grundläggande för bra kvalitet i en undersökning är kvaliteten på de data som samlas in. För att säkerställa att frågorna fungerar så bra som möjligt och enligt intentionerna har därför alla blanketter genomgått ett mättekniskt test. Blanketten till eleverna inom sfi bestod av 25 numrerade frågor, flera av dem hade delfrågor vilket genererade totalt 44 antal frågor. Förutom attitydfrågor ingick även frågor om IT, där syftet är att följa upp elevers itanvändning och it-kompetens. För eleverna inom utbildning i svenska för invandrare kan inga registervariabler kopplas till individen, men variabeln Typ av anordnare har lagts på, vilken då avser vilken typ av anordnare som gruppen finns hos. Variabeln har härletts från skolregistret, samt från raminsamlingen från skolorna, liksom vid behov inhämtats från ytterligare kontakt med skolor. För de skolenheter som i skolregistret version maj 2012 är kodade med Sfityp som ej är kommunal, har anordnaren förutsatts varit annan än kommunen och variabeln avseende typ av anordnare, UtbAnord, har satts till 2=Annan. För de som i skolregistret har Sfi-typ som är kommun, men som vid den första insamlingen av kursdeltagaruppgifter angav en annan anordnare som skulle ha enkätpaketet och där denna anordnaren utifrån namn säkert kunde sägas vara annan än kommunal, har också typ av anordnare satts till 2. De grupper på dessa skolenheter som tydligt tillhört den kommunala enheten har då fått 1=Kommunal. I de fall där det rått oklarheter om en grupp finns hos den kommunala skolenheten, har skolenheten återkontaktats och fått en fråga avseende vilken anordnartyp som gäller och kodats enligt detta. Enkätsvaren kompletteras med en kortare enkät som läraren svarat på i samband med att eleverna fyllde i enkäterna. Referensperiod för enkätfrågor, se bifogade frågeblanketter, är hösten Med referensperiod menas vilken tidpunkt svaren avser, t.ex. idag, förra veckan, senaste tre månaderna. Datainsamling Den 21 september skickades ett informationsbrev ut till de utvalda skolenheterna, vilka uppmanades att på medföljande blankett eller via telefon eller mail lämna uppgift om deras aktuella grupper och då gruppernas namn, lärarnas namn, antalet elever samt i de fall som en grupp fanns på annan adress än skolenheten, även adress till gruppen. Sista insändnings- 5

7 dag var den 2 oktober och påminnelser via mail och telefon gjordes till de som vid detta datum ej inkommit med de efterfrågade uppgifterna. Frågeblanketterna skickades sedan ut i paket med post till varje grupp i urvalet, adresserat till den lärare vars namn samlats in från skolorna. Det första utskicket genomfördes den 16 oktober I ett informationsbrev som följde med enkätpaketet ombads läraren för gruppen ombesörja att eleverna svarade på enkäterna och se till att enkäterna skickades tillbaka till SCB. I brevet medföljde även en kortare enkät som läraren skulle svara på i samband med att eleverna fyllde i enkäterna, vilken handlade om antalet elever i gruppen och hur många som besvarat enkäten. Paketen innehöll enkäter till det antal elever som enligt tidigare insamling skulle finnas i gruppen, samt ytterligare minst 20 procent av detta antal, utifall uppgiften om antalet elever var felaktig eller hade hunnit förändras. Enkäten fanns även översatt till arabiska, persiska, thailändska, polska, somaliska samt engelska. Ett antal enkäter av respektive språk skickades med och antalen var baserade på andelen sfi- elever med respektive modersmål i hela riket under kalenderåret Siffrorna hämtades från den officiella statistiken över kursdeltagare i sfi som finns publicerad på Skolverkets webbplats. Antalen av översatta enkäter som andelarna gav upphov till avrundades uppåt. I informationsbrevet till läraren uppgavs också att om gruppen önskade fler enkäter av något språk skulle de kontakta SCB via telefon eller mail. Totalt skickades följande antal enkäter ut efter beställningar från uppgiftslämnare. Tabell 3 Beställningar av enkäter Språk Antal Engelska 155 Arabiska 138 Somaliska 102 Polska 32 Persiska 29 Thailändska 12 Svenska 34 Totalt 502 Utöver detta förekom att de översatta enkäter som skickats ut i paketet kopierades, vilket resulterade i att de löpnummer som tilldelats enkäterna kunde förekomma flera gånger. Detta har då ej tolkats som dubbletter, utan just som kopierade enkäter och således som svar från skilda individer. 6

8 En första påminnelse skickades den 12 november till de grupper som då ej hunnit registreras som inkomna och som heller ej meddelat att de ej kunde medverka. En andra påminnelse skickades ut den 23 november. Insamlingen avslutades den 17 december Det allra första informationsbrevet som skickades till skolan, vilket var adresserat till rektor eller motsvarande, innehöll information om undersökningens bakgrund, syfte och att undersökningen genomfördes i samarbete mellan Skolverket och SCB. Även missivet till gruppen, som var adresserat till läraren, innehöll information om detta och ett önskemål om att informationen skulle delges eleverna. Det missiv som följde med enkäten och var riktat till eleverna informerade även det kort om undersökningen och dess syfte. Brevet informerade också om att det var frivilligt att medverka i undersökningen. För att SCB ska kunna lämna ut data från en enkätundersökning krävs informerat samtycke av uppgiftslämnarna. Det innebär att de genom att besvara blanketten och skicka in den godkänner att deras svar behandlas på det sätt, som beskrivs i informationsbrevet. Den första datainsamlingen av kursdeltagaruppgifter från skolorna genomfördes av enheten för utbildning och arbete vid SCB och via papper, mail eller telefon. Datainsamlingen från de utvalda grupperna genomfördes sedan av enkätenheten vid SCB och då via skanning av de frågeblanketter som kommit in via post. Kontroller har genomförts bland annat för att säkerställa så att endast valida värden förekommer i materialet. Svarsdatafilen kompletterades med vikter för uppräkning till populationsnivå. Bortfall Bortfallet består dels av objektsbortfall, som innebär att frågeblanketten inte är besvarad alls, och dels av partiellt bortfall, som innebär att vissa frågor i blanketten inte är besvarade. Om bortfallet skiljer sig från de svarande, med avseende på undersökningsvariablerna, kan skattningarna som grundar sig på enbart de svarande vara skeva. För att reducera bortfallsskevheten har vikter beräknats med hjälp av kalibrering (se bilaga Kalibreringsrapport_Sfi.pdf). Objektsbortfall kan bland annat bero på att uppgiftslämnaren inte är villig att delta i undersökningen, att uppgiftslämnaren inte går att nå eller att uppgiftslämnaren är förhindrad att medverka. I denna undersökning kan bortfall både förekomma på individnivå, att en enskild elev ej ville medverka eller ej var närvarande när hans/hennes 7

9 grupp utförde enkäten, samt på gruppnivå, att gruppen aldrig fick chansen att besvara enkäten, p.g.a. skolans eller gruppens lärares val. Enbart utifrån uppgiften om antalet elever från den första insamlingen från skolorna var det ca 47 procent som ej besvarade enkäten. Av de 231 grupperna var det ca 25 procent som ej medverkade. Även bland skolenheterna var det ca 25 procent som inte medverkade med någon grupp. Ett antal av dessa meddelade oss dock att kursen hade upphört eller att gruppen ej kunde skriva enkäten, då eleverna var nyanlända och/eller analfabeter. Mer information om bortfallet finns i kalibreringsrapporten. Partiellt bortfall kan bero på att en fråga är svår att förstå, är känslig, att uppgiftslämnaren glömmer att besvara frågan eller att instruktionerna vid hoppfrågor misstolkas. Det partiella bortfallet varierar här mycket mellan frågorna, men ligger för de flesta frågorna mellan 2-11 procent. Det högsta partiella bortfallet, 20,8 procent, finns i fråga 5d. Detta överensstämmer med vilken fråga som hade störst partiellt bortfall i delen avseende elever inom grundläggande vuxenutbildning och som angavs där, kan det höga partella bortfallet komma av att uppgiftslämnaren ansåg att han/hon redan lämnat de aktuella orsakerna i 5a-5c, att han/hon ej förstod frågan eller att raderna för 5c och 5d låg så tätt att han/hon kryssade båda svaren på samma rad. Att raderna ibland upplevdes ligga tätt var något en lärare meddelade varit ett problem i gruppen. En lärare skriver också i minienkäten att en elev tyckte just denna fråga var svår att besvara, troligtvis på grund av de många valmöjligheterna. Viktberäkning och estimation För varje svarande person (kallas objekt i fortsättningen) har en vikt beräknats. Syftet med detta är att kunna redovisa resultat för hela populationen och inte bara för de svarande. Vikten kallas därför även för uppräkningstal. Vikterna har beräknats utifrån urvalsdesignen samt antaganden om objektsbortfall och täckningsfel. Beräkningen gjordes med hjälp av ett av SCB egenutvecklat SAS-makro (ETOS). Vikterna i denna undersökning kan beskrivas med formeln: wk = ak. gk Där wk = vikt/uppräkningstal för objekt k ak gk = designvikt för objekt k, justerad för bortfall inom strata = kalibreringsvikt baserad på hjälpinformation Designvikten är den del av vikten som beror på urvalsdesignen. Vid bortfall kan det vara så att vissa grupper av urvalet svarar i större utsträckning 8

10 än övriga, t.ex. kan kvinnor svara i högre grad än män. Om de grupper som svarat i högre grad har en annan fördelning på undersökningsvariablerna än övriga kan detta ha en snedvridande effekt på resultatet. För att kompensera för detta har kalibreringsvikter använts (se bilaga för mer detaljer). Vikterna bygger på antagandet att ramen återspeglar populationen väl och därmed att över- och undertäckningen är försumbar. För en mer utförligare beskrivning av kalibreringsestimatorn se Lundström och Särndal (2001): Estimation in the Presence of Nonresponse and Frame Imperfections, Statistics Sweden. Vikterna/uppräkningstalen multipliceras med objektens variabelvärden för att skapa statistikvärden gällande för populationen. Om vikterna inte används så kan resultaten bli helt missvisande. Vikterna kompenserar för objektsbortfallet men inte för det partiella bortfallet. För beräkning av skattningen av totaler används följande formel: Ŷ r w k y k där wk = vikt/uppräkningstal för objekt k yk = variabelvärde för objekt k summering sker av de svarande (r) Och för beräkning av skattningen av medelvärden används följande formel: Ŷ r w r k w y k k där wk = vikt/uppräkningstal för objekt k yk = variabelvärde för objekt k summering sker av de svarande (r). Statistikens tillförlitlighet Ramtäckning Täckningsfel, under- och övertäckning, innebär att urvalsram och population inte helt stämmer överens. Undertäckning innebär att vissa objekt som ingår i populationen saknas i urvalsramen. Övertäckning innebär att objekt som inte ingår i populationen ändå finns i urvalsramen. Ett sätt att minska täckningsfelen är att ha bra och uppdaterade register. 9

11 Urvalet av skolor gjordes utifrån Skolregistret version maj 2012, samt dessa skolors rapporterade kursdeltagaruppgifter för andra halvåret Från dessa skolor samlades sedan uppgifter in om grupper och antalet individer i respektive grupp. Vad gäller undertäckning på skolnivå bedöms skolregistret vara av hög kvalitet, men undertäckning kan komma av att nytillkomna skolor efter maj 2012 ej fanns med när urvalet togs fram. Undertäckning på gruppnivå kan uppstå om nya grupper uppstod efter att insamlingen av aktuella grupper gjorts från skolorna eller om alla grupper ej rapporterades av skolorna. Vissa skolor valde exempelvis att inte rapportera de grupper där de flesta eller alla av eleverna skulle ha svårt att utföra enkäten, medan andra skolor rapporterade alla sina grupper, oavsett om dessa grupper sedan skulle kunna skriva enkäten eller inte. Undertäckning kan förekomma på individnivå om elever var frånvarande den dag som gruppen fick skriva enkäten, vilket här kan komma av att de veckor som valdes för utförandet av enkäten omfattade höstlovet, något som flera lärare meddelat varit ett problem. Undertäckning kan också uppstå om någon elev ej kunde besvara enkäten p.g.a. språksvårigheter. Om eleven kunde läsa och skriva på sitt modersmål var en möjlighet då att eleven skrev enkäten på något av de sex översatta språken, vilka var de sex vanligaste språken bland sfi-kursdeltagare kalenderåret Sammanlagt ca 150 modersmål finns dock med i registret över kursdeltagare den perioden, så alla hade inte den möjligheten. I de fall som skolorna kontaktade oss ang. detta bad vi att eleven, om möjligt, då ändå skulle besvara den sista frågan, som var en öppen fråga, där eleven kunde skriva fritt på sitt modersmål. Övertäckning på skolnivå kan exempelvis uppstå om skolor fanns med i urvalet av skolor, men sedan inte hade några elever den avsedda perioden. Övertäckning kan också uppstå om flera grupper hade lektion i ett och samma klassrum och om alla elever då fick skriva enkäten, även om endast en grupp fanns i urvalet. För eleverna inom sfi förekom det exempelvis att undervisningsgrupper var blandade mellan sfi och svenska för andraspråk inom komvux, vilket kan innebära att det förekom att elever inom komvux även fanns i klassrummet när enkäterna för sfi skrevs. I ett fall hade en elev ej besvarat frågan om sfi-kurs, utan istället skrivit på enkäten att han/hon läste svenska som andraspråk. Den enkäten undantogs således, men kanske kan det bland de 1,2 procent som finns kvar och som ej besvarat fråga 4, dölja sig elever som lämnat denna fråga helt blank då de ej läser sfi. I vissa av de fall där frågan är obesvarad har dock eleven skrivit på enkäten att de läser en introduktionskurs, vilket inte fanns med som ett av kursalternativen i enkäten, men som ändå är inom sfi. 10

12 Flera lärare kontaktade oss också och uppgav att de grupper vi hade fått in i den första kursdeltagarinsamlingen ej var deras egentliga undervisningsgrupper. Istället hade det som skickats in från skolorna varit kurser och det var inte självklart att alla i en kurs fanns i samma klassrum eller kanske framför allt, att inte också andra kurser gjorde det. På så vis kan det förkomma att vi fått in enkäter där eleven som besvarat den inte tillhör det antal som vi vid insamlingen från skolorna fick in uppgift om skulle finnas på en viss kurs, utan att han/hon egentligen fanns i någon av de kurser som fanns med i kursdeltagarinsamlingen, men som inte kom med i urvalet. Urval Denna kvalitetskomponent avser fel som uppkommer på grund av att endast ett urval av populationen undersöks. Urvalsfel är således den avvikelse mellan ett skattat värde och det faktiska värdet som beror på att man inte undersöker alla objekt i populationen. Urvalsfelets storlek minskar med en ökad urvalsstorlek. Mätning Ett fel som kan uppstå vid mätning är att lämnade uppgifter skiljer sig från faktiska uppgifter. Felet kallas mätfel och kan uppkomma då uppgiftslämnaren inte minns de faktiska uppgifterna, missförstår frågan eller medvetet svarar felaktigt. I den här undersökningen finns exempelvis en risk att elever missförstår en fråga på grund av språksvårigheter. I svaren från lärarenkäten går det också att se att så kunde förekomma och en del lärare uttrycker där viss oro för svarens kvalitet. Fråga 23, där uppgiftslämnaren uppmanas kryssa i de frågor han/hon ej förstått, kan vara ett hjälpmedel för att kunna urskilja vissa sådana fall. Fråga 12 är där den fråga som resulterat i flest kryss om att uppgiftslämnaren ej förstod frågan och precis som för elever inom grundläggande vuxenutbildning är detta frågan som innehåller orden takt och tempo, som också tagits upp som svåra att förstå i de öppna svaren från lärarenkäten. Uppgifterna från lärarenkäten kan utöver svaren från fråga 23 således vara en hjälp att hitta de frågor som varit svåra för eleverna att förstå. Fråga 3 om utbildningsbakgrund tas där upp som ett exempel på en sådan fråga. En elev som saknade utbildning förstod exempelvis inte att detta avsågs med alternativ 1=0-3 år. På några av enkäterna gick det även att se att vissa elever skrivit ingen eller liknande bredvid fråga 3 och dessa har kodats som att de besvarat frågan med alternativ 1, men det kan finnas fler bland de 1,6 procent som inte besvarat frågan, som ej gjort det av den orsaken. 11

13 Det kan också uppkomma mätfel om uppgiftslämnaren läser flera olika kurser eller om han/hon har flera olika lärare och ej är säker på vilken kurs/lärare han/hon ska besvara enkäten för. I de öppna svaren från lärarenkäterna kan vi se att denna sistnämnda osäkerhet förekom. Slutligen är tanken att en elev endast ska ingå en enda gång, även om han/hon finns i flera av de utvalda grupperna. Detta bör ej vara lika vanligt förekommande i sfi som inom komvux, men kan förekomma och är inget vi kan kontrollera för. Bearbetning Vid den manuella och maskinella bearbetningen av datamaterialet kan bearbetningsfel uppstå. Exempel på bearbetningsfel är registreringsfel och kodningsfel. Dessa fel kan förhindras och upptäckas i de kontroller som genomförs vid dataregistreringen. I den här undersökningen bedöms registreringsfelet vara litet eftersom frågeblanketten endast hade fasta svarsalternativ. Dubbelmarkeringar har granskats manuellt. Bortfall Bortfallsfel inträffar om objekten i bortfallet och de svarande skiljer sig åt avseende frågorna/variablerna i undersökningen. En beskrivning av bortfallet finns i den bortfallsanalys som gjorts i samband med valet av hjälpinformation till kalibreringen (se bilaga Kalibreringsrapport_Sfi.pdf). Beskrivning av tabeller och datafil Tabeller Tabellerna har räknats upp till populationsnivå, vilket innebär att resultatet avser hela populationen och inte endast de svarande. Antalsuppgifterna är således skattningar av antal personer i populationen med den aktuella egenskapen. Att antalet individer är olika för olika frågor beror på att vissa redovisningsvariabler grundas på enkätsvar där partiellt bortfall förekommer samt att inte alla svarsalternativ alltid redovisas i tabellerna. I andelstabellerna är värdena avrundade till närmaste heltal och värden under 0,5 är därmed avrundade till noll. Tabellerna har sekretessgranskats så att inga uppgifter för enskilda objekt röjs. Mycket osäkra skattningar, där konfidensintervallet är större än andelsskattningen, har också prickats. Det levererades två tabellpaket. Orginaltabellpaketet är framställt med hjälp av orginaldata från orginaldatafilen. Det andra är justerat så att Uppgift saknas och svarskategorier som Ej aktuellt, Finns inte och Använder inte dator till detta inte är medtagna i tabellerna och inte heller i beräkningsunderlaget. 12

14 De tabeller som presenteras i denna rapport har tagits fram enligt de formler som presenterats i avsnitt Viktberäkning och estimation med hjälp av SPSS/SAS och variansprogrammet ETOS. Datafil Observera att de bifogade vikterna ska användas vid analys och resultatframställning. I ett stratifierat urval kan datamaterialet inte ses som ett urval av oberoende lika fördelade observationer, som ofta antas i traditionell statistisk teori. Det är därför viktigt att tänka på att de flesta förprogrammerade dataprogram inte klarar av att analysera datamaterialet ifrån en urvalsundersökning på ett korrekt sätt. Var noga med att kontrollera att de dataprogram som används för analys behandlar vikterna på ett riktigt sätt. Att ta fram frekvenser med beaktande av vikter klarar däremot de flesta statistikprogram. Om det är partiellt bortfall (uppgift saknas) i en fråga har värdet 88 angetts i orginaldatafilen. I den justerade datafilen har partiellt bortfall (uppgift saknas) och svarskategorierna Ej aktuellt, Finns inte och Använder inte dator till detta värdet 0 så att de inte ingått i den justerade tabellframställningen. Kod 0 = Ska ej ingå i tabeller Kod 88 = Uppgift saknas, redovisas i orginaltabeller, men har för alla frågor, förutom de öppna frågorna, kod 0 i den justerade datafilen och räknas ej med i justerade tabeller. De öppna svaren i fråga 5e samt 24 levereras i separata wordfiler. Även de öppna svar från den enkät som läraren för gruppen ombads fylla i levereras i en sådan wordfil. Då kopiering av enkäter förekom i grupperna finns det i datafilerna två olika objektslöpnummer. En av dessa variabler avser det löpnummer som stod på enkäten och där det således förekommer dubbletter och den andra variabeln är löpnummer per rad och där förekommer således ej dubbletter. Variabeln Gruppnr i datafilerna avser löpnumret för den grupp som individen tillhör. I de fall som gruppnumret är 995 eller 996 är det dock fråga om översatta enkäter som beställts i efterhand och som ej har kunnat kopplas till en grupp, enbart till en skolenhet. Om flera objekt har 995 eller 996 kom de in tillsammans och kan antas tillhöra samma grupp, men det kan finnas andra i samma grupp som skrivit enkäter med förtrryckta gruppuppgifter och som då i datafilerna tilldelats ett annat gruppnummer. Variabeln gruppnr finns även med i den datafil som innehåller svar från enkäten till lärarna och möjliggör en koppling mellan lärarnas enkätsvar och elevernas, i de fall som elevernas gruppnr ej är 995 eller 996. I datafilen med lärarnas enkätsvar har kod 8888 använts vid fall av partiellt bortfall. 13

15 Statistiska mått Materialet lämpar sig bäst att redovisas som totaler eller procentuella andelar för hela målpopulationen eller fördelat på olika redovisningsgrupper. Redovisningsgrupper Ofta redovisas statistik inte bara för hela populationen utan också för delgrupper (redovisningsgrupper). Redovisningsgrupper i den här undersökningen kan avgränsas med hjälp av registervariabler eller bakgrundsfrågor i enkäten. Jämförbarhet och användbarhet Jämförbarhet över tid Detta är första gången som SCB genomför Attitydundersökningen i vuxenutbildningen. Användning tillsammans med annan statistik Skolverkets undersökning Attityder till skolan har genomförts vart tredje år sedan 1993 och undersökningen har då riktat sig till elever och lärare i grund- och gymnasieskolan samt tidigare även till skolbarnsföräldrar och allmänhet. Sekretess och utlämnande SCB har gjort en intern sekretessprövning för utlämnandet av data på mikronivå. Skolverket ansvarar för hanteringen av det avidentifierade datamaterialet inom ramen för sin avgränsade statistikverksamhet. Övrigt För att kunna läsa tabellerna måste (oftast) inställningar i Excel ändras. 1. Excel 2003 För att tabellerna skall fungera måste säkerhetsnivån vara medel. Detta kontrolleras genom att gå in under "Verktyg - Makro - Säkerhet - Säkerhetsnivåfliken" När Excel-filen öppnas skall även makrot aktiveras. Vissa funktioner stöds inte av äldre versioner av Excel. Knappar Pdf och Pdf Alla fungerar inte i Excel Excel 2007 Välj Excel-alternativ Säkerhetscenter Inställningar för säkerhetscenter Makroinställningar. Markera rutorna Aktivera alla makron och Åtkomst till objektmodell för VBA-projekt betrodd. 14

16 Bilagor Datafil original (Kundfil_Att_Sfi_ORGINAL_ sav) Datafil justerad (Kundfil_Att_Sfix_omkodad_ sav) Datafil med uppgifter från frågeblanketten till gruppens lärare (Kundfil_Att_Sfi_minienkat_larare_ sav) Informationsbrev till skolan avseende insamlingen av kursdeltagare (Missiv_skola_Attityd vuxen 2012_Sfi.pdf) Blankett till skolan avseende insamlingen av kursdeltagare (BlankettGrupper_skola_Attityd vuxen 2012_Sfi.pdf) Frågeblankett och informationsbrev till kursens lärare (Minienkat_larare_Attityd vuxen 2012_Sfi.pdf) Frågeblankett och informationsbrev på svenska (Enkat_hela_64402 Attityd vuxen 2012_Sfi_Svenska.pdf) Frågeblankett och informationsbrev på engelska (Enkat_hela_64402 Attityd vuxen 2012_Sfi_Engelska.pdf) Frågeblankett och informationsbrev på arabiska (Enkat_hela_64402 Attityd vuxen 2012_Sfi_Arabiska.pdf) Frågeblankett och informationsbrev på persiska (Enkat_hela_64402 Attityd vuxen 2012_Sfi_Persiska.pdf) Frågeblankett och informationsbrev på polska (Enkat_hela_64402 Attityd vuxen 2012_Sfi_Polska.pdf) Frågeblankett och informationsbrev på thailändska (Enkat_hela_64402 Attityd vuxen 2012_Sfi_Thailändska.pdf) Frågeblankett och informationsbrev på somaliska (Enkat_hela_64402 Attityd vuxen 2012_Sfi_Somaliska.pdf) Kalibreringsrapport (Kalibreringsrapport_Sfi.pdf) Tabeller orginal (Tabeller_Attityder_Sfi_orginal_ xls) Tabeller justerade (Tabeller_Attityder_Sfi_omkodad_ xls) Öppna svar (AttSFI_F5.docx, AttSFI_Arab_F5.docx, AttSFI_Eng_F5.docx, AttSFI_Per_F5.docx, AttSFI_Pol_F5.docx, AttSFI_Som_F5.docx, AttS- FI_Thai_F5.docx, AttSFI_F25.docx, AttSFI_Arab_F25.docx, AttS- FI_Eng_F25.docx, AttSFI_Per_F25.docx, AttSFI_Pol_F25.docx, AttS- FI_Som_F25.docx, AttSFI_Thai_F25.docx, AttSFI_minienkat_larare.docx) Hantering av dubbelmarkeringar (Dubbelmarkeringar_AttSfi_ xlsx) 15

17 Teknisk Rapport En beskrivning av genomförande och metoder Attityder till vuxenutbildning- elever i grundläggande vuxenutbildning

18 Inledning Enheten för utbildning och arbete vid Statistiska centralbyrån (SCB) genomförde under hösten 2012, på uppdrag av Skolverket, en enkätundersökning om attityder till vuxenutbildning. Syftet med undersökningen var att komplettera Skolverkets nationella uppföljning och utvärdering av den svenska skolan genom att ge en nationell bild av olika gruppers attityder till skolan. Skolverkets undersökning Attityder till skolan har genomförts vart tredje år sedan 1993 och undersökningen har då riktat sig till elever och lärare i grund- och gymnasieskolan samt tidigare även till skolbarnsföräldrar och allmänhet. Det har vid flera tillfällen framförts önskemål att utvidga Attityder till skolan till att omfatta även vuxenutbildningen. Skolverket genomförde under 2011 en studie för att utreda förutsättningarna för en utvidgning, vilket ledde till de undersökningar som ingår här. Attityder till vuxenutbildning bestod av fyra olika delar som riktade sig till lärare inom kommunal vuxenbildning och utbildning i svenska för invandrare, elever i grundläggande vuxenutbildning, elever i gymnasial vuxenutbildning samt elever i utbildning i svenska för invandrare. Populationen för kommunal vuxenutbildning och de två delar som omfattade denna, avsåg täcka komvuxelever på grundläggande och gymnasial nivå. Urvalsramen bestod av skolenheter i SCB:s skolregister, från vilket de även hämtades. Urvalet skedde sedan i två steg. I det första steget valdes enheter ut vilka grupperades i storleksgrupper efter geografisk region och antal komvuxelever enligt uppgifter från senaste register. Detta för att bl.a. få spridning och tillräckligt elevantal i urvalet. Genom kontakt med skolenheterna samlades sedan uppgifter in om elevernas personnummer och kurser. I det andra steget valdes elever ut. För elever på gymnasienivå drogs ett urval av individer. För elever på grundläggande nivå drogs ett urval av kurser, vilka sedan totalundersöktes. Detta för att eleverna på grundläggande nivå skulle kunna undersökas i klassrummet. Urvalet av elever inom grundläggande vuxenutbildning bestod av 157 kurser fördelade på 67 skolenheter. I vissa fall fanns kursen uppdelad på olika utbildningsanordnare och i ett par fall skapades således flera grupper av en och samma kurs knuten till en och samma skolkod. Av detta skäl ingick totalt 166 grupper i urvalet. Antalet elever i dessa kurser och grupper var st. Antalet unika elever var st. För grundläggande vuxenutbildning var det sedan totalt 123 grupper som medverkade från totalt 59 skolor. Dessa hade totalt kursdeltagare som besvarade frågeblanketten, vilket var ca 58 procent av det antal unika elever som först samlades in från skolenheterna. 2

19 Undersökningsledare på SCB var Mikael Schöllin. Michael Franzén samt Johan Löfgren var metodstatistiker och de som arbetade med undersökningen på enheten för utbildning och arbete var Anna Andersson och Mattias Fritz. Namnet på Skolverkets kontaktperson gentemot SCB var Ola Höckert. Resultatet i form av avidentifierade datafiler, tabeller och öppna svar levererades vecka 6, en vecka senare än uppskattad leveranstidpunkt i offert. Omfattning Population och urval Populationen, d.v.s. de objekt som man vill kunna dra slutsatser om, utgörs här av elever inom grundläggande vuxenutbildning. För att kunna dra ett urval från populationen skapas en urvalsram som avgränsar, identifierar och möjliggör koppling till objekten i populationen. Urvalsramen här skapas med hjälp av data från skolregistret version maj 2012, samt registret över Komvux: elever, kursdeltagare och utbildningsresultat avseende andra halvåret Alla aktiva skolenheter hämtas ifrån skolregistret avseende komvux (333 st). Uppgifter om antal unika personer som deltagit i gymnasial eller grundläggande vuxenutbildning under andra halvåret 2011 matchas på för varje skolenhet. För 26 skolenheter saknas uppgifter om antal personer som deltagit, då dessa ej förekom när uppgifterna om kursdeltagare inom komvux andra halvåret 2011 samlades in. Från urvalsramen plockas först de 20 största skolenheterna med avseende på gymnasial vuxenutbildning ut. Dessa delas upp på region: Tabell 1 De 20 största skolenheterna avseende gymnasial vuxenutbildning fördelade på region Region Beskrivning Antal av de 20 största skolenheterna m.a.p. gymnasial vuxenutbildning 1 Storstäder 7 2 Förortskommuner till storstäder 1 3 Större städer 12 4 Övriga kommuner 0 Därefter plockas de 20 största med avseende på grundläggande vuxenutbildning ut (de 20 största med avseende på gymnasial vuxenutbildning exkluderade). 3

20 Tabell 2 De 20 största skolenheterna avseende grundläggande vuxenutbildning fördelade på region Region Beskrivning Antal av de 20 största skolenheterna m.a.p. grundläggande vuxenutbildning 1 Storstäder 3 2 Förortskommuner till storstäder 5 3 Större städer 10 4 Övriga kommuner 2 Grupperna ovan definierar egna strata. Resterande skolenheter stratifieras efter region och storlek (antal personer som deltagit i gymnasievux). Totalt bildas 18 strata. Stratumgränser skapas med cum- f metoden. De största anordnarna (stratum 1,2,4,5,6,9,10 och 15) totalundersöks. Resterande del av urvalet allokeras med x-optimal allokering där antal deltagare i gymnasievux används som x-variabel. Totalt dras 100 skolenheter. Inom varje strata dras sedan urvalet med Pareto πps. Antal deltagare i gymnasievux har använts som storleksmått. För de skolenheter där uppgifter om deltagare saknas har ett storleksmått imputerats (medianen av antal deltagare i gymnasievux per region). Steg 2 i urvalsdragningen för elever inom grundläggande vuxenutbildning innebär sedan att det utifrån insamlade uppgifter om kurser dras ett urval av kurser från varje skolenhet. I tabellen nedan visar kolumnen antal grundvux hur många skolenheter som lämnade in uppgifter om kurser inom grundläggande vuxenutbildning. Kolumnen antal svar visar hur många skolenheter som svarade, inräknat svar för gymnasial vuxenutbildning. Tabell 3 Urvalsram och urval fördelat på stratum Stratum Region Storleksklass Antal i ramen Urval Antal grundvux Antal svar största gymvux största grundvux största gymvux största grundvux

21 största gymvux största grundvux största gymvux största grundvux Totalt Urvalet av kurser från skolenheterna allokerades så att ungefär en sjättedel av kurserna valdes ut. Urvalen drogs med OSU inom varje skolenhet. Ett obundet slumpmässigt urval innebär att alla objekt har samma sannolikhet att komma med i urvalet. Urvalsstorleken bestämdes i samråd mellan SCB och Skolverket. Urvalet resulterade i att 157 kurser drogs. Antalet elever på dessa kurser var enligt insamlade uppgifter från skolorna 3 672, men antalet unika elever Detta då det i urvalet förekommer dubbletter med avseende på elever. Det är 219 elever som förekommer i urvalet mer än en gång. 217 elever förekommer två gånger och två elever förekommer tre gånger. Avsikten är att en utvald elev endast ska svara en gång. Vi kan dock inte kontrollera för detta. Frågor/Variabler Skolverket utformade frågorna i frågeblanketterna i samarbete med SCB. Därefter genomfördes snabbgranskningar av mätteknisk expertis i syfte att minska risken för mätfel. Grundläggande för bra kvalitet i en undersökning är kvaliteten på de data som samlas in. För att säkerställa att frågorna fungerar så bra som möjligt och enligt intentionerna har därför alla blanketter genomgått ett mättekniskt test. Blanketten till elever inom grundläggande vuxenutbildning bestod av 24 numrerade frågor och med hänsyn till delfrågorna totalt 41 st frågor. Förutom attitydfrågor ingick även frågor om IT, där syftet är att följa upp elevers it-användning och it-kompetens. 5

22 För eleverna inom grundläggande vuxenutbildning kan inga registervariabler kopplas till individen och inga registeruppgifter har heller lagts på avseende skolan eller gruppen. Enkätsvaren kompletteras med en kortare enkät som läraren svarat på i samband med att eleverna fyllde i enkäterna. Referensperiod för enkätfrågor, se bifogade frågeblanketter, är hösten Med referensperiod menas vilken tidpunkt svaren avser, t.ex. idag, förra veckan, senaste tre månaderna. Datainsamling Den 21 september skickades ett missiv med inloggningsuppgifter ut till de utvalda skolorna, som uppmanades att logga in och lämna uppgift om personnummer samt kurskod avseende alla sina aktuella kursdeltagare i kommunal vuxenutbildning. Sista insändningsdag var den 2 oktober och påminnelser via mail och telefon gjordes till de som vid detta datum ej inkommit med de efterfrågade uppgifterna. Frågeblanketterna skickades sedan ut i paket med post till varje grupp i urvalet. Det första utskicket genomfördes den 16 oktober Paketen innehöll enkäter till det antal elever som enligt tidigare insamling skulle finnas i gruppen, samt ytterligare minst 20 procent av detta antal, utifall uppgiften om antalet elever var felaktig eller hade hunnit förändras. Enstaka grupper inkom även i efterhand med önskemål om att få fler enkäter utskickade. Utöver detta förekom i ett fall att en enkät kopierades. Detta har då ej tolkats som en dubblett, utan just som en kopierad enkät och således som svar från skilda individer. I ett informationsbrev som följde med enkätpaketet ombads läraren för gruppen ombesörja att eleverna svarade på enkäterna och se till att enkäterna skickades tillbaka till SCB. En första påminnelse skickades den 12 november till de grupper som ej hunnit registreras som inkomna och som heller ej meddelat att de ej kunde medverka. En andra påminnelse skickades ut den 23 november. Insamlingen avslutades den 17 december Det allra första informationsbrevet som skickades till skolan, vilket var adresserat till rektor eller motsvarande, innehöll information om undersökningens bakgrund, syfte och att undersökningen genomfördes i samarbete mellan Skolverket och SCB. Även missivet till gruppen, som var adresserat till läraren, innehöll information om detta och ett önskemål om att informationen skulle delges eleverna. Det missiv som följde med enkäten och var riktat till eleverna informerade även det kort om undersökningen och dess syfte. Brevet informerade också om att det var frivilligt att medverka i undersökningen. 6

23 För att SCB ska kunna lämna ut data från en enkätundersökning krävs informerat samtycke av uppgiftslämnarna. Det innebär att de genom att besvara blanketten och skicka in den godkänner att deras svar behandlas på det sätt, som beskrivs i informationsbrevet. Den första datainsamlingen av kursdeltagaruppgifter från skolorna genomfördes av enheten för offentlig sektors uppgiftslämnande vid SCB och via webb, samt i enstaka fall via mail. Datainsamlingen från de utvalda grupperna genomfördes sedan av enkätenheten vid SCB och då via skanning av de frågeblanketter som kommit in via post. Kontroller har genomförts bland annat för att säkerställa så att endast valida värden förekommer i materialet. Svarsdatafilen kompletterades med vikter för uppräkning till populationsnivå. Bortfall Bortfallet består dels av objektsbortfall, som innebär att frågeblanketten inte är besvarad alls, och dels av partiellt bortfall som innebär att vissa frågor i blanketten inte är besvarade. Om bortfallet skiljer sig från de svarande, med avseende på undersökningsvariablerna, så kan skattningarna som grundar sig på enbart de svarande vara skeva. För att reducera bortfallsskevheten har vikter beräknats med hjälp av kalibrering (se bilaga Kalibreringsrapport_Grundvux.pdf). Objektsbortfall kan bland annat bero på att uppgiftslämnaren inte är villig att delta i undersökningen, att uppgiftslämnaren inte går att nå eller att uppgiftslämnaren är förhindrad att medverka. I denna undersökningen kan bortfall både förekomma på individnivå, att en enskild elev ej ville medverka eller ej var närvarande när hans/hennes grupp utförde enkäten, samt på gruppnivå, att gruppen aldrig fick chansen att besvara enkäten, p.g.a. skolans eller gruppens lärares val. Enbart utifrån uppgiften om antalet unika elever från den första insamlingen från skolorna var det ca 42 procent som ej besvarade enkäten. Av de 166 grupperna var det 26 procent som ej medverkade och av skolenheterna var det 12 procent som inte förekom med någon kurs. Ett antal av dessa meddelade oss dock att kursen hade upphört. Mer information om bortfallet finns i kalibreringsrapporten. Partiellt bortfall kan bero på att en fråga är svår att förstå, är känslig, att uppgiftslämnaren glömmer att besvara frågan eller att instruktionerna vid hoppfrågor misstolkas. Det partiella bortfallet varierar här mellan 0 och 7 procent för de flesta av frågorna. Det högsta partiella bortfallet, 27,1 procent, finns i fråga 4d. 7

24 Detta kan komma av att uppgiftslämnaren ansåg att han/hon redan lämnat de aktuella orsakerna i 4a-4c, att han/hon ej förstod frågan eller att raderna för 4c och 4d låg så tätt att han/hon kryssade båda svaren på samma rad. Att raderna ibland upplevdes ligga för tätt var något en lärare meddelade varit ett problem i gruppen för delen avseende elever i sfi och skulle kunna ha förekommit även här. Viktberäkning och estimation För varje svarande person (kallas objekt i fortsättningen) har en vikt beräknats. Syftet med detta är att kunna redovisa resultat för hela populationen och inte bara för de svarande. Vikten kallas därför även för uppräkningstal. Vikterna har beräknats utifrån urvalsdesignen samt antaganden om objektsbortfall och täckningsfel. Beräkningen gjordes med hjälp av ett av SCB egenutvecklat SAS-makro (ETOS). Vikterna i denna undersökning kan beskrivas med formeln: wk = ak. gk Där wk = vikt/uppräkningstal för objekt k ak gk = designvikt för objekt k, justerad för bortfall inom strata = kalibreringsvikt baserad på hjälpinformation Designvikten är den del av vikten som beror på urvalsdesignen. Vid bortfall kan det vara så att vissa grupper av urvalet svarar i större utsträckning än övriga, t.ex. kan kvinnor svara i högre grad än män. Om de grupper som svarat i högre grad har en annan fördelning på undersökningsvariablerna än övriga kan detta ha en snedvridande effekt på resultatet. För att kompensera för detta har kalibreringsvikter använts (se bilaga för mer detaljer). Vikterna bygger på antagandet att ramen återspeglar populationen väl och därmed att över- och undertäckningen är försumbar. För en mer utförligare beskrivning av kalibreringsestimatorn se Lundström och Särndal (2001): Estimation in the Presence of Nonresponse and Frame Imperfections, Statistics Sweden. Vikterna/uppräkningstalen multipliceras med objektens variabelvärden för att skapa statistikvärden gällande för populationen. Om vikterna inte används så kan resultaten bli helt missvisande. Vikterna kompenserar för objektsbortfallet men inte för det partiella bortfallet. För beräkning av skattningen av totaler används följande formel: Ŷ r w k y k där wk = vikt/uppräkningstal för objekt k 8

25 yk = variabelvärde för objekt k summering sker av de svarande (r) Och för beräkning av skattningen av medelvärden används följande formel: Yˆ r w r k w y k k där wk = vikt/uppräkningstal för objekt k yk = variabelvärde för objekt k summering sker av de svarande (r). Statistikens tillförlitlighet Ramtäckning Täckningsfel, under- och övertäckning, innebär att urvalsram och population inte helt stämmer överens. Undertäckning innebär att vissa objekt som ingår i populationen saknas i urvalsramen. Övertäckning innebär att objekt som inte ingår i populationen ändå finns i urvalsramen. Ett sätt att minska täckningsfelen är att ha bra och uppdaterade register. Urvalet av skolor gjordes utifrån Skolregistret version maj 2012, samt dessa skolenheters eventuella rapporterade kursdeltagaruppgifter avseende andra halvåret Från dessa skolor samlades sedan uppgifter in om kurser och de individer som läste kurserna. Vad gäller undertäckning på skolnivå bedöms skolregistret vara av hög kvalitet, men undertäckning kan komma av att nytillkomna skolenheter efter maj 2012 ej fanns med när urvalet togs fram. Undertäckning på kursnivå kan uppstå om kurser uppkom efter att insamlingen av aktuella kurser gjorts från skolorna eller om alla kurser ej rapporterades av skolorna. Undertäckning kan förekomma på individnivå om elever var frånvarande den dag som gruppen fick skriva enkäten, vilket här kan komma av att de veckor som valdes för utförandet av enkäten omfattade höstlovet, något som flera lärare meddelat varit ett problem. Undertäckning kan också uppstå om någon elev ej kunde besvara enkäten p.g.a. språksvårigheter. Övertäckning på skolnivå kan exempelvis uppstå om skolor fanns i urvalet av skolor, men sedan inte hade några elever den avsedda perioden. Övertäckning kan också uppstå om flera kurser hade lektion i ett och samma klassrum och om alla elever då fick skriva enkäten, även om endast en kurs fanns i urvalet. 9

26 För eleverna inom sfi förekom det att undervisningsgrupperna var blandade mellan sfi och svenska för andraspråk inom komvux, vilket kan innebära att sfi-elever även fanns i klassrummet när enkäterna för grundläggande vuxenutbildning skrevs. Urval Denna kvalitetskomponent avser fel som uppkommer på grund av att endast ett urval av populationen undersöks. Urvalsfel är således den avvikelse mellan ett skattat värde och det faktiska värdet som beror på att man inte undersöker alla objekt i populationen. Urvalsfelets storlek minskar med en ökad urvalsstorlek. Mätning Ett fel som kan uppstå vid mätning är att lämnade uppgifter skiljer sig från faktiska uppgifter. Felet kallas mätfel och kan uppkomma då uppgiftslämnaren inte minns de faktiska uppgifterna, missförstår frågan eller medvetet svarar felaktigt. I den här undersökningen finns exempelvis en risk att personerna missförstår en fråga på grund av språksvårigheter. Fråga 22, där uppgiftslämnaren uppmanas kryssa i de frågor han/hon ej förstått, kan vara ett hjälpmedel för att kunna urskilja vissa sådana fall. Fråga 11 är den fråga som resulterat i flest kryss om att uppgiftslämnaren ej förstod frågan. Orden takt och tempo som ingår i den frågan har också tagits upp som svåra att förstå i de öppna svaren från lärarenkäten. Uppgifterna från lärarenkäten kan utöver svaren från fråga 22 också vara en hjälp att hitta de frågor som varit svåra för eleverna att förstå. Det kan också uppkomma mätfel om uppgiftslämnaren läser flera olika kurser och ej är säker på vilken kurs han/hon ska besvara enkäten för. I de öppna svaren från lärarenkäterna kan vi se att denna osäkerhet förekom. Bland dubbelmarkeringarna förekom det även att eleven på enkäten skrivit vilken kurs respektive svar gällde för. Även fråga 3 om utbildningsbakgrund tas i lärarenkäten upp som ett exempel på en fråga som kan vara svår att tolka. Slutligen är tanken att en elev endast ska ingå en enda gång, även om han/hon finns i flera av de utvalda kurserna. Redan vid urvalsdragningen gick det att se att 219 elever förekom i flera utvalda kurser. Det förekommer fall där skolan, läraren eller eleven aktivt sett till att dessa bara skrivit enkäten en enda gång, men det kan fortfarande förekomma fall där eleven fyller i enkäten i alla de kurser som kommit med i urvalet. 10