INLEDNING TILL. U/ADB / Statistics Sweden. Stockholm : Statistiska centralbyrån, Nr E24- E26

Transkript

1

2 INLEDNING TILL R & D report : researc, metods, development / Statistics Sweden. Stocolm : Statistisa centralbyrån, Nr. 1988:1-2004:2. Häri ingår Abstracts : sammanfattningar av metodrapporter från SCB med egen numrering. Föregångare: Metodinformation : preliminär rapport från Statistisa centralbyrån. Stocolm : Statistisa centralbyrån Nr 1984:1-1986:8. U/ADB / Statistics Sweden. Stocolm : Statistisa centralbyrån, Nr E24- E26 R & D report : researc, metods, development, U/STM / Statistics Sweden. Stocolm : Statistisa centralbyrån, Nr Efterföljare: Researc and development : metodology reports from Statistics Sweden. Stocolm : Statistisa centralbyrån Nr 2006:1-. R & D Report 2003:2. Estimation vid föreomst av bortfall oc rambrister i undersöningen Gymnasieungdomars studieintresse / Henri Gustafsson, Sixten Lundström. Digitalt sapad fil, anpassad efter de digitaliserade delarna i serien. Statistisa centralbyrån (SCB) urn:nbn:se:scb-2003-x101op0302

3 R&D Report 2003:2 Researc Metods Development Estimation vid föreomst av bortfall oc rambrister i undersöningen Gymnasieungdomars studieintresse Henri Gustafsson Sixten Lundström

4 R&D Report 2003:2 Researc - Metods - Development Estimation in Presence of Nonresponse and Frame Imperfections in te survey Transition from Upper Secondary Scool to Higer Education Från trycet Otober 2003 Producent Statistisa centralbyrån, Statistics Sweden, metodeneten Box 24300, SE STOCKHOLM Förfrågningar Henri Gustafsson enri.gustafsson@scb.se Telefon Sixten Lundström sixten.lundstrom@scb.se Telefon , Statistisa centralbyrån ISSN Printed in Sweden SCB-Tryc, Örebro 2003

5 Abstract Tis report describes a wor carried out witin te Nonresponse project (Bortfallsprojetet). Te aim of te wor is to demonstrate ow errors, caused by sample, nonresponse and frame imperfections, can be andled in te estimation stage. In order to convince staff at Statistics Sweden tat effective metods are available we wanted to sow a concrete example. For tat reason we carried out te wor witin a real survey, namely Te transition from upper secondary scool to iger education (Övergång gymnasiesola ögsola). Bot over- and undercoverage were present, since te target population consisted of pupils in te tird (final) year in te upper secondary scool and te sampling frame consisted of pupils in te second year. Moreover, about 25.5 percent of te pupils did not respond in te data collection stage. Te wor is based on Statistics Sweden s andboo Estimation in te Presence of Nonresponse and Frame Imperfections. Te andboo describes two main metods, namely weigting and imputation. In tis case we used te former metod. Te weigts were derived by use of te general tecnique calibration of weigts. Tis report sows tat all tree types of errors are reduced. Te main explanation for tat is tat we used strong auxiliary information in te calibration stage. Wen te estimation procedure started te register on pupils in te tird (final) year was (almost) finised, so te coverage errors could be almost eliminated. Moreover, to tis register we also added many auxiliary variables from oter registers in order to reduce te sampling error and te nonresponse error. Some of te variables were caracteristics of teir parents. Abstract

6 Inneållsförtecning 1. Syfte Betecningar Besrivning av undersöningen Gymnasieungdomars studieintresse Inledning Population oc urvalsdesign Parametertyper oc redovisningsgrupper Redovisning av osäeretsmått Tenis besrivning av undersöningen Brister i statistien Kalibrering av viter Kalibreringsestimatorn Hjälpvariabler Inledning Presumtiva jälpvariabler Samvarierar med svarsbenägeneten Samvarierar med målvariabler Avgränsar redovisningsgrupper Slutligt val av jälpvetor Varianssattningar Resultat Inledning Redution av bortfallsbiasen Redution av variansen Redution av täcningsfelen Förbättrad onsistens mellan sattningar oc registerdata Slutsatser...30 Referenser...31 Bilaga A: Variansestimator för alibreringsestimatorn...31

7 1. Syfte Problemet med bortfall är fortsatt stort i statistisa undersöningar. Särsilt gäller det individ- oc usållsundersöningar, där bortfallsandelen t.o.m. uppvisar en stigande trend. I ett försö att förbättra situationen ar Bortfallsprojetet startats. Projetet syftar till att utvecla oc implementera effetiva metoder för att reducera bortfallsandelarna i SCB:s undersöningar. Liaså sa projetet utvecla oc implementera effetiva metoder för att reducera bortfallseveten när väl bortfall uppommit. Föreliggande studie ingår i den andra delen. Två CBM ar srivits inom området, där det första, Minsa bortfallet, är en andledning i ur man minsar bortfallsandelarna oc det andra, Estimation in te Presence of Nonresponse and Frame Imperfections, beandlar ur man reducerar bortfallsbiasen. Det senare CBMet beandlar de två uvudåtgärderna vitning oc imputering. Vitningen föreslås utföras med den generella alibreringstenien. Bortfallsprojetet menar att det är vitigt att demonstrera ur goda metoder an användas. Arbetet baom denna rapport baserar sig (nästan) enbart på besrivningen i nämnda CBM oc beräningarna är utförda med CLAN97. Arbetet avser en särsild undersöning, men vertygen passar de flesta undersöningarna. Vi besriver ur alibreringstenien an användas i undersöningen Gymnasieungdomars studieintresse - läsåret 2002/2003. Vi vill med den försöa reducera felen som beror på urvalet, bortfallet oc täcningsbrister. Dessutom vi vill vi minsa problemet med bristande onsistens. Vi ville att arbetet sulle utföras i sådan tat att den nya puntestimatorn oc motsvarande variansestimator unde användas i årets undersöning. Så ar ocså sett. Arbetet, besrivet i avsnitten 4-5, gjordes under star tidspress, medan resten av arbetet unde utföras under lugnare omständigeter. Innan vi går in på arbetet med denna specifia undersöning introducerar vi de betecningar som beövs för att besriva en generell urvalsundersöning som, lit vår undersöning, lider av såväl bortfalls- som täcningsproblem.

8 2. Betecningar Antag att vi vill satta totalen Y y (2.1) U = U där y är värdet på målvariabeln, y, för objet i målpopulationen U = { 1,...,,..., N}. Vi antar ocså att vi ar både över- oc undertäcning, d.v.s. att målpopulationen inte elt överensstämmer med rampopulationen. Situationen illustreras i figur 2.1. Låt s F betecna urvalet av storleen n F draget från rampopulationen U F (av storleen N F ) med sannolieten ps ( F ). Inlusionssannolieterna, ända för alla U F, är då π = sf p ( sf ) oc designviten för objet är d = 1/π. Urval: s F Storle: n F o \ p r \ p Rampopulation: U F Storle: N F o p r p Målpopulation: U Storle: N Figur 2.1 Figur 2.1 illustrerar en situation där både undertäcning oc övertäcning föreommer. Med övertäcningsmängd menas U ( U U ) undertäcningsmängd U ( U ) U F F oc med. Mängden av objet som svarar oc F

9 tillör målpopulationen benämns r p oc dess storle m p. Det gäller att rp sf. Indexet p används är för att indiera objet som är var i målpopulationen oc indexet \ p avser objet som tillör övertäcningen. Vi använder notationen r \ p för mängden objet som svarar oc tillör övertäcningen. Storleen på r \ p benämner vi m \ p. Bortfallsmängden är o p o\ p, där o p är den del som tillör målpopulationen oc o \ p den del som tillör övertäcningen. Urvalet s F är unionen av de fyra disjunta mängderna r p, r \ p, o p and o \ p. Vi antar att varje svarsobjet, rp r \ p, an änföras till antingen r p eller r \ p. Detta är vanligtvis enelt. Mycet mer problematis är det att i pratien dela upp bortfallet i dess två delmängder, o p and o \ p. Förutom totaler för ela målpopulationen sattas vanligtvis ocså totaler för redovisningsgrupper. Låt oss benämna redovisningsgrupper med U,..., U,..., 1 d U oc deras storle D N 1,..., N d,..., N D. Antag att vi vill satta totalen för variabeln y för var oc en av redovisningsgrupperna. Målet för estimationen är då de D storeterna Y,..., Y,..., 1 d Y, där D Y d = U y d, d = 1,..., D, med y d y = 0 för för U U d d Även andra typer av parametrar är efterfrågade, som t.ex. medelvärdet i Yd redovisningsgrupp d, Y d =. Parametrarna utgör i regel funtioner av N d totaler oc vid estimationen sattas varje total för sig.

10 3. Besrivning av undersöningen Gymnasieungdomars studieintresse 3.1. Inledning Syftet med undersöningen är att belysa ur stort intresset för att börja läsa på ögsolan är bland gymnasieelever, vilen inritning på ögsolestudierna som är mest locande oc ur intresset för ögsoleutbildning förändras över tiden. Undersöningen genomförs en gång per år. Uppgifterna samlas in fr.o.m. första vecan i otober t.o.m. sista vecan i november via postenäter till elever i årsurs tre i gymnasiesolan. Datainsamlingen görs via postenät med tre sriftliga påminnelser. Svarsandelen för undersöningen avseende läsåret 2002/2003 är 74.5 %. I avsnitten besriver vi undersöningen ortfattat. Mer information finns i UF 36 SM Population oc urvalsdesign Rampopulationen, U F, ämtas från Solverets elevregister. Eftersom registret över elever i årsurs tre för atuellt läsår inte är färdigt när urvalet till undersöningen sa dras, måste föregående läsårs register över elever i årsurs två användas som ram. I undersöningen avseende läsåret 2002/2003 stratifierades rampopulationen efter risområde, programgrupp (studieförberedande/yresförberedande) samt ön. Urvalet alloerades med syfte att erålla bra sattningar för vitiga redovisningsgrupper. Dessutom drogs på uppdrag tilläggsurval. Data från tilläggsurvalen används ocså i sattningarna, vilet totalt ger urvalet s F av storleen nf = Det slutliga urvalet beandlas i den ordinarie estimationen som stratifierat obundet slumpmässigt urval. Tilläggsurvalen alloerades på ett sådant sätt att i många strata ingår samtliga elever.

11 3.3. Parametertyper oc redovisningsgrupper De flesta parametrarna utgörs av procentuella andelen elever inom en redovisningsgrupp som ar en viss egensap. Egensapen an t.ex. vara att planera att börja läsa på universitet eller ögsola inom tre år eller att läsa inom ett visst ämnesområde eller att läsa vid ett visst universitet eller en viss ögsola. Redovisningsgrupperna avgränsas antingen med jälp av en registervariabel (från urvalsramen) eller utifrån svaret på en fråga. Vanliga registervariabler som används i detta syfte är program, ön oc risområde. En vanlig redovisningsgrupp av den andra typen är de som planerar att börja läsa på universitet eller ögsola inom tre år oc bland dessa an egensapen vara t.ex. ämnesområde. Förutom procenttal sattas ocså antalet elever med olia egensaper. I SMet utgör dessa totaler vanligtvis storleen på redovisningsgrupper. I Sveriges Statistisa Databaser (SSD) sattas enbart totaler (antal) Redovisning av osäeretsmått I SMet presenteras 95-procentiga onfidensintervall för de flesta sattningarna av procenttal, men däremot inte för sattningar av totaler. I SSD finns inga onfidensintervall. Några andra mått på osäereten anges inte, men däremot ommenteras andra fel t.ex. täcningsbrister Tenis besrivning av undersöningen I undersöningen utgörs övertäcningen U ( U U ) F F av de elever som avbrutit eller gjort uppeåll i sina studier under eller efter årsurs två oc undertäcningen U ( U U F ) av de elever som inte fanns med i årsurstvå-registret, t.ex. på grund av studieuppeåll men som innevarande läsår går i årsurs tre. Rampopulationen U F är indelad i strata, U F, = 1,..., H, oc urvalet s F dras från U F med obundet slumpmässigt urval. (När det är nödvändigt att identifiera ett stratum lägger vi till index till betecningarna angivna i figur 2.1.) Designviten är då d = N F / nf for U F. I undersöningen sattas Y U med följande estimator:

12 N Yˆ = y (3.1) HT H F = 1 m p + m\ p rp Anm.: Vi allar denna estimator för HT-estimator, en förortning av Horvitz-Tompson-estimator, även om den inte ritigt är en sådan estimator. Låt oss disutera olia överväganden ring svarssannolieten oc täcningsbrister för att förstå rimligeten i att estimator (3.1) används. Vi antar två olia fall, nämligen där (i) svarssannolieten är lia stor (inom varje stratum) för elever som tillör målpopulationen som för de som tillör övertäcningen resp. (ii) svarssannolieten är lia med noll för de som tillör övertäcningen. I fall (i) utgör svarsmängden inom varje stratum ett (approximativt) obundet slumpmässigt urval från U F. Då är det lätt att inse att vi sattar totalen i domänen U U F (se figur 2.1). Alltså får man i detta fall en (förväntad) undersattning av totalen för målpopulationen Y U. Det är troligt att svarssannolieten är lägre bland de personer som tillör övertäcningen än bland andra. Många av dessa elever an vara på utlandsstudier oc inte nåbara oc andra an tyca att frågorna är irrelevanta. Låt oss anta att det går så långt att ingen svarar i den gruppen (fall (ii)), vilet innebär att m 0 (jmf. estimator (4.3)). Det är lätt att se att om vi utnyttjar \ p = den estimatorn för att satta storleen på populationen får vi YˆHT = N F. Om över- oc undertäcningsmängderna är lia stora, d.v.s. N= N F, så erålles rätt dimension på viterna. I denna undersöning är det troligt att övertäcningen är betydligt större än undertäcningen oc därmed sulle en raftig översattning erållas. Vi ser alltså att fall (i) ger en undersattning oc fall (ii) en översattning. Svarssannolieten i övertäcningen bör alltså vara mindre än bland övriga, men inte noll för att vitningen i estimator (3.1) sa fungera.

13 3.6. Brister i statistien Sattningarna i undersöningen är beäftade med fel som består av flera omponenter. De felomponenter vi sa studera är (i) bortfallsfelet (bortfallsbias), (ii) urvalsfelet (varians) samt (iii) täcningsproblem. Dessutom vill vi ocså studera möjligeten att reducera (iv) bristande onsistens mellan sattningar oc registerdata. Bortfallsbias Bortfall ar en snedvridande effet på sattningarna om de som svarar ar andra egensaper än de som inte svarar. Detta får vi aldrig veta med säeret, men däremot an vi för registervariabler jämföra gruppen svarande med bortfallet. Om registervariablerna är (start) orrelerade med målvariablerna ger jämförelsen en indiation på bortfallsfelet. I denna undersöning indierar bortfallsanalysen (avsnitt 4.2.3) att bortfallet orsaar bias. Varians I en statistis undersöning utgör stratifieringen oc alloeringen av urvalet på strata, lisom urvalsstorleen (egentligen antalet svarande) vitiga bestämningsfatorer för variansen. Sattningar som avser ela populationen ar i regel liten varians, men däremot an variansen vara stor i vissa redovisningsgrupper. I denna undersöning utgör risområde, program oc ön vitiga redovisningsgrupper. Stratifieringen (i grundurvalet) oc alloeringen ar gjorts med syfte att få så liten varians som möjligt i dessa redovisningsgrupper. Det är doc inte möjligt att a alltför många strata när urvalet inte är större. Därför fic man begränsa sig till programgrupper i stället för program oc reducerade därmed antalet strata från 272 till 32. Därför ar man större varians för vissa program än vad som är önsvärt. Tilläggsurvalen syftade till att öa precisionen för vissa specifia grupper.

14 En minsning av variansen är naturligtvis välommet för de sattningar som nu publiceras. En minsning an ocså göra det möjligt att publicera sattningar, som man tidigare fått utelämna p.g.a. dålig valitet. Täcningsproblem I inledningen av avsnitt 3.5 förlarar vi varför både övertäcning oc undertäcning föreommer, d.v.s. att båda mängderna U F ( U UF) oc U ( U U F ) inneåller elever. Vi visar senare i rapporten att dessa brister i stort sett elimineras genom att utnyttja atuell jälpinformation. Bristande onsistens mellan sattningar oc registerdata Resultaten från undersöningen publiceras en ort tid innan resultaten från årsurs-tre-registret publiceras. Många av uppgifterna sa överensstämma men gör det inte. Vid sattningar av, t.ex. antalet elever i olia program, erålles olia resultat. Denna bristande onsistens är naturligtvis störande. I föreliggande arbete visar vi ur dessa brister an reduceras genom att utnyttja jälpinformation i en alibreringsestimator. 4. Kalibrering av viter 4.1. Kalibreringsestimatorn Både variansen oc bortfallsbiasen an reduceras genom att utnyttja star jälpinformation i en alibreringsestimator. Även täcningsbrister an reduceras om det finns jälpinformation som väl speglar målpopulationen (Lundström and Särndal, 2001, C. 11). Viss jälpinformation utnyttjas vanligtvis även före estimationen, t.ex. för bildande av stratifierade urvalsdesigner. I studerade undersöning används, som tidigare påpeats, stratifieringsvariablerna risområde, ön oc programgrupp. Det an doc finnas ytterligare jälpinformation som är effetiv i estimationen. Innan vi går in på den specifia undersöningen sa vi besriva alibreringsestimatorn oc visa dess flexibilitet vad gäller utnyttjande av jälpinformation. Hjälpinformation består av två delar, nämligen (i) en jälpvetor för varje svarande objet oc (ii) en populationstotal för jälpvetorn. Hjälpvetorn = x 1,..., x j,..., xj benämnes x, oc dess värden för objet med ( ) x, en

15 olumnvetor med J omponenter, där j:e jälpvariabeln. Populationstotalen för jälpvetorn är alltså U x j är dess värde, för objet, för x. När vi ar täcningsproblem an det vara svårt att erålla ett exat värde på x. I det fallet ar vi föroppningsvis en god approximation, är U benämnd X ~. Vid sattning av Y y ar alibreringsestimatorn följande utseende: U = U Yˆ UW = w y (4.1) där w rp = d v oc v ~ 1 ( X d x ) ( d x x ) x = 1+ for r p (4.2) r p r p Kalibreringsviterna w ar den önsade alibreringsegensapen att de ~ återsapar de ända totalerna, d.v.s. w x = X. Vi ommer att använda den generella alibreringsestimatorn (4.1) i detta arbete. Det an doc vara intressant att veta att de flesta ända estimatorer utgör specialfall från alibreringsestimatorn; ett exempel visas nedan. r p EXEMPEL: En vanlig estimator av Antag att s F dras med stratifierat obundet slumpmässigt urval som besrivs i avsnitt 3.5. En estimator av Y U som är vanlig på SCB är = H N F Yˆ U r y p (4.3) = 1 m p I Lundström and Särndal (2001, Example ) visas att estimator (4.3) är ett specialfall av (4.1). Det inträffar när x får identifiera ~ X N,..., N,..., N. Y U = F1 F FH tillöriget till strata oc ( ) I studerade undersöning (avseende läsåret 2002/2003) fanns en preliminär version av årsurs-tre-registret vid estimationstillfället. Detta register

16 bedömdes vara relativt väl överensstämmande med det slutliga registret, som i sin tur ar mycet ög valitet. Därför ämtade vi X ~ från den preliminära versionen. Det vi besriver längre fram i rapporten, särsilt i avsnitten 6.4 oc 6.5, ar vi unnat göra först när årsurs-tre-registret var lart (april). Då an vi studera i vilen mån täcningsbristerna ar reducerats med jälp av denna teni. Dessutom an vi se den verliga sillnaden mellan den preliminära oc den slutliga versionen av årsurs-tre-registret. Det centrala arbetet för att erålla en god valitet på sattningarna är att använda star jälpinformation. I nästa avsnitt besriver vi detta arbete för vår undersöning Hjälpvariabler Inledning Vid val av jälpvariabler är det tre riterier som sa beatas. Det första riteriet är att variabeln samvarierar väl med svarsbenägeneten (- sannolieten). Det är det vitigaste riteriet eftersom det leder till en minsning av bortfallsbiasen för alla sattningar. Det andra riteriet är att variabeln samvarierar väl med (vitiga) målvariabler. Om så är fallet minsar bortfallsbiasen för de sattningar som byggs upp av dessa målvariabler. Även variansen minsar för dessa sattningar. Det tredje riteriet är att variabeln avgränsar (vitiga) redovisningsgrupper. Det leder framför allt till minsad varians i sattningar för dessa redovisningsgrupper. Vår erfarenet är att uppsättningen variabler som uppfyller första riteriet är vanligtvis relativt lia i olia undersöningar. Kriterium (ii) är doc mer undersöningsspecifi. Även vila redovisningsgrupper som studeras varierar mellan undersöningar Presumtiva jälpvariabler Populationen i denna undersöning är sådan att vissa registervariabler inte är användbara. Eftersom alla är (ungefär) lia gamla, alla ar samma utbildning oc ingen förvärvsarbetar ger inte registervariablerna ålder, utbildning oc inomst någon information. Däremot är det rimligt att utnyttja en del av

17 föräldrarnas ( vårdnadsavarens ) variabler. T.ex. vet vi från andra studier att om föräldrarna är ögutbildade så är det troligt att barnet väljer en längre aademis utbildning. Dessa uppgifter ämtas från registret över totalbefolningen (RTB) oc utbildningsregistret. Elevernas egna variabler ämtar vi från den preliminära versionen av årsurs-tre-registret. Dessutom tror vi att elevens slutbetyg i grundsolan an vara intressant oc utnyttjar därför det registret. Vi gör ocså vissa opslagningar av ategorier baserat på unsaper från tidigare alibreringar. I tabell 4.1 visas de presumtiva jälpvariablerna. Tabell 4.1. Presumtiva jälpvariabler Variabel Kategorier (benämning) Kön Man ; vinna Risområde (NUTS) 8 områden Födelseland Födda i Sverige; Europa utom Sverige; övriga Storstad Boende i storstad; övriga Program 17 ategorier Vårdnadsavarens Födda i Sverige; Europa utom Sverige; övriga födelseland Vårdnadsavarens Förgymnasial; gymnasial; eftergymnasial utbildningsnivå Vårdnadsavarens utbildningsinritning Vårdnadsavarens civilstånd Slutbetyg i årsurs 9 Huvudman (1)Allmän utbildning; (2) pedagogi, lärarutbildning, umaniora oc onst; (3) samällsvetensap, juridi, andel, adm.; (4) naturvetensap, matemati oc data, teni oc tillverning, lant- oc sogsbru oc djursjuvård; (5) älso- oc sjuvård, social omsorg; (6) tjänster Gift oc registrerat partnersap; övriga 4 ategorier Kommunal; landsting; fristående I det följande analyserar vi variablerna i tabell 4.1 för att slutligen bestämma en jälpvetor Samvarierar med svarsbenägeneten I detta avsnitt sattar vi procentuella andelen svarande i olia redovisningsgrupper i populationen U U F. Redovisningsgrupperna avgränsas med jälp av de presumtiva jälpvariablerna.

18 Sattningarna görs med följande estimator: r d r I p Pˆ =, d I p + o p där I 1om elev tillör studerade redovisningsgrupp = 0 för övrigt Tabell 4.2. Sattad procentuell andel svarande fördelat på ön. Kön Man Kvinna Svarsandel (%) Tabell 4.3. Sattad procentuell andel svarande fördelat på risområden (NUTS). NUTS Svarsandel (%) Tabell 4.4. Sattad procentuell andel svarande fördelat på födelseland. Födelseland Sverige Europa utom Övriga Sverige Svarsandel (%) Tabell 4.5. Sattad procentuell andel svarande fördelat på storstad/ice storstad. Storstad Boende i storstad Övriga Svarsandel (%)

19 Tabell 4.6. Sattad procentuell andel svarande fördelat på program (oderna för programmen är förlarade i tabell 6.1). Program Svarsandel (%) Program Svarsandel (%) Tabell 4.7. Sattad procentuell andel svarande fördelat på vårdnadsavarens födelseland. Vårdnadsavarens Sverige Europa utom Övriga födelseland Sverige Svarsandel (%) Tabell 4.8. Sattad procentuell andel svarande fördelat på vårdnadsavarens utbildningsnivå. Vårdnadsavarens Förgymnasial Gymnasial Eftergymnasial utbildningsnivå Svarsandel (%) Tabell 4.9. Sattad procentuell andel svarande fördelat på vårdnadsavarens utbildningsinritning (oderna är förlarade i tabell 4.1). Vårdnadsavarens utbildningsinritning Svarsandel (%) Tabell Sattad procentuell andel svarande fördelat på vårdnadsavarens civilstånd. Vårdnadsavarens Gift eller registrerat partnersap Övriga civilstånd Svarsandel (%)

20 Tabell Sattad procentuell andel svarande fördelat på slutbetyg i årsurs 9. Slutbetyg i årsurs 9 Svarsandel (%) Tabell Sattad procentuell andel svarande fördelat på uvudman Huvudman Kommunal Landsting Fristående Svarsandel (%) Tabellerna visar att de stara jälpvariablerna (beträffande riterium (i)) är framför allt ön, elevens slutbetyg i årsurs 9, vårdnadsavarens utbildningsnivå oc civilstånd. Även variabeln vårdnadsavarens födelseland är relativt star (födda i Europa sulle doc unna bilda en grupp). Svarsbenägeneten varierar ocså en el del mellan olia program. T.ex. är andelen svarande inom elprogrammet (od 83) 60.3 % oc inom vårdprogrammet (od 95) 80.7 %. Sillnaden mellan storstad oc övriga landet är däremot (ovanligt!) litet. Vårdnadsavarens utbildningsinritning är inte särsilt star. Innan vi utesluter någon variabel undersöer vi i vilen mån riterium (ii) uppfylls för olia variabler Samvarierar med målvariabler Vi ar plocat ut 7 vitiga målvariabler oc från dessa bildat diotoma variabler. Dessa onstruerade variabler är förlarade i tabell 4.13.

21 Tabell Konstruerade målvariabler Målvariabel Förlaring (se även frågeformuläret) Till universitet Fr 1; 1=Ja Fast program Fr 3; 1=Ett fast program som ger en bestämd utb. Studietid Fr 4; 1= Mer än 4 år Visst universitet Fr 5; 1=Vitigast att omma till visst universitet Teni/natur Fr 6; 1= Studier utomlands Fr 11; 1= Ja, det an jag täna mig att göra Studentandbo Fr 12A; 1 = Mycet I nedanstående tabeller sattar vi procentuella andelen inom olia redovisningsgrupper som ar en viss egensap (se tabell 4.13). Den population vi begränsar oss till är den del av U U F som sulle a svarat om en totalundersöning ade genomförts med samma metod (oc resurser) som i undersöningen. Denna population benämns ibland svarsstratum. Estimatorn är rp d I y Pˆ y =, d I rp där y 1om elev ar studerade egensap = 0 för övrigt Frågan Har du planer på att börja på universitet eller ögsola inom de närmaste åren? ställs till alla i urvalet oc alltså avser vår onstruerade variabel Till universitet ela svarsstratum. De övriga variablerna begränsar sig till elever som ar sådana planer. I tabellerna redovisas resultaten fördelade efter de presumtiva jälpvariablernas ategorier.

22 Tabell Kön Målvariabel Man Kvinna Till universitet Fast program Studietid Visst universitet Teni/natur Studier utomlands Studentandbo Tabell Risområden (NUTS) Målvariabel NUTS Till universitet Fast program Studietid Visst universitet Teni/natur Studier utomlands Studentandbo Tabell Födelseland Målvariabel Födelseland Sverige Europa utom Övriga Sverige Till universitet Fast program Studietid Visst universitet Teni/natur Studier utomlands Studentandbo

23 Tabell Storstad/övriga Målvariabel Storstad/övriga Boende i storstad Övriga Till universitet Fast program Studietid Visst universitet Teni/natur Studier utomlands Studentandbo Tabell 4.18 Program (oderna för programmen är förlarade i tabell 6.1) Målvariabel Program Till universitet Fast program Studietid Visst universitet Teni/natur Studier utomlands Studentandbo Målvariabel Program (forts.) Till universitet Fast program Studietid Visst universitet Teni/natur Studier utomlands Studentandbo

24 Tabell 4.19 Vårdnadsavarens födelseland Målvariabel Vårdnadsavarens födelseland Sverige Europa utom Övriga Sverige Till universitet Fast program Studietid Visst universitet Teni/natur Studier utomlands Studentandbo Tabell Vårdnadsavarens utbildningsnivå Målvariabel Vårdnadsavarens utbildningsnivå Förgymnasial Gymnasial Eftergymnasial Till universitet Fast program Studietid Visst universitet Teni/natur Studier utomlands Studentandbo Tabell Vårdnadsavarens utbildningsinritning (oderna är förlarade i tabell 4.1). Målvariabel Vårdnadsavarens utbildningsinritning Till universitet Fast program Studietid Visst universitet Teni/natur Studier utomlands Studentandbo

25 Tabell Vårdnadsavarens civilstånd Målvariabel Vårdnadsavarens civilstånd Gift eller registrerat partnersap Övriga Till universitet Fast program Studietid Visst universitet Teni/natur Studier utomlands Studentandbo Tabell Slutbetyg i årsurs 9 Målvariabel Slutbetyg i årsurs Till universitet Fast program Studietid Visst universitet Teni/natur Studier utomlands Studentandbo Tabell Huvudman Målvariabel Huvudman Kommunal Landsting Fristående Till universitet Fast program Studietid Visst universitet Teni/natur Studier utomlands Studentandbo De variabler som särsilt förlarar svarsbenägeneten, ön, vårdnadsavarens utbildningsnivå, vårdnadsavarens civilstånd oc elevens slutbetyg i årsurs 9 är ocså stara variabler för riterium (ii). Även

26 vårdnadsavarens födelseland är relativt star. Variabeln storstad stärer är sin ställning Avgränsar redovisningsgrupper Det är vitigt att använda variablerna risområde, ön oc program eftersom de avgränsar redovisningsgrupper Slutligt val av jälpvetor Det är värdefullt om jälpvetorn är stabil över tiden oc således an användas i de ommande årens undersöningar. Erfarenetsmässigt fungerar jälpvariabler valda utifrån de tre riterierna bra över tiden. Det man bör ontrollera är att inte någon grupp får alltför få observationer. Av de ensilda variablerna är program den mest änsliga. I årets urval finns det endast 18 elever i ett program. Trots detta anser vi, att program bör ingå i jälpvetorn eftersom den avgränsar vitiga redovisningsgrupper. Vi undvier ocså att orstabulera jälpvariabler för att inte få alltför små celler. Efter en sammanvägning av analysen ring de tre riterierna samt efter ontroll av viternas fördelning föreslår vi följande jälpvetor: Kön+NUTS+program+vårdnadsavarens födelseland+ vårdnadsavarens utbildningsnivå+vårdnadsavarens civilstånd+slutbetyg i årsurs 9 Den genomsnittliga storleen på v -viten (4.2) är 1.45 oc det minsta värdet är 0.71 oc det största är Dessa värden åller sig inom de i litteraturen redovisade reommendationerna över variationsvidden för viterna. 5. Varianssattningar Produten redovisar onfidensintervall i anslutning till de flesta puntsattningarna i SMet (se avsnitt 3.4). Vid beräningen av varianssattningarna används CLAN97. Det är naturligtvis vitigt att onfidensintervall an beränas även när KAL-estimatorn används. I många av SCB:s undersöningar är täcningsproblemen obetydliga oc därför an mer onventionella tenier användas. De beandlas i Lundström oc Särndal (2001), apitel I föreliggande undersöning ar vi stora täcningsproblem oc därmed befinner vi oss i den situation som besrivs i apitel 11 i samma CBM. Vi ar en mycet god approximation av jälptotalerna i målpopulationen oc dessutom an vi identifiera mängden

27 o p vilet gör att variansestimator (11.3.6) med viten ( ) i nämnda CBM an användas. Även i detta oonventionella fall beränar CLAN97 varianssattningar. Variansestimator utgör summan av samplingsvariansen oc bortfallsvariansen. CLAN97 beränar summan utan att särredovisa de två termerna. Vi vill gärna få en uppfattning om ur stora termerna är oc därför ar vi gjort ett eget program för detta. Det beandlar doc bara varianssattningar för totalsattningar. I bilaga A redovisas utseendet på de två termerna. 6. Resultat 6.1. Inledning Sattningar baserade på alibreringsestimatorn ar använts i årets (2002/2003) undersöning. Estimatorn utnyttjar den jälpinformation som anges i avsnitt Kan vi säert säga att alibreringsestimatorn ar gett bättre sattningar än den gamla estimatorn som inte utnyttjar jälpinformation? Oc vad menas i så fall med bättre? Som vi påpeat i avsnitt 3.4 menar vi att bytet av estimator an reducera fyra olia brister i statistien, nämligen bortfallsbias, varians, täcningsproblem samt bristande onsistens. I det följande försöer vi bedöma om så är fallet Redution av bortfallsbiasen Det är inte möjligt att mäta bortfallsbiasen annat än i onstruerade fall. Det rävs nämligen att man änner svarssannolieten, vilet man aldrig gör i verligeten. Ett vanligt sätt att studera effeten av bortfall är att genomföra simuleringar inom olia populationer oc med olia svarsmodeller. I Lundström (1997) redovisas en mängd simuleringsstudier oc en slutsats är att bortfallsbiasen an reduceras raftigt om star jälpinformationen används i en alibreringsestimator. I föreliggande arbete ar vi ett enda urval för vilet vi an beräna två värden för varje tabellcell, nämligen sattning med (i) HT-estimatorn (tidigare utnyttjad metod) oc med (ii) KAL-estimatorn. Som vi tidigare påpeat så ar alibreringsestimatorn den goda egensapen att den reducerar bortfallsbiasen. Men vi an inte utifrån ett urval satta bortfallsbiasen. Däremot tror vi att sillnaden mellan värde (i) oc (ii) antyder storleen på

28 förbättringen eller, uttryct på annat sätt, reduceringen av bortfallsfelet. Vi försöer ocså samtidigt reducera täcningsfelen oc effeten av detta går inte att särsilja från bortfallsfelet. Vi vet inte eller ur stort det resterande bortfallsfelet är. Vi väljer att begränsa jämförelsen till den första tabellen i SM:et, som är en av de vitigaste. Den inneåller två typer av parametrar. I den första delen sattas procentuella andelen som ar olia planer på att börja läsa på universitet/ögsola oc i den andra delen sattas antalet årsurs-tre-elever i de olia programmen. Låt oss först jämföra sattningar av procenttalen. HT-estimatorn för totaler är besriven i uttryc (3.1) oc motsvarande KAL-estimator i (4.1). Vid sattning av procenttal används respetive estimator i både täljare oc nämnare.

29 Tabell 6.1. Jämförelse mellan sattningar av procenttal baserade på HTestimatorn oc KAL-estimatorn Program (Inom parentes Planer på att börja läsa på universitet/ögsola? Differens anges oder för HT KAL HT-KAL programmen) Inte Inte Inte Ja best. Nej Ja best. Nej Ja best. Nej Samtl pgm Kvinnor Män Barn- oc fritid (77) Bygg (81) El (83) Energi (84) Estetisa (85) Fordon (86) Handel (87) Hantver (88) Hotell (89) Industri (90) Livsmedel (91) Medie (92) Naturbru (93) Naturvetens (94) Kvinnor Män Omvårdnad (95) Sam.vetens (96) Kvinnor Män Teni (97) Förändringen beränad i procenteneter är inte särsilt stor för de flesta sattningarna. För elever som exempelvis går på programmet för livsmedel (liten grupp) ser vi doc en raftig förändring av sattningarna ( ja resp. inte best ). För omvårdnadsprogrammet ser vi en relativt stor översattning av de som ar planer på att börja läsa på universitet/ögsola enligt HTestimatorn. Är möjligen biasredutionen stor relativt medelfelet? För att få en uppfattning om biasredutionen (bortfallsfelet) är stor eller liten jämför vi

30 den med medelfelet. Antag att KAL-estimatorn är unbiased oc att differenserna HT-KAL visar biasen för HT-estimatorn. Vi följer Cocran (1963) oc bildar voten mellan biasen oc medelfelet där an visar ur onfidensgraden påveras av en öande vot. Om den är mindre än 0.1 ar den ingen betydelse för onfidensgraden, men ar den ett värde på 1.0 ar vi en verlig onfidensgrad som är en elt annan än den angivna (t.ex. 95 %). Vi ar beränat voterna för varje cell i studerade tabell oc funnit att 80 % av voterna ligger under 0.4, att ingen vot är över 1.0 oc det ögsta värdet är 0.7. Man an alltså inte säga att biasredutionen vid sattning av procenttalen är särsilt betydande. Låt oss därefter jämföra sattningarna av totaler (antal). Resultatet presenteras i tabell 6.2. KAL-sattningarna i tabellerna överensstämmer elt med sattningarna baserade på registret (se även avsnitt 6.4, utom sattningarna i de celler som avser vinnor oc män inom naturvetensap resp. samällsvetensap. Det beror på att vi använt jälptotaler från årsurs-tre-registret för samtliga celler med undantag för de nämnda. HT-estimatorn är stratifierad efter risområde, programgrupp oc ön oc därför är de tre första sattningarna, Samtliga, Kvinnor, Män, ämtade från årsurs-två-registret. Sillnaden mellan sattningarna för dessa besriver alltså enbart täcningsfelet i HT-estimatorn. Övriga sillnader, utom sattningarna i de celler som avser vinnor oc män inom naturvetensap resp. samällsvetensap, visar totalfelet, d.v.s. den sammanlagda effeten av urvalsfel, bortfallsfel oc täcningsfel i HTestimatet.

31 Tabell 6.2. Jämförelse mellan sattningar baserade på HT-estimatorn oc KAL-estimatorn vid sattning av antal elever i olia program. Program Differens HT KAL HT-KAL Samtl pgm Kvinnor Män Barn- oc fritid Bygg El Energi Estetisa Fordon Handel Hantver Hotell Industri Livsmedel Medie Naturbru Naturvetensap Kvinnor Män Omvårdnad Samällsvetensap Kvinnor Män Teni Differensen mellan sattningarna i de celler som avser vinnor oc män inom naturvetensap resp. samällsvetensap beror på totalfelet i HT-estimatet, men an delvis bero på varvarande fel i KAL-estimatet Redution av variansen Det är inte möjligt att beräna variansen för olia sattningar utan endast sattningar av variansen. Variansestimatorn för HT-estimatorn utnyttjar (implicit) en mycet enel modell för svarsbenägeneten medan variansestimatorn för KAL-estimatorn baserar sig på en betydligt mer avancerad svarsmodell. Därför är det rimligt att tro att den senare

32 variansestimatorn ger särare sattningar än den förra. Det är därför svårt att dra sära slutsatser av jämförelsen mellan sattningar presenterade i tabell 3 oc 4. Tabell 6.3. Jämförelse mellan alva 95%-iga onfidensintervallets bredd för sattningar av procenttal baserade på HT-estimatorn oc KAL-estimatorn Program Ja Planer på att börja läsa på universitet/ögsola? Differens HT KAL HT-KAL Inte best. Nej Ja Inte best. Nej Ja Inte best. Samtl pgm Kvinnor Män Barn- oc fritid Bygg El Energi Estetisa Fordon Handel Hantver Hotell Industri Livsmedel Medie Naturbru Naturvetensap Kvinnor Män Omvårdnad Samällsvetensap Kvinnor Män Teni För de flesta cellsattningarna ser vi en minsning av det sattade medelfelet även om storleen på minsningen är obetydlig. Nej

33 Tabell 6.4. Jämförelse mellan alva 95%-iga onfidensintervallets bredd för sattningar baserade på HT-estimatorn oc KAL-estimatorn vid sattning av antal elever i olia program. Program Differens HT KAL HT-KAL Samtl pgm Kvinnor Män Barn- oc fritid Bygg El Energi Estetisa Fordon Handel Hantver Hotell Industri Livsmedel Medie Naturbru Naturvetensap Kvinnor Män Omvårdnad Samällsvetensap Kvinnor Män Teni Den stora redutionen av medelfel visas alltså i sattningen av totala antalet elever på olia program. I själva veret ar vi inget urvalsfel för de sattningar som ocså används som jälptotaler. Däremot är medelfelen större än noll vid sattning av antalet män resp. vinnor inom ett specifit program. Det beror på att vi inte använt jälptotaler från orstabellen ön*program utan endast marginalsummorna. Sälet till att vi inte använt den informationen är att antalet observationer blev för litet i vissa celler. (Det bör doc vara möjligt att inför nästa undersöning göra en mer ingående analys av tabellplanen. Det sulle unna leda till att t.ex. endast programmen naturvetensap oc samällsvetensap delas upp på ön i jälpinformationen.)

34 I de fall medelfelen är större än noll för KAL-estimatorn ar vi beränat omponenterna i variansen. För naturvetensap, vinnor (lia för män) utgör bortfallsvariansen 22.7 % av den totala variansen oc för samällsvetensap, vinnor (lia för män) är motsvarande siffra 32.2 % Redution av täcningsfelen Som vi ar påpeat tidigare så bestod urvalsramen av årsurs-två-registret oc vi ar i estimationen använt en preliminär version av årsurs-treregistret. Nu finns det slutliga registret som vi an göra jämförelser med. Det slutliga registret utgör en mycet god besrivning av målpopulationen. Vi antog, efter ontater med den produtansvarige för registret, att den preliminära versionen av årsurs-tre-registret var tillräcligt bra för att unna användas i estimationen (i slutet av januari). Låt oss titta på i vilen mån vårt antagande var ritigt. Den slutliga versionen inneåller elever oc 40 av dessa finns inte i den preliminära versionen. Dessutom inneöll den preliminära versionen 155 elever som inte sa vara med. Det är alltså en mycet god överensstämmelse. Särsilt tydligt blir detta när vi jämför med urvalsramen. Den gemensamma delen mellan urvalsramen oc den slutliga versionen är elever. Antalet elever som tillör övertäcningen är 7784 oc antalet i undertäcningen är Låt oss ocså titta på ur sillnaden mellan den preliminära versionen oc den slutliga fördelar sig på program.

35 Tabell 6.5. Sillnaden mellan den preliminära oc den slutliga versionen fördelad på program. Program Preliminär Slutlig Differens Barn- oc fritid Bygg El Energi Estetisa Fordon Handel Hantver Hotell Industri Livsmedel Medie Naturbru Naturvetensap Omvårdnad Samällsvetensap Teni Även tabell 6.5 visar att alibrering av viter med anpassning mot totaler i den preliminära versionen ger nästan perfeta sattningar av totalerna. Vid bedömning av täcningsfelens storle vid totalsattningar ger alltså tabell 6.2 tillförlitlig information. Undantag utgör uppgiften om antalet män oc vinnor som ingår i programmen naturvetensap oc samällsvetensap. De uppgifterna är ocså beäftade med urvalsfel. Tabell 6.2 visar att HT-estimatorn ger en översattning på 4360 elever. Om det inte vore någon sillnad i svarsbenägenet (inom varje stratum) mellan elever tillörande målpopulationen oc övertäcningen sulle HT-estimatorn (3.1) ge en undersattning motsvarande storleen på undertäcningen (2565). Nu är inte svarsbenägeneten lia stor; av de som tillör målpopulationen svarar 82.8 % (ovitat) oc av de som tillör övertäcningen 44.6 % (ovitat). En annan förlaring till översattningen är att övertäcningen är betydligt större än undertäcningen. Den raftigaste översattningen erålls när ingen svarar i övertäcningen, d.v.s. m \ p = 0. Då ommer antalet elever att sattas till

36 6.5. Förbättrad onsistens mellan sattningar oc registerdata Tidigare år ar HT-sattningar presenterats i mars oc uppgifter från årsurstre-registret ett par månader senare. HT-sattningarna av antal elever i t.ex. varje program ar då inte överensstämt med uppgifterna från registret. Användningen av KAL-estimatorn eliminerar denna inonsistens för de flesta jämförbara storeter. En viss liten sillnad erålls visserligen p.g.a. att vi endast ar tillgång till en preliminär version av årsurs-tre-registret. Föroppningsvis är det möjligt att ommande år ytterligare minsa sillnaden mellan den version som finns vid estimationstillfället oc den slutliga versionen. 7. Slutsatser Objetsbortfallet i undersöningen är ca 26 % oc bortfallsanalysen indierar att bortfallet är snedvridande. I analysen ar vi tagit med både jälpvariabler som anger en diret egensap os gymnasieungdomar samt några av vårdnadsavarens egensaper. Till den första gruppen variabler ör ön, bostadsort, programtillöriget oc slutbetyg i årsurs 9. Till den senare gruppen ör födelseland, utbildningsnivå oc inritning samt civilstånd. Vi onstaterar att framför allt ön, vårdnadsavarens utbildningsnivå, vårdnadsavarens civilstånd oc elevens slutbetyg i årsurs 9 är variabler som är vitiga för att besriva variationen i svarsbenägeneten. Det är särsilt vitigt att itta stara sådana variabler eftersom det reducerar bortfallsbiasen för alla sattningar. I våra försö att itta variabler som förlarar variationen i vitiga målvariabler onstaterar vi att de variabler som förlarar svarsbenägeneten ocså är vitiga är. Dessutom stärer variabeln vårdnadsavarens födelseland sin position att ingå i den slutliga jälpvetorn. Variablerna risområde, ön oc program sa användas för uppdelning av redovisningsgrupper oc bör därför vara med i jälpvetorn. Detta tredje riterium ledde till att ocså ta med risområde oc program. I undersöningen presenteras sattningar av både procenttal oc antal. I SMet utgör uvuddelen procenttal oc i SSD är det enbart antal. Den tidigare använda estimatorn översattar antalet elever i årsurs tre med 5.4 %, vilet naturligtvis ocså i varierande grad gäller övriga antalssattningar. Översattningen beror på att övertäcningen är mycet större än undertäcningen oc att svarsbenägeneten är mycet lägre bland elever som tillör övertäcningen än de som tillör målpopulationen.

37 Kalibreringsestimatorn ger exata sattningar för många antalsparametrar. För andra antalsparametrar an man räna med att urvalsfelet, bortfallsfelet oc täcningsfelet ar reducerats. Kalibreringsestimatorn reducerar ocså problemet med att sattningarna i undersöningen inte överensstämmer med statisti baserad på årsurs-treregistret. Sattningar av voter, t.ex. procenttal, påveras inte i lia ög grad av nämnda svaget, eftersom felen finns både i täljare oc nämnare oc det fatum att felen vanligtvis går åt samma åll. Därför blir det ofta mindre sillnad mellan metoder vid sattning av voter än vid sattning av totaler (antal). Det syns ocså i denna undersöning. Kalibreringsestimatorn reducerar ocså variansen mer för antalssattningar är för votsattningar. I denna undersöning är det inte ens troligt att det blir någon minsning av variansen för den senare parametertypen. Referenser Cocran (1963). Sampling Tecniques. Wiley & Sons. UF 36 SM Övergång gymnasiesola-ögsola. Lundström, S. (1997). Calibration as a standard metod for treatment of nonresponse. Stocolm University. Lundström, S. and Särndal, C.E. (1999). Calibration as a standard metod for treatment of nonresponse. Journal of Official Statistics, 15, Lundström, S. and Särndal, C.E. (2001). Estimation in te Presence of Nonresponse and Frame Imperfections. Statistics Sweden. Bilaga A: Variansestimator för alibreringsestimatorn Vi anpassar variansestimator (11.3.6) i Lundström oc Särndal (2001) till designen STOSU oc med uppdelning på termerna Vˆ oc Vˆ : SAM NR