sfi Uppföljning av nationellt sfi-prov 18 Kortfattad rapport med reaktioner och resultat

sfi Uppföljning av nationellt sfi-prov 18 Kortfattad rapport med reaktioner och resultat Grazyna Bartholdson och Ingrid Skeppstedt Centrum för tvåspråkighetsforskning Stockholms universitet Skolverket 2006

Innehållsförteckning 1. Prov nummer 18: Innehåll och upplägg...3 1.1 Inledning...3 1.2 Utgångspunkter vid provkonstruktionen...3 1.3 Provets delar och teman...4 1.4 Provets receptiva delar...4 1.4.1 Häfte A och C...4 1.4.2 Häfte B...5 1.5 Provets produktiva delar...6 1.5.1 Häfte C och D...6 1.5.2 Häfte E...6 2. Insänt material...7 2.1 Beställda prov...7 2.2 Inskickat material...7 2.3 Åsikter om provet...9 2.3.1 Provets receptiva delar: Häfte A och C...9 2.3.2 Provets receptiva delar: Häfte B...9 2.3.3 Provets produktiva delar: Häfte C och D...9 2.3.4 Provets produktiva delar: Häfte E...10 2.3.5 Övergripande frågor i enkäten...10 2.3.6 Övriga kommentarer, synpunkter och förslag inför kommande prov...10 2.3.7 Användning av tidigare sfi-prov i Skolverkets provbank...10 3. Resultat...11 3.1 Kort om testtagarna i urvalet...11 3.2 Resultat för provets receptiva delar...12 3.2.1 Häfte A och C...12 3.2.2 Häfte B...13 3.3 Resultat för provets produktiva delar...14 3.3.1 Häfte C (skrivuppgiften) och D...14 3.3.2 Häfte E...15 3.3.3 Resultat på hela provet...16 4. Sammanfattning...21

1. Prov nummer 18: Innehåll och upplägg 1.1 Inledning Sfi-prov 18 började distribueras till sfi-anordnarna i april 2005 och användes sedan åtminstone fram till november 2005 då version 19 blev klar. Provet är inte bundet till en viss tidsperiod utan kan användas närhelst behov föreligger. Prov 18 är sekretessbelagt i tre år (sekretesslagen 4 kap. 3 ) d.v.s. fram t.o.m. 31 juli 2008. Syftet med rapporten är att ge en återrapportering till de lärare som använt provet samt att i någon mån och så långt det går, p.g.a. sekretessbestämmelser, föra ett didaktiskt resonemang kring provet. I rapporten beskrivs provets uppläggning och vilka uppgiftstyper som finns representerade. En mer utförlig beskrivning görs för de receptiva delarna av provet. Vidare redovisas en uppföljning av prov 18, baserad på insänt material i form av elevprov och lärarenkäter. Antalet insända elevprov kommenteras och en jämförelse görs mellan deltagarnas tidigare skolbakgrund för de insända proven och för den totala elevpopulationen i sfi. De insända provresultaten jämförs med tidigare provversioner och lärarnas reaktioner finns redovisade i form av en sammanställning. 1.2 Utgångspunkter vid provkonstruktionen Utgångspunkter för provkonstruktionen är de styrdokument som reglerar sfi-undervisningen 1. Sfi-provets roll är att utgöra ett stöd för lärare i betygsättningen. Provresultatet ska tillsammans med andra belägg för den studerandes prestationer som dokumenterats under kursens gång, fungera som ett av flera underlag för betygsättning. Av de fyra mål som kursplanen för kurs D ställer upp är det huvudsakligen förmågan att kunna kommunicera muntligt och skriftligt i olika situationer i vardags-, samhälls- och arbetsliv (SKOLFS 2002:19) som prövas genom provet. Till grund för provkonstruktionen ligger en syn på språk som meningsskapande verktyg som används på ett varierande sätt i enlighet med krav och förutsättningar i olika sociala sammanhang och situationer. Språket ses som en flexibel resurs för meningsskapande som ger språkanvändaren möjlighet att göra socialt relevanta och adekvata språkliga val i förhållande till den aktuella kommunikativa situationen. Det är väsentligt att inlärarnas språkbehärskning prövas på ett mångfasetterat sätt. Intentionen är att provuppgifterna ska vara så naturliga som möjligt, d.v.s. att de är så utformade att de ska likna uppgifter som var och en kan ställas inför i sitt dagliga liv, t.ex. att delta i både informella och formella samtal, att läsa igenom annonser för att söka efter viss information eller skriva ett brev eller ett meddelande till någon. En strävan efter verklighetsanknytning tar sig också uttryck i den tematiska uppbyggnaden av provet (häfte A och C) genom att de uppgifter som följer på varandra är innehållsmässigt sammanlänkade. Flera olika aspekter på språkbehärskning och samhällsorientering är integrerade i samma uppgifter och inom enskilda komponenter i provet. Provet är alltså i princip inte uppbyggt för att isolerat i sina olika delar pröva grammatisk kunskap för sig, sociolingvistisk kunskap för sig o.s.v. Grundtanken är att uppgifterna genom sin integrerade karaktär ska leda till att provet blir mer verklighetsnära än om de enskilda uppgifterna enbart fokuserar på isolerade kunskaper och färdigheter. En utförlig beskrivning av den modell för språkbehärskning som ligger som grund för provkonstruktionen finns i provets lärarhandledning (s. 6 14). 1 Förordning om kursplan för svenskundervisning för invandrare 1994: 895, Kursplan i svenskundervisning för invandrare SKOLFS 2002: 19 och Skolverkets föreskrifter om betygskriterier för betyget Godkänd SKOLFS 2004:10. 3

1.3 Provets delar och teman Provet består av fem häften: Häfte A Tema: Familj och relationer Läsförståelse, ordkunskap och samhällsorientering Häfte B Hörförståelse, ordkunskap och samhällsorientering Häfte C Tema: Olika val i livet Läsförståelse, ordkunskap, samhällsorientering och skriftlig produktion Häfte D Skriftlig produktion Häfte E Muntlig interaktion och produktion 1.4 Provets receptiva delar 1.4.1 Häfte A och C 2 I häfte A och C integreras läsförståelse, ordkunskap och samhällsorientering. För att kunna läsa, förstå och tillgodogöra sig texter måste man ha kunskap om grammatik, ha ett tillräckligt stort ordförråd, ha kunskap om samhällslivet och också veta hur texter byggs upp. Intentionen är att texterna skall vara så autentiska som möjligt och vara exempel på texter som var och en möter i olika situationer i samhälls-, vardags- och arbetsliv. Uppgifterna är konstruerade för att bedöma testtagarnas förmåga att kunna läsa utifrån olika syften: att förstå innehållet, att förstå övergripande tankegångar, att tolka diagram och tabeller, att ta ställning till innehåll, att söka information, att hitta detaljinformation etc. Tre olika uppgiftsformat har använts i prov 18: Kortsvar (SAQ: Short answer questions), d.v.s. frågor där testtagaren själv formulerar sitt svar. Det kan handla om att svara på frågor om en text, en tabell eller ett diagram, men också om att fylla i en blankett. Flerval (MCQ Multiple-choice questions), d.v.s. uppgifter där testtagaren väljer mellan ett antal på förhand givna alternativ till varje fråga. Matchning, d.v.s. uppgifter där testtagaren ska para ihop ett antal enheter (ord, fraser, delar av meningar, textsnuttar etc.) med ett givet antal andra enheter (ord, fraser, rubriker, genrer, syften etc.). 2 Häfte C innehåller en produktiv del i form av en kort skrivuppgift som ingår i häftets tema, men som inte tas upp här (se vidare s. 6 i provets produktiva delar). 4

Tabell 1: Texttyper, uppgifter och uppgiftsformat häfte A och C Texttyp Uppgift Kortsvar Flerval Matchning Tidningsartikel att besvara frågor på textens 2 3 innehåll Frågeställningar/rubriker/ att läsa och kategorisera 5 webbsida innehållet i text efter ämnesområde Dikt att läsa och förstå författarens budskap, tolka nyanser 2 Programpresentation Horoskop Notis/meddelande Faktatext/lagtext Insändare Diagram Intervjuer/svar på fråga Blankett Tabell Intervjuer/svar på fråga Information/råd att identifiera olika texttyper/ genrer att läsa och tolka diagram, hitta och återge relevant information att tolka intervjuade personers inställning att läsa och förstå en blankett, fylla i efterfrågad information att läsa och tolka en tabell, hitta och återge relevant information att förklara betydelsen av speciella ord och uttryck att identifiera sambandsmarkörer i en given kontext 1.4.2 Häfte B Häfte B fokuserar främst på hörförståelse. Förståelse av talat språk förkommer åtminstone i två typer av situationer dels när vi lyssnar på sammanhängande tal, t.ex. ett radioprogram eller högtalarutrop där vi inte kan påverka situationen, dels i samtal med andra personer där vi måste förstå vad de talar om men där vi kan påverka situationen, t.ex. genom att be om upprepning eller begära förtydliganden. De inspelade texterna i häfte B är exempel på sammanhängande tal och även här är strävan att texterna ska vara så autentiska som möjligt och hämtade från samhälls-, vardags- och arbetsliv. Uppgifterna till texterna avser att pröva elevernas förmåga att uppfatta och förstå sammanhängande tal: att förstå vad ett samtal/program handlar om, att avgöra vilka åsikter och argument som framförs eller att uppfatta speciell detaljinformation. Hörförståelse prövas även i häfte E men då i samtal, d.v.s. i en situation där testtagaren mer kan påverka situationen. Uppgiftsformatet för hörförståelsen i häfte B är samma som i häfte A och B nämligen Kortsvar, Flerval och Matchning. Tabell 2: Texttyper, uppgifter och uppgiftsformat häfte B 1 2 Texttyp Uppgift Kortsvar Flerval Matchning Korta berättelser utifrån givna att besvara frågor om 10 frågor innehållet Längre berättande samtal att besvara frågor om texternas 3 3 innehåll och om personernas inställning och åsikter Korta informativa avsnitt från radioprogram att hämta och redogöra för efterfrågad information 4 7 3 10 4 3 5 4 10 16 14 5 4 5

1.5 Provets produktiva delar 1.5.1 Häfte C och D I provet ingår två skrivuppgifter, en kort som ingår i häfte C och en längre skrivuppgift i häfte D. Kursplanens mål för den skriftliga förmågan, kurs D, är att testtagaren ska kunna uttrycka sig tydligt och begripligt, och förmedla personliga synpunkter och åsikter i sammanhängande skrift (SKOLFS 2002:19). Skrivuppgifterna är hämtade från så autentiska skrivsituationer som möjligt i samhälls- vardags- och arbetsliv. Skrivuppgiften i häfte C, som har temat Olika val i livet, kan definieras som en relativt formell uppgift, nämligen att skriva till ett telefonbolags kundtjänst. Testtagarnas skriftliga produktion i den korta skrivuppgiften poängsätts med 4, 2 eller 0 poäng. För att få fyra poäng krävs ( ) en text som är innehållsligt och sociolingvistiskt adekvat. Vissa stav-, form- och syntaxfel kan dock förekomma, särskilt när testtagaren uttrycker sig komplext. (Bedömningskriterier, Lärarhandledning prov 18 s. 22). Utgångspunkten för den långa skrivuppgiften i häfte D är ett insändarbrev och testtagarnas uppgift är att besvara brevet. Tonen i insändaren är ganska informell, men det faktum att svaret är tänkt att publiceras i en tidning, d.v.s. har en vidare läsekrets, innebär dock en viss grad av formalitet jämfört med ett privat brev. Testtagarnas skriftliga produktion i den långa skrivuppgiften bedöms utifrån innehåll, formell språklig kompetens och skriftspråksnormer och poängsätts med 16, 12, 8, 4 eller 0 poäng. 12 poäng ges för en text som överensstämmer med kraven i betygskriterierna. För att bli godkänd på hela provet krävs sammanlagt minst 10 poäng för de två skriftliga uppgifterna. 1.5.2 Häfte E I häfte E prövas testtagarnas muntliga förmåga dels genom ett enskilt samtal, dels genom ett parsamtal. Enligt målen för kurs D skall eleven kunna kommunicera muntligt i olika situationer i vardags-, samhälls- och arbetsliv. Enligt betygskriterierna betyder detta att ( ) eleven ska kunna delta aktivt i samtal och diskussioner, kunna uttrycka sig tydligt och begripligt och med en viss språklig variation i sammanhängande tal och skrift och uttrycker därvid personliga synpunkter och åsikter. (SKOLFS:2002:19). Tanken bakom att ha både ett enskilt samtal och ett parsamtal är att testtagaren i det enskilda samtalet får större utrymme och möjlighet att visa sin förmåga att uttrycka sig sammanhängande medan hon/han i parsamtalet får större möjlighet att visa sin interaktiva förmåga. Det enskilda samtalet i prov 18 handlar om språklig medvetenhet och om att lära sig ett nytt språk. Testtagare ombeds, utifrån olika aspekter av språklig kompetens, att berätta om och reflektera över hur man kan förbättra sitt språk. I parsamtalet får testtagarna en fråga (av ett antal varianter) som handlar om vad man kan tänka på när man ska handla eller välja något. Som stöd för samtalet har testtagarna en tankekarta. Testtagarnas muntliga produktion och interaktion bedöms utifrån innehåll och interaktion, formell språklig kompetens och språkanvändning och strategier. Samtalen poängsätts med 20, 15, 10, 5 eller 0 poäng och där 15 poäng ges för en prestation som överensstämmer med bedömningskriterierna. För att bli godkända på hela provet krävs att testdeltagarna har sammanlagt minst 25 poäng på de muntliga uppgifterna. 6

2. Insänt material 2.1 Beställda prov Antalet beställningar har under de senaste åren sjunkit. Prov 18 har beställts i 7 030 ex. av 259 sfi-anordnare runt om i landet vilket är det lägsta antalet beställningar hittills. Fram till prov 13 var volymen av beställningar mycket stabil (vilket framgår av tabell 3). En tänkbar orsak till nedgången efter prov 13 kan eventuellt vara de nya kursplanerna för sfi som infördes 2002. Kanske har dessa inneburit att elever avslutar sina sfi-studier efter kurs B (studieväg 1) eller kurs C (studieväg 2) och att antalet elever som fullföljer hela sfi-utbildningen idag har minskat. Under våren 2006 gör Skolverket på uppdrag av regeringen en utvärdering av hur kommunerna tillämpar de kursplaner för svenskundervisning för invandrare som gäller sedan den 1 januari 2003. Redovisningen kommer att innehålla uppgifter om hur kursplanerna påverkat utbildningens organisation och uppläggning och hur genomströmning och fullföljandegrad har påverkats av de nya kursplanerna. Uppdraget, som kommer att redovisas hösten 2006, kommer att tillföra värdefull och förhoppningsvis klargörande information i denna fråga. Tabell 3: Beställningar, prov nr 5 18. Antal prov Antal sfianordnare Nr 5 Nr 6 Nr 7 Nr 8 Nr 9 Nr 10 Nr 11 Nr 12 Nr 13 Nr 15 Nr 16 Nr 17 Nr 18 8 000 7 600 8 000 8 200 8 100 8 300 8 000 8 100 8 100 7 400 7 687 7 385 7 033 230 217 236 235 260 238 270 252 273 267 275 270 259 Obs! Underlag för prov 14 saknas Antalet beställda prov ger i sig ingen information om hur många elever som faktiskt har genomfört provet. Många sfi-anordnare beställer fler prov än det faktiska behovet dels för att det kan vara svårt att uppskatta hur många elever som kommer att genomföra provet, dels för att proven inte är tidsbundna och alltså kan användas under en längre period. 2.2 Inskickat material För prov 18 begärdes in, liksom för tidigare prov, ett visst antal elevprov och inspelade och bedömda elevsamtal för uppföljning och analys. I provmaterialet medföljer också en lärarenkät med en uppmaning att till provkonstruktören förmedla erfarenheter av och synpunkter på respektive prov. 7

Tabell 4: Inskickat material, prov nr 5 18. Antal lärarenkäter Antal sfianordnare som skickat lärarenkäter Antal elevprov Antal sfianordnare som skickat elevprov Antal sfianordnare som skickat band Antal sfianordnare totalt i materialet Andel av beställarna som skickat något Nr 5 Nr 6 Nr 7 Nr 8 Nr 9 Nr 10 Nr 11 Nr 12 Nr 13 Nr 14 Nr 15 Nr 16 Nr 17 Nr 18 123 122 109 110 86 106 112 116 70 71 81 108 83 62 88 68 64 67 64 70 70 71 49 57 57 70 53 50 291 271 278 267 167 226 211 214 134 146 170 188 130 121 83 70 64 69 61 64 67 71 43 53 56 64 58 49 51 30 24 31 25 32 36 33 18 28 25 25 26 15 100 71 69 78 70 75 79 78 76 59 61 73 61 55 45% 33% 29% 33% 27% 32% 29% 31% 21% * 23% 26% 23% 21% *Denna uppgift kan inte beräknas för prov 14 p.g.a. avsaknad av data. Av tabell 4 framgår att det är allt färre sfi-anordnare och lärare som skickar in både provresultat och synpunkter på provet. Antalet inskickade lärarenkäter och elevprov för prov 18 är det lägsta någonsin. Resultatet är anmärkningsvärt och visar en oroande tendens. Det finns ingen statistik på antalet genomförda prov i landet. Andelen inskickade prov och lärarenkäter är med största sannolikhet alltför liten, i förhållande till genomförda prov, för att man ska kunna dra några säkra slutsatser av de analyser som görs av resultaten. Detta begränsar möjligheterna för provkonstruktören att få den information om hur provet fungerat som är avgörande för en kontinuerlig utveckling och förbättring av provet. Anordnarna är ombedda att skicka in samtliga elevhäften från var tionde elev plus den sista eleven på klasslistan och ett kassettband med exempel på två elevers muntliga produktion. I det inskickade materialet för prov 18 finns både elevprov och lärarenkäter från de flesta sfi-anordnare medan få har skickat in band. Det finns också sfi-anordnare som skickat in lärarenkäter men inga elevprov. Dessa sfi-anordnare har fått ett brev och ett påpekande att det saknas elevprov. Antal elevprov i förhållande till antal lärarenkäter är förvånansvärt lågt. En orsak är naturligtvis att antalet provtagare är litet i små kommuner. Det vore önskvärt att inför uppföljningen av prov 19 göra en mindre undersökning för att få information om orsaken till det minskande antalet inskickade elevprov och lärarenkäter. 8

2.3 Åsikter om provet De här redovisade åsikterna om provet grundar sig på 62 inkomna lärarenkäter från 50 olika sfianordnare. 2.3.1 Provets receptiva delar: Häfte A och C 3 Uppfattningen om häftena A och C framstår i huvudsak som positiv i de inskickade lärarenkäterna. Alla uppskattar den tematiska uppläggningen av provet, d.v.s. 92 procent tycker att temaupplägget är bra och övriga att det är acceptabelt. De flesta anser också att innehållet i delarna är relevant/bra och övriga att det är acceptabelt. Det är aktuella teman, skriver några lärare. En stor andel av lärarna, 81procent, tycker att svårighetsgraden är lagom, men 16 procent påpekar att uppgifterna känns svårare jämfört med tidigare prov. Det finns svåra ord och uttryck som de kanske aldrig har träffat på. Uppgift 9, som innebär att eleverna ska avgöra vad ett antal personer anser om den ökade valfriheten i samhället, upplevdes av många testtagare som mycket svår. Lösningsproportionen på uppgiften är dock 0,76. Några lärare tycker att tiden, särskilt för häfte A är för kort, speciellt för långsamma läsare. Kunde gärna ha varit 60 minuter, Mycket text att läsa för dem, det tog tid. 2.3.2 Provets receptiva delar: Häfte B Nästan alla lärare är positivt inställda till hörförståelsedelen och uppgifterna upplevs som klara och tydliga. En lärare skriver: Mycket bra denna gång. Tydligt, avgränsade uppgifter och god kvalité på CD. och en annan: Bra innehåll men en del elever missade upplägget trots att de förstod innehållet. Vissa lärare anser att uppgifterna var för lätta i motsats till testtagarna som tyckte att de var svåra. Endast två lärare visar någon negativ åsikt. De tycker att den första uppgiften om valfrihet kändes rörig och därför var mindre bra. 2.3.3 Provets produktiva delar: Häfte C och D Skrivuppgifterna i prov nr. 18 uppfattas som relevanta/bra av 87 procent av lärarna. Flera anser att båda uppgifterna tar upp aktuella skrivsituationer och ämnen. Den korta skrivuppgiften anses av vissa lärare vara mer lämplig som en muntlig uppgift. Några lärare har bytt ut en av uppgifterna eller låtit testtagarna göra en extra uppgift p.g.a. att de fått kännedom om uppgifterna av elever som gjort provet tidigare. En del lärare anser att instruktionen i lärarhandledningen inte stämmer överens med instruktionen som testtagarna får. En lärare föreslår att det bör finnas möjlighet att välja bland minst två alternativ för varje uppgift eftersom en del testtagare har haft svårt att identifiera sig speciellt med en av uppgifterna. På frågan om uppgifternas svårighetsgrad svarar 93 procent att de är lagom svåra och 5 procent anser att de är för svåra. Exempelbedömningarna i lärarhandledningen anses vara rimliga av 93 procent och nästan samtliga anser dessutom att exemplen är till hjälp vid den egna bedömningen. Fyra av fem menar att de är till god hjälp, övriga att de är till viss hjälp. Flera efterlyser en typisk 16-poängstext och vill också ha fler exempel på 8-poängstexter. Från och med prov 13 har eleverna 60 minuter för att genomföra den långa skrivuppgiften mot tidigare 45 minuter. De flesta anser att denna tid är lagom lång, och övriga 15 procent att tiden är i överkant. Ingen tycker att tiden är för kort. Nästan samtliga lärare, det vill säga 98 procent, anser att det är bra med två skrivuppgifter: Då får eleverna en chans att visa att de kan/inte kan, Det ger variation. 3 Förutom den korta skrivuppgiften. 9

2.3.4 Provets produktiva delar: Häfte E Ungefär hälften av lärarna anser att båda uppgifterna i den muntliga delen av provet fungerar bra, ungefär en fjärdedel att de är acceptabla, och 21 procent tycker att de fungerar mindre bra. Lärarna är generellt positiva till paruppgiften medan uppfattningarna om den enskilda muntliga uppgiften är mindre positiva jämfört med tidigare prov. Flera anser att urvalet av samtalsämnen för den enskilda uppgiften är för abstrakta, svåra att samtala om, och de efterlyser mer engagerande samtalsämnen där testtagarna mer får möjlighet att utrycka sina åsikter. Många lärare tycker att testtagarna har haft svårt att reflektera, hålla sig till ämnet och svårt att finna argument. En lärare skriver: Flera elever hade svårt att prata om detta och en lärare anser att Uppgiften gav ungefär samma svar oberoende av vilket alternativ de fått. Åsikterna om paruppgiften är genomgående positiva och lärarna anser att samtalsämnena fungerar mycket bra, de är lätta att prata om och de engagerar testtagarna. Att ha tankekartor som stöd för samtalet uppskattas av alla lärare utom en som har haft negativa erfarenheter. Stressade elever låste sig vid dem trots instruktionen. En lärare uppger att hon/han inte har genomfört de muntliga uppgifterna med följande argument: Det är omöjligt att göra det med ungdomar eller snarare svårt att sysselsätta de andra ungdomarna under tiden. En annan skriver att de muntliga uppgifterna inte genomfördes p.g.a. att vissa testtagare i förväg fått kännedom om provets samtalsämnen. När det gäller exempelbedömningarna anser 94 procent av lärarna att de är rimliga. En lärare anser att exempelbedömningarna av samtalen på cd-skivan är något strängare bedömda än tidigare. Det är dock viktigt att påpeka att bortfallet för frågan om exempelbedömningarna var stort, 15 procent, vilket kan vara ett tecken på att många lärare inte lyssnat på cd-skivan och tagit ställning till dessa bedömningar. 2.3.5 Övergripande frågor i enkäten I stort sett alla lärare anser att provet speglar kursplanens ämnessyn, 83 procent, i hög grad, 14 procent till viss del och att de får stöd av provet vid betygsättningen, 81 procent anser att de får gott stöd, övriga visst stöd. Majoriteten tycker att gränsen för Godkänd på provet är lagom, 2 procent tycker att den ligger för lågt och 6 procent att den ligger för högt. Av de fyra förslag på annan gräns för Godkänd som angivits föreslår en lärare att gränsen för Godkänd bör ligga på 60 procent, två lärare på 65 procent och en lärare på 75 procent. 2.3.6 Övriga kommentarer, synpunkter och förslag inför kommande prov Under övriga kommentarer anser de flesta att provet är bra, att det är relevant, mäter vad det avser att mäta och att det motsvarar testtagarnas förväntningar. De senaste åren har proven varit mycket bra om man jämför med de första tio. Speciellt prov 16, och 17 var mycket bra. När det gäller förslag inför kommande prov önskar några mer tid för häfte A och C, en önskar mer tid för samtliga uppgifter. En lärare vill att skrivuppgifterna ska anpassas också till ungdomar. Två lärare har kommenterat poängberäkningen: Jag tycker att ni ska rekommendera 70 procent på den receptiva delen, inte bara på hela provet eftersom det finns en minimigräns på de produktiva uppgifterna och Jobbigt att vissa delar är mycket strikta i poängberäkningen, medan en så stor del (40 poäng i del E) är så svårbedömd. 2.3.7 Användning av tidigare sfi-prov i Skolverkets provbank I enkäten finns en fråga om de tidigare sfi-proven i Skolverkets provbank används. Frågan besvarades av 60 lärare och alla har använt proven men i varierande omfattning, allt från ett prov till alla. Vissa lärare väljer att låta eleverna öva på en viss typ av uppgifter, t.ex. skriv- eller hörförståelseuppgifter. Lärarna anser att det är ett bra övningsmaterial och påpekar också att eleverna uppskattar att få bekanta sig med provet i förväg. Flera lärare tipsar eleverna om 10

provbanken och rekommenderar dem att ladda ned proven från Internet och öva. Att ha arbetat med proven skapar en viss trygghet hos eleverna vilket är till stor hjälp för dem inför den verkliga provsituationen. En lärare påpekar att vissa prov innehåller en del felaktiga eller inaktuella uppgifter och föreslår att dessa uppgifter tas bort. 3. Resultat De resultat som redovisas bygger uteslutande på de 121 elevprov från 49 olika sfi-anordnare som skickats in till provkonstruktören. Materialet är mycket begränsat och resultaten bör därför tolkas med stor försiktighet. 3.1 Kort om testtagarna i urvalet Urvalsgruppen på 121 testtagare består av 69 procent kvinnor vilket är en högre andel än i de tre föregående proven (15, 16, 17). Det är en ganska ung grupp där mer än hälften, 54 procent, är mellan 17 och 30 år. Testtagare under 20 år utgör 10 procent av det totala antalet. 47 procent av testtagarna har ett germanskt, romanskt eller något annat europeiskt språk som modersmål. Testtagare med turkiska, arabiska, persiska, assyriska utgör cirka 32 procent. De vanligast förekommande modersmålen bland testtagarna är arabiska (17 %), turkiska-kurdiska (8 %), bosniskakroatiska-serbiska (7 %), spanska (6 %), ryska (6 %) och polska (6 %). 26 procent av testtagarna är flyktingar, 14 procent är tillståndssökande och 60 procent tillhör gruppen övriga invandrare. I de av testledarna ifyllda blanketterna angående testtagarnas bakgrundsvariabler är bortfallet för uppgiften om utbildningsbakgrund högt, 12 procent. För övriga uppgifter förekommer nästan inget bortfall vilket tyder på att testledarna har dålig kännedom om testtagarnas utbildningsbakgrund. Många testtagare, 46,7 procent har en relativt god utbildningsbakgrund, det vill säga 10 13 års utbildning. 35,5 procent av provtagarna har fjorton års utbildning eller längre och 5,6 procent av eleverna saknar utbildning eller har upp till sex års utbildning från ursprungslandet. Tabell 5: Testtagarnas utbildningsbakgrund för inskickade prov för prov nr 18 och för den totala elevpopulationen inom sfi (våren 2005) Utbildningsbakgrund Inskickade elevprov, prov nr 18 0 6 år 7 9 år 10 13 år 14+ år Totalt 5,6 % 12,1 % 46,7 % 35,5 % 100 % (121) Samtliga elever inom sfi, våren 2005 22 % 17 % 34 % 27 % 100 % (47 604) En jämförelse mellan testtagarnas utbildningsbakgrund i de inskickade proven och i hela sfi-populationen visar att testtagargrupperna med låg utbildningsbakgrund är underrepresenterade och testtagargrupperna med en högre utbildningsbakgrund är överrepresenterade i det inskickade materialet. Detta är i sig inte särskilt uppseendeväckande. Fördelningen av testtagarna i de fyra utbildningsgrupperna har varierat vid olika insamlingstillfällen. Den bild man får vid en jämförelse över tid visar att det, både vid utprövningstillfällena inför prov och i det insamlade provmaterialet, skett en viss förändring av elevsammansättningen när det gäller utbildningsbakgrund. 11

Figur 1: Fördelning av testtagare i prov 2 till 18 efter utbildningsbakgrund Figur 1 visar att gruppen med utbildningsbakgrund 0 6 år har varit den mest stabila gruppen trots en markant nedgång vid prov 18. Under perioden mellan prov 2 och 18 har gruppen med 7 9 års utbildningsbakgrund minskat med ca tio enheter medan gruppen högutbildade testtagare (14+) har ökat ca tio enheter. Gruppen med 10 13 års utbildningsbakgrund har varierat mest, mellan 51 procent vid prov 3 och 34 procent vid prov 12. 3.2 Resultat för provets receptiva delar Resultaten presenteras i diagram, tabeller och text. Poängfördelningen visas i stapeldiagram. Eftersom provet bör ges när eleven har nått målen för kurs D och inte vid ett fastställt datum kan en viss tyngd förväntas att ligga åt höger i bilden. 3.2.1 Häfte A och C 4 Häftena A och C omfattar 10 uppgifter med 41 deluppgifter. Uppgift 1 F, som skulle ha strukits men felaktigt kom med i slutversionen, har korrigerats i efterhand genom en rättelse på Skolverkets webbsida www.skolverket.se. Resultatet baseras alltså på 40 deluppgifter. Fördelningen av poäng för samtliga testtagare för häfte A och C framgår av figur 2: 4 Förutom den korta skrivuppgiften. 12

Figur 2: Poängfördelning för häfte A och C 5 Medelvärdet av lösningsfrekvensen för uppgifterna i häfte A och C är 29 poäng. 56 procent av testagarna har en lösningsfrekvens på 29 poäng eller mer. Lösningsproportionen för häftena A och C är 0,72 vilket motsvarar resultaten från föregående prov. Lösningsproportionen för respektive uppgift varierar dock och spänner mellan 0,52 och 0,94. 3.2.2 Häfte B Häfte B består av 3 uppgifter med sammanlagt 20 deluppgifter. Resultatet på hörförståelsedelen redovisas för 120 testtagare eftersom häfte B saknades i ett av de inskickade elevproven. Fördelningen av poäng för samtliga testtagare för häfte B framgår av figur 3: 5 Förutom den korta skrivuppgiften. 13

Figur 3: Poängfördelning för häftet B Medelvärdet av lösningsfrekvensen i häfte B är 15 poäng av 20 möjliga. 40 procent av testtagarna har 15 poäng eller mer. Lösningsproportionen är 0,74 vilket är något högre jämfört med hörförståelsedelen i prov 17 (0,70). Spridningen av resultaten på uppgiftsnivå är relativt stor och lösningsfrekvensen varierar mellan 0,40 och 0,96. Prov 18 skiljer sig i detta avseende från prov 17. 3.3 Resultat för provets produktiva delar 3.3.1 Häfte C (skrivuppgiften) och D Den skriftliga delen i provet består av en kort skrivuppgift i häfte C och en längre skrivuppgift i häfte D. För att bli godkänd på provet i sin helhet krävs sammanlagt 84 poäng varav minst 10 poäng på den skriftliga delen. Av de testtagare som uppnått sammanlagt minst 84 poäng har alla utom en klarat minimikravet 10 poäng på de skriftliga uppgifterna. Elevernas poängfördelning framgår av figur 4: 14

Figur 4: Poängfördelning för fri skrivning Medelvärdet av resultatet på den skriftliga delen av provet är 13 poäng av 20 möjliga. 46 procent av testtagarna har 13 poäng eller mer. Lösningsproportionen är 0,65. Resultatet på den korta skrivuppgiften är bättre än den långa vilket följer mönstret från tidigare prov (förutom prov 14, jfr. tabell 6). Tabell 6: Lösningsproportion på skrivuppgifterna för prov nr 5 18. Skriv (totalt) Kort uppgift Lång uppgift Nr 5 Nr 6 Nr 7 Nr 8 Nr 9 Nr 10 Nr 11 Nr 12 Nr 13 Nr 14 Nr 15 Nr 16 Nr 17 Nr 18 0,60 0,57 0,59 0,62 0,63 0,61 0,62 0,67 0,62 0,65 0,65 0,73 0,72 0,65 0,70 0,61 0,74 0,72 0,69 0,78 0,67 0,75 0,76 0,64 0,78 0,80 0,86 0,75 0,57 0,56 0,56 0,60 0,60 0,56 0,60 0,64 0,59 0,66 0,61 0,72 0,68 0,62 3.3.2 Häfte E Häfte E innehåller två muntliga uppgifter, en enskild och ett parsamtal. Bortfallet av inskickade muntliga resultat för prov 18 är 13 procent och det är lägre än i prov 17 då bortfallet låg på 16 procent. 15

Figur 5: Poängfördelning för de muntliga uppgifterna Medelpoängen för de 105 testtagare som finns redovisade på den muntliga delen är 31 poäng av 40 möjliga. 38 procent av testtagarna har 31 poäng eller mer. Lösningsproportionen är 0,79. Detta motsvarar i stort resultaten för de senaste proven. Samtliga testtagare som uppnått poängkravet på sammanlagt 84 poäng eller mer på hela provet, har också klarat minimikravet på 25 poäng på den muntliga delen av provet. 3.3.3 Resultat på hela provet Följande figur beskriver poängfördelningen för de 102 testtagarna med redovisade resultat på samtliga delar av provet: 16

Figur 6: Poängfördelning för häfte A E. Medelvärdet är 89 poäng av 120 möjliga, vilket innebär en lösningsproportion på 0,74. Antalet testtagare som har uppnått gränsen för Godkänd (84 poäng) på provet är 69 av 102. En av dessa har dock inte nått upp till minimikravet på den skriftliga delen vilket betyder att 67 procent av testtagarna har uppnått kraven för betyget Godkänd på provet. Diagrammet med poängfördelning för hela provet visar att tyngdpunkten ligger något till höger i bilden. Spridningen av resultatet är ganska stor. Det diagram som uppvisar den tydligaste högertyngden är figur 3, d.v.s. poängfördelningen för hörförståelsen, häfte B. En jämförelse av resultaten för olika variabler för prov 5 18 redovisas i tabell nummer 7. Tabell 7: Jämförelse av slutresultat prov nr 5 18 Prov Nr 5 6 7 8 9 10 11 12 13 14 15 16 17 18 Lösningsproportion 0,70 0,69 0,68 0,72 0,70 0,70 0,71 0,77 0,76 0,74 0,73 0,77 0,74 0,74 på hela provet Lösningsproportion på skrivuppgifterna 0,60 0,57 0,59 0,62 0,63 0,61 0,62 0,67 0,62 0,65 0,65 0,73 0,72 0,65 Lösningsproportion på de muntliga uppgifterna Klarat kraven för G på provet Godkända på kursen Andel av dessa som fått betyget VG 0,75 0,72 0,72 0,75 0,71 0,74 0,74 0,77 0,76 0,74 0,76 0,77 0,76 0,78 0,53 0,56 0,50 0,61 0,56 0,60 0,59 0,72 0,74 0,69 0,62 0,75 0,57 0,67 0,61 0,61 0,61 0,65 0,63 0,64 0,58 0,70 0,65 0,73 0,61 0,74 0,75 0,80 0,14 0,18 0,13 0,16 0,16 0,16 0,14 0,22 0,15 0,32 0,29 0,26 0,29 0,23 17

Urvalet är som tidigare påpekats mycket begränsat och resultaten måste tolkas med stor försiktighet. Det går inte att dra några säkra slutsatser och analyserna får snarare peka på tendenser och utgöra underlag för ett antal frågeställningar. Vid en jämförelse mellan proven kan man se att resultaten för samtliga variabler ligger på ungefär samma nivå från prov 5 t.o.m. prov 11. Från och med prov 12 har resultaten tydligt höjts för samtliga variabler och har sedan legat kvar på en högre nivå med några undantag. En förklaring till att resultaten höjts skulle kunna vara att proven blivit lättare. Men det finns flera andra tänkbara orsaker. Tittar man på testtagarnas utbildningsbakgrund (se figur 1 s.12) så har 80 procent av testtagarna mer än 10 års utbildningsbakgrund vid prov 18 mot 76 procent vid prov nr 5. Vid en jämförelse över tid (från prov 2 till prov 18) har andelen testtagare med mer än 14 års utbildningsbakgrund ökat med ca 10 enheter. Antalet testtagare med en utbildningsbakgrund mellan 10 och 13 år minskade från prov 2 t.o.m. prov 12 för att sedan återigen öka. Testtagargruppen med 7 9 års utbildningsbakgrund har minskat medan andelen testtagarnas med 0 6 års utbildningsbakgrund är den grupp som varit mest stabil. Vid prov 18 har dock andelen sjunkit markant. Att andelen testtagare med en högre utbildning ökat påverkar med största sannolikhet resultaten. Det vore också intressant att förutom testtagarnas utbildningsbakgrund studera testtagarnas språkliga bakgrund eftersom testtagare med germanska och romanska språk generellt haft ett högre resultat på proven än övriga språkgrupper. En annan orsak till de förbättrade resultaten kan vara att proven nu funnits i ett antal år vilket kan ha påverkat arbetssätt och innehåll i undervisningen. Det framkommer i lärarenkäten att testtagarna får arbeta med de prov som sedan 2002 finns i Skolverkets provbank vilket kan innebära att många testtagare är mer förtrogna med den typen av prov och därmed bättre förberedda för provsituationen. Ytterligare en tänkbar orsak kan vara att kraven hos anordnarna har skärpts och att endast de elever som ansetts vara färdiga med kursen har fått genomföra proven. Lösningsproportionen på den muntliga delen för prov 18 är den högsta hittills. Prov 18 har också den högsta andel testtagare som fått betyget Godkänd. Nedan redovisas data rörande det sammanlagda slutresultatet först i tabellform och sedan i form av låddiagram (boxplot) som visar distributionen av slutresultat utifrån testtagarnas utbildningsbakgrund. Tabell 8: Beskrivande data för slutresultat på prov nr 18 efter utbildningsgrupp Utbildningsgrupp N Medelvärde Median Minimum Maximum 0 6 år 6 86,17 85 68 101 7 9 år 11 83,27 82 63 102 10 13 år 43 89,95 88 56 115 14+ år 30 92,73 90 67 117 Totalt 90 89,81 88 56 117 18

Figur 6: Poängfördelning utifrån utbildningsbakgrund. Inom lådan (boxen) finns 50 procent av testtagargruppens resultat och tvärstrecket i lådan markerar medianen, d.v.s. det mittersta värdet. Tvärstrecken ovanför och under lådan markerar det högsta respektive det lägsta poängresultatet och mellan strecken och lådan finns respektive 25 procent av testtagarnas resultat. Analysen visar att utbildningsbakgrund är en faktor som påverkar testtagarnas resultat. I prov 18 har gruppen testtagare med utbildningsbakgrund 7 9 år det lägsta resultatet. Den största spridningen av poängresultaten finns i gruppen testagare med utbildningsbakgrund 10 13 år, vilket tyder på att denna resultatmässigt är den mest heterogena gruppen. Redovisningen av dessa resultat bygger dock, som tidigare påpekats, på ett mycket litet underlag och bilden måste därför tolkas med stor försiktighet. Nedan redovisas resultatet för män respektive kvinnor i form av en tabell och ett låddiagram. Tabell 9: Beskrivande data för slutresultat efter kön Kön N Medelvärde Median Minimum Maximum Man 27 88,89 88 63 112 Kvinna 74 90,04 88 56 117 Totalt 110 89,73 88 56 117 19

Figur 7: Poängfördelning häfte A E efter kön. Resultatet visar att det inte förekommer någon signifikant skillnad i prestationerna mellan kvinnor och män. Slutligen redovisas testtagarnas provresultat efter språkgrupp. Tabell 10: Beskrivande data för slutresultat efter språkgrupp Språkgrupp N Medelvärde Median Minimum Maximum Germanska, romanska 15 97,53 102 76 117 Övriga europeiska 30 93,57 92 66 116 Turkiska, arabiska, persiska, assyriska 36 86,58 85 60 115 Övriga icke europeiska 20 83,80 84 56 114 Totalt 101 89,73 88 56 117 20

Figur 8: Poängfördelning för delarna A E efter språkgrupp 6 Testtagare med germanska och romanska språk som modersmål har bättre resultat än övriga testtagare och spridningen i denna grupp är relativt låg. Resultatet i denna uppföljning återspeglar en trend som observerats även i tidigare prov. 4. Sammanfattning Fram till och med prov 13 låg antalet beställda prov ganska stabilt på ca 8 000 ex. Från och med prov 15 (uppgifter för prov 14 saknas) har sedan antalet beställda prov sjunkit. Även för andelen inskickade prov kan man se samma tendens. Både antalet beställda prov och andelen inskickade lärarenkäter och elevprov för prov 18 är det lägsta någonsin. Detta är en oroande tendens. Andelen inskickade prov och lärarenkäter är med största sannolikhet för liten för att kunna dra några säkra slutsatser av de analyser som görs av det inskickade materialet. Detta begränsar möjligheterna för provkonstruktören att få den information om hur provet fungerat som är avgörande för en kontinuerlig utveckling och förbättring av provet. En möjlig orsak till att antalet beställda och inskickade prov efter prov 13 har minskat är att nya kursplaner för sfi infördes år 2000. Från att tidigare ha varit en sammanhållen kurs infördes en ny struktur med tre studievägar och fyra kurser. Det finns idag möjlighet att avsluta och få betyg efter varje kurs eller studieväg. Eventuellt kan detta ha inneburit att många elever som tidigare skulle ha fullföljt sina studier fram t.o.m. kurs D, idag avslutar sina studier redan efter kurs B eller C och alltså inte genomför det nationella provet för sfi. Redovisningen av Skolverkets uppdrag att undersöka hur kommunerna tillämpar de nya kursplanerna för sfi kommer förhoppningsvis att tillföra värdefull och klargörande information i denna fråga. Redovisningen utkommer hösten 2006 i form av en rapport. Från och med prov 12 kan man finna en signifikant förbättring av resultatet ur alla aspekter. Detta kan, som tidigare påpekats, bero på ett antal faktorer, t.ex. att andelen testagare med mer än tio års skolbakgrund över tid har ökat, att proven nu funnits i ett antal år och att tidigare prov 6 I figur 8 finns en liten cirkel som markerat ett udda värde. 21

finns tillgängliga på Skolverkets webbsida samt att kraven hos sfi-anordnare har skärpts, d.v.s att endast de elever som anses färdiga med kurs D får göra det nationella provet. Uppföljningen av prov 18 bygger på 121 inskickade elevprov från 49 olika sfi-anordnare. Av dessa var 105 kompletta, d.v.s. det fanns resultat för samtliga delar av provet. Antalet testtagare som uppnått poänggränsen för Godkänd (84 poäng) på provet var 68. Materialet är mycket begränsat och resultaten av de analyser som genomförts bör därför tolkas med stor försiktighet. Analyserna i uppföljningen visar att prov 18 fungerat tillfredsställande och att resultaten är jämförbara med prov 12 till 17. Trots en viss kritik mot den enskilda muntliga uppgiften anser lärarna att prov 18 är relevant och bra både när det gäller uppläggning, innehåll och nivå. 22