sfi svenska för invandrare, kurs D Uppföljning av nationellt sfi-prov 20

sfi svenska för invandrare, kurs D Uppföljning av nationellt sfi-prov 20 Grazyna Bartholdson, Sofia Engman och Ingrid Skeppstedt Centrum för tvåspråkighetsforskning Stockholms universitet Skolverket 2007

Innehållsförteckning 1. INNEHÅLL OCH UPPLÄGG 4 1.1 Inledning 4 1.2 Utgångspunkter vid provkonstruktionen 4 1.3 Ny sammanvägning av resultaten 4 1.4 Provets delar och teman 5 1.5 Provets receptiva delar 5 1.5.1 Häfte A och C 5 1.5.2 Häfte B 6 1.6 Provets produktiva delar 7 1.6.1 Skriftlig produktion 7 1.6.2 Muntlig produktion 8 2. UTPRÖVNING OCH UPPFÖLJNING AV EN AV UPPGIFTERNA I PROV 20 10 3. INSÄNT MATERIAL 10 3.1 Beställda prov 10 3.2 Inskickat material 11 4. RESULTAT 12 4.1 Kort om testtagarna i urvalet 12 4.2 Resultat för provets receptiva delar 14 4.2.1 Häfte A, B och C 14 4.3 Resultat för provets produktiva delar 15 4.3.1 Häfte D (skrivuppgiften) 15 4.3.2 Häfte E 16 4.3.3 Resultat på hela provet 17 4.3.4 Jämförelse resultat utbildningsgrupp 18 4.3.5 Resultat på hela provet utifrån kön och språkgrupp 18 5. ÅSIKTER OM PROVET 21 5.1 Provets receptiva delar: Häfte A och C 21 5.2 Provets receptiva delar: Häfte B 21 5.3 Provets produktiva delar: Häfte D 21 5.4 Provets produktiva delar: Häfte E 22 5.5 Övergripande frågor i enkäten 22 2

6. SAMMANFATTNING 23 REFERENSER 25 3

1. Innehåll och upplägg 1.1 Inledning Sfi-prov 20 började distribueras till sfi-anordnarna i april 2006 och användes sedan åtminstone fram till november 2006 då prov 21 blev tillgängligt för beställning. Prov 20 som inte är bundet till en viss tidsperiod utan kan användas närhelst behov föreligger, är sekretessbelagt i tre år (sekretesslagen 4 kap. 3 ) d.v.s. fram t.o.m. 30 juli 2009. Syftet med rapporten är att ge en återrapportering till de lärare som använt provet, provkonstruktören och Skolverket, samt att, så långt det är möjligt med hänvisning till sekretessbestämmelser, föra ett didaktiskt resonemang kring provet. I rapporten beskrivs provets uppläggning, de uppgiftstyper som finns representerade och de nyheter som införts i prov 20. Vidare redovisas en särskild uppföljning på en av uppgifterna i provet. Lärarnas reaktioner finns redovisade i form av en sammanställning och de insända provresultaten kommenteras och jämförs med tidigare provversioner. 1.2 Utgångspunkt vid provkonstruktionen Utgångspunkt för provkonstruktionen är de styrdokument som reglerar sfi-undervisningen 1. Sfi-provets syfte är att utgöra ett stöd för lärare vid bedömning och betygsättning. Provresultatet ska tillsammans med andra belägg för den studerandes prestationer som dokumenterats under kursens gång fungera som underlag för betygsättning. Av de fyra mål som kursplanen för kurs D ställer upp är det huvudsakligen förmågan att kunna kommunicera muntligt och skriftligt i olika situationer i vardags-, samhälls och arbetsliv (SKOLFS 2002:19) som prövas genom provet. Till grund för provkonstruktionen ligger en syn på språk som meningsskapande verktyg som används på ett varierande sätt i enlighet med krav och förutsättningar i olika sociala sammanhang och situationer. Intentionen är att provuppgifterna ska vara så naturliga som möjligt, d.v.s. att de är så utformade att de ska likna uppgifter som var och en kan ställas inför i sitt dagliga liv, som t.ex. att delta i både informella och formella samtal, att läsa annonser för att söka efter viss information eller att skriva ett brev eller meddelande till någon. En utförlig beskrivning av den modell för språkbehärskning som ligger till grund för provkonstruktionen finns i provets lärarhandledning (s. 5 13). 1.3 Ny sammanvägning av resultaten Fr.o.m. prov 20 har ett nytt sätt att redovisa och väga samman resultaten införts. Resultaten för uppgifterna i de receptiva delarna av provet d.v.s. del A, B och C anges som tidigare i poäng. För betyget Godkänd på de receptiva delarna krävs 38 poäng av 60 möjliga (63%). Resultaten för del D, skriftlig produktion, och del E, muntlig produktion och interaktion, bedöms som Godkänd respektive Icke godkänd. Bedömningen för de olika delarna vägs sedan 1 Förordning om kursplan för svenskundervisning för invandrare 1994:895, Kursplan i svenskundervisning för invandrare SKOLFS 2002:19 och Skolverkets föreskrifter om betygskriterier för betyget Godkänd SKOLFS 2004:10. 4

samman till ett slutgiltigt betyg på provet. Det krävs betyget Godkänd på samtliga delar för att få Godkänd på provet. Tabell 1: Poängsammanställning och sammantaget betyg Receptiva poäng Betyg Produktiva poäng Betyg Betyg = Sammantaget betyg Läs + Hör Skriv Tal 0 37p IG 38 60p G IG/G IG/G IG/G 1.4 Provets delar och teman Provet består av fem häften: Häfte A Tema: Kläder Läsförståelse, ordkunskap och samhällsorientering. Häfte B Hörförståelse, ordkunskap och samhällsorientering. Häfte C Tema: Massmedier Läsförståelse, ordkunskap och samhällsorientering. Häfte D Skriftlig produktion. Häfte E Muntlig interaktion och produktion. 1.5 Provets receptiva delar 1.5.1 Häfte A och C I häfte A och C integreras texter med varierande tema och innehåll. Uppgifterna är konstruerade för att ge underlag för en bedömning av testtagarnas förmåga att kunna läsa utifrån olika syften: att förstå innehållet, att förstå övergripande tankegångar, att ta ställning till innehåll, att söka information, att hitta detaljinformation, att tolka diagram och tabeller etc. I prov 20 har tre olika uppgiftsformat använts: Kortsvar (SAQ: Short answer questions), d.v.s. frågor där testtagaren själv formulerar sitt svar. Det kan handla om att hämta information från eller svara på frågor om en text, en tabell eller ett diagram, men också om att fylla i en blankett. Flerval (MCQ: Multiple choice questions), d.v.s. uppgifter där testtagaren väljer mellan ett antal på förhand givna svarsalternativ till varje fråga. 5

Matchning, d.v.s. uppgifter där testtagaren ska para ihop ett antal enheter (ord, fraser, delar av meningar, textsnuttar etc.) med ett givet antal andra enheter (ord, fraser, rubriker, genrer, syften etc.). Tabell 2: Texttyper, uppgifter och uppgiftsformat häfte A och C Texttyp Uppgift Kortsvar Flerval Matchning Saga att med hjälp av förståelsen av 5 texten och kunskap om sambandsmarkörer komplettera och avsluta meningar utifrån givna alternativ. Inlägg på chattsida att tolka vilken språklig 4 handling personerna ger uttryck för. Annons att förstå och redovisa 3 1 information. Tvättråd att tolka instruktioner med eller 4 utan symboler. Intervjusvar att tolka tillfrågade personers 4 åsikter om modetrender. Diagram att tolka information och svara 3 på frågor. Intervjusvar att tolka och värdera åsikter. 6 Tidningsrubriker att tolka rubriker och koppla dessa till relevant bild. 6 Programtablå att söka, tolka information och redovisa efterfrågad information. 4 16 13 11 1.5.2 Häfte B Häfte B fokuserar främst på hörförståelse. Uppgifterna avser att pröva testtagarnas förmåga att uppfatta och förstå sammanhängande tal: att förstå vad ett samtal/program handlar om, att avgöra vilka åsikter och argument som framförs eller att uppfatta speciell detaljinformation i talat språk. Hörförståelse prövas även i häfte E men då interaktivt i samtal, d.v.s. i en situation där testtagaren mer kan påverka situationen. Uppgiftsformatet för hörförståelsen i häfte B är flerval och matchning. 6

Tabell 3: Texttyper, uppgifter och uppgiftsformat häfte B Texttyp Uppgift Flerval Matchning Intervjusvar att förstå de intervjuade 8 personernas åsikter och reaktioner på TV-reklam. Intervjuavsnitt att förstå innebörden i 4 intervjuavsnitt och relatera till rätt sammanfattning. Väderleksrapport att förstå och tolka information 3 i text och bild. Utdrag från att förstå, tolka innehåll samt 5 radioprogram relatera till rätt rubrik. 11 9 1.6 Provets produktiva delar 1.6.1 Skriftlig produktion 1.6.1.1 Nyheter i prov 20 Från och med prov 20 ligger samtliga skrivuppgifter i häfte D som består av en längre eller flera kortare uppgifter. Kursplanens mål för den skriftliga förmågan i kurs D är att testtagaren ska kunna uttrycka sig tydligt och begripligt, och förmedla personliga synpunkter och åsikter i sammanhängande skrift (SKOLFS 2002:19). Skrivuppgifterna är hämtade från så autentiska skrivsituationer som möjligt i vardags-, samhälls- och arbetsliv. Resultaten för den skriftliga uppgiften/uppgifterna kommer från och med prov 20 bedömas med betygen Godkänd respektive Icke godkänd. Som hjälp vid övergången finns i lärarhandledningen följande tabell: Tabell 4: Omvandlingstabell vid övergång från poäng till betyg (Lärarhandledningen prov 20 s. 22) Betyg i prov 20 IG G Motsvarande poäng i tidigare prov 0 4 8 8+ 12 16 1.6.1.2 Häfte D Skrivuppgiften i häfte D innebär att testtagarna ska skriva en berättelse om något de själva har varit med om. Uppgiften innehåller också beskrivande moment. Utgångspunkten är att den skriftliga produktionen skall publiceras i en tidning och uppgiften kan därför ses som relativt formell. 7

Testtagarnas skriftliga produktion bedöms utifrån innehållsliga och formella aspekter och bedöms med betygen Godkänd och Icke godkänd (se s. 7). För att få betyget Godkänd skall texten överensstämma med kraven i betygskriterierna: ( ) eleven uttrycker sig tydligt och begripligt och med en viss språklig variation i sammanhängande (...) skrift, och uttrycker därvid personliga synpunkter och åsikter (SKOLFS: 2002:19). Detta innebär att testtagaren kan förmedla sitt budskap tydligt och med viss språklig komplexitet om än inte språkligt helt korrekt. Testtagaren har dessutom ett hyggligt grepp om de vanligaste reglerna för t.ex. stavning och interpunktion och uttrycker sig på ett sociolingvistiskt acceptabelt sätt. 1.6.2 Muntlig produktion 1.6.2.1 Nyheter i prov 20 Enligt målen för kurs D skall eleven kunna kommunicera muntligt i olika situationer i vardags-, samhälls- och arbetsliv. Enligt betygskriterierna betyder detta att ( ) eleven ska kunna delta aktivt i samtal och diskussioner, kunna uttrycka sig tydligt och begripligt och med en viss språklig variation i sammanhängande tal ( ) och uttrycker därvid personliga synpunkter och åsikter (SKOLFS:2002:19). Från och med prov 20 kommer som tidigare nämnts också den muntliga produktionen att bedömas med betygen Godkänd och Icke godkänd och nya bedömningskriterier är framtagna. Bedömningskriterierna beskrivs i form av en modell där den muntliga språkförmågan ska bedömas i två steg. I ett första steg fokuseras en mer övergripande global bedömning av testtagarens muntliga produktion beträffande innehåll, funktionalitet, begriplighet och talflyt. I det andra steget genomförs en analytisk bedömning av testtagarens språkanvändning när det gäller innehåll och kommunikation, och av testtagarens språksystem när det gäller form och uttryck. Den slutgiltiga bedömningen och betygsättningen baseras på resultatet av såväl den globala som den analytiska bedömningen där stor vikt läggs vid helhetsintryck och kommunikativa aspekter (se vidare i Lärarhandledning prov 20 s.33 34). Bedömningskriterierna har utvecklats för att fånga relevanta drag i muntlig kommunikation. Dessa kriterier syftar till att underlätta bedömningen av de muntliga färdigheterna och garantera en hög validitet så att det är just muntliga färdigheter och inte något annat som bedöms. De syftar också till att garantera provet en hög reliabilitet så att bedömningen av muntliga språkfärdigheter hos olika anordnare och av olika bedömare vid olika tidpunkter och tillfällen sker utifrån samma måttstock och på ett så likartat sätt som möjligt. För en hög reliabilitet är det också en fördel om det förutom testledaren finns en medbedömare. 1.6.2.2 Häfte E Uppgifterna består i prov 20 liksom i tidigare prov av ett enskilt samtal och ett parsamtal. I det enskilda samtalet får testtagaren utrymme och möjlighet att visa sin förmåga att uttrycka sig självständigt och sammanhängande medan hon/han i parsamtalet också får större möjlighet att visa sin interaktiva förmåga. Till varje uppgift finns bedömningsprotokoll som bygger på de allmänna bedömningskriterierna och som lyfter fram de för uppgiften mest relevanta bedömningsaspekterna. För att få betyget Godkänd för muntlig produktion och interaktion måste testagaren bli bedömd som godkänd på båda uppgifterna. Det enskilda samtalet i prov 20 är en tänkt formell intervju och uppgiften innebär att testtagaren dels ska redogöra, dels berätta. Här bedöms testtagarens muntliga produktion och 8

alltså inte interaktionen med intervjuaren. I paruppgiften får testtagarna diskutera ett av testledaren valt ämne (utifrån ett antal givna ämnen). 9

2. Utprövning och uppföljning av en av uppgifterna i prov 20 Innan slutversionen av ett nationellt prov fastställs görs en utprövning. Utprövningen görs på ca 200 sfi-deltagare som i fråga om olika bakgrundsvariabler som ålder, utbildningsbakgrund, etc. så väl som möjligt ska avspegla elevpopulationen på kurs D inom sfi-utbildningen. Ungefär hälften av de sfi deltagare som deltar i utprövningen gör dessutom inom ca tio dagar sitt ordinarie sfi prov (vilket i praktiken innebär ett av de tidigare sfi-proven). På så sätt får provkonstruktören två olika resultat från samma elever: ett resultat från utprövningen av det nya provet och ett annat från det ordinarie sfi provet. Efter utprövningen av det nya provet görs analyser dels av provet som helhet, dels av utfallet för varje uppgift och resultaten jämförs med det ordinarie sfi-provet. Resultaten av jämförelsen ligger sedan till grund för bedömningar av det nya provets relativa svårighetsgrad och påverkar utformningen av den slutgiltiga versionen. Provgruppen har gjort en uppföljning och analys av en av de uppgifter i prov 20 som i vissa avseenden reviderades efter utprövningen. I den aktuella uppgiften svarar ett antal ungdomar på en fråga om tv-tittandets eventuella skadliga effekter. Testtagarna får i uppgift att exemplifiera tre positiva och tre negativa effekter. Lösningsfrekvensen vid utprövningen visade sig vara oväntat låg. Det var ett stort bortfall när det gällde att tolka en av de negativa effekterna och en av ungdomarnas uttalande omformulerades på följande sätt: Ursprunglig text: Jag tror inte det är skadligt, men det gör att man umgås för lite med varandra. Jag kollar kanske en timme om dagen, det räcker. Reviderad text: Jag tror inte det är skadligt, men det gör att man inte umgås med varandra så mycket. Jag kollar kanske en timme om dagen, det räcker. Resultaten från de inskickade elevproven visar att bortfallet för tolkandet av uttalandet minskade från 19,2 procent vid utprövningen till 8 procent i slutversionen (prov 20). Lösningsfrekvensen för hela uppgiften ökade från 0,55 till 0,61. Eventuellt kan även en omändrad layout av texten ha påverkat resultatet. 3. Insänt material 3.1 Beställda prov Fram t.o.m. prov 13 var volymen på beställningarna mycket stabil och låg på ca 8 000 beställningar per prov. Antal beställningar sjönk sedan och har för prov 15 t.o.m. 18 legat på 7 000 7 500 beställningar. För prov nummer 19 ökade beställningarna med ca 1 500 exemplar till 8 550. Prov 20 har beställts i 8 324 exemplar av 252 sfi-anordnare runt om i landet. Eftersom det under läsåret 2005/2006 fanns totalt 283 sfi-anordnare i landet innebär det att 89 procent av samtliga sfi-anordnare har beställt provet. Enstaka exemplar av provet är dessutom beställt av andra anordnare, t.ex. ungdomsgymnasier och folkhögskolor. 10

Tabell 5: Beställningar, prov nr 12 20 Nr 12 Nr 13 Nr 15 Nr 16 Nr 17 Nr 18 Nr 19 Nr 20 Antal prov 8 100 8 100 7 400 7 687 7 385 7 033 8 550 8 324 Antal sfi-anordnare 252 273 267 275 270 259 258 252 Obs! Underlag för prov 14 saknas. Vid uppföljningen av prov 18 noterades det minskade antalet beställningar för prov 15 18. Här fördes också ett resonemang om tänkbara orsaker till denna minskning. En tänkbar förklaring som då diskuterades var den nya organisationen av sfi och de nya kursplaner som infördes 2002 och som blev obligatoriska fr.o.m. januari 2003. Att antalet beställda prov återigen har ökat kan bero på att organisationen av sfi nu funnit sina former. En annan trolig orsak är att antalet sfi-deltagare har ökat kraftigt de senaste åren. Vid läsåret 2005/2006 har antalet deltagare ökat med 15 178 personer jämfört med läsåret 2000/2001 (Skolverkets statistik 2000/2001 och 2005/2006). 3.2 Inskickat material Liksom för tidigare prov begärdes ett visst antal elevprov och inspelade och bedömda elevsamtal in för uppföljning och analys. I provmaterialet medföljer också en lärarenkät med en uppmaning att till provkonstruktören förmedla erfarenheter av och synpunkter på respektive prov. Tabell 6: Inskickat material, prov nr 12 20 Nr 12 Nr 13 Nr 14 Nr 15 Nr 16 Nr 17 Nr 18 Nr 19 Nr 20 Antal lärarenkäter 116 70 71 81 108 83 62 69 58 Antal sfi-anordnare som skickat 71 49 57 57 70 53 50 50 47 lärarenkäter Antal elevprov 214 134 146 170 188 130 121 158 187 Antal sfi-anordnare som skickat 71 43 53 56 64 58 49 54 49 elevprov Antal sfi-anordnare som skickat band 33 18 28 25 25 26 15 22 14 Antal sfi-anordnare totalt i materialet 78 56 59 61 73 61 55 58 54 Andel av beställarna som skickat något 31% 21% * 23% 26% 23% 21% 22% 21% *Denna uppgift kan inte beräknas för prov 14 p.g.a. avsaknad av data. Eftersom andelen provresultat som skickas in till provkonstruktören generellt är mycket liten ändrades rutinerna för insamlingen för prov 19. I stället för att som tidigare begära in provresultat för var tionde testtagare, begärdes provresultat för var femte testtagare. Av tabell 6 framgår att åtgärden inneburit att antalet inskickade provresultat har ökat. Däremot fortsätter andelen sfi-anordnare som skickar in efterfrågat material att minska. Trots en viss ökning av inskickade provresultat så är antalet med största sannolikhet alltför litet i förhållande till det totala antalet genomförda prov för att man ska kunna dra några säkra slutsatser av de analyser som görs av de inskickade testresultaten. 11

4. Resultat De resultat som redovisas bygger uteslutande på de 187 elevprov från 49 olika sfi-anordnare som skickats in till provkonstruktören. Eftersom materialet är begränsat bör resultaten tolkas med stor försiktighet. 4.1 Kort om testtagarna i urvalet Urvalsgruppen på 187 testtagare består av 67 procent kvinnor vilket är en högre andel än i prov 19 och också en högre andel än i antalet registrerade sfi-deltagare i kurs D där andelen kvinnor är 62 procent (Skolverkets statistik 2005/2006). 45 procent är mellan 18 och 30 år. Testtagare under 20 (18 19) år utgör 2 procent av det totala antalet vilket är en betydligt lägre andel än i tidigare prov. Medelåldern för testtagarna i urvalet är 32 år. Av de 187 testtagarna är 29 procent flyktingar, 4 procent är tillståndssökande och 67 procent tillhör gruppen övriga invandrare. De vanligast förekommande modersmålen bland testtagarna är arabiska (15 procent), persiska (6 procent) och thailändska (6 procent). Nedan följer en jämförelse med avseende på modersmål bland sfi-deltagare inskrivna på kurs D i Skolverkets statistik läsåret 2005/2006 och testtagare i urvalet. Tabell 7: Modersmål bland Sfi-deltagare kurs D och bland testtagare i urvalet för prov 20 Modersmål Läsåret 05/06 (kurs D)* Prov 20 Samtliga elever 15 101 187 därav med modersmål (i procent): Arabiska 16 15 Bosniska, kroatiska, 6 4 serbiska Ryska 6 5 Spanska 6 4 Thailändska 5 6 Engelska 5 3 Persiska 4 6 Kurdiska 4 5 Polska 4 2 Somaliska 3 3 Övriga 41 47 * Skolverkets statistik 2005/2006 Jämförelsen visar att den språkliga sammansättningen i urvalet för prov 20 stämmer relativt väl med Skolverkets redovisning av modersmål för registrerade sfi-deltagare i kurs D. Anordnarnas rapportering av bakgrundsinformation om testtagarna i urvalet har förbättrats jämfört med föregående prov men fortfarande saknas uppgifter om ett antal testtagares utbildningsbakgrund. 12

Tabell 8: Sfi-deltagarnas utbildningsbakgrund i Skolverkets statistik 2005/2006 för kurs D jämfört med inskickade data för testtagarna i urvalsgruppen i prov 20 Utbildningsbakgrund 0 6 år 7 9 år 10+ år Totalt Studieväg 3 11% 13% 76% 100% (15 101) Kurs D läsåret 2005/2006 Inskickade elevprov, Prov 20 7% 15% 78% 100% (182) Utbildningsbakgrunden bland testtagarna i urvalsgruppen överensstämmer som framgår av tabellen relativt väl med Skolverkets redovisning av utbildningsbakgrunden för de registrerade sfi-deltagarna i kurs D. Figur 1: Fördelning av testtagarnas utbildningsbakgrund i urvalsgrupperna för prov 2 till 20. Testtagare med 0 6 års utbildningsbakgrund Vid en jämförelse visar figur 1 att gruppen med en utbildningsbakgrund på 0 6 år har varit mest stabil över tid och deras andel har varierat mellan 7 och 10 procent. Testtagare med 7 9 års utbildningsbakgrund Andelen testtagare med 7 9 års utbildningsbakgrund var vid prov 2 drygt 20 procent och har sedan stadigt minskat t.o.m. prov 18. Vid prov 19 stiger andelen till ungefär samma nivå som vid prov 2, nämligen 21 procent, men minskar återigen för prov 20 till 15 procent. Testtagare med 10 13 års utbildningsbakgrund Andelen testtagare med 10 13 års utbildningsbakgrund har varierat mest. Vid prov 3 var andelen 51 procent, för att sedan vid prov 12 ha minskat till 34 procent. Från prov 13 till 20 13

har procentandelen varierat mellan 34 procent och 47 procent. För prov 20 ligger procentandelen på 46 procent vilket innebär att gruppen med 10 13 års skolbakgrund är den största gruppen i urvalet. Testtagare med mer än 14 års utbildningsbakgrund Andelen testtagare med mer än 14 års skolbakgrund ökade stadigt fram t.o.m. prov 12 då andelen var 44 procent. Antalet har sedan varierat och var 32 procent vid prov 20. 4.2 Resultat för provets receptiva delar Resultaten för de inskickade elevproven presenteras i diagram, tabeller och text. 4.2.1 Häfte A, B och C Från och med prov 20 gäller ett nytt sätt att väga samman och redovisa resultaten för de receptiva delarna, häfte A, B och C. För att bli Godkänd på provet krävs sammanlagt minst 38 poäng av 60 möjliga (63%). Uppgifterna poängsätts och omvandlas därefter till Godkänd och Icke godkänd (se tabell 1 s. 5). Häftena A, B och C omfattar 13 uppgifter med 60 deluppgifter fördelade på följande sätt i respektive häfte: Häfte A: 5 uppgifter och 21 deluppgifter Häfte B: 4 uppgifter och 20 deluppgifter Häfte C: 4 uppgifter och 19 deluppgifter. Fördelningen av resultaten för samtliga testtagare (187) för häfte A, B och C framgår av figur 2. Figur 2: Poängfördelning för häfte A, B och C Medelvärdet av testtagarnas resultat för häfte A C är 43 poäng vilket ska jämföras med godkändgränsen på 38 poäng. Eftersom provet i de flesta fall genomförs när läraren bedömer 14

att kursdeltagaren har nått målen för kurs D bör majoriteten av testtagarna nå poängresultat som ligger inom ramen för godkänd. Resultatkurvan skiljer sig således från en normalfördelningskurva och har till följd av detta en förväntad högertyngd. En majoritet på 70 procent av testtagarna i urvalet fick minst 38 poäng (av 60) och blev godkända på delarna A C. 4.3 Resultat för provets produktiva delar 4.3.1 Häfte D (skrivuppgiften) Fr.o.m. prov 20 ligger skrivuppgifterna i häfte D (se s. 7). För att bli godkänd på provet i sin helhet krävs ett godkänt resultat på den skriftliga delen. Den skriftliga delen i prov 20 består av en längre skrivuppgift. Figur:3 Resultat på skrivuppgiften för samtliga testtagare. Av de 187 testtagarna var 61,5 procent godkända på den skriftliga delen av provet. För 2 procent saknas resultat. Av de 131 testtagarna som var godkända på delarna A C hade ca 76 procent ett godkänt resultat även på den skriftliga delen (se figur 4). 15

Figur 4: Resultat på skrivuppgiften för testtagare som var godkända på A C. Tabell 9: Lösningsproportion på skrivuppgifterna för prov nr 11 20 Nr 12 Nr 13 Nr 14 Nr 15 Nr 16 Nr 17 Nr 18 Nr 19 Nr 20 Skriv (totalt) 0,67 0,62 0,65 0,65 0,73 0,72 0,65 0,60 0,63 Lösningsproportionen för den skriftliga delen har för prov 12 20 varierat mellan 0,60 och 0,73. 4.3.2 Häfte E Häfte E innehåller två muntliga uppgifter, en enskild uppgift och ett parsamtal. Bortfallet för häfte E är liksom vid tidigare prov stort (ca 25 %). En del av bortfallet för den muntliga delen av provet beror troligen på att testtagare som inte godkänts på de övriga delarna av provet ofta inte genomför den muntliga delen. Figur 5: Resultatfördelning för de muntliga uppgifterna 16

Av de 141 testtagare med redovisade resultat för den muntliga delen av provet blev 122, d.v.s. 87 procent godkända. 4.3.3 Resultat på hela provet Av det totala antalet testtagare i urvalet (187 personer) är 42,8 procent godkända och 31,6 procent är inte godkända på provet. För ca 26 procent av testtagarna i urvalet saknas resultat på en eller två delar av provet. Figur 6: Andelen godkända och icke godkända på A E Av de 139 testtagarna med resultat från samtliga delar av provet är 58 procent godkända, d.v.s. 80 personer. Detta är ett av de lägsta resultaten sedan prov 12 (se tabell 10). Eftersom bortfallet för prov 20 är stort ska dock resultatet tolkas med stor försiktighet. Tabell 10: Jämförelse av slutresultat prov nr 12 20 Godkända på provet Godkända på kursen Andel av dessa som fått betyget Väl godkänd Prov Prov Prov Prov Prov Prov Prov Prov Prov 12 13 14 15 16 17 18 19 20 0,72 0,74 0,69 0,62 0,75 0,57 0,67 0,66 0,58 0,70 0,65 0,73 0,61 0,74 0,75 0,80 0,72 0,61 0,22 0,15 0,32 0,29 0,26 0,29 0,23 0,31 0,21 17

4.3.4 Jämförelse resultat utbildningsgrupp Nedan redovisas i form av en tabell distributionen av slutresultat utifrån testtagarnas utbildningsbakgrund. Figur 7: Resultat på provet efter utbildning Analysen visar att utbildningsbakgrund är en faktor som påverkar testtagarnas resultat. Endast 18 procent av gruppen testtagare med en utbildningsbakgrund på 0 6 år har fått ett godkänt resultat på provet. Det är också den grupp som har det största bortfallet. En orsak till detta kan vara att många testtagare t.ex. ej nått godkänt resultat för häfte A C eller på skrivdelen av provet och därför inte genomfört den muntliga delen av provet. Den grupp som har högst andel testtagare som uppnått godkänt resultat, 63 procent, är den med en utbildningsbakgrund på mer än 14 år. 4.3.5 Resultat på hela provet utifrån kön och språkgrupp Nedan redovisas resultatet för män respektive kvinnor i form av ett diagram. 18

Figur 8: Resultat på häfte A E efter kön Resultatet visar att manliga testtagare presterade något bättre än kvinnliga testtagare. Detta resultat är inte i överensstämmelse med Skolverkets redovisning av sfi-deltagare som avslutat kurs D med minst betyget Godkänd läsåret 2005/2006. Slutligen redovisas testtagarnas provresultat efter språkgrupp. Figur 9: Slutresultat efter språkgrupp 19

Resultatet i denna uppföljning återspeglar resultatet i tidigare prov. Testtagare med germanska och romanska språk som modersmål och övriga europeiska språk har bättre resultat än testtagare med icke-europeiska språk. 20

5. Åsikter om provet Andelen besvarade och inskickade lärarenkäter fortsätter att minska. Av de 258 sfi-anordnare som beställt prov nummer 20 har 19 procent (49 sfi-anordnare) skickat in sammanlagt 58 lärarenkäter. I anvisningarna i lärarhandledningen uppmanas samtliga lärare som genomför provet att skicka bifogad lärarenkät till provkonstruktören. Åsikterna i sammanställningen grundar sig alltså på ett relativt litet underlag och bör därför tolkas med försiktighet. 5.1 Provets receptiva delar: Häfte A och C Uppfattningen om häftena A och C i prov 20 är i huvudsak positiv. Av de lärare som har svarat på enkäten tycker 83 procent att den tematiska uppläggningen i del A är bra och 14 procent att den är acceptabel och för häfte C är motsvarande siffror 89 respektive 11 procent. Ungefär samma förhållande gäller för innehållet i båda delarna. Några lärare kommenterar att sagan är en känd text för vissa testtagare men inte för andra och att detta kan påverka deras möjlighet att lösa uppgiften. Flera lärare kommenterar att det är trevligt med en annorlunda genre i provet medan andra tycker att texten är svår och därför tar för stor del av den begränsade tid som finns till förfogande för häfte A. Många av lärarna, 85 procent för del A och 88 för del C, tycker att svårighetsgraden är lagom och 14 respektive 11 procent tycker att den är för hög. De förmedlar också att testtagarnas reaktioner var blandade, några tyckte att häfte A och C var lätta, medan andra tyckte att de var svåra och att tiden var för knapp. 5.2 Provets receptiva delar: Häfte B Även hörförståelsen, d.v.s. häfte B, i prov 20 uppfattas som bra eller acceptabel av de flesta lärarna. En lärare skriver: Bra, instruktionerna var inte för långa. Klar och tydlig höruppgift. och en annan: Tydligt! Bra med flera typer av uppgifter. Majoriteten av lärarna, 95 procent, tycker att svårighetsgraden är lagom. 5.3 Provets produktiva delar: Häfte D 56 procent av lärarna anser att skrivuppgiften är bra. Flera lärare har kommenterat att det finns otydlighet i både formuleringen av uppgiften och i instruktionen. En lärare skriver: Bra typ av uppgift men oklart formulerad. Många missförstod uppgiften. En annan lärare skriver: Missförstånd p.g.a. av tidningsinformation, hade informationen varit tydligare hade det varit en bra uppgift. Två lärare har kommenterat genren. Den ena tycker att uppsatsformen kräver fantasi och missgynnar de som har kunskaper i språket men inte kan komma på vad de ska skriva, den andra läraren skriver att uppgiften handlar om något som alla kan relatera till och är bättre än uppgifter där man ska låtsas befinna sig i en autentisk situation som t.ex. att efterlysa en borttappad väska. Trots detta anser 86 procent av lärarna att svårighetsgraden för skrivuppgiften är lagom medan 14 procent anser att den är för svår. Över hälften av lärarna, 59 procent, tycker att de vid bedömningen får god hjälp av lärarhandledningen. När det gäller bedömningsexempel D och F i lärarhandledningen har flera lärare uppmärksammat en inkonsekvens i bedömningen. Vid en ytterligare analys föranledd av lärarnas kommentarer kan provgruppen konstatera att bedömningen av exempel D borde ha varit Icke godkänd vilket flera av lärarna påpekat. Språket i texten är som det står i bedömningen visserligen komplext men innehåller alltför många form- och konstruktionsfel 21

för att passera som funktionellt acceptabel på sfi-nivå. Provgruppen beklagar naturligtvis denna felbedömning i lärarhandledningen och tackar de lärare som påpekat detta. På frågan om övergången till en skrivuppgift i stället för två svarar 44 procent att den är bra, 24 att det är acceptabelt och 26 procent att det är mindre bra. Många tycker att den korta uppgiften i häfte C fyllde sin funktion, en lärare kommentarer det så här: Två uppgifter gav chansen till kompensation om en av uppgifterna var mindre lämpad för en deltagare. en annan: Bra att bedöma en längre textmassa men olyckligt att inte både formellt och informellt skrivande testas. Att döma av de kommentarer som kommit in är de flesta positiva till att bedömningen av skrivuppgiften nu görs med hjälp av betygen Godkänd och Icke godkänd istället för som tidigare med poäng. Några lärare kommenterar att detta innebär att kraven på den skriftliga delen av provet har skärpts men att detta i stort sett är positivt. En lärare skriver: Kraven har höjts. Bra för dem som ska läsa vidare men svårare att klara sig. och en annan: Jag tycker att nivån höjts skriftligt och det är bra eftersom många som har klarat sig precis tidigare har haft svårt att klara grundläggande svenska på nästa nivå. En lärare tycker att både lärare och elever, borde ha förvarnats gällande den höjda nivån: Kraven för att bli godkänd har stramats åt till denna provomgång. Borde inte lärare och kursdeltagare få info om det? Ökade krav när det gäller skriftlig språkfärdighet bör mötas i undervisningen Endast en lärare kommenterar att poäng var bättre. 5.4 Provets produktiva delar: Häfte E Ungefär 80 procent av lärarna tycker att den enskilda muntliga uppgiften har fungerat bra och 20 procent tycker att den har fungerat acceptabelt. Exempel på kommentarer till de enskilda uppgifterna: Bra med frågor till hjälp. Paruppgiften är bra enligt 90 procent av lärarna och övriga tycker att den är acceptabel. En del tycker att tankekartan begränsar, andra att den hjälper. Någon kommenterar att man som lärare får bättre stöd för bedömningen i prov 20 jämfört med tidigare prov. Några exempel på kommentarer till paruppgifterna: Aktuellt ämne som alla har kunskaper och åsikter om. Västerländska ämnen. Svåra att diskutera för många. De flesta tycker att de har fått hjälp av de bedömda samtalen på cd skivan och drygt 90 procent tycker att bedömningarna är rimliga. 5.5 Övergripande frågor i enkäten De flesta, 80 procent, anser att provet speglar kursplanens ämnessyn i hög grad och övriga 20 till viss del. 77 procent tycker att de får gott stöd och 21 procent att de får visst stöd av provet vid betygssättning. Gränsen för godkänd ligger enligt de flesta på en lagom nivå, 9 procent anser att den ligger för lågt och 4 procent att den ligger för högt. 22

6. Sammanfattning Prov 20 har beställts i 8 324 exemplar vilket i stort sett motsvarar antalet beställningar av föregående prov. Jämfört med prov 15 18 har antalet beställda prov ökat med över tusen exemplar vilket dels kan bero på att den nya organisationen av sfi med nya kursplaner som infördes 2002 nu funnit sina former, dels på att antalet sfi-deltagare vid tidpunkten för provets genomförande har ökat med 15 178 personer jämfört med läsåret 2000/2001 (Skolverkets statistik 2000/2001och 2005/2006). Eftersom antalet provresultat som skickas in till provkonstruktören generellt varit mycket liten ändrades rutinerna för insamling av provresultat i prov nummer 19. I stället för att som tidigare begära in provresultat för var tionde testtagare, begärs provresultat nu in för var femte testtagare och antalet inskickade prov har därefter ökat. För prov 20 inkom 187 elevprov jämfört med 121 för prov 18. Av de 187 inskickade elevproven för prov 20 var dock endast 138 kompletta, d.v.s. innehöll bedömda resultat för samtliga delar av provet vilket alltså innebär att det fanns ett bortfall på 26 procent. Detta begränsar naturligtvis möjligheterna för provkonstruktören att få den information om hur provet fungerat som helhet vilket är avgörande för en kontinuerlig utveckling och förbättring av provet. Vi anser att detta är ett stort problem. Av de 138 elevprov som skickats in med resultat från samtliga delar av provet är 58 procent bedömda som godkända, d.v.s. 80 elevprov. Detta är ett av de lägsta resultaten sedan prov 12 (se tabell 10). Eftersom bortfallet för prov 20 är stort (26 %) ska dock resultatet tolkas med stor försiktighet. En tänkbar förklaring till bortfallet är att testtagare som ej uppnått de 38 poäng för häfte A C som är godkändgränsen, eller inte fått skrivuppgiften bedömd som Godkänd, inte genomför hela provet. Figur 7 på sidan 18 visar resultatet för samtliga inskickade elevprov utifrån utbildningsbakgrund. Den grupp som har störst bortfall är testtagare med en utbildningsbakgrund på 0 6 år. Resultatredovisningarna av de nationella proven över tid visar att testtagare med låg utbildningsbakgrund ofta har bättre resultat på den muntliga delen av provet än på läs- och skrivdelarna. Bortfallet i prov 20 pekar mot att många av dessa testtagare inte genomfört den muntliga delen av provet och alltså inte får den helhetsbedömning av den språkliga förmågan som det nationella provet avser att ge. Av de 283 sfi anordnare som finns i landet (2005/2006) har 252 beställt prov 20. En anmärkningsvärt liten del av dessa, 19 procent (49 sfi-anordnare), har skickat in svar på den lärarenkät som medföljer provet. Syftet med lärarenkäten är att provgruppen ska få ta del av lärarnas och testtagarnas erfarenheter av och åsikter om provet. I anvisningarna i lärarhandledningen uppmanas samtliga lärare som genomför provet att skicka in den bifogade lärarenkäten till provgruppen. Underlaget för sammanställningen av lärarenkäterna i prov 20 är alltså troligen för litet för att det ska vara representativt. De flesta lärarna som besvarat lärarenkäten anser att svårighetsgraden i prov 20 är lagom och att den tematiska uppläggningen i provet är bra. Att resultaten för skrivuppgiften och den muntliga delen av provet som från prov 20 bedöms som Godkänd respektive Icke godkänd verkar upplevas som positivt. Vissa lärare har kommenterat att kraven på den skriftliga delen av provet har skärpts men att detta i stort sett är bra. Någon tycker att de i förväg skulle ha blivit informerade. Åsikterna hos lärarna om övergången till enbart en skrivuppgift är blandade, många tycker att det är bra medan andra tycker att provet bör innehålla både en formell och en informell uppgift. 23

Majoriteten av lärarna anser att skrivuppgiften i prov 20 är bra men flera tycker att det finns vissa oklarheter i både formuleringen av uppgiften och i instruktionen. Några lärare påpekar att det finns en inkonsekvens i bedömningen av en elevtext i lärarhandledningen. Provgruppen konstaterar efter ytterligare analys att bedömningen av elevtexten är felaktig och beklagar detta. Trots vissa påpekanden anser lärarna att prov 20 som helhet är bra både när det gäller innehåll och nivå. 24

Referenser Förordning om ändring i förordningen (SKOLFS) 1994:895 om kursplan för svenskundervisning för invandrare. Statens skolverks författningssamling ( SKOLFS) 2002:19. Kursplan i svenskundervisning för invandrare SKOLFS. Statens skolverks författningssamling (SKOLFS) 2004:10. Skolverkets föreskrifter om betygskriterier för betyget Godkänd. Statens skolverks statistik. Elever och kursdeltagare i svenskundervisning för invandrare (sfi) läsår 2000/01. Statens skolverks statistik. Elever och kursdeltagare i svenskundervisning för invandrare (sfi) läsår 2005/06. 25