sfi Uppföljning av nationellt sfi-prov 16 Kortfattad redovisning av reaktioner och resultat

Transkript

1 sfi Uppföljning av nationellt sfi-prov 16 Kortfattad redovisning av reaktioner och resultat Katrin Ahlgren och Grazyna Bartholdson Stockholms universitet Centrum för tvåspråkighetsforskning Skolverket 2004

2 Inledning Den här uppföljningen är baserad på insänt material i form av elevprov och lärarenkäter. Den speglar lärarnas reaktioner på provet och elevernas resultat i förhållande till tidigare provversioner. Sfi-prov 16 började distribueras till användarna i april 2004 och användes sedan ute på skolorna åtminstone fram till november 2004 då version 17 blev klar. en, som är avsedda att konkretisera kursplanens mål och fungera som stöd för lärarna vid betygsättningen inom sfi, är inte bundna till någon viss provperiod utan kan användas närhelst behov föreligger. Utgångspunkten vid provkonstruktionen var liksom tidigare de styrdokument som reglerar sfi-undervisningen 1 samt en modell av kommunikativ språkförmåga som utarbetats mot bakgrund av bl. a. L. Bachmans arbeten och som beskrivs i lärarhandledningen till provet. Till sin utformning följer sfi-prov 16 i stort sett de tidigare provversionerna. Avsikten är att pröva elevernas kunskaper på ett mångfasetterat sätt och utifrån flera utgångspunkter. Från och med provversion 13 innehåller sfi-proven inga uppgifter som främst avser att pröva elevernas förståelse av specifika grammatiska fenomen. Grammatisk kompetens ingår ändå indirekt i de flesta uppgifter av såväl receptiv som produktiv karaktär. Nytt i provversion 16 är att resultaten endast redovisas för fyra kategorier av uppgifter, för läsförståelse, hörförståelse, skriftlig produktion och muntlig interaktion/produktion. Det betyder inte att provuppgifterna har ändrats jämfört med tidigare provversioner. De flesta uppgifter avser fortfarande att pröva samhällsorientering och ord- och fraskunskap. Till skillnad från tidigare prov finns i prov 16 dock inte några rena kunskapsfrågor inom samhällsorienteringen. et bestod av fem delar: A: En serie uppgifter i läsförståelse, ord- och fraskunskap och samhällsorientering kring ett tema som anslogs i en inledande tidningstext. B: Tre hörförståelseuppgifter på en cd-skiva. I uppgifterna fick eleverna lyssna på några olika personer som besvarade en fråga, telefonsvararmeddelanden samt korta utdrag från en radiointervju. C: En serie uppgifter kring ett andra tema. Uppgifterna prövade elevernas läsförståelse, ord- och fraskunskap och samhällsorientering. Även en kortare skrivuppgift av formell karaktär ingick. D: En längre skrivuppgift som gick ut på att skriva ett brev av informell karaktär. E: Två muntliga uppgifter: 1) att samtala/diskutera; 2) att tala in korta telefonmeddelanden. Den första uppgiften genomfördes som en paruppgift med två elever i taget, i den andra uppgiften prövades varje elev för sig. I lärarhandledningen till provet gavs en omfattande redovisning av de teoretiska utgångspunkterna bakom provkonstruktionen samt en rättningsmall, bedömningskriterier och ett flertal exempel på bedömda elevtexter. Dessutom bifogades en cd-skiva med exempel på bedömda elevprestationer i del E. Uppgifterna var av flera olika typer: flerval, matchning, hämta information ur ett diagram, korta egenproducerade svar, samtal och fri skrivning. Alla uppgifter poängsattes enligt instruktioner i lärarhandledningen och adderades ihop. Totalt krävdes 70 procent för att bli godkänd på provet men då måste man också klara vissa minimikrav i de delar som prövade fri skriftlig och fri muntlig produktion. 1 Kursplan och betygskriterier finns införda i SKOLFS 1994: 28 och SKOLFS 1994: 44. Ny kursplan finns i SKOLFS 2002: 19. 2

3 Insänt material Cirka 7680 prov beställdes av 275 anordnare runt om i landet. Antalet beställningar är något högre än vid prov 15 men fortfarande lägre än vid tidigare provversioner. Fram till prov 13 har volymen av beställningar varit mycket stabil (vilket framgår av tabell 1). Eftersom det saknas möjligheter att följa upp hur många skolenheter som beställt prov 14 är det svårt att tidsbestämma när denna nedgång har ägt rum. En orsak till nedgången kan vara att antalet elever har blivit färre i och med den nya kursplanen med uppdelning i kurserna A, B, C och D, det vill säga att provet enbart genomförs med elever från D-kursen. Tabell 1. Beställningar, prov Nr 4 Nr 5 Nr 6 Nr 7 Nr 8 Nr 9 Nr 10 Nr 11 Nr 12 Nr 13 Nr 15 Nr 16 Antal prov Antal sfianordnare Antalet beställda prov ger dock ingen uppfattning om hur många elever som faktiskt har gjort provet. Många skolor beställer prov med råge, dels för att det kan vara svårt att uppskatta hur många elever som kommer att genomföra provet, dels för att proven inte är tidsbundna och alltså kan komma till användning även längre fram. Liksom tidigare begärdes visst provmaterial in för uppföljning och analys: en enkät med lärarsynpunkter på provet, ett kassettband med inspelade och bedömda elevsamtal och samtliga provhäften från var tionde elev på listan plus den sista eleven skulle skickas in. Vid insamlingsperiodens utgång hade följande material kommit in: Tabell 2. Inskick av begärt material, prov Nr 5 Nr 6 Nr 7 Nr 8 Nr 9 Nr 10 Nr 11 Nr 12 Nr 13 Nr 14 Nr 15 Nr 16 Antal lärarenkäter Antal skolor som skickat lärarenkäter Antal elevprov Antal skolor som skickat elevprov Antal skolor som skickat band Antal skolor totalt i materialet Andel av beställarna som skickat något 43% 33% 29% 33% 27% 32% 29% 31% 21% * 23% 26% * Denna uppgift kan inte beräknas för prov 14 p.g.a. avsaknad av data. 3

4 Åsikter om provet De här redovisade åsikterna om provet grundar sig enbart på de 108 inkomna lärarenkäterna från 70 olika sfi-anordnare. Skrivuppgifterna Skrivuppgifterna i prov 16 uppfattas som relevanta/bra av hela 83,3 procent av lärarna. I lärarenkäten påpekar dock några lärare att man sällan skriver brev idag, och att de därför upplever den långa skrivuppgiften som något ansträngd. Den korta skrivuppgiften upplevs av några lärare som lite svår det skulle ha varit enklare att ringa. På frågan om uppgifternas svårighetsgrad svarar ändå 93,5 procent att de var lagom svåra. De presenterade bedömningarna anses vara rimliga av 86 procent av de lärare som har svarat och samtliga lärare anser att de är till hjälp vid bedömningen tre av fyra menar att de är till god hjälp, övriga att de är till viss hjälp. Från och med prov 13 får eleverna 60 minuter på sig att skriva mot tidigare 45,72 procent av lärarna anser att denna tid var lagom lång, medan cirka 3 procent anser att den var för kort och övriga 21,4 procent att tiden var i överkant. Nästan samtliga lärare, det vill säga 93 procent, anser att det är bra med två skrivuppgifter. Delarna A, B och C Uppfattningen om delarna A, B och C framstår i huvudsak som positiv i de inskickade lärarenkäterna. Mellan 78 och 85 procent av lärarna anser att valet av teman och att innehållet i delarna är relevant/bra samt att svårighetsgraden är lagom. Ungefär 93 procent säger sig uppskatta den tematiska uppläggningen av delarna A och C. Det är viktiga och angelägna ämnen skriver en lärare. Flera lärare påpekar dock att tiden var för kort för C-delen (några sådana tendenser kan dock inte utläsas i provresultaten). Hörförståelseuppgifterna uppskattas i relativt hög grad: 78 procent av lärarna menar att de var bra och övriga cirka 14 procent att de var acceptabla. Flera lärare påpekar att ljudkvaliteten är mycket bra. Några är också positivt inställda till att en av uppgifterna har en mer berättande karaktär och skriver att uppgifterna känns relevanta även för småstadselever. Den muntliga delen Drygt hälften av lärarna som svarat på enkäten anser att båda uppgifterna fungerade bra, ungefär en fjärdedel att de var acceptabla och 10 procent att de fungerade mindre bra. Den enskilda uppgiften som går ut på att tala in telefonmeddelanden bemöttes med skiftande kommentarer. Några lärare påpekar att det är en obekväm situation för vissa elever att tala in meddelanden på telefonsvarare. Andra menar att det fungerar mycket bra, att det är en rolig uppgift. Diskussionsämnena i paruppgiften tog i det här provet upp aktuella ämnen i samhällsdebatten, vilket uppskattades somliga lärare: Ämnena gav upphov till intressanta diskussioner om aktuella samhällsfrågor, de prövar den vardagliga kommunikationen. Andra ansåg att ämnena var svårare än i föregående prov: En svår uppgift för ungdomar och för elever som bott kort tid i Sverige. När det gäller bedömningen anser 81,5 procent av lärarna att bedömningen i de bifogade exemplen är rimlig. Det är dock viktigt att påpeka att bortfallet i frågan om bedömning var hela 16 procent vilket kan vara ett tecken på att lärarna inte lyssnat och tagit ställning till dessa bedömningar. Övergripande frågor I stort sett samtliga lärare som besvarat frågan anser att provet speglar kursplanens ämnessyn (75% i hög grad, 18% till viss del) och att de får stöd av provet vid betygsättningen, 87 procent anser att de får gott stöd, övriga visst stöd. Cirka nio av tio lärare tycker att gränsen för Godkänd 4

5 på provet är lagom, 1 procent tycker att den ligger för lågt och 6 procent att den ligger för högt. Av de tre förslag på annan gräns för Godkänd som angivits föreslår en lärare 50 procent, fyra föreslår 60 procent och en lärare 75 procent. Under rubriken allmänna kommentarer skriver en lärare så här: bra att ni frångått rena kunskapsfrågor och att ordkunskap och samhällsorientering förekommer i nästan alla uppgifter. En annan lärare skriver att provet bör innehålla mer samhällskunskap, t.ex. skatter, socialförsäkringssystem, rättsväsen, myndigheter och vardagsjuridik. Där uttrycker också några lärare önskemål om att provet ska anpassas bättre till tonåringar och om ett gemensamt datum för sfi-provet över hela landet. Övriga kommentarer är: ett tydligt och ett rättvist prov, ett klart och överskådligt och mycket lätträttat test, ett bra prov som belyser olika kunskapsområden. Den nya lay-outen uppmärksammas också: ny design var trevligt, sista sidan i E-delen är nu mycket överskådlig. I vilken utsträckning används de gamla proven i Skolverkets provbank? Lärarenkäten till prov 16 hade (liksom den till prov 13 15) en fråga om provversionerna som inte längre omfattas av sekretess: I vilken utsträckning har Du använt de gamla sfi-proven som man kan ladda ner från Skolverkets provbank? Frågan besvarades av 102 (av 108) lärare. Fyra av dessa hade inte använt dem alls, medan övriga uppgav allt från ett prov till alla. Det framgår också att vissa använder proven för att öva på en viss typ av uppgifter. Lärarna anser att det är ett bra övningsmaterial och påpekar dessutom att eleverna uppskattar möjligheten att få bekanta sig med provet i förväg: en bra övning som ger bra resultat på provet eleverna älskar de gamla proven!. Flera lärare skriver också att elever själva laddar ned proven från internet och övar. Resultat De resultat som redovisas här nedan bygger uteslutande på de elevprov som skickats in till provkonstruktören enligt önskemål i lärarhandledningen, alltså på 188 prov från 64 olika skolor. Materialet är mycket begränsat och resultaten bör därför tolkas med försiktighet. Kort om eleverna i urvalet Urvalsgruppen på 188 elever består av cirka 60 procent kvinnor, vilket är ungefär samma fördelning som i prov 14 och 15. Det är en ganska ung elevgrupp, 44 procent är födda 1978 eller senare och cirka 37 procent mellan 1968 och De vanligaste förekommande språkgrupperna är: arabiska (14,4 procent), bks - det vill säga bosniska, kroatiska, serbiska - (10,1 procent), ryska (8,5 procent) och spanska (8 procent). Nästan hälften av eleverna har ett germanskt, romanskt eller något annat europeiskt språk som modersmål. När det gäller elevernas utbildningsbakgrund är bortfallet i insända uppgifter avsevärt. Det framgår dock att den största andelen provtagare har en relativt hög utbildningsbakgrund, det vill säga 14 års utbildning eller längre (38,3 procent). 32,4 procent av provtagarna har års utbildning och 7 procent av eleverna saknar utbildning eller har endast upp till sex års utbildning från hemlandet. Cirka 19 procent av testtagarna är flyktingar och ungefär sju av tio tillhör gruppen övrig invandrare. 5

6 Läsförståelse, hörförståelse, ord-/fraskunskap och samhällsorientering Delarna A C omfattade (förutom en kortare skrivuppgift) 16 uppgifter med 60 deluppgifter eller items. Medelpoängen på dessa delar var 47 poäng av 60 möjliga, det vill säga en lösningsproportion på 0,78. Detta är något bättre än i resultatet i prov 15, men det överensstämmer mycket väl med resultaten i prov 13 och 14. Elevernas resultatfördelning framgår av följande figur: Figur 1. Poängfördelning på delarna A C (förutom den korta skrivuppgiften) Om man sammanför de olika uppgifterna utifrån deras huvudsyfte finner man att uppgifterna i hörförståelse var något enklare än läsförståelse, men skillnaden är inte markant. Delprov Lösningsproportion Hörförståelse 0,79 Läsförståelse 0,77 På uppgiftsnivå spänner resultaten mellan en lösningsproportion på 0,95 och 0,50. Det betyder att variationsbredden är mindre än i prov 15. Fri skrivning et innehöll två skrivuppgifter: ett kort formellt meddelande och ett längre brev av informell karaktär. I instruktionerna till uppgifterna gavs vägledning om innehållet. Elevtexterna bedömdes med poäng respektive poäng enligt flera kommenterade exempel i lärarhandledningen. Som minimikrav för att bli godkänd på provet i sin helhet krävdes 10 poäng på denna del. Samtliga elever i urvalet som uppnådde kraven för Godkänd på provet, det vill säga 70 procent av totalpoängen, hade även klarat minimikravet på 10 poäng på den skriftliga delen. Medelpoängen 6

7 på fri skrivning var 14,7 av 20 möjliga, det vill säga en lösningsproportion på 0,73. Resultatet på den korta skrivuppgiften är bättre än på den långa, vilket följer mönstret från tidigare prov (förutom prov 14, jfr. tabell 3). Tabell 3. Lösningsproportioner på skrivuppgifterna, prov Nr 5 Nr 6 Nr 7 Nr 8 Nr 9 Nr Nr Nr Nr Nr Nr Nr Skriv (totalt) 0,60 0,57 0,59 0,62 0,63 0,61 0,62 0,67 0,62 0,65 0,65 0,73 Kort Uppgift 0,70 0,61 0,74 0,72 0,69 0,78 0,67 0,75 0,76 0,64 0,78 0,80 Lång uppgift 0,57 0,56 0,56 0,60 0,60 0,56 0,60 0,64 0,59 0,66 0,61 0,72 Elevernas poängfördelning framgår av följande figur: Figur 2. Poängfördelning på fri skrivning. Cirka 91 procent av eleverna klarade minimikravet för den fria skrivningen, vilket är betydligt bättre jämfört med föregående prov. Muntlig produktion et innehöll två muntliga uppgifter att samtala/diskutera och att tala in korta telefonmeddelanden. Den första uppgiften var en paruppgift där eleverna prövades två och två åt gången, den andra uppgiften var en enskild uppgift som provledaren genomförde med eleverna en och en. De båda uppgifterna bedömdes var för sig med poäng enligt kriterier i lärarhandledningen och som minimikrav för att bli godkänd på provet i sin helhet krävdes 25 poäng på denna del. Som tidigare bifogades en cd-skiva med ett antal inspelade och kommenterade elevexempel på de aktuella uppgifterna för att underlätta bedömningen. Liksom i tidigare provversioner saknas resultat på de muntliga uppgifterna för ett antal elever, cirka 11 procent. Bortfallet är i prov 16 mindre än i tidigare prov. Nästan alla elever i urvalet som uppnått kravet på Godkänd på provet, det vill säga 70 procent av totalpoängen, klarade också minimikravet på 25 poäng på den muntliga delen (3 elever fick dock endast 20 poäng på den muntliga delen). 7

8 Medelpoängen för de 167 elever som fått resultat på den muntliga delen i prov 16 är 30,7 det vill säga en lösningsproportion på 0,77. Detta är i stort sett samma resultat som i de senaste proven. Slutresultat Följande figur beskriver poängfördelningen för de 167 elever i urvalet som fått resultat på alla delar av provet: Figur 3. Slutlig poängfördelning, delarna A E. Medelpoängen var 92 poäng av 120 möjliga, det vill säga en lösningsproportion på 0,77. Detta är ett bättre resultat jämfört med prov 14 och 15 och jämfört med flera tidigare provversioner (provresultatet var dock lika högt i prov 12 och 13). 128 av 167 elever uppnådde godkändgränsen på 84 poäng på provet, 3 elever klarade dock inte minimikraven på de skriftliga och muntliga uppgifterna, vilket betyder att 75 procent av eleverna klarade kraven för godkänd på provet. 8

9 Tabell 4. Jämförelse av urvalets slutresultat prov Lösningsproportion på hela provet Lösningsproportion på skrivuppgifterna Lösningsproportion på de muntliga uppgifterna Klarade kraven för G på provet Blev godkända på kursen Av dessa fick VG på kursen ,70 0,69 0,68 0,72 0,70 0,70 0,71 0,77 0,76 0,74 0,73 0,77 0,60 0,57 0,59 0,62 0,63 0,61 0,62 0,67 0,62 0,65 0,65 0,73 0,75 0,72 0,72 0,75 0,71 0,74 0,74 0,77 0,76 0,74 0,76 0,77 53% 56% 50% 61% 56% 60% 59% 72% 74% 69% 62% 75% 61% 61% 61% 65% 63% 64% 58% 70% 65% 73% 61% 74% 14% 18% 13% 16% 16% 16% 14% 22% 15% 32% 29% 26% Av sammanställningen framgår att resultaten på prov 16 är bättre än de flesta tidigare prov i flera avseenden. Vad detta kan bero på är oklart, men kan möjligen hänga samman med den nya kursplanen för sfi. Eftersom det nu finns utgångar med betyg från sfi-utbildningen även på lägre nivåer kan det ha medfört att standarden hos de elever som går vidare till D-kursen kan ha höjts. Osäkerheten i de små urvalsgrupperna kan även spela in. Vidare redovisas här i form av lådagram (boxplot) även distribution av slutresultat utifrån elevernas utbildningsbakgrund, det vill säga för grupperna 0 6, 7 9, och 14 + års utbildning från hemlandet. Tvärstrecket i lådan markerar medianen och lådans botten och tak första respektive tredje kvartilen (inom vilka 50 procent av observationerna återfinns). Strecken ovanför och under lådan morrhåren (whiskers) markerar de högsta respektive lägsta värdena i varje grupp. Icke-typiska resultat som ligger utanför 1,5 kvartilavstånd är markerade med en ring. Tabell 5. Beskrivande data för slutresultat efter utbildningsgrupp Utbildningsgrupp N Medelvärde Median Minimum Maximum 0 6 år 12 80, år 26 89, år 53 92, år 64 96, Totalt ,

10 Figur 4. Poängfördelning utifrån utbildningsbakgrund. Analysen visar också att utbildningsbakgrund är en faktor som påverkar resultaten för elever i urvalet. I prov 16 har gruppen med den kortaste utbildningsbakgrunden, 0 6 år, sämre resultat än övriga grupper, men i den gruppen är spridningen också ganska stor mellan de lägsta och högsta resultaten. Mest homogen grupp i detta avseende är utbildningsgruppen 14 + år. Redovisningen av dessa resultat bygger dock på ett mycket litet underlag där elevantalet i varje grupp är olika stort och måste därför tolkas med stor försiktighet. Slutligen redovisas här i form av en tabell och lådagram även resultatet för män respektive kvinnor (se tabell 6 och figur 5). Tabell 6. Beskrivande data för slutresutlat efter kön Kön N Medelvärde Median Minimum Maximum man 67 89, kvinna 99 94, Total , Som synes är skillnaderna grupperna emellan ganska stora. Signifikans test (T-test) visar att kvinnorna i urvalet har lyckats bättre än männen, p<0,05. Det är svårt att bedöma om den uppmätta skillnaden mellan könen är verklig eller om den beror på slumpen eftersom resultaten varierar från prov till prov 10

11 Figur 5. Poängfördelning på delarna A E efter kön. Sammanfattningsvis kan sägas att den här uppföljningen visar att elevernas resultat på prov 16 är ett av de bättre i provets historia. Det är svårt att avgöra om det är en tillfällighet, om det här provet är enklare än tidigare prov, om det beror på elevurvalet i uppföljningen eller på att elevsammansättningen har ändrats i de sammanhang provet används. Uppföljningen visar också att lärarna har en i stort sett mycket positiv inställning till provet. I lärarenkäten uttrycker de sin uppskattning beträffande provets utformning, sammansättning och svårighetsgrad. 11

12