sfi Uppföljning av nationellt sfi-prov 17 Kortfattad redovisning av reaktioner och resultat

Transkript

1 sfi Uppföljning av nationellt sfi-prov 17 Kortfattad redovisning av reaktioner och resultat Grazyna Bartholdson och Jenny Uddling Centrum för tvåspråkighetsforskning Stockholms universitet Skolverket 2005

2 Inledning Den här uppföljningen är baserad på insänt material i form av elevprov och lärarenkäter. Den speglar lärarnas reaktioner på provet och elevernas resultat i förhållande till tidigare provversioner. Sfi-prov 17 började distribueras till användarna i november 2004 och användes sedan ute på skolorna åtminstone fram till april 2005 då version 18 blev klar. en, som är avsedda att konkretisera kursplanens mål och fungera som stöd för lärarna vid betygsättningen inom sfi, är inte bundna till någon viss provperiod utan kan användas närhelst behov föreligger. Utgångspunkten vid provkonstruktionen var liksom tidigare de styrdokument som reglerar sfiundervisningen samt en modell av kommunikativ språkförmåga som utarbetats mot bakgrund av bl. a. L. Bachmans arbeten och som beskrivs i lärarhandledningen till provet. Till sin utformning följer sfi-prov 17 i stort sett de tidigare provversionerna. Avsikten är att pröva elevernas kunskaper på ett mångfasetterat sätt och utifrån flera utgångspunkter. Från och med provversion 13 innehåller sfi-proven inga uppgifter som främst avser att pröva elevernas förståelse av specifika grammatiska fenomen. Grammatisk kompetens ingår ändå indirekt i de flesta uppgifter av såväl receptiv som produktiv karaktär. Från och med provversion 16 redovisas resultaten endast för fyra kategorier av uppgifter, för läsförståelse, hörförståelse, skriftlig produktion och muntlig interaktion/produktion. Det betyder inte att provuppgifterna har ändrats jämfört med tidigare provversioner. De flesta uppgifter avser fortfarande att pröva samhällsorientering och ord- och fraskunskap. Från och med prov 16 finns inte några rena kunskapsfrågor inom samhällsorienteringen. et bestod av fem delar: A: En serie uppgifter i läsförståelse, ord- och fraskunskap och samhällsorientering kring ett tema som anslogs i en inledande text. B: Tre hörförståelseuppgifter på en cd-skiva. I uppgifterna fick eleverna lyssna på några olika personer som besvarade en fråga, några telefonsvararmeddelanden samt utdrag från radions konsumentupplysning. C: En serie uppgifter kring ett andra tema. Uppgifterna prövade elevernas läsförståelse, ord- och fraskunskap och samhällsorientering. Även en kortare skrivuppgift av formell karaktär ingick. D: En längre skrivuppgift som gick ut på att skriva en ansökan. E: Två muntliga uppgifter: 1) att självständigt berätta något 2) att diskutera en fråga och sedan komma överens med sin samtalspartner. I den första uppgiften prövades eleverna enskilt och den andra genomfördes som en paruppgift med två elever i taget. I lärarhandledningen till provet gavs en omfattande redovisning av de teoretiska utgångspunkterna bakom provkonstruktionen samt en rättningsmall, bedömningskriterier och ett flertal exempel på bedömda elevtexter. Dessutom bifogades en cd-skiva med exempel på bedömda elevprestationer i del E. ets uppgifter var av flera olika typer: flerval, matchning, hämta information ur en tabell, korta egenproducerade svar, samtal och fri skrivning. Alla uppgifter poängsattes enligt instruktioner i lärarhandledningen och adderades ihop. Totalt krävdes 70 procent för att bli godkänd på provet men då måste man också klara vissa minimikrav i de delar som prövade fri skriftlig och fri muntlig produktion. 2

3 Insänt material Cirka 7380 prov beställdes av 270 anordnare runt om i landet. Antalet beställningar är något lägre än vid tidigare provversioner. Fram till prov 13 har volymen av beställningar varit mycket stabil (vilket framgår av tabell 1). Eftersom det saknas möjligheter att följa upp hur många skolenheter som beställt prov 14 är det svårt att tidsbestämma när denna nedgång har ägt rum. En orsak till nedgången kan vara att antalet elever har blivit färre i och med den nya kursplanen (med uppdelning i kurserna A, B, C och D) och att provet enbart genomförs med elever från D-kursen. Tabell 1. Beställningar, prov Nr 5 Nr 6 Nr 7 Nr 8 Nr 9 Nr 10 Nr 11 Nr 12 Nr 13 Nr 15 Nr 16 Nr 17 Antal prov Antal sfianordnare Antalet beställda prov ger dock ingen uppfattning om hur många elever som faktiskt har gjort provet. Många skolor beställer prov med råge, dels för att det kan vara svårt att uppskatta hur många elever som kommer att genomföra provet, dels för att proven inte är tidsbundna och alltså kan komma till användning även längre fram. Liksom tidigare begärdes visst provmaterial in för uppföljning och analys: en enkät med lärarsynpunkter på provet, ett kassettband med inspelade och bedömda elevsamtal och samtliga provhäften från var tionde elev på listan plus den sista eleven skulle skickas in. Vid insamlingsperiodens utgång hade följande material kommit in: Tabell 2. Inskick av begärt material, prov Nr 5 Nr 6 Nr 7 Nr 8 Nr 9 Nr 10 Nr 11 Nr 12 Nr 13 Nr 14 Nr 15 Nr 16 Nr 17 Antal lärarenkäter Antal skolor som skickat lärarenkäter Antal elevprov Antal skolor som skickat elevprov Antal skolor som skickat band Antal skolor totalt i materialet Andel av beställarna som skickat något 43% 33% 29% 33% 27% 32% 29% 31% 21% * 23% 26% 23% * Denna uppgift kan inte beräknas för prov 14 p.g.a. avsaknad av data. 3

4 Åsikter om provet De här redovisade åsikterna om provet grundar sig enbart på de 83 inkomna lärarenkäterna från 53 olika sfi-anordnare. Skrivuppgifterna Skrivuppgifterna i prov 17 uppfattas som relevanta/bra av hela 79,5 procent av lärarna. I lärarenkäten påpekar dock några lärare att de övat mycket på att skriva just ansökan och att den långa skrivuppgiften därför upplevdes något lätt. Några lärare anser att den korta skrivuppgiften är orealistisk eftersom man hellre skulle ringa i en sådan situation. På frågan om uppgifternas svårighetsgrad svarar ändå 89,2 procent att de var lagom svåra. Bedömningarna i lärarhandledningen anses vara rimliga av 91,6 procent av de lärare som har svarat och samtliga lärare anser dessutom att de är till hjälp vid bedömningen fyra av fem menar att de är till god hjälp, övriga att de är till viss hjälp. Lärarna är mer positiva till de skriftliga bedömningarna i jämförelse med tidigare prov. Men fem lärare anser att de var något för milda. Från och med prov 13 får eleverna 60 minuter på sig att skriva mot tidigare 45 minuter. 82 procent av lärarna (tio procent fler än i prov 16) anser att denna tid var lagom lång, och övriga 13,3 procent att tiden var i överkant. Ingen tycker att tiden var för kort. Nästan samtliga lärare, det vill säga 96 procent, anser att det är bra med två skrivuppgifter. En lärare påpekar dock att det är olyckligt med den sneda poängfördelningen mellan skrivuppgifterna (0-16 p för den långa och 0-4 p för den korta skrivuppgiften). Delarna A, B och C Uppfattningen om delarna A, B och C framstår i huvudsak som positiv i de inskickade lärarenkäterna. Mellan 76 och 84 procent av lärarna anser att valet av teman och att innehållet i delarna är relevant/bra samt att svårighetsgraden är lagom. Del A, men även C till viss del, anses av några lärare vara något lättare än tidigare prov. Men flera är positiva till att långsammare läsare fick gott om tid. Ungefär 94 procent säger sig uppskatta den tematiska uppläggningen av delarna A och C (dvs. cirka 84 procent tycker att temaupplägget var bra och cirka 10 procent att den var acceptabelt ). Det är viktiga och angelägna ämnen skriver flera lärare. Hörförståelseuppgifterna upplevdes som ganska svåra. 47 procent av lärarna menar att de var bra och övriga cirka 29 procent att de var acceptabla. Vissa anser att det talas för snabbt, andra att skånskan var svårförståelig medan någon klagade på bakgrundsljudet, störande skratt och mummel. Layouten ett häfte med invikta blad (vilket var en miss från tryckeriet) gjorde uppgiften svårare. En lärare skriver att några elever till och med missade uppgifter på grund av det. Många lärare är ändå positivt inställda till hörförståelsen och menar att det är bra att nivån höjts något. Och någon skriver att Eleverna tyckte att hörförståelsen var svår men ändå hade de flesta lyckats bra. Den muntliga delen 65% av lärarna som svarat på enkäten anser att båda uppgifterna fungerade bra, ungefär en fjärdedel att de var acceptabla och endast 2,4 procent att de fungerade mindre bra. Den muntliga delen uppskattas mer än i föregående prov, både vad gäller teman och själva uppgifternas utformning. Lärarna tycker att det var lätt att prata om ämnena. Den enskilda uppgiften, som går ut på att självständigt berätta om något, har fått skiftande kommentarer. En lärare påpekar att det är en uppgift som ställer höga krav på eleven och en annan att det kändes onaturligt att bara sitta och lyssna. Andra menar att den fungerar mycket bra och att den visade på ett bra sätt huruvida den studerande har tillräcklig kunskap och struktur för att planera en presentation. Diskussionsämnena fungerade bra och tankekartorna uppskattades. När det gäller bedömningen 4

5 anser 79,5 procent av lärarna att bedömningen i de bifogade exemplen är rimlig. Det är dock viktigt att påpeka att bortfallet i frågan om bedömning var 13 procent vilket kan vara ett tecken på att lärarna inte lyssnat och tagit ställning till dessa bedömningar. Tre lärare ansåg att bedömningsexemplen på cd-skivan var något strängare bedömda än tidigare. Övergripande frågor I stort sett samtliga lärare som besvarat enkäten anser att provet speglar kursplanens ämnessyn (78 procent i hög grad, 17 procent till viss del) och att de får stöd av provet vid betygsättningen, 77 procent anser att de får gott stöd, övriga visst stöd. Så gott som samtliga lärare (97 procent) tycker att gränsen för Godkänd på provet är lagom, 1 procent tycker att den ligger för lågt och 1 procent att den ligger för högt. Av de tre förslag på annan gräns för Godkänd som angivits föreslår en lärare 65 procent och två lärare 80 procent. Under rubriken allmänna kommentarer skriver en lärare så här: Jag tycker 70 % på hela provet är underligt. Vad händer med elever som talar jättebra, men är IG på att skriva? Hur ska man bedöma dessa elever?. En annan lärare skriver att eleverna vill gärna ha VG. Det borde finnas en sådan gräns. En lärare med en positiv inställning till provet skriver: Jag och mina kollegor är mycket nöjda med de nationella proven och mycket imponerade över er variationsförmåga och en annan: et var bra, ändra inte ett vinnande koncept!. Flera lärare skriver att konstruktören har blivit bättre på att ta hänsyn till ungdomar, att uppgifter och teman inte längre enbart är vuxenanpassade och att det är bra att det mesta är verklighetsanknutet. En avslutande kommentar vänder sig till Skolverket: Jag skulle önska att Skolverket ännu tydligare trycker på att sfi-provet är betygsstödjande och ej betygsstyrande. Min erfarenhet är att det behövs mer information om detta till skolpersonal på alla nivåer. I vilken utsträckning används de gamla proven i Skolverkets provbank? Lärarenkäten till prov 17 hade (liksom den till prov 13 16) en fråga om provversionerna som inte längre omfattas av sekretess: I vilken utsträckning har Du använt de gamla sfi-proven som man kan ladda ner från Skolverkets provbank? Frågan besvarades av 83 lärare. Tre av dessa hade inte använt dem alls, medan övriga uppgav allt från ett prov till alla. Vissa använder också proven för att öva på en viss typ av uppgifter. Lärarna anser att det är ett bra övningsmaterial och påpekar också att eleverna uppskattar att få bekanta sig med provet i förväg. Flera lärare skriver också att elever själva laddar ned proven från Internet och övar. Resultat De resultat som redovisas här nedan bygger uteslutande på de elevprov som skickats in till provkonstruktören enligt önskemål i lärarhandledningen, alltså på 130 prov från 58 olika skolor. Materialet är mycket begränsat och resultaten bör därför tolkas med försiktighet. Antalet inskickade prov är det lägsta hittills. Kort om eleverna i urvalet Urvalsgruppen på 130 elever består av cirka 65 procent kvinnor, vilket är något högre andel än i prov 15 och 16. Det är en ganska ung elevgrupp, 42 procent är födda 1978 eller senare och cirka 37 procent mellan 1968 och Fyrtio procent av eleverna har ett germanskt, romanskt eller något annat europeiskt språk som modersmål. Språkgruppen med turkiska, arabiska, persiska, assyriska utgör cirka 33 procent. De mest frekvent förekommande språket är arabiska (17 procent) därefter följer bosniska-kroatiska-serbiska (6,2 procent), spanska (6,2 procent) och ryska (6,2 procent). 5

6 När det gäller elevernas utbildningsbakgrund är bortfallet i insända uppgifter avsevärt (cirka 6 procent). Det framgår dock att den största andelen provdeltagare (40 procent) har en relativt god utbildningsbakgrund, det vill säga års utbildning. 31,5 procent av provdeltagarna har 14 års utbildning eller längre och 9,2 procent av eleverna saknar utbildning eller har endast upp till sex års utbildning från hemlandet. Cirka 26 procent av provdeltagarna är flyktingar och ungefär sju av tio tillhör gruppen övriga invandrare. Läsförståelse, hörförståelse, ord-/fraskunskap och samhällsorientering Delarna A C omfattade (förutom en kortare skrivuppgift) 10 uppgifter med 60 deluppgifter eller items. Medelpoängen på dessa delar var 44 poäng av 60 möjliga, det vill säga en lösningsproportion på 0,73. Detta är något sämre resultat än i prov 16 men överensstämmer med resultatet i prov 15. Elevernas resultatfördelning framgår av följande figur: Antal elever Std. Dev = 8,12 Mean = 44 N = 130 Poäng delarna A-C Figur 1. Poängfördelning på delarna A C (förutom den korta skrivuppgiften) Om man sammanför de olika uppgifterna utifrån deras huvudsyfte finner man att läsförståelseuppgifterna var något enklare än hörförståelseuppgifterna, men skillnaden är inte markant. Delprov Lösningsproportion Hörförståelse 0,70 Läsförståelse 0,73 På uppgiftsnivå spänner resultaten mellan en lösningsproportion på 0,93 och 0,48. Det betyder att variationsbredden är likadan som i prov nummer 16. 6

7 Fri skrivning et innehöll två skrivuppgifter: att skriva ett kort formellt meddelande och en ansökan. I instruktionerna till uppgifterna gavs vägledning om innehållet. Elevtexterna bedömdes med poäng respektive poäng enligt flera kommenterade exempel i lärarhandledningen. Som minimikrav för att bli godkänd på provet i sin helhet krävdes 10 poäng på denna del. Samtliga elever i urvalet som uppnådde kraven för Godkänd på provet, det vill säga 70 procent av totalpoängen, hade även klarat minimikravet på 10 poäng på den skriftliga delen. Medelpoängen på fri skrivning var 14,3 av 20 möjliga, det vill säga en lösningsproportion på 0,72. Resultatet på den korta skrivuppgiften var bättre än på den långa, vilket följer mönstret från tidigare prov (förutom prov 14, jfr. tabell 3). Tabell 3. Lösningsproportioner på skrivuppgifterna, prov Nr 5 Nr 6 Nr 7 Nr 8 Nr 9 Nr Nr Nr Nr Nr Nr Nr Nr Skriv (totalt) 0,60 0,57 0,59 0,62 0,63 0,61 0,62 0,67 0,62 0,65 0,65 0,73 0,72 Kort Uppgift 0,70 0,61 0,74 0,72 0,69 0,78 0,67 0,75 0,76 0,64 0,78 0,80 0,86 Lång uppgift 0,57 0,56 0,56 0,60 0,60 0,56 0,60 0,64 0,59 0,66 0,61 0,72 0,68 Elevernas poängfördelning framgår av följande figur: Antal elever Std. Dev = 4,40 Mean = 14 N = 124 Poängfördelning på fri skrivning Figur 2. Poängfördelning på fri skrivning. Cirka 85 procent av eleverna klarade minimikravet för den fria skrivningen, vilket är några procentenheter lägre jämfört det med föregående provet. För cirka 5 procent av eleverna saknas uppgifter om resultatet och i några fall (2 elever) användes den långa skrivuppgiften från tidigare prov (dessa elevers resultat går inte att räkna in i resultatet för prov 17). 7

8 Muntlig produktion et innehöll två muntliga uppgifter att självständigt berätta om något och att diskutera en fråga. Den första uppgiften var en enskild uppgift som provledaren genomförde med eleverna en och en och den andra var en paruppgift. De båda uppgifterna bedömdes var för sig med poäng enligt kriterier i lärarhandledningen och som minimikrav för att bli godkänd på provet i sin helhet krävdes 25 poäng på denna del. Som tidigare bifogades en cd-skiva med ett antal inspelade och kommenterade elevexempel på de aktuella uppgifterna för att underlätta bedömningen. Liksom i tidigare provversioner saknas resultat på de muntliga uppgifterna för ett antal elever. Bortfallet i prov 17 är 16 procent och därmed är det större än i prov 16 då bortfallet låg på 11 procent. Nästan alla elever i urvalet som uppnått Godkänd på provet, det vill säga 70 procent av totalpoängen, klarade också minimikravet på 25 poäng på den muntliga delen (32 elever fick dock endast 20 poäng på den muntliga delen). Medelpoängen för de 109 elever som fått resultat på den muntliga delen i prov 17 är 30,5 det vill säga en lösningsproportion på 0,76. Detta är i stort sett samma resultat som återkommit i de senaste proven. Slutresultat Följande figur beskriver poängfördelningen för de 107 elever i urvalet som fått resultat på samt- liga delar av provet: Antal elever Std. Dev = 14,82 Mean = 89 N = Slutlig poämgfördelning delarna A-E Figur 3. Slutlig poängfördelning, delarna A E. Medelpoängen var 89 poäng av 120 möjliga, det vill säga en lösningsproportion på 0,74. Detta är ett sämre resultat än i prov 16 men är jämförbart med prov 14 och av 130 elever uppnådde godkändgränsen på 84 poäng på provet, 2 elever klarade dock inte minimikraven på de skriftliga och muntliga uppgifterna, vilket betyder att 57 procent av eleverna klarade kraven för godkänd på provet. 8

9 Tabell 4. Jämförelse av urvalets slutresultat prov Lösningsproportion på hela provet Lösningsproportion på skrivuppgifterna Lösningsproportion på de muntliga uppgifterna Klarade kraven för G på provet Blev godkända på kursen Av dessa fick VG på kursen ,70 0,69 0,68 0,72 0,70 0,70 0,71 0,77 0,76 0,74 0,73 0,77 0,74 0,60 0,57 0,59 0,62 0,63 0,61 0,62 0,67 0,62 0,65 0,65 0,73 0,72 0,75 0,72 0,72 0,75 0,71 0,74 0,74 0,77 0,76 0,74 0,76 0,77 0,76 53% 56% 50% 61% 56% 60% 59% 72% 74% 69% 62% 75% 57% 61% 61% 61% 65% 63% 64% 58% 70% 65% 73% 61% 74% 75% 14% 18% 13% 16% 16% 16% 14% 22% 15% 32% 29% 26% 29% Lösningsproportionen på den muntliga delen ligger på ungefär samma nivå sedan prov 15. Det var dock färre elever i jämförelse med tidigare prov som klarade godkändgränsen och med hänsyn till andra värden (redovisade i denna uppföljning) kan det betyda att prov 17 var något svårare än tidigare prov. Men resultatet påverkas av många olika faktorer, till exempel elevgruppens sammansättning. Det är dock intressant att påpeka att vissa lärare ansåg att prov 17 var något lättare än tidigare prov (framförallt del A och C). Möjligtvis kan det bero på att lärarna upplever provet enklare eftersom de är mer bekanta med provets upplägg och provets olika uppgiftstyper. Vidare redovisas här i form av lådagram (boxplot) även distribution av slutresultat utifrån elevernas utbildningsbakgrund, det vill säga för grupperna 0 6, 7 9, och 14 + års utbildning från hemlandet. Tvärstrecket i lådan markerar medianen och lådans botten och tak första respektive tredje kvartilen (inom vilka 50 procent av observationerna återfinns). Strecken ovanför och under lådan morrhåren (whiskers) markerar de högsta respektive lägsta värdena i varje grupp. Icke-typiska resultat som ligger utanför 1,5 kvartilavstånd är markerade med en ring. Tabell 5. Beskrivande data för slutresultat efter utbildningsgrup Utbildningsgrupp N Medelvärde Median Minimum Maximum 0 6 år 12 79, år 12 91, år 43 89, år 36 92, Totalt ,

10 Poäng på hela provet N= år 7-9 år år 14+ år Utbildningsgrupp Figur 4. Poängfördelning utifrån utbildningsbakgrund. Analysen visar att utbildningsbakgrund är en faktor som påverkar resultaten för elever i urvalet. I prov 17 har gruppen med den kortaste utbildningsbakgrunden, 0 6 år, sämre resultat än övriga grupper, men i den gruppen är spridningen också ganska stor mellan de lägsta och högsta resultaten. Mest homogena grupper i detta avseende är utbildningsgruppen år och Redovisningen av dessa resultat bygger dock på ett mycket litet underlag där elevantalet i varje grupp är olika stort och måste därför tolkas med stor försiktighet. Nedan redovisas resultatet för män respektive kvinnor (se tabell 6 och figur 5) i form av en tabell och ett lådagram. Tabell 6. Beskrivande data för slutresultat efter kön Kön N Medelvärde Median Minimum Maximum man 36 89, kvinna 71 89, Total ,

11 Poäng på hela provet N= Man Kvinna Kön Figur 5. Poängfördelning på delarna A E efter kön. Som synes är skillnaderna i prestationen grupperna emellan inte så stora. Signifikans test (T-test) visar att det inte förekommer någon signifikant skillnad i resultatet mellan kvinnor och män i urvalet, p>0,05. Det är svårt att bedöma om den uppmätta skillnaden mellan könen är verklig eller beror på slumpen eftersom det varierar från prov till prov och det är svårt att generalisera för hela populationen. Slutligen redovisas urvalets provresultat efter språkgrupp. Tabell 7. Beskrivande data för slutresultat efter språkgrupp Språkgrupp N Medelvärde Median Minimum Maximum Germanska, romanska , Övriga europeiska 28 93, Turkiska, arabiska, persiska, assyriska 36 84, Övriga icke europeiska 26 85, Totalt ,

12 Poäng på hela provet N= ger + rom tur+ara+kur+per+ass övriga europeiska övriga icke-europeiska Språkgrupp Figur 6. Poängfördelning på delarna A E efter språkgrupp Elever med europeiska inklusive germanska och romanska språk som modersmål lyckades bättre än övriga elever. Resultatet i denna uppföljning återspeglar en trend observerad i uppföljningar av tidigare prov och vid utprövningar. Det bör dock påpekas att elevgrupper med icke europeiskt språk som modersmål är mer heterogena i spridningen av provresultatet än övriga grupper. Sammanfattningsvis kan konstateras att uppföljningen tyder på att prov 17 var något svårare än prov 16, men svårighetsgraden är jämförbar med tidigare prov. Trots det upplevde några lärare att temadelarna med blandade uppgiftstyper (A och C) i provet var något enklare än vanligt. Uppföljningen visar också att majoriteten av lärarna uppskattar provets utformning, sammansättning och svårighetsgrad. Den muntliga delen (E) fick särskilt stor uppskattning i detta prov. 12

13 13