Rapport Provmaterial i tyska språkval åk 9/steg 2 vårterminen 2008 och 2009 Ragnhild Wedlin (ragnhild.wedlin@ped.gu.se) Enheten för språk och litteratur Institutionen för pedagogik och didaktik GÖTEBORGS UNIVERSITET Inledning Vårterminen 2008 tillhandahölls för första gången provmaterial för språkval åk 9/steg 2 i provbanken. Materialet omfattade en hörförståelse- och en läsförståelsedel. Året därpå, vårterminen 2009, utökades materialet med en skriftlig och en muntlig provuppgift. Samtidigt fick lärarna möjlighet att väga samman alla fyra elevresultaten till ett provbetyg, såsom redan sker i de nationella proven i engelska. Ca tre fjärdedelar av de lärare som genomfört fyra provdelar har använt sig av denna möjlighet. Hur tas proven fram? En gemensam arbetsprocess ligger till grund för framtagandet av provmaterialen i franska, spanska och tyska, språkval åk 9/steg 2. Underlag för konstruktion tas från t.ex. Internet, tidningar, litteratur och intervjuer med olika personer. Efter utprövning med ett stort antal elever i hela landet samlas allt material in och resultaten bearbetas. Ett referensgruppsmöte med erfarna lärare, varav minst en med det aktuella språket som modersmål, sätter sedan i samråd med provansvariga i ämnet samman de aktuella proven. Muntliga och skriftliga elevprestationer väljs därefter ut och bedöms av referenterna i respektive språk, vilka även lämnar förslag till betygsgränser för läs- och hörförståelseproven. För att säkerställa likvärdigheten mellan provmaterialet i franska, spanska och tyska utförs sedan en horisontell bedömning, d.v.s. lärare med undervisning i minst två av språken jämför proven i respektive språk utifrån bl.a. följande punkter: För hörförståelse: Antal delar, antal ord i manus, grad av autenticitet, innehåll, språkets komplexitet och karaktär, taltempo, regional färgning, omlyssning eller ej, uppgiftstyper, svarsformat samt antal poäng. För läsförståelse: Antal texter, antal ord, innehåll, språkets komplexitet och karaktär, typ av läsning, uppgiftstyper, svarsformat och antal poäng. För fri muntlig produktion/interaktion: Antal delar/ämnen, instruktioner och grad av stöd, språknivå och interaktion samt möjlighet att ta ut svängarna inom ämnet. För fri skriftlig produktion/interaktion: Antal ämnen, typ av efterfrågad text, instruktioner och grad av stöd, språknivån i uppsatserna samt möjlighet att ta ut svängarna inom ämnet. Referenterna bedömer även om kraven för de föreslagna betygsnivåerna på elevexemplen i fri muntlig produktion/interaktion och fri skriftlig produktion/interaktion i respektive språk är likvärdiga. Avslutningsvis lämnar de sina förslag på betygsgränser för läs- och hörförståelse-
proven. Med hjälp av ingående analys av olika utprövningsdata fastläggs sedan gränserna i ett möte mellan ansvariga i provbanken och Skolverket. Provmaterialet i tyska All insamling av elevresultat och synpunkter på provmaterialet skedde via Internet. För provdelarna 2008 rapporterades 3 168 elevresultat för Hören resp. 3 309 för Lesen. Motsvarande siffror för 2009 var 2 143 (Hören), 2 196 (Lesen), 1 386 (Sprechen) samt 1 524 (Schreiben). De inrapporterade eleverna kom till övervägande delen från grundskolan: 92 procent 2008 och 89 procent 2009. De få gymnasieeleverna kom huvudsakligen från samhällsprogrammet. Något fler pojkar än flickor var representerade. 245 (2008) och 93 (2009) lärarenkäter skickades in, varav 207 resp. 54 hade en personlig kommentar. Nedan redovisas utfallet på de olika delproven, liksom för det samlade provbetyget, baserat på de provresultat och reaktioner som rapporterats in. Trots att dessa i de flesta fall är relativt många bör alltför långtgående slutsatser undvikas. Användningen av provmaterialet är inte obligatorisk och det föreligger heller inte något krav att rapportera in resultat. Dessutom finns en stark dominans av resultat från åk 9, med enbart ca tio procent från gymnasial utbildning. Det kan därmed inte tas för givet att det rapporterade utfallet är fullt representativt för kursplanens steg 2 (se vidare den avslutande kommentaren i rapporten). Givetvis kan dock vissa tendenser skönjas och dessa bör bli föremål för fortsatt analys och diskussion, såväl på nationell som på lokal nivå. Hören 2008/2009 Hörförståelseprovet för språkval åk 9/steg 2 bestod av fem delar och tog ca 31 minuter. I den första delen, Alex erzählt, skulle eleverna fylla i ett enkelt formulär efter att ha hört en pojke berätta om sig själv. Denna första del var lättast och svårighetsgraden på de följande delarna steg sedan för varje del. Nästa uppgift, Wo befinden sie sich?, var en s.k. matchinguppgift, där eleverna skulle para ihop en dialog med rätt platsangivelse i en lista med förslag. Del tre, Im Restaurant, innehöll en flervalsuppgift samt frågor, som eleverna kortfattat skulle besvara på tyska. Den fjärde delen, Was ist gemeint?, var en flervalsuppgift, där eleverna hade tre bildalternativ att välja på till varje dialog. Del fem till sist, Freizeit, var en autentisk dialog inspelad på plats i Tyskland. Till uppgiften fanns dels frågor med flervalsalternativ, dels frågor som skulle besvaras med egna ord på tyska. Betygsutfallet för de inrapporterade elevresultaten Hören 2008 var något högre än för 2009. De ca 5 300 inrapporterade resultaten för båda åren fördelade sig på följande sätt: EUM 1 /Icke godkänt 1 % Godkänt 15 % Väl godkänt 35 % Mycket väl godkänt 49 % Ca 50 procent av lärarna i undersökningen 2008 var nöjda med de föreslagna betygsgränserna för Godkänt, Väl godkänt och Mycket väl godkänt. Något mer nöjda var lärarna år 2009. Mest nöjd var man båda åren med gränsen för Godkänt. De som anmälde en avvikande uppfattning om betygsgränserna ville samtliga ha högre gränser, med 2 till 3 poängs skillnad. I stort sett samtliga lärare var nöjda med innehållet i de fyra provdelarna. Alex erzählt bedömdes som lättast och Freizeit som svårast, vilket också stämmer med resutatutfallet. Eleverna hade ändå klarat den sistnämnda uppgiften bättre än lärarna förväntat. De negativa 1 EUM: Ej uppnått målen (grundskolan)
synpunkter som framfördes bestod mest i att provdelen uppfattades som för lätt alt. att betygsgränserna var för lågt satta. Många lärare påpekar dock i sammanhanget att det är mycket lättare att lyssna och läsa och förstå än att göra sig förstådd skriftligt och muntligt, speciellt i ett språk som är så likt svenskan. För att kunna bedöma eleverna mer allsidigt, efterlyste man i enkäterna från 2008 ett skriftligt och muntligt delprov och dessa tillhandahölls 2009. Flera lärare uppgav att de kompletterat hör- och läsförståelseproven med den skriftliga och muntliga uppgiften från det bedömningsmaterial som 2001 distribuerades till samtliga berörda skolor. Det finns också tillgängligt mot lösenord på Skolverkets hemsida http://www.skolverket.se/sb/d/2923. Även 2009 hade vissa lärare valt denna möjlighet istället för att använda de nya delproven. Några lärare rapporterar att de själva och deras elever tyckte delprovet var för lätt, men det finns också flera positiva kommentarer som De kände sig stolta och glada över att de fick så fina resultat överlag och Provet stärkte mångas självförtroende. Lesen 2008/2009 Läsförståelsen bestod av fyra delar med texter av varierande slag, från korta tidningstexter till en längre berättande text. Den första texten, Das bin ich, handlade om en pojke som berättade om sig själv, sin familj och sin fritid. Texten har ett autentiskt underlag och är lätt bearbetad. I texten fanns luckor och eleverna skulle välja vilket ord som passade in. Det fanns fyra alternativ att välja på. Text nummer två, Ein schreckliches Erlebnis, handlade om ett kvällsinköp med oväntade följder. Här skulle eleverna antingen bevara frågor med egna ord eller välja rätt alternativ av ett antal förslag. I den tredje texten, Mein erster Besuch in Schweden, en autentisk text, beskriver en tysk utbyteselev sitt möte med Sverige och den svenska skolan. Eleverna förväntades här besvara ett antal frågor med egna ord. Den sista texten, Familienanzeigen bestod, som titeln antyder, av ett antal annonser, som är vanliga på familjesidorna i en tidning. Sju annonser skall paras ihop med den rätta av åtta möjliga innehållsbeskrivningar, en s.k.matchinguppgift. De inrapporterade elevresultaten för Lesen 2008/2009 visade på ett något lägre betygsutfall än motsvarande siffror för Hören. Så har ofta varit fallet även för motsvarande delprov för steg 3. Detta tyder på att elever i allmänhet har lätt att förstå talad tyska. De ca 5 500 inrapporterade eleverna fick följande betygsutfall: EUM/Icke godkänt 4 % Godkänt 27 % Väl godkänt 36 % Mycket väl godkänt 33 % 43 procent eller fler av lärarna år 2008 och 60 procent eller fler år 2009 var nöjda med de föreslagna betygsgränserna för Godkänt, Väl godkänt och Mycket väl godkänt. Mest nöjda var lärarna även här med gränsen för Godkänt. De som inte var nöjda ville i allmänhet ha höjda gränser med 3 poäng. I stort sett samtliga inrapporterande lärare var nöjda med innehållet i de fyra provdelarna. Den första texten Das bin ich bedömdes som lättast, sedan de följande som allt svårare med den fjärde som allra svårast. Detta stämmer med utfallet, men skillnaden i svårighetsgrad mellan text 1 och 2 å ena sidan och text 3 och 4 å andra sidan var inte så stor som lärarna förmodat. Mycket få negativa elevreaktioner fanns inrapporterade. Från lärarhåll kom både ros och ris. Man tyckte i allmänhet om texternas innehåll och variation, men liksom vid Hören ansåg en del kommenterande lärare att provet var för lätt. Detta gällde i synnerhet uppgifterna.
Schreiben 2009 Skrivuppgiften, som tillkom 2009, hade som huvudtema ett ämne, som eleverna hade lätt att skriva om. Eftersom denna rapport inte är sekretesskyddad kan innehållet inte avslöjas här. Det fanns sju förslag på delområden i mind-mapform på uppgiften ritat som ett parasoll varav ett var helt fritt. Eleverna hade att välja på att skriva mycket om 1-2 delområden eller något mindre utförligt om 3 4 av dem. I stort sett samtliga lärare ansåg att bedömningsanvisningarna med kommenterade elevuppsatser var till god eller ganska god hjälp och var också nöjda med uppgiften. Några lärare angav att de valt skrivuppgiften från bedömningsmaterialet istället, andra att de efterlyste ett exempel på nivån IG/IG+. Eftersom betyget Icke godkänt inte förekommer i grundskolan, ansågs det mindre lämpligt att ha med något exempel på denna nivå. Samma tankegångar finns i proven i engelska i åk 9. Några kommenterande lärare efterlyste användning av ordböcker vid genomförandet av skrivuppgiften. Till detta kan följande kommentar ges: Det har vid tidigare utprövningar inom projektet gjorts försök, där man jämfört resultatet på elevers skriftliga produktion, då de haft tillgång till ordbok och då detta inte varit tillåtet. Det har vid dessa tillfällen inte visat sig nödvändigtvis vara en fördel att ha tillgång till ordbok. Många duktiga men osäkra elever slår då upp så mycket, att det inkräktar på den tid som står till förfogande för att producera något. Dessutom är tillgången på ordböcker ute i skolorna så varierande, att rättvisan och jämförbarheten i en provsituation äventyras. Vissa skolor kanske saknar lexikon helt eller har inte tillräckligt många, andra har föråldrade ordböcker, somliga skolor utförliga lexikon, andra kortfattade, en del endast enspråkiga etc. Det sistnämnda slaget av ordböcker är på många sätt mest rättvist, eftersom vi har en stor del elever med annat modersmål än svenska. För att kunna tillgodogöra sig informationen i en ordbok krävs dessutom en del träning och detta hinner man sannolikt inte med på lägre nivåer. Vid konstruktion av provmaterial i momentet Schreiben försöker vi anpassa uppgiften till det ordförråd som eleverna på den aktuella nivån bör behärska. Hur vi har lyckats med det framgår av de nödvändiga utprövningarna av alla skriftliga uppgifter. När de utvalda elevuppsatserna bedöms och betygsätts, tas naturligtvis hänsyn till att eleverna inte har kunnat slå upp några ord men samtidigt också, om eleverna ändå lyckats lösa språkliga problem genom omskrivningar e.dyl. Denna kommunikativa kompetens (användandet av strategier) är dessutom något som premieras på många ställen i kursplanen för moderna språk. Synpunkterna på användningen av ordböcker här ovan avser bedömning på nationell nivå och innebär givetvis inte något avståndstagande från att i undervisningen arbeta med ordböcker i samband med elevers skrivande. Tvärtom är ju det ett alldeles utmärkt sätt att hjälpa dem att bli mera självständiga i sin språkanvändning. Detta ligger också bakom ett av de Mål att sträva mot som formuleras i kursplanen för Moderna språk. Användning av ordböcker blir emellertid problematisk i ett nationellt provmaterial, som har som ett av sina främsta syften att bidra till likvärdighet i bedömningen mellan lärare och skolor i landet. Betygsutfallet på delmomentet Schreiben var som förväntat lägre än för delproven Hören och Lesen (se kommentarer ovan under Hören samt nedan under Övergripande). EUM/Icke godkänt 7 % Godkänt 50% Väl godkänt 31 % Mycket väl godkänt 12 % (drygt 1 500 elevresultat)
Sprechen 2009 En annan nyhet i provbanken för språkval åk 9/steg 2 år 2009 var delprovet Sprechen. Ämnet hade rubriken Was wählst du? och bestod av åtta kort med två motsatspar. Här skulle eleverna arbeta parvis, välja ett kort, ta ställning och berätta varför. Samtalspartnern förväntades också vara aktiv genom att ställa och besvara frågor. Uppgiften beräknades ta ca 20 minuter per elevpar inklusive uppvärmning i form av småprat på tyska samt några minuters förberedelsetid. Om det fanns tillräckligt med betygsunderlag när eleverna talat om två ämnen/använt två kort, kunde läraren avsluta prövningen. Delprovet Sprechen var det som användes minst av lärarna, av 63 procent. Samtliga lärare ansåg att bedömningsanvisningarna var till god eller ganska god hjälp. 16 procent av eleverna ansågs vara negativa till uppgiften. Bland lärarna fanns vitt skilda synpunkter som bara roligt och stimulerande för eleverna. Kanonbra för den sammanfattande helhetsbedömningen till Taldelen var alldeles för svår. Att hålla igång en diskussion gick inte. Många poängterade att det behövs mer träning i klassrummet. För övrigt återkom liknande kommentarer som under Schreiben: byte till den muntliga uppgiften i Bedömningsmaterialet och efterlysning av exempel på Inte Godkänt. De närmare 1 400 elevresultaten fördelade sig enligt nedan: EUM/Icke godkänt 4 % Godkänt 50% Väl godkänt 34 % Mycket väl godkänt 12 % Provbetyg Som nämnts i inledningen har ca 75 procent av inrapporterande lärare använt sig av möjligheten att väga samman fyra delprov till ett gemensamt provbetyg. 100-talet resultat har räknats bort, där elever med enbart tre delprov ändå tilldelats ett provbetyg. Dessutom har 12 elever med Icke godkänt på två delprov fått ett sammanvägt provbetyg Godkänt, vilket inte stämmer med instruktionerna. Dessa 12 elever skulle ha tilldelats Icke godkänt som sammanvägt betyg, även om resultatet på de andra delproven var goda. (mer nedan under Övergripande) Resultat från de 911 inrapporterande sammanvägda provbetygen visar att de flesta eleverna hamnar på nivån Väl Godkänt (47 Procent), därefter Godkänt (31 procent). 3 procent fick betyget Icke godkänt och 18 procent Mycket väl godkänt. Övergripande Flera lärare poängterar att eleverna får bättre resultat på de receptiva provdelarna än på motsvarande produktiva. Detta är inte förvånande. Lesen och Hören har sitt huvudsakliga fokus på reception medan Schreiben och Sprechen är produktiva till sin karaktär (se även anm. under Hören). När det gäller att klara av receptiva provdelar har en elev med svenska som modersmål rimligtvis en viss fördel av att tyska och svenska är besläktade språk. Det är dock viktigt att hålla i minnet att kraven för språkval åk 9/steg 2 är desamma oavsett valt språk och elevens modersmål. Betygsättningen på samtliga delprov har därför granskats av ett antal lärare med utbildning och undervisningserfarenhet i två av språken (franska/tyska, franska/spanska och spanska/tyska) för att säkerställa att nivån är likvärdig (se även under rubriken Hur tas proven fram?) Vid betygsättning av elever, där skillnaden är stor mellan produktiv och receptiv förmåga, har lärarna stöd i Skolverkets föreskrifter SKOLFS 2000:2-133, 2 4. Utdrag ur 2 : För att
erhålla betyg skall, om inte annat framgår av 3-4, eleven ha kunskaper enligt samtliga kriterier som gäller för betyget. Utdrag ur 3 : För betygen Väl godkänd och Mycket väl godkänd gäller att särskilt väl utvecklad förmåga avseende något eller några kriterier kan väga upp brister avseende ett eller ett par andra kriterier. De krav som gäller för Godkänd skall dock alltid vara uppfyllda, om inte särskilda skäl som anges i 4 föreligger. Utdrag ur 4 : Med särskilda skäl avses funktionshinder och andra hinder som inte är av tillfällig natur och som utgör ett direkt hinder för eleven att uppfylla kraven för ett visst kriterium. Nytt provmaterial Ett formativt material för steg 1-2 (grundskolans åk 6-9) med med bl.a. självbedömning, kamratbedömning och diagnostiskt material i Hören och Lesen har under 2009 lagts in i provbanken. Våren 2010 tillhandahålls ett nytt delprov Hören och Lesen för språkval åk 9/steg 2 samt ett nytt delprov Schreiben för steg 3. Vi på Enheten för språk och litteratur vid Göteborgs universitet tackar alla lärare som rapporterat in elevresultat och bidragit med värdefulla synpunkter på provmaterialet. Vi kommer att tillvarata alla kommentarer i vår strävan att förbättra provens kvalitet i olika avseenden. Göteborg i mars 2010 Ragnhild Wedlin Provansvarig i tyska Övergripande kommentar om resultaten i franska, spanska och tyska i åk 9/steg 2 Provmaterialen i franska, spanska och tyska för årskurs 9/steg 2 tas fram och kvalitetssäkras i samarbete bl.a. med många lärare och elever. Såväl process som produkt följer gemensamma, forskningsbaserade principer som gäller för samtliga nationella prov i främmande språk (www.ipd.gu.se/enheter/sol/nafs/gemensamma_principer/). Dessa överensstämmer väl med internationellt etablerade riktlinjer för god praxis vid utveckling av prov- och bedömningsmaterial i språk, vilka används i undervisning och forskning runt om i Europa (www.ealta.eu.org/guidelines.htm). Det kan vidare konstateras att kursplanens mål för åk 9/steg 2 ungefär motsvarar nivå A2 i den skala som beskrivs i Gemensam europeisk referensram för språk: lärande, undervisning och bedömning (Europarådet/Skolverket, 2009; www.skolverket.se > Publikationer). A2 representerar en högre nybörjarnivå, som definieras med hjälp av ett stort antal deskriptorer. Den övergripande beskrivningen av vad en person på denna nivå ska kunna göra med sitt språk är följande: Kan förstå meningar och vanliga uttryck som rör omedelbara behov (t.ex. mycket grundläggande information om individ och familj, inköp, lokal geografi, sysselsättning). Kan kommunicera i enkla och rutinmässiga sammanhang som kräver ett enkelt och direkt utbyte av information. Kan i enkla termer beskriva delar av sin egen bakgrund, sin närmaste omgivning samt förhållanden inom områden som rör omedelbara behov. De svenska kursplanerna är generella, dvs. inte språkspecifika, och innefattar därmed samtliga främmande språk i skolan. Detta innebär följaktligen att steg 2 även finns i engelska och där motsvarar den ungefärliga nivån i slutet av åk 6. Mot bakgrund av detta
kan vissa kommentarer vara på sin plats vad gäller det redovisade utfallet på provmaterialen för steg 2 i moderna språk. I samtliga språk har lärare ibland uttryckt förvåning och stundtals kritik över att många elever fått höga betyg, i synnerhet på de delprov som fokuserar hör- och läsförståelse. Specifika kommentarer ges i respektive rapport, men generellt kan konstateras dels att receptiva språkfärdigheter på nybörjarnivåer generellt utvecklas snabbare än produktiva och interaktiva, dels att språksläktskap givetvis har betydelse. Dessutom bör påminnas om situationen vad gäller moderna språk i svensk skola, som gör att de resultat som redovisas på de nationella provmaterialen är selektiva på flera sätt. Dels börjar enbart ca 80 % av eleverna i grundskolan överhuvudtaget med franska, spanska eller tyska, dels är avhoppen betydande, med enbart ungefär 60 % av eleverna kvar i slutet av åk 9. Selektionen är givetvis betydande även i gymnasial utbildning. Sammantaget och sett i relation till att kursplanen avser alla elever i alla främmande språk gör detta följaktligen att det är föga förvånande att de som gjort proven i stor utsträckning presterar goda resultat. Gudrun Erickson Projektledare