Rapport Provmaterialet i Franska steg 3 vårterminen 2006 Kerstin Häggström (Kerstin.Haggstrom@ped.gu.se) Enheten för språk och litteratur Institutionen för pedagogik och didaktik GÖTEBORGS UNIVERSITET Inledning I provbanken finns, fr.o.m. vt 2004, för steg 3 i franska två integrerade prov: läsförståelse med tillhörande två skrivuppgifter samt hörförståelse med en tal- och/eller två skrivuppgifter. Av dessa två integrerade prov har det förstnämnda ett gemensamt tema i franska, spanska och tyska, nämligen mat och måltider. Hörförståelseuppgiften däremot skiljer sig åt innehållsmässigt mellan språken. Under vt 2005 tillkom två nya prov: läsförståelse och fri muntlig produktion/interaktion. Av de inrapporterade lärarenkäterna från vt 2005 framgick att 50% av lärarna hade genomfört fyra delar av det totala provmaterialet som fanns i provbanken. Fyra delar innebar dock inte automatiskt ett delprov var i de olika kompetenserna Compréhension orale, Expression orale, Compréhension écrite och Expression écrite. Detta är dock önskvärt eftersom eleverna på så sätt erbjuds att visa sina kunskaper receptivt, produktivt och interaktivt. Det nya provmaterialet vt 2006 bestod av två delprov: hörförståelse och fri skriftlig produktion/ interaktion. De inrapporterade lärarenkäterna från vt 2006 visade att 42% av lärarna även här hade genomfört fyra delar. Hur tas proven fram? En gemensam arbetsprocess ligger till grund för framtagandet av provmaterialen i franska, spanska och tyska steg 3. Underlag för konstruktion tas från t.ex. nätet, radio, tidningar, litteratur och intervjuer med olika personer. Efter utprövning med ett stort antal elever i hela landet samlas allt material in och resultaten bearbetas. Ett referensgruppsmöte med erfarna lärare, varav minst en med det aktuella språket som modersmål, sätter sedan i samråd med provansvariga i ämnet samman de aktuella proven. Muntliga och skriftliga elevprestationer väljs därefter ut och bedöms av referenterna i respektive språk, vilka även lämnar förslag till betygsgränser för läs- och hörförståelseproven. För att säkerställa likvärdigheten mellan proven i franska, spanska och tyska utförs sedan en horisontell bedömning, d.v.s. lärare med undervisning i minst två av språken jämför proven i respektive språk utifrån bl.a. följande punkter: För hörförståelse: Antal delar, antal ord i manus, grad av autenticitet, innehåll, språkets komplexitet och karaktär, taltempo, regional färgning, omlyssning eller ej, uppgiftstyper, svarsformat samt antal poäng. För läsförståelse: Antal texter, antal ord, innehåll, språkets komplexitet och karaktär, typ av läsning, uppgiftstyper, svarsformat och antal poäng. För fri muntlig produktion/interaktion: Antal delar/ämnen, instruktioner och grad av stöd, språknivå och interaktion samt möjlighet att ta ut svängarna inom ämnet. För fri skriftlig produktion/interaktion: Antal ämnen, typ av efterfrågad text, instruktioner och grad av stöd, språknivån i uppsatserna samt möjlighet att ta ut svängarna inom ämnet.
Referenterna bedömer sedan om kraven för de föreslagna betygsnivåerna på elevexemplen i fri muntlig produktion/interaktion och fri skriftlig produktion/interaktion i respektive språk är likvärdiga. Avslutningsvis lämnar de sina förslag på betygsgränser för läs- och hörförståelseproven. Med hjälp av ingående analys av olika utprövningsdata fastläggs sedan slutgiltigt gränserna i ett möte mellan ansvariga i provbanken och Skolverket. Allmänt om det nya provmaterialet i franska 2006 De två nya delproven i franska, Compréhension orale med fokus på hörförståelse och Expression écrite, som prövade fri skriftlig produktion/interaktion, fanns tillgängliga på nätet med lösenord för lärarna från slutet av mars 2006. Delprovet Compréhension orale bestod av tre hörförståelseuppgifter av varierande format som det tog totalt 20 minuter att genomföra. Skrivuppgiften, Expression écrite, utgjordes av ett mail som eleverna skulle besvara så utförligt som möjligt. Till sitt förfogande hade de 60 minuter för denna del. Inrapportering av elevresultat och lärarenkäter Deltagande skolor ombads att rapportera in elevresultat och lärarsynpunkter via nätet. Antalet redovisade elevresultat omfattade 1026 elever, varav antalet kvinnor respektive män var 727 och 299. De program som rapporterade störst antal resultat var det samhällsvetenskapliga, 548 elever, och det naturvetenskapliga, 325 elever. Av samtliga elever gick 974 i åk 1, 14 i åk 2, 2 i åk 3 och 37 i vuxenutbildningen. I takt med att nytt material läggs in i provbanken och det står lärare fritt att välja och kombinera delprov från olika år kommer det sannolikt också att bli svårare att få en entydig bild av utnyttjandegraden av det för året nya materialet. 70 lärarenkäter skickades in via nätet. Endast resultat och kommentarer för nytt provmaterial efterfrågades eftersom statistik, lärarsynpunkter och kommentarer redan föreligger för tidigare tillhandahållet provmaterial. De resultat som finns att tillgå får tolkas med stor försiktighet eftersom de inte återspeglar antalet elever med slutbetyg i franska för steg 3. På grund av denna osäkerhet kommer heller inte betygsutfall att redovisas. Ju mer material som provbanken innehåller, desto mer ökar valfriheten för lärarna. I många av de 70 lärarenkäter som skickades in via nätet fanns en personlig kommentar. Lärare kan av olika skäl ha avstått från att delta eller ej rapporterat in resultat. En del föredrar kanske tidigare givna prov, andra väljer de senast inlagda. Eftersom resultat och synpunkter endast efterfrågas för nytt provmaterial, blir statistiken efter hand osäkrare. För att provmaterialet skall kunna utvecklas och förbättras är det dock av yttersta vikt att såväl elevresultat som synpunkter från deltagande lärare skickas in. Vilka delar av provmaterialet använde lärarna? Analyser visar att av det nya provmaterialet 2006 använde 81 % av lärarna Compréhension orale 2006 71 % Expression écrite 2006 Av provmaterialet 2005 använde 54 % Compréhension écrite 2005 36 % Expression orale 2005 Av det integrerade provmaterialet 2004 använde 23 % Compréhension écrite À table! 17 % Expression écrite À table! 14 % Compréhension orale Maria 17 % Expression orale Maria 9 % Expression écrite Maria
Det visar sig alltså, enligt ovan, att lärarna föredrog att använda provmaterialet 2006 men även 2005. Beskrivning av det nya provmaterialet 2006, Compréhension orale och Expression écrite Compréhension orale Hörförståelsen 2006 bestod av tre delar av varierande slag, dels en uppgift där eleverna fick höra olika påståenden som syftade på den bild de såg i elevhäftet, dels fyra dialoger som följdes av frågor eller kommentarer på innehållet. I den tredje delen, som utgjordes av en karta samt flervalsuppgifter, fick eleverna höra väderleksrapporter. Vid framtagningen av provmaterialet hade ambitionen varit att hörförståelsen skulle vara så autentisk som möjligt. I den första delen, Le café de la plage, där det fanns tjugo uppgifter, skulle eleverna avgöra om påståenden av varierande slag stämde överens med bilden eller inte. De fick höra varje påstående en gång. Le café de la plage var gemensam för franska, spanska och tyska. Dialogues, den andra delens fyra dialoger, fick eleverna höra två gånger. Den första dialogen var mycket kort och eleverna skulle uppfatta fyra detaljer. Dialog nummer två följdes av fyra uppgifter där eleverna skulle uppfatta siffror, välja mellan två olika informationer, tänka ett steg längre än den information som gavs när de besvarade en fråga med egna ord på franska, samt uppfatta en högtalarinformation. Den tredje dialogens uppgifter bestod dels av tre faktafrågor varav en fråga skulle besvaras med egna ord på franska, dels två uppgifter där eleverna skulle förklara något med egna ord på franska. Den sista dialogen följdes av fyra faktafrågor, två av dem skulle eleverna besvara med egna ord på franska och två uppgifter skulle besvaras med siffror. Före avlyssningen fick eleverna tid att studera uppgifterna i elevhäftet och under avlyssningen kunde de göra anteckningar i kanten av häftet. Uppgifterna i Dialogues krävde detalj- och intensivlyssning eftersom eleverna både skulle söka efter speciell information och information som behövde analyseras och bearbetas. Den sista delen av provet, La météo, innehöll fyra flervalsuppgifter. Efter varje väderleksinformation, som eleverna fick lyssna till två gånger, skulle de välja det svar som stämde överens med vad de hört och med kartan. Variationen av svarsformer i hörförståelseprovet (flervalsuppgifter, lucktest, produktiva uppgifter, rätt/fel-uppgifter) har sin grund i de validitetsdiskussioner som förts under konstruktionsprocessen. Syftet är att inte systematiskt gynna en viss kategori elever utan erbjuda möjlighet för alla elever att visa den receptiva förmågan på ett så varierat sätt som möjligt. Beträffande de produktiva uppgifterna skall fokus ligga på innehåll och begriplighet och en distinktion göras mellan fel som eventuellt stör och fel som förstör kommunikationen. Varje svar som visar att eleven förstått innehållet i hörförståelsen och som kan anses vara begripligt för en icke svensk- eller engelskkunnig person med franska som modersmål ger poäng. Detta innebär att även felstavade och grammatiskt oriktiga svar kan ge poäng, eftersom avsikten med hörförståelseprovet inte är att testa korrekt språkanvändning utan i första hand hörförståelse. Lärarna var nöjda med bedömningsanvisningarna och de flesta ansåg att innehållet var bra i samtliga delar. De bedömde att svårigheten i hörförståelse och uppgifter var rimlig och tyckte att taltempot var lagom snabbt. Pauserna uppfattades som lagom långa. Enligt lärarna var 22 procent av eleverna nöjda med hörförståelsedelen och 42 procent neutrala. 36 procent uppfattades som negativa. Att döma av lärarkommentarerna, är många elever inte vana vid okänd hörförståelse. - Någon del något svår men så skall det vara anser både eleverna och jag.
Ca 89 procent var nöjda med de föreslagna betygsgränserna. De som önskade en ändring ville ha lägre gränser för såväl Godkänd, Väl godkänd som Mycket väl godkänd. Gränsdragning i proven är en bedömning som görs av erfarna fransklärare, dels på basis av målanalys och erfarenheter, dels efter tillgång till vissa utprövningsdata. Dessutom har lärare med kompetens i såväl spanska som tyska alternativt franska jämfört de tre provmaterialens olika delprov och bedömt svårighetsgraden i dessa. Expression écrite Underlaget till den skriftliga uppgiften utgjordes av ett mail från en skolklass i Frankrike. Mailet innehöll flera frågor som eleverna skulle besvara så utförligt som möjligt. De hade 60 minuter till sitt förfogande. 89 procent av lärarna fann uppgiften bra och 77 procent ansåg att bedömningsanvisningarna var bra. Enligt lärarna var 51 procent av eleverna positiva och 49 procent neutrala till uppgiften. - Uppgiften var bra och eleverna fick verkligen möjlighet att visa vad de kan. De hade också möjlighet att använda sig av språket i brevet som fanns med i uppgiften, vilket var bra. - Uppgiften var mycket vardagsnära och realistisk. - Ämnet inte riktigt anpassat för komvuxelever. Borde finnas ett alternativ. Den kommunikativa färdigheten betonas i alla kursmålen. Hur eleverna lyckas med att skriva på målspråket beror på hur, hur mycket och när denna färdighet används i undervisningen. Provmaterialets påverkan I tabellen nedan redovisas lärarnas synpunkter i enkäten angående några frågor om hur provet relaterar till kursplanen, undervisningen och betygssättningen. Dessa frågor är gemensamma för proven i flera ämnen. Fördelning av lärarnas synpunkter på provmaterialet i Franska steg 3 vt 2006: I vilken utsträckning anser I mycket stor I stor I liten Antal läraren att provmaterialet utsträckning utsträckning utsträckning svar. % % % lärare speglar ämnessynen i kursplanen 32 65 3 62 påverkar lärarens tolkning av kursplanens mål och betygskriterier 18 58 24 62 påverkar de arbetsformer läraren använder i undervisningen 10 56 34 62 påverkar det innehåll i betydelsen delmål och delfärdigheter etc. som tas upp i undervisningen 15 61 24 62 stämmer med vilket slutbetyg läraren ger enskilda elever 84 (ja) 16 (nej) 64
Samtliga lärare ansåg alltså att proven i mycket stor eller stor utsträckning speglar ämnessynen i kursplanen, medan dess påverkan på arbetsformer och innehåll i undervisningen bedömdes som mindre. Detta är helt följdriktigt, eftersom det är lärarna som i samråd med sina elever avgör hur målen skall nås. Övriga synpunkter I lärarnas enkäter framgår att många uppskattar nationellt provmaterial för steg 3. - Elevernas språkliga nivå var högre än jag trott. - Proven är väl utformade och eleverna får chans att visa sina färdigheter Exempelmaterial för steg 3, öppet för lärare och elever att använda som de önskar, är planerat att vara tillgängligt vt 2008. Även provmaterial för steg 2 planeras för vt 2008. Vi på Enheten för språk och litteratur vid Göteborgs universitet tackar alla lärare som rapporterat in elevresultat och bidragit med värdefulla synpunkter på provmaterialen för steg 3. Vi kommer att begrunda alla kommentarer i vår strävan att förbättra provens kvalitet i olika avseenden.