För läsförståelse: Antal texter, antal ord, innehåll, språkets komplexitet och karaktär, typ av läsning, uppgiftstyper, svarsformat och antal poäng.

Transkript

1 Rapport Provmaterialet i Spanska steg 3 vårterminen 2006 Julieta Lodeiro (Julieta.Lodeiro@ped.gu.se) Enheten för språk och litteratur Institutionen för pedagogik och didaktik Göteborgs Universitet Inledning I provbanken fanns redan, fr.o.m. vt 2004, två integrerade prov: läsförståelse med tillhörande två skrivuppgifter samt hörförståelse med en tillhörande tal- och/eller två skrivuppgifter. Av dessa två integrerade prov hade det förstnämnda ett gemensamt tema i franska, spanska och tyska, nämligen mat och måltider. Hörförståelseuppgiften däremot skilde sig åt innehållsmässigt mellan språken. Under vt 2005 tillkom två nya prov: läsförståelse och fri muntlig produktion/interaktion. Det nya provmaterialet för steg 3 i spanska vt 2006 bestod av två delprov: hörförståelse och fri skriftlig produktion/interaktion. Det stod då läraren fritt att välja mellan två delprov i vardera hörförståelse, läsförståelse och fri muntlig produktion/ interaktion samt fyra delprov i fri skriftlig produktion/interaktion. Därmed fanns det goda möjligheter för läraren att testa såväl läs- och hörförståelse som fri muntlig- och skriftlig produktion/interaktion i relation till kursplanens innehåll. Hur tas proven fram? En gemensam arbetsprocess ligger till grund för framtagandet av provmaterialen i franska, spanska och tyska steg 3. Underlag för konstruktion tas från t.ex. nätet, radio, tidningar, litteratur och intervjuer med olika personer. Efter utprövning med ett stort antal elever i hela landet samlas allt material in och resultaten bearbetas. Ett referensgruppsmöte med erfarna lärare, varav minst en med spanska som modersmål, sätter sedan samman de aktuella proven i samråd med provansvariga i ämnet. Muntliga och skriftliga elevprestationer väljs därefter ut och bedöms av referenterna i respektive språk, vilka även lämnar förslag till betygsgränser för läs- och hörförståelseproven. För att säkerställa likvärdigheten mellan proven i franska, spanska och tyska utförs sedan en horisontell bedömning, d.v.s. lärare med undervisning i minst två av språken jämför proven i respektive språk utifrån bl.a. följande punkter: För hörförståelse: Antal delar, antal ord i manus, grad av autenticitet, innehåll, språkets komplexitet och karaktär, taltempo, regional färgning, omlyssning, uppgiftstyper, svarsformat samt antal poäng. För läsförståelse: Antal texter, antal ord, innehåll, språkets komplexitet och karaktär, typ av läsning, uppgiftstyper, svarsformat och antal poäng. För fri muntlig produktion/interaktion: Antal delar/ämnen, instruktioner och grad av stöd, språknivå och interaktion samt möjlighet att "ta ut svängarna" inom ämnet. För fri skriftlig produktion/interaktion: Antal ämnen, typ av efterfrågad text, instruktioner och grad av stöd, språknivån i uppsatserna samt möjlighet att "ta ut svängarna" inom ämnet.

2 Referenterna bedömer sedan om kraven för de föreslagna betygsnivåerna på elevexemplen i fri muntlig produktion/interaktion och fri skriftlig produktion/interaktion i respektive språk är likvärdiga. Avslutningsvis lämnar de sina förslag på betygsgränser för läs- och hörförståelseproven. Med hjälp av ingående analys av olika utprövningsdata fastställs sedan gränserna i ett möte mellan ansvariga i provbanken och Skolverket. Allmänt om det nya provmaterialet i spanska 2006 De två nya delproven i spanska, A escuchar! med fokus på hörförståelse, och A escribir!, som prövade fri skriftlig produktion/interaktion, fanns tillgängliga på nätet med lösenord för lärarna från slutet av mars Delprovet A escuchar! bestod av tre hörförståelsedelar av varierande format som tog totalt 24 minuter att genomföra. Skrivuppgiften, A escribir! utgjordes av ett mail som eleverna skulle besvara så utförligt som möjligt. Till sitt förfogande hade de 60 minuter för denna del. Inrapportering av elevresultat och lärarenkäter Deltagande skolor ombads att rapportera in elevresultat och lärarsynpunkter via nätet. Endast resultat och kommentarer för nytt provmaterial efterfrågades, eftersom statistik, lärarsynpunkter och kommentarer redan föreligger för tidigare tillhandahållet provmaterial (se rapporter för 2004 resp. 2005). Antalet redovisade elevresultat omfattade 1091 elever, varav antalet kvinnliga respektive manliga var 762 och 329. De program som rapporterade störst antal resultat var det samhällsvetenskapliga, 759 elever, och det naturvetenskapliga, 231 elever. Av samtliga elever gick 76 procent i åk 1 och 23 procent i åk 2 och 3. För provdelarna 2006 rapporterades 989 elevresultat för A escuchar! och 827 för A escribir! 69 lärarenkäter skickades in, varav flertalet innehöll en personlig kommentar. De resultat som finns att tillgå får tolkas med stor försiktighet, eftersom de inte återspeglar antalet elever med slutbetyg i spanska för steg 3. På grund av detta kommer betygsutfall på dessa resultat inte att redovisas. Ju mer material som provbanken innehåller, desto mer ökar valfriheten för lärarna. En del föredrar kanske tidigare givna prov, andra väljer de senast inlagda. Vi vill betona att såväl elevresultat som synpunkter från lärare är synnerligen nödvändiga och viktiga för att proven skall kunna utvecklas och förbättras. Vilka delar av provmaterialet använde då lärarna? 69 lärarenkäter skickades in via nätet. Av dessa kan man utläsa att av det nya provmaterialet 2006 använde: 64 procent A escuchar! procent A escribir! 2006 Av provmaterialet från vt 2005 gjorde: 44 procent A leer! procent A hablar! 2005 Av det integrerade provmaterialet 2004 använde: 33 procent Comidas A leer! 28 procent Comidas A escribir!

3 33 procent Adriana A escuchar! 17 procent Adriana A hablar! 16 procent Adriana A escribir! Som synes har lärarna i första hand föredragit att använda senare tillhandhållet provmaterial. Beskrivning av det nya materialet 2006 A escuchar! Hörförståelsen 2006 bestod av tre delar med hörförståelser av varierande slag. Vid framtagandet av provet var ambitionen att hörförståelsen skulle vara så autentisk som möjligt. El bar de la playa, var gemensam för franska, spanska och tyska. Uppgiften innebar att eleverna skulle ta ställning till ett antal påståenden om en bild och ange om dessa var korrekta eller inte. Del två, Situaciones, består av fem samtal, där eleverna skall producera egna svar angående innehållet i samtalen. I den sista delen, El Tiempo, som utgjordes av en karta samt flervalsuppgifter, fick eleverna lyssna till väderleksrapporter. I den första delen, El bar de la playa, där det fanns 20 uppgifter, fick eleverna höra varje påstående en gång. De fem samtalen i Situaciones spelades upp två gånger var. Den första och den tredje dialogen var mycket korta och eleverna skulle uppfatta två respektive tre detaljer. Dialog nummer två följdes av fyra uppgifter, där eleverna bl.a. skulle uppfatta siffror. Den fjärde dialogen var lite längre. Till den hörde fem uppgifter, där eleverna bl.a. skulle uppfatta siffror. En av uppgifterna till den femte och sista dialogen innehöll högtalarinformation. Före avlyssningen fick eleverna tid att studera uppgifterna i elevhäftet och under avlyssningen kunde de göra anteckningar i marginalen. Uppgifterna i Situaciones krävde detalj- och intensivlyssning, eftersom eleverna både skulle söka efter speciell information och information som behövde analyseras och bearbetas. För att minska antalet möjliga svarsalternativ i en sådan uppgiftstyp och därigenom öka tillförlitligheten i bedömningen (reliabiliteten) styrs ibland elevens formuleringar genom att en del av svaret ges. Eleven svarar på målspråket och svaret skall passa innehållsligt till den givna delen av svaret. Den sista delen, El Tiempo, innehöll fyra flervalsuppgifter. Efter varje väderleksinformation, som eleverna fick lyssna till två gånger, skulle de välja det svar som stämde överens med vad de hört och vad de såg på kartan. 84 procent av lärarna ansåg att innehållet var bra/tillfredsställande i samtliga delar och 92 procent var nöjda med bedömningsanvisningarna. El bar de la playa bedömdes som lättast och Situaciones som svårast, vilket också stämmer med resultatutfallet. 79 procent av lärarna tyckte att taltempot var lagom och 55 procent tyckte att pauserna var lagom långa. Enligt lärarna var 29 procent av eleverna nöjda med hörförståelsedelen och 38 procent neutrala. 33 procent av eleverna uppfattades som negativa. Att döma av lärarkommentarerna, är många elever inte vana vid okänd hörförståelse. De inrapporterade elevresultaten för A escuchar! 2006 var något lägre, dock snarlika, jämfört med A escuchar! Adriana från vt procent var nöjda med de föreslagna betygsgränserna. De som inte var nöjda ville ha något högre gräns för Godkänd och något lägre gränser för både Väl godkänd och Mycket väl godkänd. Gränsdragning i proven är en bedömning som görs av erfarna spansklärare, dels på basis av målanalys och erfarenheter, dels efter tillgång till vissa utprövningsdata. Dessutom har lärare med kompetens i såväl franska

4 som tyska alternativt spanska jämfört de tre provmaterialens olika delprov och bedömt svårighetsgraden i dessa. A escribir! Den skriftliga uppgiften Un picnic, som var gemensam för spanska och tyska, bestod i att besvara ett mail från en spanskspråkig flicka, som ville ha information om diverse praktiska ting i samband med en planerad picknick. Till uppgiften fanns utöver mailet en karta som hjälp och inspiration. Eleverna hade 60 minuter till sitt förfogande. 98 procent av lärarna fann uppgiften bra/tillfredsställande och 83 procent ansåg att bedömningsanvisningarna fungerade bra. Av enkäterna framgår att hälften av lärarna beskrev sina elevers reaktioner på uppgiften som positiva och knappt hälften som neutrala. Elevresultaten för A escribir! 2006 var något lägre, dock snarlika, jämfört med A escribir! Adriana och A escribir! Comidas från vt Variationen av svarsformer Efterfrågan av skilda svarsformer i hörförståelseprovet (flervalsuppgifter och produktiva uppgifter) har sin grund i de validitetsdiskussioner som förts under konstruktionsprocessen. Syftet är att inte gynna en viss kategori elever utan att erbjuda alla möjlighet att visa den receptiva förmågan på ett så varierat sätt som möjligt. Varje svar som visar att eleven förstått innehållet och som kan anses vara begripligt för en icke svensk- eller engelskkunnig person med spanska som modersmål ger poäng. Detta innebär alltså att även felstavade och grammatiskt oriktiga svar kan ge poäng, eftersom avsikten med hörförståelseprovet inte är att testa korrekt språkanvändning utan i första hand hörförståelse. Vad de produktiva uppgifterna beträffar skall fokus ligga på innehåll och begriplighet och en distinktion göras mellan fel som eventuellt stör och fel som förstör kommunikationen. Provmaterialets påverkan De allra flesta inrapporterande lärare, 95 procent, menar att provmaterialet tolkar ämnessynen i kursplanen. 89 procent anser att provmaterialet i stor eller mycket stor utsträckning påverkade deras tolkning av kursplanens mål- och betygskriterier. Däremot var motsvarande siffror för påverkan av arbetsformer lägre, 61 procent, liksom för innehållet i undervisningen, 73 procent. Detta är helt följdriktigt, eftersom det är lärarna som i samråd med sina elever avgör hur målen skall nås. 83 procent angav att provresultatet överensstämde med deras egen bedömning. Planer för vidareutveckling I lärarnas enkätsvar framgår att många välkomnar nationellt provmaterial för steg 3, samt att de efterlyser ett demonstrationsmaterial. Ett sådant öppet material, som är tillgängligt för lärarna att handskas fritt med är under utveckling. Flertalet lärare efterfrågar även nationellt provmaterial för steg 2, vilket är planerat att tillhandahållas under våren Det pågår för nuvarande inget utvecklingsarbete inom steg 4 i något av de moderna språken. Vi på Enheten för språk och litteratur vid Göteborgs universitet tackar alla lärare som rapporterat in elevresultat och bidragit med värdefulla synpunkter på provmaterialen. Vi

5 kommer att begrunda alla kommentarer i vår strävan att förbättra provens kvalitet i olika avseenden. För framtiden hoppas vi att fler lärare rapporterar in sina elevresultat. Under våren 2007 utökas provbanken ytterligare med ett delprov i hörförståelse och ett i läsförståelse.