Provmaterialet i Spanska steg 3 vårterminen 2004 Julieta Lodeiro (Julieta.Lodeiro@ped.gu.se) och Kerstin Häggström (Kerstin.Haggstrom@ped.gu.se) Inledning Vårterminen 2004 presenterades för första gången ett helt nytt provmaterial för steg 3 i franska, spanska och tyska. Det bestod av två integrerade prov: läsförståelse med tillhörande skrivuppgift (två skrivuppgifter i spanska) samt hörförståelse med tillhörande tal- och skrivuppgift (två skrivuppgifter i spanska). Det första provet hade i samtliga tre språk ett gemensamt tema, nämligen mat och måltider, medan hörförståelseprovet skilde sig åt innehållsmässigt mellan å ena sidan franska och spanska och å andra sidan tyska. Det var naturligtvis möjligt att använda läs- och hörförståelsedelarna separat utan tillhörande integrerad uppgift. Eftersom det fanns olika skrivuppgifter att välja på kan man utgå från att lärarna har valt en skrivuppgift från ett av proven och inte från båda två. Hur tas proven fram? En gemensam arbetsprocess ligger till grund för framtagandet av provmaterialen i franska, spanska och tyska steg 3. Efter utprövning med ett stort antal elever i hela landet samlas allt material in och resultaten bearbetas. Ett referensgruppsmöte med erfarna lärare, varav minst en med spanska som modersmål, sätter sedan i samråd med provansvariga i ämnet samman de aktuella proven. Muntliga och skriftliga elevprestationer väljs därefter ut och bedöms av referenterna i respektive språk, vilka även lämnar förslag till betygsgränser för läs-och hörförståelseproven. För att säkerställa likvärdigheten mellan proven i franska, spanska och tyska utförs sedan en horisontell bedömning, d.v.s. lärare med undervisning i minst två av språken jämför proven i respektive språk utifrån bl.a. följande punkter: För hörförståelse: Antal delar, antal ord i manus, grad av autenticitet, innehåll, språkets komplexitet och karaktär, taltempo, regional färgning, omlyssning, uppgiftstyper, svarsformat samt antal poäng. För läsförståelse: Antal texter, antal ord, innehåll, språkets komplexitet och karaktär, typ av läsning, uppgiftstyper, svarsformat samt antal poäng. För fri muntlig produktion/interaktion: Antal delar/ämnen, instruktioner och grad av stöd, språknivå och interaktion samt möjlighet att ta ut svängarna inom ämnet. För fri skriftlig produktion/interaktion: Antal ämnen, typ av efterfrågad text, instruktioner och grad av stöd, språknivån i uppsatserna samt möjlighet att ta ut svängarna inom ämnet. Referenterna bedömer sedan om kraven för de föreslagna betygsnivåerna på elevexemplen i fri muntlig produktion/interaktion och fri skriftlig produktion/interaktion i respektive språk är likvärdiga. Avslutningsvis lämnar de sina förslag på betygsgränser för läs- och hörförståelseproven. Med hjälp av ingående analys av olika utprövningsdata fastläggs sedan gränserna i samråd mellan ansvariga i provbanken och Skolverket.
Allmänt om provmaterialet i spanska Det fanns två delprov i spanska, det ena, Comidas, bestod av två integrerade delar, A leer! och A escribir! med fokus på läsförståelse och fri skriftlig produktion. Hela provet, A leer! och A escribir! skulle göras vid ett och samma tillfälle eftersom skrivuppgiften bygger på innehållet i texterna. Det andra delprovet, Adriana, var indelat i A escuchar!, A hablar! och A escribir! och prövade hörförståelse, fri muntlig produktion och fri skriftlig produktion. Även detta prov bestod av integrerade delar. För läraren fanns följande möjligheter att kombinera provdelarna: Comidas: Adriana: A leer! + A escribir! A escuchar! + A hablar! A escuchar! + A escribir! A escuchar! + A hablar! + A escribir! Delprovet Adriana rekommenderades eleverna också att göra vid ett och samma tillfälle, oavsett vilken kombinationsmöjlighet som valdes, eftersom både tal- och skrivuppgiften byggde på hörsförståelsedelen. Provmaterialet fanns tillgängligt på nätet med lösenord för lärarna från slutet av mars och provtiden för Comidas var 90 minuter. Eleverna, som inför skrivuppgiften fick behålla texthäftet, rekommenderades att påbörja A escribir! efter 45 minuter. Provtiden för Adriana var 40 minuter för hörförståelsen och 50 minuter för skrivuppgiften. A hablar! bestod av olika ämnen som hade tagits upp i A escuchar! och som eleverna i grupp skulle berätta respektive diskutera och samtala om. Denna del beräknades ta ca 10 minuter per elev i anspråk beroende på hur pratglada eleverna i gruppen var. Resultat Deltagande skolor ombads att rapportera in elevresultat och lärarsynpunkter via nätet. Antalet redovisade elevresultat för båda proven omfattade 1453 elever, varav antalet kvinnor respektive män var 1041 och 412. De program som rapporterade störst antal resultat var det samhällsvetenskapliga, 913 elever, och det naturvetenskapliga, 368 elever. 94 procent hade gjort Comidas A leer! 42 procent " A escribir!: Viernes 35 procent " A escribir!: Comer 93 procent " Adriana A escuchar! 63 procent " A hablar! 17 procent " A escribir!: Adriana 30 procent " A escribir!: Así
72 lärarenkäter har skickats in via nätet. Vi vet inte hur många av landets elever som genomförde delproven, vilket innebär att de resultat som finns att tillgå får tolkas med stor försiktighet. Lärare kan av olika skäl ha avstått från att delta eller ej rapporterat in resultat. För att vi skall kunna utveckla och förbättra kursproven är det mycket viktigt att såväl elevresultat som synpunkter från lärare rapporteras in. Comidas A leer! 20 41 28 11 Antal elever: 1360 80 procent av eleverna har som synes klarat läsförståelsen med godkänt resultat eller därutöver. A escribir! 17 40 27 16 Antal elever: 1119 Fördelningen mellan val av skrivuppgift är jämn, 43 procent av eleverna valde att skriva om ämnet Viernes och 35 procent valde Comer. 83 procent av eleverna har klarat fri skriftlig produktion med godkänt resultat eller därutöver. Andelen elever som inte nådde upp till godkänt resultat var relativt hög i både läsförståelse och fri skriftlig produktion. Detta kan naturligtvis bero på diverse omständigheter. Se vidare nedan: Kommentar kring resultaten i franska, spanska och tyska, steg 3, vt 2004. 42 procent av lärarna som har besvarat enkäten, ansåg att provtiden för A leer! var lagom lång, således ansåg 58 procent att den var för kort. 82 procent är nöjda med de föreslagna betygsgränserna för denna provdel. Gränsdragning i proven är en bedömning som görs av erfarna spansklärare, dels på basis av målanalys och erfarenheter, dels efter tillgång till vissa utprövningsdata. Dessutom har lärare med kompetens i såväl franska som tyska alternativt spanska jämfört de tre kursprovens olika delprov och bedömt svårighetsgraden i dessa.
Adriana A escuchar! 5 52 32 11 Antalet elever: 1350 De allra flesta elever lyckades följaktligen prestera ett godkänt resultat eller därutöver på hörförståelsedelen. A hablar! 7 43 31 19 Antalet elever: 911 Tyvärr har endast drygt hälften, 63 procent, av eleverna gjort den fria muntliga produktionen. De skäl som åberopas är brist på grupprum och tid. 84 procent av lärarna var nöjda med de föreslagna betygsexemplen för A escuchar! Se ovan Comidas angående gränsdragning. A escribir! 10 39 33 18 Antalet elever: 675 Fler elever valde att skriva om temat Así än Adriana. Así upplevdes förmodligen som en något friare uppgift. Uppgifter och lärarkommentarer Comidas A leer! Delprovet bestod av fyra texter med mat och måltider som gemensamt tema. Lärarna var mycket nöjda med bedömningsanvisningarna och 73 procent ansåg att innehållet var bra i
samtliga texter. Svårigheten i texter och uppgifter bedömdes i snitt som lagom. En lärare ansåg: - Det var svårt att hinna med skrivuppgiften, eftersom läsuppgiften tog så pass lång tid. Den första texten Cursos de supervivencia handlar om en matlagningskurs. Uppgifterna till texten kräver att eleverna skriver egna svar. Nästa text El olivo: historia y encantos handlar om olivfruktens historia och användning, till texten hör matchinguppgifter. Text tre Comer fuera beskriver spanjorernas matvanor. Den sista texten La noche es joven skildrar spanska ungdomars kvällsnöjen. Uppgifterna kräver att eleverna skriver egna svar. Enligt lärarna var de flesta eleverna nöjda med läsförståelsedelen. De tyckte att texterna var engagerande och att det var bra att de gav inspiration till skrivuppgiften. För vissa elever, som ansåg att de inte hade lyckats så bra på läsförståelsedelen, var det dock negativt att provdelarna var integrerade. De upplevde skrivuppgiften som ytterligare en svårighet med samma tema. Dessa elever hade nog också ägnat mer tid åt texterna än den föreslagna tiden 45 minuter. A escribir! Skrivuppgiften erbjöd två ämnen, dels Viernes, dels Comer. Som hjälp till uppgifterna fanns förslag i form av frågor och uppmaningar. 71 procent av lärarna ansåg att skrivuppgifterna var bra och 64 procent ansåg att man haft god hjälp av bedömningsanvisningarna. 98 procent uppskattade att det fanns två skrivuppgifter och 70 procent uppskattade att texterna och skrivuppgifterna var integrerade. Av eleverna var, enligt lärarna, 29 procent positiva och 52 procent neutrala till Comidas. Skrivuppgifterna på temat Comidas var populärare än motsvarande uppgifter för Adriana. Adriana A escuchar! Provdelen är en intervju med Adriana. Uppgifterna består av flervalsuppgifter och sådana frågor som kräver att eleverna skriver egna svar. Eleverna fick reda på att de hade hjälp av att också ha lyssnat på hur Adriana uttryckte sig rent språkligt när de sedan skulle göra den andra delen av provet, som antingen var fri muntlig produktion, fri skriftlig produktion, alternativt båda. Bedömningsanvisningarna ansågs vara tydliga av 91 procent av lärarna. 87 procent tyckte att innehållet var bra. Beträffande svårighetsgraden tyckte 73 procent att intervjun var lagom svår. Taltempot uppskattades som lagom av 94 procent och att pauserna var lagom långa tyckte 90 procent. Eftersom eleverna först fick höra hela intervjun utan avbrott och utan att ha uppslaget svarshäftet för att de skulle få en helhetsförståelse, upplevdes den av några elever som för lång. En del lärare föreslog att man skulle göra tvärtom, först höra intervjun uppdelad och göra de uppgifter som hörde till varje del och till slut höra den i sin helhet. En lärare ansåg: - Enligt mina elever var hörförståelsen för lång. De hade svårt att koncentrera sig hela tiden. De sade även att de hade föredragit att lyssna på texten uppdelad först och sedan den sammanhängande versionen sist på samma sätt som hörförståelserna är gjorda i NP i engelska.
A hablar! Ca 15 minuter per grupp togs i anspråk för den fria muntliga produktionen. 54 procent av lärarna fann uppgiften bra och 37 procent tyckte att den var tillfredsställande. Varje elev fick ur en hög dra kort där det stod olika ämnen och sedan säga så mycket som möjligt om sitt ämne. När eleven hade talat färdigt skulle gruppen utveckla ämnet vidare med frågor eller egna synpunkter innan nästa elev drog ett kort. Den kommunikativa färdigheten betonas i alla kursmålen. Hur eleverna lyckats med att tala målspråket beror på hur, hur mycket och när målspråket används i undervisningen av både lärare och elever, samt givetvis också på hur mycket spanska som eleverna stöter på utanför skolan. En lärar- respektive elevkommentar: - Detta var mycket positivt. Man borde kanske ägna mer tid åt detta. Eleverna tyckte det var jätteroligt, eftersom de nu visste att det var allvar då försökte de med att säga mer saker. Och de var positivt överraskade att de kunde få fram så lång och intressant diskussion med varandra. (lärare) - En jättebra uppgift. Vi hinner nästan aldrig prata spanska på lektionen, så det var lite svårt att komma igång i början. (elev) A escribir! Till båda skrivuppgifterna fanns det förslag och stödord. 98 procent av lärarna ansåg att bedömningsanvisningarna var till god hjälp eller till ganska god hjälp och 69 procent att båda uppgifterna fungerade bra. 90 procent tyckte att det var positivt att det fanns två ämnen att välja emellan. Att provdelarna var integrerade fanns det olika uppfattningar om beroende på hur eleverna hade lyckats med läs- och /eller hörförståelsen. 63 procent av lärarna bedömde det som bra, 12 procent som tillfredsställande och 25 procent som mindre bra. Lärarna bedömde att 44 procent av eleverna var positiva och 51 procent var neutrala till Adriana.
Provmaterialets påverkan I tabellen nedan redovisas lärarnas synpunkter i enkäten angående några frågor om hur provmaterialet relaterar till kursplanen, undervisningen och betygssättningen. Dessa frågor är gemensamma för proven i flera ämnen. Fördelning av lärarnas synpunkter på provmaterialet i Spanska steg 3 Vt 2004: I vilken utsträckning anser läraren att provmaterialet I mycket stor utsträckning % I stor utsträckning % I liten utsträckning %..speglar ämnessynen i kursplanen 25 69 6 71..påverkar lärarens tolkning av kursplanens mål och betygskriterier 12 71 17 69..påverkar de arbetsformer läraren använder i undervisningen 10 63 27 70..påverkar det innehåll - i betydelsen delmål och delfärdigheter etc. - som tas upp i undervisningen 9 70 21 69..stämmer med vilket slutbetyg läraren ger enskilda elever 81 (ja) 19 (nej) 73 Antal svarande lärare Hela 94 procent av lärarna ansåg att proven i mycket stor eller stor utsträckning speglar ämnessynen i kursplanen medan dess påverkan på arbetsformer och innehåll i undervisningen bedömdes som mindre. Detta är helt följdriktigt, eftersom det är lärarna som i samråd med sina elever avgör hur målen skall nås. Övriga synpunkter I lärarnas enkät framgår att många välkomnar nationellt provmaterial för steg 3. - Jag är oerhört glad över att det här provet äntligen har kommit till och ser fram emot nästa års! - Man borde ta hänsyn till hur spanskundervisningen ser ut i grundskolan, d.v.s. täta vikariebyten och ibland hela terminer utan lärare (hur många behöriga lärare finns det i spanska på grundskolan?) - Prestationerna överensstämmer bra med mina övriga prov. - Provresultatet var till stor hjälp i min bedömning. Mycket blev bekräftat men även fler svaga elever klarade av mer, ställt mot mallen av bedömning, då de istället för att jämföra sig med de starkaste i gruppen kunde få en mer neutral mall. - Eleverna (fyra av fem) tyckte att det var lättare än de fruktat.
Vi på Enheten för språk och litteratur vid Göteborgs universitet tackar alla lärare som rapporterat in elevresultat och bidragit med värdefulla synpunkter på provmaterialen. Vi kommer att begrunda alla kommentarer i vår strävan att förbättra provens kvalitet i olika avseenden. Under vårterminen 2005 har två nya delprov lagts ut på nätet A leer! 2005 och A hablar! 2005. Ytterligare delprov kommer också att prövas ut i flera av landets skolor för publicering på Internet våren 2006. Julieta Lodeiro och Kerstin Häggström Enheten för språk och litteratur Institutionen för pedagogik och didaktik GÖTEBORGS UNIVERSITET En samlad kommentar kring utfallet på provmaterialen i samtliga tre språk ges under: Kommentarer kring resultaten