För läsförståelse: Antal texter, antal ord, innehåll, språkets komplexitet och karaktär, typ av läsning, uppgiftstyper, svarsformat och antal poäng.

Transkript

1 Rapport Provmaterialet i Spanska steg 3 vårterminen 2005 Julieta Lodeiro (Julieta.Lodeiro@ped.gu.se) Kerstin Häggström (Kerstin.Haggstrom@ped.gu.se) Enheten för språk och litteratur Institutionen för pedagogik och didaktik Göteborgs Universitet Inledning Det nya provmaterialet för steg 3 i spanska vt 2005 bestod av två prov: läsförståelse och fri muntlig produktion/interaktion. I provbanken fanns redan, fr.o.m. vt 2004, två integrerade prov: läsförståelse med tillhörande två skrivuppgifter samt hörförståelse med tillhörande en tal- och/eller två skrivuppgifter. Av dessa två integrerade prov hade det förstnämnda ett gemensamt tema i franska, spanska och tyska, nämligen mat och måltider. Hörförståelseuppgiften däremot skilde sig åt innehållsmässigt mellan språken. Av de inrapporterade lärarenkäterna från vt 2005 framgick att 48 procent av lärarna hade genomfört flest antal delar, nämligen fyra, av det totala provmaterialet som fanns i provbanken. Fyra delar innebar inte per automatik ett delprov var i de olika kompetenserna A escuchar!, A hablar!, A leer! och A escribir!, då det står lärarna fritt att välja, både vilka provdelar de vill använda sig av och hur sammansättningen av dessa skall se ut. Hur tas proven fram? En gemensam arbetsprocess ligger till grund för framtagandet av provmaterialen i franska, spanska och tyska steg 3. Underlag för konstruktion tas från t.ex. nätet, radio, tidningar, litteratur och intervjuer med olika personer.efter utprövning med ett stort antal elever i hela landet samlas allt material in och resultaten bearbetas. Ett referensgruppsmöte med erfarna lärare, varav minst en med spanska som modersmål, sätter sedan i samråd med provansvariga i ämnet samman de aktuella proven. Muntliga och skriftliga elevprestationer väljs därefter ut och bedöms av referenterna i respektive språk, vilka även lämnar förslag till betygsgränser för läs- och hörförståelseproven. För att säkerställa likvärdigheten mellan proven i franska, spanska och tyska utförs sedan en horisontell bedömning, d.v.s. lärare med undervisning i minst två av språken jämför proven i respektive språk utifrån bl.a. följande punkter: För hörförståelse: Antal delar, antal ord i manus, grad av autenticitet, innehåll, språkets komplexitet och karaktär, taltempo, regional färgning, omlyssning, uppgiftstyper, svarsformat samt antal poäng. För läsförståelse: Antal texter, antal ord, innehåll, språkets komplexitet och karaktär, typ av läsning, uppgiftstyper, svarsformat och antal poäng. För fri muntlig produktion/interaktion: Antal delar/ämnen, instruktioner och grad av stöd, språknivå och interaktion samt möjlighet att "ta ut svängarna" inom ämnet. För fri skriftlig produktion/interaktion: Antal ämnen, typ av efterfrågad text, instruktioner och grad av stöd, språknivån i uppsatserna samt möjlighet att "ta ut svängarna" inom ämnet.

2 Referenterna bedömer sedan om kraven för de föreslagna betygsnivåerna på elevexemplen i fri muntlig produktion/interaktion och fri skriftlig produktion/interaktion i respektive språk är likvärdiga. Avslutningsvis lämnar de sina förslag på betygsgränser för läs- och hörförståelseproven. Med hjälp av ingående analys av olika utprövningsdata fastläggs sedan gränserna i ett möte mellan ansvariga i provbanken och Skolverket. Allmänt om det nya provmaterialet i spanska 2005 Det fanns två delprov i spanska, dels A leer! med fokus på läsförståelse dels A hablar! som prövade fri muntlig produktion och interaktion. Delprovet A leer! bestod av fyra läsförståelseuppgifter av varierande format, som skulle genomföras på 65 minuter. Provmaterialet fanns tillgängligt på nätet med lösenord för lärarna från slutet av mars. A hablar! bestod av olika bilder som två elever tillsammans skulle berätta respektive samtala om. Denna del beräknades ta ca 10 minuter i anspråk per elevgrupp beroende på hur pratglada eleverna var. Inrapportering av elevresultat och lärarenkäter Deltagande skolor ombads att rapportera in elevresultat och lärarsynpunkter via nätet. Antalet redovisade elevresultat omfattade endast 547 elever, varav antalet kvinnor respektive män var 393 och 154. De program som rapporterade störst antal resultat var det samhällsvetenskapliga, 371 elever, och det naturvetenskapliga, 121 elever. Av samtliga elever gick 393 i åk 1 och 154 i åk 2 och 3. I jämförelse med inrapporterade elevresultat för 2004 (1453) var antalet elevresultat år 2005 alltså drygt en tredjedel. Detta kan delvis förklaras av förändrade insamlingsrutiner på Skolverket, med bl.a. en senare utläggning av resultatblanketterna på nätet jämfört med föregående år. Det kan också ha sin grund i att lärare satte samman sitt prov av material från 2004, för vilket resultat och synpunkter ej skall rapporteras in. I takt med att nytt material läggs in i provbanken och det står lärare fritt att välja och kombinera delprov från olika år kommer det sannolikt också att bli svårare att få en entydig bild av utnyttjandegraden av det för året nya materialet. Med vetskap om att det läsåret 2004/2005 fanns ca 5800 elever med slutbetyg i spanska från steg 3 måste de resultat som här finns att tillgå alltså tolkas med yttersta försiktighet. Vilka delar i provmaterialet använde då de inrapporterande lärarna? Endast 48 lärarenkäter skickades in via nätet. Analyser visar att av det nya provmaterialet 2005 använde tre femtedelar A leer! drygt två femtedelar A hablar! Av provmaterialet från vt 2004 använde drygt fyra femtedelar Adriana A escuchar! knappt en tredjedel Adriana A hablar! två femtedelar Comidas A leer! knappt två femtedelar Comidas A escribir! tre femtedelar Adriana A escribir! Av dessa siffror framgår att det nya materialet för A leer! och A hablar! lockat fler användare, 60 respektive 44 procent jämfört med A leer! och A hablar! från 2004, som använts av 40 respektive 27 procent. Utnyttjandegraden av A escuchar! Adriana var jämförelsevis hög, 85 procent, eftersom ju detta provmaterial var det enda hörförståelseprov som tillhandahölls våren 2005.

3 Det inkom 48 lärarenkäter, varav 36 innehöll någon personlig kommentar. Vi vet inte hur många av landets elever som genomförde delproven, vilket innebär att de resultat som finns att tillgå får tolkas med mycket stor försiktighet. Lärare kan av olika skäl ha avstått från att delta eller ej rapporterat in resultat. För att vi skall kunna utveckla och förbättra provmaterialet är det mycket viktigt att såväl elevresultat som synpunkter från lärare rapporteras in. Beskrivning av det nya materialet 2005, A leer! och A hablar! A leer! Läsförståelsen 2005 bestod av fyra delar med texter av varierande slag, från kortare och längre tidningstexter av både saklig och mer kåserande karaktär till en relativt fyllig litterär text. Vid framtagningen av provet hade ambitionen varit att texterna skulle vara så autentiska som möjligt. Den första texten, Artículos, var en matchinguppgift, där eleverna av tio rubriker skulle välja rätt rubrik till tio korta tidningsnotiser. Lästekniken för denna uppgift kan karaktäriseras som översiktsläsning, d.v.s. eleverna skulle läsa på ett översiktligt vis för att få en bild av vad texterna handlade om. Läsuppgift nummer två, Dos señales del destino, var en litterär text som skildrar mötet och kärleken mellan två ungdomar. Uppgiften bestod i att eleverna huvudsakligen skulle besvara frågor med egna ord på spanska. För denna uppgift krävdes också mer analys och bearbetning, d.v.s. intensivläsning. För att minska antalet möjliga svarsalternativ i en sådan uppgiftstyp och därigenom öka tillförlitligheten i bedömningen (reliabiliteten) styrs ibland elevens formuleringar genom att en del av svaret ges. Eleven svarar på målspråket och svaret skall passa innehållsligt till den givna delen av svaret. Den tredje texten, Salida prohibida para hombres, var en tidningsartikel hämtad från nätet. Den här texten berättar om en lite annorlunda lag som införts för män i en liten by. Till texten hörde flervalsuppgifter. Denna uppgift krävde mer av intensivläsning, d.v.s. mer analys och bearbetning. Den fjärde och sista uppgiften, Joven superdotado, handlade om ett underbarn där eleverna skall fylla i luckor i texten. Variationen av svarsformer i läsförståelseprovet (matchinguppgifter, produktiva uppgifter, flervalsuppgifter och lucktest) har sin grund i de validitetsdiskussioner som förts under konstruktionsprocessen. Syftet är att inte gynna en viss kategori elever utan erbjuda möjlighet att visa den receptiva förmågan på ett så varierat sätt som möjligt. Beträffande de produktiva uppgifterna skall fokus ligga på innehåll och begriplighet och en distinktion göras mellan fel som ev. stör och fel som förstör kommunikationen. Varje svar som visar att eleven förstått innehållet i texten och som kan anses vara begripligt för en icke svensk- eller engelskkunnig person med spanska som modersmål ger 1 poäng. Detta innebär alltså att även felstavade och grammatiskt oriktiga svar kan ge 1 poäng, eftersom avsikten med läsförståelseprovet inte är att testa korrekt språkanvändning utan i första hand läsförståelse. Av lärarenkäterna framgick att i princip samtliga lärare ansåg att bedömningsanvisningarna var tydliga. Nästan alla lärare, 46 av 48, var nöjda med innehållet i de olika lästexterna. Joven superdotado uppfattades som svårast. 18 av de tillfrågade lärarna angav denna text som ganska svår/svår. De övriga texterna ansågs inte ha samma svårighetsgrad. Textens placering i provet, som sista läsuppgift, överensstämmer ju också med denna uppfattning hos lärarna, liksom elevernas resultat. Att Joven superdotado kan betecknas som något svårare kan bero på uppgiftstypen. Svarsformen, luckor att fylla i, går ut på att eleverna finner ett ord per lucka som innehållsligt passar i sammanhanget. Detta kan uppfattas som mer krävande, även om så inte alltid är fallet.

4 Den angivna tiden för provet, 65 minuter, ansågs av de allra flesta lärarna vara lagom. Drygt två tredjedelar av lärarna i undersökningen var nöjda med de föreslagna betygsgränserna för Godkänd (14/36 p.), Väl godkänd (24/36 p.) och Mycket väl godkänd (31/36 p.). De som inte var nöjda ville i allmänhet ha högre gränser. Det vanligaste motförslaget för Godkänd var 16 poäng och för Väl godkänd 25. Gränsdragning i proven är en bedömning som görs av erfarna spansklärare, dels på basis av målanalys och erfarenheter, dels efter tillgång till vissa utprövningsdata. Dessutom har lärare med kompetens i såväl franska som tyska alternativt spanska jämfört de tre provmaterialens olika delprov och bedömt svårighetsgraden i dessa. På frågan till lärarna angående elevernas reaktioner på läsförståelseprovet uppgav samtliga att de uppfattade dem som positiva/neutrala. Några elevkommentarer: - Bra variation på texterna och på lämplig nivå. - Intressanta och lärorika texter, men den sista var svår. - Bra kombination av uppgifter. A hablar! Den muntliga uppgiften utgick från 6 bilder på unga människor från olika delar av världen. Eleverna skulle arbeta parvis, välja var sin bild (Del A), berätta om denna för sin samtalspartner och interagera med utgångspunkt från bilden. I Del B betonades interaktionen ytterligare genom att eleverna skulle samtala kring ett antal givna punkter inom samma tema som i Del A. Uppgiften var densamma i franska, spanska och tyska. Hur denna uppgift kan genomföras exemplifieras på en dvd. Till denna dvd har utarbetats ett material i respektive språk, franska, spanska och tyska som underlag för arbete kring bedömning. Dvd:n med tillhörande material skickades ut till samtliga gymnasieskolor i Sverige i början av vt På dvd:n visas två elevpar som utför provuppgiften, en lärargrupp som kommenterar det första samtalet samt två samtal där eleverna kommenterar sina insatser och muntliga prov i allmänhet. Det finns också en inledning på svenska och på målspråket angående kursmålen för steg 3. Det här materialet med titeln Förslag till arbete med dvd-materialet om muntlig språkfärdighet i spanska, finns att tillgå i provbanken med lösenord: >nationellt provsystem >provbanken>gymnasial utbildning>spanska steg 3. Av enkäterna framgår att drygt hälften av lärarna ansåg att taluppgiften fungerade bra. Knappt hälften av lärarna beskrev sina elevers reaktioner på uppgiften som positiva och ca hälften som neutrala. Av de lärare som hade någon personlig kommentar till denna fråga skrev några få att eleverna tyckte att det var svårt att tala om länder de inte kände till och att eleverna uppfattade den andra, mer interaktiva delen av uppgiften som lättare och mer inspirerande. Den kommunikativa färdigheten betonas i alla kursmålen. Hur eleverna lyckats med att tala målspråket beror på hur, hur mycket och när målspråket används i undervisningen av både lärare och elever, samt givetvis också på hur mycket spanska som eleverna stöter på utanför skolan. Här följer några lärarkommentarer på uppgiften: - Konkret och bra med ett foto att prata om.

5 - Denna uppgift var mycket trevlig. Detta var en relevant uppgift för unga människor att tala om. - Elevernas fantasi kom verkligen fram. Bra uppgift. - Jag saknade att det inte var från spansktalande länder som ungdomarna skulle visa att de lärt sig något om. - Svårt att testa om de kan prata i förfluten tid med hjälp av fotona. Betygsutfall Med tanke på att endast 547 elevresultat inrapporterats för de nya provdelarna och att det vid vårterminens slut fanns drygt 5800 elever med slutbetyg i spanska från steg 3 är det inte rimligt att i detalj redovisa betygsutfall. Vad som dock tydligt framgick var att eleverna hade fått snarlika resultat på A leer! och A hablar!. På A leer! hade 36 procent erhållit betyget Godkänd, 37 procent Väl godkänd och 24 procent Mycket väl godkänd. Motsvarande siffror för A hablar! var 33 procent, 41 procent och 22 procent. Provmaterialets påverkan I princip samtliga lärare ansåg att proven i mycket stor eller stor utsträckning speglar ämnessynen i kursplanen. Drygt tre fjärdedelar av de inrapporterande lärarna ansåg att provmaterialet i stor eller mycket stor utsträckning påverkade deras tolkning av kursplanens mål- och betygskriterier och lika många menade att innehållet i undervisningen påverkades i stor eller mycket stor utsträckning. Däremot var motsvarande siffror för påverkan av arbetsformer lägre. Detta är helt följdriktigt, eftersom det är lärarna som i samråd med sina elever avgör hur målen skall nås. Näst intill samtliga lärare angav att provresultatet överensstämde med deras egen bedömning. När man tolkar den frågan måste man vara medveten om att flertalet lärare har satt samman sitt prov både av de gamla och nya provmaterialen, t.ex. A escuchar! och A escribir! från vt 04 och A leer! och A hablar! från vt 05. Övriga synpunkter I lärarnas enkät framgår att många välkomnar nationellt provmaterial för steg 3. - Texterna i läsförståelsedelen kändes väldigt autentiska, det är bra och nyttigt! - Provet stärkte elevernas tro på egen förmåga. - Jag tycker att elevernas resultat stämde överens med min uppfattning om deras kunskapsnivå. - Jag efterlyser prov i steg 2 och 4. Det är skönt att ha provresultaten i ryggen när man skall sätta betyg. Gör fler delar så att provbanken utökas. Vi på Enheten för språk och litteratur vid Göteborgs universitet tackar alla lärare som rapporterat in elevresultat och bidragit med värdefulla synpunkter på provmaterialen. Vi kommer att begrunda alla kommentarer i vår strävan att förbättra provens kvalitet i olika avseenden. För framtiden hoppas vi framför allt att fler lärare rapporterar in sina elevresultat. Under vårterminen 2006 kommer två nya delprov att läggas ut på nätet, A escuchar! 2006 och A escribir! Ytterligare delprov kommer också att prövas ut i flera av landets skolor för publicering på Internet våren 2007.