Margaretha Sinclair (Margaretha.Sinclair@ped.gu.se) Ragnhild Wedlin (Ragnhild.Wedlin@ped.gu.se) Enheten för språk och litteratur Institutionen för pedagogik och didaktik Göteborgs Universitet Rapport Provmaterialet i Tyska steg 3 vårterminen 2005 Inledning Det nya provmaterialet för steg 3 i tyska vårterminen 2005 bestod av två prov: läsförståelse och fri muntlig produktion/interaktion. I provbanken fanns redan, fr.o.m. vt 2004, två integrerade prov: läsförståelse med tillhörande skrivuppgift samt hörförståelse med en muntlig och/eller en skriftlig uppgift. Av dessa två integrerade prov hade det förstnämnda ett gemensamt tema i franska, spanska och tyska, nämligen mat och måltider. Hörförståelseuppgiften däremot skilde sig åt innehållsmässigt mellan språken. Av de inrapporterade lärarenkäterna från vt 2005 framgick att 62 procent av lärarna hade genomfört fyra delar eller fler av det totala provmaterialet som fanns i provbanken. Fyra delar innebar inte per automatik ett delprov var i de olika kompetenserna Hören, Sprechen, Lesen och Schreiben. Det visade sig att 30 procent av lärarna valt att göra två delprov Sprechen, färre (12 procent) hade gjort två delprov Schreiben. Av de totala antalet inrapporterande lärare hade 29 procent inte gjort någon av de två muntliga uppgifterna. Hur tas proven fram? En gemensam arbetsprocess ligger till grund för framtagandet av provmaterialen i franska, spanska och tyska steg 3. Efter utprövning med ett stort antal elever i hela landet samlas allt material in och resultaten bearbetas. Ett referensgruppsmöte med erfarna lärare, varav minst en med det aktuella språket som modersmål, sätter sedan i samråd med provansvariga i ämnet samman de aktuella proven. Muntliga och skriftliga elevprestationer väljs ut och bedöms av referenterna i respektive språk, vilka även lämnar förslag till betygsgränser för läs- och hörförståelseproven. För att säkerställa likvärdigheten mellan proven i franska, spanska och tyska utförs sedan en horisontell bedömning, d.v.s. lärare med undervisning i minst två av språken, jämför proven i respektive språk utifrån bl.a. följande punkter: För hörförståelse: Antal delar, antal ord i manus, grad av autenticitet, innehåll, språkets komplexitet och karaktär, taltempo, regional färgning, omlyssning eller ej, uppgiftstyper, svarsformat samt antal poäng. För läsförståelse: Antal texter, antal ord, innehåll, språkets komplexitet och karaktär, typ av läsning, uppgiftstyper, svarsformat och antal poäng.
För fri muntlig produktion/interaktion: Antal delar/ämnen, instruktioner och grad av stöd, språknivå och interaktion samt möjlighet att ta ut svängarna inom ämnet. För fri skriftlig produktion/interaktion: Antal ämnen, typ av efterfrågad text, instruktioner och grad av stöd, språknivån i uppsatserna samt möjlighet att ta ut svängarna inom ämnet. Referenterna bedömer sedan om kraven för de föreslagna betygsnivåerna på elevexemplen i fri muntlig produktion/interaktion och fri skriftlig produktion/interaktion i respektive språk är likvärdiga. Avslutningsvis lämnar de sina förslag på betygsgränser för läs- och hörförståelseproven. Med hjälp av ingående analys av olika utprövningsdata fastläggs sedan slutgiltigt gränserna i ett möte mellan ansvariga i provbanken och Skolverket. Allmänt om det nya provmaterialet i tyska 2005. Två nya delprov fanns tillgängliga på nätet med lösenord för lärarna från slutet av mars 2005: Lesen med fokus på läsförståelse och Sprechen som prövade fri muntlig produktion och interaktion. Delprovet Lesen bestod av fyra läsförståelseuppgifter av varierande format, som skulle genomföras på 65 minuter. Sprechen bestod både av en beskrivande del med utgångspunkt från olika bilder, och en del, där eleverna skulle föra ett samtal med hjälp av föreslagna punkter. Båda delarna rörde sig inom samma tema. Uppgiften var konstruerad för parsamtal och beräknades ta ca 20 minuter i anspråk per elevpar. Tidsåtgången varierade efter hur pratglada eleverna var. Inrapportering av elevresultat och lärarenkäter. All insamling av elevresultat och synpunkter på det nya provmaterialet skedde via nätet. Det rapporterades in 849 elevresultat, varav antalet flickor respektive pojkar var 472 och 377. Det program, som rapporterade störst antal resultat var det samhällsvetenskapliga, 478 elever, följt av det naturvetenskapliga programmet, 262 elever. Av samtliga deltagande elever gick 807 elever i årskurs 1 och 42 i årskurs 2. I jämförelse med inrapporterade elevresultat för 2004 (2 383) var antalet elevresultat år 2005 alltså bara ca en fjärdedel. Detta kan delvis förklaras av förändrade insamlingsrutiner på Skolverket, med bl.a. en senare utläggning av resultatblanketterna på nätet jämfört med föregående år. Det kan också ha sin grund i att lärare satte samman sitt prov av material från 2004, för vilket resultat och synpunkter ej skall rapporteras in. I takt med att nytt material läggs in i provbanken och det står lärare fritt att välja och kombinera delprov från olika år kommer det sannolikt också att bli svårare att få en entydig bild av utnyttjandegraden av det för året nya materialet. Med vetskap om att det läsåret 2004/2005 fanns drygt 10 800 elever med slutbetyg från steg 3 måste de resultat som här finns att tillgå alltså tolkas med yttersta försiktighet. Vilka delar i provmaterialet använde då de inrapporterande lärarna? Antal (%) som hade gjort det nya provmaterialet 2005 Lesen 52 % Sprechen 44 % Antal (%) som hade gjort provmaterialet från 2004 Hören Urlaubsvarianten 89 % Schreiben Urlaubsvarianten 55 % Sprechen Urlaubsvarianten 30 % Lesen Mahlzeiten 47 % Schreiben Mahlzeiten 33 %
Av dessa siffror framgår att det nya materialet för Lesen och Sprechen lockat fler användare, 52 respektive 44 procent jämfört med Lesen och Sprechen från 2004, som använts av 47 respektive 30 procent. Utnyttjandegraden av Hören Urlaubsvarianten var jämförelsevis hög, 89 procent, eftersom ju detta provmaterial var det enda hörförståelseprov, som tillhandahölls våren 2005. Det inkom 73 lärarenkäter, varav 34 innehöll någon personlig kommentar. Möjliga orsaker till att antalet blev så blygsamt har redan kommenterats här ovan och lärare kan ju av olika skäl avstå från att rapportera in resultat. Det är dock av yttersta vikt att såväl elevresultat som synpunkter från deltagande lärare skickas in för att provmaterialet skall kunna förbättras och utvecklas. Beskrivning av det nya materialet 2005, Lesen och Sprechen. Enkätsvar Lesen Läsförståelsen 2005 bestod av fyra delar med texter av varierande slag, från kortare och längre tidningstexter av både saklig och mer kåserande karaktär till en relativt fyllig berättelse.vid framtagningen av provet hade ambitionen varit att texterna skulle vara så autentiska som möjligt. Den första texten, Aus der Zeitung, var en matchinguppgift, där eleverna av 10 rubriker skulle välja rätt rubrik till 9 korta tidningsnotiser. Lästekniken för denna uppgift kunde karaktäriseras som översiktsläsning, d.v.s. eleverna skulle läsa på ett översiktligt vis för att få en bild av vad texterna handlade om. Läsuppgift nummer 2, Grill- Variationen, bestod av en lucktext med 10 flervalsuppgifter. Denna uppgift krävde mer av intensivläsning, d.v.s. mer analys och bearbetning. Den tredje uppgiften, Cafés und Restaurants, var också en matchinguppgift, som gick ut på att kombinera 8 situationer med rätt plats. Det fanns 9 platser att välja mellan. Lästekniken för denna uppgift hade karaktären av lokaliseringsläsning, eftersom eleverna skulle söka efter speciell information. Den fjärde och sista texten, Berliner Luftbrücke, var en uppgift, där eleverna huvudsakligen skulle besvara frågor med egna ord på tyska. För denna uppgift krävdes också mer analys och bearbetning, d.v.s. intensivläsning. För att minska antalet möjliga svarsalternativ i en sådan uppgiftstyp och därigenom öka tillförlitligheten i bedömningen (reliabiliteten) styrs elevens formuleringar genom att en del av svaret ges. Eleven svarar på målspråket och svaret skall passa innehållsligt till den givna delen av svaret. Variationen av svarsformer i läsförståelseprovet (matchinguppgifter, lucktest med flervalsuppgifter, produktiva uppgifter) har sin grund i de validitetsdiskussioner som förts under konstruktionsprocessen. Syftet är att inte gynna en viss kategori elever utan erbjuda möjlighet att visa den receptiva förmågan på ett så varierat sätt som möjligt. Beträffande de produktiva uppgifterna skall fokus ligga på innehåll och begriplighet och en distinktion göras mellan fel som stör och fel som förstör kommunikationen. Varje svar som visar att eleven förstått innehållet i texten och som kan anses vara begripligt för en icke svensk- eller engelskkunnig person med tyska som modersmål ger 1 poäng. Detta innebär alltså att även felstavade och grammatiskt oriktiga svar kan ge 1 poäng, eftersom avsikten med läsförståelseprovet inte är att testa korrekt språkanvändning utan i första hand läsförståelse. Av lärarenkäterna framgick att nästan samtliga lärare (98 procent) ansåg att bedömningsanvisningarna var tydliga/tillfredsställande. 96 procent var nöjda med innehållet i de olika lästexterna. Berliner Luftbrücke uppfattades som svårast. 46 procent av de tillfrågade lärarna angav denna text som ganska svår/svår. Motsvarande siffra för de övriga texterna pendlade mellan 2 och 7 procent. Textens placering i provet, som sista läsuppgift, överensstämmer ju också med denna uppfattning hos lärarna, liksom elevernas resultat. Att Berliner Luftbrücke
kan betecknas som något svårare beror dels på att den sammanhängande textmassan är större än i de andra läsuppgifterna, dels på att uppgiften kräver mer av bearbetning och analys innan eleverna avger sina svar. Svarsformen, i huvudsak styrda öppna svar, går ut på att eleverna formulerar sig med egna ord på ett sådant sätt att det innehållsligt passar i sammanhanget. Detta kan uppfattas som mer krävande, även om så inte alltid är fallet. Den angivna tiden för provet, 65 minuter, ansågs av 93 procent av lärarna vara lagom. Ca 62 procent av lärarna i undersökningen var nöjda med de föreslagna betygsgränserna för Godkänd (16 p.), Väl godkänd (26 p.) och Mycket väl godkänd (34 p.). De som inte var nöjda ville i allmänhet ha högre gränser. Det vanligaste motförslaget för Godkänd var 20 poäng, för Väl godkänd 30 och för Mycket väl godkänd 35 poäng. De lärare som föreslog högre gränser uppgav också i detta sammanhang att det var mycket svårare för eleverna att få ett högt betyg på de produktiva delarna, d.v.s. Schreiben och Sprechen. Detta är inte förvånande. När det gäller att klara av de receptiva delarna Lesen och Hören har en elev med svenska som modersmål rimligtvis en viss fördel av att tyska och svenska är besläktade språk. Det är dock viktigt att hålla i minnet att kraven i steg 3 är desamma oavsett valt språk och elevens modersmål. På frågan till lärarna angående elevernas reaktioner på läsförståelseprovet uppgav samtliga att de uppfattade dem som positiva/neutrala. Sprechen Den muntliga uppgiften utgick från 6 bilder på unga människor från olika delar av världen. Eleverna skulle arbeta parvis, välja var sin bild (Del A), berätta om denna för sin samtalspartner och interagera med utgångspunkt från bilden. I Del B betonades interaktionen ytterligare genom att eleverna skulle samtala kring ett antal givna punkter inom samma tema som i Del A. Uppgiften var densamma i franska, spanska och tyska. Hur denna uppgift kan genomföras exemplifieras på en dvd, som distribuerades till gymnasieskolorna i början av vt 2006. Till denna dvd har också utarbetats Förslag till arbete med dvd-materialet om muntlig språkfärdighet i tyska, som finns att tillgå i provbanken med lösenord: www.skolverket.se >nationellt provsystem>provbanken>gymnasial utbildning>tyska steg 3. Av enkäterna framgår, att 49 procent av lärarna ansåg att taluppgiften fungerade bra och 42 procent fann den tillfredsställande. 44 procent av lärarna beskrev sina elevers reaktioner på uppgiften som positiva, 53 procent som neutrala. Av de lärare som hade någon personlig kommentar till denna fråga skrev några få att eleverna tyckte det var svårt att tala om länder de inte kände till och att eleverna uppfattade den andra, mer interaktiva delen av uppgiften som lättare och mer inspirerande. Betygsutfall Med tanke på att endast 849 elevresultat inrapporterats (se kommentarer under rubriken Inrapportering av elevresultat och lärarenkäter) och att det vid vårterminens slut fanns drygt 10 800 elever med slutbetyg från steg 3 är det inte rimligt att i detalj redovisa betygsutfall. Vad som dock tydligt framgick var att eleverna hade fått betydligt bättre resultat på Lesen än på Sprechen, d.v.s. de uppvisade en s.k. taggig språkprofil. På samma sätt kunde man 2004 konstatera att elevernas resultat var betydligt bättre på Hören än på Schreiben. Eleverna bedömdes alltså ha större förmåga att förstå än att själva producera språket. Det svenska språkets släktskap med tyskan som en underlättande faktor vid de receptiva delarna för många elever är med all säkerhet en av förklaringarna, men man kan också ställa sig frågan om
eleverna i de produktiva delarna bedöms utifrån krav på språklig korrekthet, som är höga/för höga för nivån på steg 3. Lärarnas kommentarer genom åren med efterlysning av större språklig korrekthet ger ett visst fog för frågan. På de övergripande frågorna om provmaterialet tyckte så många som 93 procent att det speglade ämnessynen i kursplanen. 84 procent av de inrapporterande lärarna ansåg att provmaterialet i stor eller mycket stor utsträckning påverkade deras tolkning av kursplanens mål- och betygskriterier och 79 procent menade att innehållet i undervisningen påverkades i stor eller mycket stor utsträckning. Däremot var motsvarande siffror för påverkan av arbetsformer lägre (61 procent). Detta kan ju anses helt följdriktigt, eftersom lärarna i samråd med sina elever lägger upp riktlinjer för hur målen skall nås. 74 procent av lärarna angav att provresultatet överensstämde med deras egen bedömning. När man tolkar den frågan måste man vara medveten om att flertalet lärare har satt samman sitt prov både av de gamla och nya provmaterialen, t.ex. Hören och Schreiben från vt 04 och Lesen och Sprechen från vt 05. Av dem som ansåg att provresultatet ej stämde med deras egen bedömning lämnade endast några få lärare personliga kommentarer och förslag. I dessa framkom att man för det nya materialet efterlyste en strängare bedömning av läsförståelsen, antingen i form av högre lägsta poäng för de olika betygsstegen, krav på större språklig korrekthet i elevsvaren eller något svårare texter. Man tyckte också att kraven var högre på de produktiva delproven, i synnerhet Schreiben, och att skillnaden i betygsutfall blev för stor mellan receptiva och produktiva delar. För Sprechen 2005 gäller det sistnämnda av betygsutfallet att döma endast för betygsnivån MVG, återigen med stor reservation för tolkningen av så få elevresultat. Vi på Enheten för språk och litteratur vid Göteborgs Universitet tackar de lärare, som rapporterat in elevresultat och bidragit med sina synpunkter på provmaterialen för steg 3. Tillsammans utgör de ett värdefullt led i vår strävan att förbättra provens kvalitet i olika avseenden. Vi ser även fram mot att ta del av många elevresultat och synpunkter på de nya delproven för steg 3, Hören och Schreiben, som kommer att läggas in i provbanken i slutet av mars 2006. Ytterligare delprov är dessutom under utprövning i flera av landets skolor för inlägg i provbanken våren 2007.