PROJEKTET NATIONELLA PROV I FRÄMMANDE SPRÅK Kursprovet i engelska 5 vårterminen 2017 Patrik Axelson, AnnaKarin Lindqvist, Institutionen för pedagogik och specialpedagogik, Göteborgs universitet, Projektet Nationella prov i främmande språk (NAFS) 1. Inledning Denna rapport är en delredovisning inom ramen för en överenskommelse mellan Göteborgs universitet (Institutionen för pedagogik och specialpedagogik, projektet Nationella prov i främmande språk/nafs) och Skolverket att utveckla och konstruera nationella kursprov i engelska. Syftet med de nationella proven är i huvudsak att stödja en likvärdig och rättvis bedömning och betygssättning, och ge underlag för en analys av i vilken utsträckning kunskapskraven uppfylls på skolnivå, på huvudmannanivå och på nationell nivå. De nationella proven kan också bidra till att konkretisera kursplanerna och ämnesplanerna, och en ökad måluppfyllelse för eleverna. Rapporten avser det kursprov som gavs vårterminen 2017 för Engelska 5. Kursprovet är obligatoriskt som stöd för betygssättning i gymnasieskolan och gymnasial vuxenutbildning. Kursprovet utgår från ämnesplanens skrivningar. De olika delarna i kursprovet, Delprov A, Focus: Speaking, Delprov B, Focus: Reading och Focus: Listening, och Delprov C, Focus: Writing anknyter också till Europarådets ramverk för språkinlärning och språkbedömning, Gemensam europeisk referensram för språk: lärande, undervisning och bedömning med dess rubriceringar reception, interaktion och produktion. Rapporten utgår från statistik från SCBs totalinsamling av provresultat, data från provprojektet NAFS insamling av provresultat, resultat från den lärarenkät som de lärare som genomfört provet ombetts besvara, samt data från elev- och lärarenkäter i samband med utprövningarna av de uppgifter som ingick i provet för Engelska 5 vårterminen 2017. 2. Konstruktionsprocess för nationella prov i engelska De nationella proven i engelska, samt övriga bedömningsstödjande material i engelska och moderna språk, utvecklas på uppdrag av Skolverket inom projektet Nationella prov i främmande språk vid Institutionen för pedagogik och specialpedagogik, Göteborgs universitet. Projektets webbplats innehåller information på fem språk: svenska, engelska, franska, tyska och spanska. Provmaterialen tas fram i nära samarbete med referensgrupper och bygger på ett antal grundläggande, forskningsbaserade principer. Projektets medarbetare har till övervägande del en bakgrund som erfarna och legitimerade lärare i det aktuella språket/språken och flera är också GÖTEBORGS UNIVERSITET, Institutionen för pedagogik och specialpedagogik Projektet Nationella prov i främmande språk, webbplats: www.nafs.gu.se
engagerade i lokal skolutveckling, lärarutbildning, forskning, nationella projekt kring lärande, undervisning och bedömning, samt i omfattande internationella nätverk. Olika typer av referensgrupper medverkar under de skilda skedena av arbetet med provutveckling, från konstruktion av uppgifter till sammansättning av prov och rekommendationer kring betygsgränser och bedömda elevexempel. Dessa grupper har en bred sammansättning, med lärare på aktuella och intilliggande nivåer, inklusive personer med specialpedagogisk kompetens, lärarutbildare, personer med målspråket som förstaspråk samt forskare från skilda discipliner. Till detta kommer hundratals elever, som medverkar i mindre, preliminära utprövningar samt i den stora utprövning som föregår alla skarpa prov. I den senare deltar per uppgift cirka 400 slumpvis valda elever i landet. I samband med utprövningar besvarar både eleverna och deras lärare enkäter om olika aspekter av uppgifternas funktionalitet. Dessa uppfattningar analyseras och vägs in i besluten om provens sammansättning. Efter provets genomförande får lärarna sedan möjlighet att svara på en enkät och framföra åsikter om olika aspekter av provet. Provets betygsgränser och exempel per betygssteg tas fram i grupper om 10-15 aktiva lärare och provutvecklare. Dessa lämnar på basis av styrdokument och erfarenhet förslag på poänggränser, nivårelaterade elevtexter och -samtal. Förslagen diskuteras och analyseras vidare i relation till data från utprövningarna samt föreläggs slutligen Skolverket, som är den instans som fastställer såväl själva provet som dess poänggränser och kommenterade nivåexempel. Utvecklingen av ett nationellt prov tar i regel cirka två år och utgår från analyser av styrdokument, relevant forskning samt beprövad erfarenhet inom området. Likaså finns ett antal kvalitetsparametrar med i utvecklingsarbetet, under hela processen från initial konstruktion till sammansättning av ett skarpt prov och analys av utfall. Dessa involverar främst följande: Innehåll, relevans och lämplighet i relation till läroplanen, ämnesplanen, forskning, aktuell målgrupp samt beprövad erfarenhet. Svårighetsgrad (faktisk respektive upplevd) i relation till kursplanen/ämnesplanen, inklusive kunskapskraven. Uppgifternas och provets mättekniska egenskaper, inklusive frågor om samstämmighet mellan bedömare. Eventuella tematiska aspekter. Aspekter av tid och tidsåtgång. Genus-, ålders- och identitetsrelaterade aspekter. Kultur- och livsstilsaspekter (etniska, politiska, religiösa och sociala). Etiska och värdegrundsrelaterade aspekter. Variation vad gäller innehåll och format. Provdelarnas inbördes relation, bl.a. vad gäller progression inom och mellan uppgifter. Likheter och skillnader i relation till tidigare prov. Reflektion av målspråksområdets bredd, såväl språkligt som kulturellt. Signaleffekter / Washback för lärande och undervisning. Utprövande elevers och lärares synpunkter på uppgifterna. De nationella proven är uppdelade i tre delprov, varav ett med två delar. Delproven har, såväl i input-material (teman och texter av skilda slag) som i uppgifter, fokus på 2 (13)
de receptiva, produktiva och interaktiva förmågor som beskrivs i ämnesplanen för den aktuella kursen: Delprov A: muntlig produktion och interaktion Delprov B: receptiv kompetens två delar: läs- och hörförståelse Delprov C: skriftig produktion och interaktion Strategisk kompetens och förmåga till anpassning av språket till olika syften, mottagare och situationer prövas integrerat inom ramen för de tre delproven, medan aspekter av kultur och interkulturalitet präglar val av material och teman för uppgifterna i proven. Svarsformaten varierar i proven, från ren produktion och interaktion i Delprov A och C till en blandning av constructed response (eleverna svarar genom att producera svaret på engelska, eller i enstaka fall i form av en sifferuppgift) eller selected response (eleverna väljer korrekt svarsalternativ, antingen bland ett antal svarsalternativ eller genom att matcha t.ex. en text med en rubrik). Balansen i Delprov B brukar vara cirka 50 procent av dessa båda övergripande svarsformat, detta för att eleverna ska få visa sina kunskaper på annat sätt än genom skrift. Utfallet av proven rapporteras av Skolverket och finns också beskrivet och diskuterat i diverse texter och presentationer av NAFS-projektets medarbetare; dessa texter nås via projektets publikationssida. Eftersom proven omfattas av sekretess, kan inga konkreta exempel eller kommentarer kring de olika delarna av årets prov ges i detta forum. För ytterligare information om prov och bedömning i språk hänvisas till projektets publikationssida samt de exempel på provuppgifter som ges på projektets webbplats. 1 3. Provets sammansättning Sammansättningen av provet har skett i enlighet med de kvalitetsparametrar och processer som finns beskrivna i föregående del av rapporten och som beaktas från initial konstruktion, miniutprövningar och storskaliga utprövningar till sammansättning av ett skarpt prov. Delprov A: muntlig produktion och interaktion Årets delprov i muntlig produktion och interaktion gav eleverna tillfälle att samtala kring vanligt förekommande situationer i vardagslivet. Uppgiften erbjöd vissa valmöjligheter och bestod av två delar med ett gemensamt övergripande tema, enligt en modell som tidigare visat sig fungera väl för nivån. Den första delen fokuserade främst förmågan till muntlig produktion och att efter viss förberedelse kunna presentera ett kortare innehåll, men gav även möjlighet till interaktion. Den andra delen syftade till att ge eleverna möjlighet att interagera och utbyta åsikter kring olika situationer och frågeställningar i ett givet sammanhang. Till stöd för lärarnas bedömning av elevprestationerna gavs fyra kommenterade, autentiska elevsamtal på olika nivåer. Underlaget hämtas från storskaliga utprövningar och samtalen väljs ut i referensgrupper, som tidigare nämnts. 1 Det inledande avsnittet om konstruktionsprocessen är skrivet av Gudrun Erickson, IPS/NAFS, 2016 3 (13)
Delprov B: reception Delprov B 1: läsförståelse Läsförståelsedelen i årets prov bestod av fyra uppgifter av olika karaktär. Delprovet inleddes med en s.k. matchningsuppgift där kortare förklaringar och omformuleringar ska paras ihop med enstaka ord. Därefter följde en s.k. cloze-uppgift, vars autentiska innehåll om en aktuell företeelse inom sociala medier hämtats från en brittisk dagstidning. Svarsformatet i denna uppgift består av constructed response; eleverna skriver under läsningens gång i ord som har utelämnats i texten. Syftet är framför allt att pröva förmågan att uppfatta ett innehållsligt sammanhang och förstå hur en språklig framställning hänger ihop och är strukturerad, dvs. att i ett funktionellt perspektiv förstå vilket ord som saknas. Den efterföljande längre läsförståelsetexten var en autentisk, något bearbetad, kanadensisk text, hämtad från ett reportage om en berömd historisk händelse. I denna uppgift var frågorna av blandat format med såväl flerval med fyra svarsalternativ som öppna frågor. Denna typ av läsförståelse avser pröva såväl förståelse av både relativt enskilda, konkreta detaljer och förhållanden (reading the lines) som djupare och mer övergripande förståelse (reading between och beyond the lines). Den fjärde och sista delen utgjordes av en uppgift med fem kortare, sinsemellan oberoende, texter med innehåll av nyhetskaraktär där varje text följdes av en fråga med fyra svarsalternativ. Delprov B 2: hörförståelse Hörförståelsedelen i årets prov bestod av fyra uppgifter av olika karaktär. Delprovet inleddes med en studioinspelad uppgift av typen multiple matching, dvs. en uppgift med flerval där eleverna lyssnade på ett kort meddelande som sedan skulle kombineras med en rubrik som motsvarade huvudinnehållet i det som sades. Denna typ av uppgift, som genomförs med en genomlyssning, innehåller en blandning av målspråksvarianter och accenter. Multiple matching som inledande hörförståelseuppgift på det nationella provet är ett väletablerat uppgiftsformat som kräver mycket lite läsning, vilket bidrar till att skapa ett luftigt intryck. Detta, och det faktum att uppgiftstypen enligt elevenkäter från utprövningar generellt mottas positivt, gör att den lämpar sig som inledande hörförståelseuppgift. Därefter följde ett autentiskt radioprogram från en amerikansk radiostation i vilket en person berättar om sitt arbete hos USA:s president. Uppgiften, uppdelad i två delar, genomfördes med en genomlyssning. Svarsformatet var blandat med något fler öppna svar och i likhet med tidigare års autentiska uppgifter med en genomlyssning hade flervalsfrågorna tre svarsalternativ per fråga, bl.a. med hänsyn till läsmängd. Den tredje uppgiften i delprovet var också den ett autentiskt radioprogram, i form av en intervju från en kanadensisk radiostation om klädmode och olika historiska aspekter kring detta tema. Då innehållet i detta program var av mer komplex karaktär fick eleverna lyssna två gånger. I likhet med den andra uppgiften användes ett blandat svarsformat med den skillnaden att flervalsfrågorna här innehöll fyra svarsalternativ. Totalt sett hade uppgiften något fler öppna frågor. Delprovet avslutades med en studioinspelad uppgift där olika platser och företeelser från den brittiska landsbygden presenterades. Uppgiften genomfördes med en genomlyssning och var uppdelad i sex kortare delar, var och en följd av en eller två frågor med fyra svarsalternativ. Då innehållet behandlade ett brittiskt tema var även de två olika rösterna brittiska, en manlig och en kvinnlig. Hörförståelsedelen som helhet innehöll därmed en blandning av målspråksvarianter. 4 (13)
Sammanfattningsvis kan noteras att balansen mellan constructed response och selected response totalt i Delprov B liknade tidigare år med ungefär hälften av poängen fördelade på varje typ av svarsformat. Avseende tematiska aspekter och målspråksområdets bredd såväl språkligt som kulturellt, hade delprovet variation i innehåll; denna gång fanns representation från såväl Nordamerika som Storbritannien, samt i någon mån även Nya Zeeland, Kenya och Sydafrika. Delprov C: skriftlig produktion och interaktion I Delprov C var uppgiften att skriva en text om ett ämne av allmängiltig karaktär med anknytning till människors levnadsvillkor, till en given mottagare och i ett givet sammanhang. Det övergripande syftet var att ge eleven möjlighet att visa förmåga att, med anpassning och användande av språkliga strategier, formulera sig och kommunicera på engelska i skrift enligt målen för skriftlig produktion och interaktion. Till stöd och inspiration för skrivandet innehöll uppgiften ett antal bilder och stödfrågor, som avser inbjuda till att uttrycka, utveckla, förklara och diskutera ett innehåll. Uppgiften var konstruerad så att den innebar en viss innehållslig valmöjlighet och progression inom givna ramar. Till stöd för lärarnas bedömning av elevprestationerna gavs nio kommenterade, autentiska elevtexter, så kallade benchmarks, på olika nivåer. Underlaget tas fram vid storskaliga utprövningar och elevtexterna väljs ut i referensgrupper i samarbete med bland andra aktiva lärare, som tidigare beskrivits. 4. Insamling Efter genomförandet av det nationella provet i engelska 5 görs två insamlingar på landets skolor. Den ena insamlingen gäller rapportering av provresultat för samtliga elever som genomfört provet. Insamlingen görs av Statistiska centralbyrån (SCB). Uppgifterna lämnas in till SCB från huvudmännen eller direkt från skolenheterna. Den andra insamlingen gäller ett urval av elevprestationer och resultat på uppgiftsnivå samt en lärarenkät om provets genomförande. Denna insamling görs av projektet Nationella prov i främmande språk, NAFS, vid Göteborgs universitet. Uppgifterna lämnas dels in digitalt, dels genom att ansvariga lärare skickar in vissa hela elevprestationer. Provinstitutionen har efter årets prov fått in cirka 950 resultatprofiler på delprovsnivå och cirka 400 hela provhäften för elever födda vissa datum, vilket medger kvalitativa och kvantitativa analyser av enskilda elevsvar och -prestationer. Provresultat med kommentarer För kursprovet i engelska 5 vårterminen 2017 har Statistiska Centralbyrån redovisat inrapporterat provbetyg för cirka 77 000 elever. Andelen elever som fick lägst provbetyget E var 96 procent. Resultaten för män och kvinnor var mycket lika avseende engelska 5, med något fler kvinnor än män som nådde de högsta provbetygen. Elever vars föräldrar har en högre utbildningsnivå samt elever som läser högskoleförberedande utbildningar uppvisar bättre resultat på kursproven i engelska. Nedan återges statistik från SCBs totalinsamling i två tabeller. För mer information om SCBs redovisning av resultaten från vårens prov, se Skolverkets webbplats, fliken statistik och utvärdering. 5 (13)
Tabell 1 Provbetyg Engelska 5: Antal elever i gymnasieskolan med provbetyg totalt och uppdelat på män och kvinnor samt fördelat på betygssteg F-A Antal elever med provbetyg Betygsfördelning (%) F E D C B A Genomsnittlig provbetygs -poäng Totalt 77 185 3,7 14,6 19,6 31,1 19,8 11,2 14,3 Kvinnor 37 721 3,5 14,4 19,4 30,9 20,0 11,7 14,4 Män 39 464 3,9 14,7 19,7 31,4 19,7 10,6 14,2 Tabell 2 Delprovsbetyg Engelska 5: Betygsfördelning på delprovsnivå Betygsfördelning (%) Delprov F E D C B A A 2,2 14,3 16,5 28,3 18,4 20,3 B 7,6 15,2 15,7 30,1 22,2 9,2 C 6,9 19,8 19,7 27,0 14,0 12,5 Insamlingen till Göteborgs universitet stämmer väl överens med ovanstående resultat men medger också en mer finmaskig analys på uppgiftsnivå. Denna visar beträffande delprov B att eleverna lyckades något bättre på hörförståelsedelen jämfört med läsförståelsedelen, även om skillnaden var liten. Även skillnaden i resultat mellan manliga och kvinnliga elever var liten, med en total lösningsfrekvens på.66 för manliga elever och.65 för kvinnliga. Totalt sett var resultatet det förväntade och liknar tidigare års resultat, sett till hur eleverna presterade på provet i förhållande till institutionens statistik från de storskaliga utprövningar som varje uppgift genomgått och estimat inför uppgifternas publicering i prov. Ett verktyg för att kunna jämföra och arbeta med konsistens mellan prov och över tid är att det i varje prov återkommer minst en så kallad ankaruppgift, det vill säga en uppgift som har förekommit i ett eller flera tidigare kursprov. I årets prov tjänade den inledande uppgiften i delprov B 2 som ankaruppgift. Denna användes första gången i prov år 2012, i det första vårprovet inom ramen för Gy 2011. Då hade uppgiften en total lösningsfrekvens på.56, att jämföra med årets lösningsfrekvens på.55. I delprov B 1 var den första uppgiften den som eleverna totalt sett lyckades bäst med; lösningsfrekvensen var.70. Svårighetsgraden var sedan i stort sett densamma i den andra uppgiften, medan de två sista uppgifterna var något svårare med lösningsfrekvenser på.61 och.57. Att den första uppgiften är av lättare karaktär är en medveten strategi för att så många elever som möjligt ska känna att de får en bra start på delprovet. I delprov B 2 var det de två mellersta av fyra uppgifter som eleverna klarade bäst, med.72 respektive.73 i lösningsfrekvenser. Uppgifterna som låg först och sist var något svårare. I likhet med läsförståelsedelen finns en ambition att eleverna ska känna att de kommer bra in i första uppgiften och multiple matching som hörförståelse har sedan tidigare visat sig ha en låg upplevd svårighetsgrad i de omfattande elevenkäter som medföljer de storskaliga utprövningarna. 6 (13)
Vid en jämförelse mellan ovanstående lösningsfrekvenser per uppgift och de lösningsfrekvenser som förekom i respektive utprövning kan en uppgång på mellan fem och åtta procentenheter konstateras. Denna ökning från utprövningstillfället till den s.k. high stakes-situation som råder vid provtillfället följer tidigare års resultat och är en faktor som på förhand beaktas vid provets sammansättning. Enkätresultat med kommentarer Lärarenkäter efter provets genomförande Efter provets genomförande inkom 248 lärarenkäter. Detta är tyvärr ett mycket lågt antal jämfört med tidigare år; för bara tre år sedan inkom fyra gånger så många närmare 1000 lärarenkäter för engelska 5. Eftersom urvalet även är självselekterat bör resultaten tolkas med försiktighet. Nedan följer en sammanfattning inhämtad från dessa lärarenkäter. Samtliga frågor med bundet format i lärarenkäten för engelska 5 vt2017 finns sammanställda på projektets webbplats. I lärarenkäten finns både frågor om provet som helhet och sådana som gäller för de olika delproven var för sig. Utöver dessa får lärarna i enkäten även möjlighet att fritt kommentera och lämna synpunkter i öppna kommentarsfält. Nedanstående två diagram beskriver hur provet som helhet har tagits emot av de 248 lärare som har svarat på enkäten. Lärarna ombads svara på i vilken utsträckning följande två påståenden angående provet som helhet överensstämde med deras uppfattning: 160 140 120 100 80 60 40 20 0 128 Instämmer helt Provet som helhet är bra 95 20 2 3 Instämmer Instämmer Instämmer Inte svarat till stor del till viss del inte alls 160 140 120 100 80 60 40 20 0 Provet som helhet är ett stöd för betygssättningen 149 Instämmer helt 76 19 Instämmer Instämmer Instämmer Inte svarat till stor del till viss del inte alls 4 Diagram 1 och 2 Provet som helhet Som framgår av ovanstående två diagram har endast en mycket liten del av de medverkande lärarna tagit emot provet på ett negativt sätt, och samtliga anser att det är ett stöd för betygsättningen. Följaktligen kan, utifrån ovanstående statistik, konstateras att 2017 års nationella prov i engelska som helhet har tagits emot på ett positivt sätt av de lärare som genomfört provet och svarat på enkäten. I lärarenkäten fanns även möjlighet att lämna synpunkter på provet som helhet i ett öppet svarsfält, vilket 80 lärare valde att göra. Ungefär hälften av de lärare som skrivit öppna kommentarer i detta svarsfält uttrycker att de är positivt inställda till provet som helhet och att det upplevs utgöra ett bra komplement till övrig undervisning och 7 (13)
bedömning. Bland annat anses innehållet i delproven vara relevant i förhållande till ämnesplanen och provets syften. Vidare lyfts att provresultaten i många fall bekräftar lärarnas egen bedömning samt att de medföljande bedömningsanvisningarna främjar diskussioner kring bedömning i kollegiet. Någon lärare önskar bedömningskommentarer och exempel på alla betygssteg medan några önskar matrisbedömning. Merparten av lärarna som kommenterar provets svårighetsgrad uttrycker att nivån var lämplig för kursen eller att resultaten bekräftade deras egen, tidigare bedömning, medan ett fåtal upplever att någon del av årets prov var svårare än vanligt. Vanliga kommentarer bland de lärare som uttrycker sig kritiskt kring proven rör den tiogradiga skalan eller att sammanvägningsmodellen inte har samma bakomliggande principer som kursbetyget och att detta faktum kan vara svårt att förklara för elever. Ett flertal menar emellertid att provresultatet överensstämmer med deras egen bedömning. Ett tiotal lärare beskriver att organisationen kring provet på den enskilda skolan antingen leder till stor arbetsbelastning eller försvårar/omöjliggör medbedömning och att efterarbetet är betungande. Några få framför också en önskan om att tidigarelägga delar av, eller hela provet för att kunna använda det i formativt syfte. Ett fåtal lärare uttrycker en förhoppning om att en digitalisering av provet skulle underlätta för (central) rättning och arkivering. Delprov A: muntlig produktion och interaktion En mycket stor majoritet av de 248 medverkande lärarna (97 procent) anser att uppgiften i delprov A är lämplig eller mycket lämplig i relation till ämnesplanen, och att delprovet ger eleverna möjlighet att visa sin förmåga att formulera sig och kommunicera på engelska i tal (98 procent). 80 procent tycker också att de kommenterade exemplen på elevprestationer ger mycket gott eller tämligen gott stöd vid bedömningen. När det gäller inspelning av elevprestationer anger 65 procent av lärarna att de har spelat in elevsamtalen, vilket möjliggör att kunna lyssna flera gånger vid bedömningen. Andelen lärare som använder sig av inspelning har ökat något från året innan, vilket överensstämmer med den trend som kunnat skönjas sedan ett antal år tillbaka. Enligt enkätsvaren är parsamtal vanligast förekommande, 48 procent anger detta medan 28 procent av lärarna fyllt i att både parsamtal och samtal i grupp om tre elever förekommit. 20 procent anger att de helt och hållet genomfört delprovet med elever i grupper om tre. 84 av de 248 lärarna har valt att framföra ytterligare synpunkter i det öppna svarsfältet som var kopplat till delprov A. Många lärare uttrycker sig i generella, positiva ordalag: Lämpligt tema som berör de allra flesta. Flera av eleverna i gruppen gav uttryck för att temat var OK; Eleverna uppfattade provet positivt. De kände att de hade god hjälp av bilderna och påståendena tillhörande elevhäftet; Bra att ni har flera elever med utländsk bakgrund i bedömningsstödet. Ibland tror jag att vi är blinda för elever med svensk intonation när de pratar engelska. Andra har önskemål eller andra synpunkter. Några lärare menar att ämnet inte gav tillräckliga möjligheter till fördjupning i samtalen: Flera elever har påpekat att ämnet var svårdiskuterat, att de inte visste vad de skulle säga till slut och att de tvingades upprepa sig. Ytterligare någon lärare menar att de två delarna i delprovet var alltför lika varandra. 8 (13)
Delprov B: reception: läs- och hörförståelse Efter delprovets genomförande läggs resultaten på läs- och hörförståelsen ihop till ett resultat på det receptiva delprovet. I lärarenkäten fanns frågor om var och en av de totalt åtta uppgifter som ingick i delprov B 1 och B 2. 98 procent av lärarna anger att bedömningsanvisningarna till delprov B fungerade bra. Beträffande delprovets poänggränser anser 97 procent av lärarna att de är rimliga (83 procent) eller till viss del rimliga (14 procent). Av de lärare som föreslår andra betygsgränser önskar 18 av dem en annan gräns för E. Förslagen ryms inom ett spann från 35 till 51 poäng med ett medelvärde på 42, att jämföra med årets E-gräns på 35 poäng. Avseende delprov B 1 anser en klar majoritet av lärarna helt (74 procent) eller till viss del (24 procent) att det gav ett tillförlitligt mått på deras elevers förståelse av skriven engelska samt deras förmåga att tolka innehållet. Den inledande matchningsuppgiften där kortare förklaringar och omformuleringar ska paras ihop med enstaka ord togs emot mycket positivt; 99 procent anger att uppgiften var mycket lämplig eller lämplig i relation till ämnesplanen. Den efterföljande cloze-uppgiften visade upp ett liknande mönster; 98 procent anser den vara mycket lämplig eller lämplig i relation till ämnesplanen. Även den längre läsförståelsetexten med blandat svarsformat som låg som uppgift tre mottogs klart positivt; 95 procent anser den vara mycket lämplig eller lämplig. Den fjärde och sista uppgiften, fem kortare texter med innehåll av nyhetskaraktär, bedöms vara mycket lämplig eller lämplig av 98 procent av lärarna. Andelen lärare som valt mycket lämplig eller lämplig i relation till ämnesplanen är jämn över de fyra uppgifterna; 55-57 procent anger att uppgifterna var mycket lämpliga och 41-43 procent att de var lämpliga. Sett över hela delprov B 1 finns alltså inte några stora skillnader mellan hur texterna har tagits emot av lärarna vad gäller deras lämplighet i förhållande till ämnesplanen. Även avseende delprov B 2 anser en mycket stor majoritet av lärarna helt (62 procent) eller till viss del (34 procent) att det gav ett tillförlitligt mått på deras elevers förståelse av talad engelska samt deras förmåga att tolka innehållet. En något större andel lärare anger följaktligen till viss del för hörförståelseuppgifterna jämfört med uppgifterna i läsförståelsen. En mycket stor majoritet av lärarna (ca 95 procent per uppgift) anser att samtliga uppgifter i B 2 var mycket lämpliga eller lämpliga i relation till ämnesplanen. Vid en jämförelse mellan hur många som anser varje del vara mycket lämplig eller lämplig kan en viss skillnad skönjas. De två uppgifterna med längre, sammanhängande innehåll från autentiska radioprogram har tagits emot något mer positivt än övriga två. 57 procent av lärarna anser dem vara mycket lämpliga i relation till ämnesplanen, och 39 respektive 38 procent anser dem lämpliga. För den inledande, studioinspelade matchningsuppgiften ser svaren ut på liknande sätt medan den avslutande, studioinspelade uppgiften har en jämnare fördelning mellan mycket lämplig och lämplig i relation till ämnesplanen, 49 respektive 47 procent. Både den första och den sista uppgiften genomfördes med en genomlyssning, var uppdelade i mindre innehållsmässigt oberoende delar och hade enbart flerval som svarsformat. 84 av de 248 lärarenkäterna innehåller öppna kommentarer kring delprov B, med stor variation i vad som tas upp. En del uttrycker sig generellt positivt medan andra har specifika synpunkter. Sex lärare önskar att samtliga hördelar ska avlyssnas två gånger. I konstruktionsprocessen läggs stor vikt vid vilka delar som behöver avlyssnas två gånger och vilka som bara kräver en avlyssning och fördelningen mellan uppgifter som avlyssnas en respektive två gånger är mycket lika i alla prov för nivån. Vidare har 9 (13)
några lärare åsikter kring hela delprovets svårighetsgrad och sju lärare tycker att provet var svårt/för svårt. Delprov C: skriftig produktion och interaktion Avseende delprov C anger 98 procent av de 248 lärarna att uppgiften är lämplig eller mycket lämplig i relation till ämnesplanen. De allra flesta, 99 procent, tycker också att delprovet ger eleverna möjlighet att visa sin förmåga att formulera sig och kommunicera på engelska i skrift. En majoritet, 77 procent, anser att de kommenterade, autentiska exemplen på elevprestationer gav mycket gott eller tämligen gott stöd vid bedömningen. Under övriga synpunkter på delprov C har 111 lärare valt att skriva något, och det finns stor variation beträffande vad som tas upp. De vanligaste kommentarerna av positiv karaktär tar upp att temat fungerade bra: Bra ämnesval för uppgiften. De flesta eleverna kunde hitta en infallsvinkel att skriva om!!; Ämnet var i år lätt att skriva om även för nyanlända elever som har stor erfarenhet att använda sig av. Bland mer negativa kommentarer är synpunkter på de medföljande bedömningsexemplen ur olika synvinklar det vanligaste (23 lärare), som till exempel: Det är väldigt luddigt formulerat vad som ska bedömas i de olika texterna. Jag vill att det ska konkretiseras vad som ger utslag i betyg, både positivt och negativt! 16 lärare framför att de vill ha en bedömningsmatris och sex lärare har negativa synpunkter som rör den 10-gradiga betygsskalan vid textbedömning. Lärarenkäter från utprövning Utöver den enkät som är kopplad till själva provtillfället samlar Nafs-projektet in lärarsynpunkter vid de storskaliga utprövningar som alla uppgifter genomgår innan de används i prov, samt vid arbete med uppgifterna i referensgrupper. Utprövningsenkäter visar att samtliga uppgifter i det här aktuella provet av de deltagande lärarna upplevdes vara i hög utsträckning relevanta i förhållande till ämnesplanen och provets syften. När det gäller delprov B 1 togs den inledande matchningsuppgiften emot mycket positivt; 14 av 15 utprövande lärare var mycket nöjda. Avseende delprov B 2 var uppgift två och tre särskilt uppskattade av de utprövande lärarna; samtliga tyckte att dessa var bra eller ganska bra. Gällande delprov C uttrycker sig sju av nio lärare enbart positivt om uppgiftens tema, medan en av lärarna tyckte att eleverna bör kunna få välja mellan olika ämnen. En majoritet av de medverkande lärarna i utprövningen till delprov A har ett positivt helhetsintryck av uppgiften och de allra flesta tycker att ämnet inspirerar till kommunikation. Enstaka lärare anser att svårighetsgraden är för hög och någon tycker att uppgiften styr samtalen i för hög utsträckning. Elevenkäter från utprövning I samband med storskaliga utprövningar besvarar eleverna frågor om olika aspekter av uppgifternas funktionalitet. Varje enskild uppgift genomgår utprövningar, i vilka ca 400 elever vid slumpvis valda skolor från olika delar av landet deltar, från såväl kommunala som fristående skolor samt vuxenutbildning. Utprövning av uppgifter för fri muntlig produktion och interaktion (delprov A) görs, av praktiska och ibland inspelningstekniska skäl, i något mindre volymer än övriga uppgifter. Det är vid sammansättning till prov vanligt att uppgifter kommer från olika års utprövningar och en ambition är att åstadkomma så god variation som möjligt vad gäller t.ex. innehåll och format. Detta innebär följaktligen att det är olika elever som har genomfört och besvarat enkäter om olika uppgifter i ett färdigt prov. De åsikter och uppfattningar som framkommer i elevenkäterna analyseras och ges stor vikt vid beslut om provens 10 (13)
sammansättning. Svaren på frågorna i elevenkäten ges i en 5-skalig Likertskala, där 1, 2 och 3 redovisas som positiva svar i denna rapport. Nedan följer en sammanfattning av de elevenkäter som genomförts i samband med de storskaliga utprövningarna av de här aktuella provuppgifterna. Den statistik som redovisas i procent är avrundad. Delprov A: muntlig produktion och interaktion Vid utprövningen var eleverna mycket positiva till den muntliga uppgiften. 92 procent ansåg att det var en bra uppgift och lika många, 91 procent, ansåg att den prövade något viktigt. En något mindre andel men fortfarande en stor majoritet, 81 procent, tyckte att uppgiften möjliggjorde en rättvis bild av deras förmåga. Även bland de öppna elevkommentarer som lämnats framkommer många positiva uppfattningar om uppgiften: It was a nice subject to discuss and the instructions were easy to understand; Jag tyckte att det gick bra med uppgiften eftersom vi samarbetade bra och fick med allt vi ville. Några elever uttrycker att de tyckte uppgiften var svår/för svår och några att de hade önskat längre förberedelsetid. Delprov B: reception - B 1: läsförståelse Avseende läsförståelseuppgifterna ansåg vid utprövningen 85 procent av de medverkande eleverna att de två första uppgifterna var bra. Även den tredje uppgiften som utgjordes av en längre, autentisk text med frågor av blandat format togs emot positivt; 80 procent ansåg att det var en bra uppgift när den prövades ut 2014. En lika stor andel tyckte att den avslutande uppgiften, uppdelad i fem kortare texter med innehåll av nyhetskaraktär, var bra. 88 procent tyckte att den inledande uppgiften prövade något viktigt och motsvarande andel för de tre följande delarna var 86, 78 respektive 82 procent. En klar majoritet av de medverkande eleverna angav att de fyra uppgifterna möjliggjorde en rättvis bild av deras förmåga. Eleverna fick även här möjlighet att uttrycka sig fritt kring varje uppgift vid respektive utprövningstillfälle. Bland de elever som valt att kommentera den inledande uppgiften förekommer både åsikten att nivån var lämplig, att det var svårt/för svårt och i enstaka fall att det var lätt/för lätt. Kommentarerna rörande cloze-uppgiften var i hög utsträckning positiva och många uttryckte att svårighetsgraden var lämplig och ämnet intressant: A good exercise and it show how well you can put words in the right context. Bland de elever som var mindre nöjda varierar åsikterna mycket; några tyckte att uppgiften var svår, andra att den inte var så intressant. Kommentarerna kring den tredje, längre läsuppgiften är fördelade tämligen lika mellan positiva och negativa. Många elever uppskattade innehållet: Ämnet var bra eftersom det är något de flesta kan relatera till. Det förekommer också synpunkter på frågorna i uppgiften: Svårt att hitta svaren på frågorna; frågorna kändes väldigt konstiga gång på gång. Delprov B: reception - B 2: hörförståelse Vid utprövningen tyckte 73 procent av eleverna att den första matchningsuppgiften var bra. Det autentiska radioprogram som utgjorde underlag till delprovets andra uppgift togs emot positivt av 77 procent, och de två avslutande uppgifterna var de populäraste, med en andel positiva svar i båda fallen på 79 procent. Samtidigt som den inledande uppgiften hade lägst andel elever som tyckte att det var en bra uppgift var det också denna som flest elever ansåg pröva något viktigt, 81 procent. Även de andra tre uppgifterna upplevdes i hög grad pröva något viktigt. På frågan om huruvida uppgifterna gav en rättvis bild av deras förmåga var det 63 procent av eleverna som angav att den 11 (13)
första uppgiften gav en rättvis bild av deras förmåga, med en stigande andel i de följande tre uppgifterna: 70, 71 respektive 77 procent. I det öppna kommentarsfältet har de flesta elever som gjorde den första uppgiften valt att uttrycka sig positivt: It really tested your listening skills; It was a good test; X den var bra. De få negativa åsikter som förekommer rör mestadels uppgiftens svårighetsgrad: X var mycket svår eftersom det kunde vara så många rätta svar. Några elever tyckte att pauserna var för långa. Uppgift två beskrevs av en stor andel av de elever som genomförde den som bra och intressant: The task was ok. Interesting and not too hard or too easy. Bland de negativa kommentarer som förekommer tar några elever upp talhastighet och mindre tydliga röster: Det var svårt att höra för de pratade otydligt och väldigt snabbt. Även vid uprövningen av den tredje uppgiften uttryckte sig många elever i positiva ordalag: This one was really good! Interesting subject and easy to hear what they said. It was a bit hard in the end. But that was really good!; Good-to-know facts!; Roligare att lyssna på då alla använder detta. Den vanligaste negativa kritiken rör talhastighet: It went by pretty quickly and you definately missed a lot the first time you heard it. Flera elever påpekade att de tyckte det var bra att få höra uppgiften två gånger. Även kring den avslutande uppgiften fanns såväl positiva som negativa kommentarer. Flera kommentarer handlade om att svårighetsgraden var lagom och innehållet bra, medan några angav svårighetsgraden som för hög. Delprov C: skriftig produktion och interaktion Även vid utprövningen av uppgiften till delprov C var eleverna mycket positiva. 88 procent ansåg att det var en bra uppgift, lika många menade att den prövade något viktigt och 81 procent ansåg att uppgiften möjliggjorde en rättvis bild av deras förmåga. Uppgiften till delprov C är den som flest elever har valt att kommentera i det öppna svarsfältet på elevenkäten när den utprövades. Bland de 112 öppna kommentarer som finns är ungefär hälften positiva, och följande exempel åskådliggör vanliga positiva uppfattningar: I think the test was ok, it was not difficult and not easy, it was in between I think; Jag tyckte uppgiften var bra. Ämnet var brett vilket gjorde att man kunde välja om man ville hålla det kort och ha med det viktigaste eller skriva på då det fanns mycket att skriva om man ville. Av de mer negativa kommentarer som förekommer handlar några om ämnet: Svårt att komma på något vettigt att skriva om; Det var ett ganska oklart ämne. Andra tar upp instruktionerna till uppgiften: I really didn t understood (uppgiftens namn) but I hope I did right. En del elever tar upp både negativa och positiva aspekter: Jag tyckte frågorna som kom med texten var lite svåra. Jag förstod dom men jag tyckte det var lite svårt att förklara/skriva ner allt på 250 ord. Annars var det helt ok! 12 (13)
5. Avslutning Avslutningsvis kan konstateras att årets prov i engelska 5 sammantaget fungerat väl och tagits väl emot av lärare och elever runt om i landet. Resultatet på provet stämmer överens med tidigare års resultat vad gäller utfall och betygsfördelning. Det är dock bekymmersamt att så få lärare, relativt sett, svarat på enkäten efter provet. Innehållet i delproven anses emellertid av dessa lärare i hög utsträckning vara relevant i förhållande till ämnesplanen och provets syften. Lärarna som kommenterat provets svårighetsgrad tycker i hög utsträckning att nivån var lämplig för kursen eller att resultaten bekräftade deras egen bedömning. Också eleverna har vid de storskaliga utprövningarna angett att uppgifterna var bra, prövade något viktigt och möjliggjorde en rättvis bild av deras förmåga, vilket är en viktig grund för arbetet med de nationella proven i engelska. En alldeles avgörande förutsättning för att proven i engelska även i framtiden ska fungera väl är skolornas deltagande i utprövningar samt det goda samarbete som provinstitutionen har med lärare och elever. Vi ser fram emot att fortsätta detta samarbete kommande år, då inte minst den stundande digitaliseringen kommer att innebära än fler utprövningar och möten med aktiva lärare och deras elever ute i skolorna eller i referensgrupper. 13 (13)