Det nationella provet i Engelska 5 vårterminen 2018

Transkript

1 PROJEKTET NATIONELLA PROV I FRÄMMANDE SPRÅK Det nationella provet i Engelska 5 vårterminen 2018 Patrik Axelson & AnnaKarin Lindqvist, Institutionen för pedagogik och special-pedagogik, Göteborgs universitet, Projektet Nationella prov i främmande språk (NAFS) 1. Inledning Föreliggande rapport följer upp och behandlar resultat från det nationella provet i Engelska 5 som gavs vårterminen Rapporten är en delredovisning inom ramen för en överenskommelse mellan Institutionen för pedagogik och specialpedagogik, projektet Nationella prov i främmande språk/nafs, vid Göteborgs universitet och Skolverket att utveckla och konstruera nationella prov i engelska för gymnasieskolan och motsvarande kurser inom den kommunala vuxenutbildningen (dnr :1451). På uppdrag av regeringen ansvarar Skolverket för samtliga nationella prov. I gymnasieskolan genomförs nationella prov i engelska, matematik, svenska och svenska som andraspråk. De nationella proven i engelska utgår från aktuella styrdokument och ämnesplanernas skrivningar. De olika uppgifterna och uppdelningen i tre delprov anknyter också till Europarådets ramverk för språkinlärning och språkbedömning, Gemensam europeisk referensram för språk: lärande, undervisning och bedömning med dess rubriceringar i reception samt muntlig respektive skriftlig interaktion och produktion. Det nationella provsystemet har på senare tid varit föremål för en omfattande översyn som medfört en rad förändringar, bland annat avseende provens syftesformuleringar och obligatorium vid olika program i gymnasieskolan. Syftet med de nationella proven har snävats in till att vara stöd för en likvärdig och rättvis betygssättning (Förordning 2017:1108). Proven avses följaktligen främst stödja likvärdiga och rättvisa bedömningar av en elevs kunskaper men är också avsedda att kunna bidra till att stärka skolornas kvalitetsarbete genom analyser av provresultaten i relation till uppnådda kunskapskrav på skolnivå, huvudmannanivå och på nationell nivå. Från och med våren 2018 är nationella prov i gymnasieskolan obligatoriska enbart i slutet av den högsta kursen på respektive program. Det nationella provet i Engelska 5 är således obligatoriskt på nästan samtliga nationella yrkesprogram. Prov som inte omfattas av obligatoriet är valfria för skolan att använda som ett kvalitativt stöd för bedömning och betygssättning samt för en ökad likvärdighet över landet. Det är rektor som beslutar huruvida skolenheten ska använda ett frivilligt prov eller inte. Det är inte tillåtet att endast använda delar av provet, så om rektorn beslutar att använda ett GÖTEBORGS UNIVERSITET, Institutionen för pedagogik och specialpedagogik Projektet Nationella prov i främmande språk, webbplats:

2 nationellt prov i en kurs ska provet användas i sin helhet. Denna förändring påverkar inte den kommunala vuxenutbildningen, där obligatoriet kvarstår i samtliga kurser. Denna rapport utgår från statistik från SCBs insamling av provresultat, data från provprojektet NAFS insamling av utprövnings- och provresultat, data från elev- och lärarenkäter i samband med utprövningarna av de här aktuella provuppgifterna samt resultat från en lärarenkät efter provets genomförande. 2. Konstruktionsprocess för nationella prov i engelska De nationella proven i engelska, samt övriga bedömningsstödjande material i engelska och moderna språk, utvecklas på uppdrag av Skolverket inom projektet Nationella prov i främmande språk vid Institutionen för pedagogik och specialpedagogik, Göteborgs universitet. Projektets webbplats innehåller information på fem språk: svenska, engelska, franska, tyska och spanska. Provmaterialen tas fram i nära samarbete med referensgrupper och bygger på ett antal grundläggande, forskningsbaserade principer. Projektets medarbetare har till övervägande del en bakgrund som erfarna och legitimerade lärare i det aktuella språket/språken och flera är också engagerade i lokal skolutveckling, lärarutbildning, forskning, nationella projekt kring lärande, undervisning och bedömning, samt i omfattande internationella nätverk. Olika typer av referensgrupper medverkar under olika skeden av arbetet med provutveckling, från konstruktion av uppgifter till sammansättning av prov och rekommendationer kring betygsgränser och bedömda elevexempel. Dessa grupper har en bred sammansättning, med lärare på aktuella och intilliggande nivåer, inklusive personer med specialpedagogisk kompetens, lärarutbildare, personer med målspråket som förstaspråk samt forskare från skilda discipliner. Till detta kommer hundratals elever, som medverkar i mindre, preliminära utprövningar samt i den storskaliga utprövning som föregår alla skarpa prov. I den senare deltar per uppgift cirka 400 elever vid slumpvis valda skolor runt om i landet. I samband med utprövningar besvarar både eleverna och deras lärare enkäter om olika aspekter av uppgifternas funktionalitet. Dessa uppfattningar analyseras och vägs in i besluten om provens sammansättning. Efter provets genomförande får lärarna sedan möjlighet att svara på en enkät och framföra åsikter om olika aspekter av provet. Provets betygsgränser och exempel per betygssteg tas fram i grupper om aktiva lärare och provutvecklare. Dessa lämnar på basis av styrdokument och erfarenhet förslag på poänggränser, nivårelaterade elevtexter och -samtal. Förslagen diskuteras och analyseras vidare i relation till data från utprövningarna samt föreläggs slutligen Skolverket, som är den instans som fastställer såväl själva provet som dess poänggränser och kommenterade nivåexempel. Utvecklingen av ett nationellt prov tar i regel cirka två år och utgår från analyser av styrdokument, relevant forskning samt beprövad erfarenhet inom området. Likaså finns ett antal kvalitetsparametrar med i utvecklingsarbetet, under hela processen från initial konstruktion till sammansättning av ett skarpt prov och analys av utfall. Dessa involverar främst följande: Innehåll, relevans och lämplighet i relation till läroplanen, ämnesplanen, forskning, aktuell målgrupp samt beprövad erfarenhet. 2 (14)

3 Svårighetsgrad (faktisk respektive upplevd) i relation till kursplanen/ämnesplanen, inklusive kunskapskraven. Uppgifternas och provets mättekniska egenskaper, inklusive frågor om samstämmighet mellan bedömare. Eventuella tematiska aspekter. Aspekter av tid och tidsåtgång. Genus-, ålders- och identitetsrelaterade aspekter. Kultur- och livsstilsaspekter (såsom etniska, politiska, religiösa och sociala). Etiska och värdegrundsrelaterade aspekter. Variation vad gäller innehåll och format. Provdelarnas inbördes relation, bl.a. vad gäller progression inom och mellan uppgifter. Likheter och skillnader i relation till tidigare prov. Reflektion av målspråksområdets bredd, såväl språkligt som kulturellt. Signaleffekter / Washback för lärande och undervisning. Utprövande elevers och lärares synpunkter på uppgifterna. De nationella proven är uppdelade i tre delprov, varav ett med två delar. Delproven har, såväl i input-material (teman och texter av skilda slag) som i uppgifter, fokus på de receptiva, produktiva och interaktiva förmågor som beskrivs i ämnesplanen för den aktuella kursen: Delprov A: muntlig produktion och interaktion Delprov B: receptiv kompetens två delar: läs- och hörförståelse Delprov C: skriftig produktion och interaktion Strategisk kompetens och förmåga till anpassning av språket till olika syften, mottagare och situationer prövas integrerat inom ramen för de tre delproven, medan aspekter av kultur och interkulturalitet präglar val av material och teman för uppgifterna i proven. Svarsformaten varierar i proven, från ren produktion och interaktion i Delprov A och C till en blandning av constructed response (eleverna svarar genom att producera svaret på engelska, eller i enstaka fall i form av en sifferuppgift) eller selected response (eleverna väljer korrekt svarsalternativ, antingen bland ett antal svarsalternativ eller genom att matcha t.ex. en text med en rubrik). Balansen i Delprov B brukar vara cirka 50 procent av dessa båda övergripande svarsformat, detta för att eleverna ska få visa sina kunskaper på annat sätt än genom skrift. Utfallet av proven rapporteras av Skolverket och finns också beskrivet och diskuterat i diverse texter och presentationer av NAFS-projektets medarbetare; dessa texter nås via projektets publikationssida. Eftersom proven omfattas av sekretess, kan inga konkreta exempel eller kommentarer kring de olika delarna av årets prov ges i detta forum. För ytterligare information om 3 (14)

4 prov och bedömning i språk hänvisas till projektets publikationssida samt de exempel på provuppgifter som ges på projektets webbplats Provets sammansättning Vid sammansättningen av nationella prov i engelska beaktas samtliga de kvalitetsparametrar som finns beskrivna i del två av denna rapport och provets olika delar väljs ut för att på bästa sätt kunna främja likvärdighet i bedömningen över tid. Delprov A: muntlig produktion och interaktion Delprov A våren 2018 bestod som tidigare år av två delar med ett gemensamt övergripande tema som avsåg ge eleverna möjlighet att samtala kring idéer, attityder och värderingar i olika sammanhang. Den första delen fokuserade främst förmågan till muntlig produktion då eleven efter viss förberedelse skulle presentera ett kortare innehåll, men gav även eleverna möjlighet att jämföra och argumentera för sina uppfattningar. I den andra delen skulle eleverna utifrån en given modell utveckla, diskutera och belysa olika perspektiv av temat i ett samtal. Fyra autentiska och kommenterade elevsamtal representativa för olika nivåer medföljde provet som stöd för lärarnas bedömning av varje elevprestation. Underlaget till dessa hämtades från de storskaliga utprövningar som beskrivits i del två av denna rapport och samtalen hade valts ut i referensgrupper med en bred sammansättning av verksamma lärare. Delprov B: reception Delprov B 1: läsförståelse Denna del av årets prov bestod av fyra uppgifter av olika karaktär. Inledningsvis fanns en s.k. matchningsuppgift där kortare förklaringar och omformuleringar skulle paras ihop med enstaka ord. Därefter följde en s.k. lucktext med ett autentiskt innehåll relaterat till datoranvändning som hade hämtats från en dagstidning i Hong Kong. Detta uppgiftsformat var av typen constructed response; eleverna skriver under läsningens gång i ord som har utelämnats i texten. Uppgiftens syfte är framför allt att pröva förmågan att uppfatta ett innehållsligt sammanhang och förståelsen av hur en språklig framställning hänger ihop och är strukturerad, dvs. att i ett funktionellt perspektiv förstå vilket ord som saknas. Den tredje delen utgjordes av en längre narrativ text från ett reportage i en australiensisk dagstidning. Innehållet relaterade till en ung persons erfarenheter, arbetsliv och levnadsvillkor. Svarsformatet i denna del var blandat med både öppna frågor och flervalsfrågor med fyra svarsalternativ. Uppgiftstypen avser pröva såväl förståelse av både relativt enskilda, konkreta detaljer och förhållanden (reading the lines) som djupare och mer övergripande förståelse samt viss tolkning eller slutledning (reading between och beyond the lines). Delprovet i läsförståelse avslutades med sex korta, sinsemellan oberoende texter av nyhetskaraktär, var och en följd av en flervalsfråga med fyra svarsalternativ avseende det huvudsakliga innehållet. 1 Avsnittet om konstruktionsprocessen är skrivet av Gudrun Erickson, IPS/NAFS, (14)

5 Delprov B 2: hörförståelse Årets delprov i hörförståelse bestod av tre uppgifter av olika karaktär. I likhet med flera andra års prov inleddes delprovet med en studioinspelad uppgift av typen multiple matching, dvs. en uppgift med flerval där eleverna ska kombinera korta muntliga avsnitt med rubriker som motsvarar huvudinnehållet i respektive text. Uppgiften, vars innehåll behandlade vardagsnära ting och företeelser, genomfördes med en genomlyssning och med en blandning av målspråksvarianter och accenter. Multiple matching lämpar sig väl som inledande uppgift då den enligt enkäter från utprövningar generellt tas emot positivt av eleverna. Det faktum att formatet ger ett luftigt intryck och kräver mycket lite läsning bidrar ytterligare till dess lämplighet som inledande uppgift. Den andra uppgiften i delprovet utgjordes av en autentisk rapporterande intervju om miljörelaterade sociala och kulturella förhållanden i Indien, hämtat från en brittisk radiokanal. Svarsformatet var blandat och knappt hälften av frågorna var av flervalstyp med fyra svarsalternativ. Uppgiften var uppdelad i fyra delar och då innehållet i programmet var av tämligen komplex karaktär spelades det upp två gånger för eleverna. Avslutningsvis fick eleverna lyssna på en autentisk, populärvetenskaplig podcast från USA som handlade om olika aspekter av historiska och sociala händelseförlopp knutna till ett vanligt livsmedel. Uppgiften som var uppdelad i tre delar genomfördes med en genomlyssning och svarsformatet var blandat med något fler öppna svar. I likhet med flera tidigare års uppgifter med en genomlyssning hade flervalsfrågorna tre svarsalternativ per fråga, bl.a. med hänsyn till läsmängd. Avseende svarsformat hade delprovet en blandning av constructed response och selected response som liknade tidigare år med ungefär hälften av poängen fördelade per format. Geografiskt och temamässigt hade delprovet, som tidigare år, en god variation med representation från Storbritannien, Indien, Australien, Hong Kong och USA. Hörförståelsedelen som helhet hade en blandning av olika målspråksvarianter. Som stöd för bedömning hade lärarna bedömningsanvisningar dels av generell karaktär, dels anvisningar till varje enskild fråga med såväl exempel på svar som skall ges poäng, som elevsvar som inte ska ges poäng. Då det kan finnas många sätt att formulera ett korrekt svar är ambitionen att visa principer för vad som krävs för poäng i varje enskild fråga. Bedömningsanvisningarna bearbetas och förfinas med hjälp av de storskaliga utprövningar som tidigare nämnts. Exempel på autentiska elevsvar som ska ges poäng och frekventa felaktiga svar hämtas från dessa utprövningar. Delprov C: skriftlig produktion och interaktion Den skriftliga uppgiften avser ge eleven möjlighet att visa sin förmåga att, med anpassning och användande av språkliga strategier, formulera sig och kommunicera på engelska i skrift. I årets delprov C fick eleverna, utifrån ett övergripande tema, välja att skriva om ett av fyra likvärdiga delområden av allmängiltig karaktär, till en given mottagare och i ett givet sammanhang. Det fanns, som tidigare år, ett antal stödfrågor som gav möjlighet att reflektera utifrån såväl ett personligt som ett generellt perspektiv samt inbjöd till att berätta, förklara och argumentera för åsikter kring ett innehåll. Som ytterligare stöd och inspiration fanns även ett antal citat. I bedömningsanvisningarna gavs lärarna nio kommenterade, autentiska elevtexter, s.k. benchmarks, på olika nivåer. Detta underlag hämtas från projektets storskaliga utprövningar och de slutgiltiga exempeltexterna väljs ut i samarbete med referensgrupper av aktiva lärare. 5 (14)

6 4. Insamling Efter genomförandet av det nationella provet i Engelska 5 görs två insamlingar på landets skolor. Elevers resultat på proven samlas in för att kunna följa upp och utvärdera kvaliteten i svensk skola, för forskning och för att kunna utveckla proven. Den ena insamlingen är en del av Sveriges officiella statistik och görs av Statistiska centralbyrån (SCB). Uppgifterna lämnas in från huvudmännen eller direkt från skolenheterna. Den redovisning som görs av Skolverket omfattar endast provresultat från de elevgrupper där det finns ett obligatorium. Den andra insamlingen görs av projektet Nationella prov i främmande språk vid Göteborgs universitet och gäller samtliga som genomfört det aktuella provet. Projektet samlar in ett urval elevprestationer, resultat på uppgiftsnivå samt en lärarenkät om provets genomförande. Uppgifterna lämnas in dels digitalt i s.k. resultatprofiler och dels genom insamling av papperskopior på hela delprov och elevprestationer. Denna insamling syftar främst till att kunna analysera utfall på delprovs-, uppgifts- och itemnivå och är ett led i kvalitetssäkringen och den kontinuerliga utvecklingsprocessen av proven i engelska. Ett stort antal skolor genomförde av olika skäl årets prov i Engelska 5 i samtliga kurser. Till projektet har därför drygt två tusen resultatprofiler på delprovsnivå inkommit, varav drygt hälften ihop med hela provhäften för elever födda vissa datum. Detta möjliggör såväl kvalitativa som kvantitativa analyser av enskilda elevsvar och -prestationer. Projektets insamling kommer även fortsättningsvis att ske på samma sätt som tidigare år och inkluderar således samtliga elever som genomför provet. Eftersom det inte framledes planeras för en nationell totalinsamling, blir detta underlag än viktigare för postvalidering av proven. Provresultat med kommentarer För provet i Engelska 5 vårterminen 2018 har Statistiska Centralbyrån redovisat inrapporterade provbetyg för cirka elever att jämföra med cirka elever 2017 då vårterminsprovet genomfördes på samtliga program. I detta urval var andelen elever som fick lägst provbetyget E drygt 90 procent och den genomsnittliga provbetygspoängen för män och kvinnor var relativt lika, med något högre resultat för de manliga eleverna. Se nedan. Nedan presenteras statistik från SCBs insamling i tabellform. För mer information om SCBs redovisning av provresultat, se Skolverkets webbplats. Tabell 1 SCB: Provbetyg för Engelska 5. Antal redovisade provbetyg totalt och uppdelat på män och kvinnor samt fördelat på betygssteg F-A Antal elever med provbetyg Betygsfördelning (%) F E D C B A Totalt ,1 30,0 24,9 23,7 9,0 3,3 11,9 Kvinnor ,9 32,1 24,4 20,9 9,0 3,6 11,7 Genomsnittlig provbetygspoäng Män ,6 28,6 25,2 25,5 9,0 3,1 12,0 6 (14)

7 Som en jämförelse visar nästa tabell motsvarande resultat från den andra insamlingen, som görs av Göteborgs universitet och som nedan omfattar drygt 900 hela provresultat från samtliga program. Denna insamling representerar således ett elevunderlag som i högre grad stämmer överens med tidigare års redovisningar och speglar god stabilitet och likvärdighet över tid. Tabell 2 GU/NAFS: Provbetyg för Engelska 5. Antal inrapporterade provbetyg totalt och uppdelat på män och kvinnor samt fördelat på betygssteg F-A Antal elever med provbetyg Betygsfördelning (%) F E D C B A Totalt 944 5,5 17,5 21,9 25,4 17,2 12,5 Kvinnor 466 5,4 19,7 21,0 22,7 18,5 12,7 Män 464 5,6 15,3 22,8 28,0 15,9 12,3 Nedan redovisas hur resultaten är fördelade på delprovsnivå. Tabell 3 visar SCBs insamling på delprovsnivå och tabell 4 innehåller statistik från Göteborgs universitet. Motsvarande skillnad i urval som beskrivits ovan gäller även för dessa redovisningar på delprovsnivå och Tabell 3/SCBs insamling avser endast de program som omfattats av obligatoriet. Tabell 3 SCB: Betygsfördelning på delprovsnivå Betygsfördelning (%) Delprov F E D C B A A 5,3 29,7 22,7 24,2 10,1 7,9 B 19,3 26,6 17,0 21,5 11,6 4,1 C 13,0 34,2 22,4 19,9 6,8 3,7 Tabell 4 GU/NAFS: Betygsfördelning på delprovsnivå Betygsfördelning (%) Delprov F E D C B A A 2,2 18,1 20,1 25,3 15,7 18,5 B 12,3 16,0 13,9 24,1 19,8 14,0 C 7,8 21,6 21,7 22,8 13,7 12,4 Enligt Göteborgs universitets insamling överensstämmer det inrapporterade resultaten totalt sett med tidigare års resultat. Insamlingen, som också medger en mer finmaskig analys på uppgiftsnivå, visar för Delprov B en total lösningsfrekvens på.65 att jämföra med.66 från 2017 års prov. Totalt sett var utfallet på samtliga uppgifter det förväntade sett till hur eleverna presterade i förhållande till statistik från de storskaliga utprövningarna och estimat inför uppgifternas publicering i prov. Delprov B innehöll 7 (14)

8 två ankaruppgifter, det vill säga uppgifter som har förekommit i tidigare prov och som fungerar som verktyg för att kunna jämföra och arbeta med konsistens mellan prov. Den inledande matchningsuppgiften var den som eleverna lyckades bäst med i delprov B 1, lösningsfrekvensen var där.68. Den därefter följande lucktexten var något svårare,.60, medan de två sista uppgifterna båda hade en lösningsfrekvens på ca..65. Ett liknande mönster finns i delprov B 2 där den inledande uppgiften hade.74 i lösningsfrekvens, vilket följdes av.62 för uppgiften av mer komplex karaktär som avlyssnades två gånger. Likt läsförståelsedelen var den avslutande delen sedan något lättare. Att den första uppgiften i ett receptivt delprov är av lättare karaktär är en medveten strategi för att så många elever som möjligt ska känna att de får en bra start på delprovet. En jämförelse mellan utfall per uppgift i prov och de lösningsfrekvenser som förekom i respektive utprövning visar något högre resultat vid den s.k. high stakes-situation som råder vid provtillfället. Detta mönster är en faktor som beaktas vid provets sammansättning. Enkätresultat med kommentarer Lärarenkäter efter provets genomförande Efter provets genomförande inkom 234 lärarenkäter. Detta antal är jämförelsevis mycket lågt och följer tyvärr den trend som uppkommit på senare år. Längre tillbaka inkom ett större antal lärarenkäter, t.ex. närmare 1000 lärarenkäter för Engelska 5 för fyra år sedan. Den självselektering som därför finns i det aktuella urvalet gör det nödvändigt att tolka nedanstående sammanfattning med viss försiktighet. Lärarna ges i enkäten möjlighet att dels fritt kommentera och lämna synpunkter i öppna kommentarsfält och dels ta ställning till frågor och påståenden av bundet format. Den bundna delen omfattar både frågor om provet som helhet och sådana som gäller för de olika delproven var för sig. Utöver denna rapport finns en ytterligare rapport om lärarenkäter på projektets webbplats. För att få en uppfattning om hur provet som helhet har tagits emot ombads lärarna svara på i vilken omfattning nedanstående två påståenden överensstämde med deras åsikt. Diagrammen nedan är baserade på de svar som de medverkande lärarna gett på enkäten Instämmer helt Provet som helhet är bra Instämmer Instämmer Instämmer Inte svarat till stor del till viss del inte alls Diagram 1 och 2 Provet som helhet Provet är ett stöd för betygssättningen 134 Instämmer helt Instämmer Instämmer Instämmer Inte svarat till stor del till viss del inte alls 6 8 (14)

9 Utifrån ovanstående diagram kan konstateras att 2018 års nationella prov i engelska som helhet har tagits emot på ett positivt sätt av de lärare som genomfört provet och svarat på enkäten. Samtliga medverkande lärare anser att det är ett stöd för betygssättningen och de instämmer i mycket hög grad i att provet som helhet är bra. I anslutning till årets prov var det 51 lärare som utnyttjade möjligheten att lämna övriga synpunkter i ett öppet svarsfält, vilket var ett lägre antal än året innan. Många av dessa kommentarer ligger i linje med den positiva inställning som framkommit bland svaren på frågorna av bundet format i enkäten. Flera lärare har valt att ta upp graden av tillförlitlighet i provet och att provresultaten i hög utsträckning bekräftar lärarnas egen bedömning: Jag blir lika fascinerad varje år över detta resultat - den matematiska sammanslagningen av alla fyra provdelar hamnar på samma betygsnivå som eleven har uppnått i kursen; På de kunskapskrav som testas avviker endast några få elever (och då oftast bara ett betygssteg) från vad de tidigare presterat under kursen. Mycket god överensstämmelse med andra ord; Kraven för olika betyg inom det nationella provet överensstämmer med mina egna, jag har anpassat mig genom åren så nu känner jag mig alltid säker. Andra lärare uttrycker sig positivt i mera generella ordalag provet som helhet: Jag är överlag mycket nöjd med provet. Det är väl utformat och ger en god bild av elevernas kunskaper i engelska; Väl utformat prov!; Ni gör ett bra jobb med proven! Tummen upp från XX, XX; Reading and listening är utmärkta sätt att göra läs och hörförståelse summativ bedömning eftersom de är så lätta att förstå, använda och bedöma. Writing är ett utmärkt tillfälle att bedöma språkförmågan i skarpt läge. Speaking likaså. Flera lärare har i enkäten valt att framföra synpunkter på avskaffandet av obligatoriet för nationella prov i Engelska 5: Det är enormt synd att obligatoriet av proven tas bort i Engelska 5 med tanke på betygssättning och den likvärdighet som dessa prov som ni skapar faktiskt ger. Proven är en mycket bra grund inför betygssättningen; Tyvärr vill inte skolan ha fler icke obligatoriska Np, vilket vi lärare vill. Bland de lärare som uttrycker sig kritiskt kring proven finns två åsikter som förekommer mer än andra. Den ena typen av kommentar rör den tiogradiga skalan som tio lärare har synpunkter på: Jag tycker att proven bör bedömas efter den ordinarie betygsskalan dvs. F, E, D, C, B, A (inte F-, F+, E-, E+ etc.). Vi sätter inte F- eller F+ i vanliga fall och det finns inga betygskriterier för att stödja en sådan betygssättning. Den andra, som sex lärare tar upp, är att sammanvägningsmodellen inte har samma bakomliggande principer som kursbetyget och att detta faktum kan vara svårt att förklara för elever. Övriga kommentarer med någon form av negativ kritik är av blandad karaktär och uttrycks endast av enstaka lärare. Bland dessa förekommer t.ex. att proven bedöms ta för mycket tid i anspråk, att hör- och läsförståelse inte bör läggas ihop till ett delprov och att bedömningsanvisningarna är alltför omfattande. I likhet med tidigare års enkäter tycker merparten av lärarna som kommenterar provets svårighetsgrad att nivån var lämplig för kursen medan ett fåtal upplever att någon del av årets prov hade en alltför hög svårighetsgrad. Delprov A: muntlig produktion och interaktion Samtliga 234 medverkande lärare uttrycker att delprovet ger eleverna möjlighet att visa sin förmåga att formulera sig och kommunicera på engelska i tal. Nästan alla anser också att uppgiften i delprov A är lämplig eller mycket lämplig i relation till 9 (14)

10 ämnesplanen. Det råder också stor enighet om att de kommenterade exemplen på elevprestationer ger mycket gott eller tämligen gott stöd vid bedömningen. Den vanligaste formen för provgenomförande är som tidigare parsamtal. En klar majoritet anger detta medan knappt hälften av lärarna fyllt i att samtal i grupp om tre elever förekommit (flera svarsalternativ var möjliga här). Drygt hälften av lärarna anger att någon form av medbedömning har förekommit och några uttrycker att samtliga elevprestationer har medbedömts. Med något undantag anger lärarna att elevernas prestationer ligger i linje med elevernas övriga prestationer under läsåret. 64 av de 234 inkomna enkäterna innehöll synpunkter i det öppna svarsfältet till delprov A. Den absolut vanligaste åsikten som framförs av dessa lärare är att temat för uppgiften var lämpligt och tillgängligt för eleverna: De flesta elever tyckte att det var ett roligt ämne att diskutera och det var lätt för dem att relatera till ämnet; Bra och lämpligt tema. Flertalet elever i mina grupper tyckte detta. Enstaka lärare menar att eleverna hade svårt att ta till sig informationen i instruktionen till uppgiften. I övrigt finns ingen enhetlig bild beträffande negativ respons. Delprov B: reception: läs- och hörförståelse I denna del av enkäten får lärarna möjlighet att ha synpunkter på var och en av de totalt sju uppgifter som ingick i de receptiva delproven. Samtliga lärare anser att delprov B 1 helt eller till viss del gav ett tillförlitligt mått på elevers förståelse av skriven engelska samt deras förmåga att tolka innehållet. Med något undantag anser lärarna att delprov B 2 helt eller till viss del gav ett tillförlitligt mått på elevers förståelse av talad engelska samt deras förmåga att tolka innehållet. I stort sett alla anger att bedömningsanvisningarna till delprov B fungerade bra. Vad gäller delprovets poänggränser anser alla med något undantag att de var rimliga eller till viss del rimliga. Av de som föreslår andra betygsgränser önskar femton lärare en annan gräns för E med ett medelvärde om 44 poäng, att jämföra med årets gräns på 34 poäng. Delprov B 1 inleddes med en s.k. matchningsuppgift där kortare förklaringar och omformuleringar skulle paras ihop med enstaka ord och denna uppgift togs emot mycket positivt av lärarna då nästan alla anger att uppgiften var mycket lämplig eller lämplig i relation till ämnesplanen. Därefter följde en s.k. lucktext med ett autentiskt innehåll vilken även den togs emot positivt. Med något undantag anser lärarna att uppgiften var mycket lämplig eller lämplig i relation till ämnesplanen. Nästan alla hade samma åsikt kring den längre läsförståelsetexten med blandat svarsformat som låg på position tre i delprovet. Den avslutande uppgiften som bestod av kortare texter av nyhetskaraktär bedömdes vara mycket lämplig eller lämplig av i stort sett alla lärare. 68 av de 234 inkomna enkäterna innehöll synpunkter framförda i det öppna svarsfältet som var kopplat till delprov B. Bland de positiva kommentarerna framhålls framför allt att delprovet fyller en viktig funktion och att dess utformning är ändamålsenlig: Provets utformning ger en bra bedömning av elevernas samlade förmåga att förstå skriven och talad engelska. Några lärare lyfter också fram att bedömningsanvisningarna är till stor hjälp. I likhet med delprov A är de mera negativt hållna kommentarerna av spridd karaktär. Några lärare menar att svårighetsgraden är för hög eller att E-gränsen är för låg. Tio respektive fem av lärarna utrycker dessa åsikter. 10 (14)

11 Delprov C: skriftig produktion och interaktion Vad beträffar delprov C anger lärarna, med något undantag, att uppgiften är lämplig eller mycket lämplig i relation till ämnesplanen. Samtliga deltagande lärare tycker att delprovet ger eleverna möjlighet att visa sin förmåga att formulera sig och kommunicera på engelska i skrift. Vidare anser en klar majoritet att de kommenterade, autentiska exemplen på elevprestationer gav mycket gott eller tämligen gott stöd vid bedömningen. Ungefär en fjärdedel av lärarna angav att elevprestationerna bedömts av någon annan lärare. I nio fall av tio har någon form av medbedömning förekommit. 74 lärare har valt att framföra övriga synpunkter på delprov C. Bland de positiva kommentarerna som förekommer är den vanligaste att ämnet har uppskattats. Några tar också upp som positivt att det i årets prov fanns en viss valmöjlighet: Mycket bra ämnesval. Elever var förberedda på vad som helst. Denna frihet som delgavs i samband med ämnesvalen lugnade dem. Avseende bedömningsexemplen på elevprestationer efterfrågade tio lärare någon form av bedömningsmatris. Slutligen kan tilläggas att Nafs-projektet utöver den enkät som är kopplad till själva provtillfället även samlar in lärarsynpunkter vid de storskaliga utprövningar som alla uppgifter genomgår innan de används i prov, samt vid arbete med uppgifterna i referensgrupper. Vid utprövningstillfället får ca lärare möjlighet att uttrycka synpunkter om varje uppgift som ingick i provet. Dessa enkäter visar att samtliga uppgifter i det här aktuella provet av de deltagande lärarna upplevdes vara i hög utsträckning relevanta i förhållande till nivån, ämnesplanen och provets syfte. Elevenkäter från utprövning Varje enskild uppgift i ett nationellt prov i engelska har prövats ut storskaligt av fyra- till femhundra elever på olika program vid slumpvis valda skolor från olika delar av landet, såväl kommunala som fristående skolor samt vuxenutbildning. Av praktiska och ibland inspelningstekniska skäl genomförs utprövningar av uppgifter för muntlig produktion och interaktion (Delprov A) i något mindre volymer. I samband med dessa utprövningar insamlas elevsynpunkter via enkäter till varje uppgift, s.k. test-taker feedback. Eleverna besvarar enkätfrågor i relation till olika aspekter av acceptans, upplevd svårighetsgrad, självskattning och funktionalitet. Dessa enkätresultat analyseras såväl kvantitativt som kvalitativt och tillmäts mycket stor betydelse vid kompositionen av prov. Vid sammansättning till prov kommer uppgifter som regel från olika års utprövningar och det läggs stor vikt vid en så god variation som möjligt avseende t.ex. innehåll och format. Som en följd av detta är det som regel olika elever som har genomfört och besvarat enkäter om olika uppgifter i ett och samma prov. Alla uppgifter som används i de nationella proven i engelska har tagits väl emot av elever vid utprövningar. Svaren på frågorna i elevenkäten ges i en 5-skalig s.k. Likertskala, där 1, 2 och 3 redovisas sammantagna som positiva svar i denna rapport. Nedan följer en sammanfattning av de elevenkäter som genomförts i samband med de storskaliga utprövningarna av de här aktuella provuppgifterna. Den statistik som redovisas i procentandelar har avrundats. Delprov A: muntlig produktion och interaktion Den muntliga uppgiften som utgjorde Delprov A var mycket populär vid utprövningen. Över 90 procent av eleverna tyckte att uppgiften var bra, lätt och prövade något viktigt. De allra flesta eleverna menade också att de klarade uppgiften väl och att det kändes som att den gav en rättvis bild av deras förmåga att kommunicera muntligt på engelska. I de öppna kommentarerna dominerade synpunkter som: Bra uppgift, 11 (14)

12 man fick starka reaktioner som gjorde det lättare för samtalet att fortsätta, viktiga punkter som säger mycket om samhället idag och saker som ALLA har åsikter om. eller I thought it was a good way of showing your skills. It was easy but you can still show how good you are at speaking English, for a higher level as well as low. Några elever önskade mer tid, vilket är olyckligt, eftersom den tid som anges för samtalet är ungefärlig och bör relateras till elevens prestationsupplevelse: The task was good but it was not enough whit time. Maybe we talk to much ; Det var ganska bra men jag tror att de skulle vara bättre om vi hade lite mer tid för att bearbeta med ämnet lite djupare. Delprov B: reception - B 1: läsförståelse När det gäller läsförståelseuppgifterna ansåg vid utprövningen 85 procent av de medverkande eleverna att den läsmatchningsuppgift som i år låg först i provet var bra. Uppgiften som låg på position två i provet togs även den emot positivt i utprövningen av 82 procent av eleverna. Den tredje uppgiften som utgjordes av en längre, autentisk text med frågor av blandat format togs emot mycket positivt; 89 procent ansåg att det var en bra uppgift när den prövades ut procent av de medverkande eleverna tyckte att den inledande uppgiften prövade något viktigt och motsvarande andel för de två följande större uppgifterna var 86 respektive 84 procent. Vidare angav en klar majoritet av eleverna att samtliga läsförståelseuppgifter gav en rättvis bild av deras förmåga. Bland de elever som valt att kommentera den inledande uppgiften förekommer både åsikten att nivån var lämplig, att det var svårt/för svårt och i enstaka fall att det var lätt/för lätt. Av de öppna kommentarerna till den andra uppgiften, som bland annat avser pröva förmågan att uppfatta innehållsligt sammanhang, framgår att eleverna till övervägande del ansåg att den fungerade väl och erbjöd goda möjligheter att visa sin förmåga: It was a good way to test yourself, but it was hard; I really liked this test, i d say it is a fair one. Great job!; jag tycker att meningar där man ska fylla I ett ord visar om man kan engelska eller inte, även fast de var ganska svåra. En del elever tyckte att svårighetsgraden var tämligen hög, vilket den också var avseende lösningsfrekvens: X var fett svår. Ett fåtal hade kritiska synpunkter på formatet: Jag tycker att det var bra upplagt men jag tycker inte om de uppgifter där man ska skriva in egna ord i meningarna tycker det hör mer till skrivadelen av provet. I de öppna kommentarerna till uppgift tre i läsförståelseprovet, en längre narrativ text, framkommer bland annat att en majoritet av eleverna tyckte att innehållet var engagerande, att uppgiften hade en lämplig svårighetsnivå och att de uppskattade variationen i svarsformat: It was interesting because it was about someone who has gone through hard times and worked their way up to succeed.; It was fun but sometimes difficult. It was a good and interesting text which suits to the majority of the students in our level..; I think it was a very nice text. It portrays a message to everyone that the way to success is not easy; Bra med både kryssfrågor och frågor där man ska svara med meningar. För en del elever är uppgiftens längd en utmaning: Very good task but through half of the text I lost concentration. That is why I couldn t perform that good Enstaka andra kritiska åsikter framfördes också: Man blir mer motiverad om man känner till det man läser om.; Det var lite svåra uttryck som jag inte förstod. Delprov B: reception - B 2: hörförståelse Vid utprövningen tyckte 80 procent av eleverna att den första uppgiften av matchningstyp var bra. Samma andel av eleverna förhöll sig på detta sätt till den sista 12 (14)

13 uppgiften medan den autentiska rapporterande intervjun som utgjorde underlag till delprovets andra uppgift togs emot positivt av 75 procent av eleverna. Nästan alla elever tyckte vidare att samtliga uppgifter testade något viktigt. På frågan om huruvida uppgifterna gav en rättvis bild av deras förmåga var det 75 procent av eleverna som angav detta om den första uppgiften och 59 respektive 69 procent om de två övriga uppgifterna. Av de öppna kommentarerna till den första uppgiften kan utläsas att flera elever har uppfattat svårighetsgrad och ämnesinnehåll positivt: X var lätt. Den var enkel att förstå; X var bra och lärorik. Enstaka elever har uttryckt det motsatta och någon elev har kommenterat uppgiftens utformning: I think the majority of these tests are intentionally challenging, in a tricky way I don t really appreciate the trickery. Otherwise it s just fine. De öppna kommentarerna till den andra uppgiften, en rapporterande intervju om förhållanden i Indien, tyder på att den upplevdes ge eleven goda möjligheter att visa sina kunskaper: These kind of listening tests give a very clear picture of how you understand the English language. I think it is a brilliant way to learn how to tackle English in one s daily life.; Man var tvungen att förstå vad de pratade om och lyssna mellan raderna. Jag antar det var poängen med testet. Även innehållet uppfattades som lärorikt: I like that the exercise was interesting. It makes it easier to pay attention; This task gave me information of things I did not know before; Det var ett bra och intressant ämne. En del negativa reaktioner förekommer, främst om talhastighet och accent; den senare synpunkten kan möjligen hänföras till viss ovana vid att lyssna på indiskt tal, som för övrigt förekom i en mycket liten del av intervjun: They talk too fast.; It would be better with American English. I de öppna kommentarerna till den tredje och avslutande uppgiften, en populärvetenskaplig podcast från USA, nämner flertalet elever positiva eller neutrala aspekter: It was very intressted; Det var en bra del där man kunde visa sina kunskaper. Intressant ämne dessutom; Jag tror att den kanske var lite lätt för många men för mig var det en utmaning jag har det svårt för hörförståelse. Liksom i föregående uppgift tycker eleverna att det är bra med blandade svarsformat: Gick lite fort ibland men skönt med både kryss och skrivuppgifter. En del elever tar upp att talhastigheten var alltför hög, att uppgiften borde avlyssnas två gånger och att innehållet inte engagerade: Pratade lite fort ibland så svårt att hänga med ibland; Ni borde göra roligare tester. Delprov C: skriftig produktion och interaktion Av elevenkäterna till delprov C framgår att eleverna var mycket positivt inställda till denna uppgift då den prövades ut procent ansåg att det var en bra uppgift och lika många menade att den prövade något viktigt. Så stor andel som 87 procent ansåg att uppgiften gav en rättvis bild av deras förmåga att uttrycka sig och kommunicera på engelska i skrift. Bland de öppna kommentarerna förekom naturligtvis enstaka negativa påpekanden kring ämnet eller tiden, men alldeles övervägande skrev eleverna generellt positiva synpunkter som till exempel: This was a well-written test, although it was only an essay.; It is fun to express thought in a text like this. It s also a good exercise and it s only good to test our skills. I synnerhet uppskattade eleverna stödmaterialet, ämnets bredd och relativt fria innehåll: Det var bra att det fanns mycket inspirerande material om ska citeras och frågor som kunde hjälpa.; Det är skönt att man får skriva om något så öppet att man inte fastnar och inte har en aning om hur man ska fortsätta. 13 (14)

14 5. Avslutning Sammanfattningsvis förefaller 2018 års prov i Engelska 5 ha fungerat väl och tagits mycket väl emot av lärare och elever runt om i landet. Samtliga resultat på provet stämmer överens med tidigare år vad gäller mottagande, utfall och betygsfördelning, vilket kan konstateras tack vare de olika, varandra kompletterande, insamlingarna som redovisats i denna rapport. De drygt två hundra lärare som svarat på enkäten efter provet anser generellt att innehållet i delproven var relevant i förhållande till ämnesplanen och ett stöd vid betygssättningen. Lärarna som kommenterat provets svårighetsgrad menar generellt att nivån var lämplig för kursen och att resultaten bekräftade deras egen bedömning i mycket hög utsträckning. Också de allra flesta eleverna har vid de storskaliga utprövningarna visat uppgifterna hög acceptans då de angett att de var bra, prövade något viktigt och möjliggjorde en rättvis bild av deras förmåga, vilket är en väsentlig grund för arbetet med de nationella proven i engelska. Insamlingar av resultat i form av elevprestationer och elev- samt lärarsynpunkter vid utprövningar samt av provresultat är helt avgörande för att provens ska fungera väl och därmed för dess validitet. I synnerhet gäller detta för utvecklingen och valideringen av provet i Engelska 5, vars mottagargrupp minskat och blivit mer selekterad på grund av borttagandet av obligatoriet. Ett brett deltagande i utprövningar och insändning till provinstitutionen av resultatprofiler, hela provhäften samt lärarenkäter, även representativt för de program som inte omfattas av obligatoriet, blir då än viktigare när en totalinsamling som kan bidra till utvärdering och postvalidering saknas. Vi som arbetat med provet för Engelska 5 ser fram emot att under kommande år fortsätta det goda samarbete som projektet har med skolor elever och aktiva lärare, dels vid utprövningar dels vid olika referensgruppsmöten. Och vi hoppas att de skolor som söker ett gott stöd för en rättvis och likvärdig bedömning av elevernas kunskaper inför betygssättningen också fortsättningsvis väljer att avsätta tid för att genomföra det nationella provet. 14 (14)