Ämnesprovet i engelska årskurs /2017

PROJEKTET NATIONELLA PROV I FRÄMMANDE SPRÅK Ämnesprovet i engelska årskurs 9 2016/2017 Eva Olsson, Dorte Velling Pedersen, Institutionen för pedagogik och specialpedagogik, Göteborgs universitet, Projektet Nationella prov i främmande språk (NAFS) 1. Inledning Denna rapport är en delredovisning inom ramen för en överenskommelse mellan Göteborgs universitet (Institutionen för pedagogik och specialpedagogik, projektet Nationella prov i främmande språk/nafs). Rapporten avser det ämnesprov i engelska som gavs läsåret 2016/2017 i årskurs 9. I rapporten görs inledningsvis en övergripande beskrivning av de nationella ämnesproven i engelska och av processen att konstruera dessa prov. Därefter följer en beskrivning av de uppgifter som ingick i 2016/2017 års ämnesprov i engelska för årskurs 9. I anslutning till detta redovisas och kommenteras årets provresultat. Avslutningsvis sammanfattas och kommenteras utfallet av olika enkäter. Rapporten är baserad på data från Statistiska centralbyråns (SCB) totalinsamling av provresultat samt från data som har samlats in av projektet Nationella prov i främmande språk (NAFS) vid Institutionen för pedagogik och specialpedagogik vid Göteborgs universitet. Provprojektets insamlingar avser provresultat och elevprestationer samt den lärarenkät som lärare besvarade efter provets genomförande. Dessutom redovisas data från elev- och lärarenkäter som ingick i utprövningarna av de uppgifter som användes i provet. 2. Konstruktionsprocess för nationella prov i engelska De nationella proven i engelska utvecklas och konstrueras på uppdrag av Skolverket inom projektet NAFS vid Göteborgs universitet. Proven är obligatoriska att använda och deras huvudsakliga syfte är att stödja lärares bedömning av elevers kunskaper i engelska samt att bidra till likvärdig bedömning och betygssättning i skolan. I de nationella proven konkretiseras kursplanerna och kunskapskraven utifrån en noggrann analys av dessa dokument och utifrån omfattande utprövnings- och provdata från ett stort antal elever med skilda bakgrunder. Även lärares synpunkter på uppgifter och deras bedömningar av elevprestationer ingår i de utprövningsdata som utgör basen i arbetet att tolka kunskapskraven och omsätta dem i ett prov med hög reliabilitet och validitet. Den nuvarande kursplanen för engelska och de kunskapskrav som där anges för årskurs 9 gäller sedan 2011. Tolkningen av kraven för ett visst betygssteg ska vara likartad år från år så länge kursplanen gäller. De nationella proven är avsedda att bidra till att kravnivåerna för olika betygssteg hålls konstanta över tid. Likaså ska proven stödja likvärdigheten i bedömningen oavsett var i landet eller i vilken skolkontext elever och lärare befinner sig. GÖTEBORGS UNIVERSITET, Institutionen för pedagogik och specialpedagogik Projektet Nationella prov i främmande språk, webbplats: www.nafs.gu.se

Provens resultat används också i syfte att analysera hur väl kunskapskraven uppfylls såväl på skol- och huvudmannanivå som på nationell nivå. Även för detta syfte är likvärdighet i bedömningen centralt. Provens sammansättning Ett nationellt prov i engelska i årskurs 9 består i likhet med ett prov i årskurs 6 och kursprov i gymnasieskolan av tre delprov, varav ett är uppdelat i två delar. Delprovens uppgifter fokuserar på de receptiva, produktiva och interaktiva förmågor som beskrivs i kursplanen: Delprov A: muntlig produktion och interaktion Delprov B: receptiv kompetens läs- och hörförståelse (två delar) Delprov C: skriftig produktion och interaktion Innehållet i uppgifterna, så som texternas tema, väljs utifrån kursplanens centrala innehåll. Strategisk kompetens och förmåga till anpassning av språket till syfte, mottagare och situation prövas integrerat inom ramen för de tre delproven, medan aspekter av kultur och interkulturalitet präglar val av material och teman för uppgifterna i provet. Svarsformaten varierar i provet. I Delprov A och C ges svar i form av ren produktion och interaktion, det vill säga att eleven samtalar med en kamrat respektive skriver en text. I Delprov B finns dels frågor där eleven själv formulerar svar i skrift (constructed response), dels uppgifter av flervalstyp där eleven väljer bland flera svarsalternativ eller exempelvis matchar en text med en rubrik (selected response). I Delprov B förekommer dessa båda övergripande svarsformat i ungefär lika stor utsträckning. Därigenom ges elever möjlighet att visa sina kunskaper även på annat sätt än genom att formulera skriftliga svar. Utfallet av proven rapporteras av Skolverket och finns också beskrivet och diskuterat i diverse texter och presentationer av NAFS-projektets medarbetare. Dessa texter nås via projektets publikationssida. Konstruktionsprocessen projektmedarbetare och referensgrupper Provprojektets medarbetare har till övervägande del en bakgrund som erfarna och legitimerade språklärare. Flera medarbetare bedriver forskning om språk och bedömning, är engagerade i lärarutbildning, i lokal skolutveckling eller i nationella och internationella nätverk med intresse för språk och bedömning. Några medarbetare har, i kombination med arbetet inom provprojektet, även skolanställning som språklärare på aktuell nivå. Under arbetet med att utveckla ett nationellt prov medverkar dessutom olika referensgrupper, exempelvis vid konstruktion av uppgifter, vid sammansättning av prov, liksom i arbetet med att ta fram rekommendationer kring betygsgränser och val av exempel på elevprestationer. Dessa referensgrupper har en bred sammansättning av lärare på den aktuella nivån i det här fallet grundskolans senare årskurser och intilliggande nivåer. I referensgrupperna ingår i regel personer med specialpedagogisk kompetens liksom lärarutbildare, personer med engelska som förstaspråk samt forskare inom språk och bedömning. En annan typ av referensgrupp utgörs av de hundratals elever som medverkar i mindre, preliminära 2 (16)

utprövningar samt i den stora utprövning som föregår alla nationella prov. Arbetsprocessen med att konstruera och pröva ut ett nationellt prov tar i regel cirka två år. Kvalitetsparametrar Ett antal kvalitetsparametrar beaktas under utvecklingen av ett prov, från initial konstruktion till sammansättning av slutversionen: Innehållets relevans och lämplighet i relation till läroplanen, kursplanen, forskning, aktuell målgrupp samt beprövad erfarenhet Svårighetsgrad (faktisk respektive upplevd) i relation till kursplanen, inklusive kunskapskraven Uppgifternas och provets mättekniska egenskaper, inklusive frågor om samstämmighet mellan bedömare Aspekter av tid och tidsåtgång Eventuella tematiska aspekter Genus-, ålders- och identitetsrelaterade aspekter Kultur- och livsstilsaspekter (etniska, politiska, religiösa och sociala) Etiska och värdegrundsrelaterade aspekter Variation vad gäller innehåll och format Provdelarnas inbördes relation, bl.a. vad gäller progression inom och mellan uppgifter Likheter och skillnader i relation till tidigare prov Reflektion av målspråksområdets bredd, såväl språkligt som kulturellt Signaleffekter/Washback för lärande och undervisning Utprövande elevers och lärares synpunkter på uppgifterna Utprövning När nya uppgifter tagits fram för att pröva läs- och hörförståelse genomförs först en mindre utprövning. Några klasser prövar uppgifterna och ger omdömen om dem, även undervisande lärare lämnar synpunkter. Resultaten analyseras och uppgifterna vidareutvecklas inför stor utprövning där cirka 400 elever per uppgift vid slumpvis utvalda skolor i landet deltar. I utprövningsmaterialet ingår alltid en så kallad ankaruppgift från tidigare utprövningar för att möjliggöra analys av nya uppgifters svårighetsgrad i relation till uppgifter som tidigare tagits fram. Ankaruppgiften ger dessutom en indikation om kunskapsnivån hos de grupper som deltar i utprövningen i relation till andra grupper som genomfört samma ankaruppgift tidigare år. Även i den slutliga versionen av ett nationellt prov ingår en eller flera uppgifter som kan fungera som ankaruppgifter. Det är uppgifter som har funnits med i tidigare prov, som används för att jämföra kunskapsnivåer hos elevgrupper över tid och för att säkerställa att provens svårighetsgrad varierar i så liten utsträckning som möjligt mellan år. Med andra ord, ankaruppgifter är viktiga verktyg i arbetet med att säkerställa provens stabilitet. Under utprövningsfasen analyseras resultaten av olika uppgifter på detaljnivå och utfallet av varje delfråga undersöks för att säkerställa att uppgifter av olika svårighetsgrad finns med. Uppgifterna bearbetas utifrån utprövningsdata, och ofta krävs ytterligare utprövning för att 3 (16)

säkerställa bearbetade eller nya uppgifters reliabilitet. I samband med utprövning besvarar elever och deras lärare enkäter om olika aspekter av uppgifternas funktionalitet. I slutfasen av konstruktionsprocessen för ett receptivt delprov sammankallas en referensgrupp för att ta fram förslag till provsammansättning utifrån ett urval av såväl nya, utprövade uppgifter som uppgifter som är möjliga att återanvända från tidigare prov. Referensgruppen får också tillgång till utprövningsdata som till exempel visar uppgifternas svårighetsgrad samt omfattning avseende tidsåtgång och ordantal. Elevernas uppfattningar om olika uppgifter (test taker feedback) presenteras och vägs in när provet sätts samman. Deltagarna diskuterar tillsammans fram förslag till sammansättning med utgångspunkt från de kvalitetsparametrar som presenterats i punktform ovan. Referensgruppernas breda sammansättning är en viktig resurs för att säkerställa att proven vilar på såväl vetenskaplig grund som beprövad erfarenhet. Efter referensgruppens möte sker en fördjupad analys och bearbetning av förslaget inom provprojektet. Referensgrupper deltar också i arbetet att ta fram poänggränser för Delprov B (standard setting) liksom i arbetet att till Delprov A och C välja ut exempel på elevprestationer från utprövningarna, som i provets bedömningsanvisningar ska illustrera olika betygsnivåer och fungera som så kallade benchmarks. Inför referensgruppsmötet bedömer deltagarna, var och en för sig, ett urval av samtal respektive texter utifrån ett antal bedömningsfaktorer och i relation till gällande kunskapskrav. Skolverkets Kommentarmaterial till kunskapskraven i engelska är därvid också ett stöd. Inför mötet görs, utifrån de enskilda bedömningarna, statistiska beräkningar som bland annat visar i vilken utsträckning bedömarna är överens. Vid mötet jämförs bedömningarna, och kvaliteter i samtal respektive texter diskuteras. Referensgruppen lämnar därefter ett gemensamt förslag till exempel på elevprestationer som skulle kunna illustrera olika betygsnivåer. Eftersom syftet med provmaterialet är att stödja lärares bedömning och betygssättning läggs särskild vikt vid att illustrera nedre gränsen för en betygsnivå, det vill säga var en betygsnivå övergår i en annan. Efter att referensgrupperna lämnat sina förslag sker fördjupade analyser, och kommentarer skrivs för att tydliggöra hur exemplen på elevprestationer illustrerar olika betygsnivåer. Ett sista led i framtagningsprocessen för ett nationellt prov är att referensgruppernas förslag föreläggs Skolverket, som har det slutgiltiga ansvaret att fastställa provet. 3. Provets sammansättning läsåret 2016/2017 Det ämnesprov i engelska för årskurs 9 som gavs läsåret 2016/2017 har satts samman i enlighet med de principer, kvalitetsparametrar och processer som har beskrivits i rapportens föregående del. Nedan följer en närmare beskrivning av de tre delproven. Eftersom provet omfattas av sekretess kan dock inga titlar eller konkreta exempel och kommentarer kring uppgifterna ges. Delprov A: muntlig produktion och interaktion I likhet med tidigare år gav Delprov A eleverna möjlighet att tala och samtala kring vardagliga och välbekanta ämnen och företeelser under ett övergripande tema med anknytning till elevnära intressen och aktiviteter. Uppgiften innehöll en uppvärmningsdel med huvudsakligt fokus på enskild produktion följd av två delar som inbjöd både till 4 (16)

produktion och interaktion. Modellen följde ett väl beprövat upplägg som innebär att eleverna utifrån olika typer av kort, som de turas om att välja, får möjlighet att uttrycka personliga åsikter, diskutera för- och nackdelar med givna alternativ samt ta ställning till några påståenden och diskutera dem med en eller två kamrater. Till stöd för lärarnas bedömning av elevernas prestationer gavs i lärarmaterialet till delprov A fyra bedömda och kommenterade elevsamtal på olika nivåer. Samtalen hade spelats in i samband med den storskaliga utprövningen av uppgiften och valts ut och kommenterats i enlighet med det förfarande som beskrivits tidigare i rapporten. Delprov B: reception Delprov B 1: läsförståelse innehöll vårterminen 2017 tre uppgifter som gav eleverna möjlighet att på olika sätt visa sin förmåga att läsa och förstå engelska texter av skilda slag. Textunderlaget i den första uppgiften var hämtat från en brittisk webbplats med turistinformation. Indelat i fyra kortare texter under en övergripande rubrik bestod underlaget dels av fakta, dels av kortare beskrivande textstycken. Med utgångspunkt i ett antal frågor, och med hjälp av underrubriker i de mindre texterna, skulle eleverna först söka efterfrågad information och producera korta egna svar (constructed response). Därefter uppmanades de att para ihop ett antal beskrivningar med någon av de fyra texterna en så kallad matchinguppgift med selected response, där de endast behövde svara med den bokstav som motsvarade respektive text. Den andra uppgiften var en autentisk, men något förkortad, berättelse skriven av en nyazeländsk ungdomsförfattare. Även i denna uppgift förekom det såväl constructed som selected response. Det senare i form av multiple choice-svar där eleverna till vissa frågor skulle välja ett av fyra svarsalternativ. I denna typ av läsförståelseuppgift prövas läsning för förståelse av konkreta detaljer och förhållanden (reading the lines) men också förmågan att förstå en text på ett djupare plan och dra slutsatser av det lästa (reading between the lines och beyond the lines). Den tredje och sista uppgiften innehöll en kortare, humoristisk berättelse skriven av en amerikansk high school-elev. Texten hade försetts med ett antal luckor där ett ord per lucka avsiktligt hade tagits bort. Vid läsningen är det elevernas uppgift att återskapa en sammanhängande text genom att i varje lucka fylla i ett ord som passar in i sammanhanget. Provformatet är ett gap-test med constructed response, och det prövar provtagarens förmåga att vid läsning uppfatta ett innehållsligt sammanhang samt visa sin förståelse av hur en språklig framställning hänger ihop. I begränsad omfattning prövas här även grammatisk säkerhet och stavning. Väl framtagna och noggrant utprövade gap-tests fungerar som goda och reliabla indikatorer på provtagarnas generella språkliga förmåga inom målspråket. Eftersom de dessutom är mycket stabila över tid, är de väl lämpade att återanvända som ankaruppgifter för att möjliggöra jämförelser mellan år. Den sista uppgiften i årets delprov B 1 var en sådan återanvänd uppgift. Delprov B 2: hörförståelse innehöll vårterminen 2017 tre uppgifter av olika karaktär, som alla var studioinspelade. Det förekom olika regionala målspråksvarianter av framför allt brittisk och amerikansk engelska, men även australiensisk engelska fanns representerad. 5 (16)

Eleverna fick i den första uppgiften höra ett fingerat radioprogram med ett varierat innehåll baserat på faktiska händelser. Programmet spelades upp en gång uppdelat i ett antal kortare avsnitt med tid för att besvara två eller tre frågor per avsnitt. Den andra uppgiften innehöll en uppläsning av en berättelse baserad på en händelse som utspelade sig i en amerikansk delstat för ett antal år sedan. Eleverna fick först höra berättelsen uppdelad i fyra avsnitt med tid inlagd för att besvara tre-fyra frågor åt gången. En sammanhängande uppspelning gav därefter möjlighet för eleverna att kontrollera och komplettera sina svar. Båda uppgifterna innehöll frågor med blandade svarsformat, då det förekom dels constructed response som krävde att eleverna skrev mycket korta eller relativt korta egna svar, dels selected response utifrån fyra givna svarsalternativ. Den tredje uppgiften bestod av ett antal korta inslag som refererade nyheter från olika delar av framför allt den engelskspråkiga världen. Eleverna skulle lyssna på helheten i varje nyhet och visa att de, genom att välja ett av fyra givna svarsalternativ, hade förstått vad inslaget handlade om. Delprov C: skriftlig produktion och interaktion I Delprov C var uppgiften att skriva en text om ett relativt vardagligt ämne med en tydlig koppling till, för alla elever, välbekanta förhållanden. Ämnet sattes in i ett sammanhang med hjälp av ett fingerat brev, och eleverna uppmanades att skriva en text som skulle läsas av en given mottagare. Det övergripande syftet var att ge eleverna möjlighet att visa sin förmåga att formulera sig och kommunicera på engelska i skrift och därvid också visa förmåga att göra anpassning av det skrivna till syfte och mottagare. Till stöd för skrivandet gavs fyra punkter som eleverna uppmanades att förhålla sig till. Punkterna var formulerade så att eleverna genom att följa dem skulle få möjlighet att visa sin förmåga att i skrift beskriva, förklara och diskutera på engelska. 4. Insamling Efter genomförandet av det nationella provet i engelska i årskurs 9 görs två olika insamlingar av elevresultat samt en insamling av lärarsynpunkter. Den ena insamlingen, är en del av Sveriges officiella statistik och görs av Statistiska Centralbyrån (SCB) och avser rapportering av provresultat för samtliga elever som genomfört provet. Den andra insamlingen görs av projektet Nationella prov i främmande språk och avser resultat på prov-, delprovs- och uppgiftsnivå för cirka 800 elever i ett urval baserat på vissa födelsedatum. För hälften av urvalet görs dessutom insamling av faktiska elevprestationer i form av kopior av provhäften (delprov B) och skrivna texter (delprov C). Vårterminen 2017 var det för första gången möjligt att rapportera in resultaten på prov-, delprovs- och uppgiftsnivå digitalt. En möjlighet som utnyttjades avseende resultaten för 406 elever. Sammanlagt inkom resultat från drygt 800 elever. Insamlingen ger möjlighet till analys av utfall på delprovs-, uppgifts- och item-nivå och är av stor vikt för att kvalitetssäkra och vidareutveckla proven i engelska. 6 (16)

5. Provresultat med kommentarer För ämnesprovet i engelska i årskurs 9 läsåret 2016/2017 har SCB redovisat inrapporterat provbetyg för cirka 93 000 elever. Nedan återges statistik från SCBs totalinsamling i två tabeller. För mer information om redovisningen av totalinsamlingen från 2016/2017 års prov, se Skolverkets webbplats, fliken statistik och utvärdering. Tabell 1 Provbetyg. Ämnesprov i engelska årskurs 9 läsåret 2016/2017: Antal elever i grundskolan med provbetyg totalt och uppdelat på flickor och pojkar samt fördelat på betygssteg F-A Antal elever med provbetyg Betygsfördelning (%) F E D C B A Genomsnittlig provbetygs -poäng Totalt 93 250 3,6 10,9 15,5 28,6 22,1 19,3 15,0 Flickor 44 953 3,2 10,7 14,9 28,0 22,4 20,8 15,2 Pojkar 48 297 4,1 11,1 16,0 29,2 21,7 18,0 14,9 Tabell 2 Delprovsbetyg. Ämnesprov i engelska årskurs 9 läsåret 2016/2017: Betygsfördelning på delprovsnivå Betygsfördelning (%) Delprov F E D C B A A 3,6 13,2 14,2 25,8 18,0 25,2 B 7,2 11,9 12,0 27,4 22,8 18,8 C 5,5 14,3 17,4 28,0 17,0 17,9 Resultaten ovan, som i allt väsentligt stämmer överens med insamlingen till Göteborgs universitet, visar att andelen elever som fick lägst provbetyget E var 96 procent. Resultaten visar att skillnaderna mellan pojkar och flickar totalt sett var mycket små, även om något fler flickor än pojkar nådde det högsta provbetyget. Det framgår av tabellen att 41 procent av eleverna uppnådde betyget A eller B i det sammanvägda provbetyget. Detta innebär att en stor andel elever, i förhållande till gällande kunskapskrav för engelska i årskurs 9, uppvisar mycket god förmåga. Det bekräftar dessutom den bild som har blivit tydlig under en följd av år, nämligen att många elever vid slutet av den obligatoriska skolan i Sverige uppvisar synnerligen goda resultat i engelska. Andelen elever som inte uppnått E i det sammanvägda provbetyget ligger i årets totalinsamling på 4 procent, vilket är identiskt med de två föregående årens resultat. Vad gäller utfallet på de tre delproven liknar bilden i stor utsträckning tidigare års utfall. Delprov A var som tidigare det delprov där lägst andel elever inte uppnådde ett godkänt betyg (3,6 procent) och där den högsta andelen nådde de två högsta betygen (43,2 procent). Även när det gäller Delprov B var det en stor andel av eleverna som uppnådde betygen A eller B (41,6 procent), men det var samtidigt 7,2 procent som inte nådde upp till ett godkänt 7 (16)

betyg. Detta är en bild som är snarlik tidigare års utfall avseende det receptiva delprovet. Vad gäller Delprov C uppnådde nästan 35 procent av eleverna antingen A eller B, medan 5,5 procent inte klarade ett godkänt betyg. Delprov C är totalt sett det delprov som är svårast för eleverna. Insamlingen till projektet NAFS vid Göteborgs universitet bekräftar att uppgifterna i det receptiva delprovet, Delprov B, fungerade som det var tänkt vid provsammansättningen. Den första uppgiften i B 1 såväl som i B 2 var den lättaste och bör ha erbjudit eleverna en lugn start på läsförståelse- respektive hörförståelsedelen. Variationen i svårighetsgrad inom och mellan de olika uppgifterna i delprovet i övrigt var god och erbjöd därmed elever på olika färdighetsnivåer möjlighet att visa vad det kan. 6. Enkätresultat med kommentarer Alla uppgifter som ingår i ett nationellt prov i engelska har som beskrivits tidigare i rapporten granskats och kommenterats i flera led innan de används i prov. Inte minst elevers och lärares åsikter är viktiga, och de ges vid alla utprövningar möjlighet att lämna synpunkter i olika enkäter. Här följer först sammanfattningar av elevers och lärares åsikter från utprövningar avseende uppgifternas ämnesinnehåll och funktion. Några exempel på kommentarer till Delprov A och C ges också. Därefter följer en kommenterad redovisning av den lärarenkät som i samband med genomförandet av årets prov besvarades av 282 lärare. Elev- och lärarenkäter från utprövningar I de storskaliga utprövningarna besvarar eleverna en enkät genom att ta ställning till ett antal påståenden som bland annat avser funktion, svårighetsgrad och upplevelse av den egna prestationen. Eleverna ringar in något av alternativen från 1-5 på en så kallad Likert-skala, där Yes, absolutely motsvarar siffran 1 och No, absolutely not siffran 5. Dessutom kan eleverna lämna egna kommentarer på engelska eller svenska. Lärarenkäterna avser framför allt olika aspekter av uppgifters innehåll och funktion samt relation till styrdokumenten. Elev- och lärarenkäter används dels som underlag i den kontinuerliga provutvecklingen, dels vid val av uppgifter i samband med sammansättning av skarpa prov. Om delprov A Vid utprövningen av årets muntliga uppgift uttryckte ett stort flertal elever och lärare sitt gillande vad gäller tema och innehåll. Uppgiftens upplägg ansågs överlag vara bra och fungera väl. Nedan följer exempel på elevers och lärares kommentarer som på lite olika sätt illustrerar mottagande och funktion. 8 (16)

Elevröster Det var bra ämnen som man hade mycket åsikter om och det var intressant att höra vad kompisen tyckte. De var bra att det var frågor som inte var allt för vuxna frågor. De blå korten var roligare än de gula för att vi skulle diskutera lite seriösare saker. Bra att det var två som gjorde det så man fick fram sin egen åsikt istället för att andra hinner säga det innan. Det var väldigt kul och lätt, mest för att svaren skulle vara personliga och svaren var fria. Man fick liksom tycka vad man ville utan att det blir fel. Lärarröster Fungerar väl och på liknande sätt som tidigare prov. Ämnet är ju ganska brett vilket är bra. Ämnena denna gång var intressantare och berörde elevernas vardag och intressen på ett mer jordnära sätt. Även mina svagaste har tyckt att ämnena gick att prata kring. Modellen är beprövad och uppskattad. Progressionen finns där men på en hanterbar nivå. Om delprov B Uppgifterna i Delprov B har prövats ut i olika stora utprövningar av minst 400 elever per utprövningsversion, vilket har genererat en omfattande datamängd avseende elevernas åsikter om de olika uppgifterna. Sammanfattningsvis kan det konstateras att alla uppgifterna har gillats av eleverna, även om det finns skillnader. Allra bäst tyckte eleverna om de två första uppgifterna i provets hörförstålsedel (B 2) och den första uppgiften i läsförståelsedelen (B 1). De ansåg att dessa uppgifter var bra och lagom svåra. De markerade också i stor utsträckning att de ansåg att de hade klarat dem bra. Även den avslutande kortare luckuppgiften i B 1 gillades av eleverna, och de ansåg att den var relativt lätt. Svårast ansågs den långa läsuppgiften vara. Om delprov C Utprövningen av årets skriftliga uppgift gjordes av sammanlagt 480 elever. Eleverna fick i den tillhörande enkäten ange i vilken grad de ansåg att åtta olika påståenden på den femgradiga Likert-skalan stämde med deras uppfattning. Exempel på påståenden vid varje utprövning av en skriftlig uppgift är I liked to write X; It was difficult to write X; There were enough suggestions about things that I could write about och I think I did well on this part of the test. Uppgiften togs emot mycket väl av både elever och lärare och den ansågs fungera bra. Elevröster Det var ett roligt ämne att skriva om så därför flöt det på och var inte så jättesvårt. It was a good test. But sometimes it was hard to know what to write about. Jag tycker att man borde få skriva mer än 500 ord och att man ska ha lite längre tid på sig. It was a great way to really understand how much these things mean to me and it was nice to spread it so that everyone can have as much fun as I have had 9 (16)

Testet var bra upplagt. Efter det här testet fann jag motivation till att läsa mer engelska ord och utöka mitt ordförråd eftersom jag tyckte mitt ordförråd i den här texten bliv lite knapert. Lärarröster Alla kan skriva någonting om ämnet, så det känns relevant. Instruktionerna är bra, kanon att det står i punktform vad som ska finnas med, det underlättar för samtliga! Tidsåtgången är lagom, alla hinner skriva klart. Lärarenkäter från ämnesprovet i engelska i årskurs 9 läsåret 2016/2017 I samband med att nationella ämnesprov i engelska genomförs ombeds klassernas lärare besvara en enkät om provet. Totalt inkom i år 282 enkätsvar vilket är få jämfört med det antal som vanligen skickades in för några år sedan. Exempelvis inkom år 2014 drygt 1200 enkätsvar. Ändrade rutiner kring hantering av enkäten kan tänkas vara ett skäl till det minskande antalet svar. Enkäten besvaras numera enbart digitalt, och till skillnad från tidigare år finns inte längre en färgstark pappersenkät i lärarmaterialet som en påminnelse om att lärares synpunkter kring provets genomförande och svårighetsgrad samt åsikter om dess funktion är viktiga och bör skickas in. Ändrade rutiner i själva bedömningsarbetet kan också vara en orsak till att färre svarat. Om skolor exempelvis arrangerar någon typ av central bedömning av proven eller delar upp delprov mellan lärare kan det vara svårt för klassernas undervisande lärare att ha synpunkter, om de inte deltagit i bedömningsarbetet alls eller bara bedömt någon del av provet. Det låga antalet enkätsvar innebär att resultaten får tolkas med viss försiktighet, eftersom det är osäkert om svaren är representativa för alla de lärare vars elever har genomfört provet. De kvantifierbara resultaten av lärarenkäten finns publicerade under fliken för Äp 9 på provprojektets webbplats. Här följer en sammanfattning av enkätsvaren och de synpunkter lärare lämnat i öppna kommentarer. Sammanfattningen följer i stora drag ordningsföljden i enkäten. Lärarnas bakgrund Av de lärare som besvarat enkäten arbetar 94 procent i grundskolan, en procent i specialskola och fem procent i en annan skolform, där främst introduktionsprogram på gymnasiet angavs. Antal år i läraryrket varierar mellan ett halvt år och 42, med ett medianvärde på 15. De allra flesta lärare som besvarat enkäten (92 procent) har ämnesbehörighet i engelska för årskurs 9. Antal elever som lärarna genomfört provet med varierar mellan en elev och 160 elever. Sammanlagt har de lärare som besvarat enkäten genomfört provet med drygt 11000 elever. Lärarnas syn på provet som helhet I enkäten ombads lärarna ta ställning till om de instämde helt, till stor del, till viss del eller inte alls i följande tre påståenden som gällde provets kvalitet och funktionalitet: Provet som helhet är bra; Provet som helhet är ett stöd för betygssättningen; Lärarinformationen (häfte 1 och 2) ger mig tillräckligt med information för genomförandet av provets olika delar. Diagrammen nedan visar lärarnas svar avseende de två första påståendena. 10 (16)

200 180 160 140 120 100 80 60 40 20 0 173 Instämmer helt Provet som helhet är bra 82 20 2 5 Instämmer Instämmer Instämmer Inte svarat till stor del till viss del inte alls 180 160 140 120 100 80 60 40 20 0 Provet som helhet är ett stöd för betygssättningen 160 Instämmer helt 79 28 4 11 Instämmer Instämmer Instämmer Inte svarat till stor del till viss del inte alls Som det framgår av diagrammen har 2016-2017 års prov i engelska i årskurs 9 i mycket hög grad tagits emot på ett positivt sätt av de lärare som besvarat enkäten. De allra flesta instämmer helt eller till stor del i att provet är bra och att det som helhet är ett stöd för betygssättningen. Dessutom instämmer 96 procent av lärarna helt eller till stor del i påståendet att lärarinformationen gav tillräcklig information inför genomförandet av provets olika delar. I enkäten ombads lärarna ta ställning till om provet prövar sådant som behandlats i undervisningen. 98 procent av lärarna anser att provet i hög eller ganska hög grad gör det. Anpassning Av enkätsvaren framgår att någon typ av anpassning av provet skett för cirka 1700 elever. Den främsta anledningen till detta var läs- och skrivsvårigheter följt av funktionsnedsättning så som synnedsättning eller koncentrationssvårigheter. Bland kommentarerna om andra orsaker nämns behov av lugn miljö, social fobi, upplevelse av stress i helklass, att elev har svårt att komma igång med uppgifter, att elev är så kallad hemmasittare samt olika typer av diagnoser av neuropsykiatrisk typ. Att elev är nyanländ till Sverige nämns också som skäl för anpassning. Den vanligaste typen av anpassning var förlängd skrivtid, följt av ytterligare vuxenstöd, exempelvis speciallärare eller elevassistent. I kommentarerna framgår att uppläsning av provfrågor eller text förekommit som anpassning liksom att dator använts av elever för att skriva. Förstorad text, användning av hörlurar, längre pauser och avskilt rum är andra former av anpassning som nämns. Nyanlända elever I enkäten ombads lärarna beskriva hur provet fungerade för nyanlända elever. Svaren visar på skillnader mellan skolor både vad gäller sätt att genomföra provet och i uppfattningar om dess funktion. Det framgår att genomförandet ofta gått bra men att själva provet har varit svårt för många nyanlända elever, bland annat beroende på skolbakgrund och 11 (16)

undervisningstid i engelska. Det framgår också av svaren att många skolor avgjorde från fall till fall om, och i vilken omfattning, provet skulle genomföras av nyanlända elever, medan andra skolor lät alla nyanlända delta i provgenomförandet. I vissa fall skedde det med anpassningar så som särskilt stöd i liten grupp, extra genomgång av instruktioner och utökad tid. Nedanstående exempel på kommentarer illustrerar spännvidden i lärares kommentarer kring provets användning och funktion för nyanlända elever. Det har fungerat väl, men varit svårt för eleverna eftersom några av dem inte läst engelska så länge. Men vi tog beslutet att låta dem genomföra provet för att ge både dem och oss en bild av hur långt de kommit i relation till övriga elever. Svårt. Många nyanlända har inte haft tid nog att kunna arbeta med engelska ordentligt då fokus lagts på svenska. De som har varit i Sverige ett tag och har viss studievana och baskunskaper sedan tidigare har i regel klarat det bra E eller D. De som har börjat från noll under högstadiet har i regel inte klarat det övre skiktet av F. Själva genomförandet var inga problem. Det har fungerat bra. De har haft möjlighet till längre skrivtid. Elev som varit i Sverige kort tid och läser engelska på mellanstadienivå genomförde inte provet. Då provet endast innehåller engelska och avser testa deras kunskaper i engelska så ser jag ingen skillnad i genomförandet beroende på huruvida eleven är nyanländ eller ej. Att en del nyanlända å andra sidan kanske inte har samma förutsättningar pga av att de inte läst engelska lika länge är en annan sak. Frågan är då om de elever som inte har en rimlig chans att klara provet ska skriva. Delprov A Angående Delprov A, där muntlig produktion och interaktion prövas, anser 94 procent av lärarna att det gav eleverna möjlighet att visa denna förmåga medan sex procent anser att det gjorde det till viss del. 94 procent anser att uppgiften var lagom svår och 87 procent att de kommenterade elevexemplen gav ett tämligen eller mycket gott stöd för bedömningen. Lärarna ombads även ange om de anser att de inspelade elevprestationerna illustrerar betygsnivåerna på ett rimligt sätt. Vad avser de inspelade elevprestationerna för betygen A-D anser 88-90 procent av lärarna att bedömningarna som gjorts är rimliga, medan 80 procent anser att bedömningarna för E är det. De lärare som inte tycker så har alla markerat att de betraktar bedömningarna som för milda. Den bild som här framträder här av lärares åsikter om bedömningen av muntliga elevprestationer liknar den som har framkommit i tidigare års enkäter. Lärarnas tolkningar av kunskapsnivåer verkar i mycket hög grad stämma överens med de tolkningar som görs i provmaterialet. Betygssteget E, som representerar gränsen för vad som är en godkänd prestation, är det betygssteg där det råder en något större oenighet än kring bedömningen gällande övriga betygssteg. Detta är kanske inte så förvånande, eftersom det, som nämnt inledningsvis i rapporten, vid val av exempel på elevprestationer i de produktiva/interaktiva delproven är en strävan att illustrera den nedre gränsen för vad som kan vara en godkänd prestation på en viss betygsnivå. I 58 procent av enkäterna angav lärarna att de spelade in det muntliga provet. Detta rekommenderas i läraranvisningarna eftersom det då är möjligt att lyssna igen för att bekräfta 12 (16)

en viss bedömning eller att bedöma i efterhand. Dessutom finns möjlighet att stärka bedömningens tillförlitlighet genom att ytterligare en bedömare tar ställning till prestationen. Endast i knappt en femtedel av enkäterna hade lärarna skrivit kommentarer. Som en anledning till detta angavs det av några att det hade gått en termin mellan genomförandet av Delprov A och besvarandet av lärarenkäten. I cirka hälften av kommentarerna förstärkte lärarna på något sätt sin positiva uppfattning av delprovet. Andra kommentarer gällde framför allt organisatoriska lösningar eller problem, och några få uttryckte önskemål om ytterligare stöd för bedömningen till exempel i form av en utförlig matris. Nedanstående citat har valts ut för att illustrera lärarnas kommentarer kring uppgiftens innehåll och funktion. Bra val av ämne, alla elever hade något att säga. Bra att det inte baseras på kunskaper om ett speciellt ämne. Jag anser att Delprov A är ett bra prov för att pröva elevernas språkliga förmåga att kunna kommunicera. Provets uppbyggnad gör att eleverna inte hinner öva in vad de ska säga redan innan, och samtalsämnena är lätta för eleverna att prata om. Första delen fungerar alltid bra då det alltid är något eleverna kan relatera till och oftast har mycket att prata om. Del 2 brukar också vara bra anser jag då eleverna ska välja och argumentera för ett val som de gör. Oftast valmöjligheter som ligger dem nära hjärtat och som de har åsikter om. Del 3 kan vara väldigt svår. Jag inser och tycker att det måste vara en stegring i svårighetsgraden men vissa av påståendena är rent ut sagt omöjliga för eleverna att diskutera för de vet för lite om ämnena. Alla ämnen är naturligtvis inte svåra men man kan kanske fundera på val av ämnen. Provuppgifterna ska fungera för bedömning av alla olika elevers förmåga vad gäller produktion och interaktion på engelska. Det är därför viktigt att de också erbjuder både variation och spännvidd, så att det finns möjlighet för alla elever att komma till sin rätt och få visa vad de kan. Som lärare kan man välja ut ämnen som man tror passar bättre för vissa elever eller gå in i samtalet och stötta med frågor. Som stöd för bedömningen finns förutom provets bedömningsanvisningar och de kommenterade exemplen på elevprestationer också Skolverkets Kommentarmaterial till kunskapskraven i engelska där en fördjupad diskussion om tolkning av kunskapskrav och bedömningsaspekter förs. Delprov B Delprov B 1 (läsförståelse) anses av 79 procent av lärarna ge ett tillförlitligt mått på elevers förmåga att tolka och förstå innehållet i olika slags texter på engelska medan 20 procent anser att det gör det till viss del. De olika uppgifterna i B 1 uppfattas som mycket lämpliga eller lämpliga i relation till kursplanen av nästan alla lärare. Uppgifterna anses hålla lagom svårighetsgrad i relation till kursplanen av 84-90 procent av lärarna, beroende på vilken av de tre uppgifterna som åsyftas. Av enkätsvaren framgår att 68 procent av lärarna anser att poänggränserna för de olika betygsgränserna är rimliga, 26 procent att de var det till viss del, medan sex procent anser att de inte var det. De lärare som inte ansåg att gränserna var rimliga ombads lämna förslag på poänggräns för de betygssteg som de hade avvikande uppfattning om. Av de totalt 282 lärare som besvarat enkäten lämnade 47 annat förslag till lägsta poänggräns för betyget E än det 13 (16)

som gällde för provet. Förslagen varierade mellan 36 och 55 poäng som nedre poänggräns. Färre lärare, cirka 20 per betygssteg, lämnade förslag till nedre poänggräns för de övriga betygen. Även dessa förslag varierade i hög grad. I de öppna kommentarerna om Delprov B framkom synpunkter som tydligt visar att de skillnader som finns mellan klasser och skolor kan leda till att provets svårighetsgrad och betygsgränser uppfattas på olika sätt. Delprovet är alltför svårt att klara för de elever som ligger på gränsen till E, mängden är så stor så de orkar inte ta sig igenom hela provet. Det borde finnas någon form av E-prov för de svagaste eleverna. Det kunde vara bra med en svårare del, har 12 elever på A, 2 B, 9 C och 2 på D Tycker att provgränsen för E-nivån är alldeles för låg. 50 % minst bör det ligga på. Som framgått anser en majoritet av de lärare som besvarat enkäten att de fastslagna poänggränserna är rimliga. Bland dem som inte anser att de till fullo är det varierar förslagen om var nedre poänggränser borde gå i stor utsträckning, och det finns således olika åsikter om hur kunskapskraven bör tolkas. Med den poänggräns för betyget E som gällde för provet minst 34 poäng var det 7,2 procent av eleverna i landet som inte nådde ett godkänt resultat på det receptiva delprovet, och det kan vara värt att begrunda vad högre poängkrav för betyget E på det receptiva delprovet skulle få för konsekvenser. I skolans styrdokument betonas vikten av att lärares bedömning av elevers kunskaper är likvärdig inom och mellan skolor och i landet som helhet. Proven är, som tidigare beskrivits i rapporten, framtagna med stor spännvidd gällande innehåll, svarsformer och svårighetsgrad för att ge elever på olika färdighetsnivåer möjlighet att visa vad de kan och därmed ge lärare stöd för den bedömning som ska göras. Det kan påpekas att de poänggränser som anges för de olika betygsstegen i delprov B är lägstanivåer, som har gott stöd i omfattande utprövningsdata avseende uppgifternas svårighetsgrad. Ett procentuellt tänkande kring poänggränser är förmodligen vanligt i så kallade achievement tests. När det gäller proficiency tests, så som ämnesproven i engelska, måste ett procentuellt tänkande i så fall samtidigt relateras till uppgifternas svårighetsgrad. Delprov C Vad avser det delprov som prövar skriftlig produktion och interaktion, Delprov C, anser 86 procent av lärarna som besvarat enkäten att uppgiften gav eleverna möjlighet att visa sin förmåga att kommunicera i skrift och 11 procent att den till viss del gjorde det. Uppgiftens svårighetsgrad ansågs lagom av 89 procent av lärarna. De kommenterade exempel på elevprestationer gav ett tämligen eller mycket gott stöd för bedömningen enligt 83 procent av lärarna, medan 15 ansåg att de gav ett visst stöd. Två tredjedelar av lärarna ansåg att bedömningen av elevprestationer för betyget E var rimlig och övriga att den var för mild. Vad gäller övriga betygssteg, D till A, ansåg 73-78 procent av lärarna, beroende på betygssteg, att bedömningarna av elevprestationerna var rimliga. Lärares åsikter om bedömningen av skriftliga elevprestationer och de nivåer som illustreras i provets bedömningsanvisningar liknar tidigare års. Den tolkning av nivåerna som görs i provmaterialet i form av bedömda och kommenterade exempel på elevprestationer för 14 (16)

betygen D-A verkar i hög grad stämma överens med lärarnas tolkningar. Men kring exemplen för den lägst acceptabla nivån för betygssteget E finns det en något större oenighet. Det är här viktigt att påpeka i likhet med det som gäller för Delprov A att det finns en avsiktlig strävan med exemplen på elevprestationer i bedömningsanvisningarna att illustrera den nedre gränsen för vad som är en godkänd prestation på en viss betygsnivå. I synnerhet gäller detta distinktionen mellan betygen F och E. Öppna kommentarer till Delprov C fanns i lite drygt en tredjedel av de 282 enkäterna. Om skrivuppgiftens ämnesinnehåll och elevernas prestationer ges till exempel följande kommentarer: Det var bra att X kunde beskrivas ur olika perspektiv, det var en inkluderande uppgift. Bra val av ämne då det passar alla oavsett bakgrund och kultur. Ämnesvalet i år tyckte mina elever inte var så intressant. Jag upplevde att mina elevers texter blev ganska "repetitiva" och något ostrukturerade delvis på grund av uppgiftens upplägg. I stort fungerade dock uppgiften väl. Några lärare nämner att de skulle ha föredragit två ämnen för eleverna att välja mellan. Det främsta skälet till att numera endast ett ämne ges i ämnesprovet i årskurs 9 har att göra med bedömningens tillförlitlighet. Bedömningar kan förväntas bli mer reliabla när texter som är likartade vad avser form och innehåll bedöms jämfört med när väldigt olika texter ska bedömas. Ett annat skäl är att bedömningsbördan kan bli tyngre om lärare ska sätta sig in i exempeltexter och kommentarer för två olika uppsatsämnen. Givetvis kan det finnas nackdelar med att enbart ha ett ämne om vissa elever inte känner sig inspirerade av det. Dock är skrivuppgiften i Delprov C så formulerad att relativt breda tolkningar kan göras, och stöttning för skrivandet ges i form av förslag till innehåll och ett antal frågor. Alla skriftliga uppgifter utprövas noggrant så att funktionen garanteras, och vid val av ämne för ett prov tas elevernas omdömen om uppgiften i beaktande. De nationella proven är tänkta att kunna användas för planering av undervisning och i diskussioner kring bedömning i relation till krav och nivåer. Att lärare tillsammans reflekterar över hur skrivundervisningen i engelska kan utvecklas utifrån analys och bedömning av elevernas uppsatser är ett exempel på hur proven kan användas för detta syfte. Nedan följer några exempel på lärares kommentarer kring detta område. Jag upplever att många elever har svårt att utveckla innehållet i det de skriver även om det handlar om saker de kan. Anvisningarna är mycket pedagogiska när det handlar om att förmedla inriktningen för bedömning, vilket också kan appliceras på inlärning dvs. att det viktigaste är förmågan att kunna kommunicera och att uttrycka sig. Ibland går ju våra åsikter isär om en uppsats ska bedömas övre C, nedre C etc. Ibland skulle man vilja byta plats på vissa av uppsatserna. I stort överensstämmer dock våra bedömningar. Vi avidentifierar uppsatserna inom klassen, byter uppsatser med varandra. Vi sitter tillsammans och diskuterar de uppsatser som vi är osäkra på och sedan tar vi dessutom med oss vissa uppsatser till den kommunala sambedömningen, där vi träffar lärare från andra skolor. Dessa sambedömningar visar dock att vi är mycket samstämmiga i våra bedömningar. 15 (16)

Överensstämmelse mellan provresultat och egen bedömning Resultaten av provet som helhet ansågs, av 98 procent av de lärare som besvarat enkäten, i mycket eller ganska stor utsträckning stämma överens med deras egna bedömningar av enskilda elevers kunskap. I kommentarerna om de olika delproven och om provet som helhet framkom viss kritik mot den 10-gradiga skalan som används i bedömningen av provet. Frågan om bedömningsskalan och sammanvägning till provbetyg är för samtliga ämnen under utredning av Skolverket. Den nuvarande skalan används tills nya direktiv kommer. I ett antal kommentarer lyftes provets olika funktioner fram. Jag tycker att det är ett bra prov som ger mig gott stöd i min undervisning. Jag som lärare får ett kvitto på att jag har gett eleverna de kunskaper de behöver inför gymnasiet. Mer ett sätt för mig att mäta min förmåga att kunna lära ut det som eleverna förväntas kunna. Jag har haft mina elever i 4 år i engelska, så jag är väl medveten om deras kunskaper redan. Men provet känns som ett gott stöd vid slutbetyget. Några lärare kommenterar att bedömarkompetensen höjs när man tillsammans med kollegor diskuterar bedömningen av olika elevprestationer. Sambedömningen är ett viktigt inslag vid NP då jag lär mig mycket och vi får synliggöra våra tankar kring bedömning. Alltid lika lärorikt att få ta del av det. 7. Avslutning Att utveckla nationella prov är ett gigantiskt grupparbete där ett stort antal lärare och ännu fler elever deltar. Vi inom NAFS-projektet, som har förmånen att tillsammans med lärare och elever utveckla de nationella proven i engelska, är tacksamma för detta helt nödvändiga och värdefulla samarbete. Enkäten utgör en viktig del i återkopplingen av hur förra årets prov fungerade ett särskilt tack till er som besvarat den. 16 (16)