PROJEKTET NATIONELLA PROV I FRÄMMANDE SPRÅK Det nationella provet i engelska för årskurs 9 läsåret 2017/2018 Eva Olsson och Dorte Velling Pedersen, Institutionen för pedagogik och specialpedagogik, Göteborgs universitet, Projektet Nationella prov i främmande språk (NAFS) 1. Inledning Denna rapport avser det nationella prov i engelska som gavs läsåret 2017/2018 för årskurs 9 och utgör en delredovisning inom ramen för en överenskommelse mellan Göteborgs universitet (Institutionen för pedagogik och specialpedagogik, projektet Nationella prov i främmande språk/nafs) och Skolverket att utveckla och konstruera nationella prov i engelska (Skolverkets dnr. 2.7.4-2017:1450). På uppdrag av regeringen ansvarar Skolverket för samtliga nationella prov. I grundskolan genomförs nationella prov i årskurs 3, 6 och 9 i olika ämnen. I årskurs 6 och 9 är proven obligatoriska som stöd för en likvärdig och rättvis betygssättning och de har, till och med det läsår som rapporteras här, också haft som syfte att ge underlag för en analys av i vilken utsträckning kunskapskraven uppfylls på skolnivå, på huvudmannanivå och på nationell nivå. De nationella proven i engelska utgår från aktuella styrdokument och kursplanens skrivningar. De olika uppgifterna och uppdelningen i tre delprov anknyter också till Europarådets ramverk för språkinlärning och språkbedömning, Gemensam europeisk referensram för språk: lärande, undervisning och bedömning med dess rubriceringar i reception samt muntlig respektive skriftlig interaktion och produktion. Rapporten är baserad på data som har samlats in av projektet Nationella prov i främmande språk (NAFS) vid Institutionen för pedagogik och specialpedagogik vid Göteborgs universitet. Insamlingarna avser provresultat och elevprestationer samt en enkät som lärare besvarade efter provets genomförande. I någon mån redovisas även data från elev- och lärarenkäter som ingick i utprövningarna av de uppgifter som användes i provet. I skrivande stund har projektet NAFS inte haft tillgång till statistik från SCB:s totalinsamling av provresultat, vilket innebär att dessa siffror inte ingår i underlaget för rapporten. I rapporten görs inledningsvis en övergripande beskrivning av det nationella provet i engelska för årskurs 9 och av processen då provet utvecklas. Därefter följer en beskrivning av de uppgifter som ingick i provet läsåret 2017/2018. I anslutning till detta redovisas och kommenteras årets provresultat. Avslutningsvis sammanfattas och kommenteras utfallet av olika enkäter. 2. Konstruktionsprocessen De nationella proven i engelska samt övriga bedömningsstödjande material i engelska och moderna språk utvecklas och konstrueras på uppdrag av Skolverket inom projektet GÖTEBORGS UNIVERSITET, Institutionen för pedagogik och specialpedagogik Projektet Nationella prov i främmande språk, webbplats: www.nafs.gu.se
Nationella prov i främmande språk vid Göteborgs universitet. Projektets webbplats innehåller information på fem språk: svenska, engelska, franska, tyska och spanska. Provmaterialen tas fram i nära samarbete med referensgrupper och bygger på ett antal grundläggande, forskningsbaserade principer. Projektets medarbetare har till övervägande del en bakgrund som erfarna och legitimerade lärare i det aktuella språket/språken och flera är också engagerade i lokal skolutveckling, lärarutbildning, forskning, nationella projekt kring lärande, undervisning och bedömning, samt i omfattande internationella nätverk. Utvecklingen av ett nationellt prov tar i regel cirka två år och utgår från analyser av styrdokument, relevant forskning samt beprövad erfarenhet inom området. Likaså finns ett antal kvalitetsparametrar med i utvecklingsarbetet, under hela processen från initial konstruktion till sammansättning av ett skarpt prov och analys av utfall. Dessa involverar främst följande: Innehåll, relevans och lämplighet i relation till läroplanen, kursplanen, forskning, aktuell målgrupp samt beprövad erfarenhet Svårighetsgrad (faktisk respektive upplevd) i relation till kursplanen, inklusive kunskapskraven Uppgifternas och provets mättekniska egenskaper, inklusive frågor om samstämmighet mellan bedömare Eventuella tematiska aspekter Aspekter av tid och tidsåtgång Genus-, ålders- och identitetsrelaterade aspekter Kultur- och livsstilsaspekter (etniska, politiska, religiösa och sociala) Etiska och värdegrundsrelaterade aspekter Variation vad gäller innehåll och format Provdelarnas inbördes relation, bl.a. vad gäller progression inom och mellan uppgifter Likheter och skillnader i relation till tidigare prov Reflektion av målspråksområdets bredd, såväl språkligt som kulturellt Signaleffekter/Washback för lärande och undervisning Utprövande elevers och lärares synpunkter på uppgifterna När nya uppgifter tänkta för ett kommande prov tagits fram genomförs först mindre utprövningar där några klasser genomför uppgifterna och lämnar omdömen om dem. Även undervisande lärare lämnar synpunkter på uppgifternas funktionalitet. Resultaten analyseras och uppgifterna vidareutvecklas inför en mera omfattande utprövning där cirka 400 elever per uppgift vid slumpvis utvalda skolor i landet deltar. I utprövningsmaterialet vid stor utprövning ingår alltid en så kallad ankaruppgift från tidigare utprövningar för att möjliggöra analys av nya uppgifters svårighetsgrad i relation till uppgifter som tagits fram tidigare. Ankaruppgiften ger dessutom en indikation om färdighetsnivån inom olika utprövningsgrupper. Även i den slutliga versionen av ett nationellt prov ingår en eller flera uppgifter som kan fungera som ankaruppgifter. Det är uppgifter som har funnits med i tidigare prov, som används för att jämföra nivåer hos elevgrupper över tid och för att säkerställa att provens svårighetsgrad varierar i så liten 2 (14)
utsträckning som möjligt mellan år. Med andra ord är ankaruppgifter viktiga verktyg i arbetet med att säkerställa provens stabilitet. Efter utprövningen analyseras resultaten av de utprövade uppgifterna på detaljnivå och utfallet av varje delfråga i receptiva uppgifter undersöks för att säkerställa att uppgifter av olika svårighetsgrad finns med. Vad gäller produktiva och interaktiva uppgifter analyseras uppgifternas funktionalitet, det vill säga om de ger olika elever möjlighet att visa spännvidden i den individuella förmågan att tala/skriva och interagera. Ibland leder utprövningsdata till ytterligare bearbetning och förnyad utprövning av uppgifter för att säkerställa god funktionalitet och reliabilitet. I samband med de stora utprövningarna besvarar både elever och lärare enkäter om olika aspekter av uppgifterna. Det handlar till exempel om svårighetsgrad upplevd eller i relation till kursplanen, om tidsåtgång för att läsa och besvara frågor i hörförståelseuppgifter, eller om ett visst innehåll uppfattas som intressant. Eleverna ombeds också ange hur väl de anser att de har lyckats med en viss uppgift. Dessa data från test taker feedback och teacher feedback är av stor betydelse för beslut vid provsammansättning. Under arbetet med att utveckla ett nationellt prov medverkar olika referensgrupper. exempelvis vid nykonstruktion av uppgifter, vid sammansättning av prov, liksom i arbetet med att ta fram rekommendationer kring betygsgränser och vid val av exempel på elevprestationer som ska ingå som bedömda och kommenterade exempel på elevprestationer i lärarmaterialet till de produktiva/interaktiva delproven. Dessa referensgrupper har en bred sammansättning av lärare på den aktuella nivån i det här fallet grundskolans senare årskurser och intilliggande nivåer. I referensgrupperna ingår även personer med specialpedagogisk kompetens liksom lärarutbildare, personer med engelska som förstaspråk samt forskare inom språk och bedömning. Utfallet av proven rapporteras av Skolverket och finns också beskrivet och diskuterat i diverse texter och presentationer av NAFS-projektets medarbetare. Dessa texter nås via projektets publikationssida. 3. Provets sammansättning Det nationella provet i engelska för årskurs 9 består av tre delprov, varav ett är uppdelat i två delar. Delproven har, såväl i input-material (teman och texter av skilda slag) som i uppgifter, fokus på de receptiva, produktiva och interaktiva förmågor som beskrivs i kursplanen: Delprov A: muntlig produktion och interaktion, Delprov B: receptiv kompetens uppdelat på läsförståelse och hörförståelse Delprov C: skriftlig produktion och interaktion. Varje delprov har således ett huvudsakligt fokus på en förmåga, men delvis prövas förmågorna integrerat, inte minst därför att autentiskt språkbruk ofta innebär att de integreras. Svarsformaten varierar inom ett prov. I delprov A och C ges svar i form av ren produktion och interaktion, då eleverna deltar i samtal respektive skriver en text, ofta till en tänkt mottagare. I delprov B utgår uppgifterna från skrivna texter av olika slag och från inspelat material. I delprovet ingår frågor där eleven själv formulerar svar i skrift (constructed response) och uppgifter av flervalstyp, där eleven väljer bland flera svarsalternativ eller exempelvis matchar en text med en rubrik (selected response). Elever bör ges möjlighet att visa sin receptiva förmåga på annat sätt än genom att själva formulera skriftliga svar och därför eftersträvas en jämn fördelning mellan dessa båda svarsformat i Delprov B. 3 (14)
Innehållet i uppgifterna utgår från kursplanens centrala innehåll, vilket för årskurs 9 innebär att det exempelvis kan anknyta till vardagliga situationer, intressen, händelser, känslor, åsikter, sociala relationer, etiska frågor och levnadsvillkor. Strategisk kompetens och förmåga till anpassning av språket till syfte, mottagare och situation prövas integrerat inom ramen för de tre delproven, medan aspekter av kultur och interkulturalitet präglar val av material och teman för uppgifterna i provet. Det nationella provet i engelska för årskurs 9 läsåret 2017/2018 Det nationella prov i engelska för årskurs 9 som gavs läsåret 2017/2018 har satts samman i enlighet med de principer, kvalitetsparametrar och processer som har beskrivits i rapportens föregående del. Nedan följer en närmare beskrivning av de tre delproven. Eftersom provet omfattas av sekretess kan dock inga titlar eller konkreta exempel från uppgifterna ges. Delprov A: muntlig produktion och interaktion Årets delprov i muntlig produktion och interaktion gav eleverna möjlighet att tala och samtala kring vardagliga och välbekanta ämnen och företeelser under ett övergripande tema med anknytning till elevnära intressen och aktiviteter. Uppgiften innehöll en uppvärmningsdel med huvudsakligt fokus på enskild produktion följd av två delar som inbjöd till både produktion och interaktion. Modellen följde ett väl beprövat upplägg som innebär att eleverna utifrån två olika typer av kort, som de turas om att välja, får möjlighet att uttrycka och förklara personliga åsikter samt diskutera dessa med en kamrat. En nyhet i modellen för delprov A var att eleverna som stöd för samtalet i Part One hade tillgång till en lista med beskrivande ord. Till stöd för lärarnas bedömning av elevernas prestationer gavs i lärarmaterialet till delprov A fyra bedömda och kommenterade elevsamtal på olika nivåer. Samtalen hade spelats in i samband med den storskaliga utprövningen av uppgiften och valts ut, bedömts och kommenterats i enlighet med det förfarande som beskrivits tidigare i rapporten. Delprov B: reception Delprov B 1: läsförståelse innehöll vårterminen 2018 fyra uppgifter som gav eleverna möjlighet att på olika sätt visa sin förmåga att läsa och förstå engelska texter av skilda slag. Textunderlaget i den första uppgiften var hämtat från en amerikansk webbplats med turistinformation om ett specifikt område. Textunderlaget hade en gemensam övergripande rubrik och var uppdelat i åtta kortare, beskrivande textstycken försedda med underrubriker. Dessutom fanns en faktaruta. Med utgångspunkt i ett antal frågor, skulle eleverna söka efterfrågad information och producera korta egna svar (constructed response). Den andra uppgiften bestod av en så kallad matchningsuppgift där 12 kortare förklaringar och omformuleringar skulle paras ihop med enstaka ord ur en lista på 22 ord. I den tredje uppgiften användes det så kallade lucktextformatet. Eleverna skulle här fylla i det ord som saknades i var av en av sex korta dialoger. Uppgiften syftar framför allt till att pröva förmågan att uppfatta ett innehållsligt sammanhang, men det finns också ett visst mått av krav på formell korrekthet, och eleverna får i den inledande instruktionen uppmaningen be careful with your spelling and grammar. Den fjärde och sista uppgiften bestod av ett berättande textutdrag från en sydafrikansk bok där en man beskriver en spännande händelse i sitt liv. Innehållet hade i utprövningarna visat sig vara mycket intresseväckande för provets målgrupp. I denna uppgift 4 (14)
var svarsformatet blandat med såväl flervalsfrågor med fyra svarsalternativ som öppna frågor. Denna typ av läsförståelseuppgift avser pröva läsning för förståelse av konkreta detaljer och förhållanden (reading the lines) men också förmågan att förstå en text på ett djupare plan och dra slutsatser av det lästa (reading between the lines och beyond the lines). Delprov B 2: hörförståelse innehöll vårterminen 2018 tre uppgifter av olika karaktär, som alla var studioinspelade. Det förekom olika regionala målspråksvarianter av framför allt brittisk och amerikansk engelska. Eleverna fick i den första uppgiften höra ett fingerat amerikanskt poddprogram med ett varierat innehåll baserat på faktiska händelser. Programmet spelades upp en gång uppdelat i ett antal kortare avsnitt med tid för att besvara två-tre frågor per avsnitt. Den andra uppgiften innehöll en intervju med en brittisk man som gjort en betydande insats i sitt lokalsamhälle. Eleverna fick först höra intervjun uppdelad i fyra avsnitt med tid inlagd för att besvara två-fyra frågor i taget. Jämfört med den första uppgiften är svårighetsgraden i denna uppgift något högre, och eleverna fick därför höra hela intervjun ytterligare en gång för att få möjlighet att kontrollera och eventuellt komplettera sina svar. Båda uppgifterna innehöll frågor med blandade svarsformat, då det förekom dels constructed response som krävde att eleverna skrev mycket korta eller relativt korta egna svar, dels selected response utifrån fyra givna svarsalternativ. Den tredje uppgiften bestod av ett antal korta inslag som refererade nyheter från olika delar av framför allt den engelskspråkiga världen. Eleverna skulle lyssna på helheten i varje nyhet och visa att de hade förstått vad inslaget handlade om genom att välja ett av fyra givna svarsalternativ. I det receptiva delprovet förekom det två återanvända uppgifter. En uppgift i delprov B 1 respektive delprov B 2 har olika läsår använts i tidigare prov. Som stöd för sin bedömning hade lärarna bedömningsanvisningar dels av generell karaktär, dels anvisningar till varje enskild fråga med exempel både på elevsvar som ska ges poäng och sådana svar som av olika anledningar inte ska ges poäng. Då det kan finnas många sätt att formulera ett svar som bedöms som rätt är ambitionen att visa principer för vad som krävs för poäng i varje enskild fråga. Bedömningsanvisningarna bearbetas och förfinas med hjälp av de storskaliga utprövningar som tidigare nämnts. Exempel på autentiska elevsvar som ska ges poäng och frekventa felaktiga svar hämtas från dessa utprövningar. Delprov C: skriftlig produktion och interaktion I Delprov C var uppgiften att skriva en text om ett relativt vardagligt ämne med en tydlig koppling till, för alla elever, välbekanta förhållanden. Ämnet sattes in i ett sammanhang med hjälp av en fingerad situation där elevernas texter skulle bidra med information. Det övergripande syftet var att ge eleverna möjlighet att visa sin förmåga att formulera sig och kommunicera på engelska i skrift och därvid också visa förmåga att göra anpassning av det skrivna till syfte och mottagare. Till stöd för skrivandet gavs tre punkter som eleverna uppmanades att förhålla sig till. Punkterna var formulerade så att eleverna genom att följa dem skulle få möjlighet att visa sin förmåga att i skrift beskriva, förklara och diskutera på engelska. För att ge eleverna inspiration och uppslag gavs också ett antal exempel på aspekter av ämnet som skulle kunna tas upp i texten. Uppgiften var en återanvänd uppgift. 5 (14)
I bedömningsanvisningarna gavs lärarna elva kommenterade, autentiska elevtexter, så kallade benchmarks, på olika nivåer. Texterna hämtas från projektets storskaliga utprövningar, och de slutgiltiga exempeltexterna har, i likhet med exempelsamtalen till Delprov A, bedömts, valts ut och kommenterats i samarbete med en referensgrupp av lärare med bred erfarenhet från den aktuella nivån. 4. Insamling Efter genomförandet av det nationella provet i engelska i årskurs 9 görs två olika insamlingar av elevresultat samt en insamling av lärarsynpunkter. Den ena insamlingen som görs av Statistiska Centralbyrån (SCB) är en del av Sveriges officiella statistik och avser rapportering av provresultat för samtliga elever som genomfört provet. Den andra insamlingen görs av projektet Nationella prov i främmande språk och avser resultat på prov-, delprovs- och uppgiftsnivå för ett urval av elever baserat på vissa födelsedatum. För hälften av urvalet görs dessutom insamling av faktiska elevprestationer i form av kopior av provhäften (delprov B) och skrivna texter (delprov C). Det var möjligt för skolorna att rapportera in resultaten på prov-, delprovs- och uppgiftsnivå antingen på papper eller digitalt. Sammanlagt inkom resultat från drygt 800 elever. Insamlingen möjliggör analys av utfall på delprovs-, uppgifts- och item-nivå och är av stor vikt för att kvalitetssäkra och vidareutveckla proven i engelska. Provresultat med kommentarer För det nationella provet i engelska i årskurs 9 läsåret 2017/2018 har ett sammanvägt provbetyg skickats in till projektet NAFS för 854 elever. I tabell 1 nedan redovisas andelen elever som nått de olika betygsstegen och i tabell 2 betygsfördelningen per delprov. För att få ett provbetyg måste alla delprov vara genomförda. Tabell 1 Provbetyg engelska årskurs 9 läsåret 2017/2018 från projektet NAFS resultatinsamling: Antal elever med provbetyg totalt och uppdelat på flickor och pojkar samt fördelat på betygssteg F-A Antal elever med provbetyg Betygsfördelning (%) F E D C B A Totalt 810 5,9 11,7 14,7 24,9 20,4 22,3 Flickor 382 6,5 14,4 12,0 25,4 22,5 19,1 Pojkar 417 5,5 9,1 17,3 24,9 18,2 24,9 Tabell 2 Delprovsbetyg engelska årskurs 9 läsåret 2017/2018: Betygsfördelning på delprovsnivå Betygsfördelning (%) Delprov F E D C B A A 5,5 13,7 15,8 26,2 13,9 24,9 B 9,0 10,7 12,6 22,7 20,8 24,1 C 7,8 13,0 16,6 26,5 14,6 21,5 6 (14)
Resultaten ovan visar att andelen elever som fick lägst provbetyget E var 94 procent, vilket är snarlikt tidigare års utfall. Resultaten visar också att skillnaderna mellan pojkar och flickar totalt sett var mycket små, även om det i år var drygt fem procentandelar fler pojkar än flickor som nådde det högsta provbetyget. Det framgår av tabell 1 att nästan 43 procent av eleverna uppnådde betyget A eller B i det sammanvägda provbetyget. Detta innebär att en stor andel elever, i förhållande till gällande kunskapskrav för engelska i årskurs 9, uppvisar mycket god förmåga. Det bekräftar dessutom den bild som har blivit tydlig under en följd av år, nämligen att många elever vid slutet av den obligatoriska skolan i Sverige uppvisar synnerligen goda resultat i engelska. Vad gäller utfallet på de tre delproven liknar bilden i stor utsträckning tidigare års utfall. Delprov A var som tidigare år det delprov där lägst andel elever inte uppnådde ett godkänt betyg (5,5 procent). Delprov B var det delprov där störst andel elever uppnådde betygen A eller B (44,9 procent). Samtidigt var det för detta delprov 9 procent som inte nådde upp till ett godkänt betyg. Vad gäller Delprov C uppnådde 36,1 procent av eleverna antingen A eller B, medan 7,8 procent inte klarade ett godkänt betyg. Delprov C är totalt sett det delprov som är svårast för eleverna. Insamlingen till projektet NAFS vid Göteborgs universitet bekräftar att uppgifterna i det receptiva delprovet, Delprov B, fungerade som det var tänkt vid provsammansättningen. Den första uppgiften i B 1 såväl som i B 2 var den lättaste och bör ha erbjudit eleverna en lugn start på läsförståelse- respektive hörförståelsedelen. Variationen i svårighetsgrad inom och mellan de olika uppgifterna i delprovet i övrigt var god och erbjöd därmed elever på olika färdighetsnivåer möjlighet att visa vad det kan. Enkätresultat med kommentarer Innan uppgifter läggs in i prov har de, som beskrivet tidigare i rapporten, genomgått en omfattande utprövnings- och granskningsprocess där elever och lärare lämnat synpunkter på uppgifterna. I uppföljningssyfte ombeds lärare dessutom årligen besvara en enkät i samband med provets genomförande. Nedan följer en sammanställning av synpunkter angående uppgifternas ämnesinnehåll och funktionalitet. Därefter följer en kommenterad redovisning av den lärarenkät som avsåg årets prov och som besvarades av 301 lärare. Elev- och lärarenkäter från utprövningar I samband med de storskaliga utprövningarna besvarar eleverna en enkät där de tar ställning till ett antal påståenden om varje uppgifts funktion och svårighetsgrad. De tar också ställning till hur väl de upplevde att de klarade uppgiften. Eleverna markerar något av alternativen 1-5 på en så kallad Likert-skala, där 5 motsvarar det mest positiva omdömet. Dessutom kan eleverna lämna fria kommentarer på engelska eller svenska. Lärarenkäterna avser framför allt olika aspekter av uppgifters innehåll och funktion samt relation till styrdokumenten. Elev- och lärarenkäter används dels som underlag i den kontinuerliga provutvecklingen, dels vid val av uppgifter i samband med sammansättning av skarpa prov. Om Delprov A Vid utprövningen av årets muntliga uppgift uttryckte en övervägande andel elever och lärare sitt gillande vad gäller tema och innehåll. Ett stort antal elever kommenterade de ord som fanns som stöd i Part 1. Jag tyckte det var bra att ha listan som inspiration. 7 (14)
I framtida NP, ta med ordlistor, de var verkligen till stor hjälp. Part 2, där eleverna skulle ta ställning till påståenden, uppskattades av många elever. En elev kommenterade: Part 2 var mer intressant och man blev mer engagerad då man skulle diskutera kring relativt roliga ämnen. Dessutom fick man höra varandras åsikter. Även bland lärarna ansågs uppgiftens upplägg vara bra och fungera väl: Ämnet engagerade eleverna som deltog. De hade något att säga och blev ivriga. Listan med ord var en bra hjälp för eleverna och bidrog till att diskussionen blev bra. En tredelad modell tycker jag fungerar bra. Det känns också som att svårighetsgraden ökar för varje del. Om Delprov B Uppgifterna i Delprov B har prövats ut av minst 400 elever per uppgift, vilket har genererat en omfattande datamängd avseende uppgifternas funktionalitet och elevernas åsikter om de olika uppgifterna. Alla uppgifter som ingår i provet har generellt fått positiva omdömen av eleverna, även om det naturligtvis finns skillnader mellan elevers individuella uppfattningar. Nedan följer några exempel från analysen av utprövningsdata för årets uppgifter i Delprov B. Uppgiften B1a, en läsförståelseuppgift där eleverna skulle finna information i flera kortare textavsnitt, fick ett mycket högt omdöme med ett medelvärde 4,0 på den femgradiga skalan, när eleverna tog ställning till påståendet It was a good test. De upplevde också i hög grad att de klarade uppgiften bra (medelvärde 3,9) när de tog ställning till påståendet I think I did well. En uppgiftstyp som i viss mån är ny för det nationella provet i årskurs 9 användes i uppgift B1b. Denna uppgift ansågs också som en bra provuppgift (medelvärde 3,8). B1b upplevdes som något svårare än B1a (medelvärde 3,3). Den långa läsförståelseuppgiften ansågs vara en väl fungerande uppgift (medelvärde 3,5). Elevernas enkätsvar visar att de i allmänhet tyckte att texten var intressant att läsa, om än något svårare än de ovan nämnda kortare läsförståelsedelarna. Även hörförståelseuppgifterna fick goda omdömen i genomsnitt. Exempelvis bedömdes uppgift B2a, den första hörförståelseuppgiften som var utformad som ett poddprogram, vara en mycket bra uppgift (medelvärde 4,0). Eleverna upplevde också att de klarade uppgiften bra (medelvärde 3,8). Om Delprov C Enkäten som genomfördes i samband med utprövningen av skrivuppgiften visade att uppgiften togs emot mycket väl av både elever och lärare och att den ansågs fungera bra. Exempel på elevkommentarer: Det är ett relativt lätt ämne att skriva om eftersom man har så många funderingar om ämnet. It was an interesting test. I just wanted to write more and more. And it wasn t that hard. Jag kanske inte har så jättelätt för att skriva på engelska men det här tyckte jag var ganska lätt och roligt. Exempel på kommentarer från lärare: 8 (14)
Klara o tydliga instruktioner. Ett ämne och en uppgift (skriftlig produktion) som väl svarar mot kunskapskraven och det centrala innehållet. Mycket bra upplägg. Svårt för flera elever att skriva så många ord. I stort sett bra. Flera av mina elever skrev dock rätt självcentrerade texter. Kanske bra att trycka på att man bör höja blicken, se bortom horisonten. Lärarenkäter från det nationella provet i engelska i årskurs 9 läsåret 2017/2018 I samband med att nationella prov i engelska genomförs ombeds klassernas lärare besvara en enkät om provet. Totalt inkom i år 301 enkätsvar, vilket är en liten ökning från förra året. Dock innebär det relativt låga antalet enkätsvar att resultaten bör tolkas med viss försiktighet, eftersom det är osäkert om svaren är representativa för alla lärare vars elever har genomfört provet. De kvantifierbara resultaten av lärarenkäten finns publicerade under fliken för årskurs 9 på provprojektets webbplats. Här följer en sammanfattning av enkätsvaren och de synpunkter lärare lämnat i öppna kommentarer. Sammanfattningen följer i stora drag ordningsföljden i enkäten. Lärarnas bakgrund Av de lärare som besvarat enkäten arbetar 96 procent i grundskolan, en procent i specialskola och tre procent i en annan skolform, där främst introduktionsprogram angavs. De allra flesta lärare som besvarat enkäten, 87 procent, har ämnesbehörighet i engelska för årskurs 9. Lärarnas syn på provet som helhet I enkäten ombads lärarna ta ställning till om de instämde helt, till stor del, till viss del eller inte alls i följande påståenden som gällde provets kvalitet och funktionalitet: Provet som helhet är bra; Provet som helhet är ett stöd för betygssättningen; Bedömningsanvisningarna har varit ett bra stöd i bedömningen av elevernas prestationer i provet; Provet som helhet bidrar till att konkretisera kursplanen; Lärarinformationen (häfte 1 och 2) ger mig tillräckligt med information för genomförandet av provets olika delar. Tabellen nedan visar lärarnas svar. Tabell 3 I vilken utsträckning stämmer följande påståenden in på din uppfattning? Instämmer helt Instämmer till stor del Instämmer till viss del Instämmer inte alls Provet som helhet är bra. 54% 38% 7% 1% Provet som helhet är ett stöd för betygssättningen. Bedömningsanvisningarna har varit ett bra stöd i bedömningen av elevernas prestationer i provet. Provet som helhet bidrar till att konkretisera kursplanen Lärarinformationen (häfte 1 och 2) ger mig tillräckligt med information för genomförandet av provets olika delar. 54% 31% 12% 2% 48% 38% 13% 2% 38% 40% 20% 2% 73% 22% 3% 1% Som det framgår av tabellen har 2017/2018 års nationella prov i engelska i årskurs 9 i hög grad tagits emot på ett positivt sätt av de lärare som besvarat enkäten. De allra flesta instämmer helt eller till stor del i att provet är bra, att det som helhet är ett stöd för betygssättningen och att det bidrar till att konkretisera kursplanen. De allra flesta anser att 9 (14)
lärarinformationen och bedömningsanvisningarna gav tillräcklig information inför genomförandet av provets olika delar respektive stöd vid bedömningen. Som förberedelse inför provet har 80 procent av lärarna använt information från häftena Lärarinformation 1 och 2 och 94 procent har låtit eleverna genomföra uppgifter ur tidigare nationella prov. En fråga i enkäten gällde i vilken grad läraren kommer att väga in provresultatet vid betygssättningen. Här angav 59 procent att de skulle göra det i ganska hög grad och 30 procent i hög grad. Nyanlända elever I enkäten fanns en öppen fråga om hur provet fungerat för nyanlända elever. Av de 132 svaren framgår att de nyanlända elevernas skolbakgrund anses ha stor betydelse för hur väl provet fungerat för dem. Många lärare anger att elever som studerat engelska i det tidigare hemlandet i allmänhet klarat att genomföra provet på ett bra sätt. En stor andel nyanlända har dock inte studerat engelska innan de kom till Sverige och hade bara hunnit delta i engelskundervisning under en kort period när det nationella provet gavs i årskurs 9. Ett flertal lärare anger att det därför är svårt för dessa elever att genomföra det nationella provet för årskurs 9. Man har på någon skola låtit eleverna genomföra provet för årskurs 6 i stället. På andra skolor har denna grupp nyanlända elever inte genomfört något nationellt prov alls eller bara genomfört provet som övning. På ett antal skolor har provet dock genomförts även med nyanlända elever som nyss börjat studera engelska. Enligt enkätsvaren var provet mycket svårt för dessa elever. Några lärare nämner att framför allt Delprov B som avser pröva hör- och läsförståelse var särskilt svårt för nyanlända. Andra anger att det skriftliga delprovet var svårare än det muntliga. Några lärare nämner att eleverna kunde genomföra provet eftersom instruktionerna var på engelska medan andra anger att instruktionerna var svåra för de nyanlända eleverna att förstå. Det framgår att man på många skolor försökt ge nyanlända elever stöd i provsituationen genom att de fått genomföra provet i liten grupp, med stöd av specialpedagog eller genom förlängd provtid. Nedan följer några citat som illustrerar hur lärare uppfattar att provet fungerat för nyanlända elever: Nyanlända elever vill gärna göra provet och gör sitt bästa men blir frustrerade när de märker hur lite de förstår. Av mina två nyanlända som ingått i klass och ordinarie undervisningsgrupp i två år lämnade båda in alla provdelarna i princip tomma. För vissa elever är det lättare med engelska än svenska, för andra har det inte varit aktuellt att genomföra provet. För dem som inte har läst någon eller endast lite engelska innan de kom hit har det gått mindre bra. Några har bara fått enstaka poäng medan en del närmar sig E. De som har läst några år i hemlandet har klarat sig lika bra eller bättre jämfört med de andra eleverna. Delprov A Angående Delprov A, där muntlig produktion och interaktion prövas, anser 90 procent av lärarna att det gav eleverna möjlighet att visa denna förmåga medan tio procent anser att det gjorde det till viss del. 92 procent anser att uppgiften var lagom svår och 84 procent att de kommenterade elevexemplen gav ett tämligen eller mycket gott stöd för bedömningen. 10 (14)
En enkätfråga gällde hur bedömning av Delprov A sker. Av svaren framgår att någon typ av sambedömning är vanligt förekommande. 26 procent av lärarna angav att samtliga elevprestationer sambedömdes medan 30 procent angav att samtliga elevprestationer bedömdes av läraren ensam. Lärarna ombads även ange om de anser att de kommenterade exemplen på elevprestationer illustrerar betygsnivåerna A E på ett rimligt sätt. Av svaren framgår att 81 93 procent, beroende på vilken betygsnivå som avses, anser att bedömningarna som gjorts är rimliga. Vad gäller betyget E anser 19 procent av lärarna att bedömningen är för mild. Motsvarande siffra för betyget A är 12 procent medan två procent här anser att bedömningen är för sträng. Lärarnas tolkningar av kunskapsnivåer verkar således i mycket hög grad stämma överens med de tolkningar som görs i provmaterialet. Betygssteget E, som representerar gränsen för vad som är en godkänd prestation, är det betygssteg där det råder en något större oenighet kring bedömningen än gällande övriga betygssteg. Det kan här vara viktigt att påpeka att strävan vid val av exempel på elevprestationer i de produktiva/interaktiva delproven är att det alltid ska finnas med någon prestation som kan illustrera den nedre gränsen för vad som kan anses uppfylla kraven på en viss betygsnivå. På frågan om resultatet i Delprov A stämmer överens med elevernas övriga prestationer under läsåret anger 90 procent av lärarna att det gör det för flertalet elever. I 57 procent av enkäterna angav lärarna att de spelade in det muntliga provet. Detta rekommenderas i läraranvisningarna eftersom det då är möjligt att lyssna igen för att bekräfta en viss bedömning eller att bedöma i efterhand. Dessutom finns möjlighet att stärka bedömningens tillförlitlighet genom att ytterligare en bedömare tar ställning till prestationen. Fria kommentarer om Delprov A hade lämnats av 54 lärare. Dessa återspeglar i stor utsträckning den positiva bild av delprovets funktionalitet som redovisats ovan: Bra ämnen som är aktuella för eleverna. Eleverna tyckte prov A var bra. Några negativa kommentarer gällde de ord som fanns till stöd för Part One i Delprov A samt tiden för genomförandet av delprovet: Ordlistan i elevinstruktionerna var överflödig, de låste sig vid den. Den hindrade deras kreativitet och samtalen blev inte lika spontana som de hade kunnat vara. Borde ligga på VT, då eleverna fått mer tid att utveckla sin muntliga förmåga. Delprov B Delprov B 1 (läsförståelse) anses av 78 procent av lärarna ge ett tillförlitligt mått på elevers förmåga att tolka och förstå innehållet i olika slags texter på engelska medan 21 procent anser att det gör det till viss del. Alla fyra uppgifter som ingick i B 1 uppfattas som mycket lämpliga eller lämpliga i relation till kursplanen av 94 99 procent av de lärare som besvarat enkäten. Uppgifterna anses hålla lagom svårighetsgrad i relation till kursplanen av 80 90 procent av lärarna, beroende på vilken av de fyra uppgifterna som åsyftas. 11 (14)
Vad gäller de tre uppgifterna som ingick i Delprov B 2 (hörförståelse) anser 97 99 procent av lärarna att de var lämpliga i relation till kursplanen och mellan 83 och 90 procent att de var lagom svåra, beroende på vilken uppgift som åsyftas. Av enkätsvaren framgår att 66 procent av lärarna som besvarat enkäten anser att poänggränserna för de olika betygsstegen är rimliga, 27 procent att de var det till viss del, medan åtta procent anser att de inte var det. De lärare som inte ansåg att gränserna var rimliga ombads lämna förslag på poänggräns för de betygssteg som de hade avvikande uppfattning om. Av de förslag till andra betygsgränser som inkom gällde de flesta nedre poänggräns för delprovsbetyget E där 50 lärare lämnade förslag varierande mellan 30 och 60 poäng, att jämföra med årets nedre gräns för E som var 34 poäng. Bedömningsanvisningarna till Delprov B fungerade bra enligt 99 procent av lärarna. Vad gäller bedömningsarbetet av delprovet framgår att skolor har olika rutiner. I enkätsvaren uppger cirka en tredjedel av lärarna att undervisande lärare ensam bedömer samtliga elevprestationer medan sex procent uppger att samtliga prestationer bedöms av annan lärare. Sambedömning av vissa elevprestationer verkar förekomma frekvent (39 procent) medan färre sambedömer samtliga elevprestationer (16 procent). Delprovsresultatet ligger i linje med flertalet elevers övriga prestationer under läsåret enligt 89 procent av lärarna. Fria kommentarer om Delprov B hade lämnats av 88 lärare. Ett flertal kommentarer tog upp att uppgifter ur delprovet förekommit i sociala medier: Fullständig katastrof att prov läcks ut och saboterar hela rättnings/bedömningsförfarandet för majoriteten av elever/lärare/skolor. Några lärare påpekade att det var svårt att veta om eleverna tagit del av det läckta materialet eller inte och uttryckte att detta kan äventyra provresultatens användbarhet. Ett antal lärare angav att de genomfört ersättningsprov i stället för det ordinarie provet. Skolverkets skärpta rutiner för utskick av provmaterial och anvisningar för hantering av materialet på skolorna kan förhoppningsvis hindra framtida läckage. Bland dem som genomfört det ordinarie Delprov B framkom i de fria kommentarerna att delprovets svårighetsgrad kan uppfattas på olika sätt: Det vore bättre att göra det något lättare som helhet och ha en högre gräns för E. Många tror att det går sämre än det gör trots att de skrapar ihop sina poäng. De blir då mindre motiverade till del C. Båda delarna är allt för enkelt. Nivån måste höjas. Proven är framtagna med stor spännvidd vad gäller innehåll, svarsformer och svårighetsgrad för att ge elever på olika färdighetsnivåer möjlighet att visa vad de kan och därmed ge lärare stöd för den bedömning som ska göras. Samtliga uppgifter har som beskrivits tidigare i rapporten prövats ut i storskaliga utprövningar. De poänggränser som anges för de olika betygsstegen i Delprov B är lägstanivåer, som har gott stöd i omfattande utprövningsdata avseende uppgifternas svårighetsgrad. Delprov C Vad avser det delprov som prövar skriftlig produktion och interaktion, Delprov C, anser 88 procent av lärarna som besvarat enkäten att uppgiften gav eleverna möjlighet att visa sin förmåga att kommunicera i skrift och 12 procent att den till viss del gjorde det. I relation till kursplanen ansågs uppgiften lämplig eller mycket lämplig av 99 procent av 12 (14)
lärarna. Uppgiftens svårighetsgrad ansågs lagom av 90 procent av lärarna. De kommenterade exemplen på elevprestationer gav ett tämligen eller mycket gott stöd för bedömningen enligt 82 procent av lärarna, medan 16 ansåg att de gav ett visst stöd. Två tredjedelar av lärarna ansåg att bedömningen av elevprestationer för betyget E var rimlig och övriga att den var för mild. Vad gäller betygsstegen D till B ansåg 77 85 procent av lärarna, beroende på betygssteg, att bedömningarna av elevprestationerna var rimliga. Bedömningen av betygssteget A ansågs rimlig av 68 procent medan 30 procent ansåg den för mild. Liksom tidigare år visar alltså enkätsvaren att en övervägande del av de lärare som besvarat enkäten anser att bedömningen av exempeltexterna är rimlig. Det är framför allt i bedömningen av de texter som illustrerar den lägsta acceptabla nivån för betygsstegen A och E som det finns en något större oenighet. Vad gäller sambedömning visar enkäten att det är betydligt vanligare i bedömningen av Delprov C än B. I 48 procent av enkäterna anger lärarna att samtliga elevprestationer sambedöms och i 26 procent att många sambedöms. Resultaten för delprov C ligger i linje med flertalet elevers prestationer under läsåret enligt 85 procent av lärarna. Öppna kommentarer om Delprov C hade lämnats av 82 lärare. Ett flertal kommentarer bekräftade uppgiftens funktionalitet, inte minst vad gäller ämnet: Bra ämne som de allra flesta kunde relatera till och skriva om, inga problem att komma igång. Den färdiga mindmapen gjorde att mina elever skrev mycket text och bra text. Det var också bra för just mina elever att det bara fanns 1 ämne att skriva om. Dock uttrycker enstaka lärare att ämnet inte passade deras elever: En del elever upplever uppgiften ganska tråkig och tycker det är svårt att komma på något att skriva. I de fria kommentarerna förekom också synpunkter på bedömningen av elevtexterna i bedömningsanvisningarna. Jag tycker att exempeluppsatserna, främst de med bättre betyg ligger ett snäpp för högt tyvärr. Flertalet av eleverna har fått samma betyg på delprov C, som de har fått på skrivuppgifter under resten av läsåret. Överensstämmelse mellan provresultat och egen bedömning Resultaten av provet som helhet ansågs av 99 procent av de lärare som besvarat enkäten i mycket stor eller ganska stor utsträckning stämma överens med deras egna bedömningar. I slutet av enkäten fanns en möjlighet att lämna övriga synpunkter. I dessa återkom många lärare till problematiken med att provsekretessen brutits: För allas skull måste det bli ordning på läckorna så att vi lärare inte behöver misstro resultaten och eleverna inte behöver känna att de misstros. Som redan nämnts har Skolverket vidtagit en rad åtgärder för att förhindra spridning av provmaterial. Bland de fria kommentarerna fanns också reflektioner om provens roll för pedagogiska diskussioner: 13 (14)
Ämnesproven är den bästa fortbildningen när det handlar om nivåerna som kursplanen ska landa i. Jag blir påmind en gång om året om hur jag själv har bedömt elevernas kunskapsnivåer och om mina uppgifter som jag konstruerar ligger i linje med det som ämnesprovet är uppbyggt kring. Detta ger mig en stund för goda reflektioner över min egen undervisning och dess innehåll, samt bra pedagogiska samtal med min kollega när vi diskuterar undervisningen i engelska i ett F-9 perspektiv. Är lite orolig för att den här möjligheten kommer att försvinna när vi inte ska rätta våra egna elevers prov, och tänker att reflektionen och utvärderingen jag nu gör samtidigt med bedömningsarbetet för ämnesprovet kommer att tas bort. Tänker att kvalitén på min undervisning kan komma att bli påverkad. 5. Avslutning Avslutningsvis kan konstateras att det nationella provet i engelska för årskurs 9 läsåret 2017/2018 sammantaget har fungerat bra och tagits väl emot av såväl lärare som elever. Lärarna angav i stor utsträckning att provets svårighetsgrad var lämplig för årskursen och att resultaten bekräftade deras egen bedömning. Elevernas enkätsvar vid de storskaliga utprövningarna visar att även de har uppfattat uppgifterna som väl fungerande provuppgifter. Att resultatet på provet i mycket stor utsträckning stämmer överens med tidigare år vad gäller utfall och betygsfördelning bidrar också till bilden att provet har fungerat väl och på avsett sätt. Att utveckla nationella prov innebär samverkan med ett stort antal lärare och ännu fler elever. Lärarenkäten efter provets genomförande utgör en viktig del i återkopplingen av hur provet fungerade ett särskilt tack till alla som har besvarat den. Ett tack ska också riktas till de lärare och elever som redan har deltagit i eller kommer att delta i utprövningar av uppgifter för kommande nationella prov i engelska! 14 (14)