Det nationella provet i engelska 6 vårterminen 2018

Transkript

1 PROJEKTET NATIONELLA PROV I FRÄMMANDE SPRÅK Det nationella provet i engelska 6 vårterminen 2018 Sofia Nilsson, Institutionen för pedagogik och specialpedagogik, Göteborgs universitet, Projektet Nationella prov i främmande språk (NAFS) 1. Inledning Denna rapport är en delredovisning inom ramen för en överenskommelse mellan Göteborgs universitet (Institutionen för pedagogik och specialpedagogik, projektet Nationella prov i främmande språk/nafs) och Skolverket att utveckla och konstruera nationella kursprov i engelska för gymnasieskolan och motsvarande kurser inom den kommunala vuxenutbildningen (dnr :1451). Rapporten avser det kursprov som gavs vårterminen 2018 för Engelska 6. De nationella proven i engelska utgår från aktuella styrdokument och ämnesplanens skrivningar. Rubriceringen av de olika delproven Focus: Speaking (delprov A), Receptive Skills Focus: Reading och Focus: Listening (delprov B), Focus: Writing (delprov C) anknyter till Europarådets ramverk för språkinlärning och språkbedömning, Gemensam europeisk referensram för språk: lärande, undervisning och bedömning med dess indelning i reception, produktion och interaktion. Det nationella provsystemet har på senare tid varit föremål för en omfattande översyn som medfört en rad förändringar, bland annat avseende provens syftesformuleringar och vilka grupper som obligatoriskt genomför proven. Syftet med de nationella proven är nu insnävat till att proven ska stödja en likvärdig och rättvis betygssättning. Proven kan också bidra till att stärka skolornas kvalitetsarbete genom analyser av provresultaten i relation till uppnådda kunskapskrav på skolnivå, huvudmannanivå och på nationell nivå. Från och med våren 2018 är nationella prov i gymnasieskolan enbart obligatoriska i slutet av den högsta avslutande kursen på respektive program. Det nationella provet i Engelska 6 är således obligatoriskt på samtliga studieförberedande program samt på hotell- och turismprogrammet. Prov som inte är obligatoriska som stöd för bedömning och betygssättning är valfria för skolan att använda som ett kvalitativt stöd för betygssättning och för att bidra till en ökad likvärdighet över landet. Det är rektor som beslutar huruvida skolenheten ska använda ett frivilligt prov eller inte. Väljer en rektor att använda provet ska det genomföras i sin helhet. Det är alltså inte tillåtet att endast använda delar av provet. I den kommunala vuxenutbildningen är de nationella proven även fortsättningsvis obligatoriska i samtliga kurser. Rapporten är baserad dels på data från Statistiska centralbyråns (SCB) insamling av provresultat, dels på data från den insamling av provresultat som projektet Nationella prov i främmande språk (NAFS) genomför. Ytterligare underlag har hämtats från den lärarenkät som hör till kursprovet samt från de elev- och lärarenkäter som använts vid utprövningen av de uppgifter som ingick i provet för Engelska 6 vårterminen GÖTEBORGS UNIVERSITET, Institutionen för pedagogik och specialpedagogik Projektet Nationella prov i främmande språk, webbplats:

2 2. Konstruktionsprocess för proven i engelska och moderna språk 1 De nationella proven i engelska, samt övriga bedömningsstödjande material i engelska och moderna språk, utvecklas på uppdrag av Skolverket inom projektet Nationella prov i främmande språk vid Institutionen för pedagogik och specialpedagogik, Göteborgs universitet. Projektets hemsida innehåller information på fem språk: svenska, engelska, franska, tyska och spanska. Provmaterialen tas fram i nära samarbete med referensgrupper och bygger på ett antal grundläggande, forskningsbaserade principer. Projektets medarbetare har till övervägande del en bakgrund som erfarna och legitimerade lärare i det aktuella språket/språken och flera är också engagerade i lokal skolutveckling, lärarutbildning, forskning, nationella projekt kring lärande, undervisning och bedömning, samt i omfattande internationella nätverk. Olika typer av referensgrupper medverkar under de skilda skedena av arbetet med provutveckling, allt från konstruktion av uppgifter till sammansättning av prov och rekommendation kring betygsgränser och bedömda elevexempel. Dessa grupper har en bred sammansättning med lärare på aktuella och intilliggande nivåer, inklusive personer med specialpedagogisk kompetens, lärarutbildare, personer med målspråket som förstaspråk samt forskare från skilda discipliner. Till detta kommer hundratals elever som medverkar i mindre, preliminära utprövningar samt i den stora utprövning som föregår alla skarpa prov. I den senare deltar per uppgift cirka 400 slumpvis valda elever i landet. I samband med utprövningar besvarar både eleverna och deras lärare enkäter om olika aspekter av uppgifternas funktionalitet. Dessa uppfattningar analyseras och vägs in i besluten om provens sammansättning. Provets betygsgränser och exempel per betygssteg tas fram i grupper om aktiva lärare och provutvecklare. Dessa lämnar på basis av styrdokument och erfarenhet förslag på poänggränser och nivårelaterade elevtexter och elevsamtal. Förslagen diskuteras och analyseras vidare i relation till data från utprövningarna samt föreläggs slutligen Skolverket, som är den instans som fastställer såväl själva provet som dess poänggränser och kommenterade nivåexempel. Utvecklingen av ett nationellt prov tar i regel runt två år och utgår från analyser av styrdokument, relevant forskning samt beprövad erfarenhet inom området. Likaså finns ett antal kvalitetsparametrar som är med i utvecklingsarbetet, hela vägen från initial konstruktion till sammansättning av ett skarpt prov och analys av utfall. Dessa handlar främst om följande: Innehåll, relevans och lämplighet i relation till läroplanen, ämnesplanen, forskning, aktuell målgrupp samt beprövad erfarenhet. Svårighetsgrad (faktisk respektive upplevd) i relation till kursplanen/ämnesplanen, inklusive kunskapskraven. Uppgifternas och provets mättekniska egenskaper, inklusive frågor om samstämmighet mellan bedömare. Eventuella tematiska aspekter. Aspekter av tid och tidsåtgång. 1 Avsnittet om konstruktionsprocessen är skrivet av Gudrun Erickson, IPS/NAFS, (13)

3 Genus-, ålders- och identitetsrelaterade aspekter. Kultur- och livsstilsaspekter (etniska, politiska, religiösa och sociala). Etiska och värdegrundsrelaterade aspekter. Variation vad gäller innehåll och format. Provdelarnas inbördes relation, bl.a. vad gäller progression inom och mellan uppgifter. Likheter och skillnader i relation till tidigare prov. Reflektion av målspråksområdets bredd, såväl språkligt som kulturellt. Signaleffekter/Washback för lärande och undervisning. Utprövande elevers och lärares synpunkter på uppgifterna. De nationella proven är uppdelade i tre delprov, varav ett med två delar. Delproven har, såväl i input-material (teman och texter av skilda slag) som i uppgifter, fokus på de receptiva, produktiva och interaktiva förmågor som beskrivs i ämnesplanen för den aktuella kursen: Delprov A: muntlig produktion och interaktion Delprov B: receptiv kompetens två delar: läs- och hörförståelse Delprov C: skriftig produktion och interaktion Strategisk kompetens och förmåga till anpassning av språket till syften, mottagare och situationer prövas integrerat inom ramen för de tre delproven, medan aspekter av kultur och interkulturalitet präglar val av material och teman för uppgifterna i proven. Svarsformaten varierar i proven, från ren produktion och interaktion i Delprov A och C till en blandning av constructed response (eleverna svarar genom att producera svaret på engelska, eller i enstaka fall i form av en sifferuppgift) eller selected response (eleverna väljer korrekt svarsalternativ, antingen bland ett antal svarsalternativ eller genom att matcha t.ex. en text med en rubrik). Balansen i Delprov B brukar vara ungefär hälften var av dessa båda övergripande svarsformat, detta för att eleverna ska få visa sina kunskaper på annat sätt än genom skrift. Utfallet av proven rapporteras av Skolverket och finns också beskrivet och diskuterat i diverse texter och presentationer av projektets medarbetare; dessa texter nås via projektets publikationssida. Eftersom proven omfattas av sekretess, kan inga konkreta exempel eller kommentarer kring de olika delarna av årets prov ges i detta forum. För ytterligare information om prov och bedömning i språk hänvisas till projektets publikationssida samt de exempel på provuppgifter som ges på projektets hemsida. 3. Provets sammansättning Sammansättningen av kursprovet för Engelska 6 har skett i enlighet med de kvalitetsparametrar och processer som finns beskrivna i föregående del av rapporten. Innehåll och teman utformas med hänsyn till ämnesplanen. Ambitionen är att inkludera innehåll och teman av delvis abstrakt och komplex karaktär och att i högre grad relatera till ämnen som rör samhällsfrågor, yrkesliv och studier snarare än den personliga domänen. 3 (13)

4 Delprov A Focus: Speaking Delprov A avser att pröva muntlig produktion och interaktion och ge eleven möjlighet att visa sin förmåga att formulera sig och kommunicera på engelska i tal. Uppgiften är utformad kring ett tema med utgångspunkt i de domäner och förmågor som exemplifieras i det centrala innehållet för kursen Engelska 6. Som tidigare år innehöll delprov A två delar som båda utgick från olika aspekter av temat. I den första delen var fokus produktion och interaktion och eleverna skulle, utifrån var sitt kort, presentera och informera om någon aspekt av temat och sedan samtala om dessa. I den andra delen var fokus på interaktion och uppgiften var att utifrån en given modell och med hjälp av stödfrågor och nyckelord resonera kring och belysa olika aspekter av temat i en gemensam diskussion. Till stöd för lärarens bedömning fanns åtta kommenterade elevprestationer på olika nivåer. Dessa är hämtade från storskaliga utprövningar (se kapitel 2) och har valts ut i en referensgrupp med verksamma lärare. Delprov B Receptive Skills Delprov B avser att pröva reception avseende läsförståelse och hörförståelse och ge eleverna möjlighet att visa sin förståelse av talad och skriven engelska samt förmåga att tolka innehållet. Vid sammansättningen av delprovet tas hänsyn till flera olika faktorer, t.ex. variation vad gäller innehåll och uppgiftsformat, elevernas uppfattning om uppgifterna, upplevd och faktisk svårighetsgrad, samt mättekniska kvalitéer som uppgifternas reliabilitet. Det finns en strävan att det både inom och mellan prov ska finnas representation från olika sammanhang och delar av världen där engelska används. Delprov B 1 Focus: Reading innehöll vårterminen 2018 fyra uppgifter av olika slag. Delprovet inleddes med ett antal meningar där ett ord utelämnats. Syftet med denna typ av uppgift är framför allt att pröva förmågan att uppfatta ett innehållsmässigt sammanhang och förstå hur en språklig framställning är konstruerad, d.v.s. att i ett funktionellt perspektiv förstå vilket ord som saknas. Denna inledande uppgift utgör också ankaruppgift i årets prov, d.v.s. det är en uppgift som används i flera prov med syfte att kunna följa resultat över tid och bidra till stabilitet i provsystemet. Därefter följde en informativ text om en händelse med koppling till andra världskriget utformad som en s.k. multiple cloze, d.v.s. en text med medvetet valda luckor med svarsalternativ av flervalstyp. Denna typ av uppgift avser att pröva förmågan att uppfatta ett innehållsmässigt sammanhang, genom att man utifrån sammanhanget måste förstå vilket ord som saknas. Som nummer tre låg en autentisk längre läsförståelsetext om levnadsvillkor, attityder och historiska och sociala förhållanden i Storbritannien under den viktorianska eran. Uppgiften hade ett blandat svarsformat med både flervalsfrågor och frågor där eleverna formulerade egna svar. Denna typ av uppgift avser att pröva elevernas förmåga att läsa för att förstå detaljer (reading the lines), men också förmågan att förstå en text på ett djupare plan och dra slutsatser av det lästa (reading between the lines och beyond the lines). Den sista uppgiften bestod av ett antal korta nyhetsnotiser där eleverna avgav svar genom att välja ett av fyra alternativ. Dessa texter har ett kondenserat och bitvis komplext språk 4 (13)

5 och uppgiften avser pröva förståelse av såväl helhet som detaljer. Underlagen är hämtade från olika delar av världen där engelska används. Textmängd och ordantal är en av de faktorer som beaktas vid sammansättningen av delprovet och vårterminen 2018 är i det hänseendet ett genomsnittligt prov. Delprov B 2 Focus: Listening innehöll vårterminen 2018 tre uppgifter av olika slag och inleddes med en studioinspelad multiple matching, en uppgiftstyp som avser att pröva förmågan att uppfatta huvudinnehållet i ett antal sekvenser. En ambition är att de olika rösterna i inslagen ska representera olika slags engelska. Den andra uppgiften var en autentisk intervju med en nu verksam författare. Intervjun, som eleverna fick lyssna till en gång, innehöll olika varianter av engelska. Uppgiften hade ett blandat svarsformat med både flervalsfrågor och frågor där eleverna formulerade egna svar. Den sista uppgiften var ett autentiskt reportage om sydafrikansk nutidshistoria som eleverna fick lyssna till två gånger. Även denna hade ett blandat svarsformat och innehöll olika varianter av engelska. Som stöd för bedömning av delprovet hade lärarna tillgång till bedömningsanvisningar med dels generella anvisningar, dels anvisningar till varje enskild fråga med exempel på såväl elevsvar som ska ges poäng, som elevsvar som inte ska ges poäng. Då det kan finnas många sätt att formulera ett korrekt svar är ambitionen att visa principer för vad som krävs för poäng i varje enskild fråga. Bedömningsanvisningarna bearbetas och förfinas med hjälp av storskaliga utprövningar (se kapitel 2). Exempel på autentiska elevsvar som ska ges poäng och exempel på frekventa felsvar hämtas från dessa utprövningar. Delprov C Focus: Writing Delprov C avser att pröva skriftlig produktion och interaktion och ge eleven möjlighet att visa sin förmåga att formulera sig och kommunicera på engelska i skrift. Delprovet handlar om att, utifrån en given uppgift, skriva en text med ett visst syfte och en viss mottagare där eleven uttrycker, utvecklar och diskuterar ett innehåll. Uppgiften är utformad kring ett tema med utgångspunkt i de domäner och förmågor som exemplifieras i det centrala innehållet för kursen Engelska 6. I delprov C för Engelska 6 ingår ett förberedelsematerial, Preparation Material, och en förberedelselektion ska genomföras cirka en vecka före provtillfället. Syftet med förberedelsematerialet är att inspirera och ge uppslag så att eleven lättare ska kunna uttrycka sig kring både konkreta och abstrakta ämnesområden. Vårterminen 2018 erbjöd delprov C två möjliga ingångar till det övergripande temat. Eleverna kunde välja att skriva antingen en diskuterande eller en argumenterande text. Oavsett ingång hade de tillgång till hjälp i form av diskussionsfrågor och stödpunkter. Till stöd för lärarens bedömning fanns tio kommenterade elevprestationer på olika nivåer, så kallade benchmarks. Dessa är hämtade från storskaliga utprövningar (se kapitel 2) och har valts ut i referensgrupper med verksamma lärare. 5 (13)

6 4. Insamling Elevers resultat på proven samlas in på nationell nivå för att kunna följa upp och utvärdera kvaliteten i svensk skola, för forskning och för att kunna utveckla proven. För vårterminen 2018 gällde att skolor som genomförde det nationella provet i engelska 6 skulle skicka in underlag till två insamlingar av resultat: Den ena insamlingen gäller rapportering av provresultat för samtliga elever i alla skolor. Insamlingen är en del av Sveriges officiella statistik och görs av Statistiska centralbyrån (SCB). Från och med 1 januari 2018 är nationella prov obligatoriska i den högsta avslutande kursen på programmet. För provet i engelska 6 vårterminen 2018 rapporterades resultatet för samtliga elever som deltagit i provet. SCB redovisar dock endast resultatet för de elever som gör provet som en obligatorisk del av sin kurs. Den andra insamlingen gäller ett urval av elevlösningar och resultat på uppgiftsnivå. Denna insamling görs av projektet Nationella prov i främmande språk (NAFS) vid Göteborgs universitet. Projektets insamling syftar bl.a. till att kunna analysera utfall på delprovs-, uppgifts- och item-nivå och är ett led i kvalitetssäkringen och den kontinuerliga utvecklingsprocessen av kursproven i engelska. För vårterminen 2018 inkom cirka 800 resultatprofiler respektive närmare 400 hela provhäften, vilket medger kvalitativa och kvantitativa analyser av enskilda elevsvar och texter. Denna insamling påverkas inte av förändringen i obligatoriet, utan gäller samtliga elever som genomför provet. Dessutom ombeds de lärare som genomför provet att besvara en enkät. Information om lärarenkäten finns bl.a. i de bedömningsanvisningar som skickas ut i samband med provets genomförande. Resultatet på lärarenkäten redovisas också på projektet webbplats Provresultat med kommentarer För vårterminen 2018 har ett sammanvägt provbetyg för det ordinarie provet i Engelska 6 inrapporterats till SCB för cirka elever, vilket är omkring 9000 färre än Observera dock att 2017 redovisade SCB resultat för samtliga elever som genomfört provet, men för kursprovet 2018 redovisas endast resultat från elever på program där kursprovet är obligatoriskt. Andelen elever i detta urval som fick lägst provbetyget E var närmare 98 procent. Elever vars föräldrar har en högre utbildningsnivå uppvisar bättre resultat. Män har fortsatt något högre genomsnittlig provbetygspoäng än kvinnor. För mer information om SCBs redovisning av resultaten från vårens prov, se Skolverkets webbplats. I tabell 1 nedan kan utläsas andelen elever som nått de olika betygsstegen i SCBs insamling, d.v.s. resultat för de program där provet vårterminen 2018 var obligatoriskt att genomföra. 6 (13)

7 Tabell 1 SCB: Provbetyg Engelska 6. Antal elever med provbetyg totalt och uppdelat på män och kvinnor samt fördelat på betygssteg F-A Antal elever med provbetyg Betygsfördelning (%) F E D C B A Genomsnittlig provbetygspoäng Totalt ,3 12,3 20,2 30,6 21,0 13,6 14,7 Kvinnor ,7 14,1 21,5 29,9 19,7 12,1 14,4 Män ,8 10,3 18,7 31,4 22,5 15,3 15,1 I tabell 2 nedan redovisas motsvarande utfall i Göteborgs universitets/nafs insamling. Det är en urvalsinsamling och inkluderar elever som genomfört kursprovet vårterminen 2018, oavsett program eller obligatorium. Denna insamling utgörs av elevlösningar och resultat på uppgiftsnivå för elever födda vissa datum, och skiljer sig alltså från SCBs på så sätt att även elever från yrkesprogram är inkluderade. Dessa utgör ca 15 procent av de inskickade resultaten, vilket är ungefär som vårterminen Utfallet är i linje med tidigare år och speglar god stabilitet över tid. Tabell 2 GU/NAFS urvalsinsamling: Provbetyg Engelska 6 Antal elever med provbetyg Betygsfördelning (%) F E D C B A Totalt 777 4,0 13,3 23,4 28,6 17,6 13,1 Kvinnor 388 4,1 14,2 23,2 29,1 16,8 12,6 Män 379 4,0 12,1 23,7 28,2 18,5 13,5 Nedan redovisas hur resultaten är fördelade på delprovsnivå. I tabell 3 kan utläsas betygsfördelningen på de olika delproven i SCBs insamling och i tabell 4 motsvarande i Göteborgs universitets/nafs urvalsinsamling. Tabell 3 SCB: Betygsfördelning på delprovsnivå Engelska 6 Betygsfördelning (%) Delprov F E D C B A Delprov A 1,5 10,2 15,3 29,6 21,0 22,4 Delprov B 7,0 15,4 17,4 25,8 21,9 12,3 Delprov C 5,0 13,9 19,6 30,2 16,9 14,5 7 (13)

8 Tabell 4 GU/NAFS urvalsinsamling: Betygsfördelning på delprovsnivå Engelska 6 Betygsfördelning (%) Delprov F E D C B A Delprov A 2,3 13,0 17,6 26,6 18,4 22,0 Delprov B 8,9 19,2 17,2 24,7 18,2 11,9 Delprov C 7,3 15,3 22,0 27,5 13,7 14,3 Göteborgs universitets/nafs insamling av resultat från vårterminen 2018 visar vidare att uppgifterna i delprov B har fungerat som förväntat. Resultatinsamlingen visar att de två första uppgifterna i delprov B 1 Focus: Reading hör till provets lättare och bör ha gett eleverna den lugna ingång i provet som eftersträvas. I delprov B 2 Focus: Listening är det den tredje uppgiften, ett reportage som eleverna får lyssna till två gånger, som är den lättaste uppgiften, både enligt utprövningarna inför och resultatinsamlingen efter provet. Som inledande uppgift valdes en multiple matchning som eleverna i utprövningen uppfattade som lätt, och som inledningsvis innehöll några enklare frågor för att ge eleverna en lugn ingång i delprov B 2. Liksom tidigare år presterar eleverna bäst på delprov A Focus: Speaking. Enkätresultat med kommentarer Alla uppgifter som ingår i ett nationellt prov i engelska har granskats och kommenterats i flera olika led innan de används i prov. Dels ges elever och lärare möjlighet att uttrycka åsikter om olika uppgifter i samband med mindre utprövningar under konstruktionsprocessen, dels besvarar både elever och lärare enkäter om uppgifterna i samband med den storskaliga utprövning som alla provuppgifter som ingår i ett nationellt prov i engelska genomgår. Dessutom granskas uppgifterna innehållsmässigt, språkligt och utformningsmässigt både av referensgrupper med aktiva lärare, modersmålstalare och språklig expertis och av skolverksrepresentanter som tar del av materialet på vägen fram till det färdiga provet. Synpunkter på materialet tas till vara i processens olika steg. Elevenkäter från utprövningar I den storskaliga utprövningen ombeds eleverna besvara en enkät med ett antal frågor i form av påståenden. De svarar genom att ringa in 1-5 på en så kallad Likert-skala där 1 är positivt och 5 negativt. De ges också möjlighet att kommentera uppgifterna med egna ord, vilket många gör. De öppna kommentarerna rör allt från innehållet (t.ex. intressant/ointressant) till upplevelsen (t.ex. roligt/svårt/nytt/bekant) till konkreta kommentarer om enskilda frågor. Dessa elevenkäter, också refererat till som test-taker feedback (TTF) används dels som underlag för provutveckling, dels som underlag vid urval av uppgifter och sammansättning av hela prov. Nedan följer en kort sammanfattning av informationen från de elevenkäter som genomförts i samband med de storskaliga utprövningar som varje uppgift genomgått innan den blivit aktuell som provuppgift. Ett kursprov sätts samman av uppgifter från olika utprövningsversioner och olika utprövningsår. För att kunna ge en bild av vad eleverna tyckt och tänkt om olika uppgifter läggs alternativ 1-3 (d.v.s. från det helt positiva till det neutrala alternativet) i Likert-skalan samman i redogörelsen nedan. De siffror som redovisas i procent är avrundade siffror. 8 (13)

9 Delprov A Focus: Speaking Uppgiften togs emot väl av eleverna. Till exempel valde över 90 procent av eleverna alternativ 1-3 på Likert-skalan vad gäller om det var en bra uppgift, om den var lätt och om den prövade något viktigt. Nedan följer några exempel på vad eleverna skrivit: I liked the task. It was fun and made you think about XXX. It was easy to discuss and find new topics inside the general topic. Personligen tycker jag om ämnet. Det var enkelt att se uppgiften ur olika perspektiv vilket ledde till många olika tankebanor och idéer kring ämnet. The task was really interesting. But there may be students who can need more time. Delprov B Receptive Skills Uppgifterna har tagits emot väl av eleverna. Till exempel valde procent av eleverna alternativ 1-3 på Likert-skalan för de olika uppgifterna när det gällde om uppgiften var bra. Eleverna upplever generellt hörförståelse som svårare än läsförståelse, vilket bl.a. kan antas ha att göra med att kraven på en automatiserad förmåga är högre i ett hörförståelseprov än vid läsförståelse. Detta syns också i test-taker feedback. Siffrorna för om uppgiften var lätt är överlag lägre för hörförståelseuppgifterna än motsvarande siffror för läsförståelseuppgifterna i detta prov. I utprövningarna av uppgifterna i delprov B 2 är det den inledande uppgiften av matching-typ som eleverna upplever som lättast. Om man jämför de två intervjuerna/reportagen är det uppgift nummer tre, som eleverna får lyssna till två gånger, som uppfattas som lättast och som de tycker att de klarar bäst. Däremot är skillnaderna vad gäller om uppgiften är bra och om den ger en rättvisande bild av deras engelska små. I delprov B 1, läsförståelse, har de två längre, sammanhängande uppgifterna, nummer två och tre, likartade omdömen. De ligger lika högt vad gäller om uppgiften var bra (80 procent har valt alternativ 1-3 på Likert-skalan), och har likartade siffror när det gäller huruvida eleverna tycker att de klarade uppgiften bra (ca 65 procent) och om den gav en rättvisande bild av deras kunskaper (ca 70 procent). Så här uttrycker sig några elever i elevenkäterna om uppgift två och uppgift tre: Delprov B 1 - uppgift två: Gillade ämnet och hela uppgiften. Mycket rolig och enkel. Bra sätt att fylla i svaren på. Nice to learn something new about our history. It was tricky sometimes which is very good. Thumbs up! Delprov B 1 - uppgift tre: Det var inte så svårt att förstå texten när man läste den. Den var bra och lärorik. Lots of fancy hard words, but you could still make out the messages. I liked this text because it was interesting which made it easier to follow the content. The questions were a little bit easier and a little bit harder. Tråkig text, men bra om man vill lära sig mycket engelska i bredden. 9 (13)

10 Delprov C Focus: Writing Uppgiften togs emot väl av eleverna. Över 75 procent av eleverna valde alternativ 1-3 på Likert-skalan vad gäller t.ex. om det var en intressant uppgift, om den var lätt, om förberedelsematerialet var användbart och om uppgiften gav en rättvis bild av deras förmåga. Nedan följer ett litet urval av elevernas kommentarer om uppgiften: Kul och intressant sätt att skriva. Roligt att man får ämnet bestämt och sedan får välja lite fritt hur man ska skriva om det Tyckte det var en rolig uppgift och enkel att skriva om och komma på saker till. Jag tror också att det är ett ämne alla, på något sätt kommer i kontakt med och något alla kan skriva om. Continue making national tests that many student can relate to. This one was great! I think it s fun to do this type of texts. You learn much and have to use your brain, but it s also hard. I think there should be more subjects to choose between, like music, art and dancing. Lärarröster från utprövningar och referensgruppsarbete Även lärare ombeds i den storskaliga utprövningen att besvara en enkät med ett antal frågor om uppgifterna, bl.a. om uppgiftens svårighet i relation till kursplanen. Samtliga uppgifter som ingår i kursprovet vårterminen 2018 togs emot positivt vid respektive utprövningstillfälle och en majoritet av lärarna ansåg att uppgifternas svårighetsgrad var lagom i relation till ämnesplanen för engelska 6. Lärarenkäter från kursprovet vårterminen lärare har besvarat årets lärarenkät. Antalet inkomna lärarenkäter fortsätter tyvärr att sjunka. Så sent som 2014 inkom fyra gånger så många lärarenkäter drygt 800 stycken för engelska 6. Eftersom urvalet dessutom är självselekterat bör resultaten tolkas med försiktighet. En fullständig redovisning av de frågor i lärarenkäten som har bundna svarsalternativ finns att läsa på projektet webbplats. Nedan följer en kort sammanfattning av ett urval frågor. Siffrorna är avrundade till heltal. Lärarna ombeds besvara ett antal frågor om provet som helhet och om de olika delproven, samt ges tillfälle att skriva fritt. Mellan 45 och 58 lärare har använt den möjligheten för att kommentera delproven. Kursprovet i engelska uppskattas generellt av lärarna som har besvarat enkäten och utfallet för årets prov är i allt väsentligt i linje med tidigare år. Nedanstående två diagram beskriver hur provet som helhet tagits emot av de 189 lärare som besvarat enkäten. 10 (13)

11 Provet som helhet är bra Provet är ett stöd för betygssättningen Instämmer helt Instämmer till stor del 11 Instämmer till viss del 3 Instämmer Inte svarat inte alls 20 0 Instämmer helt Instämmer till stor del 12 Instämmer till viss del 3 Instämmer Inte svarat inte alls Diagram 1 och 2 Provet som helhet (antal lärare) Lärarna ges också möjlighet att fritt lämna övriga synpunkter på kursprovet. Kommentarerna i detta svarsfält utgörs av allt från konkreta förslag och redogörelser av hur man arbetar på skolan, till åsikter om provets svårighetsgrad eller utformning. Av de 38 lärare som skriver fritt är ett tiotal uttryckligen positiva eller mycket positiva till provet som helhet och menar bl.a. att innehållet i delproven är relevant i förhållande till ämnesplan och att provet utgör ett gott stöd för bedömning. Lärare uttrycker också att provens texter och ämnesval är intressanta. Utan de nationella proven hade betygssättningen blivit mer subjektiv. Reading och listening är jättebra summativa bedömningar av hör- och läsförståelse Överlag är det bra, intressanta delar och läsförståelsen är mycket bra. De lärare som framför negativa åsikter om proven kommenterar bl.a. den tiogradiga skalan eller den kompensatoriska provbetygsmodellen. Mycket märkligt att NP-betyg fungerar kompensatoriskt, fastän betygssystemet inte gör det. Enstaka lärare lämnar konkreta förslag, till exempel att genomföra delprov B på två olika dagar, längre provtid eller omgående digitalisering. Delprov A - Focus: Speaking Samtliga lärare anser att delprov A ger eleverna möjlighet eller viss möjlighet att visa sin förmåga att formulera sig och kommunicera på engelska i tal och 99 procent anser att uppgiften var mycket lämplig eller lämplig i relation till ämnesplanen. Närmare 70 procent av lärarna spelar in eleverna vid provtillfället, vilket kan underlätta sambedömning och bidra till en mer likvärdig bedömning. Andelen lärare som uppger att de spelar in har ökat över tid. En majoritet av lärarna menar att de kommenterade exemplen på elevprestationer utgör ett mycket gott eller tämligen gott stöd vid bedömningen. De öppna kommentarerna till delprov A innehåller kommentarer till själva uppgiften och hur den fungerade. Flera lärare uttrycker att den fungerade väl, t.ex. 11 (13)

12 Intressant och kul ämne i år jag upplevde att eleverna hade väldigt lätt att få uppslag och prata kring årets ämne. Så bra diskussioner som jag haft i år har jag inte haft på länge. Jättebra ämne det här året verkligen tidsenligt. Mycket bra och genomtänkta ämnen och bra utvalda diskussionskort. Eleverna fick visa alla sina styrkor. Eleverna var nöjda med urvalet av kort. Någon enstaka lärare uttrycker också att temat fungerat mindre bra för deras elevgrupp: Lite tråkiga kort som inte motiverar till mycket diskussion. En handfull lärare ger förslag på hur bedömningskommentarerna kan utvecklas eller förändras. Det framförs också önskemål om fler exempelsamtal, eller en viss typ av exempelsamtal Delprov B Receptive Skills 99 procent av lärarna anser att delprov B 1 Focus: Reading helt eller till viss del ger ett tillförlitligt mått på deras elevers förståelse av skriven engelska samt deras förmåga att tolka innehållet, och mellan 96 och 99 procent anser att de olika uppgifterna var mycket lämpliga eller lämpliga i relation till ämnesplanen. 97 procent av lärarna anser att delprov B 2 Focus: Listening helt eller till viss del ger ett tillförlitligt mått på deras elevers förståelse av talad engelska samt deras förmåga att tolka innehållet, och mellan 94 och 96 procent anser att de olika uppgifterna var mycket lämpliga eller lämpliga i relation till ämnesplanen. Så gott som samtliga anger att bedömningsanvisningarna till delprov B fungerat bra. De öppna kommentarerna till delprov B är av delvis olika karaktär. Dels framför enstaka lärare önskemål som t.ex. längre provtid, en större andel slutna svarsformat eller särskilda teman, dels kommenterar lärare uppgifternas innehåll och utformning samt hur de uppfattat elevernas reaktioner, t.ex. nervositet som en faktor vid hörförståelse. Hörförståelse kommenteras i högre grad än läsförståelse. En möjlig förklaring är att hörförståelse upplevs som mer krävande. Några lärare uttrycker önskemål om upprepade omlyssningar. Önskvärt för många elever att höra listeningdelarna två gånger. Generellt kan sägas att uppgifter som enbart avlyssnas en gång liksom uppgifter med vissa accenter över åren har genererat kommentarer från lärare, så även i år. Tilläggas kan att mer än 90 procent av lärarna som besvarat lärarenkäten anser att den uppgift som avlyssnas en gång är mycket lämplig eller lämplig i relation till ämnesplanen. Resultatinsamlingen från provet visar också att eleverna klarat uppgiften väl. Delprov C Focus: Writing 99 procent av lärarna anser att delprov C ger eleverna möjlighet eller viss möjlighet att visa sin förmåga att formulera sig och kommunicera på engelska i skrift, och lika stor andel anser att uppgiften var mycket lämplig eller lämplig i relation till ämnesplanen. En majoritet av lärarna menar att de kommenterade exemplen på elevprestationer utgör ett mycket gott eller tämligen gott stöd vid bedömningen. 12 (13)

13 De öppna kommentarerna till delprov C innehåller bl.a. kommentarer till själva uppgiften och hur den fungerade: Jättebra ämne! Bra också med intressant förberedelsematerial som skapade tankar och diskussioner. Jag är jättenöjd med det här delprovet. Uppgiften gav eleverna god möjlighet att visa sin skriftliga förmåga. Ämnet och texthäftet var intressant och eleverna kunde relatera till innehållet. Uppgiften var så utformad att det var lätt för eleverna att fokusera på skrivandet och de behövde inte tillbringa för mycket tid med att kontrollera om de har fått med alla punkter, eller noggrant följa konventioner för vissa texttyper. Andra förekommande kommentarer rör t.ex. önskemål om hur bedömningskommentarerna kan utvecklas eller förändras, redogörelser för hur man arbetar på skolan eller reflektioner kring att skriva för hand eller på dator. Avslutningsvis uppger 98 procent av lärarna som besvarade enkäten att kursprovet som helhet ger resultat som till mycket stor eller ganska stor utsträckning stämmer överens med de egna bedömningarna av enskilda elevers kunskaper. 5. Avslutning Sammanfattningsvis är utfallet på kursprovet i Engelska 6 vårterminen 2018 det förväntade och ligger i linje med tidigare års prov. De uppgifter som ingår i provet har tagits emot väl av elever i utprövningar inför provet. Tyvärr fortsätter antalet besvarade lärarenkäter att minska, och utfallet av dessa får därför tolkas med viss försiktighet. Då lärarenkäterna är en viktig del i utvecklingen av provet finns det anledning att hoppas att denna utveckling kan vändas. Trots dessa reservationer kan det konstateras att svaren i årets enkäter stämmer väl överens med tidigare år och kursprovet som helhet har tagits emot väl av lärarna. Det är värt att notera att resultaten i SCBs insamling inte fullt ut är jämförbara med tidigare års resultat. I och med förändringen i vilka elevgrupper som måste genomföra provet är urvalsgruppen annorlunda och det innebär att de resultat som redovisas nästan enbart kommer från studieförberedande program. Då projektets egen urvalsinsamling även fortsättningsvis tar in resultat från alla elevgrupper som genomför provet kan dessa resultat jämföras över tid, förutsatt att de resultat som kommer in är representativa. Provgruppen vill tacka alla de lärare och elever som deltagit i utprövningar och referensgrupper under året och som på olika sätt bidragit med synpunkter i utvecklingsprocessen av olika material. Provgruppen vill också tacka alla lärare som tagit sig tid att besvara årets enkät. 13 (13)