Analysstöd för Skolinspektionens ombedömning av nationella prov 2015

Transkript

1 1 (11) Analysstöd för Skolinspektionens ombedömning av nationella prov 2015 Inledning 2 Uppdraget 2 Prov och delprov som ingått i 2015 års ombedömning 3 Genomförandet av ombedömningen 4 Urval av skolor 4 Urval av elevlösningar 4 Urval av delprov för ombedömning 5 Genomförandet av ombedömningen 5 Att tolka 6 Prickning 6 Tolka resultaten med försiktighet 6 Teknisk not: Beräkning av avvikelsegrad mellan skolans bedömning och ombedömningen 9 Insamling av uppgifter 10 Rapporter och utredningar 11 Styrdokument 11 Skolinspektionen, Box 23069, Stockholm, Besök: Sveavägen 159 Telefon: , Fax:

2 2 (11) Inledning Skolinspektionen samlar varje år in ett stort antal bedömda elevlösningar på utvalda delprov från de nationella proven. Proven avidentifieras och bedöms sedan på nytt av erfarna lärare som rekryterats av Skolinspektionen. Syftet med ombedömningen är att främja en likvärdig bedömning av proven, och resultaten är ett av underlagen som Skolinspektionen granskar inför tillsyn av skolor och huvudmän. Urvalet av skolor för ombedömning sker därför bland de huvudmän som det följande året ingår i Skolinspektionens regelbundna tillsyn. Syftet med ombedömningen är inte att uttala sig om enskilda provbetyg. Ombedömningen kan aldrig leda till att ett provbetyg som satts av skolan ändras. Att en skolas bedömning av proven skiljer sig från genomsnittet betyder heller inte att skolans bedömningar är felaktiga. Olika bedömare tolkar provens bedömningsanvisningar olika, och de delprov som väljs ut för ombedömning är till stor del sådana där det inte finns tydliga rätt och fel svar på frågorna. En hög avvikelsegrad i förhållande till andra skolor kan dock vara en indikation på att skolan behöver utveckla sina processer för bedömning och betygssättning. Det är alltid processen som leder fram till resultatet som granskas i Skolinspektionens tillsyn, inte resultaten/provbetygen i sig. Resultaten bör även ligga till grund för en diskussion hos skolor och huvudmän där processerna för bedömning och betygssättning diskuteras, till exempel inom ramen för det systematiska kvalitetsabetet. Frågor som kan diskuteras i ett sådant arbete är till exempel om resultaten känns väntade eller oväntade, vad som kan tänkas ligga bakom dem, och om det finns några lärdomar att dra utifrån resultaten i utvecklingen av skolans processer för bedömning och betygssättning. Diskussionen kring resultaten blir ofta som mest värdefull om flera olika skolor, gärna med olika huvudmän, arbetar tillsammans. Uppdraget Uppdraget att samla in och ombedöma nationella prov anges i Skolinspektionens regleringsbrev. Där anges också att syftet är att stödja en likvärdig bedömning och betygssättning av proven över landet, samt att insamling och åtgärder ska kopplas till myndighetens tillsynsverksamhet. Myndighetens regleringsbrev för 2015 i sin helhet återfinns på adressen nedan:

3 SKOLINSPEKTIONEN (11) Prov och delprov som ingått i 2015 års ombedömning För mer information om utformningen av respektive delprov, se analysstödet för resultaten på nationella kursprov. Årskurs/Skolform Ämne/Kurs Delprov Ombedömd provversion Grundskolans Årskurs 6 Svenska/Svenska som andraspråk C1 och C2 (samredovisas) 2015 Engelska C 2015 Grundskolans Årskurs 9 Svenska/Svenska som andraspråk C 2015 Engelska C 2015 Biologi A Kemi A Fysik A Samhällskunskap Religionskunskap Historia Geografi A och B (hela provet) A och B (hela provet) A och B (hela provet) A och B (hela provet) Gymnasieskolan Svenska 1/Svenska som andraspråk 1 C VT 2015 Engelska 5 C VT 2015 Kommunal vuxenutbildning på gymnasienivå Svenska 1/Svenska som andraspråk 1 C VT 2014, HT 2014 och September 2014

4 4 (11) Engelska 5 C VT 2014, HT 2014 och September 2014 Genomförandet av ombedömningen Urval av skolor Ombedömningen genomförs i dagsläget för de obligatoriska nationella prov som skrivs i årskurs 6 och årskurs 9, gymnasiets inledande kurser samt motsvarande kurser inom kommunal vuxenutbildning på gymnasial nivå. Prov i matematik ombedöms dock inte i 2015 års ombedömning oavsett skolform. Alla skolor ingår inte i ombedömningen ett givet år, utan det görs ett slumpvis urval av skolor bland de huvudmän som det följande året ingår i Skolinspektionens regelbundna tillsyn. Urval av elevlösningar För att kunna genomföra ombedömningen vid så många skolor som möjligt ombedöms endast ett eller två ämnen per skola, oftast ett språkämne och ett NO/SO-ämne eller matematik. När en skola valts ut till ombedömningen görs en slumpvis tilldelning av ämnen för ombedömning. Därefter görs ett slumpvis urval av elever bland dem som skrivit provet den aktuella terminen. Urvalet görs tillräckligt stort för att resultaten ska vara representativa på skolnivå. Max antal prov att skicka in har dock satts till 100 för grundskolor och 200 för gymnasieskolor. Om fler prov krävs för representativitet för två ämnen dras istället bara ett ämne för den aktuella skolan. Liksom vad gäller tillsynen i stort är urvalet liksom maxgränsen för antal prov baserat på skolenheter, så skolor som är uppdelade på flera enheter kan få en eller flera skolenheter utvalda för ombedömning. Urvalets representativitet avser det aktuella delprovet vid den aktuella provterminen, och kan inte generaliseras till att gälla andra versioner av provet (till exempel tidigare års prov), prov i andra ämnen, eller andra prov i samma ämne (till exempel skolans egna prov). Av olika skäl kan det också hända att alla prov som begärts in från en skola inte kan ombedömas. Särskilt om antalet ombedömda prov vid skolan är litet (under ca 30) kan även ett begränsat bortfall ha betydelse för urvalets representativitet, och det är därför viktigt att alltid tolka resultaten försiktigt.

5 SKOLINSPEKTIONEN (11) Urval av delprov för ombedömning Alla nationella prov är uppdelade i flera delprov. Vissa av delproven innehåller laborativa eller muntliga delar, eller uppgifter som ska genomföras i grupp. Denna typ av delprov är inte möjliga att ombedöma. Det är heller inte särskilt intressant att ombedöma delprov som mestadels består av frågor där eleven ska välja mellan ett antal fasta svarsalternativ, eftersom utrymmet för subjektivitet i bedömningen här är mycket litet och tidigare erfarenhet har visat att stora avvikelser är mycket sällsynta. Av dessa skäl ombedöms för de flesta ämnen inte hela proven, utan endast ett eller två delprov per prov. De delprov som väljs ut för ombedömning är sådana som kan ombedömas (dvs som inte har laborativa eller muntliga inslag etc), men där det inte finns tydliga rätt och fel svar på uppgifterna. I praktiken betyder det att prov som till stor del består av uppsatsfrågor där eleven ska formulera sig fritt i skrift utifrån en öppen frågeställning är de som väljs ut för ombedömning. För vissa ämnen, till exempel matematik, finns inga sådana delprov. Då väljs istället det delprov som för det givna ämnet kan antas ha störst utrymme för subjektivitet i bedömningen. Genomförandet av ombedömningen De skolor som väljs ut att delta i ombedömningen skickar in kopior av bedömda prov till Skolinspektionen. Lärarens betyg och anteckningar samt uppgifter om elevens identitet tas bort. Därefter bedöms proven på nytt av erfarna lärare som rekryterats av Skolinspektionen. Ursprungsbedömningen jämförs sedan med ombedömarens bedömning, och resultaten sammanställs per skola och ämne. Ombedömarna bedömer sina prov enskilt, det vill säga sambedömning tillämpas inte. Däremot sprids varje enskilds skolas elevlösningar över flera ombedömare, för att minimera risken att en enskild ombedömares bedömningar får stort genomslag i de sammantagna resultaten, så att jämförelsen av resultat mellan skolor blir så rättvis som möjligt. Beroende på ämne och årskurs fördelas proven mellan ca 3 till 30 olika ombedömare (gäller 2015 års ombedömning). För svenska, engelska och SO-ämnena finns en särskild kontroll som innebär att om det skiljer mer än två betygssteg mellan bedömning och ombedömning, alternativt om ursprungsbedömaren ger godkänt betyg (A-E) men inte ombedömaren eller vice versa, så går provet vidare till en andra ombedömare. Slutbetyget från ombedömningen blir då den av de två ombedömarnas bedömningar som ligger närmast ursprungsbedömningen.

6 6 (11) Att tolka Skillnaden mellan skolans och ombedömarnas bedömning av elevlösningarna rapporteras som skolrapporter per skolenhet (en rapport per ombedömt delprov), samt som sammanställning på huvudmannanivå. För de prov som genomfördes vid skolorna under vårterminen 2015 redovisas resultaten under 2016 i två separata omgångar. I början av året publiceras resultaten för de skolor som ingår i Skolinspektionens tillsynsplan för vårterminen 2016, och i mitten av året publiceras resultaten för de skolor som ingår i tillsynsplanen för höstterminen Prickning Inga resultat för en skolenhet rapporteras om antalet ombedömda elevlösningar för aktuellt delprov understiger 10 stycken vid skolenheten, eller om färre än hälften av de prov som skrevs vid skolenheten för det aktuella delprovet och terminen har ombedömts. Tolka resultaten med försiktighet Att en skolas bedömning av proven skiljer sig från genomsnittet betyder inte att skolans bedömningar är felaktiga. Olika bedömare tolkar provens bedömningsanvisningar olika, och de delprov som väljs ut för ombedömning är till stor del sådana där det inte finns tydliga rätt och fel svar på uppgifterna. Antalet prov och skolor som ombedömts för ett enskilt ämne varierar också, och är ibland lågt. Därför är det alltid viktigt att tolka resultaten försiktigt, som utgångspunkt för en diskussion. En hög avvikelsegrad kan dock vara en indikation på att skolan behöver utveckla sina processer för bedömning och betygssättning. Det är alltid processen som leder fram till resultatet som granskas i Skolinspektionens tillsyn, inte resultaten/provbetygen i sig. Skolrapport Tabell 1: Andel stora avvikelser mellan skolans bedömning och ombedömningen I Tabell 1 redovisas antalet och andelen stora avvikelser mellan skolans och ombedömarnas bedömning av de insamlade elevlösningarna. En stor skillnad definieras som att det skiljer två betygssteg eller mer mellan de två bedömning-

7 SKOLINSPEKTIONEN (11) arna, alternativt ett betydande antal belägg (poäng) för de delprov där delprovsbetyg inte sätts 1. Exempelvis gav skolan A där ombedömaren gav C, eller B där ombedömaren gav E osv. Skolans avvikelsegrad jämförs med den genomsnittliga avvikelsegraden för alla ombedömda skolor för det aktuella delprovet och terminen. Det är just jämförelsen med genomsnittet som är intressant ur likvärdighetssynpunkt, inte andelen avvikelser mellan skolans bedömning och ombedömningen som sådan. Observera att avvikelsegraden inte är jämförbar mellan olika ämnen och delprov, eftersom proven är konstruerade på olika sätt. Observera också att ombedömningen avser ett av provets delprov, inte hela provet. Om skolans andel stora avvikelser i någon riktning skiljer sig markant från genomsnittet (+/- 10 procentenheter skillnad eller mer) markeras detta med en stjärna (*) efter skolans andel. Markeringen är ett stöd för att göra det lättare att se större skillnader. Jämförelsen med genomsnittet är det viktiga Det är viktigt att fokusera på jämförelsen med genomsnittet när resultaten tolkas. Det är denna skillnad som är intressant, inte andelen avvikelser i sig. Ombedömningens syfte är att stödja likvärdighet i bedömningen. Det betyder att målsättningen är att olika skolor i så hög utsträckning som möjligt ska lägga ribban på samma nivå när proven bedöms. De delprov som väljs ut för ombedömning är sådana där det alltid kommer att förekomma ett mått av subjektivitet i bedömningen (oftast består de av långa fritextsvar). Skolinspektionens ombedömare har stor erfarenhet av att bedöma prov inom sitt ämne, men det går inte att säga att det är just de som gör rätt bedömning av proven. Därför använder inte Skolinspektionen resultaten för att jämföra skolans bedömningar med ombedömarnas bedömning som sådan, utan för att jämföra skolorna med varandra. En likvärdig bedömning av proven innebär ju att alla skolor bör tolka och tillämpa bedömningsanvisningarna på ett likvärdigt sätt. Till exempel: om en skola i 20 % fallen sätter högre delprovsbetyg än ombedömarna, och den genomsnittliga andelen avvikelser i denna riktning också är 20 %, så finns det ingen indikation på att skolan ifråga sätter högre provbetyg än genomsnittskolan. Att denna genomsnittsnivå är innebär högre provbetyg i 1 Se Teknisk not: Beräkning av avvikelsegrad mellan skolans bedömning och ombedömningen nedan.

8 8 (11) snitt än vad som är fallet i ombedömningen är ur likvärdighetssynpunkt mindre intressant. Om det däremot är så att en skola i 20 % fallen sätter högre delprovsbetyg än ombedömarna, och den genomsnittliga andelen avvikelser i denna riktning bara är 5 %, så är det en indikation på att skolan ifråga tenderar att sätta högre delprovsbetyg än genomsnittsskolan för en given nivå på elevens prestation. Hur många skolor som ombedömts varierar per ämne och årskurs. För delprov där färre än 10 skolor ombedömts bör resultaten tolkas med extra försiktighet, eftersom genomsnittsvärdet då bygger på ett litet antal skolor som kanske inte är representativt för skolor i allmänhet. Tabell 2: Medelavvikelse från ombedömningen i förhållande till andra skolor Medan tabell 1 endast redovisar större avvikelser mellan skolans och ombedömarnas bedömning, tar tabell 2 hänsyn till alla avvikelser och räknar ut ett medelvärde av dessa. Skolorna rangordnas sedan efter denna genomsnittsavvikelse. Om en skola hamnar på plats 1 av 20 betyder det att skolan bland de 20 skolor som fått det aktuella delprovet ombedömt är den som i genomsnitt sätter de högsta delprovsbetygen/ger flest belägg (poäng) i förhållande till ombedömarna. På motsvarande sätt betyder plats 20 av 20 att skolan sätter de lägsta delprovsbetygen i förhållande till ombedömarna, av de skolor som ombedömts. En hög eller låg rangordning i tabell 2 motsvaras ofta, men inte alltid, av en hög andel stora avvikelser i tabell 1. Vissa delprov är dock sådana att stora avvikelser är mycket ovanligt. I dessa fall kan en skola hamna högt eller lågt i rankingen i tabell 2 även utan att ha en hög andel stora avvikelser. I det fall en skola har en hög eller låg rank enligt tabell 2, men inte en ovanligt hög andel stora avvikelser enligt tabell 1, betyder det att det aktuella delprovet är sådant att stora avvikelser mellan två bedömare är ovanliga. Det kan till exempel röra sig om delprov som inte är renodlade uppsatsprov utan innehåller en blandning av kortare fritextsvar och frågor med fasta svarsalternativ. Resultatet i tabell 2 kan då fortfarande utgöra värdefull information till den enskilda skolan/bedömaren, till exempel som analysunderlag i det systematiska kvalitetsarbetet. När Skolinspektionen analyserar resultaten inför tillsyn av skolor och huvudmän ligger dock fokus på andelen stora avvikelser enligt tabell 1. Tabell 3: Frågor om bedömningen

9 SKOLINSPEKTIONEN (11) I samband med att skolan sänder in prov för ombedömning besvaras även ett antal frågor om hur bedömningsprocessen sett ut för dessa prov. Svaren redovisas i tabell 3. Frågorna om bedömningsprocessen är frivilliga för skolorna att besvara, och samtycke måste ges för att de ska inkluderas i redovisningen. Därför kan antalet prov i tabell 3 skilja sig från det antal som redovisas i tabell 1. Skolenhetens svar jämförs med ett genomsnitt för aktuellt delprov och termin, men det finns inga markeringar för stora skillnader. Svaren ger information om skolans process för bedömning av de nationella proven som kan vara intressant när resultaten analyseras. Rapport för huvudman Huvudmannarapporterna redovisar vilka av huvudmannens skolor som ingått i ombedömningen för den aktuella redovisningsterminen, vilka delprov som ombedömts per skola och hur många. Utöver det framgår om någon av skolorna har resultat som skiljer sig från genomsnittet i någon riktning, baserat på andelen avvikelser enligt tabell 1. Huvudmannarapporten ger alltså endast en översiktlig sammanställning. De detaljerade resultaten återfinns i skolrapporterna för respektive enskild skola. Teknisk not: Beräkning av avvikelsegrad mellan skolans bedömning och ombedömningen För de delprov där ett delprovsbetyg A-F sätts definieras en betydande avvikelse enligt skolrapporternas tabell 1 som att det skiljer två betygssteg eller mer mellan skolans bedömning och ombedömningen. När den genomsnittliga avvikelsegraden som ligger till grund för tabell 2 räknas ut för dessa prov omvandlas först delprovsbetygen till en numerisk skala 0-20 med samma antal steg mellan boksavsbetygen: F=0, E=4, D=8, C=12, B=16, A=20. Sedan subtraheras värdet från skolans bedömning med värdet från ombedömningen för att uttrycka avvikelsegraden. Ett fall där skolan satt A och ombedömaren C redovisas alltså som 8. Om ombedömaren satt A och skolan B blir skillnaden -4. Negativa värden indikerar alltså att skolan satt ett lägre delprovsbetyg än ombedömaren. Genomsnittsavvikelsen för en skola är medelvärdet av dessa differenser för alla elevlösningar som ombedömts. För de delprov där delprovsbetyg inte sätts omvandlas i stället antalet belägg (poäng) på E- C- respektive A-nivå till skalan 0-20 enligt följande modell: ((E*10 + C*15 + A*20) / (max(e)*10 + max(c)*15 + max(a)*20)) * 20

10 10 (11) Där E, C respektive A står för det antal belägg som skolan respektive ombedömaren angivit för delprovet, och max(e), max (C) respektive max(a) står för det maximala antal belägg som kan uppnås för det aktuella delprovet. Resultatet av denna beräkning är att även de bedömningar som yttrycks i belägg kan standardiseras till ett enskilt indexvärde på skalan På samma sätt som för delproven med bokstavbetyg uttrycks därefter avvikelsegraden som skolans bedömning minus ombedömingen. En avvikelse på 6 eller mer mellan de båda standardiserade bedömningarna definieras som en betydande avvikelse enligt vad som redovisas i skolrapportens tabell 1. Eftersom ett enskilt belägg får olika stor vikt i beräkningen dels beroende på det totala antalet belägg som kan uppnås, dels beroende på om det är ett E-, C- eller A-belägg, så går det inte att ge en enskild siffra för hur många belägg som krävs för att skillnaden mellan bedömningarna ska räknas som betydande, det varierar från prov till prov. För ett hypotetiskt delprov med 3 möjliga belägg på respektive nivå är till exempel en skillnad på 1 C-belägg och 2 A-belägg i bedömning (3,3,3 vs 3,2,1) tillräckligt för att skillnaden ska räknas som betydande. För ett delprov med 10 möjliga belägg på respektive nivå krävs fler beläggs skillnad mellan de två bedömningarna, till exempel 2 belägg på E-nivå, 3 på C-nivå och 4 på A-nivå, för att skillnaden ska räknas som betydande. Insamling av uppgifter Papperskopior av bedömda elevlösningar samt kompletterande information om bedömning och bedömningsprocess samlas in från skolorna på begäran av Skolinspektionen. Urval av elevlösningar och begäran om prov hanteras av Statistiska Centralbyrån (SCB), på uppdrag av Skolinspektionen. Uppgiftslämnare är rektor vid de skolor som ingått i urvalet. För uppdraget samlas uppgifter även in från registret över provebetyg på nationella kursprov som sammanställs av Statistiska Centralbyrån (SCB) på uppdrag av Skolverket. Inga resultat för en skolenhet rapporteras om antalet ombedömda elevlösningar för aktuellt delprov understiger 10 stycken vid skolenheten, eller om färre än hälften av de prov som skrevs vid skolenheten för det aktuella delprovet och terminen har ombedömts. Anledningen till att ombedömningsresultat saknas kan vara att vissa elever inte genomfört provet, att bristfällig kopiering eller scanning av prov gjort att delprovet inte kunnat omrättas i sin helhet, att skolan inkommit för sent med de

11 SKOLINSPEKTIONEN (11) begärda elevlösningarna, att resultatet från skolans bedömning inte angetts på giltigt format, att elevlösningar inte kunnat återfinnas av skolan mm. På grund av betydande bortfall i vissa fall bör uppgifterna tolkas med försiktighet. Om elevlösningarna i bortfallet har andra egenskaper än elevlösningarna i svarspopulationen, till exempel en högre eller lägre bedömaröverensstämmelse än vad som är fallet för de elevlösningar som kunnat omrättas, har bortfallet en snedvridande effekt på resultaten. Rapporter och utredningar Rapporter och utredningar kring tidigare års ombedömningar ( omrättning ) av nationella prov återfinns genom sökning på publikationstypen Ombedömning av nationella prov i Skolinspektionens sökfunktion för publikationer: Mer information finns även på Skolinspektionens webplats om ombedömningen: Styrdokument Uppdraget att ombedöma nationella prov anges i Skolinspektionens regleringsbrev års ombedömning regleras av regleringsbrevet för 2015, som återfinns via nedanstående länk. Skolinspektionen har rätt att begära in prov från skolorna enligt förordning (1992:1083) om viss uppgiftsskyldighet för huvudmännen inom skolväsendet med mera.