Mått för value added, eller skoleffekt, introducerat 2016

Transkript

1 Internationella Engelska Skolan Hans Bergström, 28 mars 2017 Mått för value added, eller skoleffekt, introducerat Bakgrund. Internationella Engelska Skolan har ett Academic Advisory Board, som i sin granskning av kvalitetsdata länge efterlyst ett mått för vad själva skolan tillför under loppet av några års skolgång. Medlemmar i rådet är docent Hans Bergström (ordförande) samt professorerna Torkel Klingberg (Karolinska Institutet), Hugo Lagercrantz (KI), Hans Albin Larsson (Jönköpings Högskola) och Sangeeta Bagga-Gupta (Örebro universitet, numera Jönköpings högskola). IES har infört ett system med diagnostiska test vid starten av årskurs 4, dels för att skolan ska kunna tidigt identifiera och åtgärda kunskapsluckor (de flesta av våra skolor omfattar åk 4-9), dels för att kunna mäta progression. Men i den senare delen blir det en intern jämförelse mellan IES-skolor, eftersom det inte finns nationella komparativa data. Från 2016 blev det emellertid möjligt att mäta progression via analys av de nationella proven, eftersom de elever som gjorde de nationella proven i årskurs 9 våren 2016 för första gången hade skrivit de nationella proven i årskurs 6 tre år tidigare i samma kärnämnen, nämligen matematik, svenska och engelska. Internationella Engelska Skolan har genomgående i sitt kvalitetsystem valt att fästa begränsad vikt vid jämförelser av slutbetyg från årskurs 9 eller vid mått som bygger på slutbetyg, som meritvärde. Skälet till detta är att det inte finns någon väl fungerande kalibrering av slutbetyg mellan skolor, och betygskriterierna är alltför vaga för att det ska vara möjligt att säkra enhetliga bedömningar mellan lärare i skolor över hela landet. Betyg bygger också på en blandning av resultat på tester och lärarnas kvalitativa bedömningar av vad elever presterat på lektioner. Betygsresultat används därför i vårt kvalitetssystem mest för att via

2 kontroll mot resultaten på de nationella proven slå ner på tendenser till betygsinflation. De nationella proven, däremot, genomförs med samma prov i alla skolor vid en och samma tidpunkt över hela Sverige. De bör vara gjorda för att möjliggöra valida jämförelser. De förbättringar i systemet för nationella prov som är under övervägande bör stärka deras användbarhet för meningsfull komparation. 2. Utformning av måttet. Internationella Engelska Skolan använder konsekvent det internationellt gängse måttet C+ som huvudsakligt mått på en skolas akademiska resultat, dvs den andel av eleverna som har erhållit något av toppbetygen A, B eller C på en sexgradig skala A-F. Ett viktigt skäl är att det speglar en högre ambition än att elever blott ska passera en lägstanivå, godkänd. Om vi talar om progression inte inte måttet vara godkänd. Måttet C+ uttrycker att skolan ska ha höga akademiska förväntningar och aspirationer, oavsett elevernas sociala bakgrund. Det är också ett tydligt och begripligt nyckeltal, till skillnad från konstruerade mått på vägd betygspoäng och dylikt, vilkas innebörd är svår att fatta intuitivt. Genom att ha ett huvudmått underlättas vidare jämförelser mellan skolor och över tid. C+ fungerar som proxyvariabel, dvs ett mått vars värde säger något vidare än vad det formellt sett uttrycker. Det är enkelt, begripligt och avslöjande. För att få fram value added räcker det inte att direkt jämföra en elevs provresultat i årskurs 6 med samma elevs provresultat i årskurs 9. Det är ju inte samma prov som har skrivits vid de två tillfällena. Svårighetsgraden i provets konstruktion kan ha varierat mellan åren. Det mått vi är ute efter ska återspegla hur mycket bättre eller sämre elever har utvecklats i en viss skola eller skolgrupp i förhållande till en större jämförelsegrupp. Det är alltså differensen vid tidpunkt 2 jämförd med differensen vid tidpunkt 1, som vi söker. Om differensen har ökat mellan, säg, åk 6 och åk 9 kan vi tala om en positiv skoleffekt. Det förhållandet att eleven under dessa tre år har gått i den undersökta skolan/skolgruppen har bidragit till bättre akademiska prestationer än om eleven i stället hade gått i en genomsnittlig skola i den större

3 jämförelsegruppen. Genom att visa förändring i differensen, eliminerar vi också helt eventuella skillnader i provens svårighetsgrad mellan åren. Vi har valt att jämföra elevprestationerna för elever i Internationella Engelska Skolan som gjorde de nationella proven såväl i åk 9 våren 2016 som de nationella proven i samma ämnen i åk 6 våren 2013, med det nationella snittet för kommunala skolor. Vi har valt kommunala skolor främst eftersom IES ingår som en tungt vägande del i kategorin friskolor, varför det skulle bli dubbelräkning om vi jämförde med friskolor eller alla skolor i Sverige. Den senare jämförelsen är förstås fullt möjligt att göra. Genom att identifiera samma elever hos IES som gjort båda proven undviker vi att tillkomsten av helt nya IES-skolor under perioden samt förändringar i elevkåren stör jämförbarheten bakåt. Genom att jämförelsen sedan görs med det stora kollektivet av alla kommunala skolor behöver vi statistiskt sett inte bekymra oss så mycket över elevrörlighet mellan kommunala skolor; de stora talens lag tenderar utjämna sådana effekter i en mycket stor grupp. En kontroll visar att det inte blir någon dramatisk skillnad i resultat om vi skulle ha tagit hela elevkåren för IES-skolor i årskurs 9 våren 2016 och jämfört med hela elevkåren våren 2013 återigen en effekt av de stora talens lag (de många elever som gått hos IES alla tre åren väger tungt i förhållande till marginella förskjutningar i elevkårens sammansättning). Genom att identifiera samma elever för båda åren, eliminerar vi dock den möjliga inverkan som skulle kunna följa av förändringar i socioekonomisk sammansättning av elevkåren över tid. 3. Resultat I ämnet matematik visar de nationella proven följande resultat (andel elever med C+, i procent av dem som gjorde provet): Engelska Skolan Kommunala skolor Differens Åk 6 våren % 54 % 11 %-enheter

4 Åk 9 våren % 35 % 29 enheter Förändring i differensen = skoleffekt av IES + 18 enheter I ämnet svenska visar de nationella proven följande resultat (andel C+): Engelska Skolan Kommunala skolor Differens Åk 6 våren % 47 % 12 %-enheter Åk 9 våren % 51 % 24 enheter Förändring i differensen = skoleffekt av IES + 12 enheter I ämnet engelska visar de nationella proven följande resultat (andel C+): Engelska Skolan Kommunala skolor Differens Åk 6 våren % 67 % 28 %-enheter Åk 9 våren % 69 % 29 enheter Förändring i differensen = skoleffekt av IES + 1 enhet Vi stöter här på vad som brukar kallas takeffekten. Resultaten i ämnet engelska var redan i årskurs sex så höga för elever i Internationella Engelska Skolan (varav en stor andel gått i skolan sedan åk 4) att det inte fanns mycket utrymme för ytterligare lyft. Med nationella prov även i årskurs 3 i kärnämnena, skulle man självfallet kunnat göra motsvarande analys av value added, skoleffekt eller progression hur man vill benämna det även mellan årskurserna 3 och 6.

5 4. Några reflexioner. Poängen med den ovan redovisade beräkningsmodellen är att den inte söker visa elevers progression i sig; självfallet bör elever i alla skolor avancera i kunskaper och färdigheter under loppet av tre års skolgång. Modellen analyserar i stället skillnaden i elevers progression mellan att gå i en viss skola eller skolgrupp jämfört med ett nationellt snitt av skolor (vare sig man för komparationen väljer alla skolor i Sverige eller kommunala skolor i Sverige ). En annan poäng är att man i princip eliminerar inverkan från elevernas socioekonomiska bakgrund. Vi mäter hur en och samma grupp av elever, oavsett deras sociala bakgrund, har utvecklats i relativa kunskaper och färdigheter under en treårsperiod. Metoden bör ge ett hyggligt mått på just skolans inverkan på progressionen. Den skulle kunna tillämpas även av andra skolor och skolgrupper. En viktig förklaring till den ovan redovisade skoleffekten för Internationella Engelska Skolan tror vi är graden av lugn, ordning och struktur i lärmiljön, som gör att lektionstiden används fokuserat och fullt ut. Med sin internationellt ledande forskning om arbetsminnet har professor Torkel Klingberg visat hur lätt arbetsminnet störs under en lektion, t ex av mobiltelefoner, musikspelare, sena ankomster och allmän oro. En näraliggande förklaring ligger förmodligen i hela signalsystemet av höga akademiska förväntningar på eleverna, oavsett deras socioekonomiska bakgrund. Kåren av lärare från andra länder, ca hälften av alla lärare hos IES, kan också spela in dels genom den bättre lärarrekrytering och lärarutbildning som finns i ett ämne som matematik i t.ex. Kanada, varifrån IES tar många lärare, dels genom att blandningen av lärare från olika länder tillför extra energi och dynamik i det dagliga arbetet. Ett färskt forskningsprojekt vid Göteborgs universitet, Att organisera för skolframgång, lett av professor Maria Jarl vid institutionen för

6 pedagogik och specialpedagogik, landar i den centrala slutsatsen att sättet att organisera, leda och samla alla vuxna i en skola till att gå i samma riktning har en avgörande inverkan på skolresultat. Se den kommande boken Organizing for school success från Göteborgs universitet. Motsvarande resultat har kommit från Studieförbundet Näringsliv- och Samhälles forskningsprojekt om ledarskap i skolan, lett av docent Henrik Jordahl. Båda dessa forskningsprojekt bidrar till att den internationellt betydelsefulla, men i Sverige försummade, ansatsen School Excellence Research på allvar introduceras i Sverige. Den är helt central för analysen av kvalitet och kvalitetsutveckling i den svenska skolan.