Är rankinglistor något att ha? Jonas Vlachos Stockholms universitet och IFN 1
2
Ett sunt element Hur går det för oss jämfört med andra? Potential för verksamhetsutveckling Kommunal verksamhet lämplig för jämförelser Liknande uppgifter Kommuner blir varandras laboratorier 3
Som man frågar får man svar Lärarförbundet. Bättre om: Mer pengar/elev till undervisning Fler pedagogisktutbildade lärare Högre lärartäthet Fler friska lärare Högre löner Högre andel förskolebarn Högre meritvärde Högre justerat meritvärde (SALSA) Högre andel godkända åk 9 Högre justerad andel godkända åk 9 Högre andel fullgången gymnasieutbildn Högre andel högskolebehöriga Högre övergång till högskolan Dagens samhälle. Bättre om: Lägre totalkostnad/elev Lägre andel av totalkostnad till undervisning Färre pedagogiskt utbildade lärare Lägre lärartäthet Högre andel godkända på NP åk 3 Högre resultat på NP åk 6 Högre andel godkända åk 9 Högre meritvärde åk 9 Bättre socioekonomiska förutsättningar (!) Högre andel högskolebehöriga Högre övergång till högskolan 4
Hur snabbt kan skolkvalitet ändras? 100 200 300 Arjeplog: 75 => 261 Lärarförbundet 0 Örkelljunga: 280 => 7 0 100 200 300 Rangordning (2013) 5
Stora förändringar är vanliga Fördelning av förändringar (2013-14) Procent 10 20 30 0-300 -200-100 0 100 200 Förändring i antal placeringar 2013-14 6
Förändringar över tid: slumpen styr! -300-200 -100 100 200 0 Förändring i rangordning Förändring i rangordning 2015-14 -200-100 0 100 200 Förändring i rangordning 2013-12 -200-100 100 200 0 Förändring i rangordning -300-200 -100 0 100 200 Förändring i rangordning 2014-13 7
Slumpen styr förändringar Förändring i rangordning 100 200 0-200 -100-200 -100 0 100 200 Förändring i rangordning 2013-12 8
Slumpfaktorn större i små kommuner Förändring och storlek 20 30 40 50 60 1 2 3 4 5 Storleksgrupp 9
Rangordning: små skillnader blir viktiga 10
Hur kan man då göra? Index med olika komponenter blir ogenomträngliga Jmf Lärarförbundet och Dagens samhälle Två huvudmöjligheter Resultat oberoende av kostnad (output) Effektivitet (output/input) 11
Resultat: bara att se till meritvärde? 100 150 200 250 300 Meritvärde och utbildning (skolnivå) 1.5 2 2.5 3 Föräldrarnas utbildningsnivå mvsalsa2014 Fitted values 12
Skillnader i förutsättningar? SALSA Andel nyinvandrade Föräldrarnas utbildningsnivå Andel pojkar Förklarar ca 65% av spridningen i meritvärde mellan skolor Fungerar bättre på skolnivå än för kommuner Samma logik gäller dock 13
Meritvärde eller SALSA? Meritvärdestoppen SALSA-toppen Lidingö 247.3 Malung-Sälen 24.49 Danderyd 245.5 Strömstad 23.85 Vellinge 244.4 Ödeshög 21.16 Sollentuna 240.4 Öckerö 20.42 Hammarö 239.6 Vellinge 20.04 Nacka 236.8 Ockelbo 19.93 Lomma 236.6 Norsjö 19.43 Lund 233.5 Hylte 18.23 Öckerö 232.4 Lidingö 17.26 Täby 230 Sollentuna 17.03 Meritvärdesbotten SALSA-botten Timrå 186.5 Orsa -18.96 Fagersta 186.5 Kungsör -20.02 Sundsvall 185 Tibro -20.43 Orsa 184.7 Bollnäs -21.68 Smedjebacken 184.3 Timrå -23.88 Bollnäs 182.4 Övertorneå -23.91 Oxelösund 181.9 Vindeln -24.19 Ljusnarsberg 174.4 Sundsvall -27.62 Vingåker 160.2 Vingåker -28.22 Sorsele 151.2 Ljusnarsberg -33.20 14
Andra möjliga utfall Resultat på nationella prov Sammalagt eller i olika ämnen Andel behöriga till olika gymnasie- el högskoleprogram Fokus på nedre delen av fördelningen Oftast är genomsnittet mest intressant 15
Justerade meritvärden eller matteresultat (tex)? Meritvärde eller Matte-NP? 10 20 0-30 -20-10 -4-2 0 2 4 NP matematik (justerat) 16
Val av utfall spelar roll Meritvärdestoppen SALSA-toppen MatteNP-SALSA (toppen) SnittNP-SALSA (toppen) Lidingö 247.3 Malung-Sälen 24.49 Norsjö 3.35 Norsjö 2.96 Danderyd 245.5 Strömstad 23.85 Malung-Sälen 3.34 Malung-Sälen 2.35 Vellinge 244.4 Ödeshög 21.16 Storfors 2.33 Arjeplog 1.86 Sollentuna 240.4 Öckerö 20.42 Arjeplog 2.08 Strömstad 1.76 Hammarö 239.6 Vellinge 20.04 Grästorp 2.05 Aneby 1.39 Nacka 236.8 Ockelbo 19.93 Aneby 2.03 Sundbyberg 1.29 Lomma 236.6 Norsjö 19.43 Töreboda 1.83 Hylte 1.25 Lund 233.5 Hylte 18.23 Torsås 1.80 Töreboda 1.24 Öckerö 232.4 Lidingö 17.26 Herrljunga 1.75 Täby 1.20 Täby 230 Sollentuna 17.03 Strömstad 1.73 Nacka 1.16 Meritvärdesbotten SALSA-botten MatteNP-SALSA (botten) SnittNP-SALSA (botten) Timrå 186.5 Orsa -18.96 Bengtsfors -1.95 Hofors -1.31 Fagersta 186.5 Kungsör -20.02 Timrå -1.96 Filipstad -1.38 Sundsvall 185 Tibro -20.43 Vännäs -2.07 Ovanåker -1.39 Orsa 184.7 Bollnäs -21.68 Hultsfred -2.11 Lekeberg -1.39 Smedjebacken 184.3 Timrå -23.88 Orsa -2.13 Sunne -1.44 Bollnäs 182.4 Övertorneå -23.91 Storuman -2.13 Bengtsfors -1.46 Oxelösund 181.9 Vindeln -24.19 Bollnäs -2.14 Emmaboda -1.53 Ljusnarsberg 174.4 Sundsvall -27.62 Skinnskatteberg -2.25 Timrå -1.57 Vingåker 160.2 Vingåker -28.22 Ragunda -2.34 Storuman -1.71 Sorsele 151.2 Ljusnarsberg -33.20 Lessebo -2.72 Lessebo -2.09 17
Kostnader Relativt lätt att mäta: totalkostnad/elev men hur göra med lokalkostnader? Strukturella faktorer påverkar dock Elevunderlag Befolkningstäthet Lokalkostnader Kan justera kostnader på samma sätt som SALSA Förklarar ~20% av spridningen i kostnader 18
Effektivitetsmått Resultat (justerat)/kostnad (justerad) Högre är bättre Olika utfall ger fortfarande olika svar 19
Olika mått, olika resultat Meritvärdestoppen Effektivitet i meritvärde (topp) Effektivitet i matte (topp) Effektivitet i NP (topp) Lidingö 247.3 Malung-Sälen 0.268 Malung-Sälen 0.037 Norsjö 0.032 Danderyd 245.5 Strömstad 0.242 Norsjö 0.036 Malung-Sälen 0.026 Vellinge 244.4 Lidingö 0.213 Grästorp 0.024 Strömstad 0.018 Sollentuna 240.4 Öckerö 0.212 Storfors 0.024 Arjeplog 0.017 Hammarö 239.6 Vellinge 0.211 Aneby 0.022 Aneby 0.015 Nacka 236.8 Norsjö 0.208 Töreboda 0.020 Töreboda 0.013 Lomma 236.6 Ödeshög 0.194 Uppvidinge 0.019 Hylte 0.013 Lund 233.5 Hylte 0.194 Åmål 0.019 Täby 0.013 Öckerö 232.4 Ockelbo 0.190 Arjeplog 0.019 Sundbyberg 0.013 Täby 230 Aneby 0.188 Herrljunga 0.018 Uppvidinge 0.012 Meritvärdesbotten Effektivitet i meritvärde (botten) Effektivitet i matte (botten) Effektivitet i NP (botten) Timrå 186.5 Munkfors -0.199 Mullsjö -0.020 Sunne -0.015 Fagersta 186.5 Kungsör -0.215 Storuman -0.021 Torsby -0.015 Sundsvall 185 Vindeln -0.218 Timrå -0.021 Lekeberg -0.015 Orsa 184.7 Tibro -0.220 Orsa -0.022 Emmaboda -0.016 Smedjebacken 184.3 Bollnäs -0.227 Bollnäs -0.022 Ovanåker -0.016 Bollnäs 182.4 Övertorneå -0.233 Skinnskatteberg -0.023 Filipstad -0.016 Oxelösund 181.9 Timrå -0.260 Ragunda -0.023 Storuman -0.017 Ljusnarsberg 174.4 Sundsvall -0.273 Hultsfred -0.024 Timrå -0.017 Vingåker 160.2 Vingåker -0.317 Bengtsfors -0.025 Bengtsfors -0.019 Sorsele 151.2 Ljusnarsberg -0.368 Lessebo -0.027 Lessebo -0.021 20
Bästa mått beror på vad man är intresserad av Effektivitet i betyg eller matte?.2.4 0 -.4 -.2 -.04 -.02 0.02.04 Effektivitet i matte 21
Många skillnader är små: rangordning blåser upp dem Resultat Effektivitet 10 15 20 Plats 217 Plats 72 Procent 10 15 20 Plats 217 Plats 72 0 5 0 5-30 -20-10 0 10 20 Justerat meritvärde -.4 -.2 0.2 Effektivitet i meritvärde 22
Faktiska värden stabilare mellan år än rangordningar 100 200 300 Effektivitet i meritvärde Värde 2014.2.4 0 Effektivitet i meritvärde 0 -.4 -.2 0 100 200 300 Rangordning 2013 -.4 -.2 0.2.4 Värde 2013 23
Mätfel viktigt även i mina mått Mer slumpvis variation i små än stora kommuner Prediktion: de bästa och de sämsta varje år kommer att vara relativt små kommuner Antal elever Medel Median Alla kommuner 281 158 Bästa 10 (2014) 122 92 Sämsta 10 (2014) 110 104 24
Vad mäter Lärarförbundets rangordning? Resultatmått Samvariation mellan LFs rank och Ojusterade meritvärden 0.37 Justerade meritvärden 0.27 Justerade NP-matematik 0.21 Justerade NP-snitt 0.17 Effektivitetsmått Samvariation mellan LFs rank och Ojusterade meritvärden Justerade meritvärden Justerade NP-matematik Justerade NP-snitt 0.2 0.27 0.2 0.17 Samvariation går mellan -1 och 1 25
Vad mäter mina mått (ej rangordning) Resultat Meritvärde Meritvärde justerat NP-matte justerat Meritvärde justerat 0.77 NP-matte justerat 0.37 0.48 NP-snitt justerat 0.4 0.52 0.92 Effektivitet Meritvärde Meritvärde justerat NP-matte justerat Meritvärde justerat 0.41 NP-matte justerat 0.16 0.47 NP-snitt justerat 0.14 0.52 0.93 Inget mått mäter allt 26
Summering Jämförelser kan vara användbara Vi kan lära av varandra Inget mått svarar på allt Undersök det ni är intresserade av Mätfel och slumpfaktorer i alla mått Årsvisa förändringar ofta brus Rangordningar baserade på index bör oftast ignoreras Blandar många mått, efter avsändarens intresse Alla rangordningar blåser upp mätfel 27
Resultat i skånska kommuner Obs! Exemplen är framtagna för att illustrera frågans komplexitet. Ej granskade, publicerade resultat. 28
Effektivitet i skånska kommuner Obs! Exemplen är framtagna för att illustrera frågans komplexitet. Ej granskade, publicerade resultat. 29