Verksamhetsutvärdering av Mattecentrum

Relevanta dokument
Verksamhetsutvärdering av Mattecentrum

Skolkvalitet, lönsamhet och betygsinflation

Föreläsning 10, del 1: Icke-linjära samband och outliers

Skolprestationer på kommunnivå med hänsyn tagen till socioekonomi

Fler mått för att analysera elevers resultat i grundskolan och gymnasieskolan

TVM-Matematik Adam Jonsson

Repetitionsföreläsning

LTH: Fastighetsekonomi sep Enkel och multipel linjär regressionsanalys HYPOTESPRÖVNING

Laboration 2. Omprovsuppgift MÄLARDALENS HÖGSKOLA. Akademin för ekonomi, samhälle och teknik

Att välja statistisk metod

Kapitel 22: KLUSTRADE SAMPEL OCH PANELDATA

Kapitel 15: INTERAKTIONER, STANDARDISERADE SKALOR OCH ICKE-LINJÄRA EFFEKTER

LABORATION 3 - Regressionsanalys

Poolade data över tiden och över tvärsnittet. Oberoende poolade tvärsnittsdatamängder från olika tidpunkter.

Skolverket Dokumentdatum: Dnr: : (22)

Kapitel 18: LINJÄRA SANNOLIKHETSMODELLER, LOGIT OCH PROBIT

Slutbetyg i grundskolan våren 2013

Statistiska analysmetoder, en introduktion. Fördjupad forskningsmetodik, allmän del Våren 2018

InStat Exempel 4 Korrelation och Regression

Skillnaden mellan betygsresultat på nationella prov och ämnesbetyg i årskurs 9, läsåret 2009/10

Linjär regressionsanalys. Wieland Wermke

Analytisk statistik. 1. Estimering. Statistisk interferens. Statistisk interferens

Bild 1. Bild 2 Sammanfattning Statistik I. Bild 3 Hypotesprövning. Medicinsk statistik II

Regressionsanalys av lägenhetspriser i Spånga

Föreläsning 9. NDAB01 Statistik; teori och tillämpning i biologi

Analytisk statistik. Tony Pansell, optiker Universitetslektor

BARN- OCH UTBILDNINGSFÖRVALTNINGEN

Multipel Regressionsmodellen

Faktorer som påverkar befolkningstillväxten av unga individer i olika kommuntyper

Sänkningen av parasitnivåerna i blodet

Tentamen på. Statistik och kvantitativa undersökningar STA101, 15 hp. Fredagen den 9 e juni Ten 1, 9 hp

Terminsbetyg i årskurs 6, våren 2016

Resursfördelningsmodellen

Företagsklimatet viktigt för ungas val av kommun. Johan Kreicbergs April 2009

Föreläsning 9. NDAB02 Statistik; teori och tillämpning i biologi

Relationen mellan provresultat och betyg i grundskolans årskurs 6 och årskurs

Användning. Fixed & Random. Centrering. Multilevel Modeling (MLM) Var sak på sin nivå

F18 MULTIPEL LINJÄR REGRESSION, FORTS. (NCT

Slutbetyg i grundskolan, våren 2015

a) Anpassa en trinomial responsmodell med övriga relevanta variabler som (icketransformerade)

Nationella prov i gymnasieskolan och komvux vårterminen 2011

Resultatet läggs in i ladok senast 13 juni 2014.

Delkursplan för Sociologisk Analys HT 11, 7,5 högskolepoäng.

Kapitel 4: SAMBANDET MELLAN VARIABLER: REGRESSIONSLINJEN

Resultatredovisning grundskola 268,6 92,3 95,6. Betyg, behörighet och nationella prov. Meritvärde årskurs 9, genomsnitt 17 ämnen

Appendix A (till kapitel 2) Köp av verksamhet från privata företag som andel av netto kostnader, samtliga landsting, Se följande uppslag.

Uppföljning av skolresultat för förskoleklass och grundskola läsår Dnr BUN15/

Rika barn lära bäst? Om klyftorna i den svenska skolan

Betyg i årskurs 6, vårterminen 2018

Autokorrelation och Durbin-Watson testet. Patrik Zetterberg. 17 december 2012

Facit till Extra övningsuppgifter

Delkursplan för Sociologisk Analys kvantitativ del VT 11, 4,5 hp

Tillämpad statistik (A5), HT15 Föreläsning 24: Tidsserieanalys III

Analyser av familjebakgrundens betydelse för skolresultaten och skillnader mellan skolor

Designförändringar mellan PISA 2012 och PISA 2015 en metodstudie

Regressionsanalys med SPSS Kimmo Sorjonen (2010)

Redovisning av regeringsuppdrag

Delkursplan för Sociologisk Analys kvantitativ del VT 14, 4,5 högskolepoäng.

Rekrytering av internationell kompetens

Resultat från ämnesproven i årskurs 9 vårterminen

Bilaga 6 till rapport 1 (5)

Omkring elever avslutade årskurs 9 våren av dem gick i någon av Nynäshamns kommunala grundskolor.

En empirisk studie om sambandet mellan inspektionsbesök och kemtvättars miljöbeteende i Stockholm

PM - Resultat i gymnasieskolan. Läsåret 2017/2018

Tentamen på. Statistik och kvantitativa undersökningar STA101, 15 hp. Torsdagen den 23 e mars Ten 1, 9 hp

Konkurrensens påverkan på betygsinflation

TIMSS, TIMSS Advanced och betygen

Tillämpad statistik (A5), HT15 Föreläsning 11: Multipel linjär regression 2

Instruktioner för undersökningen Nationella kursprov för gymnasieskolan, Vt 2014.

Slutbetyg i grundskolan, våren 2014

Residualanalys. Finansiell statistik, vt-05. Normalfördelade? Normalfördelade? För modellen

Lärare 4. Lärare 1 Binomial och normalfördelning Fel i statistiska undersökningar Att tolka undersökningar Falska samband Jämföra i tid och rum

F3 Introduktion Stickprov

Kapitel 12: TEST GÄLLANDE EN GRUPP KOEFFICIENTER - ANOVA

Beslut för förskoleklass och grundskola

Tentamensgenomgång och återlämning: Måndagen 9/6 kl12.00 i B413. Därefter kan skrivningarna hämtas på studentexpeditionen, plan 7 i B-huset.

Användning. Fixed & Random. Centrering. Multilevel Modeling (MLM) Var sak på sin nivå

Bedömning och betyg - redovisning av två rapporter

ÖVNINGSUPPGIFTER KAPITEL 7

PM - Terminsbetyg i årskurs 6. Vårterminen 2018

Finns förstelärarna där de bäst behövs?

Medicinsk statistik II

Nationella prov i gymnasieskolan och komvux, vårterminen 2010

Redovisning av uppdrag om skillnaden mellan betygsresultat på nationella prov och ämnesbetyg i svenska, matematik och engelska i årskurs 9

Elever och resultat i kommunal vuxenutbildning år 2016

Poissonregression. E(y x1, x2,.xn) = exp( 0 + 1x1 +.+ kxk)

Laboration 2 multipel linjär regression

Öppna jämförelser Grundskola Täby kommun

F19, (Multipel linjär regression forts) och F20, Chi-två test.

Öppna jämförelser Grundskola Östersunds kommun

En beskrivning av terminsbetygen våren 2013 i grundskolans

Makar som delar på kakan en ESO-rapport om jämställda pensioner

Slutbetyg i grundskolan, våren Dokumentdatum: Diarienummer: :1513

Analytisk statistik. Mattias Nilsson Benfatto, PhD.

Kursplan för Sociologisk Analys VT 09, 7,5 högskolepoäng. (Syllabus for Quantitative Sociological Methods, 7.5 ECTS)

Redovisning av uppdrag om avvikelser mellan provresultat och kursbetyg i gymnasieskolan Dnr U2011/7258/SAM/S

Måttbandet nr 215 december 2011

Elever och studieresultat i sfi 2012

Redovisning av elevresultat våren 2016 i grundskolan, del II

Resultat från ombedömningen av nationella prov VT2014, Örnaskolan 1

Transkript:

Verksamhetsutvärdering av Mattecentrum April 2016 www.numbersanalytics.se info@numbersanalytics.se Presskontakt: Oskar Eriksson, 0732 096657 oskar@numbersanalytics.se

INNEHÅLLSFÖRTECKNING Inledning... 3 Data... 3 Metod... 3 Resultat... 6 Numbers Analytics är en statistikbyrå som sätter samhället först. Där statistik och samhällsfrågor möts finns vi och tillämpar statistisk metod på verkliga problem. Genom kvalificerad statistisk analys hjälper vi våra kunder att gå från data till kunskap. numbersanalytics.se

INLEDNING Numbers Analytics har på förfrågan gjort en självständig utvärdering av Mattecentrums verksamhet. Syftet med undersökningen är att ge en bild av vilken effekt räknestugorna har haft på kunskapsnivåerna inom matematik, genom att modellera förändringen i betyg på nationella prov. Denna analys visar att skolor och kommuner med Mattecentrums verksamhet har en bättre betygsutveckling jämfört med övriga skolor. DATA Data som använts kommer ur två källor som sammansatts. Den första är Mattecentrums egen data över vilka skolor de har verksamhet på samt från vilken tidpunkt den verksamheten pågått. Den andra är Skolverkets statistik över skolresultat, tillgängliga för allmänheten genom databasen SIRIS. METOD För att modellera effekten av Mattecentrum har utvecklingen i genomsnittsbetyg i de nationella proven i matematik för samtliga Sveriges gymnasieskolor från HT 2011 till VT 2015 analyserats. Utvecklingen av genomsnittsbetyg undersöks för att undvika potentiell snedvridning av resultaten, då Mattecentrum tenderar att vara på skolor med något högre genomsnittsbetyg (vilket diskuteras senare i rapporten). Analysen är gjord med så kallad paneldata, det vill säga data över många skolor över flera terminer, och därför har en regressionsmodell med fixed effects använts. Fixed effects-modeller fungerar genom att dummyvariabler introduceras för varje skola, vilka fångar upp effekten av alla variabler som kan anses vara konstanta under tidsperioden. Det innebär att variabler så som elevernas socioekonomiska bakgrund, föräldrarnas utbildningsnivå, lärarnas 3

kunskapsnivå et cetera blir korrigerade för. Utöver dessa dummyvariabler har även dummyvariabler införts för varje enskild termin och för varje enskild matematikkurs, vilket fångar upp eventuella terminsoch kursspecifika effekter i datan. Dessa tidsberoende fixed effectsvariabler är framförallt viktiga av två anledningar; dels är det inte orimligt att anta att det uppstått vissa kalibreringseffekter under de första terminerna när det nya betygssystemet infördes HT 2011, dels så gör det att hänsyn tas till eventuell betygsinflation. Variabeln som undersökts i analysen är förändringen i genomsnittsbetyg på den 20-gradiga översatta betygsskalan i de nationella proven i matematik för varje enskilt program och kurs på varje gymnasieskola i Sverige mellan två läsår. Den 20-gradiga betygsskalan har använts då detta är den skala på vilken skolorna rapporterar in sina genomsnittsbetyg till Skolverket. Ett genomsnittsbetyg på 20 innebär att samtliga elever fått A på det nationella provet, och ett genomsnittsbetyg på 0 innebär att samtliga elever fått F på det nationella provet. Mer information om betygsskalan finns att tillgå hos Skolverket. Det finns ett maximalt och ett minimalt värde på betygsskalan vilket leder till att det finns en risk att så kallade golv- och takeffekter uppstår för skolor som ligger närmare de extrema värdena på skalan. Detta eftersom en skola med högre genomsnittligt betygspoäng omöjligt kan höja sitt genomsnittliga betygspoäng mer än en skola med lägre genomsnittligt betygspoäng. En analys av medelvärden visar dock att skolor med Mattecentrum i genomsnitt har något högre genomsnittlig betygspoäng än skolor utan Mattecentrum, vilket indikerar att om någon effekt påverkar dessa skolor bör dessa i större utsträckning vara takeffekter. Detta innebär att eventuellt bias bör vara negativt snarare än positivt. Eftersom positivt bias är osannolikt i analysen är det därmed rimligt med hänsyn till försiktighetsprincipen att genomföra analysen trots risken för dessa golv- och takeffekter. I och med att det inte är uteslutet att observationerna (skolorna och kommunerna, såväl som terminerna) är korrelerade med varandra 4

används så kallade klustrade standardfel för att beräkna om resultaten är statistiskt signifikanta. Dessa kluster är tvåvägskluster på både skolnivå och på terminsnivå som tar hänsyn till eventuell korrelation. Två modeller har undersökts, där förändringen i genomsnittsbetyg regresseras mot en variabel som antingen mäter huruvida Mattecentrum finns representerad på skolan eller ej, eller som mäter huruvida Mattecentrum finns representerat i kommunen. Om Mattecentrum finns representerat på en skola har alla skolenheter på denna skola klassats som att ha verksamhet med Mattecentrum. Variabeln som mäter om Mattecentrum finns på skolan (eller kommunen) är kodad som logaritmen * av antalet terminer som Mattecentrum funnits på skolan (eller kommunen). På grund av hög multikollinearitet, mätt genom VIF-tester, inkluderas inte båda dessa variabler i samma modell utan två separata modeller används för att testa effekten av Mattecentrum i skolor och Mattecentrum i kommuner. Att Mattecentrumvariabeln är kodad som logaritmen av antalet terminer Mattecentrum haft sin verksamhet på skolan (eller kommunen) innebär att det antas att Mattecentrum har en ökande effekt ju längre Mattecentrum funnits på skolan (kommunen), men att denna ökning är avtagande. Detta är ett rimligt antagande eftersom ju längre Mattecentrum finns representerat, desto mer etablerat blir Mattecentrum bland elever, lärare och föräldrar, och dessutom kan det antas att volontärerna blir allt bättre på att hjälpa eleverna ju mer erfarna de blir. Hypotesen är att om Mattecentrum finns representerat på en skola eller i skolans kommun så kommer betygsutvecklingen på denna skola vara starkare än övriga skolor. Då den hypotiserade effekten är en ökning kommer ensidiga hypotestest att användas. * För att underlätta tolkningen av variabeln har logaritmen med bas två använts. Det påverkar inte signifikansnivåerna, jämfört med att använda den naturliga logaritmen. Mer specifikt används Log 2 (Antal terminer+1) eftersom log(1)=0 5

RESULTAT Resultatet från regressionsanalysen med fixed effects-modellen visar att det finns ett tydligt samband mellan Mattecentrums existens och elevernas betygsutveckling. I båda modellerna (för Mattecentrum på skolor och Mattecentrum i kommun) visar analysen att Mattecentrum har en positiv statistiskt signifikant effekt på förändringen av genomsnittsbetyget i de nationella proven i matematik. I modellen där Mattecentrums verksamhet kodats på skolnivå ligger den uppskattade koefficienten på 0.2 (signifikant på 10 % signifikansnivå), och i modellen där verksamheten kodats på kommunnivå är den uppskattade koefficienten 0.542 (signifikant på 5 % signifikansnivå). Att effekten på kommunnivå är starkare än effekten på skolnivå kan te sig ologiskt, men är en effekt som skulle kunna uppstå på grund av relativt högre multikollinearitet mellan fixed effects-variablerna och Mattecentrum-variabeln på skolnivå, jämfört med fixed effectsvariablerna och Mattecentrum-variabeln på kommunnivå. Som robusthetskontroll har analysen därför även gjorts med fixed effectsvariabler på kommunnivå istället för på skolnivå. Denna omspecifikation påverkar inte resultatet nämnvärt med avseende på riktning och signifikans, men gör däremot att effekten av Mattecentrums verksamhet på en skola blir starkare än effekten av Mattecentrums verksamhet i en kommun. Det stärker hypotesen att anledningen till att variabeln på kommunnivå är starkare än variabeln på skolnivå i den ursprungliga modellen kan (delvis) vara ett resultat av multikollinearitet. 6

Logaritmerade variabler är generellt inte lika intuitiva att tolka som linjära variabler, men med dessa modellspecifikationer innebär de uppskattade koefficienterna att om Mattecentrums verksamhet finns på en skola så ökar genomsnittsförändringen i betyg mellan två läsår med i genomsnitt 0,2 betygspoäng för varje fördubbling av antalet terminer som Mattecentrums verksamhet funnits på skolan. Samma tolkning, fast med en ökning av 0,542 betygspoäng, gäller ifall Mattecentrums verksamhet finns i en kommun. Modellen har även testats i en specifikation där de logaritmerade variablerna ersatts av dummyvariabler som mäter om Mattecentrums verksamhet finns representerat på en skola (kommun). I dessa modeller är variabeln för Mattecentrums verksamhet på en skola fortfarande positiv och statistiskt signifikant, medan variabeln för Mattecentrums effekt på kommunnivå inte är signifikant. Resultatet, i kombination med det faktum att variabeln som mäter effekten av Mattecentrum på kommunnivå i det logaritmerade fallet är starkare än Eftersom log 2 används blir det en fördubbling, jämfört med en ökning på 171% om den naturliga logaritmen använts. Tolkningen är dock approximativ då variabeln är kodad som log 2 (antal terminer+1) eftersom log 2 (1)=0 och log 2 (2)=1. Den exakta tolkningen blir därför att effekten är för varje fördubbling av antal terminer med Mattecentrum + 1, det vill säga från termin 1 till 3, från termin 3 till 7 osv. 7

variabeln på skolnivå, tyder på att det tar längre tid för Mattecentrum att få effekt på kommunnivå än på skolnivå, men när Mattecentrum börjar få effekt så är magnituden av effekten större på kommunnivå än på skolnivå. Resultaten är rimliga eftersom det kan anses ta längre tid att sprida information till andra skolor än de skolor där verksamheten är förlagd. Däremot, när information väl spridits kommer elever från många olika skolor till verksamheten och därmed fås en bredare effekt på kommunnivå. 8