ATT MÄTA FRAMGÅNG I MATEMATIKPROJEKT MARTIN GRANDER MALMÖ HÖGSKOLA

Transkript

1 ATT MÄTA FRAMGÅNG I MATEMATIKPROJEKT MARTIN GRANDER martin.grander@mah.se HUR VET DU ATT DU HAR LYCKATS MED DITT PROJEKT? Hur kan du kontinuerligt arbeta för att mäta framgång när det gäller effekter på såväl elev, lärar och projektnivå? Hur kan man formulera mål och delmål på ett bra sätt? Vikten av dokumentation Hur kan man använda kontrollgrupper? Olika typer av utvärdering Ställa rätt frågor på rätt sätt Tolka resultatet av din utvärdering MÄTNINGENS DILEMMA VARFÖR UTVÄRDERA? There s no need to see where I m going, I just need to know where I ve been! Tow Mater Alice: -Kan du säga mig vilken väg jag skall ta? Katten: - Det beror på vart du ska gå. Alice: - Det vet jag inte Katten: - Då spelar det ingen roll vilken väg du tar. Kontroll Lärande Projektledaren: - Kan du säga mig vad jag ska mäta? Utvärderaren: - Det beror på vad du vill uppnå. Projektledaren: - Det vet jag inte Utvärderaren: - Då spelar det ingen roll vad du mäter. Symbolik Grundkunskap Utvärdering är en bedömande granskning av någonting: ett projekt, en reform eller ett program 1

2 UTVÄRDERA VAD? Lärande? Personlig utveckling? Nöjdhet? Lunchen? UTVÄRDERA MOT NÅGOT Idag har jag lärt mig om utvärdering av matematikprojekt 1 i mycket låg grad 6 i mycket hög grad Det som ska utvärderas måste utvärderas i relation till något! Kursplan Mål m, Idag har jag lärt mig om utvärdering av matematikprojekt 1 i mycket mindre grad än vad jag förväntade mig 3 i exakt den grad som jag förväntade mig 5 i mycket högre grad än vad jag förväntade mig v Ambitioner Förväntningar SYSTEMATISKT KVALITETSARBETE Utvärderingsmetodik Har vi uppnått målen? Är utfallet orsakat av insatsen? Måluppfyllelsemodellen Kräver målstyrd verksamhet. Systemmodellen Ser det utvärderade som en del i en helhet, där också omgivningen spelar in. Målen är dock fortfarande den organiserande principen Ökande Komplexitet Målbaserad utvärdering Brukarbaserad utvärdering Förutom att utvärdera målen och bidragande orsaker undersöker man här också bieffekter, såväl önskade som icke önskade. Här handlar det om kunden, hennes mål, förväntningar och behov Huvudfrågan är vad klienterna egentligen förväntar sig och om programmet motsvarar detta. Intressentutvärdering Beaktar alla intressenter, inte bara brukare. T ex andra årskurser/skolor, kommunen, högskolan etc Programteori Länkar samman medel och mål i en utvärdering genom att beskriva teoretiska antaganden bakom en åtgärd. Det handlar om att förstå insatsens teori och logik, vad som förväntas hända och genom vilka mekanismer effekter som tänks uppstå. 2

3 Problemformuleringsprivilegiet Vem definierar vad som är ett problem? För att kunna skapa lösningar måste vi känna till problemet. Och för att kunna skapa framgångsrika lösningar måste vi kunna formulera vettiga mål. Vad är målet? Men det här kan ni ju redan, för ni har ju fått pengar. Eller hur? VAD ÄR MÅLET? Interna målsättningar Vad är medlet? Externa målsättningar Kvantitativa mål Kortsiktiga Enkla att mäta Inriktningsmål Effektmål Kvalitativa mål Tjänsten i sig Relationen Servicenivå Specifikt Mätbart Accepterat Realistiskt Tidssatt 3

4 Framgångskriterier Det är lätt att mäta medel ofta är det svårare att mäta mål Hur gör man då för att mäta mål? Sätt framgångskriterier för varje mål hur vet vi när vi är framme? Konkretisera För varje mål: sätt delmål För varje delmål: sätt ett nyckelvärde Kvantifiera men med försiktighet Utvärdera när? Måluppfyllelseutvärdering ex post Processutvärdering löpande, aktiv och longitudinell Utvärdera vem? Intern eller extern utvärderare? Utvärdera hur? Kvalitativa metoder Intervjuer Observation Studier av dokumentation Kvantitativa metoder Utfallsanalys Enkäter (t ex Metodtriangulering Ställ rätt frågor - På rätt sätt The most serious mistakes are not being made as a result of wrong answers. The truly dangerous thing is asking the wrong question Peter Drucker Everything that can be counted does not necessarily count; everything that counts cannot necessarily be counted Albert Einstein Vad vill du veta? Hur kan du få svar på din fråga? Kommer svaret att vara användbart? Ställ inte för många frågor! En fråga i taget Var specifik Våga ställa dumma frågor Frågan om mittenalternativet Kommer svaret att vara användbart? 4

5 Mätsvårigheter Kontrollgrupp Effekter av matematiksatsningar är ofta långsiktiga och väldigt svåra att mäta på elevnivå uppföljning viktigt. Svårigheter att kontrollera validiteten och reliabiliteten i ett resultat Mycket som kan påverka ett utfall - Vad beror på insatserna i projektet? Vad beror på andra faktorer? Förändringar i elevunderlag Läroplaner, kursplaner mm Andra ämnen Årstiden Ett sätt att säkerställa validiteten är att använda sig av processutvärdering, ett annat sätt är att använda en kontrollgrupp 100% 80% 60% 40% 20% 0% Kontinuerliga jämförelser med en likvärdig grupp som inte deltar i studien. Matematikundervisningen har kopplingar till det som sker i min vardag 13% 39% 38% 10% Mätgrupp 4% 31% 20% 45% Kontrollgrupp 4 Håller helt med Håller inte alls med 6,0 Hur ofta förekommer följande under en matematiklektion? Hur ofta förekommer följande under en matematiklektion? 5,0 4,0 3,0 2,0 1,0 6,0 5,0 4,0 3,0 2,0 1,0 Lärare Elever Innan projektstart Efter projektslut 5

6 6 I vilken grad tycker du att dina elever får den utmaning de behöver? (1= i mycket låg grad, 6= i mycket hög grad) (medelvärde) Elevernas intresse för matematik har ökat 6,0 5 4,5 5,0 4, ,8 Innan projektstart Efter projektslut 4,0 3,0 3,8 4,2 Medelvärde lärare Medelvärde elever Medelvärde föräldrar 2 2,0 1 Medelvärde 1,0 Gruppövningar När har du lyckats med ditt projekt? Vilka delmål och framgångskriterier kan du sätta upp i ditt projekt för att veta att du har lyckats? Hur ska du utvärdera för att se om ditt projekt har gjort någon skillnad? På vilket sätt kan du dokumentera ditt projekt för att enkelt kunna utvärdera? Hur kan du veta att eventuella förändringar hos elever eller lärare går att tillskriva just insatserna i projektet? 6