Slutrapport - Räkna med Västerås

Transkript

1 TJÄNSTEUTLÅTANDE Datum Sida 1 (2) Diarienr GSN 2015/ Barn- och utbildningsförvaltningen Bodil Lövgren Epost: bodil.lovgren@vasteras.se Kopia till Grundskolenämnden Slutrapport - Räkna med Västerås Förslag till beslut Grundskolenämnden tar del av slutrapporten Vad göra? Framåtblickande slutrapport från projektet Räkna med Västerås och överlämnar den till barnoch utbildningsförvaltningen för vidare hantering av de rekommendationer som lämnas i rapporten. Ärendebeskrivning Räkna med Västerås (RäV) var ett forskningsbaserat skolutvecklingsprojekt i Västerås stads kommunala skolor under åren 2012 till Projektet var ett samarbete mellan Västerås stad och Mälardalens högskola (MDH) med ursprung inom ramen för Mälardalens kompetenscentrum för lärande (MKL). RäVs övergripande mål var att forskningsbasera Västerås stads utvecklingsarbete kring matematikundervisning och projektets syfte var att elever i Västerås skulle utveckla kunskaper i matematik kopplat till alla de förmågor som anges i kursplanen i matematik för grundskolan. Utifrån internationell forskning gjorde projektgruppen för RäV analysen att för att detta skulle kunna ske behövde Västerås både utveckla sin organisation, och de enskilda skolornas verksamhet på flera plan. Vad gäller skolorna fanns ett speciellt fokus på att bland lärare uppnå produktiv kollegial planering och reflektion i syfte att påverka undervisningens genomförande i klassrummen. Rapporten Vad göra? Framåtblickande slutrapport från projektet Räkna med Västerås är en framåtblickande slutrapportering av projektet och avslutas med ett antal rekommendationer till Västerås stad. Beslutsmotivering Det är uppenbart att projektet har påverkat lärares attityder, undervisning och elevers resultat positivt. Projektet har dessutom haft inflytande över organisation och på vilket sätt man talar om skol- och undervisningsutveckling i Västerås. Kollegialt lärande och olika roller för utvecklingsarbete har etablerats och man har mer av ett gemensamt språk för detta än man hade innan RäV. Projektet har betytt mycket för kontakten mellan Västerås stad och MDH. För MDHs del har den inneburit en ovanlig möjlighet att bygga kompetens kring hur man kan arbeta med och beforska skolutveckling i samarbete med en kommun samtidigt som medarbetare har kunnat meritera sig genom publikationer baserade på projektet.

2 VÄSTERÅS STAD Datum Diarienr GSN 2015/ Sida 2 (2) Sammanfattningsvis är rekommendationerna till Västerås stad i den här rapporten att: 1. Bevara det moment i utveckling av undervisning och verksamhet som finns. 2. Etablera en enkel, tydlig och gemensam i det statliga uppdraget förankrad vision för skolverksamheten med fastställd ansvarsfördelning för fastlagda mål. 3. Organisera för permanent verksamhetsutveckling av kärnverksamheterna genom att etablera en kultur av på enhetsnivå förankrat utvecklingsarbete och kollegialt lärande. 4. Använd resultatdata och diagnoser intelligent. 5. Styr med sammanhang och återhållsamt. 6. Bygg kapacitet och kompetens för detta. Bilaga Vad göra? Framåtblickande slutrapport från projektet Räkna med Västerås

3 Vad göra? Framåtblickande slutrapport från projektet Räkna med Västerås Per Kornhall, november

4 Sammanfattning Det här är en sammanfattande och framåtblickande rapport från projektet Räkna med Västerås som drevs som samarbete mellan Västerås stad och Mälardalens högskola (MDH) Det är uppenbart att projektet har påverkat lärares attityder, undervisning och elevers resultat positivt. Projektet har dessutom haft inflytande över organisation och på vilket sätt man talar om skol- och undervisningsutveckling i Västerås. Kollegialt lärande och olika roller för utvecklingsarbete har etablerats och man har mer av ett gemensamt språk för detta än man hade innan RäV. Projektet måste betraktas som mycket lyckat och har betytt mycket för kontakten mellan Västerås stad och MDH. För MDHs del har den inneburit en ovanlig möjlighet att bygga kompetens kring hur man kan arbeta med och beforska skolutveckling i samarbete med en kommun samtidigt som medarbetare har kunnat meritera sig genom publikationer baserade på projektet. Sammanfattningsvis är rekommendationerna till Västerås stad i den här rapporten att: 1. Bevara det moment i utveckling av undervisning och verksamhet som finns. 2. Etablera en enkel, tydlig och gemensam i det statliga uppdraget förankrad vision för skolverksamheten med fastställd ansvarsfördelning för fastlagda mål. 3. Organisera för permanent verksamhetsutveckling av kärnverksamheterna genom att etablera en kultur av på enhetsnivå förankrat utvecklingsarbete och kollegialt lärande 4. Använd resultatdata och diagnoser intelligent 5. Styr med sammanhang och återhållsamt 6. Bygg kapacitet och kompetens för detta Rekommendationerna för MKL/MDH är att ta tillvara och utveckla den kompetens som har byggts upp på MDH genom att etablera en professur i skolutveckling och utveckla praktiknära forskningssamarbete med kommuner som har forskningsutbildade lärare anställda. Per Kornhall Uppsala den 10 oktober

5 Innehållsförteckning SAMMANFATTNING 2 INNEHÅLLSFÖRTECKNING 3 DEL 1 BAKGRUND, UTFÖRANDE OCH RESULTAT 4 Inledning 4 Bakgrund 5 Projektplanens innehåll 6 Projektets utförande 8 Hur blev det? 10 Enkäter 10 Effekter på elevresultat 12 Publikationer 13 Påverkan på organisation, spin-off och komplexitet 14 Intervjuer 14 Blev visionen uppfylld? 15 DEL 2 FJÄRDE GENERATIONENS SKOLUTVECKLING OCH ATT LÄRA SNABBT I PRAKTIKEN 17 Fjärde generationens skolutveckling 17 Att lära snabbt i praktiken - förändringsforskning 19 DEL 3. FRAMTIDEN? 21 RäV och sedan då? Bevara det som är påbörjat En vision Organisera för permanent verksamhetsutveckling Använd data intelligent Styr med sammanhang och återhållsamt Bygg kapacitet och kompetens Inrätta en professur i skolutveckling Praktiknära forskning 29 Slutord 30 KÄLLOR 31 BILAGA. ÖVERSIKT ÖVER SKOLORS DELTAGANDE 32 3

6 Del 1 Bakgrund, utförande och resultat Inledning Räkna med Västerås (RäV) var ett forskningsbaserat skolutvecklingsprojekt i Västerås stads kommunala skolor under åren 2012 till Projektet var ett samarbete mellan Västerås stad och Mälardalens högskola (MDH) med ursprung inom ramen för Mälardalens kompetenscentrum för lärande (MKL) 1. RäVs övergripande mål var att forskningsbasera Västerås stads utvecklingsarbete kring matematikundervisning och projektets syfte var att elever i Västerås skulle utveckla kunskaper i matematik kopplat till alla de förmågor som anges i kursplanen i matematik för grundskolan. Utifrån internationell forskning gjorde projektgruppen för RäV 2 analysen att för att detta skulle kunna ske behövde Västerås både utveckla sin organisation, och de enskilda skolornas verksamhet på flera plan. Vad gäller skolorna fanns ett speciellt fokus på att bland lärare uppnå produktiv kollegial planering och reflektion i syfte att påverka undervisningens genomförande i klassrummen. Projektet innebar inte fortbildning i traditionell mening där lärare informeras/undervisas utan innebar också en långsiktig etablering av strukturer, positioner, rutiner och ett fokus på kollegialt lärande på skolorna. Till exempel innehöll det kompetensutveckling som inkluderade såväl rektorer, matematikutvecklare 3, matematikmentorer 4, ämnesföreträdare inom matematik 5 likväl som arbetet på skolor tillsammans med lärare i matematik. Det går att hitta projekt i Sverige där forskning är knuten till olika delar i ett projekt men RäV är relativt unikt i och med att (i princip) alla skolor i en kommun var med och i att forskare påverkade både helheten och delarna och det i intim samverkan med huvudmannens organisation. Det senare gäller både hur projektet relaterade till linjeorganisationen och i den betoningen som fanns på att anpassa och förändra projektet till situationen i skolorna. Det var också en fortbildningsinsats som påverkade utformningen av de kurser doktoranderna/mentorerna genomgick som ett led i sin forskarutbildning. Ett speciellt fokus låg på att utveckla verktyg som stödjer lärare i att planera, genomföra och utvärdera så kallad rik klassrumsundervisning tillsammans med sina kollegor i ett så kallat kollegialt lärande 6. Matematik genom problemlösning och formativ undervisning utgjorde också två viktiga inslag i insatserna. Grundtanken var att påverka undervisningen i skolorna till att mer bygga på och utveckla elevers matematiska tänkande, detta genom att läraren tar en mer aktiv och undervisande roll än vad som ofta är fallet i svensk matematikundervisning 1 Regionens plattform för samverkan kring skolutveckling, lärarutbildning och forskning inom utbildningsvetenskap. 2 Som initialt bestod av professor Andreas Ryve, dåvarande lektor nu professor Kirsti Hemmi, matematikutvecklare Bodil Lövgren, enhetschef Minna Avrin och strateg Tord Karlsson. Sedan tillkom doktoranderna Maria Larsson, Patrik Gustafsson, Jannika Neuman (senare Lindvall) och Anna Östman. 3 Matematikutvecklare arbetar centralt inom förvaltningen med matematikutveckling. 4 Matematikmentorer är de doktorander vars tjänster delades mellan Västerås stad och Mälardalens högskola och som höll i utbildningarna på skolorna. 5 Ämnesföreträdare är en roll för lärare som innebar att ha det övergripande ansvaret för utveckling av matematikundervisningen och leder de kollegiala samtalen på en skola. 6 Kollegialt lärande är när personer inom en profession systematiskt tillsammans utvecklar nya kunskaper, förmågor och färdigheter i sin dagliga praktik. 4

7 och genom att utveckla klassrumsnormer och så kallade sociomatematiska normer dvs hur elever förhåller sig till varandra och sitt eget matematiklärande. Man var också inspirerade av den svenske skolforskaren Ulf Blossings tankar om att man i skolutveckling initierar, implementerar för att till slut hamna i att institutionalisera. Projektet hade redan från början en tydlig idé om att det behövdes olika nya roller i kommunen för att arbetet skulle få önskad effekt. Man var i detta inspirerade av amerikanska forskare som studerat skolutvecklingsprojekt och som menar att storskalig förändring kräver att man tar fram nya roller, positioner, verktyg och rutiner (Cobb & Jackson 2011). Ett exempel på positioner är de ämnesföreträdare som utnämndes på varje skola. Dessa fick utbildning i två år i rollen att leda kollegiala samtal och systematiskt kvalitetsarbete (tillsammans med rektorerna under den senare delen). Genom utbildningen fick de verktyg som de kunde använda för att etablera en rutin av kollegiala samtal på skolorna. Den här rapporten är en framåtblickande slutrapportering av projektet och avslutas med ett antal rekommendationer till Västerås stad. Betoningen här är alltså inte på att avrapportera projektet i detalj utan på vad man i projektet har lärt sig som man ka ha nytta av i framtiden i både Västerås stad och på MDH. Bakgrund Räkna med Västerås växte fram ur en längre tid av diskussioner kring att skolresultaten i matematik i Västerås behövde förbättras. Anledningen var en oro över lokalt men också nationellt sjunkande resultat i matematik. Västerås stads elevers resultat i matematik hade under en lång följd av år legat under jämförbara förortskommuner och med ett påfallande stort fall mellan 2011 och Resultatet upplevdes oroväckande inte minst med tanke på att Västerås är en stad starkt präglad av teknikföretag och att kunskaper i matematik är centrala inom sektorn. Enligt utredningen Räkna med Västerås! En strategisk plattform för matematikutveckling i Västerås Stad skriven av Ylva Wretås presenterade Håkan Edlund hösten 2010 en rapport 7 för dåvarande nämnd där problemet med resultaten i matematik belystes. I den efterföljande diskussionen konstaterade nämnden att det saknades en kraftsamling kring matematiken. Under våren 2011 togs sedan ett nämndinitiativ Mer matematik i grundskolan. Det kan inte nog betonas att den politiska nivåns enighet och stöd genom hela processen har varit avgörande för projektets möjligheter att utvecklas och som vi ska se dess framgång. I slutförslaget i Wretås rapport ingick att inrätta ett Kompetenscentrum för lärande. Detta lade grunden till det som heter Mälardalens kompetenscentrum för lärande (MKL). Enligt Wretås var lärandefrågor inom matematik centrala för hennes förslag, men de var också menade att ta ett större och mer övergripande grepp på kompetens för lärande i regionen. Mälardalens kompetenscentrum för lärande var enligt henne tänkt att fungera som resurs för samtliga skolor/ämnen och verka på en regional basis. Genom att upprätta detta kompetenscentrum och genom att ge det ett tydligt uppdrag att verka för pedagogisk utveckling skulle skolorna genom centrumet ges förutsättningar för att stärka måluppfyllelsen när det gäller kunskapsmålen. 7 Wretås (2011) 5

8 I sin rapport för Wretås också ett resonemang kring vad hon kallar rik matematikundervisning. Detta kommer in i rapporten på grund av att hon har träffat professor Andreas Ryve som då har kommit tillbaka till MDH efter en period på Oxford University. Detta begrepp, rik matematikundervisning, återkommer sedan i beskrivningen för projektet Räkna med Västerås. Möten mellan professor Andreas Ryve och Johan Wennhall från kommunen visar sig också viktiga för processen att ta fram ett projekt. Andreas Ryve och hans kollega Kirsti Hemmi (då docent på MDH) arbetade sedan på en projektplan våren 2012 som Andreas Ryve och kommunens matematikutvecklare Bodil Lövgren arbetade vidare på under hösten samma år. Arbetet leddes av en styrgrupp. I den ingick strateg, verksamhetschef, rektorer och projektledare från kommunen samt professor Andreas Ryve från högskolan. Våren 2013 i januari satte det hela igång och planen togs i april i nämnd. Under tiden som Räkna med Västerås projekteras beslutas också om en nationell fortbildningsinsats, matematiklyftet. Skolverket beskrev satsningen som den största som gjorts i ett enskilt skolämne någonsin i Sverige. Syftet med matematiklyftet var att stärka och utveckla kvaliteten i undervisningen och på så sätt öka elevernas måluppfyllelse. Fortbildningen inom det skulle också ske genom kollegialt lärande. Matematiklyftet, precis som RäV, ägde rum lokalt på skolorna och var tätt knuten till lärarnas ordinarie arbete. Allt som de läste, diskuterade och planerade, prövades i den egna undervisningen. Matematiklyftet som är en även ur internationellt perspektiv ovanligt omfattande och i ovanligt i forskning grundad fortbildning har många likheter med Räkna med Västerås. Andreas Ryve och hans forskargrupp blir också involverade i framtagandet av en av de moduler som matematiklyftet består av. Det här innebär att Västerås skolor i tät följd får möjlighet till två satsningar på att utveckla matematikundervisning. Två satsningar som dessutom beforskas. Det senare har inte varit vanligt i Sverige. Under projektets löptid fattas också nationellt beslut om införandet av förstelärare, en ny roll för många svenska lärare. Man kan säga att RäV låg väldigt rätt i tiden både med sitt fokus på kollegialt lärande och med framtagandet av nya roller för utveckling. I projektgruppen som handhade den operativa ledningen av arbetet ingick vetenskaplig ledare, doktorander, utvecklare och forskare och i den mer strategiskt arbetande styrgruppen ingick vetenskaplig ledare, utvecklare, rektorer, och förvaltningsledningen genom direktör/strateg och verksamhetschef. Projektplanens innehåll Projektmålet var som nämnt att forskningsbasera Västerås stads utvecklingsarbete kring matematikundervisning. Projektet hade en vision som löd: Att varje barn i Västerås stad erbjuds möjligheter att nå sin fulla potential inom matematik Att varje lektion i matematik betraktas som viktig Att projektet RäV bidrar till att utveckla kompetenser, verktyg, stolthet, rutiner och processer för en effektiv och forskningsbaserad matematikutbildning Att ett långsiktigt samarbete utvecklas mellan Västerås kommun och Mälardalens högskola kring matematikundervisning inom ramen för MKL 6

9 Att forskargruppen på Mälardalens högskola stärker sin kompetens kring att planera, genomföra och utvärdera kombinerade forsknings- och utvecklingsprojekt tillsammans med kommuner. Man preciserade utifrån målet och visionen delprojektmål enligt nedan: Att utveckla ett forskningsbaserat kompetensutvecklingsmaterial (Nyckelpraktikmaterial - NPM) som stödjer lärare att skapa rik matematikundervisning och produktivt kollegialt samarbete. Att utveckla rekommendationer av läromedel i matematik som stödjer lärare i att planera och genomföra rik matematikundervisning. Att skapa en organisation genom ämnesträffar (ÄT) så att lärare som undervisar matematik kan planera och reflektera kring matematikundervisning tillsammans med kollegor. Att utveckla och organisera ett program för kompetensutveckling av och tillsammans med ämnesföreträdare som syftar till att stödja ämnesföreträdare att leda kollegiala samtal. Ämnesföreträdarprogram (ÄFP). Att utveckla och organisera ett program för kompetensutveckling av och tillsammans med rektorer och ämnesföreträdare som syftar till att stödja processen att i formativt syfte sammanställa och analyser elevresultat som underlag för utvecklingsinsatser. (PL) Man beskrev förändringslogiken och hur de olika delarna i projektet hängde samman med följande illustration: FB-utveckling i matematik Västerås 1. NPM 2. Läromedel 3. ÄT 4. ÄFP 5. PL Kollegialt lärande Klassrumsundervisning Elevers förmågor 7

10 Figur 1. Relationen mellan forskningsbaserad (FB) utveckling, nyckelpraktikmaterial (NPM), läromedel, ämnesträffar (ÄT), ämnesföreträdares kompetensutvecklingsprogram (ÄFP), rektorers pedagogiska ledarskap (PL), kollegialt lärande, klassrumsundervisning och elevers förmågor enligt projektplanen. Nedan följer en schematisk framställning av RäVs nyckelprocesser. Det mesta arbetet utfördes på de skolor som var med i Räv. Där arbetade man under handledning med pedagogik/metodik och med läromedel. För att etablera en långsiktig organisation etablerades rollen ämnesföreträdare. Dessa blev ansvariga för arbetet med matematik på skolan och hade ansvar för de träffar som inte handledare/mentorer fanns på plats. Till sist ingick också utbildning för och medverkan av rektorer i arbetet. Figur 2. RäVs tre nyckelprocesser. Projektets utförande Projektet startade med en pilotomgång hösten 2012 i tre pilotskolor: Nybyggeskolan, Rönnbyskolan och Branthovdaskolan. Det var initialt Andreas Ryve, Kirsti Hemmi och Maria Larsson (då doktorand) som arbetade med dessa. Fokus under träffarna under hösten låg mycket på problemlösning men man sonderade också kring andra områden såsom läsårsplanering och användning av läromedel. Under våren 2013 anställdes mentorerna, Patrik Gustafsson, Jannika Lindvall och Anna Östman, med 50 % anställning i kommunen och 50 % på Mälardalens högskola. Dessa började följa med ut på pilotskolorna men gick också en för projektet skräddarsydd doktorandkurs. Denna gav dem dels en teoretisk bakgrund inom problemlösning och formativ undervisning men innebar också att de som examinationsuppgifter för kursen tog fram planeringsunderlag för projektets fortsättning. Uppgiften var att ta hänsyn till både teoretiska och forskningsbaserade utgångspunkter men också utvärderingar och erfarenheter från pilotomgången. Mentorerna tog över det huvudsakliga arbetet med skolorna från och med att projektet lämnade pilotfasen. Åtta skolor valdes ut som fokusskolor för läsåret : Bäckby- /Hällbyskolan, Håkantorpsskolan, Rösegårdsskolan, Visängsskolan, Storängsskolan, Hamreskolan, Ekbergaskolan och Skiljeboskolan. Helt i linje med projektplanens intentioner om att projektet skulle ha en explorativ och iterativ natur förändrades arbetet när man gick 8

11 in i denna fas. Bilaga 1 ger en översiktsbild över när olika skolor blir är fokusskolor men också när de var planerade att ta del av andra projekt som matematiklyftet och SKLs projekt PRIO. I fokusskolfasen såg upplägget för ett läsår ut ungefär som nedan: Hösten: Inledning, där man introducerade projektet och diskuterade läsårsplanering och läromedel. Sedan arbetade man med problemlösning och insprängt i det med analys av det taluppfattningstestet som alla skolor gjorde. Våren: Man började återigen med terminsplanering, och sedan huvudsakligen med formativ undervisning och nyckelstrategierna kring det. Lärarna på skolorna träffades 2 h vid 19 träffar per läsår. Varannan träff var handledd av mentorerna och varannan arbetade de på egen hand med olika uppgifter ledda av ämnesföreträdaren på skolan. I princip var varje träff uppbyggd på samma sätt. På träffarna med mentorerna såg upplägget ut som nedan första året: Uppföljning av uppdrag i klassrummet (från den egna träffen). Detta sker oftast utifrån diskussionspunkter som lärarna hade fått som analysverktyg, men ibland utifrån filmer eller ljudinspelningar från lektioner. Ny input från mentorerna. Till exempel två huvudstrategier inom formativ undervisning varvat med diskussion. Lärarna planerar en lektion de ska hålla utifrån genomgången. Man försökte också hinna med att kort prata om aktuella händelser inom ämnesområdet. När lärarna sedan träffas själva såg upplägget ut som följer: Diskutera lektionen man har hållit. Titta på film från någons klassrum, eller annat material. Lärarna analyserade filmerna med hjälp av ett frågebatteri som fokuserade på det innehåll som var målet med träffen. Man fick verktyg, stödjande material för diskussioner som ex analys av lektion, planera lektion, analys av läromedel, analys av egna frågor, agerande i klassrummet, planering av problemlösning utifrån forskningsbaserade strategier och vilka tekniker som var tänkbara att använda till varje strategi. Planera en ny lektion som ska hållas och sedan redovisas på nästa träff med mentorn. Lektionerna skulle ha ett särskilt innehåll beroende av det som var fokus för arbetet, ex pratade vi om inledningen av en problemlösningslektion så planerade lärare med fokus på inledningen och filmen spelades in med fokus på inledningen. Projektet har varit iterativt och ändrats under tiden. Från andra året ändrade man så att formativ undervisnigne kom på hösten och under våren kunde man då arbeta med problemlösning med tydlig koppling till formativ undervisning. Den av orsakerna till förändringen var att lärare som gått matematiklyftet året innan kunde ha läst problemlösningsmodulen och då blev effekten bättre när de fick vila en termin i problemlösningstänket och plocka upp det igen. Räkna med Västerås kostade i externa kostnader dvs som användes av MDH : 16 milj. Förutom det kan tilläggas interna kostnader för mentorer med mera som belöpte till 4,63 miljoner kr

12 Hur blev det? I den här rapporten presenteras kort några av de viktigaste resultaten i enkäter och andra mätningar. På grund av projektets forskningsanknytning planerades och genomfördes utvärdering av projektet noggrant. Nedanstående bild ger en översikt av modellen för detta. Figur 3. Tidig modell för utvärdering av RäV. Förutom enkätsvar och resultat kan man också betrakta olika former av publikationer som ett resultat. Dessa är inte minst viktiga för MDH och forskarna som medverkat i projektet. Nedan ges en kort sammanfattning av resultaten i dessa kategorier. Enkäter När det gäller enkäterna till lärare och kan man, enligt en presentation av den snart disputerade doktoranden och matematikmentorn Jannika Lindvall på Sätra brunn , säga följande: Undervisningen Överlag har RäV gett effekter på lärares undervisning inom följande dimensioner: Mindre enskilt arbete i läroboken. (Eftersom allt för ensidig betoning på elevers ensamarbete är ett identifierat problem i svensk matematikundervisning är detta ett positiv resultat). Lärare leder oftare klassdiskussioner, men fokus för diskussionerna kan skilja sig åt mellan läsår. Det finns en svag signal om att lärare föreläser mer än tidigare). 10

13 Eleverna förklarar i högre grad hur de uppfattat mål och betygskriterier. Lärarnas upplevda kompetens Lärarna anser sig i högre grad efter kompetensutvecklingen vara skickliga matematiklärare. Detta är den dimension som har ökat mest. Särskilt verkar RÄV haft effekt när det kommer till: Lärares upplevda kompetens av att skriva årsplaner/lektionsplaner Anpassa undervisningen så eleverna får möjlighet att utveckla de fem matematiska förmågorna Använda strategier för att engagera alla elever i utmanande problemlösningsuppgifter Kollegialt arbete Det finns generellt en positiv utveckling gällande: Man har nu en mer gemensam syn på hur man bäst undervisar i matematik Mer diskussioner kring hur man på bästa sätt utvecklar de matematiska förmågorna. De statistiska förändringarna i attityder ovan är intressanta. Men svaren på de öppna frågorna i enkäten ger intressanta inblickar i hur projektet påverkat lärare. Nedan följer ett antal typiska exempel från olika år: Jag har fått med mig många tankar, idéer. Jag reflekterar mer över min undervisning. Jag funderar helar tiden över elevernas resultat och hur jag ska utveckla undervisningen för alla elevers bästa. Hur jag arbetar med problemlösning och hur jag ställer frågor i klassrummet. Även lite hur jag lägger upp undervisningen tex EPA. Några exempel: Jag diskuterar matematik och upplägget inför lektioner med parallellklassens lärare oftare. Jag checkar elevernas förståelse efter genomgång på nytt sätt och arbetar vidare med de som inte förstått på nytt sätt. Jag funderar mycket på hur jag ska få med ALLA elever genom mitt sätt att ställa frågor, elevernas samarbete, vilka uppgifter de ska lösa. Jag låter eleverna reflektera oftare. Blivit bättre på att sätta mål innan lektionen och följa upp efter lektionen. Mer uppmärksam på min egen undervisning, hur jag ställer frågor och hur jag utmanar mina elever. Ifrågasätt mina egna kunskaper som pedagog Blivit mer medveten om vikten att vara tydlig med målen, att visa olika sätt att lösa problem. Jag tänker till mera på vad jag kan säga innan och efter lektionen Fått mig att fundera mer och insett hur mycket o svårt ma-undervisningen är, När jag leder diskussioner med klassen har jag planerat vilka frågor jag ska fokusera på och har även en plan B om det inte blir som jag tänkt. Det tycks alltså som att projektet påverkat lärares undervisning och syn på sig själva och sin roll på ett positivt sätt. 11

14 Effekter på elevresultat Effektstudier av fortbildningsinsatser är notoriskt svåra att genomföra. Även bra sådana projekt tar lång tid innan de visar synliga effekter på elevers resultat. Man kan till exempel inte bara titta på matematikresultat i Västerås stad före och efter insatsen. Man måste fundera över vad som mer har skett i staden, till exempel flyktingvågen hösten -16, eller en tilltagande lärarbrist som inte minst manifesterar sig inom matematikområdet och så vidare. Att konstruera en mätmetod som utesluter alla sådana variabler är inte banalt. Räkna med Västerås har trots detta gett kontinuerliga och statistiskt säkerställda förbättringar av elevers resultat på taluppfattningstest vilket syns visuellt i följande diagram. Figur 4. Förändring i resultat på taluppfattningstest Källa: Jannika Lindvall. Ett så kallat "independent sample t-test" användes av forskarna inom projektet. Resultaten visar på en statistiskt signifikant förbättring mellan resultaten 2013 och 2017 för årskurserna 3, 4, 5, 6 och 7. Att det finns en statistik signifikant skillnad säger dock enbart något om att en skillnad finns som inte beror på slumpen, den talar inte om hur stor denna är. Av den 12

15 anledningen har även en så kallad effektstorlek beräknats. Effektstorleken (mätt i det så kallade Cohen's d 8 ) är för de signifikant förändrade årskurserna är: åk 3 = 0,13 åk 4 = 0,11 åk 5 = 0,17 åk 6 = 0,51 åk 7 = 0,27 Det finns inom forskning en diskussion om hur man ska bedöma om effekter är stora 9. Det man kan konstatera är att man i Västerås har sett en signifikant förbättring som i skolutvecklingssammanhang är ganska stor, inte minst i årskurserna 5, 6 och 7. Man bör komma ihåg att den här typen av resultat och upplägg på insatser som gör den här typen av utvärderingar möjliga är väldigt ovanliga i Sverige. Här har projektet brutit ny mark. Publikationer Projektet har genererat en mängd olika publikationer. Nedan följer ett antal exempel: Ryve, A, Hemmi, K, & Kornhall, P. (2016) Skola på vetenskaplig grund. Stockholm: Natur & Kultur Neuman (Lindvall), J., Hemmi, K., Ryve, A., & Wiberg, M. (2015). Mathematics textbooks impact on classroom instruction: Examining the views of 278 Swedish teachers. In H. Silfverberg, T. Kärki & M. S. Hannula (Eds.). Studies in Subject Didactics 10. Nordic Research in Mathematics Education - Proceedings of NORMA14, Turku, June 3-6, 2014 (pp ). Turku, Finland: University of Turku. Lindvall, J. (2017). Two large-scale professional development programs for mathematics teachers and their impact on student achievement. International Journal of Science and Mathematics Education, 15(7), Lindvall, J. (2017). Large-scale professional development and its impact on mathematics instruction: Differences between primary and secondary grades. In J. Häggström, E. Norén, J. van Bommel, J. Sayers, O. Helenius & Liljekvist, Y (Eds.), ICT in mathematics education: the future and the realities. Proceedings of MADIF10. The tenth research seminar of the Swedish Society for Research in Mathematics Education (pp ). Gothenburg, Sweden: SMDF/NCM. Lindvall, J., Helenius, O., & Wiberg, M. (2018). Critical features of professional development programs: Comparing content focus and impact of two large-scale programs. Teaching and Teacher Education. V. 70, February 2018, Pages Enligt viss forskning är riktlinjerna för låg effektstorlek 0,2, medium 0,5 och hög ES 0,8. Dessa riktlinjer är dock i forskningslitteratur omdebatterade i förhållande till kompetensutvecklingsprograms påverkan på elevresultat och det argumenteras för att riktlinjerna i denna kontext bör vara lägre. (Hill m. fl. (2008), Kennedy (2016). Timperley m. fl Källa till analyserna är Jannika Lindvall. 13

16 Påverkan på organisation, spin-off och komplexitet Projektet har berört Västerås stad på positiva sätt som inte var uttänkta från början. Ett är det faktum att olika personer som varit inblandade i projektet också har kommit att verka på olika sätt inom Västerås stad. Man kan här nämna den tjänst som vetenskaplig expert som tillsattes centralt som Andreas Ryve innehar eller den utbildning för förstelärare, och rektorshandledningar som genomförts av Dr Per Kornhall samt det arbete som också utförts på gymnasiet kring systematiskt kvalitetsarbete av Kornhall och Ryve. Genom RäV har kontakter och möjligheter öppnat sig för Västerås stad som troligen inte hade kommit till stånd utan projektet. Också aspekter på uppdraget för Enheten för Didaktik och Ämnesutveckling, EDÄ, kan sägas ha sitt ursprung i projektet genom ett ökat fokus på ämnesdidaktik och skolutveckling i kommunen och anställningen av de forskarutbildade mentorerna. En annan spin-off-effekt som var helt oväntad var den positiva utvecklingen kring användandet av taluppfattningstest i skolorna. Det innebar att det test av yngre elevers matematikkunskaper som infördes och som lärare från början var skeptiska till började ses som värdefullt av lärare i skolorna. Detta stärks även från de empiriska resultaten vi sett i lärarenkäterna. Arbetet med taluppfattningstesten har av majoriteten av lärarna uppfattats som värdefullt eller mycket värdefullt. Detta exemplifieras genom följande mail från Bodil Lövgren 25/3 2016: Har fått in 23 svar från skolorna och det är bara en av dessa som svarat att de inte gör om testet under året. Fler av de andra skolorna har svarat att flera klasser gör om provet eller använder de nya uppgifterna på NCM. Några skolor har svarat att hela skolan gör om och några skolor har svarat att de bara gör om de uppgifter som eleverna inte klarat. Du får ett mer exakt svar när jag fått in fler svar. Kontentan av dessa svar är nog att de flesta skolor som svarat har en diskussion kring att följa upp resultaten från hösten och flera genomför omtester, det är ju toppen! Det här beror på att lärarna tack vare arbetet i RäV började förstå vad testet mätte och hur de kunde använda den informationen för att utveckla sin undervisning. Testet gick från att upplevas som en kontroll uppifrån till ett verktyg som de själva kunde använda för utveckling av sin praktik. En ytterligare spin-off-effekt var den betoning och det arbete som lagts ner kring läromedel. Detta emanerade dels utifrån pågående forskning på MDH men också från erfarenheter som projektet gjorde vid de första mötena med skolor. Det har i sin tur lett till att MDH nu har ett samarbete med Eskilstuna kommun och en lokal sparbank kring framtagandet av ett forskningsbaserat svenskt matematikläromedel. Intervjuer I intervjuer gjorda för den här rapporten framhåller personer på ledningsnivå i Västerås stad att det nu genom RäV har utvecklats ett språk och en vokabulär för utvecklingsarbete i kommunens skolverksamhet. RäV har helt enkelt etablerat ett gemensamt språk och en begreppsapparat. Det har också skapat respekt mellan olika nivåer av stadens ledning från politik ner till skolor och vice versa. Man framhåller också att ett utvecklingsarbete är viktigt för att Västerås stad ska kunna vara en attraktiv arbetsgivare och för att få mer kontinuitet 14

17 på ledande poster. Man upplever också att den upprättade kontaktytan med MDH och forskargruppen där har varit en stor tillgång på många sätt. I detta har det funnits en progression där många först uppfattade som att det bara handlade om matematik och röster höjdes för att det fanns andra saker som var viktiga. Men med tiden har fler och fler i organisationen sätt att matematiken bara var en tillämpning i ett system som hade vidare implikationer på hur man ser på utveckling och fortbildning överhuvudtaget. Det kollegiala lärandet som utvecklingsmotor är något som börjar sätta sig på skolorna. Ett speciellt område som kommit i dagen under intervjuer med rektorer är en upplevd brist på kommunikation och kontaktytor mellan rektorer och förvaltning. Även SKL:s matematiksatsning PISA 2015 har bidragit till en samsyn inom kommunen. SKL-arbetet som hjälpte politiker bli medvetna om arbetet med matematiken både i skolorna och förvaltningen. Detta diskuteras mer under den framåtblickande delen senare. Forskargruppen på MDH har haft stor nytta av projektet samtidigt som det har inneburit uppoffringar. Det är inte självklart för en grupp med fokus på forskning att engagera sig i ett projekt av den här arten. Inom forskarvärlden meriterar man sig genom publikationer i kollega-granskade publikationer. Att medverka till att göra en skolorganisation eller utbildning bättre genererar egentligen inget mervärde ur den synvinkeln. Men arbetet har inneburit många positiva saker. Dels har det blivit publikationer och kanske framförallt publikationer av ett slag som annars inte hade kunnat skrivas. Samarbetet med Västerås stad och projektets iterativa och anpassningsbara ansats har gett ovärderlig kunskap om hur man kan bedriva sådana processer och utvecklingsarbete. Det har gett en direktkontakt och en förståelse av skolors vardag och utmaningar som gett dynamiska effekter in i andra projekt och verksamheter på högskolan. Blev visionen uppfylld? Visionen (obs inte målen) för projektet var: 1. Att varje barn i Västerås stad erbjuds möjligheter att nå sin fulla potential inom matematik 2. Att varje lektion i matematik betraktas som viktig 3. Att projektet RäV bidrar till att utveckla kompetenser, verktyg, stolthet, rutiner och processer för en effektiv och forskningsbaserad matematikutbildning 4. Att ett långsiktigt samarbete utvecklas mellan Västerås kommun och Mälardalens högskola kring matematikundervisning inom ramen för MKL 5. Att forskargruppen på Mälardalens högskola stärker sin kompetens kring att planera, genomföra och utvärdera kombinerade forsknings- och utvecklingsprojekt tillsammans med kommuner. I vilken mån har projektet lett till en utveckling mot de här målen? När det gäller den första punkten visar resultaten en förbättring men man är långt ifrån att uppfylla visionen. Visionen å andra sidan ligger väldigt nära skollagstiftning och läroplaners skrivningar. Det vill säga det är alltid en skolorganisations plikt att med alla medel försöka nå de målen. Den andra punkten om varje lektions betydelse är intressant eftersom enkäterna tyder på en ganska stark förflyttning av lärarkårens attityder på det området. När det gäller punkt tre, att utveckla kompetenser m. m., verkar det också ha skett en verklig förflyttning. 15

18 Många människor i organisationen har fått förändrade roller och stärkt kompetens allt ifrån verksamhetschefer till lärare. Nya roller har också skapats. Och både i halvtidsutvärderingen och i de intervjuer som gjordes gör slutrapporten finns det en påtaglig stolthet på alla nivåer över projektet. Huruvida punkt fyra om långsiktighet blir uppnådd handlar väldigt mycket om hur man agerar nu. Tar man till vara de personer som bär på kompetens och tradition och den rörelse mot kollegial utveckling av undervisning som startats eller blir projektet ett tomtebloss som flammade upp men inte innebär en verklig kursändring? Det är viktigt att förstå att det är människor som bär på kompetens i den här typen av projekt. Organisation och dokumenterade erfarenheter kan aldrig ersätta ackumulerad kompetens och förtrogenhet med en verksamhet. Framtiden ligger som alltid i nuets stöpslev och i nästa del ges rekommendationer kring hur det skolutvecklande arbetet skulle kunna permanentas för att ta vara på momentet i projektet och utvecklas vidare mot en verklig forskning och utvecklingsorganisation. Punkt fem verkar vara med råge uppfylld. Ett talande exempel på att denna del av visionen har uppfyllts är Jannika Lindvalls avhandling som bryter ny mark när det gäller skolutvecklingsforskning i Sverige. Men också här är det en fråga om hur detta kan tas tillvara såväl på MDH, i skolforskningssverige överhuvudtaget och hur MDH och kommunerna i Mälardalen kan fortsätta ha nytta av varandra för utveckling av kompetenser och mervärden och använder sig av resultaten av det här projektet. 16

19 Del 2 Fjärde generationens skolutveckling och att lära snabbt i praktiken Den här avdelningen av rapporten innehåller två perspektiv hämtade från forskning om skolutveckling. Dessa två forskningsbaserade perspektiv är utgångspunkten för de rekommendationer som ges i den avslutande framåtblickande delen. Det handlar dels om kännetecken för det som kallas den fjärde generationens skolutveckling, dels om det som kallas förändringsforskning (Improvement Science). Båda perspektiven belystes i boken Skola på vetenskaplig grund 10. En bok som innehåller och bygger på lärdomar från RäV speglade i forskningslitteratur. Här presenteras dessa två perspektiv kortfattat för att lägga en grund för resonemangen i den framåtblickande delen. Fjärde generationens skolutveckling Räkna med Västerås kan anses vara ett exempel på 4:e generationens skolutveckling som Jan Håkansson och Daniel Sundberg från Linnéuniversitetet skrivit om i boken Utmärkt skolutveckling 11. Enligt dem kännetecknas den av att den: 1. innehåller en förändringsteori; 2. är forskningsbaserad; 3. innehåller tre nivå-lösningar; 4. är intelligent implementerad; 5. bygger kapacitet; 6. bygger på kollegialt lärande samt 7. att den är datadriven. Den fjärde generationens skolutveckling är en på empirisk forskning baserad teoretisk modell för skolutveckling. Om vi tittar närmare på de här kännetecknen så menas med dessa: Förändringsteori Förändringsteori innebär att det finns en klar tanke om hur de insatser som görs ska påverka dem/det man vill påverka. Inte sällan skapas utvecklingsprojekt i skolor eller av huvudmän utifrån en observerad brist och en vilja att förändra, men utan en analys om det projekt man startar verkligen kan påverka problemet. Genom att starta projekt känner man sig full av handlingskraft, men ofta misslyckas man på grund av att det redan från början, på grund av bristfällig analys, aldrig fanns en möjlighet att med projektet åtgärda problemet. En förändringslogik för förändring av lärares undervisning finns beskriven av Desimone (2009) 12 : 10 Ryve, Hemmi & Kornhall (2016). 11 Håkansson & Sundberg (2016). 12 Desimone (2009). 17

20 Figur 5. Laura Desimones modell för undervisningsutveckling. Desimone menar att det finns grundläggande egenskaper som vi idag vet är viktiga beträffande lärares fortbildning vilka hon listar i boxen längst till vänster. Med dessa (som stämmer väl med RäVs uppbyggnad) kan man påverka lärares attityder, kunskaper, förmågor och färdigheter, vilket leder till förändrad undervisning som i sin tur kan leda till ett annat lärande. Forskningsbasering Det ovanstående kan också tjäna som exempel på det andra kännetecknet för fjärde generationens skolutveckling. Forskare och forskningsresultat får ta större plats än tidigare. Man efterfrågar systematiskt insamlad kunskap om olika insatsers effektivitet. Men en viktig del är också att forskning tar en aktiv del i insatserna för att öka forskarsamhällets kunskap om dynamiken i skolutvecklingsinsatser på det sätt som också skett inom RäV. Tre nivå-lösningar Tre nivå-lösningar innebär att satsningarna inte enbart är inriktade på till exempel lärare, utan att de omfattar ett stöd och ett arbete också på skol- och övergripande nivåer. Det här är betydelsefullt. Forskning och erfarenheter visar att verklig skol-/undervisningsutveckling är beroende av en samsyn och ett samspel mellan olika nivåer i skolsystemet och av att det finns både ett stöd och en tydlig organisation kring det utvecklingsarbete som genomförs. Intelligent implementering Intelligent implementering handlar om att det i senare års forskning finns en konsensus kring att man inte bara kan applicera lösningar från en skola till en annan, utan att man måste vara beredd att anpassa utifrån de lokala förhållandena. Att inte göra det är precis lika smart som att undervisa exakt samma lektion till alla barn utan att bry sig om vad de kan innan eller vad de har för förutsättningar i övrigt. Lärare och annan personal är i en förändringsprocess alltid inbegripna i ett såväl individuellt som kollektivt meningsskapande, vilket gör att olika grupper kommer att reagera olika. Eller som Datnow & Park (2014) uttrycker det: Sammanhanget är allt. Inom skolutvecklingsforsking tror man inte längre på att man på något enkelt sätt kan förflytta forskningsresultat från en skola till en annan eller från ett skolsystem till ett annat. Istället pratar man om till exempel designforskning, där forskare och praktiker utvecklar skolor och undervisning i dialog med varandra. Kapacitetsbyggande Med kapacitetsbyggande menas att fjärde generationens skolutveckling bygger på att man utvecklar organisationernas professionella kapital. Med det menas förståelse för att människorna i organisationen, deras kunskaper och förmågor är den viktigaste resursen, vilken behöver byggas upp för att åstadkomma en positiv utveckling. Människor i en organisation gör ofta så gott de kan utifrån den kunskap de har. För att åstadkomma förändringar måste man ge människor möjligheter att utveckla sina kunskaper och förmågor. Skolutveckling handlar inte bara ambition och organisation, utan också om socialt och individuellt lärande (Datnow & Park 2014).. Kollegialt lärande Fjärde generationens skolutveckling betonar vikten av att man inom en organisation på plats tillsammans bygger upp sin kapacitet. Det vill säga att lärarna på skolan gemensamt arbetar med att göra sin egen undervisning bättre. Skolverksamhet utförs 18

21 typiskt sätt av många människor med stort engagemang och långa utbildningar bakom sig. Deras kompetens ska naturligtvis både utnyttjas och utvecklas. Datadriven Verklig skolutveckling innebär en fortlöpande utvärdering och analys av det som görs. Det finns mycket evidens för att man inte effektivt kan utveckla det man inte följer utvecklingen av. Det finns också en global trend inom skolutveckling som handlar om ökad användning och betydelse av olika former av empiriska data, som i sin tur ligger till grund för olika skolutvecklingsinsatser och skolreformer. Vi lever i en tid av ansvarsutkrävande. Det är viktigt att erkänna att det finns mycket forskning som pekar på den avgörande och positiva betydelsen av att använda resultatdata. Rätt använt är det både utmanande och inspirerande, medan om det används fel kan vara det rakt motsatta. Om data används strikt för att peka på fel eller utkräva ett orimligt ansvar så verkar det hämmande i en organisation. Likaså blir det korrumperande om det kopplas ihop med höga belöningar eller upplevda straff. Det enklaste sättet att höja betygsnitt på nationella provet är genom att ändra betyget, därefter kommer att låta eleverna öva på gamla prov. Ingendera av metoderna är vad betygsystemet eller de nationella proven är tänkta att inspirera till. Rätt hanterat kan användning av data för utveckling kan ge information, motivera och peka ut områden för insatser med mera. Data är ett av de viktigaste instrumenten vi har för att hitta förändringsområden och motivera till förändring. Men data är aldrig det som i sig själv ger förändring. Förändring sker när praktiken förändras, och för att praktiken ska förändras krävs ofta kunskaper, kompetenser, inspiration och framförallt förändring. För att utveckla undervisningen krävs ett moget och klokt användande av resultat och mätningar som en inkorporerad del av skolans kultur, där också hänsyn tas till skolans komplexa och breda uppdrag. Den fjärde generationens skolutveckling är intressant och har börjat få fäste i Sverige. Den får också ett starkt stöd i Jarl m. fl.as (2017) studie av framgångsrika och icke framgångsrika skolor. De menar att de framgångsrika skolorna kännetecknas av: målinriktad ledning kollektiv organisering av ledningen målinriktad ledning på förvaltningsnivå samarbete med fokus på undervisning höga förväntningar på eleverna kartläggning och uppföljning av elevernas kunskaper anpassning av undervisningen lärarledarskap i klassrummet (sid. 70) Det är tydligt att flera av kännetecknen för fjärde generationens skolutveckling finns representerade i dessa skolor. Det är viktigt att notera att dessa skolor har hamnat där och kanske sällan medvetet har orienterat sig dit. De har helt enkelt märkt att detta fungerar. Att lära snabbt i praktiken - förändringsforskning Att lära snabbt i praktiken är ett begrepp hämtat från förändringsvetenskap. Förändringsvetenskap är ett relativt nytt begrepp inom utbildningssektorn men har funnits längre inom till exempel vårdsektorn. Det är ett sätt att arbeta med förändring i komplexa system som utbildning eller vård. I korthet är poängen att man istället för att lägga ner 19

22 väldigt mycket tid och resurser på att utveckla små delar av systemet eller på att genomföra stora systemomfattande reformer som ofta påverkar systemet på sätt som inte avsetts, engagerar man många medarbetare i systemet i en småskalig och snabb utveckling av praktiken. Det handlar om att inte bara ha en evidensbaserad praktik (tillämpning av forskning i skolan) utan att praktiken genererar praktikbaserad evidens (skolan undersöker sin verksamhet med metoder inspirerade från forskning). Grundbulten i förändringsvetenskap är att den stora massan välutbildade och erfarna människor som finns ute i verksamheterna i vanliga linjeorganisationer sällan används på ett produktivt sätt för att utveckla verksamheten. Man menar att om man kan engagera dem och organisera dem för utveckling släpper man lös en avsevärd utvecklingskraft. Begreppet har beskrivits för utbildningssektorn av bland annat Anthony Bryk och hans kollegor i boken Learning to Improve, How America s Schools Can Get Better at Getting Better 13. En av utgångspunkterna i förändringsvetenskap är själva erkännandet av att systemet är komplext och att arbetet innehåller en organisatorisk modell där de verksamma i systemet tillsammans utvecklar verksamheten mot överenskomna mål. De utvärderade erfarenheterna man gör i liten skala aggregeras sedan upp i ett administrerande och stödjande nätverk så att de, om de bevisligen är bra, kan komma hela systemet till godo. Idén är att man ska lära sig snabbt och billigt, vara minimalt störande (vissa förändringar kommer att misslyckas, och man vill begränsa negativa konsekvenser för individer och organisation) och att man utvecklar empiriska bevis vid varje steg för att styra efterföljande förbättringscykler. Tanken är att varje del av organisationen blir en på ett vetenskapligt sätt lärande gemenskap som är fokuserad på ett väl specificerat gemensamt mål. För att kunna göra det måste man utveckla en djup förståelse för problemet, systemet som producerar det och ha en gemensam arbetsteori för hur man ska kunna förbättra det system man har. Man använder metoder för förbättringsforskning för att utveckla, testa och förfina interventioner och organisera sig för att påskynda diffusionen av dessa insatser ut i organisationen och stödja effektiv implementering under olika lokala förhållanden. En del av det geniala i en sådan kvalitetsförbättringslogik, där man startar i liten skala och vill lära snabbt, är att kostnaderna för tidigt misslyckande sänks och man låser sig inte vid felaktiga lösningar. Förändringsvetenskapen innehåller modeller och organisationsförslag att skapa förutsättningar för detta. Ett av de viktigaste inslagen i modellen är att man etablerar nav (eller hubbar) för förbättringsnätverk. Nätverk som har uppdrag att analysera verksamheten och att utveckla testbara lösningar för verksamhetens problem. Tanken är alltså att man också inom skolan etablerar ett verkligt forsknings och utvecklingsarbete inom en organisation. Ett där man inbegriper de välutbildade erfarna och ofta mycket engagerade människor som arbetar inom skolan i ett förbättringsarbete. Detta arbete ska ske utifrån vissa spelregler för att träffsäkerheten, utvärderingen och spridningen till andra ska kunna vara möjlig. Ett disciplinerat utvecklingsarbete. 13 Bryk m. fl. (2016) 20

23 Del 3. Framtiden? RäV kan, om man tittar på satsningen uppifrån och i en förvaltnings eller ur ett politiskt perspektiv, ses som ett stort projekt. Det handlar ju ändå om drygt 20 miljoner kronor som under fem år investerats i matematikundervisning. Men för att egentligen bedöma ett sådant projekt på ett mer rättvisande sätt behöver man vända på perspektivet. Man får då en bättre förståelse för varför principer i den 4:e generationens skolutveckling och förändringsforskning är viktigt. Om man istället utgår från skolnivå har varje lärare som undervisar i matematik och varit med i Räv märkt av projektet bara några timmar då och då och bara under ett år. Satsningen motsvarar också bara ungefär 0,7 % av grundskolans budget för motsvarande tidsperiod. För att på sikt förändra en skolverksamhet, och inte minst förändra dess kultur krävs ett mer långsiktigt (permanent) och bredare och djupare förankrat förbättrings- och utvecklingsarbete. Man skulle kunna uttrycka det som att det är konstigt att vi inte inom utbildningssektorn för länge sedan har etablerar evidensbaserad permanent utvecklingsarbete. Hur kan vi bedriva verksamhet år ut och år in, i så stora organisationer som vissa huvudmän är, utan att systematiskt utveckla den på verksamhetsnivå och ha en organisation för det? Att etablera ett sådant arbete kräver i någon mån ett perspektivskifte på vem det är som ska driva utveckling framåt i en professionell organisation. I en linjär styrmodell tappar man gärna ett mycket viktigt utvecklingsperspektiv. Inte sällan etablerar vi en linjeorganisation (illustrerat till vänster i bilden nedan). Vi ser på styrning och verksamhetsutveckling som något som kommer uppifrån. Men skolan är en organisation där inte sällan de som arbetar längst ut i linjen har minst lika lång akademisk utbildning och längre erfarenhet av sektorn än de som sitter över dem i linjen. Här finns en ofta starkt outnyttjad kapacitet att driva utveckling. Det finns här dessutom en stark drivkraft för verksamhetens syfte. Svenska lärare och rektorer är starkt motiverade att göra sitt jobb och finner stor mening i sitt arbete. Ett annat outnyttjat faktum (som illustreras till höger i bilden nedan) är att de som befinner sig ute i verksamheten är så många fler. I en organisation som Västerås finns 44 högskoleoch rektorsutbildade rektorer och 881 högskoleutbildade lärare. Dessa är också ofta starkt motiverade personer som känner ett djupt engagemang för de uppdrag de har. I dessa personer finns en betydande kollektiv utvecklingskraft om man kan ta tillvara den. 21

24 Figur 6. Linjär styrmodell kontrasterad med en modell för utvecklingspotential. (För enkelhetens skull och på grund av att undervisning är skolans kärnverksamhet illustreras den här bara med lärarprofessionen som yttersta led). Bilden ovan vill alltså helt enkelt beskriva det faktum att om man vänder på utvecklingsperspektivet inser man vilka möjligheter till utveckling som finns om man kan engagera medarbetarna längst ut i linjen för ett kollegialt utvecklingsarbete. Det är också detta som är det centrala i den förändringsvetenskap som nämndes i del två i rapporten. Det finns i varje skolorganisation oerhörda möjligheter att lära snabbt om man gör det systematiskt ute i praktiken och om det finns en organisation som stödjer ett sådant arbete. Men det kräver ett disciplinerat arbete. Att utveckla ett sådant arbete och finna former för det tror jag skulle vara en oerhört spännande utveckling inom Västerås stad och där man också skulle kunna bryta verklig ny mark. RäV och sedan då? Det är uppenbart att RäV 14 på många sätt har påverkat Västerås stad och MDH positivt. En fråga för den här utvärderingen är hur man för det första kan säkra att de positiva effekterna inte försvinner nu när projektet i sig är slut. En annan är hur man kan fortsätta att utveckla arbetet inom skolorna och Västerås stad för att komma längre än man har gjort. Sammanfattningsvis är rekommendationerna till Västerås stad i den här rapporten att: 14 Tillsammans med andra statliga satsningar som matematik- och läslyftet samt ett SKLprojekt. 22

25 1. Bevara det som är påbörjat. 2. Etablera en enkel, tydlig och gemensam i det statliga uppdraget förankrad vision för skolverksamheten med fastställd ansvarsfördelning för fastlagda mål. 3. Organisera för permanent verksamhetsutveckling av kärnverksamheterna genom att etablera en kultur av på enhetsnivå förankrat utvecklingsarbete och kollegialt lärande. 4. Använd resultatdata och diagnoser intelligent. 5. Styr med sammanhang och återhållsamt. 6. Bygg kapacitet och kompetens för detta. Rekommendationer för MKL/MDH är att: 7. Ta tillvara och utveckla den kompetens som har byggts upp på MDH genom att etablera en professur i skolutveckling. 8. Etablera forskningssamarbete med huvudmän genom de forskarutbildade lärare som finns i organisationerna. Rekommendationerna utvecklas nedan: 1. Bevara det som är påbörjat Det är uppenbart från intervjuer, enkäter och resultat från taluppfattningstest att arbetet med RäV har varit mycket lyckat och att kombinationen av RäV tillsammans med matematiklyftet och SKL-projektet PISA2015 varit del av har börjat etablera ett gemensamt språk och en gemensam syn på utveckling av skolans kärnverksamhet i Västerås. Detta bör tas om hand. Här finns några naturliga saker att göra. Dels att på kort sikt behålla positionen som vetenskaplig expert kopplad till ledningen och att behålla den kompetens som finns hos de doktorander som arbetade med RäV i den kommunala organisationen på det vis som också har gjorts. Det är också viktigt att fortsätta att hålla fast vid de satsningar som har gjorts på kollegialt lärande både bland förstelärare och rektorer och etablerandet av rollerna ämnesföreträdare, matematikmentorer och de lektorer som nu anställs. Det går inte att nog betona vikten av att hålla i och hålla ut i skolsammanhang. I allt för lång tid har skolorganisationer i Sverige hoppat från tuva till tuva. Men arbetet behöver förstås också utvecklas. Förslag om utvecklade roller för Enheten för didaktik och ämnesutveckling EDÄ och etablerandet av systematiskt utvecklingsarbete genom kollegialt lärande lämnas under följande punkter. 2. En vision Ett problem inom skolverksamhet i Sverige är avståndet mellan olika delar av styrkedjan. Avståndet är påtagligt stort mellan politiker, förvaltning, rektorer och lärare. Inte sällan alieneras de på skolnivå verksamma professionerna av den dubbelhet som finns i styrningen. De har som tjänstemän att efterleva en väl utvecklad och detaljrik nationell lagstiftning som syftar till att säkra en likvärdig och demokratisk skola för alla barn och ungdomar. Det är av största vikt att den ambition som finns i den nationella styrningen också får genomsyra verksamheten. Ett konkret exempel på en brist i detta avseende är när kommunledningen i Västerås ger alla verksamheter i uppdrag att ha ett kund -fokus. Detta samtidigt som den lagstiftning som skolan lyder under inte någonstans nämner begreppet kund. Skolan är en 23

26 fostrande och samhällsbevarande samhällsinstitution vars uppdrag inte kan förenklas på det sättet. Det är mycket rimligt med en specifik styrning för skolan med tanke på denna verksamhets storlek i kommunens budget. Mitt förslag är att man istället utverkar en gemensam målbild för skolan utifrån skolans centrala uppdrag. Denna uttrycks i skollagens första kapitel 4 som: Utbildningen inom skolväsendet syftar till att barn och elever ska inhämta och utveckla kunskaper och värden. Den ska främja alla barns och elevers utveckling och lärande samt en livslång lust att lära. Utbildningen ska också förmedla och förankra respekt för de mänskliga rättigheterna och de grundläggande demokratiska värderingar som det svenska samhället vilar på. I utbildningen ska hänsyn tas till barns och elevers olika behov. Barn och elever ska ges stöd och stimulans så att de utvecklas så långt som möjligt. En strävan ska vara att uppväga skillnader i barnens och elevernas förutsättningar att tillgodogöra sig utbildningen. Utbildningen syftar också till att i samarbete med hemmen främja barns och elevers allsidiga personliga utveckling till aktiva, kreativa, kompetenta och ansvarskännande individer och medborgare. Detta skulle kunna koncentreras ned till en vision av typen: Vårt ansvar är att alla elever i Västerås får en bra skolgång och utvecklas till kunniga, kreativa, och ansvarskännande individer och medborgare. För att en sådan vision måste alla på alla sina nivåer ta sitt ansvar. Dvs politik och huvudmannanivå måste säkerställa att alla barn får detta genom resursfördelning och kompetensförsörjning och på skolnivå måste alla rektorer och lärare arbeta för att varje enskild elev på deras skolor får detsamma. Skollagstiftningen har karaktären av rättighetslagstiftning. Det vill säga den är tänkt att garantera varje barn en bra skolutbildning inte en bra skolutbildning i genomsnitt. Utvecklingen i förhållande till visionen är lätt att initialt fastställa genom nationell statistik över genomströmning, betyg och nationella prov (se punkt 3). Ett verkligt arbete efter en sådan vision kräver att kommunen utvecklar en kompetens att styra och leda utvecklingsarbete där resultaten faktiskt spelar roll för de insatser man gör men där man också vågar experimentera med olika insatser för att lösa de problem man identifierar. 3. Organisera för permanent verksamhetsutveckling Mitt förslag är att man fortsätter att utveckla och följa det kollegiala lärandet ute i skolorna och att man samtidigt utvecklar det arbetet så att det blir en verklig organisation för FOU på huvudmannanivå. Ett minimikrav är att man på alla skolor har regelbunden avsatt tid för kollegialt lärande och utveckling. Men för att generera mer än nytta för enskilda klassrum och skolor bör förvaltningen i samarbete med den politiska nivån och med förslagsvis EDÄ som huvudnav organisera förbättringsnätverk i organisationen. I dessa förbättringsnätverk utvecklar man olika aspekter av verksamheten från undervisningsnivå över skolnivå men också på förvaltningsnivå. Detta beskrivs närmare under punkt 6 nedan. 4. Använd data intelligent En generell viktig signal i forskning kring systematiskt kvalitetsarbete, mål- och resultatstyrning och databaserat förbättringsarbete är att det är väldigt viktigt att: 24

27 1. Man mäter rätt saker, 2. man analyserar data så att de ger mening, samt 3. involverar medarbetarna i det kvalitetsarbete som pågår. Att bara samla in statistik påverkar inte verksamheten positivt. Om det inte finns någon koppling mellan insamlade data och insatser förlorar insamlingen betydelse för medarbetarna. Vad gör man med resultaten? Hur använder man dem? Vilka insatser (på alla nivåer) ger resultaten upphov till? Hur relaterar de insamlade data till de visioner och mål man har satt upp? På vilket sätt talar data om huruvida man har gjort en förflyttning? Det finns en mängd anledningar för verksamheternas ledning att tillsammans med medarbetare sätta sig ner och fundera över vad man mäter och varför. Kusek & Rist 15 som bland annat arbetar för världsbanken med att föreläsa om mål och resultatstyrning menar att varje måloch resultatstyrd verksamhet bör ha en person anställd som bara har som uppgift att se till att man inte mäter något i onödan. Att göra det är att visa sina medarbetare brist på aktning. Det talar om för dm att man inte tycker att de har något viktigare att göra än att samla in onödig statistik. Alltså: Vilken data är det man ska samla in och på vilken nivå? Vad ska man använda den till? För att kunna göra detta kan analyskompetensen behöva höjas bland medarbetare. En viktig sak är att koppla ihop en controllernivå med enheterna så att man styr och mäter på ett för verksamheten meningsfullt sätt men där också controllernivån kan bidra med kunskaper om hur man rent praktiskt kan gå till väga. 5. Styr med sammanhang och återhållsamt Erik Nilsson som för närvarande är statssekreterare hos gymnasieministern Anna Ekström skrev ett blogginlägg om styrning av offentlig verksamhet. I korthet var hans poänger dessa: 1. Ju färre styrsignaler som sänds desto större genomslag får de! När man skriver ett program, strategi eller måldokument är man ofta nöjd om man får med så mycket som möjligt. Alla problem har hanterats och alla medlemmar i nämndgruppen har fått med sin hjärtefråga i programmet. På alla politiska nivåer ägnas stor kraft åt att förhandla budgetar varje år, ofta med ganska marginella förändringar som resultat. Tänk om man istället skulle ransonera antalet mål/uppdrag och genomföra en stenhård förhandling om dessa inom och mellan partierna. En stor verksamhet som t.ex. en skolförvaltning kanske klarar att hantera tre styrsignaler i verksamheten samtidigt. Skickar man tio kan man vara ganska trygg med att ingenting händer. 2. Beslutet är bara sandkornet i spetsen på en lång kometsvans! Vi lägger oerhört stor vikt vid de formella beslut som fattas i nämnder, fullmäktigen, regering och riksdag. Visst är besluten viktiga - men tro inte att världen ändras för att ett beslut är fattat. Betydligt större kraft borde ägnas åt genomförandet. Hur ska detta beslut omsättas i verkligheten och hur ska alla de som ytterst verkställa beslutet förstå och omfattas av intentionerna bakom beslutet? När otydliga signaler har silats mellan många lager av mellanchefer kan det komma fram något helt annat än det som skickades ut från början. Det är inte ovanligt att lagens bokstav går fram - men sällan lagens anda. Man kanske följer någon ny rutin, upprättar nya dokument men hela poängen om vad som ska uppnås har gått förlorad. Uthållighet och tålamod är nödvändigt om man verkligen vill att styrsignaler ska 15 Kusek & Rist (2004). 25

28 få genomslag. I synnerhet gäller detta komplexa signaler som ska nå fram till många människor. 3. Det skarpaste styrinstrumentet är att fråga hur det går! Politiken har en viktig roll i detta system. Man måste fortsätta fråga hur det går i kärnverksamheten och genom att styra sina frågor och hålla i med samma frågor kan man också styra verksamheten. Den politiska ledningen i Botkyrka prioriterade det språkutvecklande arbetet i förskola och skola. Jag kan lova att det stod i fokus ute i verksamheten efter tre års frågande. 4. Den skriftliga kommunikationen är överskattad - prata med varandra! Det finns en stor tilltro till skriftlig kommunikation i styrningen. Det är lätt att förstå varför. Det skriftliga ger ett skenbart intryck av att vara entydigt. Alla borde veta vad som gäller - för det står skrivet. Men samma text kan läsas på tusen olika sätt beroende av mottagarens förförståelse och omvärld. Om inte den skriftliga styrningen och återrapporteringen kompletteras med en muntlig riskerar missförstånden att hagla. Få organisationer är dessutom benägna att erkänna några brister i skrift. Årsredovisningar brukar vara supersnygga produkter fyllda av framgångar, men i en muntlig dialog kan motfrågor ställas och de verkliga problemen blottläggas. I en muntlig dialog kan politikens avsikter kommuniceras. Vilken samhällsanalys ligger bakom den aktuella styrsignalen? I vilket sammanhang finns din verksamhet? Vilka kompromisser ligger bakom luddiga formuleringar? Om man styr medvetet med sammanhang och kompetens utifrån en gemensam vision kan man förflytta komplexa organisationer. 6. Bygg kapacitet och kompetens Den lösning jag skisserat ovan kräver att personal på alla nivåer också får en möjlighet att ta till sig och utveckla teoretisk förståelse såväl som praktisk erfarenhet av den typ av utvecklingsarbete som modellen innehåller. Jag skulle föreslå såväl rena utbildningsinsatser som framtagandet av ett generellt och gemensamt styrdokument som innehåller information om hur systemet är tänkt att fungera och som ger möjlighet att skapa ett gemensamt språk för utvecklingsarbetet. Det kanske ändå viktigaste är att man börjar i liten skala. Jag föreslår att man börjar med några mindre nätverk för att lära sig hur man kan arbeta med förbättringsnätverk innan man skalar upp. Under tiden pågår kollegialt lärande och utveckling kring det på skolorna utifrån olika satsningar, också de statliga. Det är också utifrån intervjuerna för den här rapporten av yttersta vikt att det engagemang, vilja till medverkan och kompetens som finns i rektorskåren tas tillvara i ett utvecklingsarbete. Här kan det material som finns om kollegialt lärande i Västerås utvecklas. Det är viktigt att man på förvaltningsnivå bildar en central styrgrupp och ett nätverk som börjar analysera kommunens utmaningar och gör en systemanalys som mynnar ut i konkreta testbara hypoteser och uppföljningsnivåer. Förslagsvis läggs administrationen av förändringsnätverk i ett interface mellan förvaltningsledning och EDÄ. Jag föreslår att en grupp bestående av EDÄs ledning, verksamhetschefer och några rektorer samt lärarrepresentanter sätter sig ner och analyserar kommunens utmaningar och börjar skissera på vad man skulle kunna börja arbeta med, vad man ska följa för resultat och vilka insatser 26

29 man ska göra. Dessa blir en pilotgrupp där man skapar erfarenhet av detta sätt att arbeta. Detta arbete utvecklas sedan till att innehålla fler nätverk och då kan den initiala gruppen omvandlas till en styrgrupp för de projekt som kommer att pågå. Figur 7. Illustration av en modell med utvecklingsnätverk. EDÄ är den sammanhållande spindeln i nätet. Lärare arbetar med kollegialt lärande och erfarenheter förs mellan skolor. Rektorer arbetar också med kollegialt lärande av sitt ledarskap och sina skolor. I ett interface mellan förvaltning och EDÄ finns en funktion som har till uppdrag att lyssna, bedöma men också fatta beslut om arbetets utveckling. Modellen försöker visualisera hur Västerås stad skulle kunna arbeta kring utveckling av skolans kärnverksamhet. Det finns en mängd andra saker som en huvudman och varje skola måste hantera. Men det är av vikt att man synliggör och hela tiden påminner om att kärnverksamheten är undervisning och att därför också är det viktigaste utvecklingsområdet. Bilden visar att kollegialt lärande på skolorna är det huvudsakliga hjulet för att göra det. 27

30 Figur 8. Illustration av hur skolors kollegiala lärande knyts samman i nätverk och hur EDÄ och förvaltning agerar som en spindel i nätet. Nedan finns ännu en illustration på denna tänkbara modell för utveckling. Till höger finns utbildningsprogram som finns tillgängliga för alla nivåer. Det är av vikt att dessa innehåller samma grundläggande material så att organisationen talar samma språk. Den cerise gruppen finns med för att markera de olika element som enligt Cobb m.fl. 16 behövs för att implementera förändring. Roller = någon måste ha i uppdrag att göra olika saker såsom förstelärare, rektor, eller ämnesföreträdare. Rutiner = det behövs etablerade rutiner som att man ses en gång i veckan för att utveckla undervisning eller att man varje år genomför en analys av skolans resultat. Lärtillfällen = är tillfällen då man kan lära sig nya saker. Verktyg = är de material, läromedel eller vad det kan vara som man använder i processerna. 16 Cobb & Jackson (2011). 28

31 Figur 9. Sammanfattning av en modell för utveckling i Västerås stad. Sammantaget innebär modellen att Västerås går från en förvaltning som agerar reaktivt till en förvaltning som proaktivt utvecklar skolan utifrån den politiska styrning som finns i de nationella styrdokumenten och forskning. Här skulle Västerås stad kunna bryta ny mark och visa hur skola kan utvecklas. Det vore rimligt att detta sker just i Västerås som är en av ingenjörer präglad stad. Detta sätt att genom FoU-arbete utveckla en organisation är typiskt för tekniksektorn. 7. Inrätta en professur i skolutveckling Inom Andreas Ryves forskargrupp och på grund av projektet har en ovanlig kompetens byggts upp. Men arbetet uppmärksammar också ett behov i skolsverige. I en tid när skolutveckling blir allt viktigare finns det en brist på kompetens inom området i Sverige. Här skulle arbetet inom MKL och det arbetet som påbörjats kunna vara en start för att etablera ett nav för kunskap om hur akademi och skola kan samverka för att uppnå största möjliga samhällsnytta, dvs bra skolgång för så många barn som möjligt. 8. Praktiknära forskning Utveckla praktiknära forskningssamarbete med kommuner som har forskningsutbildade lärare anställda. 29

32 Slutord Att bygga ett gediget forsknings och utvecklingsarbete i Västerås stad är ett rimligt mål för en fortsatt utveckling. RäV kostade kanske 20 miljoner kronor under fem år. Under samma tid kostade grundskoleverksamheten i Västerås ungefär 2,5 miljarder kronor. Avsättningen till RäV motsvarade alltså ungefär 0,6 % av kostnaden för grundskolan. Enligt SCB satsar svenska företag i snitt ungefär 1,5 % av omsättningen på forskning och utveckling. Omsatt till Västerås stad skulle det motsvara ungefär 7,5 miljoner per år. Med detta argumenterar jag inte för att en viss summa ska avsättas till sådant arbete. Jag vill bara lyfta frågan om det inte är rimligt att en av Sveriges största skolhuvudmän har ett utvecklat forsknings och utvecklingsarbete. Vad jag däremot vill argumentera för är att man bygger ett sådant efter de modeller jag skisserat här. Det blir troligen både billigare och bättre än annat utvecklingsarbete. Vad skulle man då till exempel kunna anordna förändringsnätverk kring? Det är enligt en ganska samlad forsknings- och utvärderingsbild ett etablerat faktum att den svenska skolan, tvärt emot skollagstiftningens tydliga intentioner, blir allt mer segregerad och olikvärdig. Detta gäller också i Västerås. Det är stor skillnad mellan olika skolors förutsättningar vad gäller föräldrars utbildningsbakgrund eller hur stor andel av eleverna som är av utländsk härkomst. Det som är den allmänna bilden i Sverige stämmer ganska bra in på Västerås. Friskolor och några kommunala skolor har en mer infödd svensk och välutbildad föräldraprofil, medan några kommunala skolor har en mycket annorlunda situation. Att arbeta målmedvetet och med forskningsmetodik för att komma till rätta med det problemet inom Västerås skulle kunna vara ett utmärkt projekt för att arbeta med förändringsnätverk enligt den modell som skissats ovan. Det är också ett projekt som skulle skapa engagemang bland de professionella i skolan. Dessa motiveras i hög grad av centrala värden i skollagstiftningen om alla barns lika chanser. Ett annat rimligt område är naturligtvis undervisning av nyanlända nu när Sverige tagit ett så stort ansvar för flyktingströmmarna under Syrienkrisen. Vi har här en möjlighet att bli världsledande på hur man arbetar med integration och språkutvecklande arbetssätt. En utveckling av undervisningen kan om den görs rätt ge fördelar för såväl de som har stora behov som de som behöver större utmaningar i skolan. Men för att det ska ske krävs systematiskt och dokumenterat och engagerat utvecklingsarbete hos huvudmannen i detta fall Västerås stad. Man har en stor fördel i detta arbete genom det samarbete med MDH som nu finns upparbetat. 30

33 Källor Cobb & Jackson (2011) Towards an empirically grounded theory of action for improving the quality of mathematics teaching at scale. Mathematics Teacher Education and Development, 13(1), 6. Desimone, Laura (2009) Improving Impact Studies of Teachers' Professional Development: Toward Better Conceptualizations and Measures. Educational Researcher, 38(3), doi: / x Hill, C. J., Bloom, H. S., Black, A. R., & Lipsey, M. W. (2008). Empirical benchmarks for interpreting effect sizes in research. Child Development Perspectives, 2(3), Håkansson & Sundberg (2016) Utmärkt skolutveckling. Stockholm: Natur& Kultur. Kennedy, M. M. (2016). How does professional development improve teaching? Review of Educational Research, 86(4), Kusek, J. Z. & Rist, R. C. (2004) Ten Steps to a Results-based Monitoring and Evaluation System. Washington D.C: The World Bank. Ryve, A., Hemmi, K. & Kornhall, P. (2016) Skola på vetenskaplig grund. Stockholm: Natur & Kultur. Smith & Stein Practices for Orchestrating Productive Mathematics Discussions. The National Council of Teachers of Mathematics. Corwin. Timperley, H., Wilson, A., Barrar, H., & Fung, I. (2007). Teacher professional learning and development: Best evidence synthesis iteration [BES]. Wellington, NZ: Ministry of Education. Wiliam, D Att följa lärande formativ bedömning i praktiken. Lund: Studentlitteratur. Wretås, Ylva Räkna med Västerås! En strategisk plattform för matematikutveckling i Västerås. Västerås kommun. Dnr 2011/299-BaUN-646 Dnr 2011/76-UAN

34 Bilaga. Översikt över skolors deltagande 32