UTVÄRDERING MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG

Transkript

1 Avsedd för Skolverket Dokumenttyp Rapport Datum Augusti, 2013 UTVÄRDERING MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG

2 UTVÄRDERING MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG Datum 2013/08/29 Utfört av Mats Karlsson, Ida Nilsson, Sofia Petersson, Tove Stenman och Olov Wolf-Watz Ramböll Krukmakargatan 21 Box SE Stockholm T +46 (0) F +46 (0)

3 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG SAMMANFATTNING Matematiklyftets huvudomgång startar i augusti Då kommer cirka 290 huvudmän med totalt 725 matematikhandledare och knappt matematiklärare ha möjlighet att delta i Matematiklyftet. Det är den största fortbildningssatsningen inom matematikområdet i Sverige någonsin. Under hösten 2012 och våren 2013 testades satsningen i en utprövningsomgång. Ramböll fick under hösten 2012 uppdraget att utvärdera utprövningsomgången. Syftet med utvärderingen har varit att få kunskap både om hur den planerade fortbildningens aktiviteter fungerar i sina olika delar och sammantaget. Utprövningsomgången har bidragit till önskade resultat bland deltagande lärare Rambölls samlade bedömning är att Matematiklyftet har bidragit till att bredda lärares palett av matematikdidaktiska metoder samt att lärare i högre grad reflekterar över undervisningsbeslut. I det avseendet har Matematiklyftets design fungerat som Skolverket avsåg. Vad gäller satsningens målsättning om att utveckla fortbildningskulturen på deltagande skolor menar Ramböll att en fullgod bedömning är för tidig att göra. Ramböll kan emellertid konstatera att satsningen har etablerat en tydlig viljeriktning på skolorna om att även i fortsättningen bedriva fortbildning baserad på formen för Matematiklyftet. Ramböll ser emellertid att Skolverkets ambition att stärka rektorns roll som ett sätt att driva utvecklingen på skolorna inte har gett önskat avtryck. Resultaten förklaras av faktorer som är knutna till Matematiklyftets utformning Utvärderingen har genomförts under perioden oktober 2012 till juni Den har inte omfattat en analys av effekter på deltagande skolor av det skälet att dessa ligger bortom utprövningsomgångens tidsram. Istället har utvärderingen fokuserat på de kortsiktiga resultaten på skolorna och framförallt på de faktorer som förklarar varför insatsen lyckas eller misslyckas. Av den kvantitativa analysen framgår att de faktorer som har stark påverkan på resultaten är: handledarträffar, innehållet i modulerna för didaktiskt stödmaterial, fortbildningens utformning, handledarens roll och rektorns roll. Det är alltså Matematiklyftets centrala komponenter som har störst påverkan på resultatet, det vill säga faktorer kopplade till fortbildningens material och upplägg. Lärarens inställning och organisationskulturen, två komponenter som ligger bortom Skolverkets kontroll, har svagare påverkan på resultatet. Analysen bekräftas såväl av den kvalitativa datainsamlingen som av den särskilda analysen av skolor med svagare resultat. Denna analys stärker Rambölls bedömning att Matematiklyftet är en satsning som är ändamålsenligt utformad och genomförd. Utifrån utvärderingens samlade resultat ger Ramböll Skolverket följande rekommendationer: Bibehåll en fortsatt stark handledarfunktion Handledarens roll och handledarträffarnas betydelse för satsningens resultat är stor, vilket både den kvantitativa analysen och den kvalitativa empirin pekar på. Ramböll bedömer att det finns ett strategiskt värde att i styrningen av den kommande nationella implementeringen lägga extra vikt vid detta instrument.

4 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG Bibehåll hög kvalitet och relevans i modulinnehållet Modulernas innehåll har i utprövningsomgången varit en faktor som tydligt drivit det positiva resultatet och har uppfattats som relevant, inspirerande och utvecklande. Inför den kommande nationella implementeringen har arbetet med att ta fram modulernas innehåll involverat fler aktörer, vilket ökar komplexiteten i styrningen. Ramböll bedömer dock att det finns anledning att i den nationella implementeringen fokusera styrningen på modulinnehållets kvalitet och relevans. Bibehåll trohet till fortbildningens grunddesign Vid sidan om handledarinstrumentet och modulernas innehåll är fortbildningens utformning också en faktor som driver ett önskat resultat i satsningen. Att fortbildningen varit arbetsplatsbaserad och att den har pågått under en längre period har ökat lärarnas möjlighet att tillgodogöra sig innehållet. Likaså har blandningen av teori och praktik stärkt lärandet i Matematiklyftet. Ramböll rekommenderar därför Skolverket att i sin styrning av den kommande nationella implementeringen säkerställa att insatsen genomförs med stor trohet till fortbildningens grunddesign. Stärk rektorernas delaktighet Utvärderingen visar att rektorns agerande i stor utsträckning påverkar utfallet av fortbildningen på de deltagande skolorna. Huruvida rektorerna lyckas signalera engagemang för Matematiklyftet och huruvida de aktivt deltar i fortbildningssatsningen påverkar lärarnas förmåga att tillgodogöra sig lärdomar från satsningen. Samtidigt är detta en av de indikatorer som får lägst genomsnittligt betyg i enkätundersökningen. Det finns således ett strategiskt värde att framöver försöka stärka rektorernas insats och engagemang.

5 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG INNEHÅLLSFÖRTECKNING 1. Inledning Kort om Matematiklyftet Metod Disposition 3 2. Värdering av resultat knutna till undervisningskulturen Utgångspunkter för bedömningen Om utprövningens omfattning och prestationer Avtryck på deltagande skolor 7 3. Faktorer som förklarar resultaten Kort om metoden bakom analysen av förklaringsfaktorer Faktorer som påverkar förutsättningarna för undervisningskulturen Förklarande faktorer utanför modellen resurser Skolor med svagare resultat Samlad analys av förklaringarna till resultatet hos lärarna Värdering och förklaring av resultaten för utveckling av fortbildningskulturen Utgångspunkter för bedömning Resultat på kort sikt: Pedagogiska ledarskapet Resultat på kort sikt: engagemang för kollegialt lärande Resultat på lite längre sikt: förutsättningar för att utveckla fortbildningskulturen Slutsatser och rekommendationer Samlade slutsatser från utvärderingen Rekommendationer 21 Referensförteckning 23 BILAGOR Bilaga 1 SEM-analysen Bilaga 2 metodnotat Bilaga 4 Variabelförteckning Bilaga 5 Redovisning av enkätsvar

6 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG 1 1. INLEDNING Matematiklyftets huvudomgång startar i augusti Då kommer cirka 290 huvudmän med totalt 725 matematikhandledare och knappt matematiklärare ha möjlighet att delta i Matematiklyftet. Det är den största fortbildningssatsningen inom matematikområdet i Sverige någonsin. Under hösten 2012 och våren 2013 testades satsningen i en utprövningsomgång. Ramböll fick under hösten 2012 uppdraget att utvärdera utprövningsomgången. Syftet med utvärderingen var att få kunskap både om hur den planerade fortbildningens aktiviteter fungerar i sina olika delar och sammantaget. 1.1 Kort om Matematiklyftet Skolverket fick i mars 2012 i uppdrag 1 av regeringen att genomföra det så kallade Matematiklyftet, en nationell fortbildning för matematiklärare som syftar till att öka måluppfyllelsen i matematik hos eleverna. Satsningens utformning bygger på kunskap från befintlig forskning om fortbildning av lärare och om skolutveckling sammanställd av Skolverket. 2 Under läsåret 2012/13 har en utprövningsomgång av Matematiklyftet genomförts på 33 grundskolor. 3 Utprövningsomgången har syftat till att pröva Matematiklyftets modell för fortbildning och de bakomliggande teoretiska antagandena så att eventuella justeringar kan genomföras till den efterföljande huvudomgången. Skolverket har valt att benämna Matematiklyftets direkta målsättningar, det vill säga de resultat som sedermera ska leda till ökad måluppfyllelse, en utvecklad undervisningskultur och en utvecklad fortbildningskultur. Dessa båda begrepp är vida och kan betyda mycket, men används i denna utvärdering med avseende på ett specifikt innehåll. Kort uttryckt innebär en utvecklad undervisningskultur i detta sammanhang att lärarna i större utsträckning gör medvetna val av undervisningsmetoder och arbetssätt. Genom Matematiklyftet ska lärarna dels öka sin befintliga palett av metoder och arbetssätt, dels stärka den egna insikten om sina undervisningsbeslut för att på sikt kunna göra mer medvetna, situationsanpassade val i undervisningen. En utvecklad fortbildningskultur innebär i Matematiklyftet en kultur för fortbildning som präglas av gemensamma värden för fortbildningen mellan lärare och rektor, att fortbildningen är lokalt anpassad och att kollegialt lärande med externt stöd används. Som ett led i utvecklingen av fortbildningskulturen på deltagande skolor ska Matematiklyftet stärka rektorernas förmåga att ge förutsättningar för, synliggöra och följa upp lärares lärande. Såsom specificeras i regeringsuppdraget har Skolverket svarat för fyra huvudsakliga aktiviteter som ska bidra till Matematiklyftets målsättning. För att stödja lärarnas kollegiala lärande har speciellt utsedda handledare genomgått en handledarutbildning. För att stödja genomförandet av Matematiklyftet samt främja utvecklingen av fortbildningskulturen har skolornas rektorer genomgått en rektorsutbildning. Båda utbildningarna har utvecklats och genomförts i samarbete med nationellt centrum för matematikutbildning (NCM). Därutöver har NCM tagit fram matematikdidaktiskt stödmaterial. Materialet har samlats i moduler som presenteras på en webbaserad lärportal. 1.2 Metod I följande avsnitt redogörs för utvärderingens syfte, frågeställningar och metodologiska utgångspunkter. 1 Uppdrag till Statens skolverk att svara för utbildning, U2011/4343/S m.fl. 2 Se delredovisning av Uppdrag till Statens skolverk att stärka undervisningen i matematik, naturvetenskap och teknik, U2011/2229/G. 3 Efter ett stratifierat slumpmässigt urval erbjöd Skolverket huvudmän till 50 grundskolor att delta i utprövningsomgången. Av dessa valde 29 huvudmän, 26 kommunala och 3 fristående, att delta.

7 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG Utvärderingens syfte och frågeställningar Det övergripande syftet med utvärderingen av Matematiklyftets utprövningsomgång har varit att få kunskap både om hur den planerade fortbildningens aktiviteter fungerar i sina olika delar och sammantaget. Utvärderingen genomfördes således med ambitionen att värdera och förklara resultatet av de aktiviteter som genomfördes inom ramen för utprövningsomgången. Frågeställningarna som vägledde utvärderingen var följande: 1. Hur väl och varför fungerar varje enskild insats i förhållande till deras olika specifika syften? 2. Hur väl och på vilka sätt kompletterar insatserna varandra i förhållande till Matematiklyftets mål? 3. Hur väl och på vilka sätt knyter insatserna an till verksamheternas olika behov och förutsättningar? För att kunna svara på utvärderingens frågeställningar och för att på ett konkret sätt kunna bidra till den nationella implementeringen av Matematiklyftet har utvärderingsinsatsen vägletts av ett antal principiella vägval. För det första måste utvärderingen utgå ifrån hur Matematiklyftet är tänkt att fungera dvs. dess grundläggande design eller teori. Värderingen av utprövningsomgången avser i första hand inte vilken samlad nytta som satsningen bidragit med i skolorna utan om dess design är ändamålsenlig och kongruent. För det andra måste analysen av varför något har skett i skolorna utgå ifrån den befintliga kunskapen om kollegialt lärande och det pedagogiska ledarskapets betydelse. För det tredje måste den samlade empirin ge kunskap om både insatsens design och vad som villkorar ett önskat resultat. Det innebär att den dels måste utgå från insatsens design i val av resultatvariabler, dels utgå från den befintliga kunskapen i test av hypoteser om vad som påverkar satsningens resultat. Vid sidan om dessa principer har utvärderingen också vägletts av Skolverkets behov av att vid vissa tidpunkter få specifik information om delar av utprövningsomgången för att på bästa sätt passa in i planeringen av den nationella implementeringen. Därför har vissa målgrupper (som skolledare och handledare) prioriterats vid olika tillfällen under utvärderingens genomförande. I nedanstående avsnitt redogörs för utvärderingens genomförande, från den inledande fasen då en förändringsteori togs fram till analysarbetet i utvärderingens slutskede Utveckling av teoretisk modell för Matematiklyftet Utvärderingen inleddes med en instuderingsfas där relevanta dokument som var kopplade till Matematiklyftet studerades, bland annat regeringens uppdrag till Skolverket, Skolverkets egna måldokument och programbeskrivning. I samband med denna fas genomfördes även explorativa intervjuer med företrädare för Skolverket i syfte att få en förståelse för bakgrunden till Matematiklyftet. Därefter påbörjades arbetet med att ta fram en förändringteori för satsningen. Förändringsteorin kan sägas vara skelettet till Matematiklyftets design och utgör en central starpunkt för förståelsen av hur satsningen är tänkt att fungera. Den sammanfattar schematiskt hur Matematiklyftets insatser är tänkta att var för sig och tillsammans bidra till insatsens långsiktiga målsättningar. Därefter genomfördes en litteraturgenomgång med syfte att samla befintlig kunskap om vilka mekanismer som påverkar förutsättningarna för att utveckla undervisningskulturen och fortbildningskulturen. En närmare beskrivning av denna process återfinns i bilaga Datainsamling och analysarbete Empirin omfattar både intervjuer med berörda målgrupper och enkätundersökningar till samtliga lärare, skolledare och handledare. De olika källorna har haft olika syften i ambitionen att svara på utvärderingens frågeställningar. Intervjuerna har syftat dels till att mer på djupet skapa kunskap om utvecklingen på deltagande skolor. Dels till att testa den förklaringsmodell som togs fram i forskningsgenomgången. Enkäten ställd till lärare har analyserats med hjälp av strukturell ekvationsmodellering. Det har inneburit en statistisk analys av hypoteser om vad som förklarar resultatet. Denna analys har

8 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG 3 därefter kunnat jämföras dels med fynd från den kvalitativa empirin, dels med enkäterna som skickats till handledare och skolledare. Den samlade analysen vilar således på en bedömning av all insamlad empiri. En mer detaljerad beskrivning av omfattningen av datainsamling återfinns i bilaga Metodologiska utmaningar Utvärderingen ska ge svar på frågor som rör Matematiklyftets funktion som kan användas som ledning inför en replikering och uppskalning av satsningen. Samtidigt baserar sig våra slutsatser på empiri inhämtad från de skolor som deltagit i piloten och generaliserbarheten i resultaten påverkas därför av urvalet av skolor. Om urvalet i något avseende är skevt finns risken att det är förutsättningar som är specifika för skolorna i utprövningsomgången som förklarar resultaten. En rimlig indikator för att värdera denna eventuella skevhet är måluppfyllelsen i matematik för skolorna i utprövningsomgången relativt det nationella snittet. Vid en jämförelse med det nationella snittet framgår att skolorna i utprövningsomgången visserligen presterar något bättre än det nationella genomsnittet men att skillnaden är liten. Med utgångspunkt i detta bedömer Ramböll att risken att den följande analysen skulle störas av faktorer som härrör till selektionen av skolor är liten. En annan metodologisk utmaning rör det faktum att det inte finns ett givet test för att mäta det resultat som utvärderingen avser. Vi är hänvisade till utsagor från satsningens olika intressenter. Det utgör en grundförutsättning för utvärderingen och det har hanterats på två sätt. Dels genom att använda så enkla och intuitiva resultatvariabler som möjligt. Dels genom triangulering såväl metodologisk triangulering som triangulering av källor. Genom att exempelvis arbeta systematiskt med hypotestestning i analysen av den kvalitativa empirin har den kunnat fungera som en referenspunkt till analysen av enkäten. Vi har också medvetet triangulerat källorna för att kunna värdera utsagor från olika grupper. 1.3 Disposition Rapporten inleds med ett kapitel som beskriver vår värdering av hur väl Skolverket lyckats med att uppnå en förändrad undervisningskultur på skolorna och därefter ett kapitel om vilka faktorer som förklarar detta resultat. Därefter, i kapitel 4, presenteras vår analys av i vilken grad Skolverket har lyckats uppnå en förändrad fortbildningskultur i deltagande skolor. Rapporten avslutas med samlade slutsatser och rekommendationer.

9 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG 4 2. VÄRDERING AV RESULTAT KNUTNA TILL UNDER- VISNINGSKULTUREN Utprövningsomgången av Matematiklyftet har två långsiktiga målsättningar att stärka kvaliteten i matematikundervisningen och att etablera en ny fortbildningskultur på de deltagande skolorna. Tillsammans ska dessa målsättningar bidra till ett långsiktigt effektmål om en matematikundervisning som leder till att elever presterar bättre i matematik. I det här avsnittet görs en värdering av vilka resultat Skolverket har uppnått på kort sikt för att påverka förutsättningar för en förändrad undervisningskultur. Dessutom görs en bedömning av möjligheten att nå mer långsiktiga resultat med utgångspunkt i styrkan i förändringsteorin och kvalitet i genomförandet av programmet. 2.1 Utgångspunkter för bedömningen Undervisningskulturen på deltagande skolor ska enligt Matematiklyftets design utvecklas på två sätt: Genom att lärarna får fler metoder och arbetssätt att tillämpa i sin undervisning Genom att lärarna reflekterar mer över sina undervisningsbeslut Enligt de antaganden som ligger till grund för Matematiklyftet ska en sådan kortsiktig förändring för enskilda lärare skapa förutsättningar för en undervisningskultur där lärare i högre utsträckning gör medvetna val av metoder och arbetssätt. På sikt är tanken att detta ska bidra till att öka elevernas måluppfyllelse. De kortsiktiga målen ska uppnås genom det kollegiala lärandet, med stöd av ett modulmaterial som finns tillgängligt via den webbaserada lärportalen. I figur 3 åskådliggörs detta spår i förändringsteorin. Figur 1 Förändringsteori för förutsättningar för undervisningskulturen 2.2 Om utprövningens omfattning och prestationer En grundläggande förutsättning för att Matematiklyftet ska kunna skapa ett avtryck är att deltagarna fullt ut deltar i satsningen. Det avgörs både av i vilken grad skolorna och handledare fullt ut deltagit och med vilken grad av trohet de följt Matematiklyftets metod och övergripande intentioner. Ett sådant deltagande är också en förutsättning för att utvärderingen ska kunna ge svar på hur väl satsningens design fungerat. Ramböll bedömer att de skolor som deltagit i utprövningen också har genomfört den som planerat. Samtliga skolor har följt innehållet i modulerna och genomfört arbetet inom ramen för den tid som har funnits till förfogande. Vissa mindre justeringar av det planerade genomförandet har gjorts till följd av det tidspressade schemat men Rambölls bedömning är att detta inte har påverkat resultatet. Ramböll bedömer också att handledarna har deltagit i en tillfredställande omfattning. I intervjuer har det framkommit att lärare på ett fåtal skolor har genomfört handledarträffarna utan handledare eller med en tillförordnad handledare. Det har skett i ett fåtal fall och lärarna har i dessa fall framhållit att samtalsmomenten i modulen har kunnat genomföras ändå. Skolverket rekommenderade huvudmännen att tillsätta handledare som inte arbetade på de skolor där de skulle handleda. Trots detta har ungefär en tredjedel av skolorna i utprövningsomgången haft en intern handledare, det vill säga en handledare som har arbetat på skolan. Detta

10 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG 5 skulle kunna påverka analysen om det också visade sig att denna skillnad fått en avgörande betydelse för hur lärarna tillgogogjort sig fortbildningen. Empirin visar dock att detta inte har påverkat de kortsiktiga resultaten för lärarnas utveckling i utprövningsomgången. Sammantaget menar Ramböll att utprövningsomgången har uppfyllt grundläggande kriterier för att på ett fullgott sätt kunna utgöra en grund för bedömningen av teorin bakom satsningen Värdering av aktiviteter Utöver att lärare, rektorer och handledare behöver genomgå respektive utbildning måste matematiklyftets utbildningar, för att ha potential att bidra till de önskade resultaten, ha ett ändamålsenligt innehåll och hålla en tillfredsställande kvalitet. Ramböll har därför inkluderat särskilda analyser av handledarutbildningen, modulmaterialet, lärportalen och rektorsutbildningen. Nedan presenteras huvudsakliga resultat och slutsatser av dessa analyser. Handledarutbildingen Handledarutbildningen har värderats utifrån dess kvalitet och relevans. Med kvalitet avses handledarnas samlade tillfredsställelse med utbildningen och med relevans avses utbildningens möjliga bidrag till Matematiklyftets målsättningar. Värderingen bygger på handledarnas utsagor i intervjuer och på deras svar i enkäten. Sammantaget bedömer Ramböll att handledarutbildningen har hållit god kvalitet men att relevansen kan stärkas genom att låta utbildningen i större utsträckning vara kopplad till Matematiklyftets moduler på lärportalen. I enkätundersökningen framkommer att handledarutbildningen i hög utsträckning har gett handledarna kunskap om Matematiklyftet, stöd i att planera och genomföra handledningstillfällena samt verktyg för att stärka lärarnas engagemang för Matematiklyftet och utmana lärarnas tankar om deras undervisning. På en skala mellan ett och tio där ett är I liten utsträckning och tio är I stor utsträckning har lärarna i genomsnitt gett betyg mellan 8 och 10 på frågorna om i vilken utsträckning handledarutbildningen har bidragit till ovanstående kunskaper. 4 Av intervjuer med Handledare framgår att de är positiva till utbildningen. Föreläsningarna anges ha varit både intressanta och inspirerande. Upplägget med en blandning mellan föreläsningar och diskussioner i så kallade basgrupper tillsammans med andra handledare anges också vara mycket bra. Diskussionerna med andra handledare framhålls i intervjuer som särskilt givande. I intervjuerna framhålls emellertid också önskemål om att handledarutbildningen ska vara tydligare knuten till modulmaterialet. Handledarna efterfrågar stöd för att bättre kunna bistå lärarna i genomförandet av modulerna, bland annat handlar det om att kunna förklara avsikten med uppgifterna i modulerna. För att ytterligare stärka handledarnas möjlighet att stödja lärarna i genomförandet av Matematiklyftet skulle handledarutbildningen i högre utsträckning därför kunna utgå från modulinnehållet. Trots positiva omdömen om möjligheten att samtala med andra handledare framhåller handledarna i intervjuerna att tillfällena att samtala med andra handledare skulle kunna utökas. För detta syfte har Skolverket utvecklat en möjlighet att använda lärportalens webbforum. Handledarna anger emellertid i intervjuer att de inte ser webbforumet som ett alternativ till diskussioner öga mot öga, primärt eftersom diskussionsformen upplevs främmande men också på grund av bristande tid. Sammantaget bedömer Ramböll att handledarutbildningen har genomförts med god kvalitet och nytta, men att framför allt relevansen kan stärkas ytterligare genom att tydligare fokusera på hur handledarna kan utgöra ett konkret stöd i genomförandet av modulerna. Därutöver kan fler möjligheter till diskussioner handledarna emellan inkluderas. Modulinnehållet Utvärderingen har undersökt modulinnehållets kvalitet och relevans. Liksom för handledarutbildningen mäts kvalitet utifrån lärarnas samlade tillfredställelse med modulmaterialet, och relevans mäts genom en bedömning av modulernas möjliga bidrag till Matematiklyftets målsättningar. 4 För en sammanställning av enkätsvaren se bilaga 5.

11 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG 6 Värderingen baseras på fokusgrupper med lärare och på lärarenkäten. Sammantaget gör Ramböll bedömningen att modulinnehållet håller hög kvalitet och uppvisar god relevans mot bakgrund av Matematiklyftets målsättningar. Utvärderingen visar emellertid att värderingen av detta instrument uppvisar avvikelser på ett fåtal skolor. Enkätundersökningen visar att lärarna i hög utsträckning finner modulinnehållet både inspirerande och relevant. Lärarna har i genomsnitt angett betyget 8,39 av möjliga tio på frågan om i vilken utsträckning materialet har varit inspirerande och betyget 7,53 på frågan om i vilken utsträckning materialet möter upplevda behov i undervisningen. Lärare som undervisar i årskurs 1-3 är generellt något mer positiva till modulinnehållet än lärare som undervisar i de högre årskurserna. I enkätundersökningen anger även lärarna ett högt genomsnittligt betyg på frågan om i vilken utsträckning texterna i modulens delar har varit lätta att förstå (7,77). Den kvalitativa datainsamlingen bekräftar den mycket positiva bilden. Modulinnehållet beskrivs med ord som klockrent och fraser som det är som att jag skulle kunna ha skrivit det. Lärarna framhåller i synnerhet konkreta tips på hur de kan tänka vid sammansättning av grupper eller hur de kan uppmuntra eleverna att resonera kring matematikproblem som värdefulla. På ett fåtal skolor som Ramböll har besökt har lärarna emellertid varit mer kritiska till texterna och modulinnehållet. På dessa skolor har lärarna beskrivit texterna i modulerna som akademiska och modulinnehållet som verklighetsfrånvänt. Eftersom det har rört sig om ett fåtal skolor har Ramböll inte kunnat göra en mer omfattande analys av vilka faktorer som ligger bakom dessa skolors missnöje. Det finns dock indikationer på att förhållanden på skolan gällande bland annat elevernas måluppfyllelse kan påverka lärarnas upplevda behov av Matematiklyftet. En närmare analys av de avvikande skolorna görs i kapitel 3. Lärportalen Utvärderingen har även studerat den webbaserade lärportalens kvalitet, relevans och användning. Liksom för resterande aktiviteter har lärportalens kvalitet bedömts efter lärarnas samlade tillfredsställelse med lärportalen. Lärportalens relevans har bedömts efter lärportalens möjliga bidrag till Matematiklyftets målsättningar. Värderingen baseras på fokusgrupper med lärare och lärarenkäten. Sammantaget gör Ramböll bedömningen att lärportalen är lättnavigerad och på ett tydligt sätt bidrar till Matematiklyftets målsättningar genom att på ett enkelt sätt tillgängliggöra Matematiklyftets stödmaterial. I enkätundersökningen anger lärarna i genomsnitt ett högt betyg (7,49) på frågan om i vilken utsträckning Matematiklyftets användning av en lärportal har passat dem. Lärarna ger ett lika högt (7,36) betyg på frågan om lärportalen har varit lättnavigerad. Av fokusgrupperna med lärare framkommer generellt bilden av lärportalen som uppskattad, trots mindre problem med buggar. Lärarna anser att det är ett praktiskt sätt att få tillgång till material och uppskattar möjligheten att återvända till materialet i framtiden. Av enkätundersökningen framgår dock att lärarna i något lägre utsträckning (6,91) återkommande har besökt lärportalen för att informera sig om momenten i modulens delar. I intervjuer med handledare och fokusgrupper med lärare framkommer att flera lärargrupper har fått materialet i modulen utskrivet av handledaren vilket har medfört att lärarna själva inte har besökt lärportalen för att informera sig om modulens moment. Det innebär att lärarna har missat information om moduldelarna som enbart har presenterats på lärportalen. Den kvalitativa datainsamlingen visar även att de diskussionsforum som finns tillgängliga för rektorer, handledare och lärare på lärportalen används i liten utsträckning av samtliga målgrupper. I intervjuer och fokusgrupper anges tidsbrist och brist på rutin att använda verktyg av detta slag som anledningen till bristande användning. Vidare har lärargrupperna angett att de inte har upplevt ett behov av denna funktion då de har kunnat samtala med varandra inom grupperna om frågor kopplade till genomförandet av Matematiklyftet.

12 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG 7 Sammantaget gör Ramböll bedömningen att användningen av en lärportal har potential att bidra till Matematiklyftets målsättningar genom att på ett enkelt sätt samla och tillgängliggöra modulinnehållet. Användningen av lärportalen kan emellertid stärkas. Rektorsutbildningen Matematiklyftets fjärde aktivitet är utbildningen riktad mot rektorerna på deltagande skolor. Utvärderingen har gjort en bedömning av utbildningens kvalitet och relevans. Liksom för övriga aktiviteter vilar bedömningen främst på rektorernas upplevda tillfredsställelse med utbildningen utifrån enkätundersökningen och intervjuerna. Sammantaget gör Ramböll bedömningen att rektorerna har upplevt utbildningen som intressant och relevant men att de i efterföljande intervjuer har svårt att konkretisera vilka lärdomar som utbildningen har gett dem. Enkätundersökningen visar att rektorerna i hög utsträckning anser att de har fått kunskap om Matematiklyftet och konkret stöd i att genomföra fortbildningen (8,79 respektive 8,14). Lika höga betyg ges på frågan om i vilken utsträckning de anser att utbildningsinsatsen gett dem verktyg att stärka lärarnas engagemang och verktyg att kommunicera om deras undervisning (8,21 respektve 7,86). Sammantaget är rektorerna mycket tillfredsställda med rektorsutbildningen. Bilden bekräftas av den kvalitativa datainsamlingen där rektorerna beskriver rektorsutbildningen i mycket positiva ordalag. Intervjuerna ger emellertid en delad bild vad gäller rektorernas förmåga att omsätta lärdomarna i vardagen. Rektorerna anger bland annat att de på grund av tidsbrist har svårt att följa upp genomförandet av Matematiklyftet i enlighet med utbildningens avsikter och har även i vissa fall svårt att ange konkreta lärdomar som utbildningen har gett dem, i en del fall på grund av att de inte tydligt minns utbildningsinnehållet. Sammantaget gör Ramböll bedömningen att utbildningen har hållit hög kvalitet, utifrån rektorernas positiva omdömen. Rektorernas svårigheter att ange konkreta lärdomar kan dock tyda på att utbildningen är för liten till omfattningen för att ha möjlighet att varaktigt stärka rektorerna i det pedagogiska ledarskapet. 2.3 Avtryck på deltagande skolor I detta avsnitt redogörs för vilka resultat utprövningsomgången av Matematiklyftet har bidragit till för lärarna och undervisningskulturen på deltagande skolor. Avsnittet är uppdelat i resultat på kort och lång sikt. Resultaten på lång sikt, dvs. ökad kvalitet i undervisningen, har inte utgjort utvärderingens primära fokus. En sådan förändring ligger längre fram i tiden och eftersom empirin har samlats in samtidigt som utprövningen genomfördes har den inte kunnat mätas. Däremot gör vi en bedömning av Skolverkets möjligheter att nå sina långsiktiga målsättningar med utgångspunkt i styrkan i förändringsteorin, i vilken mån Matematiklyftet i utprövningsomgången uppnått önskade resultat på kort sikt och genomförandet av programmet Resultat på kort sikt: fler metoder och mer reflektion över val i undervisningen För att skolorna ska kunna öka kvaliteten i sin matematikundervisning krävs att förutsättningar för undervisningskulturen utvecklas. Detta avser en ökad förmåga hos lärare att reflektera över val av arbetssätt och metoder i undervisningen samt en större verktygslåda bestående av nya metoder och arbetsätt att använda i sin undervisning. Ramböll bedömer att utprövningsomgången i hög grad har bidragit till detta resultat. På en skala från ett till tio där ett är I liten utsträckning och tio är i stor utsträckning har deltagande lärare gett det genomsnittliga värdet åtta på frågan om de i högre grad än tidigare reflekterar över val av metoder och arbetssätt i sin undervisning. I lika stor utsträckning anger lärarna att de i genomsnitt har fått fler metoder och arbetsätt att använda i sin undervisning. Resultatet gäller oavsett i vilken årskurs läraren undervisar eller hur länge hon eller han har arbetat som lärare. Resultaten varierar inte heller i särskilt hög grad mellan deltagande skolor. Bedömningen stärks av den bild som framträder i samtal med lärare. Av den kvalitativa empirin framkommer flera exempel på hur denna förändring manifesteras i lärarnas vardag. Exemplen som ges har många gemensamma drag. De upplever en ökad tilltro till deras förmåga att bedriva god undervisning utan att under varje lektion luta sig mot matematikboken. De upplever även att de i högre grad pratar om matematik med både sina kollegor och elever.

13 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG 8 Vi är väldigt kompententa. Men vi har blivit mer medvetna om VARFÖR vi använder det material som vi gör. Nu har jag börjat undervisa matte på ett helt nytt sätt. ( ) Vi diskuterar matte på ett annat sätt, samarbetar och är med. Vi PRATAR matte. Lärarna menar vidare att de har blivit bättre på att se elevernas beräkningsfel som en möjlighet att illustrera något viktigt i elevernas resonemang i stället för att enbart fokusera på det rätta svaret. Därutöver är det ett flertal lärare som menar att den röda tråden i matematikundervisningen har blivit mer synlig för dem genom att man i Matematiklyftet har arbetat över årskursgränserna. Slutligen anger lärarna att de har fått konkreta tips på hur de kan genomföra olika lektionsmoment, till exempel för att göra gruppindelning eller föra gemensamma diskussioner. Sammantaget gör Ramböll bedömningen att Matematiklyftet har bidragit till att lärarna på de deltagande skolorna har erhållit en breddad palett av metoder och verktyg att tillämpa i undervisningen samt att de har en ökad insikt om egna undervisningsbeslut och en stärkt medevetenhet om hur dessa påverkar elevernas lärande. Matematiklyftets utprövningsomgång har alltså varit framgångsrikt och målsättningarna på kort sikt för de deltagande lärarna har i stor utsträckning uppnåtts Resultat på längre sikt: Ökad kvalitet i undervisingen Matematiklyftets design bygger på en väletablerad bild av vad som krävs för att förändra matematikundervisningen i skolan. Tidigare forskning 5 understryker betydelsen av att stärka förutsättningarna för undervisningskulturen på det sätt som satsningen avser att göra. Ett tydligare självreflekterande förhållningssätt till den egna undervisningen tillsammans med fler konkreta verktyg möjliggör en högre kvalitet i undervisningen. Ramböll bedömer att det är en styrka att designen utgår från på beprövad erfarenhet inom fältet. Utvärderingen visar också att Matematiklyftets design fungerar på det sätt som det är tänkt. Skolverket har uppnått de resultat på kort sikt som man avsåg att uppnå med hjälp av insatsen. Lärarna har ombetts att göra en samlad bedömning av om utprövningsomgången av Matematiklyftet har bidragit till att utveckla deras undervisning. På frågan om i vilken utsträckning detta har skett på en skala från ett till tio där ett är I liten utsträckning och tio är I stor utsträckning har lärarna i genomsnitt angett svaret åtta. Handledare och rektorer har också fått möjlighet att besvara en liknande fråga och de är något mer positiva än lärarna själva. Det genomsnittliga svaret som handledare och rektorer har angett är drygt åtta. Därutöver värderar lärarna att Matematiklyftet bidragit till att stärka dem i deras lärarroll till drygt sju på en skala från ett till tio. Resultaten är således positiva men Matematiklyftet är inte designad som en kortsiktig intervention i syfte att påverka situationen för de elever som går i skolan under tiden för genomförandet. Matematiklyftet ska istället fungera som en impuls som förändrar kvaliteten på undervisningen i matematik på lång sikt. En avgörande faktor i det arbetet handlar om i vilken grad Skolverket lyckas med att etablera en ny fortbildningskultur på skolorna. Denna fråga behandlas vidare i kapitel 4. 5 Se till exempel Hattie, J. A. C. (2008).

14 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG 9 3. FAKTORER SOM FÖRKLARAR RESULTATEN Matematiklyftet har haft som huvudsakliga målsättningar att utveckla förutsättningarna för undervisningskulturen respektive fortbildningskulturen på deltagande skolor i syfte att i bidra till en undervisning som leder till högre måluppfyllelse för eleverna. I föregående kapitel redogjorde vi för vilka resultat som Matematiklyftet har uppnått med utgångspunk i förändringsteorin. Här presenterar vi vilka faktorer som kan förklara dessa resultat. Först görs en kort genomgång av metoden för analysen. Den följs av en beskrivning av förklaringsfaktorer som ligger utanför modellen. Därefter presenteras de faktorer som har påverkat resultaten för undervisningskulturen och lärarnas utveckling. Beskrivningen innefattar både faktorer med stor och liten påverkansgrad på resultaten. Kapitlet avslutas med en särskild bedömning av vad som har skett på de skolor som uppvisar sämst resultat i utvärderingen. 3.1 Kort om metoden bakom analysen av förklaringsfaktorer Avsnittet bygger på resultaten av den SEM-analys (strukturell ekvationsmodellering) som beskrivs närmare i bilaga 1 men kompletteras också av enkäterunderlaget från rektorer, handledare och huvudmän samt den kvalitativa datainsamlingen. Som beskrivs ovan grundas analysen på olika faktorers påverkansgrad på resultatvariablerna. En hög påverkansgrad innebär en hög korrelation mellan påverkansfaktor och resultatvariablerna. Antaganden om orsakssambandens riktning utgår från resultatet av litteraturstudien. Förklaringsfaktorerna är framtagna genom den inledande litteraturstudien, den kvalitativa datainsamlingen och i samtal med Skolverket. Faktorerna som slutligen testades i SEM-analysen redovisas i tabell 2 nedan. Tabell 1 Sammanställning av faktorer i förklaringsmodellen Indikator Återkoppling Kollegiala samtal Modulinnehåll Lärarens inställning Fortbildningens utformning Handledarens roll Organisationskultur Rektorns roll Förklaring Avser lärarnas återkoppling tillvarandra efter genomförandet av moment c i moduldelarna. Avser de kollegiala samtalen i moment b och d i moduldelarna som har letts av en handledare. Avser texter, aktiviteter och filmer i modulens delar. Avser lärarens eget engagemang i genomförandet samt lärarens generella vilja och motivation att förbättra undervisningen. Avser fortbildningens centrala beståndsdelar, dvs. de återkommande handledarträffarna, de kollegiala samtalen, användingen av en lärportal och blandningen mellan teori och praktik. Avser den roll som handledaren har antagit i genomförandet av Matematiklyftet. Avser lärarnas vana att arbeta tillsammans för att utveckla undervisningen, deras trygghet i att diskutera undervisningen med kollegorna och organisationens mottaglighet för utveckling. Avser rektorns roll i genomförandet av Matematiklyftet. Mer specifikt rektorn engagemang och delaktighet i genomförandet. Från början inkluderades även faktorerna Resurser och Viljeriktning som redovisas i tabell 1. Dessa faktorer uppvisade emellertid ingen korrelation med resultatvariabeln varför de plockades bort från modellen. I samband med den kvantitativa analysen gjordes ett antal tester för att värdera modellens validitet och reliabilitet. Sammantaget visade testerna att modellen uppvisar goda värden för reliabilitet och validitet, vilket bland annat innebär att faktorerna i modellen har en hög förklaringskraft på resultatvariabeln.

15 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG Faktorer som påverkar förutsättningarna för undervisningskulturen I följande avsnitt görs en bedömning av de faktorer som har påverkat önskade förutsättningar för undervisningskulturen. Med det avses vilka faktorer som i hög eller låg grad har bidragit till att lärarna reflekterar mer över sina undervisningsbeslut och har fler verktyg och arbetssätt att använda i sin undervisning. I figur 4 nedan visas de förklaringsfaktorer som har inkluderats i analysen samt på vilket sätt var och en av dem korrelerar med resultatvariabeln. Ramböll gör den samlade bedömningen att de faktorer som har stark påverkan på resultaten är Handledarträffar, Modulinnehåll, Fortbildningens utformning, Handledarens roll och Rektorns roll. Lärarens eget engagemang och drivkraft samt organisationskulturen har däremot en svagare påverkan på resultaten. Faktorn Återkoppling har ingen direkt påverkan på resultatvariabeln. Däremot korrelerar ett högt betyg för faktorn Återkoppling med ett högt betyg för faktorn Handledarträffar. Det betyder således att Återkoppling är en faktor som indirekt påverkar undervisningskulturen. Figur 2 Översikt över kausal modell Bedömning av faktorer med stark drivkraft Handledarträffar, Modulinnehållet, Fortbildningens utformning, Handledarens och Rektorns roll är alla faktorer som har betydelse för Matematiklyftets resultat. I följande avsnitt presenteras de närmare tillsammans med en tolkning av hur korrelationsanalysen kan förstås utifrån den kvalitativa datainsamlingen. Handledarna Ramböll gör bedömningen att handledarna i stor utsträckning har bidragit till att förklara utprövningsomgångens resultat på skolorna. Handledarna har bidragit till satsningens resultat genom att ta ett stort ansvar för genomförandet av Matematiklyftet, bland annat i arbetet med att strukturera samtalen i kollegiet, men också genom att öka lärarnas engagemang för fortbildningssatsningen. Bedömingen vilar på den kvantitativa analysen men stärks även av den kvalitativa datainsamlingen. Det linjära sambandet mellan handledarens arbete och resultatvariabeln Undervisningskulturen tyder på en hög påverkansgrad. Det innebär att handarens roll samvarierar med resultatvariabeln och att detta samband är starkt positivt. Resultatet är samstämmigt med den bild som framkommit i intervjuer och fokusgrupper. Lärarna har där framhållit vikten av handledarna som pådrivare, att det är någon som håller i genomförandet och motverkar att samtalen tappar fokus och handlar om andra saker än om texterna eller aktiviteterna. Handledarna uppfattas även i vissa fall ha bidragit till att stärka lärarnas förståelse och engagemang för Matematiklyftet.

16 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG 11 Handledaren har hjälpt till med att vända de negativa känslorna som vissa hade i början. ( ) Det var helt avgörande och nödvändigt med en handledare, för starten. Och vidare. Denna [handledare] har varit bra. Forskning har framhållit vikten av att kompetensutvecklingsinsatser utmanar lärarnas föreställningar om sin undervisning 6. Den kvantitativa analysen visar att lärare som har haft en extern handledare, det vill säga en handledare som inte har arbetat på den egna skolan, i större utsträckning har angett att handledarens roll har varit att utmana deras tankar om den egna undervisningen än lärare som har haft en internt rekryterad handledare. Huruvida en lärare har haft en internt eller externt rekryterad handledare uppvisar emellertid i Matematiklyftets utprövningsomgång inget samband med resultatvariabeln, dvs. lärarnas ökade förmåga att reflektera över egna undervisningsbeslut och vidgade verktygslåda. Sammantaget tycks de externt rekryterade handledarna i högre utsträckning ha utmanat lärarnas föreställningar om undervisningen men det tycks i sin tur inte ha spelat någon roll för lärarnas upplevda lärande. Den kvantitativa datainsamlingen visar att lärarna generellt har gett höga betyg till handledarna vilket indikerar att handledarna har genomfört sitt uppdrag väl. Bilden bekräftas av intervjuer med handledare som samtliga har uppvisat ett stort engagemang för och en tydlig vilja att genomföra Matematiklyftet. Även intervjuer med rektorer och huvudmän stärker bilden av att handledarna har tagit en stor och uppskattad roll i Matematiklyftet. Handledarens möjlighet att hjälpa lärarna att förstå modulens innehåll har fått något lägre betyg än övriga aspekter kopplade till handledarrollen. I intervjuer har vissa lärare även önskat att handledarna än mer ska kunna agera lärare och ha förmåga att förklara problem som framkommer kopplade till ämnet. Dock skulle det varit fint med ett stöd i själva undervisningen, då vi kört fast i vårt lärande. Att handledaren hade en större ämneskompentens. Sammantaget bedömer Ramböll att handledarna har haft stor betydelse för genomförandet av Matematiklyftet. Framför allt har handledarna haft en strukturerande roll, de har drivit satsningen och säkrat att genomförandet har följt Skolverkets intentioner. Handledarna anges genomgående ha skött sin uppgift mycket bra, även om vissa önskemål om en tydligare roll som uttolkare av modulen och dess innehåll har framkommit. Fortbildningens utformning Rambölls bedömning är att fortbildningens utformning har en central del i förklaringen av resultaten för lärarna. Att fortbildningen har varit arbetsplatsbaserad och att den har pågått under en längre period har ökat lärarnas möjlighet att tillgodogöra sig innehållet. Likaså har blandningen av teori och praktik stärkt lärandet i Matematiklyftet. Den kvantitativa analysen visar att faktorn Fortbildningens utformning har en stor påverkansgrad på resultatvariabeln. Den kvalitativa datainsamlingen bekräftar bilden att fortbildningens form har bidragit till resultaten för undervisningskulturen. Lärarna anger att möjligheten att återkommande träffas och diskutera materialet bidrar till att de funderar kring och återkommer till lärdomarna i högre utsträckning i jämförelse med fortbildning genom en punktinsats. Matematiklyftets blandning av teori och praktik har vidare gett lärarna en möjlighet att testa lärdomar direkt i klassrummet vilket upplevs ha stärkt lärandet. En framgångsfaktor är att man får öva och omsätta i praktiken ganska med en gång. Läsa, fundera och jobba och se hur det funkar och sedan diskutera med kollegorna. Det är en väldigt viktig del av det hela. Det är en sak att läsa sig till det men sen när man gör det i praktiken är det en annan sak. Traditionella inlärningskurser har inte varit lika bra. Detta har gett mer, en större förändring för att det ligger så nära. Man går till sin klass, gör det man ska göra och sedan talar man om det i gruppen. De egna eleverna har varit som försökskaniner, vilket har gett en närhet, det har varit bra då vi känner varandra. 6 Timperley, m.fl. (2007).

17 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG 12 Faktorn fortbildningens utformning har även fått ett högt genomsnittligt betyg i enkätundersökningen. Matematiklyftets upplägg har således uppskattats av och passat merparten av lärarna på de deltagande skolorna. Både den kvalitativa och den kvantitativa datainsamlingen ger sammantaget en samstämmig bild av att lärare och rektorer ser stora fördelar med kollegialt lärande och hur det har utformats i Matematiklyftet. Även lärportalen ges ett högt betyg i enkätundersökningen trots att lärarna enligt den kvalitativa datainsamlingen inte tycks ha använt lärportalen i den utsträckning som Skolverket har önskat. Sammantaget ser Ramböll att formen för hur fortbildningen i Matematiklyftet har utformats i sig har haft en positiv påverkan på satsningens resultat. Såväl den kvantitativa som den kvalitativa datainsamlingen stärker bedömningen. Handledarträffarna Ramböll bedömer att karaktären på handledarträffarna i modul b och d påverkar resultatet för lärarna i Matematiklyftet. En engagerad lärargrupp och inspirerande diskussioner under handledningstillfället bidrar till att utveckla lärarnas undervisningskultur. Handledarträffarna har varit mycket uppskattade av deltagande lärare. Av SEM-analysen framgår att faktorn Handledarträffarna har en stor påverkansgrad på resultatvariabeln. Resultatet förstärks av den kvalitativa datainsamlingen där lärarnas möjlighet att samtala med varandra om frågor relaterade till undervisningen framhålls som en central komponent för att utveckla undervisningen. Samtalen uppges bidra till att lärarna får möjlighet att reflektera över sin undervisning i relation till sina kollegors vilket föder nya uppslag och idéer. Man får klart för sig hur andra tänker. Vi har inga andra träffar/ämnesträffar. Det här har blivit en chans att höra hur andra tänker och förklarar matematik på olika sätt. Mötena är ett sätt att ventilera och att utbyta tankar. Man blir inte ensam i sitt jobb, det är en trygghet. Analysen visar vidare att handledarträffarnas bidrag till resultatvariabeln stärks om träffarna har inkluderat återkoppling på genomförda aktiviteter i moduldelarnas moment c, dvs. genomförda aktiviteter i klassrummet. I intervjuer stärks bilden av att återkoppling på den egna praktiken är viktig för lärarna. Generellt tycks få lärare ha haft tid att besöka en kollegas lektion. En stor del av de intervjuade lärarna anger dock att detta är något som de önskar att de kunde göra i högre utsträckning. Handledarträffarna är den faktor som i enkätundersökningen har fått det högsta genomsnittliga betyget. I intervjuer och fokusgrupper har det framkommit en samstämmig bild av att lärarna generellt önskar mer tid att diskutera undervisningen med varandra. Matematiklyftets utformning med avsatt tid för diskussioner lärarna emellan har därför värderats högt av deltagarna. Sammantaget bedömer Ramböll att handledarträffarnas karaktär bidrar i stor utsträckning till att förklara Matematiklyftets resultat för lärarna. De lärare som i stor utsträckning har fått verktyg och metoder, samt reflekterar över undervisningsbeslut i högre utsträckning, har beskrivit handledarträffarna som inspirerande och kollegorna som engagerade. Den samlade bilden är att en majoritet av lärarna i Matematiklyftet har upplevt handledarträffarna som en central komponent i satsningen. Här har det givitis möjlighet att testa och finna nya idéer för hur undervisningen kan bedrivas. Modulinnehållet Ramböll gör bedömningen att modulens innehåll har bidragit till att främja Matematiklyftets resultat avseende lärarnas utveckling. Modulinnehållet upplevs ha bidragit med nya uppslag och perspektiv vilket har inspirerat och utmanat lärarna. Innehållet har fått ett högt betyg. Det har uppfattats som inspirerande och möjligt att återvända till under kommande läsår. Enligt SEM-analysen har faktorn Modulinnehållet en stor påverkansgrad på resultatvariabeln Undervisningskulturen. Vi kan även se att de frågor som påverkar faktorn modulinnehållet mest

18 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG 13 (och sedermera resultaten) är ett material som i hög grad anses möta ett behov i undervisningen. Den kvalitativa datainsamlingen stärker bilden. Den har framförallt visat på vad som händer när lärarna uppfattar att modulinnehållet inte tillräckligt väl följer kortsiktiga behov, som att modulinnehållet inte följer den terminsplanering som de har gjort, uppgifterna uppfattas som för svåra för deras elever eller de själva uppfattar att nivån på texter och uppgifter i modulinnehållet håller en för hög akademisk nivå och därmed inte anses som lika användningsbara. I dessa fall skattar man det samlade värdet av Matematiklyftet lägre än övriga skolor. Modulinnehållet har dock generellt sett fått ett högt betyg av lärarna. Merparten av lärarna har således funnit materialet lättillgängligt och intresseväckande. Av intervjuerna framgår vidare att lärarna ser en tydlig röd tråd i materialet, vilket uppges har underlättat möjligheten att tillvarata centrala budskap. Det är så enkelt att plocka ner det och använda i undervisningen. Det är användbart direkt. Det är både nytt och i framkant samtidigt som man känner att man har användning av, och kan knyta det till, den normala undervisningen och det man redan kunde det är bra relevans. Sammantaget ser Ramböll att modulinnehållet har haft en hög kvalitet som har uppskattats av lärarna samt att detta har bidragit till att stärka resultaten för undervisningskulturen i Matematiklyftet. Rektorn Rambölls bedömning är att rektorns agerande i stor utsträckning påverkar utfallet av fortbildningen på de deltagande skolorna. Rektorernas förmåga att signalera engagemang för Matematiklyftet och deras aktiva deltagande i fortbildningssatsningen har potential att stärka lärarnas förmåga att tillgodogöra sig lärdomar från satsningen. Ramböll bedömer emellertid att rektorernas förmåga att bidra positivt till Matematiklyftet kan stärkas. SEM-analysen visar att rektorns roll i relativt hög utsträckning påverkar resultatet för lärarna vad gäller en utökad verktygslåda och större insikt i undervisningsbeslut. Bilden stärks delvis av den kvalitativa analysen. Samtidigt som många lärare gör bedömningen att de har ett tillräckligt starkt eget driv för att tillvarata lärdomar och utveckla undervisningen genom Matematiklyftet, och därför inte ser rektorns engagemang som betydelsefullt, konstaterar Ramböll att missnöjda lärare har önskat ett större stöd av rektorn i genomförandet. När man kände [tids]pressen hade det varit bra om hon hade varit med och sett hur knöligt det kan vara. I den bästa av världar behöver hon inte vara med, då räcker det med en handledare. Enligt den kvantitativa datainsamlingen har lärarna skattat rektorernas engagemang för och deltagande i Matematiklyftet som lågt relativt övriga undersökta faktorer. Intervjuer och fokusgrupper indikerar att såväl lärare som rektorer i huvudsak har sett att rektorernas primära roll har varit att skapa förutsättningar för genomförandet av Matematiklyftet genom att tillgängliggöra tid. Hon satte igång oss, sedan har hon varit osynlig. Men tror det är meningen. Allt diskuteras med handledaren. Resultaten från enkätundersökningen tyder emellertid på att det finns en viss skillnad i bedömningen av rektorns roll mellan lärare som har haft internt rekryterad handledare och lärare som har haft externt rekryterad handledare. Lärare som har haft en internt rekryterad handledare ger ett något högre betyg till rektorn än lärare som har haft en externt rekryterad handledare. Med stöd i den kvalitativa datainsamlingen tolkar Ramböll resultatet som att de internt rekryterade handledarena har fungerat som en länk mellan rektorn och lärarna genom att kontinuerligt hålla rektorn uppdaterad om hur arbetet inom Matematiklyftet fortlöper. Denna information kan ha möjliggjort ett högre engagemang från rektorer med internt rekryterade handledare. Tolkningen stöds även av enkäten till handledarna i vilken internt rekryterade handledare i högre utsträckning anger att de har samtalat med rektorn om det fortlöpande arbetet i Matematiklyftet.

19 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG 14 Sammantaget bedömer Ramböll att rektorernas roll kan stärkas i genomförandet av Matematiklyftet, dels på grund av att rektorernas engagemang och delaktighet har visat sig påverka resultat och dels på grund av att det utifrån lärarnas bedömning finns potential att utveckla denna del av genomförandet. Ett sätt att stärka rektorns delaktighet kan vara att försöka öka kontakten mellan handledarna och rektorerna för att på så sätt stärka rektorns kunskap och engagemang för Matematiklyftet Bedömning av faktorer med svag eller otydlig påverkansgrad I följande avsnitt redogörs för de förklaringsfaktorer som bedöms ha haft en svag påverkan på resultatet. Det är organisationskultur och lärarens inställning. Organisationskultur Ramböll gör bedömningen att arbetsplatsens organisationskultur i låg grad påverkar resultaten för målsättnigen om en utvecklad undervisningskultur. Merparten av skolorna saknar en tradition av att arbeta med fortbildning via kollegialt lärande för att förbättra undervisningen. Trots detta upplever lärarna att de förstår och kan tillgodogöra sig Matematiklyftet. Vidare framgår det av intervjuerna att lärarna generellt känner sig trygga att diskutera sin undervisning med kollegorna, både på skolor som uppvisar goda resultat och på skolor som uppvisar sämre resultat. Enligt SEM-analysen korrelerar förklaringsfaktorn Organisationskultur i låg utsträckning med resultatvariabeln Undervisningskultur, variablerna uppvisar således ett svagt eller inget samband. Det innebär att huruvida lärarna uppfattar miljön på skolan som utvecklingsorienterad och trygg inte påverkar resultatet i Matematiklyftet. Bilden stärks av intervjuer och fokusgrupper vilka visar att lärarna i liten utsträckning upplever att skolorna tidigare har arbetat med kollegialt lärande eller på annat sätt arbetat tillsammans för att utveckla undervisningen. Trots detta upplevs Matematiklyftet generellt docka väl in i verksamheten. Enkätundersökningen visar, liksom intervjuerna, att lärarna generellt ger ett högt betyg till förklaringsfaktorn Organisationskultur, i synnerhet när de ombeds värdera i vilken grad deras skola är en utvecklingsorienterad arbetsplats och i vilken grad det finns en trygghet inom kollegiet att diskutera undervisningen. Vanan att arbeta tillsammans för att utveckla undervisningen värderas lägre i enkätundersökningen. Bilden stärks av vad som framkommer i intervjuer och fokusgrupper där lärarna har angett att de känner sig helt trygga att diskutera problem inom undervisningen med sina kollegor men också att de tidigare inte har haft som vana att regelbundet göra detta. Lärarens inställning Ramböll gör den samlade bedömningen att lärarnas inställning till fortbildning visserligen inverkar på resultatet i Matematiklyftet, men att graden av påverkan inte kan avgöras. Faktorn är behäftad med vissa mätproblem då det finns en tendens att betygssätta sitt eget engagemang högt. Detta kan förklara den relativt låga graden av variation i respondenternas svar. Enligt SEM-analysen korrelerar inte lärarnas egen inställning till fortbildning med uppnått resultat inom Matematiklyftet. Faktorn mäter lärarnas vana att testa nya metoder och arbetssätt i undervisningen, aktivt deltagande vid handledartillfällena och en tro på den egna förmågan att förbättra elevernas måluppfyllelse. Att det är en faktor som är svår att fånga föranleder viss försiktighet i tolkningen av resultatet. Den kvalitativa datainsamlingen ger även den en delad bild. I intervjuer och fokusgrupper anges det egna engagemanget för fortbildning och önskan om att utveckla undervisningen av flera lärare som både tillräckligt och avgörande för genomförandet av Matematiklyftet. Samtidigt framhåller lärarna vikten av det kollegiala inslaget i satsningen och dess betydelse för att främja engagemang och lärande. Det kan tolkas som att en stark egen drivkraft inte har lika stor betydelse som i traditionella fortbildningsinsatsen då Matematiklyftet i sig har möjlighet att stärka lärarnas engagemang.

20 MATEMATIKLYFTETS UTPRÖVNINGSOMGÅNG 15 Som beskrivs ovan ger lärarna generellt ett högt betyg till sitt eget engagemang i Matematiklyftet, samt i övrigt utvecklingsarbete kopplat till undervisningen. Lärarna anger även att de i hög utsträckning har tilltro till att deras undervisning påverkar elevernas måluppfyllelse positivt. Sammantaget gör Ramböll bedömningen att lärarnas inställning sannolikt påverkar resultatet mer än vad den kvantitativa analysen visar. Forskning 7 på området liksom den kvalitativa empirin stöder den slutsatsen. Samtidigt är det värt att nämna att detta är en faktor som ligger bortom Skolverkets mandat att påverka, utöver de sätt som omfattas av andra instrument såsom handledarfunktionen och modulernas innehåll. 3.3 Förklarande faktorer utanför modellen resurser Ramböll bedömer att Matematiklyftet, trots att utprövningsomgången har präglats av stor tidspress, har genomförts enligt Skolverkets intention på deltagande skolor. Såväl den kvantitativa som den kvalitativa datainsamlingen stödjer denna bedömning. Ramböll har kontrollerat för hur tidspressen har påverkat genomförandet av Matematiklyftet genom att ställa frågor om resurser i enkätundersökningen till lärarna. Vi kan konstatera att en stor majoritet av respondenterna, i såväl den kvantitativa som den kvalitativa datainsamlingen, har angett att arbetet med Matematiklyftet har präglats av stress och tidsbrist. En majoritet av lärarna har också saknat möjlighet att använda vikarier. Samtidigt visar SEM-analysen att frågan om huruvida lärarna har kunnat genomföra Matematiklyftet inom ramen för sin ordinarie arbetsvecka inte har någon korrelation med resultatet för undervisningskulturen eller lärarnas utveckling. Detta gäller även för möjligheten att använda vikarier. Slutsatsen som kan dras av detta är att Matematiklyftet har genomförts trots ett pressat tidsschema och att tidspressen inte har påverkat resultatet i utprövningsomgången. 3.4 Skolor med svagare resultat Den generella bilden av Matematiklyftet är att satsningen har fungerat mycket väl på skolorna i utprövningsomgången. Eftersom antalet skolor som deltar i utprövningsomgången är litet i jämförelse med det antalet skolor som kommer att delta i den nationella satsningen är det emellertid värt att särskilt analysera de skolor som i viss mån uppvisar avvikande resultat. Ramböll bedömer att lärare på skolor med svagare resultat i större utsträckning har upplevt rektorn som frånvarande samt fortbildningens innehåll som mindre relevant. Lärarna på dessa skolor har därutöver upplevt utprövningsomgångens pressade genomförande som mer hindrande än lärare på skolor som uppvisar starkare resultat. Faktorer kopplade till elevsammansättningen på skolorna, som tidigare måluppfyllelse och utländsk bakgrund, tycks inte ha påverkat resultatet för skolorna i utprövningsomgången. Det genomsnittliga betyget på resultatvariablerna i enkätundersökningen är 8,07. På fyra skolor är genomsnittet mellan 5 och 7 för samma variabler dessa fyra representerar de skolor där Matematiklyftet tycks ha gett svagast avtryck. De skolor som uppvisar de svagaste resultaten uppvisar även, i enlighet med SEM-analysen, sämre resultat för faktorer med stark påverkan på resultatet. I intervjuer och fokusgrupper framkommer att lärare på skolor med svagare resultat särskilt anger att rektorn inte i tillräcklig utsträckning har stöttat genomförandet av Matematiklyftet. Vidare framkommer det i intervjuer på dessa skolor att lärarna har svårare att se modulinnehållets relevans. Dels anges att materialet uppfattas akademiskt, och dels anges det inte möta de omedelbara behov som lärarna har i sin undervisning. I ljuset av den tidsbrist som flertalet lärare upplever har man på skolorna med svagare resultat inte ansett att Matematiklyftets innehåll har varit tillräckligt relevant för att prioritera. Texterna är på för hög nivå gentemot vad vi ska göra. Man blir bara irriterad, man utvecklas inte. 7 Se till exempel Hattie, J. A. C. (2008).