Delrapport 4 Effektstudie av ESF-projektet Inkludera och mötas på uppdrag av Framtidsutbildning AB

Transkript

1 Delrapport 4 Effektstudie av ESF-projektet Inkludera och mötas på uppdrag av Framtidsutbildning AB Martin Lackéus Carin Sävetun Me Analytics AB Göteborg, juni 2018

2 2 1. Bakgrund och syfte Forskare på företaget Me Analytics AB (ett avknoppningsföretag från Chalmers Tekniska Högskola) och utvärderingsföretaget Framtidsutbildning AB utforskar tillsammans möjligheten att använda och vidareutveckla en ny forskningsmetodik framtagen av forskare på Chalmers för att mäta effekter av de kompetensutvecklingsinsatser som genomförs inom ESF-projektet Inkludera och mötas 2. Metod I denna delstudie har data insamlats med hjälp av både kvantitativa och kvalitativa metoder. Den kvantitativa ansatsen användes för att fånga känslomässiga upplevelser, reflektioner och lärande med hjälp av IT verktyget LoopMe som användes via deltagarnas datorer, läsplattor eller mobiltelefoner. Insamlad data utgjorde sedan underlag vid de semi-strukturerade kvalitativa intervjuerna. Under mätperioden maj 2017 maj 2018 har 670 personer deltagit i kompetenshöjande insatser inom projektet. 447 personer av dessa, dvs 67 % har skickat rapporter via LoopMe under samma period. Användandet av LoopMe har varierat en hel del inom respektive grupp. Se tabell 1. Deltagarna har uppmanats att registrera känslomässiga händelser och reflektioner löpande. 10 av deltagare som använt LoopMe valdes ut till djupintervju, samtliga personer har arbetat inom förskolan. Urvalet av personer och frågor under intervjun baserades på antal skickade rapporter samt innehåll i form av fritext och metadata. En sammanvägning gjordes mellan hur många utbildningstillfällen man deltagit i, förekomst av metadatataggar som var av särskilt intresse i studien samt fritext av intresse i studien. Tabell 1. Sammanställning av deltagarnas användande av LoopMe under perioden maj 2017 maj 2018 Grupper Antal deltagare Antal som har LoopMe konto Antal som har loopat under perioden Andel av deltagare Coacha för aktiva unga - Hallenborgskolan % Coacha för aktiva unga - Mölleskolan % Coacha för aktiva unga - Slimmingeby skola % Coacha för aktiva unga AF och Näringsliv % Coacha för aktiva unga AF, Näringsliv, Skola % Mölleskolan, Coacha för aktiva unga, Fritids % Digitalisering GAFE Allefp % Digitalisering Gymnasiesärskolan % Digitalisering Hallenborg/Alle skolpersonal % Digitalisering Maria/Rutger % Digitalisering Prionapp Saritslöv % Digitalisering Slimminge % Prexit förskola % Prexit Skola % Programmering - Östergårdsskolan % Programmering Mölleskolan % Programmering och digitalisering i Skurup % Programmering omr norr % Ringar på Vattnet - FSK Landet % Ringar på Vattnet - FSK Norr % Ringar på Vattnet - FSK Söder % Ringar på vattnet - Maria/Rutger % Ringar på Vattnet - Östergårdsskolan % Ringar på vattnet, -värdegrundskvällar Avslut % Bokcirkel - UUIK - Alleskolan % Inkludering i praktiken, -aktiva åtgärder Chefer % Serviceförvaltningen % Drama som metod för att inkludera barn i lek % Vi gör bättre när vi kan % Enhetsutvecklare FSK % Enhetsutvecklarna Rätt om vi kan % Normkritik i praktiken - NH % Nottingham (Framtidsforum och föreläsning) % SSA Studiebesök % Skolledare - Leda i förändring % Bokcirkel Skurups förskola % Integrationsretreat % Totalt %

3 Kvantitativt tillvägagångssätt mobilt app-verktyg Redan på 70-talet använde psykologiforskaren Mihaly Csikszentmihalyi korta och enkla frågeformulär för att fånga respondenternas upplevelser direkt i den egna omgivningen för att försöka studera flödet av upplevelser i vardagen (Hektner et al., 2007). Denna metod kallas Experience Sampling Method (ESM) eller Ecological Momentary Assessment (EMA) (Stone et al., 2003). I takt med att användningen av smarta mobiltelefoner spridit sig har kostnaderna för att distribuera och administrera korta och snabba undersökningar minskat avsevärt och det finns idag en uppsjö av tillgängliga mätverktyg (Conner, 2013). I denna studie utrustades deltagarna med en mobil app kallad LoopMe som var kopplad till en central databas. Deltagarna ombads att registrera upplevelser, reflektioner och lärande kopplat till utbildningsinsatsen de tagit del av. För varje upplevelse ombads deltagarna att skriva en kortare rapport med en fri text som beskrev upplevelsen, göra en kategorisering utifrån ett antal förbestämda teman (taggar) samt att välja ett känsloläge. Totalt samlades fyra datatyper in via app-verktyget; rapporttyp (fri reflektion eller rapport om ett uppdrag), fritext (valfritt antal tecken), känsloläge (femstegs likertskala från +2 till -2) samt taggar (20 metadatatyper, se tabell 2.) vilket gav en kort svarstid. Metadata som deltagarna ombads ange för varje rapport utformades baserat på de olika kompetensutvecklingsmål man har satt upp i projektet. Tabell 2. Förteckning över de metadatataggar som deltagarna kan välja att använda för att kategorisera sin apprapporter, samt deras respektive koppling mot övergripande projektmål Projektmål Bemötande Samarbete över gränser Inkludering Motivation/framtidstro Programmering/datalogi Utvecklade kontakter Ny kunskap Förändrade attityder Kvalitet på insatsen Metadatatagg Beteende och bemötande Inkluderande arbetssätt Upplevt att olikheter berikar Bra samarbete Upplevt vinst med samarbete över gränser Gränsöverskridande Bejaka olikheter Jämställdhet Normkritik Motivera andra Arbeta digitalt Nya bra kontakter Tränat färdighet Ny kunskap Ny insikt Värdefullt Bra verktyg Svårbegripligt Meningslöst Annat

4 4 En ny ansats i användningen av LoopMe i denna studie innebar att deltagare fick ett antal obligatoriska handlingsbaserade uppdrag som de skulle genomföra, rapportera om samt reflektera kring via LoopMe. Denna funktion innebar att LoopMe inte enbart fungerade som ett forskningsverktyg, utan även som ett metodstödjande verktyg i projektet. Projektledningen har utformat uppdrag som är anpassade efter utbildningsinsatsen samt var primär mottagare av individernas rapporter och reflektioner. De kunde därmed mer exakt leda, stödja och följa vare deltagares utveckling. Att projektledningen integrerade LoopMe i kompetensutvecklingsinsatserna under projektet var en nödvändig förutsättning för att forskningsdata skulle kunna samlas in. Varje app-rapport skickades till en eller flera processledare samt var synlig för forskarteamet. Processledarena hade möjlighet att kommentera app-rapporten via en chatt-funktion. Samtliga involverade processledare fick en personlig genomgång av LoopMe för att säkerställa att de kunde hjälpa deltagarna att använda app-verktyget på ett korrekt sätt. Projektledningen fick även tillgång till olika guider och support som stöd i sitt arbete att introducera deltagarna till verktyget. Förutom att app-rapporterna innehöll en hel del intressant information, så användes de i denna studie också som ett urvalsverktyg för att öka signifikansen i nästa steg den kvalitativa delen som vi nu kommer till Kvalitativt tillvägagångssätt semi-strukturerade intervjuer Den kvalitativa datainsamlingen består huvudsakligen av kvalitativa djupintervjuer med 10 individer enligt en beprövad intervjumetodik där man diskuterat de upplevelser individerna berättat om via LoopMe och ber dem knyta dessa upplevelser till vad de lärt sig i form av kunskaper, färdigheter och attityder samt även hur de upplever att kompetensutvecklingsinsatserna har påverkat arbetsplatsen i stort. Varje intervju omfattar ca 45 minuter och ett semistrukturerat tillvägagångssätt har används där ingående moment i intervjuerna var introduktion till studien (5 % av tiden), generella lärdomar (5 % av tiden), app-baserade frågor (50 % av tiden), avgörande händelser (25 % av tiden), motivation till att medverka i projektet (5 % av tiden), likheter och skillnader mellan denna kompetensutveckling och andra kompetensutvecklingsinsatser (5 % av tiden) samt viktiga beslut deltagaren tagit senaste tiden (5 % av tiden). Tyngdpunkten i intervjuerna låg alltså på att diskutera de app-rapporter deltagaren hade gjort under mätperioden som föregick intervjun. Alla 10 djupintervjuer har genomförts och transkriberats av personal från Framtidsutbildning AB och materialet har sedan kodats av Me Analytics AB. Den efterföljande analysen som forskarteamet gör syftar till att etablera länkar mellan individernas upplevelser och resulterande uppfyllelse av lärmål för att skapa en större insikt i hur lärprocessen går till mer i detalj och därmed kunna utgöra evidens för uppnådda effekter av projektets insatser Dataanalys och kodningsramverk Alla transkriberade djupintervjuer i studien kodades med hjälp av programvaran NVIVO för kvalitativ dataanalys. Tillvägagångssättet för kodningen var inspirerat av så kallad Grounded Theory metodik (Corbin & Strauss, 1990), där både öppen kodning och axial kodning användes (Corbin & Strauss, 1990, p. 98). Axial kodning innebär att koda intervjudata med på förhand bestämda koder. Öppen kodning innebär att skapa nya koder allt eftersom man upptäcker återkommande och intressanta företeelser i datan. Axial kodning gjordes genom att utgår från de olika utbildningsinsatser som gjorts i projektet samt de förväntade kompetensutvecklingsmål man har satt upp för projektet. Ramverket visas i tabell 3 och 4.

5 5 Tabell 3. Ramverk för känslomässiga lärhändelser. Koder med asterisk är öppna, övriga är axiala. Koder Tolkning vid koder Utbildningsinsats: Bemötande Deltagaren beskriver innehållet i den utbildningsinsats hen tagit del av. Utbildningsinsats: Inkludering Deltagaren beskriver innehållet i den utbildningsinsats hen tagit del av. Utbildningsinsats: Ledarskap Deltagaren beskriver innehållet i den utbildningsinsats hen tagit del av. Utbildningsinsats: Samarbete över gränser Deltagaren beskriver innehållet i den utbildningsinsats hen tagit del av. Utbildningsinsats: Programmering Deltagaren beskriver innehållet i den utbildningsinsats hen tagit del av. * Projektet som helhet Deltagaren hänvisar till projektet i stort och inte till någon specifik utbildningsinsats *Kvalitetsmätning Deltagaren hänvisar till en kompetensutvecklingsinsats som pågick parallellt med projekt. Tabell 4. Ramverk för utvecklade kompetenser samt upplevda effekter på arbetsplatsen. Koder med asterisk är öppna, övriga är axiala. Tema Undertema Tolkning vid koder Kunskaper Kunskap om särskilda behov Kunskap om hur det är att ha särskilda behov samt hur man kan bemöta dem. Kunskap om inkluderande språkmetodik Kunskap om signaler man ger i form av bland annat kroppsspråk, tonläge och ord, samt hur dessa uppfattas olika. Kunskap om hur olikheter berikar Kunskap om på vilket sätt olikheter människor emellan kan berika en grupp/arbetsplats. Kunskap om normer och normkritik Kunskap om normer och normkritik Kunskap om tillgänglighet Kunskap om tillgänglighet, fysiskt såväl som mentalt Kunskap om motivation Kunskap om motivationsfaktorer, teori, förhållningssätt och metoder som motiverar andra. Kunskap om kommunikation Kunskap om kommunikation, teori samt förhållningssätt och tekniker. Kunskap om att samarbeta digitalt Kunskap om hur man kan samarbeta digitalt Kunskap om programmering Kunskap om hur man programmerar Kunskap om datalogi Kunskap om datalogi Självkännedom * Ökad kunskap om sig själv Kunskap om kvalitetsutvecklande arbete * Kunskap om hur man bedriver kvalitetsutvecklande arbete i en organisation Färdigheter Färdighet att tillämpa inkluderande arbetssätt Färdighet att tillämpa inkluderande arbetssätt Färdighet att synliggöra normer Färdighet att synliggöra normer Färdighet att tillämpa motiverande ledarskap Färdighet att tillämpa motiverande ledarskap Färdighet att tillämpa medveten kommunikation Färdighet att tillämpa medveten kommunikation Färdighet att samarbeta digitalt Färdighet att samarbeta digitalt Färdighet att ta nya kontakter Färdighet att ta nya kontakter Färdighet att samarbeta över (tidigare) gränser Färdighet att samarbeta över (tidigare) gränser Färdighet att arbeta med programmering i elevgrupp Färdighet att arbeta med programmering i elevgrupp Attityder Förändrad attityd kring bemötande Förändrad attityd kring bemötande Förändrad attityd kring jämställdhet Förändrad attityd kring jämställdhet Förändrad attityd kring mångfald Förändrad attityd kring mångfald Förändrad attityd kring jämställdhet Förändrad attityd kring jämställdhet Förändrad attityd kring ledarskap Förändrad attityd kring att leda sig själv och andra Förändrad attityd kring samarbete Förändrad attityd kring samarbete Ökad motivation till att samarbeta Ökad motivation till att samarbeta Ökad framtidstro Ökad framtidstro Förändrad attityd kring digitalisering Förändrad attityd kring digitalisering Fattat ett viktigt beslut Fattat ett viktigt beslut Ökat självförtroende* Ökat självförtroende Nyhetsfaktor Helt nytt för mig, stort värde* Deltagaren upplever kompetensutvecklingsinsatsens innehåll som mycket värdefullt och helt nytt. Relativt nytt, visst värde* Deltagaren upplever kompetensutvecklingsinsatsens innehåll som relativt värdefullt, nästan inget nytt, mest repetition. Inget nytt alls, slöseri med tid* Deltagaren upplever kompetensutvecklingsinsatsens innehåll som värdelöst, inget nytt, bara gammal skåpmat.

6 6 Förväntan Värdet av projektet är enligt förväntan* Deltagaren upplever att projektet motsvarar den egna förväntan. Värdet av projektet är över förväntan* Deltagaren upplever att projektet överträffar den egna förväntan. Värdet av projektet är lägre än förväntat* Deltagaren upplever att projektet inte lever upp till den egna förväntan. Effekter på arbetsplatsen Ökad omvärldsbevakning* Deltagaren upplever att arbetsplatsen fått nya infallsvinklar, ökad insikt i omvärlden syn på organisationen samt ökat inflöde av intryck utifrån. Ökad insikt om kollegors förhållningssätt* Deltagaren upplever att man har fått en ökad insikt om sina kollegors olika förhållningssätt till ämnet och därmed även en ökad förståelse. Ökad insikt i arbetsplatsens olika professioner* Deltagaren upplever att man fått en ökad insikt om sina kollegors olika professioner, roller, etik etc. Ökad gemenskap i kollegiet* Deltagaren upplever en ökad gemenskap i kollegiet ett större och mer uttalat VI. Mer öppet diskussionsklimat* Deltagaren upplever en förändring i diskussionsklimatet, känsliga ämnen kan diskuteras på ett mer öppet sätt. Gemensam referensram* Deltagaren upplever att alla i kollegiet nu har en gemensam grund med teorier, metodiker och diskussioner som gör att man belyst olika förhållningssätt. Förändrad kultur i kollegiet* Deltagaren upplever en tydligt förändrad kultur i kollegiet där man diskuterar och agerar på ett annat sätt än tidigare. Efter att alla intervjuer kodats så skapades ett antal tabeller med hjälp av genererad data från analysmjukvaran NVIVO för att utgöra stöd för analys av allt insamlat material. Tabeller genererades över antal känslomässiga händelser samt antal kompetenser som utvecklats. En interaktionsmatris genererades med hjälp av särskild funktionalitet i NVIVO som genererar en tabell över samtliga överlappande koder i texten, så kallade länkar mellan känslomässiga händelser och utvecklad kompetens. Dessa tabeller användes för att inspirera påföljande analys.

7 7 3. Utfall 3.1. Utfall från användning av mobilt app-verktyg (kvantitativ metod) Under den 13 månader långa mätperioden (1 maj maj 2018) sändes totalt app-rapporter av de 447 deltagarna, se tabell 5. Tabellen är något missvisande då samma deltagare kan ingå i flera olika insatser och LoopMe grupper. Deltagarna har även tillkommit i efterhand och bjudits in i olika grupper beroende på vilken enhet man arbetar på samt vilken utbildningsinsats man deltar i. Siffrorna i tabellen är dock något missvisande då flera deltagarna endast medverkat vid ett enda utbildningstillfälle och har därefter antingen slutat på sin arbetsplats, gått i pension eller sjukskrivit sig. Antalet loopar per person som medverkat vid mer än ett tillfälle är i praktiken därför högre än medelantalet i tabellen. Tabell 5: Antal app-rapporter per utbildningsinsats. Sammanställning över utbildningsinsats, antal deltagare, antal app-rapporter, känslomedel samt medelantalet rapporter per deltagare i varje grupp. Grupper Antal som har LoopMe konto Antal rapporter Känslomedel Medelantal rapporter per deltagare Coacha för aktiva unga - Hallenborgskolan ,8 1,8 Coacha för aktiva unga - Mölleskolan ,5 0,2 Coacha för aktiva unga - Slimmingeby skola ,2 0,7 Coacha för aktiva unga AF och Näringsliv 5 1 2,0 0,2 Coacha för aktiva unga AF, Näringsliv, Skola ,9 0,5 Mölleskolan, Coacha för aktiva unga, Fritids 6 1 0,0 0,2 Digitalisering GAFE Allefp 2 4 1,0 2,0 Digitalisering Gymnasiesärskolan 5 1 1,0 0,2 Digitalisering Hallenborg/Alle skolpersonal ,0 3,0 Digitalisering Maria/Rutger ,0 0,0 Digitalisering Prionapp Saritslöv 5 1 2,0 0,2 Digitalisering Slimminge ,4 3,0 Prexit förskola ,2 14,0 Prexit Skola ,2 4,4 Programmering - Östergårdsskolan ,9 1,9 Programmering Mölleskolan ,1 2,3 Programmering och digitalisering i Skurup ,4 0,9 Programmering omr norr ,3 1,3 Ringar på Vattnet - FSK Landet ,9 1,6 Ringar på Vattnet - FSK Norr ,2 1,3 Ringar på Vattnet - FSK Söder ,3 1,0 Ringar på vattnet - Maria/Rutger ,1 1,7 Ringar på Vattnet - Östergårdsskolan ,0 0,0 Ringar på vattnet, -värdegrundskvällar Avslut ,6 2,2 Bokcirkel - UUIK - Alleskolan ,1 0,4 Inkludering i praktiken, -aktiva åtgärder Chefer ,3 1,6 Serviceförvaltningen ,0 0,1 Drama som metod för att inkludera barn i lek 2 1 2,0 0,5 Vi gör bättre när vi kan ,2 1,2 Enhetsutvecklare FSK 9 6 1,8 0,7 Enhetsutvecklarna Rätt om vi kan ,3 2,4 Normkritik i praktiken - NH ,3 0,1 Nottingham (Framtidsforum och föreläsning) ,1 2,7 SSA Studiebesök ,9 3,3 Skolledare - Leda i förändring ,4 0,8 Bokcirkel Skurups förskola ,3 0,7 Integrationsretreat 7 3 2,0 0,4 Totalt ,1 1,4

8 8 Varje LoopMe-grupp hade uppdrag som knöt an till den utbildningsinsats som gruppen gällde, med en uppmaning till att reflektera direkt eller inom en kortare tid efter utbildningsinsatsen. Processledningen har därutöver nyttjat möjligheten att skapa ett antal handlingsbaserade uppdrag kopplat till respektive utbildningsinsats som deltagarna skulle genomföra, rapportera om samt reflektera kring via LoopMe. Majoriteten av deltagarna har skickat ca 1 rapport var och det är endast i ett fåtal grupper där deltagarna har skickat fler än 2 rapporter per deltagare under mätperioden. En grupp som sticker ut från övriga är Prexit Förskola där medelantalet rapporter per deltagare är 14 st. Uppdragen i denna grupp har handlat om vilken konkret användning deltagarna tror sig komma ha, eller har haft av de olika kompetensutvecklingsinsatser de tagit del av. De uppmuntrades även att prova nya metodiker i sin barngrupp/bland elever och därefter berätta hur det gick, vad de själva lärde sig samt vilken effekt metodiken hade på barnen/eleverna. Varje app-rapport innehåller en känsloikon som deltagarna kan välja att använda för att beskriva sin upplevelse känslomässigt. Genom att ta ett medelvärde på samtliga känsloikoner som används i en grupp/kompetensutvecklingsinsats kan man få fram en övergripande bild över hur respektive insats har upplevts av deltagarna. Vid en analys av medelkänsla i de grupper som varit aktiva under mätperioden ser man att samtliga insatser kring digitalisering har varit väldigt uppskattade. Bland de 91 rapporter som skickats in ligger medelkänslan på 1,4. Deltagarna har varit väldigt nöjda med att få lära sig att hantera olika digitala verktyg och därefter använda dem i undervisningen. Uppdragen i grupperna har kretsat kring att genomföra en programmeringsaktivitet med en grupp elever och sedan berätta om hur det gick och personliga reflektioner kring det. Deltagarna har även uppmuntrats till att reflektera kring sin egen och skolans digitaliseringsresa. Medelkänslan i de grupper som omfattar ledarskap i förändring (Vi gör bättre/rätt när vi kan) har haft ett lika högt känslomedel. Medelkänslan bland de 92 rapporter som skickats in ligger på 1,4. Enhetsutvecklarna i förskolan har överlag varit mycket positiva i de två LoopMe-grupper där de medverkat. Den ena gruppen har varit hierarkiskt där deltagarna har skickat loopar till processledaren. Här har man främst skickat rapporter inom uppdraget Spridning av Nottingham. Enhetsutvecklarna uppmanades att ange tre konkreta åtgärder/strategier som de tagit till sig under Nottinghams föreläsning och som de ser sig kunna använda i sin undervisning. Den andra LoopMe-gruppen bland enehetsutvecklarna har varit platt, där har deltagarna skickat loopar så att alla i gruppen kan se dem och kommentera på den. I denna grupp har man främst skickat rapporter kring olika reflekterande övningar inom personlig utveckling och kommunikation av olika slag. Även gruppen med förstelärare (Vi gör bättre när vi kan) har haft en hög medelkänsla. Här har deltagarna fått ett flertal olika uppdrag med fokus på ledarskap i förändring, inkluderande metodiker mm. Många av deltagarna uttrycker att de lärt sig nya verktyg som de har fått träna sig i att använda och detta har man upplevt som positivt. Allra lägst värde har grupperna Inkludering i praktiken aktiva åtgärder Chefer, Normkritik i praktiken NH, Skolledare - Leda i förändring. Medelvärdet i dessa grupper ligger mellan 0,3 och 0,4. Vid en genomläsning av de negativa loopar som gjordes i den första gruppen (Inkludering i praktiken aktiva åtgärder Chefer) ser man att de rapporter som skickats in utgår från uppdrag där deltagarna uppmanats att identifiera grupper eller "individtyper" man tror riskerar att utsättas för diskriminering och exkludering, Deltagarna uppmanades även att reflektera kring vilka metoder man använder för att identifiera dessa samt ange de två viktigaste påverkansfaktorerna när det gäller diskriminering. Känsloskalan återspeglar här på ett väldigt bra sätt att det är just svårigheter i verksamheten som behandlas i gruppen. I den andra gruppen (Normkritik i praktiken NH) har endast 4 av 46 deltagare loopat och det blir därför svårt att dra några slutsatser utifrån detta fåtal rapporter. Vid en genomläsning av de negativa rapporterna i den tredje gruppen (Skolledare - Leda i förändring) framkommer att dessa deltagare inte riktigt förstår uppdragen/frågorna som ställs i LoopMe, inte tycker sig vara rätt målgrupp för insatsen eller anser att kompetensutvecklingsuppdragen inkräktar på andra arbetsuppgifter som måste gå före.

9 9 3.2 Instsernas koppling till övergripande projektmål Varje app-rapport innehåller en eller flera metadatataggar som deltagarna kan välja att använda för att kategorisera sin rapport. Dessa metadatataggar svarar mot någon av de förväntade projektmål man har satt upp vid ansökan om projektmedel. Vid sammanställning av samtliga metadatataggar som insamlats under mätperioden så ser man deltagarna upplever att insatserna i projektet främst har kretsat kring Bemötande (20,5% av periodens metadatataggar) och Samarbete över gränser (14,3% av periodens metadatataggar). Metadatataggar som indikerar på Upplevd kvaliteten i insatsen har värderat högt (21,7% av periodens metadatataggar). De projektmål som är minst representerade bland deltagarnas rapporterade metadatataggar är indikatorer på bristande kvalitet i insatsen, dvs taggarna svårbegripligt och meningslöst (0,6% av periodens metadatataggar), annat (1,6% av periodens metadatataggar) samt Utvecklade kontakter (2,4% av periodens metadatataggar) och Inkludering. Se tabell 6. Tabell 6. Metadatataggarnas fördelning kopplat mot projektmålen. Förteckning över de metadatataggar som deltagarna har rapporterade samt deras koppling till respektive projektmål. Projektmål Metadatatagg Antal Totalt antal Total andel Bemötande Beteende och bemötande 717 Inkluderande arbetssätt 347 Upplevt att olikheter berikar ,5% Samarbete över gränser Bra samarbete 552 Upplevt vinst med samarbete 162 Gränsöverskridande gränser ,3% Inkludering Bejaka olikheter 362 Jämställdhet 126 Normkritik ,1% Motivation/framtidstro Motivera andra ,8% Programmering/datalogi Arbeta digitalt ,0% Utvecklade kontakter Nya bra kontakter ,4% Ny kunskap Tränat färdighet 254 Ny kunskap ,9% Förändrade attityder Ny insikt ,0% Kvalitet på insatsen Värdefullt 650 Bra verktyg ,7% Svårbegripligt 35 Meningslöst ,6% Annat ,6% Grand Total % Sammanställning av valda metadatataggar från denna mätperiod (1 maj maj 2018) har även gjorts grafiskt för att skapa en god översiktsbild över deltagarnas upplevelse av insatserna kopplat till projektets övergripande mål. Se figur 1 på nästa sida.

10 10 Figur 1. Metadatataggarnas fördelning kopplat mot projektmålen. Fördelning av metadatataggar som deltagarna har rapporterade samt deras koppling till respektive projektmål. Sammanställning av valda metadatataggar från denna mätperiod stämmer i väldigt hög grad överens med den sammanställning som gjordes vid delrapport 2 (mätperioden oktober 2016 april 2017). Genom att presentera dessa båda utfall grafiskt kan man få en god översikt över deltagarnas rapporterade upplevelser av samtliga insatser under de båda mätperioderna. Se figur 2. Figur 2. Metadatataggarnas fördelning kopplat mot projektmålen med jämförelse mellan de två mätperioderna. Fördelning av metadatataggar som deltagarna har rapporterade samt deras koppling till respektive projektmål.

11 Jämförelse mellan respektive studerad utbildningsinsats Genom att jämföra vilka metadatataggar deltagarna använt vid respektive utbildningsinsats kan man urskilja varje insats olika särdrag och jämföra dem. Se figur Figur 3: Nottingham Figur 4: Vi gör bättre när vi kan Figur 5: Prexit Figur 6: Ringar på vattnet Figur 7: Inkludering i praktiken Figur 8: Coacha för aktiva unga Figur 9: Digitalisering Figur 10: Programmering Föreläsningsforum och föreläsningar kring Nottingham är den insats som i allra högst grad verkar ha påverkat deltagarna till både Ny kunskap och Förändrade attityder. Insatsen Vi gör bättre när vi kan har en relativt jämn fördelning av metadataggar, men deltagarna har upplevt att den i något högre grad har riktat in sig mot målet Bemötande och Samarbete över gränser. Andelen metadatataggar som pekar mot projektmålet Ny kunskap är också relativt hög. Även insatsen Prexit har en hög grad av metadatataggar som indikerar mot målet Ny kunskap och ämnet har kretsat kring Bemötande, Motivation och Samarbete över gränser. Den insats som i allra högst grad har indikerat mot projektmålet Bemötande och Inkludering är insatsen Inkludering i praktiken. Även insatserna Ringar på vattnet och Coacha för aktiva unga har en hög grad av taggar som indikerar mot dessa mål, dock inte riktigt i lika hög grad som den förstnämnda insatsen.

12 12 Gemensamt för samtliga utbildningsinsatser kring programmering och digitalisering både för förskolans- och skolans personal är att deltagarna har använt taggarna Ny kunskap och Arbetat digitalt i en relativt hög omfattning, vilka i sin tur pekar mot projektmålen Programmering/datalogi/ digital kompetens samt Ny kunskap. Dessa insatser urskiljer sig kraftigt från övriga insatser i projektet då de inte i övrigt berör projektmålen Inkludering, Bemötande eller Utvecklande kontakter. Det upplevda värdet av respektive insats är relativt högt rankat. Deltagarna har framför allt värderat insatserna inom programmering och digitalisering i högre grad än vid övriga insatser. Se tabell 7. Tabell 7. Metadatataggarnas fördelning kopplat mot projektmålen. Förteckning över de metadatataggar som deltagarna har rapporterade samt deras koppling till respektive projektmål I denna rapport har vi framförallt jämfört de kompetensutvecklingsinsatser där högst andel metadatataggar förekommer. För att få en fullständig bild över varje enskild kompetensutvecklingsinsats (och LoopMe-grupp), se tabell 8 på nästa sida.

13 Tabell 8. Jämförande tabell över förekomsten av taggar vid respektive utbildningsinsats 13

14 14 Utfall från semistrukturerade intervjuer (kvalitativ metod) Forskarteamet har valt att under denna mätperiod endast genomföra djupintervjuer bland de personer som deltagit i insatser som vänt sig till förskolan. Detta gjordes med hänsyn till att det är den målgrupp som deltagit i flest antal kompetensutvecklingsinsatser och under mätperioden och det är också denna målgrupp som har varit mest aktiv att skriva app-rapporter i LoopMe. Samtliga 10 intervjupersoner har medverkat vid ett flertal utbildningstillfällen med huvudfokus Bemötande och även i vissa fall Ledarskap. Se tabell 9. I några fall hade de intervjuade personerna svårt att särskilja den ena utbildningsinsatsen från den andra och de hänvisar till projektets olika utbildningsinsatser samlat. Dessa fall har kodats som Projektet som helhet. Tabell 9. Förekomst av utbildningsinsatser i intervjuerna. Tema Antal förekomster Bemötande 36 Ledarskap 17 Projektet som helhet 2 Totalt: 55 Under intervjuerna identifierades att deltagarna har utvecklat ett eget lärande. I tabell 10 presenteras det totala antalet identifierade förekomster av utvecklade kompetenser. De utvecklade kunskaper som oftast förekom under djupintervjuerna var självkännedom och kommunikation. De utvecklade färdigheter som främst lyfts fram är Medveten kommunikation och de attityder som oftast förekommer i intervjuerna är Bemötande och Ledarskap. Se tabell 10. Några citat: (Mitt) lärande handlar först och främst om inställning och bemötandet. Inställningen till hur man tacklar problem och situationer i vardagen. Min attityd gentemot andra runt omkring mig. Vilket kroppsspråk jag använder. Jag har kommit till insikt om hur jag fungerar i de här sammanhangen och jag har insett att jag tidigare har varit väldigt självkritisk och hård mot mig själv. Det som jag tidigare upplevt som negativt hos andra kan jag nu vända till något positivt. Insikterna har lett till bättre bemötande. Jag har blivit mer medveten om hur jag reagerar och hur jag tolkar andras reaktioner. (...) Jag tycker att jag har blivit mer tydlig men på ett vänligt sätt. Tydlig både i hur jag framför saker och hur jag förklarar saker. Jag har varit bra på att vara tydlig mot barnen innan, till kollegor mindre bra och till föräldrar inte bra. Nu är det bra mot alla. Jag har kommit till insikten att man inte trampar andra på tårna bara för att man vill vara rak. Det har varit helt fantastiskt att delta i det här projektet. Ingen annan utbildning gett mig så mycket. ( ) Det har hänt något i mig. Det är så mycket. Det är hela mitt förhållningssätt. Det har gett ringar på vattnet hur jag agerar mot barnen, kollegorna och föräldrarna. Det har påverkat min syn på lärande. Tidigare var jag helt fokuserad på resultatet. Nu ser jag på hela processen och vad det är som leder fram till resultaten. Det är ok att inte kunna. Även om intervjupersonerna själva uppger att utbildningstillfällena inte har gett dem så mycket nya kunskaper, uttrycker de att insatsen har varit värdefull då de har tvingats att tänka efter kring sitt förhållningssätt och sitt agerande. Intervjupersonerna uttrycker att de främst fått bekräftelse på att man tänker rätt samt att de fått nya verktyg/metoder för att kommunicera mer effektivt: Det här med bemötande var egentligen inget nytt men man tänkte mer på det i kursen. Det blev tydligare. Man tänkte mer på det. Förstod mottagaren vad jag menade eller var det jag som var otydlig. Det handlade om hur vi kommunicerar. Det här med bemötande var egentligen inget nytt men man tänkte mer på det i kursen. Det blev tydligare. Man tänkte mer på det. Förstod mottagaren vad jag menade eller var det jag som var otydlig. Det handlade om hur vi kommunicerar.

15 15 Jag kan känna att detta handlar mycket om personlighetsutveckling. Hur jag som person kan ändra mitt sätt att möta människor genom att bli mer medveten. Jag har fått en större medvetenhet kring bemötandet. Hur möter jag en människa, t.ex. en irriterad förälder. (...) Jag har nog varit rätt så bra på bemötande från början men jag har fått en större medvetenhet kring de här frågorna och betydelsen av ett bra bemötande. Jag har gjort det men inte varit medveten om varför. Fått fler verktyg att hantera situationerna. Jag är en person som ibland tyckt att det har varit jobbigt att ta konflikter. Jag har nu blivit stärkt av att våga ta sånt och att kunna lägga fram det på ett bra sätt. Jag har fått verktyg där. Ett par intervjupersoner uttrycker att de har fattat ett aktivt beslut och att de därmed har förändrat sin attityd: Ja, förändringen är inte automatiserad än. Jag har behövt ta ett antal beslut efterhand. Allra första tillfället tog jag beslut om att förändra mitt kroppsspråk i vissa situationer. Sen är det beslut att inte gå ner i offerfilen utan stanna kvar i glädjefilen. Jag har också beslutat mig för att jag duger som jag är. Såna beslut har jag tagit hela tiden. Jag har ändrat på vissa saker. Är noga med att hälsa på alla barn och personal på morgonen. Möter alla med ögonkontakt och någon fråga. Det är viktigt att se var och en inte betrakta dem i grupp. Man får väldigt mycket respons från barnen på det. Egentligen är det så självklart nu skulle jag inte kunna bara gå in och hänga av mig väskan och börja duka. Jag har blivit tuffare vågar säga ifrån. Ibland tar man på sig för mycket. Vill inte bli överkörd längre. Inte lägga energi på det jag inte kan påverka. Se möjligheter inte hinder. Nu släpper jag vissa saker som jag inte kan påverka. Jag har ändrat mitt beteende men det har inte kommit vid en viss tidpunkt men jag har bestämt saker som handlar om hur jag vill agera i vissa situationer som jag har beskrivit. Vid intervjuerna framkommer dock att insatsen inte varit helt bekväm. Flera intervjupersoner uttrycker att både de själva och deras kollegor upplevde otrygghet och ibland rent obehag, framförallt början av utbildningsinsatsen: Vissa situationer i kursen har varit obehagliga ( ) Kursledarna var inspirerande och kreativa men också provocerande för att de kunde lyfta fram vem som helst i gruppen för att agera inför de andra. Energin i början gick åt till att undvika att hamna i fokus. Jag var delvis skeptisk och tyckte det var jobbigt i början men efterhand upptäckte jag mer och mer intressanta kunskaper som jag kunde förstå i ett arbetssammanhang. Övningarna ändrade också karaktär och blev mer konkreta. Det viktiga i kursen har varit det som har känts meningsfullt ur ett jobbperspektiv. Förstår fortfarande inte vitsen med en del av övningarna i början.

16 16 Tabell 10. Förekomst av utvecklade kompetenser i intervjuerna. Koder med asterisk är öppna, övriga är axiala. Tema Undertema Antal förekomster Kunskaper Självkännedom* 25 Kommunikation 24 Motivation 1 Datalogi 0 Hur olikheter berikar 0 Inkluderande språkmetodik 0 Kvalitetsutvecklande arbete* 0 Normkritik 0 Programmering 0 Samarbeta digitalt 0 Särskilda behov 0 Tillgänglighet 0 Färdigheter Medveten kommunikation 23 Motiverande ledarskap 6 Arbeta med programmering i elevgrupp 0 Inkluderande arbetssätt 0 Samarbeta digitalt 0 Samarbete över (tidigare) gränser 0 Synliggöra normer 0 Ta nya kontakter 0 Attityder Bemötande 23 Ledarskap 17 Ökad självförtroende* 11 Beslut 6 Ökad framtidstro 0 Digitalisering 0 Jämställdhet 0 Mångfald 0 Samarbete 0 Ökad motivation 0 Nyhetsfaktor Relativt nytt, visst värde 14 Helt nytt, stort värde 2 Inget nytt alls, slöseri med tid 0 Totalt: 152 Under intervjuerna diskuterades om utbildningsinsatserna har gett effekter på arbetsplatsen. Se tabell 11. Vanligast förekommande effekt som intervjupersonerna lyfter fram var Mer öppet diskussionsklimat, Förändrad kultur i kollegiet och Gemensam referensram: Det är summan av kursen som har gett effekt. Det är ingen liten förändring. Om de har kommit åt det här med förhållningssättet så är det en stor förändring med tanke på att vi har oss själva som verktyg hela tiden. Om alla förstår vikten av inställningen till jobbet så har vi vunnit mycket. Man vill ha med alla på båten. Det handlar om förändrade attityder, att vi fått nya verktyg och att vi har en gemensam referensram. Jag hoppas vi fått en grundläggande kunskap som håller framåt men vi behöver påfyllning varje år. Medvetenheten har ökat. Det märks stor skillnad när man får in nya som inte varit med i kursen. Jag har fått många verktyg för att förvirra, t.ex. om någon är upprörd. Vi har bättre stämning och är mer positiva på arbetsplatsen nu. Både jag och de andra mår bättre. Detta är inte bara något man använder på arbetet. Det påverkar hela mitt liv. Mina relationer hemma, mina kompisrelationer, när jag går in i en affär, hur jag väljer att svara någon. (...) I den här utbildningen har alla fått utmana sig själva och lämna sin komfortzon. Det har gett resultat.

17 17 En av de intervjuade enhetsutvecklarna uttrycker förändringen på följande sätt: Detta är en stor arbetsplats och det tar tid att driva igenom förändringar. ( ) Vi försöker använda begreppen vi fått till oss. Spännande hör man överallt. Nu gör vi begreppen till våra. Långsamt, långsamt kommer vi att kunna förändra. Det går definitivt i rätt riktning. ( ) Om vi ändrar vårt sätt att tänka så kommer vi långt. Den gemensamma referensramen gör det lättare att prata om saker. Vi har begrepp som alla förstår nu. Begreppen är gemensamma för hela kommunen. Jag tycker dt är bra med de här begreppen för vi har inte tid att gå in i djupare samtal under veckorna. Tabell 11. Förekomst av upplevda effekter på arbetsplatsen i intervjuerna. Samtliga koder är öppna. Tema Undertema Antal förekomster Effekter på arbetsplatsen Mer öppet diskussionsklimat* 7 Förändrad kultur i kollegiet* 6 Gemensam referensram* 6 Ökad gemenskap i kollegiet* 2 Ingen effekt alls* 1 Ökad insikt i arbetsplatsens olika professioner* 0 Ökad insikt om kollegors förhållningssätt* 0 Ökad omvärldbevakning* 0 Totalt: 22 Även projektet som helhet har diskuterats i djupintervjuerna. Deltagarna har fått beskriva hur motiverad man själv varit till att delta i projektet i början samt under projektets gång samt vad man upplever som unikt med projektet. Se tabell 12. Överlag har samtliga intervjupersoner haft en något lägre grad av motivation i början av projektet (i genomsnitt 7,3 på en skala mellan 1 och 10), men att motivationen sedan har höjts under utbildningsinsatsens gång (i genomsnitt 9,4). Orsaken till den lite lägre motivationen handlar om en osäkerhet och otrygghet som uppkom i början av insatsen och som nämndes i avsnittet ovan. Tabell 12. Intervjupersonernas egen uppskattning av sin motivation till att medverka i projektet i början och under utbildningsinsatsen. Skalan är mellan Målgrupp Självskattad motivation i början av projektet Självskattad motivation under projektets gång Förskola 7,3 9,4 Det unika med projektet som intervjupersonerna framhäver är framförallt att fokus har legat på den personliga utvecklingen, att samtliga kollegor har gått samma utbildning, att insatsen pågått under lång tid och att den haft ett starkt fokus på handlingsbaserat lärande: Den allra största skillnaden mellan denna och andra är att detta är något jag kommer ihåg. Det sitter kvar i mig. Det är något som kommer att bestå. Det har blivit en förändring i mig själv. Det har lett till att jag är duktigare i jobbet. Jag värderar mig själv positivare och är mer närvarande. Detta har varit bra eftersom det har varit både teori och praktik. Det blir mer klart när man både får lyssna och agera själv. Lättsamt lärande med många goa skratt. Vissa utbildningar sitter man bara och lyssnar. Jag har Inte lärt mig något jätterevolutionerande. Jag har nog hört det mesta. Just att alla har fått samma kunskap är bra. Det har varit bra att det har genomförts under en längre period för mig. Jag har hunnit tänka efter. Ger mer effekt än vanliga utbildningar.

18 18 4 Diskussion 4.1 Effekter av kompetensutvecklingsinsatserna eget lärande Sammantaget utifrån data som inhämtats via LoopMe samt från de djupintervjuer som genomförts uttrycker deltagarna att kompetensutvecklingsinsatsen främst har bidragit till att stärka dem som personer och att de därmed har fått mer energi. De beskriver också att de fått en ökad kompetens kring bemötande och kommunikation framförallt i form av praktiska metodverktyg att använda i sin vardag. Överlag har man varit positivt inställd till att medverka i projektet, dock upplevde flera intervjupersoner en lägre motivation i början av projektet. Insatsen har grundat sig i att utmana deltagarna till att ta sig utanför sin komfortzon i syfte att utveckla självkännedom och självkänsla. Denna lärresa har inte alltid varit behaglig och det återspeglas tydligt i motivationskurvan. Att insatsen har pågått under en längre tid och kombinationen mellan teori och praktik har starkt bidragit till attitydförändringar hos deltagarna som beskriver att de har haft nytta av insatserna både på ett professionellt plan och i sina privata relationer. 4.2 Effekter av kompetensutvecklingsinsatserna på arbetsplatsen Utifrån djupintervjuerna framkommer att den största upplevde förändringen på arbetsplatsen är att diskussionsklimatet blivit mer öppet. Då samtliga anställda nu har samma referensram att utgå från har det blivit enklare att påpeka känsliga situationer och svårare ämnen. Man har fått gemensamma begrepp som man kan utgå från vid diskussioner i kollegiet. Flera intervjupersoner uttrycker även att man fått en mer positiv stämning på arbetsplatsen och man uttrycker samtidigt sitt eget ansvar till att bibehålla det positiva klimatet. 4.3 Länkar mellan insatser och utvecklade kompetenser/effekter på arbetsplatsen Utifrån studiens data har det varit svårt att hitta starka länkar mellan känslomässiga händelser och utvecklandet av kompetenser eller effekter på arbetsplatsen. De länkar vi hittar är bland annat mellan utbildningsinsatser om bemötande och ledarskap samt förändrade attityder kring bemötande och ledarskap. Vi kan även se att man därmed har tränat sin färdighet i att utöva en mer medveten kommunikation. Dessa länkar är dock relativt svaga.

19 19 5 Implikationer för projektledning samt följeforskning 5.1 Vad fungerar? Utbildningsinsatserna upplevs som värdefulla av deltagarna Genomgående i både djupintervjuer samt i insamlad metadata via LoopMe ser man att deltagarna är positivt inställda till projektet och upplever insatserna som värdefulla. LoopMe har börjat användas som ett verkligt metodstöd i vissa kompetensutvecklingsinsatser. Både deltagarna och projektledningen har haft en relativt hög frekvens i sitt användande av LoopMe. Detta i sin tur bildar en god grund för att kunna fortsätta följa effekterna av projektet med hjälp av denna teknik, samt att även vidareutveckla användandet. Det är väldigt glädjande att se hur processledningen har börjat använda LoopMe som ett verkligt metodstöd i insatsen. Då nyttjas verktygets hela potential och den data som genereras kommer även bli bättre att utgå från vid effektuppföljningen. 5.2 Vilka förbättringsidéer har genererats? Viss snedfördelning av utbildningsinsatser Enligt data forskningsteamet tagit del av har deltagarna hittills inte upplevt så mycket kompetenshöjande inslag kring inkludering, jämställdhet, normkritik och att samarbeta över gränser. Man kan skönja i denna mätperiod att insatserna mot kommunens chefer och ledare har haft en högre grad av insatser med dessa delar, dock bör de möjligen komma in tydligare i samtliga delar av projektet framöver för att svara upp mot projektmålen. Använd LoopMe som ett metodstödsverktyg fullt ut Om processledningen börjar använda LoopMe som ett metodstödsverktyg fullt ut, dvs. delar ut uppdrag som deltagarna ska genomföra, rapportera om och reflektera kring och där processledarna är mer aktiva med att ge återkoppling, är forskarteamet övertygade om att effekterna av projektets utbildningsinsatser kommer att öka ännu mer och leda till ett förändrat agerande hos deltagarna. Forskningsunderlaget kommer också kunna visa tydligare länkar mellan insats och effekter. Skapa ökad förståelse bland deltagarna kring vikten av att medverka i följeforskningsinsatser Den forskningsmetodik som används i denna delstudie förutsätter att man gör urval till djupintervjuer som baseras på vad deltagarna har skickat rapporter om i LoopMe. Precis som vid delrapport 2, var det även denna gång mycket svårt för forskningsteamet att få deltagare att medverka vid djupintervjuer. Projektledningen kan troligen ytterligare förstärka vikten av att medverka vid följeforskningsinsatser i projektet för att effektmätningen ska kunna ge en rättvisande bild av projektets resultat.