Utvärdering som stödjande verktyg vid kompetensutveckling

Transkript

1 Konferenspaper, Svenska utvärderingsföreningen, 8 9 oktober 2015 Utvärdering som stödjande verktyg vid kompetensutveckling - Överföring av lärande och kunskapsanvändning bland personal i äldreomsorg Annika Claesson, Örebro universitet Sammanfattning av licentiatuppsats: Annika Claesson (2015): Utvärdering som stödjande verktyg vid kompetensutveckling överföring av lärande och kunskapsanvändning bland personal i äldreomsorg. Örebro: Örebro universitet, Örebro Studies in Social Work 15. Samverkan mellan Eskilstuna kommun, Mälardalens högskola och Örebro universitet

2 Som utbildningsledare i Eskilstuna kommun i vård- och omsorgsförvaltningen har jag haft målet att samtidigt med mitt arbete i organisationen även forska och lära mig om frågor som rör utvärdering och personalens kompetensutveckling och använda de kunskaperna i arbetet, dvs. i olika former föra forskningen närmare verksamheten. I maj 2015 slutförde jag licentiatuppsaten Utvärdering som stödjande verktyg vid kompetensutveckling överföring av lärande och kunskapsanvändning bland personal i äldreomsorg (Claesson, 2015). Jag bedrev forskningsarbetet i rollen som kommundoktorand i samverkan mellan Eskilstuna kommun, Mälardalens högskola och Örebro universitet där jag genomförde forskarutbildningen. I detta konferenspaper återger jag kortfattat uppsatsens innehåll och hoppas bidra till organisationers tankar och intresse i frågan om utvärdering vid kompetensutveckling samt till läsning av uppsatsen i sin helhet. Jag ger först en introduktion följt av ett empiriskt exempel, teoretiska utgångspunkter och tidigare forskning. Därefter följer ett metodavsnitt och avslutningsvis centrala slutsatser och diskussion. Introduktion Den här licentiatuppsatsen/avhandlingen handlar om utvärdering vid kompetensutveckling hos personal i äldreomsorgen. Äldreomsorgen står inför stora utmaningar. Vård- och omsorgsbehovet bedöms öka i Sverige samtidigt som pensionsavgångarna bland personal inom äldreomsorgen kommer att vara stora de kommande åren (Socialstyrelsen, 2015; Sveriges Kommuner och Landsting, 2014). Strategiskt kompetensförsörjningsarbete är därför en central och uppmärksammad fråga. Dels för att säkerställa att utförarorganisationen har den kompetens som behövs nu och framåt, och dels i fråga om att tillse att denna kompetens används i arbetet. Ett vedertaget problem i organisationer vid genomförande av utbildningsaktiviteter, t.ex. kurser och fortbildning för personal, är att lärandet inte överförs så att personalen faktiskt använder kunskaperna i arbetet. När personalen inte använder sina nyvunna eller fördjupade kunskaper från utbildningen ger det inte heller avtryck i verksamheterna. Efter en avslutad kompetensutvecklingsinsats är det vanligt att man genomför en utvärdering av måluppfyllelse av lärandemålen. Det är detta som utvärderas snarare än överföringsprocessen av lärandet till användning av kunskaperna. Trots att en sådan utvärdering av själva överföringen av lärande är nödvändig, framhåller Saks och Burke (2012) att forskning om utvärdering och forskning om överföring ofta brukar vara separerade från varandra. Istället utgör dessa områden två olika spår inom forskning om överföringsprocessen som mer sällan kopplas samman. Det är en sådan sammankoppling som varit grunden för min licentiatavhandling. Avhandlingens syfte var att undersöka styrkor och svagheter hos den summativa utvärderingsansatsen vid kompetensutvecklingsinsatser för vård- och omsorgspersonal, samt om denna ansats kan bidra till överföringsprocessen för individen och gruppen, från utbildningen till att kunskaperna används i arbetet. Den summativa ansatsen studerades också i förhållande till alternativa ansatser i fråga om dess förmåga att bidra till en sådan utveckling. Det är inte ovanligt att utvärderingar av olika insatser sker utifrån den traditionella modellen med mål och resultat (input output). Utvärderingen genomförs efter en avslutad ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling 1

3 aktivitet eller insats. En sådan summativ utvärdering fokuserar på om de omedelbara målen har uppnåtts. Den studerar inte vad som sker på lång sikt som en effekt av insatsen, och fokuserar inte heller på att studera insatsens process medan den pågår. Som alternativ till den summativa utvärderingen finns den formativa. Den handlar mer om processen som sådan och syftar snarare till att kunna göra förbättringar under pågående verksamhet (Karlsson, 1999; Karlsson Vestman, 2011; Vedung, 1998, 2002, 2011). Trots att det numera är närmast obligatoriskt med utvärdering innebär det inte att denna organiseras, läggs upp och genomförs på ett enhetligt sätt (Hertting & Vedung, 2009). Organisationerna prioriterar utvärdering som företeelse, dvs. själva beställandet eller existensen av utvärderingen. Men paradoxalt nog försvårar detta samtidigt utvärderingens användning för lärande och utveckling eftersom utvärderingarna ofta genomförs rutinmässigt med oklara instruktioner. I strategier för att utforma och göra utvärderingarna mer användbara ingår att involvera deltagarna mer på olika sätt samt att engagera beställarna i utvärderingen och dess kommande användning (Petersén & Olsson, 2013). Sveriges välfärdssektor ska leverera högsta möjliga kvalitet till personer som behöver tjänsterna. Av de ca som är anställda inom Sveriges kommuners socialtjänst med äldreomsorg bedöms ca personer behöva nyrekryteras på grund av pensionsavgångar, under förutsättning att inga förändringar görs i arbetssätt och bemanning (Sveriges Kommuner och Landsting, 2011, 2014). Arbetsgivarna behöver använda kompetenserna på rätt sätt, utveckla arbetsmiljön och arbetsorganisationen samt utnyttja tekniken mer och på bättre sätt. För att uppnå regeringens nationella mål och vision för socialtjänst inom äldreomsorgs- och funktionsnedsättningsområdet är personalens kompetens och strategier för kompetensförsörjning avgörande faktorer (Regeringen, 2015; Socialstyrelsen, 2013). Äldreomsorgen framstår sedan ett decennium som en starkt förändringspräglad verksamhet med allt mer tidspressat arbete (Szebehely, 2006). Mot bakgrund av ett ökat införande av marknadsinfluerade organisationsmodeller och styrformer (inom ramen för det som brukar kallas New Public Management) har verksamheterna påverkats av budgetåtstramningar och organisationsförändringar. Resultat är viktigare än process. New Public Management (NPM) handlar om en tydligare styrning i organisationer för effektivare resursanvändning (Hood, 1995). Ett sätt att möta äldreomsorgens utmaningar med demografisk utveckling, marknadsinfluerade styrmodeller, rekryteringsbehov och pensionsavgångar har under det senaste årtiondet varit att genomföra tidsbegränsade satsningar på omsorgspersonalens kompetensutveckling (Bennich, 2012). En sådan satsning var Kompetensstegen som ägde rum mellan år 2006 och Mot bakgrund av Statskontorets rapportering om hur statsbidrag följs upp och utvärderas konstaterar Socialstyrelsen (2013) dock att sådana kompetenshöjande satsningar ofta görs som punktinsatser. Risken finns därmed att kompetensutvecklingen stannar av efter ett projekt då huvudmännen har svårt att skapa förutsättningar för ett långsiktigt kompetensförsörjningsarbete. Vid utbildning behöver man också kunna bedöma om personalens kunskapsnivå har ökat och om kunskapen omsätts i praktiken. Kompetensutvecklingen behöver integreras i arbetspraktiken och inte enbart ske vid enskilda utbildningstillfällen eftersom erfarenheten visar att insatserna behöver innehålla former av kontinuerlig återkoppling. Arbetsgivaren ansvarar för kompetensförsörjningen och behöver med systematiska arbetssätt tillgodose att personalen har den kompetens som krävs för sitt arbete och att 2 ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling

4 kompetensen används på rätt sätt (Granberg & Ohlsson, 2009). I vård- och omsorgssektorn är det arbetsgivarens ansvar att planera och ge personalen förutsättningar för kompetensutveckling i relation till verksamhetsbehoven, dvs. att införa och förankra nya kunskaper och metoder i arbetet (Socialstyrelsen, 2011a, 2011b, 2012). De anställda ska få stöd i att hålla sin kompetens aktuell för befintliga och kommande hjälpbehov samt att kunna använda kunskaperna i sitt arbete. Därför ökar kravet på kommunerna i fråga om att ansvara för och bedriva ett kontinuerligt arbete med kompetensförsörjningsprocesserna, dvs. det arbete som utförs i en organisation för att säkerställa att rätt kompetens finns så att verksamhetens mål uppnås och dess behov tillgodoses (Socialstyrelsen, 2013; Swedish Standards Institute, 2011). I det arbetet utvecklas och styrs processer för kompetensanalys, planering, genomförande och utvärdering. Att utvärdera kompetensutvecklingsinsatserna framstår då som ett viktigt moment. Utvecklingen av organisationers arbetssätt för utvärdering av kompetensutveckling och kompetensförsörjningsarbetet är därför av stor vikt. Jag menar att en viktig del i kommunernas strategiska kompetensarbete är att utforma och genomföra utvärdering av kompetensutvecklingsinsatser hos personalen så att utvärderingen främjar att lärandet överförs och används i arbetet som ett led i att uppnå verksamhetsmålen. Ett konstaterande är att trots organisationernas satsningar på riktade utbildningsaktiviteter för sin personal, då individen utvecklar ett lärande, överförs ofta kunskaperna inte till praktisk användning (Döös & Ohlsson, 1999; Saks & Burke, 2012). Utvärderingens roll för överföringsproblematiken blir därför en angelägen fråga. Det brukar vara lättare för en organisation att utvärdera om lärandemålen för en utbildning eller kurs har uppfyllts och vad deltagarna tycker de har lärt sig om utvärderingen görs i samband med avslut, som så ofta sker. Svårare är att utvärdera hur deltagarna använder sina nya eller fördjupade kunskaper i arbetet en tid efter utbildningen. Denna fråga inrymmer en komplexitet och kräver mer tid, kunskap och resurser av organisationen (Ellström, 2009; Kirkpatrick & Kirkpatrick, 2006; Saks & Burke, 2012). Problemområde och frågor Licentiatavhandlingens centrala problemställning är utvärderingens ansats och genomförande som ett stödjande verktyg för överföringen av lärandet vid kompetensutveckling. Det handlar sålunda om: 1) att överföringen av lärandet till arbetspraktiken inte sker i den omfattning som önskas eller efterfrågas. Transformeringen av lärande till kunskapsanvändning i arbetet har visat sig vara väsentlig men svår att stödja i organisationer 2) att det lärande som sker ofta stannar hos individen snarare än att vidareutvecklas till ett kollektivt lärande, i den meningen att arbetsgruppen gemensamt utvecklar nya synsätt och förbättrade arbetssätt som leder till ett organisatoriskt lärande med förändring av organisatoriska rutiner och processer 3) att en vanlig rutin är att utvärdering genomförs summativt efter en avslutad utbildningsaktivitet. Utifrån detta problemområde formulerades frågor inriktade på att undersöka om och hur denna traditionella utvärderingsform med summativ ansats kan understödja överföringen av ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling 3

5 den erhållna kunskapen till den vardagliga arbetspraktiken hos individen och arbetsgruppen. Frågorna rör också huruvida utvärderingsansatsen stödjer utveckling av ett s.k. organisatoriskt lärande, dvs. utveckling av gemensamma synsätt och förbättrade arbetssätt med förändring av organisatoriska rutiner och processer. Frågeställningarna undersöks i relation till en tidigare genomförd summativ utvärdering av en kompetensutvecklingsinsats, Kompetensstegen, bland vård- och omsorgspersonal inom äldreomsorg i en kommun. Det empiriska exemplet en lokal utvärdering i en kommun Kompetensstegen var en statlig satsning med kompetenshöjande insatser för Sveriges kommuners vård och omsorg om äldre, styrd av direktiv och organiserad som en särskild nationell kommitté för Kompetensstegen. Regeringen avsatte drygt en miljard kronor till satsningen och ville stärka kommunernas systematiska kvalitets- och kompetensutvecklingsarbete samt förbättra personalens kompetens och därmed höja standarden och kvaliteten i äldreomsorgen. Totalt deltog 287 kommuner. Dessa utformade själva sina kompetensutvecklingsinsatser och ansvarade för att utvärdera dem. Den nationella kommittén gav ut ett vägledningsmaterial med exempel på metoder och tillvägagångssätt för att genomföra utvärderingarna (Socialdepartementet, 2006a, 2006b; Socialstyrelsen, 2009; Statskontoret, 2009). Med hjälp av sina utvärderingar skulle kommunerna dra nytta av gjorda erfarenheter och finna former för en mer systematisk kompetensutveckling av äldreomsorgspersonal för att höja kvaliteten. Kommunernas uppställda mål för kompetensinsatserna behövde utvärderas. Det lokala utvärderingsarbetet skulle spela en aktiv roll och bidra till underlag för reflektion och lärande vid arbetsplatsen så att personalens kompetens kunde stärkas och de äldres situation förbättras. På en arbetsplats kräver det organisering. Den tidigare gjorda lokala utvärderingen, dvs. det empiriska exemplet, syftade till att få en bild av vilket lärande som hade uppnåtts, om det tillämpades bland personalen samt om lärandet hade lett till ökad kompetens hos medarbetare och en förbättring för de äldre genom Kompetensstegen (Claesson, 2009). Förutsättningarna för genomförandet av utvärderingen var i huvudsak 1) att extra statligt medel för finansiering av en mer omfattande utvärdering beviljades lokalt i kommunen i samband med avslut av Kompetensstegens utbildningsinsatser, vilket inte gav möjlighet att göra en föremätning, samt 2) att utvärderingen på önskemål från förvaltnings- och utförarledning inte skulle ta så mycket tid i anspråk på grund av signaler om hög arbetsbelastning och tidspress i verksamheterna. Detta medförde att cheferna och medarbetarna inte kunde delta aktivt i utvärderingen i någon större omfattning. Med denna givna ram beslutades i samråd mellan utvärderaren och handledaren från Mälardalens högskola att genomföra en utvärdering med summativ utvärderingsansats och en målresultatmodell för att undersöka lärandemålens uppfyllelse samt vilket lärande och vilken användning som hade uppnåtts. Emellertid är det känt att en summativ ansats avser att mäta målen snarare än att fånga upp och bedöma underliggande faktorer i insatsens process, vilka kan påverka insatsens resultat i form av uppnådda mål (Jess, 2011, 2013; Rogers, 2011). Därför användes inledningsvis programteori som verktyg. I programteorin identifierades frågan om huruvida lärandet och den kritiska reflektionen har betydelse för 4 ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling

6 kompetensinsatsens resultat. Lärandet antogs kunna påverka både under tiden mellan process och resultat samt på kort och lång sikt, vilket gör detta viktigt att utvärdera. Utvärderingen genomfördes med en summativ ansats och i första hand en kvantitativ metod. För enkätstudien operationaliserades påståenden för bedömningskriterierna på individ-, grupp- och organisationsnivå för 1) vuxnas föreställning om sitt lärande, 2) måluppfyllelse av lärandemål, 3) lärande, med utgångspunkt i transformationsteorin (Mezirow, 1991, 2000) med instrumentellt, kommunikativt, emancipatoriskt lärande samt 4) användning av kunskap i arbetet. Utifrån ett urvalsförfarande valde 339 medarbetare med olika professioner att svara på enkäten. Datainsamlingen genomfördes ca 2 3 månader efter Kompetensstegens slut. Som komplement till enkätstudien genomfördes kvalitativa gruppintervjuer. I dessa följdes frågeställningar upp om kompetensutveckling, lärande och kunskapsanvändning med undersköterskor/vårdbiträden i fyra arbetsgrupper, för att ge en något mer fördjupad bild av deras perspektiv. Utvärderingsresultaten indikerade en relativt hög måluppfyllelse av lärandemålen, dvs. deltagarnas egna uppfattningar om utbildningen, t.ex. om utbildningens innehåll motsvarade deras förväntningar och hade koppling till arbetet, om utbildningen lade vikt vid att utgå från brukarens behov i arbetet samt om deltagarens tidigare yrkeserfarenheter och kunskaper togs tillvara under utbildningen. Resultaten visade bland annat att deltagarnas uppfattning om deras eget instrumentella, kommunikativa och transformativa lärande hade uppnåtts. Det organisatoriska stödet för kompetensutveckling, lärande och användning ute i verksamheterna visade sig vara mycket betydelsefullt. Utifrån enkätsvar och intervjuer urskiljdes ett antal så kallade kritiska punkter vilka antogs kunna inverka på om en övergång/överföring från utbildningsinsatsens lärande till kunskapsanvändning på arbetsplatsen blir mer eller mindre effektiv (figur 1). Figur 1. Kritiska punkter för övergången/överföring mellan lärande och kunskapsanvändning vid kompetensutveckling i Kompetensstegen (Claesson, 2009, s 42). ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling 5

7 Teoretiska utgångspunkter och tidigare forskning Om lärande och överföringsprocessen Att få kompetensutveckling att fungera från formell utbildningsinsats till kunskapsanvändning i verksamheten inom äldreomsorgen är en krävande och komplex process (Bennich, 2012). Lärandeteorierna skiljer mellan olika typer av lärande, däribland single- och doublelooplärande, anpassnings- och utvecklingsinriktat lärande, formellt och informellt lärande samt individuellt lärande, grupplärande och organisatoriskt lärande dvs. vem som lär i en arbetsorganisation (Argyris & Schön; 1996; Döös & Wilhelmson, 2005; Ellström, 1992; Ellström, Ekholm, & Ellström 2003; Granberg, 2009; Granberg & Ohlsson, 2009; Schön, 1987; Wilhelmson, 1998a, 1998b). Det finns flera sätt att förstå grupplärande respektive organisatoriskt lärande. I den här licentiatuppsatsen innebär organisatoriskt lärande att det finns en befäst vilja och beredskap, i organisationen, hos ledningen och hos den närmaste chefen, till verksamhetsutveckling i relation till verksamhetsmålen genom kompetenshöjning bland omsorgspersonalen. Det handlar om såväl ledningens stöd för goda förutsättningar för lärande som stöd till förbättring och utveckling av strukturer, rutiner och arbetssätt samt kompetensutvecklingsstrategier. Därtill kommer stöd för att det individuella lärandet och den individuella kompetensen hos personalen sprids och samordnas på gruppnivå, vilket gör att nya sätt att agera i arbetet och i organisationen kan utvecklas. Lärandet bärs upp av en social interaktion mellan individerna och bygger på en gemensam gruppreflektion som i sin tur avgör vilket lärande som utvecklas (Kock, 2010a, 2010b; 2010c; Kock & Ellström, 2011; Larsson, 2004; Senge, 1995). I avhandlingsarbetet tog jag fasta på lärandeteorier utifrån perspektiven individuellt lärande, grupplärande och organisatoriskt lärande inför analysen om och hur utformningen och genomförandet av det konkreta utvärderingsexemplet var relevant ur ett sådant lärandeperspektiv. I analysarbetet ingick att de goda förutsättningar som behövs för individens och arbetsgruppens utveckling av sitt lärande är betydelsefulla för utvecklingen av ett organisatoriskt lärande. Att individen och arbetsgruppen tillsammans reflekterar över sitt utförande i arbetet och uppgiften är en viktig del av en så kallad handlingsgemenskap där erfarenheter delas mellan individer och där lärande sker (Wenger, 1998). Mezirows (1991, 2000) transformationsteori om utveckling av ett instrumentellt, kommunikativt och emancipatoriskt lärande utgör en teoretisk utgångspunkt. Teorin handlar om att det sker en perspektivförändring hos den lärande individen genom att denna kritiskt reflekterar och därmed förändrar sin föreställningsvärld (Wilhelmson, 1998a, 1998b). En kritisk aspekt är dock att teorin inte tydligt lyfter fram kontexten för individens, gruppens och organisationens lärande. En annan teoretisk utgångspunkt är Baldwin och Fords (1988) tidiga transfereringsmodell som bidragit till forskningen om överföring (figur 2). De identifierade tre huvudområden i modellen: 1) training input, 2) training output och 3) conditions of transfer. 6 ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling

8 Figur 2. A model of the Transfer Process (Baldwin & Ford, 1988, s 66) Sammanfattningsvis innehåller överföringsprocessen flera områden och komponenter vars samspel är nödvändiga och som har direkt eller indirekt påverkan på lärandet samt dess överföring till arbetspraktiken. Baldwin och Ford kritiserade sin modell med att det behövs ytterligare forskning om överföring med ett mer interaktivt perspektiv och om svårigheten att forma värdekriterier. Tidigare forskning hade fokuserat enbart på det första området, training input (den som lär, design, arbetsmiljö) snarare än att försöka utveckla ett ramverk som innehåller mer komplexa interaktioner vid utbildningsinsatser. Om utvärdering Utvärdering inom socialt arbete är en komplex uppgift (Blom, Morén & Nygren, 2011). Olika mätverktyg har tidigare utvecklats för att studera överföring av lärande och dess förutsättningar. Det är dock vanligtvis svårt att utvärdera förändringar i personalens beteenden utifrån det lärande som skett. Inte minst gäller detta i fråga om utbildningsinsatsens långsiktiga effekter i verksamheten (Burke & Hutchins, 2008; Burke & Saks, 2009; Holton, Bates & Ruona, 2000; Kirkpatrick & Kirkpatrick, 2006; Saks & Belcourt, 2006; Saks & Burke, 2012; Rogers & Williams, 2006). Utvärderingens utveckling brukar beskrivas med böljor och generationer. Parallellt med den pågående evidensböljan finns också lärandeböljan som karaktäriseras av dialog, följeforskning, kunskapande och processtöd (Denvall, 2011; Vedung, 2006, 2010). Sjöberg (2008) refererar till Karlsson som beskriver att den rådande utvärderingstrenden från år 2000 och framåt rör sig om två parallella paradigm, närmare bestämt den summativa och den formativa utvärderingen. Inom den summativa utvärderingsansatsen används måluppfyllelsemodellen i stor utsträckning som anses fokusera på och bedöma den totala effektiviteten efter att en insats har avslutas. Den är därför viktig som underlag för beslutsfattare och finansiärer för beslut om att fortsätta eller att avsluta ett program eller projekt (Patton, 2008). En summativ utvärdering kräver en avstämning mot tydliga kriterier som ligger till grund för bedömningen. Kriterierna kan vara svåra att utveckla om målen för det som ska bedömas är oprecisa och svåra att tyda (Karlsson, 1999; Karlsson Vestman, 2011; Vedung, 1998, 2002, ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling 7

9 2011). Kompetensutvecklingsinsatser kan till exempel utvärderas motsvarande Four Levelsmodellens fyra nivåer, och då oftast den första och andra nivån, reaction och learning, dvs. deltagarens upplevelser av en utbildning och vad denna anser sig ha lärt sig (Kirkpatrick & Kirkpatrick, 2006). I den formativa utvärderingsansatsen fokuseras mer på att följa vad som händer under processen och hur detta sker. I ansatsen görs bedömningar under processens gång för att kunna justera i insatsen medan denna pågår. Centralt är lärandeperspektivet, dialogen, interaktionen och deltagandet i utvärderingsaktiviteter och omfattar både individer och organisationer (Karlsson, 1999; Karlsson Vestman, 2009, 2011; Patton, 2008). Forskning lyfter fram programteorin som ett viktigt utvärderingsredskap för att tydliggöra underliggande mekanismer som antas generera händelser som påverkar insatsens resultat. Programteorin guidar oss fram till nödvändiga och relevanta utvärderingsfrågor, frågor som om de besvaras kan leda till bättre kunskap och utveckling av verksamheten (Denvall, 2011; Donaldson, 2007; Jess, 2011, 2013; Rogers, 2000; Rogers, Petrosino, Huebner & Hacsi, 2000; Rogers & Williams, 2006; Weiss, 1998). En utgångspunkt i denna licentiatavhandling är programteorins möjligheter att i en given kontext, som vid utvärdering av kompetensutveckling bland personal i äldreomsorgen, ta oss under ytan och fånga upp komplexa förutsättningar som inverkar på det tänkta resultatet av en utbildningsinsats. Avhandlingens teoretiska ramverk För avhandlingens analysarbete utvecklades en tolkningsram utifrån teorier och tidigare forskning. I den illustreras komplexiteten med de olika förutsättningar för kompetensutveckling, lärande och dess överföringsprocess som behöver samspela och därmed också komplexiteten i att utvärdera denna process (figur 3) (Claesson, 2015). Figur 3. Avhandlingens tolkningsram förutsättningar och villkor vid kompetensutveckling och dess transformering av lärande till kunskapsanvändning (Claesson, 2015, s 76). 8 ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling

10 Tolkningsramen kan ses som en programteori. Varje del i programteorin kan också innefatta andra programteorier, vilket gör kompetensutveckling och överföring av lärande komplext att utvärdera. Till exempel pågår parallella lärandeloopar på olika nivåer som är beroende av sina lärandemiljöer och strategier för kompetensutvecklingen på arbetsplatsen. I avhandlingens analys undersöks styrkor och svagheter hos den summativa utvärderingsansatsen samt alternativ till den. Utgångspunkt tas i förutsättningarna och villkoren ovan, vilka anses påverka lärandet och dess överföring samt vilket lärande och vilken kunskapsanvändning som uppnås vid kompetensutveckling av personal. Var kommer den summativa ansatsen in i processen? Den lokala utvärderingens bedömningskriterier för lärande analyseras mot bakgrund av lärandeteorier, såsom bland annat Mezirows (1991, 2000) transformationsteori, som talar för att individen transformerar sitt lärande i olika lärandedomäner genom kritisk reflektion. Utvärderingens utformning och genomförande analyseras i relation till om och på vilket sätt utvärderingen främjat dels single- och doublelooplärande och dels individens och arbetsgruppens lärande från utbildningsinsats till kunskapsanvändning i arbetet. Organisatoriskt lärande förutsätter beredskap och en positiv inställning på ledningsnivå till kompetensutveckling, organisatoriska förändringar och förbättringsarbeten. Visar utvärderingen om en sådan insikt och beredskap fanns? Diskussion förs om utvärderingen förmått stödja deltagarnas överföringsprocess vid kompetensutvecklingsinsatsen. Den summativa ansatsens styrkor och svagheter diskuteras i förhållande till de förutsättningar och den komplexitet som råder vid överföring av lärande till användning i arbetet. Frågan är huruvida den summativa ansatsen förmår fånga upp och stödja denna överföring hos individen, arbetsgruppen och i organisationen? Metod Avhandlingsarbetet bedrevs utifrån min roll som kommundoktorand. Mina dubbla roller, dels som utbildningsledare och intern utvärderare inom kommunal verksamhet och dels som kommundoktorand, gav mig goda erfarenheter. Dessa olika roller diskuteras vidare i avhandlingen. Utgångspunkter Från ett metateoretiskt och hermeneutiskt perspektiv analyserades den tidigare gjorda summativa utvärderingen, dvs. det konkreta utvärderingsexemplet från kommunal äldreomsorg i Sverige som ägde rum inom ramen för Kompetensstegen under år Analysen gjordes utifrån forskning och teorier om kompetensutveckling, lärande och överföringsprocessen, summativ och formativ utvärderingsansats, programteori samt den komplexitet som råder kring dessa frågor. Det är viktigt att framhålla att fokus var att granska den summativa utvärderingsansatsens styrkor och svagheter för ändamålet, och inte primärt att kritisera eller bedöma dess tillämpning i förvaltningen där empirin hämtats. Utgångspunkt togs i synen på kausalitet som återfinns hos kritisk realism, dvs. att verkligheten har ett djup med olika verklighetsnivåer. Verkligheten är inte transparent och kan inte enkelt observeras. I stället innehåller den krafter och mekanismer som bara kan upptäckas indirekt via effekterna ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling 9

11 som de orsakar. Kunskap som förklarar olika skeenden behöver därför sökas under den empiriskt observerbara ytan. Uppgiften blir att blottlägga de mekanismer som genererar det fenomen som studeras (Danermark, Ekström, Jakobsen & Karlsson, 2003, s 14; Ekström, 1993). Vidare: sådana generativa mekanismer leder till effekter i samklang med kontextuella förhållanden, dvs. mekanismen aktiveras och leder till effekter i en unik kontext i ett möte med andra kausala mekanismer/strukturer. Utifrån de tre grundläggande faktorerna kontext, mekanismer och resultat/effekt måste utvärderarna bygga sina orsaksförklaringar kring det förlopp som utvärderas (Blom & Morén, 2010; Pawson & Tilley, 1997). Vid utvärdering av olika insatser är man intresserad av att finna ut huruvida resultaten har uppståtts som följd av insatsen eller kanske av någon annan inverkande faktor. Med en positivistisk experimentell design blir det därmed svårt att hävda att resultaten verkligen är en följd av insatserna. Insatsen blir till en svart låda. Man studerar input och output men inte vad som sker däremellan. Att försöka öppna denna låda är den programteoretiska utvärderingens uppgift. Utvärderingen hjälper då till att fördjupa analysen genom att gå under ytan och visa hur insatsens olika delar hör samman. Det handlar om att i någon mån utveckla en slags förklarad kunskap om innehållet i en insats, samt hur och på vilket sätt innehållet har betydelse för resultatet. Insatsen illustreras därmed som en grå låda, som till åtminstone viss del synliggör innehållet i processen och dess betydelse för resultatet (Scriven i Blom & Morén, 2010, 2011). Programteorin vid utvärdering har sammanfattningsvis ambitionen att utveckla kausala generativa samband mellan input och output genom att studera underliggande mekanismer, deras kontext och relationerna dem emellan. Dessa samband har en annan betydelse än orsakssambanden inom positivistiska kausalmodeller med koppling till experimentell utvärderingsdesign. Programteori bygger följaktligen på en kausalsyn som handlar om mekanismer och kontext (Jess, 2013; Rogers, 2011). Det skulle exempelvis kunna innebära att det är komplext att utvärdera kompetensutvecklingen och mäta vilka effekter som insatsen har gett, eftersom kompetensutvecklingen inte sker som ett enkelt kausalt samband (Kock, 2010b). Avhandlingens tolkningsram (figur 3) illustrerar en komplexitet med olika förutsättningar och villkor hos individen, i utbildningsinsatsen och på arbetsplatsen i kontexten för kommunal äldreomsorg. Dessa förutsättningar behöver samspela med varandra så att de stödjer deltagarnas överföring av lärandet och bidrar till att resultat och organisatoriskt lärande kan uppnås. Vid utvärdering av överföringsprocessen behöver hänsyn tas till denna komplexitet. I det konkreta utvärderingsexemplet fanns en medvetenhet om att den summativa ansatsen i sig har svårt att synliggöra underliggande faktorer i en process som kan påverka insatsens resultat. Därför tillämpades programteori som ett komplement till den summativa ansatsen i ett försök att fånga upp lärandet och dess användning. I min ambition att närma mig avhandlingens fråga var det viktigt att ta hänsyn till detta när det gäller kompetensutvecklingsinsatser. Därför antog jag ett kritiskt realistiskt och programteoretiskt perspektiv i ett försök att öppna den svarta lådan för kopplingen mellan utvärdering och överföringsprocess. 10 ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling

12 Slutsatser och diskussion Analysen av licentiatavhandlingens konkreta utvärderingsexempel från kommunal äldreomsorg pekade på ett antal svagheter hos den summativa ansatsen och dess tillämpning i relation till processen med att överföra lärande till kunskapsanvändning. Dessa handlade bland annat om problemet att i förväg kunna tydliggöra och bestämma bedömningskriterierna, exempelvis i kompetensutvecklingsinsatsens kontext, vilket kanske blir tydligt först under själva utbildningsaktiviteten och efter denna i arbetet. Ett annat problem är att överföringsprocessen och förutsättningarna i den och i dess kontext fortsätter att vara dolda i den summativa ansatsen. Redan från start fanns en medvetenhet om dessa svagheter. Det gjorde att man i den tidigare gjorda utvärderingen i möjligaste mån försökte kompensera för dessa, bland annat genom att använda programteori. Den summativa ansatsens ramar och de kontextuella förutsättningar som den granskade utvärderingen fick på ett nationellt och lokalt plan visade sig inte vara tillräckliga som stöd till överföringen av lärandet vid kompetensutvecklingsinsatserna. I grunden handlar det om huruvida den summativa ansatsen kan utgöra ett stöd för den avgörande överförinprocessen. I detta fall är frågan huruvida deltagarnas lärande via formella utbildningar/kurser överförs till kunskapsanvändning i arbetspraktiken på såväl individuell nivå som grupp- och organisationsnivå. Avhandlingens centrala slutsatser är följande: Den summativa ansatsen tar inte hänsyn till processen och dess förutsättningar, i detta fall processen för överföring av lärande Den summativa ansatsen stödjer inte deltagarnas kritiska reflektion och lärande i överföringsprocessen Tidsramarna och resurserna i kompetensutvecklingsinsatsens kontext tillåts inverka på valet av utvärderingsansats. Ett problem som utvärderaren kan stöta på vid summativ ansats är att målen som ska utvärderas kan vara svåra att precisera och operationalisera (Karlsson, 1999, Karlsson Vestman, 2011; Vedung, 1998, 2011). Därför behövs ett gediget förarbete och kunskaper om såväl insatsen som ska utvärderas som den kontext som den sker inom. Då den summativa ansatsen ofta mäter kvantifierbara mål finns risken att en utvärderings enkätfrågor kan bli relativt ytliga. Insikten om dessa operationaliseringssvårigheter ledde till att jag valde att tillämpa programteori och försöka komma åt och synliggöra vissa av de förutsättningar som kan finnas dolda i överföringsprocessens svarta låda vid genomförandet av utvärderingen. Trots ett omfattande operationaliseringsarbete visar analysen av den tidigare gjorda utvärderingen att det är svårt att utveckla bedömningskriterier som fångar upp lärandets och överföringsprocessens samtliga förutsättningar och villkor. Ett konstaterande är att den summativa ansatsen inte förmår öppna processens svarta låda, utan reducerar innehållet i överföringsprocessen till de problem som input-output-modellen för med sig (Pawson & Tilley, 1997). Det verkar komplext och svårt att ringa in, konstruera och formulera så exakta bedömningskriterier så att en utvärdering med summativ ansats förmår fånga upp och mäta ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling 11

13 samtliga delar av denna kompetensutvecklingsprocess av lärande, dess transformering till kunskapsanvändning och dess kontext. Vid utvärdering med summativ ansats gör man som regel en bedömning efter avslutad insats med en rapport och återkoppling till beställare och/eller beslutsfattare (Patton, 2008; Vedung, 1998; 2002, 2011). Vid kompetensutvecklingsinsatser inryms då vanligtvis ingen organiserad utvärderingsaktivitet där deltagarna aktivt deltar under och efter insatsen. En summativ ansats antas följa en enkel, linjär modell i stället för en mer komplicerad eller komplex modell som inkluderar processer (Rogers, 2011). I detta fall är processen överföringen av lärandet. Den summativa ansatsen följer inte den pågående processen genom att identifiera och tydliggöra påverkan från olika komplexa förutsättningar eller dess förlopp i ena eller andra riktningen. På så vis blir inte ansatsen öppen för hur olika mekanismer och strukturer verkar i kompetensutvecklingsinsatsen och i deltagarnas överföring av lärandet. Ansatsen förmår då inte att under processen fånga upp deltagarnas nödvändiga kritiska reflektion för hur ett formellt lärande (via kurser/fortbildning) överförs till individen och till ett grupplärande som sätter avtryck i arbetspraktiken. Det innebär att individen och arbetsgruppen då inte blir delaktiga i själva utvärderingsaktiviteten. Möjligheten att ifrågasätta både sitt eget sätt att utföra arbetet och exempelvis rutiner och arbetssätt i organisationen uteblir, men enligt tidigare forskning är detta ifrågasättande nödvändigt för överföringen. I forskningen framhålls just den kritiska reflektionen som nödvändig för utvecklingsinriktat lärande och double loop-lärande (Ellström, 1992; Granberg & Ohlsson, 2009; Larsson, 2004; Mezirow, 2000; Senge, 1995). Utvärderingsaktiviteten kan därmed inte sägas bli optimal för deltagarnas lärande. Avhandlingens empiriska exempel har åskådliggjort att oavsett vissa kompensatoriska åtgärder (programteori) bidrog inte den summativa ansatsen till att fånga upp och stödja deltagarnas successiva utveckling och kritiska reflektion kring sitt lärande och överföringen av nyvunna kunskaper till arbetet under utbildningens gång. Detta gällde även efter utbildningen när deltagarna var tillbaka i sin arbetspraktik. Analysen pekar även på behovet av alternativa utvärderingsansatser som är formativa och som följer processen som sådan, som stödjer lärande och utveckling men som också är kopplade till arbetet och dess verksamhetsutveckling (Svensson & Sjöberg, 2009). Tidsramarna och verksamheternas resursinsatser visade sig ha inverkan på vilken typ av utvärderingsansats som tillämpades vid kompetensutvecklingsinsatserna i äldreomsorgen. Det handlar om tidsramar, dels i samband med beredningen av en kompetensutvecklingsinsats, och dels vilket tidsutrymme och vilken ork som praktiskt finns för utvärderingsaktiviteter på arbetsplatserna. Uppdragsgivarens (staten) givna tidsramar för en satsning och en organisations tidsramar och resurser verkar därmed väga tyngre vid valet av utvärderingsansats än risken att inte få en långsiktig behållning. Följden verkar därför kunna bli att man inte väljer en utvärderingsansats som ger bättre förutsättningar för överföringsprocessen i verksamheterna. Det är svårt att dra andra slutsatser än att utvärderingen, trots den goda avsikten vad gäller vägledningsmaterialet till kommunerna, från statens sida här verkar handla om ett rutinmässigt beteende vad gäller utvärderingar (Petersén och Olsson, 2013). 12 ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling

14 Alternativ ansats Slutsatserna pekar på att den summativa utvärderingsansatsen, när det gäller överföring av lärande till kunskapsanvändning vid kompetensutvecklingsinsatser, inte förmådde fånga upp denna process med dess komplexitet av olika förutsättningar och villkor. Det är problematiskt eftersom utvärderingen bör vara ett viktigt och naturligt inslag i kompetensutvecklingen för att stödja den kritiska reflektionen hos den enskilda individen och arbetsgruppen i överföringen av lärandet. Analysen visar att alternativa utvärderingsansatser behövs i samband med kompetensutvecklingsinsatsen, vilka till sin karaktär är formativa och kan ta fasta på och stödja själva lärandet och kompetensutvecklingsprocessen i sin helhet, från utbildning till användning i arbetet. Hur ska då en alternativ utvärderingsansats kunna uppfylla dessa krav? Fördjupade kunskaper om både transformeringsprocess och utvärderingsansatser genom mitt avhandlingsarbete samt den gjorda analysen av det konkreta utvärderingsexemplet ledde fram till fem utgångspunkter. Dessa tar fasta på problematiken i att vid utvärdering både rapportera resultat och att vara stödjande i överföringsprocessen vid kompetensutveckling: förutsättningar tidsramar och resursinsats formativ ansats utvärderingsaktiviteter som stöd till kritisk reflektion och lärande, individuellt och i grupp programteori som teoretisk modell värdering kvantitativ och kvalitativ interaktion kontinuerlig utvärdering av överföring av lärande som en del i ett långsiktigt kompetensförsörjningsarbete. En organisation som har en beredskap för alternativa utvärderingsansatser som är förankrade och finns mer naturligt i befintliga verksamhetsprocesser bör ha bättre möjligheter att uppfylla ovan nämnda krav på utvärdering. Som ett led i ett systematiskt och långsiktigt kompetensarbete skulle formativa och lärande utvärderingsansatser vid kompetensutvecklingsinsatser troligen lättare kunna planeras in och genomföras med god framförhållning på arbetsplatserna. Den formativa ansatsen är mer inriktad på processen och på att kunna göra förbättringar under pågående verksamhet (Karlsson Vestman, 2011; Patton, 2008). Det framstår som nödvändigt med organiserade utvärderingsaktiviteter för processen hos en kompetensutvecklingsinsats, dvs. under och efter, för både kort- och långsiktigt bibehållande av insatsens lärande och användning. Om det i stället hade varit möjligt för deltagarna att med stöd av utvärderaren synliggöra och studera hinder och möjligheter för sin egen och gruppens överföring av lärande till arbetet och att kritiskt reflektera över detta i överföringsprocessen hade det förmodligen kunnat vara ett stöd. I den formativa utvärderingsansatsen kommer processen i fokus och kan då bättre utgöra ett stöd till den så nödvändiga kritiska reflektionen och transformeringen av lärande till kunskapsanvändning. Att stödja och stimulera gruppens kritiska reflektion kring dess gemensamma lärande, där perspektiv och erfarenheter delas och där gruppen gemensamt formulerar hur den nyvunna kunskapen ska överföras och användas i det praktiska arbetet, kan ses utgöra en styrka i en alternativ ansats (jfr Wenger, 1998). ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling 13

15 Programteori som teoretisk modell vid utvärdering av kompetensutvecklingsinsatser kan användas aktivt och genomgående som stödjande verktyg i kommunikationen med en verksamhet/arbetsplats samt dess medarbetare och chef. Med stöd av utvärderaren kan arbetsgruppen få möjlighet att tillsammans arbeta fram en lokal programteori för arbetsplatsen. I arbetet med att börja öppna den svarta lådan skulle inverkande förutsättningar och villkor då kunna synliggöras i den aktuella kontexten för överföringen av lärandet för respektive arbetsgrupp (Scriven refererad i Blom & Morén, 2011; Pawson & Tilley, 1997). Detta öppnar för att gemensamt och löpande utvärdera överföringen av lärandet på arbetsplatsen med hänsyn till den komplexitet av förutsättningar och villkor som forskning och teorier framhåller som nödvändigt för en mer stabil överföringsprocess (figur 3). Programteorin skulle sammantaget kunna användas som ett konkret reflektionsredskap i stödet för överföringsprocessen vid kompetensutvecklingsinsatser i äldreomsorg, i bästa fall som en integrerad del i organisationens långsiktiga kompetensarbete och verksamhetsutveckling. Den summativa ansatsen med dess måluppfyllelse lämnar i huvudsak kvantitativa upplevelsemått efter en avslutad insats till beslutsfattare/ledning. Ur perspektivet långsiktig behållning av lärande skulle det som den summativa ansatsen främst bidrar med kanske i första hand kunna ses som en kortsiktig lösning för utvärdering. Den mäter måluppfyllelse som i sig är viktigt, men som visar sig vara otillräckligt vad gäller stöd till överföring av lärande vid kompetensutvecklingsinsatser. I den formativa ansatsens inriktning är lärandet centralt och fokuserar i stället på insatsprocessen, vad som sker och hur. Att både kunna rapportera måluppfyllelse vid en organisations kompetensutvecklingsinsatser och fånga upp och stödja överföringsprocessen för lärandet framstår som nödvändigt i äldreomsorgen. Organisationer bör därför öppna upp för ökad interaktion mellan kvantitativa bedömningar av måluppfyllelse och kvalitativa värderingar med stöd till kritisk reflektion över lärande, överföringsprocess och kunskapsanvändning. Denna interaktion kan ses följa 2000-talets utvärderingstrend, som Karlsson beskriver som två pågående parallella synsätt: den summativa ansatsens mål, medel och effekter respektive den formativa ansatsen med fokus på lärande för individ och organisation (refererad i Sjöberg, 2008; Sjöberg, Brulin & Svensson, 2009). Avslutning utvärdering av överföringsprocessen som del i ett långsiktigt kompetensarbete Denna licentiatavhandling visar att utvärderingens ansats, utformning och genomförande följaktligen spelar en mycket viktig roll vid kompetensutvecklingsinsatser och i deltagarnas överföringsprocess, vilket stärker tidigare forskning. Eftersom det som ska utvärderas rör personalens kompetensutveckling är det motiverat och rimligt att även själva utvärderingsinsatserna kan värdera och bidra till deltagarnas överföring av lärandet till arbetspraktiken. Utvärderingen behöver därför fungera som ett stödjande verktyg för utveckling av deltagarnas lärande och användning av kunskaperna i arbetspraktiken i ett långsiktigt kompetensutvecklings- och försörjningsperspektiv. Med utgångspunkt i bland annat Baldwin och Fords (1988) ursprungliga transfereringsmodell samt teorier och tidigare forskning (figur 2 och 3) bör utvärderingsaktiviteter komma in och genomföras som en del av lär- och överföringsprocessen som ett led i att synliggöra och stimulera goda förutsättningar hos individen, i utbildningens design, i arbetsmiljön och i kontexten för de som lär samt 14 ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling

16 kopplingarna mellan dessa områden. För en mer stabil och lyckad överföringsprocess och verksamhetsutveckling över tid behövs att den formativa utvärderingsansatsen ges stöd och förutsättning att kunna genomföras i organisationerna. Mot bakgrund av dagens styrmodeller (NPM) och dess konsekvenser, däribland tidsåtstramningar i verksamheterna, kvarstår dock svårigheten att skapa tillräckligt tids- och handlingsutrymme för arbetsgrupper i äldreomsorg att göra gemensamma reflektioner (Ellström et al. 2003; Hood, 1995; Szebehely, 2006). Att välja och tillämpa en formativ utvärderingsansats försvåras utifrån äldreomsorgens tidspress, krav och kontext. Problemet med hårt tidspressade verksamheter hindrar oftast dessa att skapa och stödja viktiga förutsättningar för överföringsprocessen hos individ och arbetsgrupp, i utbildningsinsatsernas utformning och i personalens arbetsmiljö. Detta problem öppnar samtidigt för utvärderingsfrågan ytterligare. En formativ och lärande utvärderingsansats behöver förutsättningar, däribland avsättning av tid och resurser för arbete med dessa frågor i verksamheterna. Detta talar sammantaget för att äldreomsorgens arbetsgivare och företrädarna för offentlig förvaltning bör ta ytterligare krafttag för att, förutom den summativa ansatsens måluppfyllelsebedömningar, också i större utsträckning organisera för formativa och lärande utvärderingsansatser som bättre fångar upp och stödjer de enskilda deltagarnas och arbetsgruppernas viktiga överföringsprocess vid kompetensutvecklingsinsatser. Referenser Argyris, C., & Schön, D. (1996). Organizational Learning II: Theory, Method, and Practice. Addison-Wesley: Reading, MA. Baldwin, T. T. & Ford, J. K. (1988). Transfer of training: A review and directions for future research. Personnel Psychology, 41, s Bennich, M. (2012). Kompetens och kompetensutveckling i omsorgsarbete. Synen på kompetens och lärande i spänningsfältet mellan samhälleliga förutsättningar och organisatoriska villkor. Doktorsavhandling. Linköpings universitet: Institutionen för beteendevetenskap och lärande. Blom, B., & Morén, S. (2010). Explaining Social Work Practice The CAIMeR Theory. Journal of Social Work, 10, s Blom, B., & Morén, S. (2011). Kritisk realistisk utvärdering. I B, Blom, S. Morén & L, Nygren (Red.), Utvärdering i socialt arbete. Utgångspunkter, modeller och användning (s ). Stockholm: Natur och Kultur. Blom, B., Morén, S., & Nygren, L. (2011). I Utvärdering i socialt arbete. B. Blom, S. Morén., & L. Nygren (Red.), Utvärdering i socialt arbete. Utgångspunkter, modeller och användning (s 17-33). Stockholm: Natur och Kultur. Burke, L. & Hutchins, H. (2008). A study of best practices in training transfer and proposed model of transfer, Human Resource Development Quarterly, 19, s ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling 15

17 Burke, L. A., & Saks, A. M. (2009). Accountability in Training Transfer: Adapting Schlenker s Model of Responsibility to a Persistent but Solvable Problem. Human Resource Development Review, 8, s Claesson, A. (2009). En utvärdering av Kompetensstegen i Eskilstuna kommun, Lärande Användning. Kompetensförstärkning för medarbetare och förbättring för de äldre. Eskilstuna: Eskilstuna kommun i samverkan med Mälardalens högskola. Claesson, A. (2015). Utvärdering som stödjande verktyg vid kompetensutveckling. överföring av lärande och kunskapsanvändning bland personal i äldreomsorg. Licentiatuppsats. Örebro: Örebro Universitet, Örebro Studies in Social Work 15. Danermark, B., Ekström, M, Jakobsen, L., & Karlsson, J. Ch. (2003). Att förklara samhället. Lund: Studentlitteratur. Denvall, V. (2011). Det sociala utvärderingslandskapet. I B, Blom, S. Morén & L, Nygren (Red.), Utvärdering i socialt arbete. Utgångspunkter, modeller och användning (s 37-54). Stockholm: Natur och Kultur. Donaldson, S. I. (2007). Program theory-driven evaluation science: Strategies and applications. New York: Lawrence Erlbaum Associates. Döös, M., & Ohlsson, J. (1999). Pedagogik i arbetslivet - om pedagogiska ingripanden i organisationer för att främja utveckling av kompetens. I Konst, kultur, vetenskap, Stiftelsen Södertörns Sommaruniversitet, s Döös, M., & Wilhelmson, L. (2005). Kollektivt lärande. Om betydelsen av interaktion i handling och gemensam handlingsarena. Pedagogisk forskning i Sverige, 10, s Ekström, M. (1993). Sociologiska förklaringar och variabelanalysens gränser. En kritisk analys med exempel från medicinsk sociologi. Sociologisk Forskning, 2, s Ellström P-E. (1992). Kompetens, utbildning och lärande i arbetslivet. Stockholm: Norstedts Juridik AB. Ellström, P-E. (2009). Användning och nytta av utvärderingar: ett lärandeperspektiv. I L. Svensson, G. Brulin, S. Jansson, & K. Sjöberg (Red.), Lärande utvärdering genom följeforskning (s ). Lund: Studentlitteratur. Ellström, E., Ekholm, B., & Ellström, P-E. (2003). Verksamhetskultur och lärande. Om äldreomsorgen som lärandemiljö. Lund: Studentlitteratur. Granberg, O. (2009). Lära eller läras. Om kompetens och utbildningsplanering i arbetslivet. Lund: Studentlitteratur. Granberg, O., & Ohlsson, J. (2009). Från lärandets loopar till lärande organisationer. Lund: Studentlitteratur. Hertting, N., & Vedung, E. (2009). Den utvärderingstäta politiken. Styrning och utvärdering i svensk storstadspolitik. Lund: Studentlitteratur. 16 ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling

18 Holton, E. F., Bates, R. A., & Ruona, W. E. A. (2000). Development of a Generalized Learning Transfer system Inventory. Human Resource Development Quarterly, 11, s Hood, C. (1995). The New Public Management in the 1980s: Variations on the Theme Accounting, Organizations and Society, 20, s Jess, K. (2011). Programteori för utvärderingsverkstäder. I B.G. Eriksson, & P-Å. Karlsson (Red.), Verkstäder för utvärdering i välfärdsverksamheter Erfarenheter från några svenska FoU-enheter och högskolor (s 35-43). Jess, K. (2013). Evaluating complex interventions a challenge. Paper presented at the 27th Annual Conference of the American Evaluation Association, Washington. Hämtad 23 januari, 2014 från DocumentKey=74b845e7-b0e5-427f-b145-dc059ae602cd Karlsson, O. (1999). Utvärdering mer än metod. Tankar och synsätt i utvärderingsforskningen. Stockholm: Svenska kommunförbundet. Karlsson Vestman, O. (2009). Meningen med utvärdering. I L. Svensson, G. Brulin, S. Jansson, & K. Sjöberg (Red.), Lärande utvärdering genom följeforskning (s 55-80). Lund: Studentlitteratur. Karlsson Vestman, O. (2011). Utvärderandets konst. Lund: Studentlitteratur. Kirkpatrick, D. L., & Kirkpatrick, J. D. (2006). Evaluating training programs. The four levels. San Francisco, CA: Berrett-Koehler Publishers. Kock, H. (2010a). Kompetensutveckling strategier och metoder. I H, Kock (Red.), Arbetsplatslärande att leda och organisera kompetensutveckling (s ). Lund: Studentlitteratur. Kock, H. (2010b). Kompetensutveckling i företag motiv och drivkrafter. I H, Kock (Red.), Arbetsplatslärande att leda och organisera kompetensutveckling (s 81-97). Lund: Studentlitteratur. Kock, H. (2010c). Kompetensutveckling på arbetsplatsen sammanfattande slutsatser och reflektioner. I H, Kock (Red.), Arbetsplatslärande att leda och organisera kompetensutveckling (s ). Lund: Studentlitteratur. Kock, H., & Ellström, P-E. (2011). Formal and integrated strategies for competence development in SMEs. Journal of European Industrial Training, 35, s Larsson, P. (2004). Förändringens villkor. En studie av organisatoriskt lärande och förändring inom skolan. Doktorsavhandling. Stockholm: Handelshögskolan. Mezirow. J. (1991). Transformative dimensions of adult learning. San Francisco, California: Jossey-Bas. Mezirow, J. (2000). Learning to Think Like an Adult: Core Concepts of Transformations Theory. In J. Mezirow. (Ed.) Learning as transformation: critical perspectives on a theory in progress (s 3-33). San Francisco, California: Jossey-Bas. ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling 17

19 Patton, M. Q. (2008). Utilization-Focused Evaluation. Thousand Oaks: SAGE. Pawson, R., & Tilley, N. (1997) Realistic Evaluation, London: Sage. Petersén, A, C., & Olsson, J, I. (2013). An evaluation paradox in social work? An empirical study of evaluation use in connection with temporary programmes in Swedish social work. European Journal of Social Work, s Regeringen. (2015). Mål för social omsorg. Omsorg om äldre människor. Hämtad 1 september 2015 från Rogers, P. (2000). Causal Models in Program Theory Evaluation. New Directions for Evaluation, 87, s Rogers. P. (2011). Programteori som verktyg för utvärdering. I B, Blom, S. Morén & L, Nygren (Red.), Utvärdering i socialt arbete (s ). Stockholm: Natur och Kultur. Rogers, P., Petrosino, A., Huebner, T., & Hacsi, T. (2000). Program theory evaluation: Practice, promise, and problems. New Directions for Evaluation, 87, s Rogers, P. J., & Williams, B. (2006). Evaluation for practice improvement and organizational learning. In I, F, Shaw, J, C, Greene & M, M, Mark (Eds.), The Sage Handbook of Evaluation (s 76-97). London: The Cromwell Press Ltd. Saks, A. M., & Belcourt, M. (2006). An investigation of training activities and transfer of training in organizations. Human Resource Management, 45, s Saks, A. M., & Burke, L. A. (2012). An investigation into the relationship between training evaluation and the transfer of training. International Journal of Training and Development, 16, s Schön, D. A. (1987). Educating the reflective practitioner: toward a new design for teaching and learning in the professions. San Francisco: Jossey-Bass. Senge, P. (1995). Den lärande organisationens konst. Falun: Nerenius & Santérus förlag. Sjöberg, K. (2008). Lärande utvärdering/följeforskning femte generationens utvärdering? Paper från kurs Lärande utvärdering/följeforskning, Linköpings universitet, ESF-rådet, Nutek. Hämtad 3 juli, 2014 från Sjöberg, K., Brulin, G., & Svensson L. (2009). I L. Svensson, G. Brulin, S. Jansson, & K. Sjöberg (Red.), Lärande utvärdering genom följeforskning (s ). Lund: Studentlitteratur. Socialdepartementet. (2006a). Kompetensstegen. Stockholm: Socialdepartementet. Socialdepartementet. (2006b). Vägledning vid utvärdering av Kompetensstegen. Stockholm: Socialdepartementet. 18 ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling

20 Socialstyrelsen. (2009). Personalutbildning i äldreomsorg blir den till nytta för de äldre? En utvärdering av Kompetensstegen. Stockholm: Socialstyrelsen, Institutet för utveckling av metoder i socialt arbete. Socialstyrelsen. (2011a). Ledningssystem för kvalitetsarbete. Stockholm: Socialstyrelsen. Socialstyrelsen. (2011b). Information om Socialstyrelsens nya föreskrifter och allmänna råd om ledningssystem för systematiskt kvalitetsarbete (SOSFS 2011:9). Stockholm: Socialstyrelsen. Socialstyrelsen. (2012). Rätt kompetens hos personal i verksamheter för personer med funktionsnedsättning. Stockholm: Socialstyrelsen. Socialstyrelsen. (2013). Tillståndet och utvecklingen inom hälso- och sjukvård och socialtjänst. Lägesrapport Stockholm: Socialstyrelsen. Socialstyrelsen. (2015). Tillståndet och utvecklingen inom hälso- och sjukvård och socialtjänst. Lägesrapport Stockholm: Socialstyrelsen. Statskontoret. (2009). Kompetensstegens organisering effektiv hantering av stöd till kommunerna? (2009:15). Stockholm: Stadskontoret. Hämtad 3 juni, 2014 från Svensson, L., & Sjöberg, K. (2009). Utvärdering som stöd för hållbar utveckling. I L. Svensson, G. Brulin, S. Jansson, & K. Sjöberg (Red.), Lärande utvärdering genom Sveriges Kommuner och Landsting. (2011). Här finns Sveriges viktigaste jobb. En rekryteringsprognos för välfärdssektorn. Stockholm: Sveriges Kommuner och Landsting. Sveriges Kommuner och Landsting. (2014). Så möter vi rekryteringsutmaningarna i vården och omsorgen. Stockholm: Sveriges Kommuner och Landsting. Swedish Standards Institute. (2011). Kompetensförsörjning. Från strategi till resultat. Stockholm: SIS Förlag. Szebehely, M. (2006). Omsorgsvardag under skiftande organisatoriska villkor en jämförande studie av den nordiska hemtjänsten. Tidskrift for Arbejdsliv, 8, s Vedung, E. (1998). Utvärdering i politik och förvaltning. Lund: Studentlitteratur. Vedung. E. (2002). Utvärderingsmodeller. Socialvetenskaplig tidskrift, nr 2-3. Vedung. E. (2006). Utvärdering som megatrend, gigatrend och fyra böljor. I Hansen, H. F. (Red.), Den organiserede forvaltning: politik, viden og værdier i samspil ( ). Köpenhamn: Politiske studier. Vedung. (2009). Utvärdering i politik och förvaltning. Lund: Studentlitteratur. Vedung, E. (2010). Four Waves of Evaluation Diffusion. Evaluation, 16, s Vedung, E. (2011). Några traditionella utvärderingsmodeller. I B, Blom, S. Morén & L, Nygren (Red.), Utvärdering i socialt arbete (s ). Stockholm: Natur och Kultur. ANNIKA CLAESSON Utvärdering som stödjande verktyg vid kompetensutveckling 19