Konferensbidrag SVUF, 8-9 oktober 2015 Utvärdering som stödjande verktyg vid kompetensutveckling -Överföring av lärande och kunskapsanvändning bland personal i äldreomsorg Annika Claesson, maj 2015 Licentiatuppsats, Örebro universitet, socialt arbete Kommundoktorand - Samverkan mellan Eskilstuna kommun, Mälardalens högskola och Örebro universitet - hoppas bidra till organisationers tankar och intresse i frågan om utvärdering av personalens kompetensutveckling
Problemområde Överföringsproblemet Lärande från utbildning (kurser) överförs ofta inte till kunskapsanvändning Lärandet stannar på individnivå -Överförs inte i grupp- och organisatoriskt lärande -Ger inte praktiska avtryck i verksamheterna Sammankoppling Utvärdering och Överföringsprocess vid kompetensutveckling Vanlig utvärderingsrutin Summativ utvärdering - efter en insats rapport till beställaren, utvärdering görs rutinmässigt i organisationer Mäter i efterhand måluppfyllelse av kursens lärandemål Äldreomsorgens kontext, demografisk utveckling, pensionsavgångar, ökade hjälpbehov, förändring kompetensutveckling och kompetensförsörjning central fråga nationella tidsbegränsade kompetenshöjande satsningar, exp. Kompetensstegen
Komplexitet och utvärdering i socialt arbete handlar om att ställa bra frågor! Tre nivåer, enkel/linjär, komplicerad, komplex Följa ett recept Flyga en raket till månen Stödja och fostra ett barn Programteori vid utvärdering ett redskap för att tydliggöra komplexitetsnivå och ställa relevanta frågor (Blom & Morén, 2011; Forss & Schwartz, 2011; Jess, 2013; Denvall, 2011; Glouberman & Zimmerman i Rogers, 2011 m fl.)
Det empiriska exemplet en utvärdering av Kompetensstegen i en kommun Om förutsättningarna Nationell Kommitté kommunernas eget ansvar att utvärdera Vägledningsmaterial, lärande och utveckling av kompetensoch kvalitetsarbetet Beviljades externa medel på slutet ingen föremätning Trötta arbetsplatser, kunskapsintensiv period, utvärderingen skulle inte ta så mycket tid Om innehållet Summativ utvärderingsansats provade programteori som komplement - lärandet Bild av måluppfyllelse, lärande och användning i arbetet Utvecklade bedömningskriterier om lärande Transformationsteorin (Mezirow, 2000) Om resultatet Relativt hög uppfyllelse av lärandemål, lärande och användning främst på individnivå Behov av tid att reflektera om sitt lärande Uppföljning och utvärdering på arbetsplatserna Gemensamma arbetssätt, chefens roll avgörande för lärandet och användningen
Metod- perspektiv och tillvägagångssätt - rollen som kommundoktorand Empiriska exemplet - använde och analyserade mot avhandlingens tolkningsram och komplexiteten som lyfts fram i den Metateoretiskt och hermeneutiskt perspektiv kausalsyn från kritisk realism finns en verklighet som inte är empiriskt observerbar, finns generativa mekanismer under ytan som inverkar på insatsens resultat koppling till socialt arbete (Danermark et al. 2003; Ekström, 2003, Pawson & Tilley, 1997) Helhet och delar teori och verklighet Flera roller, utbildningsledare, intern utvärderare och kommundoktorand Utmaningen granska mitt eget arbete mest fördelar, koppla ihop teori och praktik Närhet och distans till materialet Lojalitetsdilemman Utvärderingspositioner (Karlsson, 2011) Utbildningsledare Intern utvärderare Kommundoktorand
Teoretiska utgångspunkter Summativ fokus på måluppfyllelse, mål-resultat modell, i efterhand vad har uppnåtts Input Bedömningsorienterad Output Formativ fokus på process och lärande, hur fungerar det Input Output Förbättringsorienterad Process Programteori verktyg som identifierar dolda mekanismer i process och kontext som påverkar resultat - börja öppna svarta lådan, orsakssamband (Blom & Morén, 2011; Jess, 2011, 2013; Karlsson, 1999; Karlsson Vestman, 2011; Patton, 2008; Rogers, 2000; Vedung, 1998, 2002, 2011; Weiss, 1998 m fl.)
Röda tråden Kritisk reflektion Var kommer summativ utvärdering in i processen? Styrkor och svagheter som stödjande verktyg? Figur 5. Avhandlingens tolkningsram utifrån teorier och tidigare forskning förutsättningar och villkor vid kompetensutveckling och dess transformering av lärande till kunskapsanvändning (Claesson, 2015, s 76).
Slutsatser Den summativa ansatsen tar inte hänsyn till processen och dess förutsättningar, i detta fall processen för överföring av lärande Överföringsprocessen fortsätter att vara dold. Följer inte processen som sådan. Svårt se vad som inverkar på arbetsplatsen för ökat lärande och användning. Svårt fånga in komplexiteten med förutsättningar som behöver samspela svårt skapa exakta bedömningskriterier Den summativa ansatsen stödjer inte deltagarnas kritiska reflektion och lärande i överföringsprocessen Används i efterhand, fångar inte upp deltagarnas (ind och grupp) kritiska reflektion under processens gång som stöd i överföringen och inte heller efter på arbetsplatsen Deltagarna blir inte aktiva i utvärderingsaktiviteten inte optimalt för deras lärande Tidsramarna och resurserna i kompetensutvecklingsinsatsens kontext tillåts inverka på valet av utvärderingsansats Kort beredningstid inför, brist på ork och tid på arbetsplatser Trots bra vägledningsmaterial - ingen uttalad strategi verkade finnas för hur det var tänkt att kommuner skulle kunna åstadkomma och organisera för utvärdering i praktiken med fokus på lärande och överföring Verkade väga tyngre vid val av ansats än risken att inte få en långsiktig behållning i verksamheterna. Måluppfyllelse viktigt men kortsiktig lösning?
1. Förutsättningar tidsramar och resursinsats Skapa beredskap under och efter kompetensutvecklingsinsatsen del i ordinarie årshjul och kompetensarbete ger mer framförhållning 2. Formativ ansats utvärderingsaktiviteter som stöd till kritisk reflektion och lärande - Stödja och fånga upp arbetsgruppens gemensamma reflektion om sitt lärande och sin överföring under och efter en kompetensinsats fokus på processen vara nära verksamheten/arbetsplatsen Diskussion fem utgångspunkter - Hur kan en alternativ utvärderingsansats till den summativa fungera som stöd till överföring? 3. Programteori som teoretisk modell Konkret reflektionsverktyg utvärderare och arbetsgrupp identifierar överföringens förutsättningar med kritisk reflektion, synliggör det dolda i processen, dvs. öppnar svarta lådan som är unik för just den arbetsplatsen och dess kontext 4. Värdering kvantitativ och kvalitativ interaktion Både summativt och formativt - rapportera måluppfyllelse och stödja processen för överföring 5. Kontinuerlig utvärdering av överföring av lärande som del i långsiktigt kompetensförsörjningsarbete Utvärderingsansatsen spelar viktig roll för överföringen. Integrerad i kompetensarbetet, del i lär- och överföringsprocess utmaning för arbetsgivare att organisera för utvärdering på arbetsplatserna