Utvärderingsverkstäder grundläggande kännetecken, struktur och innehåll

Utvärderingsverkstäder grundläggande kännetecken, struktur och innehåll Elisabeth Beijer, FoU i Väst/Gr, Göteborg Bengt Eriksson, IKU, Karlstads universitet Per-Åke Karlsson, FoU Sjuhärad - Välfärd, Högskolan i Borås Tom Leissner, Institutionen för socialt arbete, Göteborgs universitet Mars 2009 1

Abstract Välfärdsverksamheter möter allt större krav på att visa effektivitet och på att vara kunskapsbaserade. Utvärderingsverkstäder är en form för lärande för att bygga upp kompetens för utvärdering inom välfärdsverksamheter, med stöd av FoU-enheter högskolor/universitet. I sådana verkstäder möts professionella inom välfärdsarbetet för att tillsammans med forskare/professionella utvärderare genomföra utvärderingar. Här presenteras uppläggning av sådana utvärderingsverkstäder och redovisas några erfarenheter från genomförda verkstäder. Verkstäderna uppfattas mycket positivt av deltagarna. Samtidigt som utvärderingar blir genomförda utvecklas en generell kompetens. Utvärderingarna som görs är främst interna med de begränsningar det medför vad gäller kritisk granskning. Via verkstäderna sker en kapacitetsuppbyggnad för utvärdering. Utvärderingsverkstäder har fördelar beträffande lärande för utvärdering genom att direkt kombinera handlande och lärande samt ge goda möjligheter för reflektion. 2

Introduktion Välfärdens verksamheter möter nya och större krav som följd av samhällets utveckling. Demografiska förändringar, främst en ökande andel äldre i befolkningen, ökar behoven inom vård och omsorg. Sociala problem, såsom missbruk, försörjningsproblem eller olika former av våld och utnyttjande, kräver insatser i form av professionell handläggning och behandling. Resurserna är samtidigt begränsade och välfärdssektorn konkurrerar om medel med andra samhällsområden. Att skapa ett välfärdssystem med professionella utövare som i högre grad än tidigare bygger sitt arbete på vetenskaplig kunskap och beprövad erfarenhet har betraktats som en av flera möjligheter att lösa detta dilemma. Utvärdering av det professionella arbetet kan ge ökad kunskap och en möjlighet att utmönstra verkningslösa eller destruktiva åtgärder, för att kunna bygga vidare på arbetssätt som visar sig framgångsrika. Utvärderingsverkstäder utgör ett metodiskt arbetssätt och en form för lärande för att bygga upp kompetens för utvärdering inom välfärdsverksamheter, med stöd av FoU-enheter och/eller universitet/högskolor. I utvärderingsverkstäder möts professionella inom välfärdsarbetet för att under handledning av forskare/professionella utvärderare genomföra en utvärdering i och för sin egen praxis. Bakgrund Utvärdering har under de senaste decennierna fått en tydlig plats inom såväl forskning som praxis. Scriven (2002) ser utvärdering som en transdisciplin ett kunskaps- och praxisområde som kan användas inom flera discipliner och praktiker. Sommerfeld (2005, s.8) menar att utvärdering kan nära knytas till professionaliseringsprocessen We all know that evaluation has been a key koncept since the beginning of social work as a profession - i sin tur nära förbunden med betoningen av kunskap och kunskapsproduktion som en hörnsten i professionsutveckling. Han ser the evidence-based practice movement som en aspekt av moderniseringsprocessen, särskilt tydlig inom autonoma system som sjukvård, utbildningsväsende eller socialtjänst. I Sverige har frågor om ökad evidensbasering av sociala interventioner behandlats bl a av Socialstyrelsen (2004) och för att främja ett evidensbaserat välfärdsarbete finns sedan åtskilliga år för hälso- och sjukvården Statens Beredning för medicinsk Utvärdering (SBU) och av senare årgång Institutet för utveckling av metoder i socialt arbete (IMS). I många kommuner och landsting finns för att främja ett välfärdsarbete av god kvalitet regionala FoU-enheter som ett komplement. Utvärdering inom välfärdsarbete relaterar till skilda kunskapsintressen (Vedung, 1998; Patton, 2008); det kontrollerande, det kunskapsuppbyggande, det främjande förutom det professionsbaserade kunskapsintresse vi berört ovan. Svensk lagstiftning såväl inom socialtjänst som hälso- och sjukvård slår fast att verksamheten ska vara av god kvalitet. Utvärdering kan ses som en form av kvalitetskontroll, men också som ett sätt att påverka kvaliteten i det professionella välfärdsarbetet. I det här sammanhanget är det främjande kunskapsintresset dominerande. Utvärderingsverkstäderna syftar till att bygga upp utvärderingskompetens hos medarbetare inom organisationerna. Frågan huruvida utvärdering ska bedrivas som en extern aktivitet, skild från den verksamhet som utvärderas, eller som ett internt intresse, tillhör utvärderingsområdet återkommande diskussionspunkter (se t ex Love, 1991). Den externa utvärderingen motiveras av sin fristående position gentemot utvärderingsområdet, något som förmodas göra det möjligt att 3

framföra kritik utan ovidkommande hänsyn. Förespråkare för intern utvärdering betonar istället vikten av närhet och inifrånkunskap, möjligheten att undvika olika former av försvarsmekanismer och utestängning från grupper och enskilda, som den externe utvärderaren kan utsättas för. Ett argument för intern utvärdering är också att den ökar möjligheterna för att resultatet av utvärderingen kommer till faktisk nytta (Quershi. 1998; Love, 1991). Med ideologiska rötter i aktionsforskningstraditionen har på senare tid olika varianter av deltagarorienterad forskning och utvecklingsarbete vuxit fram, i form av till exempel forsknings- eller FoU-cirklar (Socialstyrelsen, 2002) varav en del har utvärderats (Forsberg, 2006), Participatory Action Research (PAR) (Holmer & Starrin, 1993), Co-operative Inquiry (Reason & Heron, 1986), kunskapsutveckling i praxis (Hummelvoll, 2005). Dessa former förenas av en gemensam syn på hur kunskap bildas och hur man kan tillägna sig och använda kunskap. Perspektivet är horisontellt snarare än vertikalt kunskap skapas i en gemensam process, där skapande och tillägnelse sker integrerat och samtidigt. Utvärderingsverkstäderna knyter an till den traditionen. Inom forskning om Human Service Organizations (HSO) framhålls det utrymme som ges för den enskilde medarbetaren, ibland kallad närbyråkrat (eller gräsrotsbyråkrat, t ex Lipsky, 1980) att påverka innehållet i kontakterna (Hasenfeld, 1983, 1992). Den diskretion som den enskilde medarbetaren i realiteten har i arbetet med brukaren kan ses såväl som en tillgång, i form av "trust"/tillit, som ett problem ur styrnings- och utvärderingssynpunkt. Utvärdering utifrån är behäftad med problem som bristande reella möjligheter för insyn i arbetet. Ett tänkbart alternativ är att utvärderingen blir en del i arbetet (Eriksson & Karlsson, 1990). Förutsättningarna för att resultaten ska komma till användning ökar med en sådan uppläggning (Sunesson & Nilsson, 1988). En förutsättning för detta är att det inte bara ges ett formellt utrymme utan också reella möjligheter. I sådana mera öppna system krävs att cheferna uppfattar sin roll som ledare av kompetensorganisationer. Istället för att styra de anställda blir betoningen på att stödja och uppmuntra de enskilda anställda till självständighet och ansvarstagande. I de nordiska länderna kompletteras detta med frågan om demokrati i arbetslivet och inflytande över arbetsplatsen. En viktig aspekt är att de anställda vid utvärderingar inte bara ges möjlighet att få reda på resultatet av sina ansträngningar utan också har möjlighet att påverka processerna och de mål som organisationen har satt upp (Johansson & Ohlson, 1973). Organisationen och ledningen har mycket att vinna på detta. Förändringsberedskapen ökar därmed hos de anställda. Internationellt pågår en diskussion om hur organisationer ska kunna utveckla och bygga in kapacitet för utvärderingsarbete (t ex Comton et al, 2002). Kraven är ökande och en tydlig tendens är att utvärderingar förväntas ske systematiskt snarare än ad hoc artat. Detta kräver möjligheter till lärande, utveckling av kompetens för utvärdering samt stödjande strukturer. Stevenson et al (2002) poängterar vikten av goda förutsättningar, gott ledarskap, organisatoriska strukturer mm för att lyckas med utvärdering. Utvärderingsverkstäderna kan ses i perspektiven av lärande och kapacitetsuppbyggnad för utvärdering. Syfte Syftet är att presentera utvärderingsverkstäder, med betoning på deras kännetecken, struktur och innehåll, som en form av kunskaps- och kompetensutveckling för yrkesverksamma inom välfärdsorganisationer utifrån erfarenheter främst från utvärderingsverkstäder i västra Sverige, samt diskutera deras potential att bidra till lärande och kapacitetsuppbyggande för ett mer kunskapsbaserat välfärdsarbete. 4

Verkstäder för utvärdering I utvärderingsverkstaden träffas en grupp deltagare från olika välfärdsverksamheter tillsammans med ledare från FoU-enheten - högskolan. Deltagarna har med sig uppdrag från sin hemorganisation att arbeta med utvärdering av ett specifikt objekt. Utvärderingsverkstaden pågår under en bestämd tidsperiod, upp till ett år och innehåller återkommande träffar om fyra till åtta timmar. Verkstäderna presenteras här utifrån deras struktur, process och resultat. Struktur Redan i inbjudan till utvärderingsverkstaden markeras att aktivt deltagande krävs. Kunskapen och kompetensen för utvärdering skapas genom det egna handlandet, det är inte någon föreläsningsserie som erbjuds. I de verkstäder vi utgår från här har deltagarantalet varierat från sju till femton personer, fördelade på fyra till nio utvärderingsobjekt. Det är alltså inte ovanligt utan en fördel att två personer samarbetar i respektive utvärdering. Deltagarnas yrkesmässiga tillhörighet varierar; socialsekreterare, biståndsbedömare, folkhälsoplanerare, utredare, undersköterskor är några exempel. Ofta har deltagarna någon form av akademisk utbildning, men det finns inget särskilt utbildningskrav. Utvärderingarna kan handla om något deltagaren själv arbetar med, vad man kan kalla intern utvärdering eller utvärdering i arbetet (Eriksson & Karlsson 1998), då är det ofta baspersonal eller projektledare som har att genomföra utvärderingen. Det kan också vara utvärderingar av annan verksamhet inom organisationen, sådana utvärderingar som ofta görs av stabspersonal, man skulle kunna kalla detta extern-intern utvärdering. Ibland är uppdraget att skapa en struktur, en systematik, för kontinuerlig uppföljning/utvärdering inom organisationen. Här ges tre exempel: Två socialarbetare från en familjerättsverksamhet (umgänges- och vårdnadstvister om barn i samband med skilsmässa) skulle undersöka om man lyckats förbättra tillgängligheten för föräldrar som behövde kontakt och stöd. Man hade bland annat infört nya telefontider. En fråga var om detta betydde att människor fick mer stöd. Skedde det i så fall på bekostnad av annat? Ytterligare en fråga var vad tillgänglighet var, hur man kunde tänka kring tillgänglighet utöver att utöka telefontiderna. (Ett exempel på intern utvärdering). En utredare inom en handikappverksamhet skulle utvärdera införandet av fasta semesterperioder för personal inom handikappboenden. Avsikten var ATT SKAPA större trygghet för de boende, bland annat genom att det skulle finnas erfaren personal på plats hela tiden. Frågan var politiskt het inom kommunen. Handikapporganisationerna tryckte på i frågan samtidigt som personalen hade invändningar. (Ett exempel på en extern-intern utvärdering). En chef och en medarbetare från en institution som sysslade med akuta placeringar av ungdomar hade uppdraget att utveckla en modell för hur man kontinuerligt kunde undersöka hur institutionstiden upplevts av ungdomarna och deras familjer. (Ett exempel på ett uppdrag som handlar om att skapa struktur för utvärdering/uppföljning). Utvärderingsuppdragen är olika även till sin omfattning, beroende på uppdragets karaktär, deltagarens erfarenhet och intresse och vilken tid utvärderingen får ta. Det gemensamma är att de förväntas bidra till utveckling av verksamheten på hemmaplan I verkstäderna har vi genomgående varit två ledare och vår erfarenhet är att det är en fördel att en av ledarna är forskar- eller utvärderingsutbildad och en har god kännedom om praktikens villkor. Strukturen för utvärderingsverkstaden bygger på sådana grundläggande frågor som är gemensamma för all utvärdering uppdragsfrågan, kunskapsfrågan, bedömningsfrågan samt 5

funktionsfrågan (Karlsson, 2002). Dessa frågor bildar en innehållslig utgångspunkt för föreläsningar och för stöd till deltagarna. Uppdragsfrågan: Vilket är syftet med utvärderingen? Vilka frågor ska den besvara? Vem ska utföraren vara? Vilka ekonomiska och andra ramar finns? Kunskapsfrågan: Hur ska man gå tillväga för att ge en god beskrivning av utvärderingsobjektet? Hur ska information/data inhämtas, analyseras och tolkas? Bedömningsfrågan: Hur ska man värdera den inhämtade kunskapen? Mot vad ska utvärderingen ske? Funktionsfrågan: Hur ska utvärderingen användas? Hur kan man påverka utvärderingens användning? Deltagarnas utvärderingsarbete stöds genom miniföreläsningar, återkommande om olika teman under verkstadens gång, samt av samtal och reflektioner kring frågor i utvärderingsarbetet. Varje gång gruppen träffas följer ungefär samma uppläggning med miniföreläsningar, genomgång av de olika projekten samt formulerande av hemläxor, det vill säga uppgifter som deltagarna ska genomföra till nästa träff. En strävan är att strukturen ska vara såväl tydlig som följsam. Tillämpningen för deltagarna sker individuellt, man går framåt i sin egen takt och i den omfattning som är möjlig och rimlig. Deltagarna förväntas vara aktiva vid träffarna inte bara i det egna utvärderingsuppdraget utan även i att ge synpunkter för att hjälpa de andra deltagarna. Process Grupprocess och -dynamik är grundläggande och såväl ledare som deltagare har en viktig roll i att bidra till ett gott klimat. Här ligger också etiska överenskommelser om att inte sprida vad andra säger. Gruppen konsolideras genom att man engagerar sig i varandras arbeten. Detta ökar motivationen, inlärningseffekten och bredden på kunskap. En mycket vanlig kommentar vid utvärderingarna av verkstäderna är att deltagarna lärt sig så mycket av varandra, trots olikheter i förutsättningar och verksamhetsområden. Det återkommande bekymret är egentligen ett: tiden. För att underlätta detta dilemma brukar vi som är ledare rekommendera dels en ihärdig kontakt med uppdragsgivaren, dels en ambitionsnivå och inriktning som upplevs meningsfull, lustbetonad och möjlig. En individuell anpassning är helt nödvändig. Inledningsvis i verkstaden är det alltid aktuellt att avgränsa uppdraget. Ofta finns något orealistiska förväntningar om vad man ska kunna utvärdera. Det är till exempel oftast inte möjligt att visa effekter för brukare i mätbara termer efter kortvariga kompetensutvecklingsprojekt för personal. Det handlar här om att hitta en rimlighet i uppdraget. Vid första träffen presenterar sig deltagarna för varandra och beskriver sina förväntningar på verkstaden. Hemläxan efter en eller ett par träffar är gemensam för samtliga att skissera en design för utvärderingen med utgångspunkt i de typiska frågorna om uppdragsgivare, intressenter, utvärderingsobjekt, syfte och frågor. Att denna inledande aktivitet finns dokumenterad är värdefullt, det är något deltagarna kan gå tillbaka till; Vilka frågor var det man skulle söka svar på? Hur mycket tid har jag till mitt förfogande? Hur skulle erfarenheterna användas? Vilket var syftet? Under träffarna avrapporterar deltagarna sina arbeten och får frågor, kommentarer, förslag från samtliga. Självklart har ledarna ett stort ansvar här, inte minst för kunskapen om utvärdering, men om dynamiken mellan deltagarna uteblir förloras många positiva effekter. Ibland handlar det om att själv som ledare hålla igen. Det är ingen expert lärjunge 6

relation som eftersträvas. Ur frågorna, samtalen och reflektionen väcks ämnen som kan bli föremål för miniföreläsningar. Det finns en grundstruktur för miniföreläsningar som följer en naturlig ordning för utvärderingsarbetet utifrån de grundläggande utvärderingsfrågorna. På så sätt är det naturligt att redan vid första eller andra tillfället klargöra vissa utvärderingsbegrepp, skillnader på olika typer av utvärdering och inte minst vad positionen som intern utvärderare för med sig. Miniföreläsningarna brukar vara cirka 15 30 minuter. Efter hand vid träffarna blir miniföreläsningarnas upplägg friare och bygger allt mer på samtalen i gruppen. Deltagarna har ofta egna erfarenheter att dela med sig av och de uppmuntras också i att stå för föreläsningar. Ledarnas uppgift blir då att bistå med underlag till exempel i form av litteratur eller artiklar inför föreläsningarna. Det mesta av arbetet med utvärderingarna sker på hemmaplan mellan träffarna. Utvärderingsverkstaden blir ett andningshål, en möjlighet till avstämning och påfyllnad i en gemenskap med andra som har samma intressen. Eftersom uppdragen är högst varierande är också slutprodukterna det. Ibland utmärks de av att vara steg på vägen snarare än färdiga utvärderingsprodukter. Rapporterna är först och främst avsedda för att ge återkoppling till hemorganisationen och användas för utveckling där. Resultat Utvärderingsverkstäderna har utvärderats av oss och deltagarna på flera sätt. Vid avslutningarna genomförs regelmässigt enkäter där deltagarna svarar på frågor om verkstädernas förtjänster och brister samt vad de betytt. Tid avsätts också för muntlig utvärdering i grupp. Erfarenheter från den första utvärderingsverkstaden har dokumenterats mer ingående, bl a genom uppföljande intervjuer och studier av de utvärderingsrapporter som blev ett resultat (Karlsson, 2002). Deltagarna är genomgående mycket positiva i sina värderingar av utvärderingsverkstäderna. Men man pekar även på problematiska förhållanden, varav det främsta redan har nämnts; bristen på tid för att genomföra utvärderingsarbetet vid sidan av andra arbetsuppgifter. Beträffande verkstädernas genomförande pekar man betydelsen av att ledarna gör en bra avvägning mellan styrning av träffarna och att frihet åt att diskutera. En annan viktig avvägning är mellan att ge utrymme för de enskilda projekten, t ex genom att erbjuda individuell handledning, respektive uppehålla sig kring generella teman, såsom utvärderingsteori och datainsamlingsmetoder. Våra erfarenheter pekar på att såväl deltagarna som ledarna utvecklas genom ömsesidig påverkan och lärande. Ledarna får praktiska exempel till sin teoretiska och metodiska kunskap. Deltagarna lär sig om utvärderingens teori och praktik. Resultatet av verkstäderna kan indelas i följande fyra aspekter; De skriftliga produkterna får, enligt vår erfarenhet, en påverkan i verksamheterna. Eftersom utvärderingsarbetet är varierande är också slutprodukterna av olika karaktär, ibland snarare steg på vägen än färdiga produkter. Förklaringen är ibland så enkel som att man inte hinner fullfölja uppdraget inom verkstadens tidsrymd. Några av rapporterna är däremot av sådan omfattning och kvalitet att de kan publiceras. Den utvidgade kunskapen kan användas för att förändra arbetssätt. Ett vanligt resultat är att deltagarna finner nya målgrupper och uppmärksammar behov, t ex om hur anhörigvårdare 7

inom äldreomsorgen kan stödjas med ett mer differentierat utbud av tjänster. Denna utvidgade kunskap kommer ofta från diskussionerna om varandras projekt som utvärderas. Deltagarna känner sig mer hemmastadda i diskussioner om utvärdering. Man lär sig både om utvärdering och hur man utvärderar på ett effektivare sätt genom utvärderingsverkstaden än via traditionella kurser. Denna kunskap kommer även till nytta i andra sammanhang på den egna arbetsplatsen. Genom att undersöka sin egen verksamhet och ta del av övriga deltagares frågor bildas också en insikt om värdet av att i vardagen tillägna sig ett utvärderande eller reflekterande förhållningssätt. Diskussion Vi ska diskutera utvärderingsverkstäderna ur aspekterna hur de är organiserade, om de kan bidra till kunskapsuppbyggnad och för lärande. Intern vs extern utvärdering Olika sätt att organisera och genomföra utvärderingar har olika styrkor och svagheter (se t ex Quershi, 1998; Vedung, 1998): - Interna utvärderingar, bedrivna nära det som skall utvärderas, har fördelen att lättare komma till användning, en fördel ur ett formativt syfte. Utvärderingar i utvärderingsverkstäder är av den karaktären. - Genom interna utvärderingar sker en kapacitetsuppbyggnad ett lärande som kan komma verksamheten till godo även i andra sammanhang. Även detta stämmer väl in på utvärderingsverkstäder. Lärande om utvärdering sker genom handling och dessa kunskaper kan komma organisationen tillgodo även i andra sammanhang. - Interna utvärderingar har också svagheter eller brister: En viktig sådan är legitimiteten. Nära, interna utvärderingar har en uppenbar nackdel ur ett summativt syfte. Utvärderingar i utvärderingsverkstäderna har dock mera sällan en summativ inriktning, eftersom avsikten oftast är att främja/utveckla pågående verksamhet. - En nackdel kan vara kunskaps- och metodmässig. Externa utvärderare förväntas besitta expertis. Detta är en rimlig invändning. I centrum för utvärderingsverkstäderna står lärandet, att genom miniföreläsningar, samtal i grupp och eget handlande utveckla kompetens för utvärdering, så dessa nackdelar minskar allteftersom den egna kompetensen ökar. Lite tillspetsat hävdar vi att utvärderingsverkstäder är såväl interna som externa. Detta kan förväntas kompensera en del nackdelar. Externa ledare förutsätts ha god kompetens om utvärdering och kan, tillsammans med övriga deltagare, vara det kritiska ögat för att se interna begränsningar. Verkstäderna har sitt största värde genom att ge möjligheter för ett lärande som kan kopplas till utvecklingsarbete i verksamheterna, samtidigt som en kompetensuppbyggnad sker för fortsatt utvärderingsarbete och en insikt om värdet av ett utvärderande, reflekterande förhållningssätt främjas. Kapacitetsuppbyggnad för utvärdering i välfärdsverksamheter De verksamheter som medverkar i utvärderingsverkstäderna har HSO s kännetecken av att arbeta med att söka påverka människor med etiska konsekvenser som diskretion, relationsberoende o s v. Förutsättningarna för utvärdering är speciella i sådana verksamheter som baseras på förtroende mellan personal och brukare. Att bygga upp utvärderingen inifrån men med möjligheter till insyn av kollegor och utomstående, som i utvärderingsverkstäderna, är enligt oss en möjlig framkomstväg. 8

När det gäller organisationsutveckling kan man tala om två olika typer av strategier; expertstrategin och lärandestrategin. Action learning innebär att man skapar en gemensam uppfattning av organisationen, en gemensam vision och ett gemensamt förverkligande. En viktig aspekt av detta är att man prövar de nya idéerna (Revans, 1981). Experterna kan ha betydelse som bollplank men får inte ta över processen. Detta påminner mycket om utvärderingsverkstädernas arbetssätt. Stevenson et al (2002) förordar Work Shops för att bygga upp personalens självförtroende men dessa påminner mer om expertstrategin än om lärandestrategin. Det är oerhört kraftfullt för både den individuella kompetensutvecklingen som för verksamhetsutvecklingen att de anställda själva får analysera och förändra sin verksamhet. I den typologi som Marsick & ONeil utvecklat (1999) förefaller utvärderingsverkstäderna ligga nära den experimentella 1 skolan. Tankarna bakom denna är att lärandet sker på olika grunder: känna, se lyssna, tänka/analysera och göra/tillämpa (Kolb, 1984). I de alla flesta situationer förekommer samtliga sätt mer eller mindre. Vid utvärderingsverkstäderna används framför allt det aktiva experimenterandet/prövandet, dvs göra och tillämpa och den konkreta upplevelsen dvs att känna. Men vid sammankomsterna i gruppen ges också tillfälle till reflektion och abstrakt tänkande. Lärande om och för utvärdering Det är viktigt med växlingarna mellan de enskilda prestationerna och samvaron och utbytet mellan gruppmedlemmarna i utvärderingsverkstäderna. Medarbetaren genomför sitt utvärderingsarbete och berättar för gruppen om sitt arbete. Gruppen intar då en reflekterande hållning. Gruppdeltagarna ställer frågor och ger tips på ett sådant sätt att individen erbjuds en plattform för egna reflektioner och att själv börja bearbeta den erfarenhet hon/han fått. Därmed vinns ny erfarenhet. Vedung (1998, s. 213) påvisar, med referens till Rossi och Freeman (1989), två synsätt på relationen mellan kunskap attityd handlande; dels inlärningsteorin, dels dissonansteorin Vedung antar att föreställningen om lärande enligt inlärningsteorin är mest spridd; d v s att kunskap kommer före attitydförändring, som i sin tur leder till handling. Den konkurrerande teorin, dissonansteorin, tar trappstegen i omvänd ordning; först handlar man, sedan ändrar man attityd och slutligen samlar man kunskap för att legitimera handlandet och attitydförändringen. Vi menar att utvärderingsverkstadens inlärningssituation snarast förefaller följa dissonansteorins ordning. Redan från början har man handlandet i fokus genom att utvärderingen ska göras. Kunskaperna för detta utvecklas efter hand i praktiskt görande och belyses i diskussioner mellan gruppdeltagare och ledare. Medarbetaren får på så sätt feedback på sitt handlande. Ett synsätt på lärande som bygger på idén om feedback har uttryckts i begreppen single-loop learning och double-loop learning (Argyris, 1990; Granberg & Ohlsson, 2004). Med loop menas att lärandet sker i ett förlopp där lärandet varken är linjärt, trappstegsformat eller cirkulärt, utan ett kretslopp med feedbacksystem som har formen av ständiga loopar. För att lärandet ska kunna leda till bestående förändringar hos individen krävs att de underliggande värderingarna påverkas, eftersom det är värderingarna hos människan som formar de handlingsmönster som säger hur hon ska agera (Granberg & Ohlsson, 2004, s. 42). 1 Med experimentell avser Marsick & ONeil snarast en prövande hållning inte experiment i vetenskaplig betydelse. 9

För att värderingarna ska kunna påverkas krävs reflektion. Att reflektera innebär att ta ett steg tillbaka, för att se och tänka över vad man gör, för att få perspektiv på en situation. Reflektionen förutsätter en överblick, ett lugn utan omedelbart krav på handling, ett avstånd till det som ska göras (Molander, 1996). Tid för reflektion, eftertanke och samtal är något som saknas på många arbetsplatser idag, men man kan knappast utveckla och förnya sitt arbete utan denna möjlighet. Nordström (1999) har uttryckt vad som kännetecknar samtal som kan bidra till lärande i arbetslivet; en dialog där alla bidrar, ett samtal som växlar mellan erfarenhet, kunskaper och egna värderingar, mötet mellan allas tankar kring en och samma sak vidgar sättet att tänka och bidrar till nya frågor och insikter, det lärande samtalet utgår från hur vi samtalar och vad man samtalar om så att man så småningom får syn på sitt eget och andras lärande, att tankerespekt råder, att allas tankar är lika värda, att det är ett reflekterande samtal med någon som bjuder motstånd och ett samtal som synliggör teorierna bakom praktiken. Konklusion Vår artikel bygger på erfarenheter från de drygt 10 utvärderingsverkstäder vi varit ledare för och har, liksom utvärderingsverkstäderna i sig själva, ett inifrånperspektiv. Fler utvärderingsverkstäder, och liknande arrangemang, pågår runt om i Sverige. Vi som är aktiva som ledare har samlats i ett nätverk NUV (Nätverket för utvärderingsverkstäder) för att utveckla och forska om sådana verkstäder. Vi menar att studier behövs, främst utifrån frågeställningar om metodik och pedagogik, om hur verkstäderna bidrar till verksamhetsutveckling samt närmare studier hur de bidrar till kapacitetsuppbyggande för utvärdering i organisationerna. Inom nätverket pågår några sådana studier. Även om mycket talar för att utvecklingsverkstäderna är verkningsfulla så finns problem som man bör vara uppmärksam på. Vi har redan nämnt att betoningen på intern utvärdering ger begränsade möjligheten till kritisk granskning. Ett annat område gäller möjligheten till att generera generell kunskap eller att sätta in utvärderingen i ett större sammanhang. Utvärderingsverkstäderna ger utrymme för reflektion och teorianknytning och FoU skapar arenor som möjliggör syntetisering av kunskap men detta är inte alltid tillräckligt. En annan risk, som den delar med andra utvärderingar, är att den politiska beslutsprocessen inte alltid inväntar utvärderingen. Andra organisatoriska förhållanden som att anställda i projekten slutar eller ej får möjlighet att fullfölja sina utvärderingar påverkar också menligt. Fortsatt forskning behövs i anslutning både till Kolb (1984) och Agryris (1990) för att undersöka den pedagogiska form som utvärderingsverkstäderna etablerar. Vi vet inte heller i vilken utsträckning som verksamhetsutveckling och kompetensutveckling har skett på arbetsplatserna även om vi har många positiva indikationer på att så har skett. Men trots dessa invändningar så anser vi att det finns en betydande potential hos utvärderingsverkstäderna. De utgör en form för lärande där individerna får förutsättningar att utveckla genuin kunskap om utvärdering. I verkstaden får deltagarna artikulera sina erfarenheter av det praktiska görandet i sina respektive utvärderingsuppdrag och man får feedback på sitt handlande. Det praktiska görandet lyfts också upp i ett sammanhang där erfarenheterna möter teori om utvärdering. Utvärderingsverkstaden erbjuder en form för organiserad reflektion med samtal samt erfarenhets- och tankeutbyte där grundvalen är trygghet, respekt och tid. Som ett led i en systematisk kunskapsuppbyggnad kan 10

utvärderingsverkstäder spela en roll i ett längre tidsperspektiv, särskilt med sin koppling till vetenskapliga miljöer i regionala FoU-enheter eller högskolor/universitet. Detta bidrar till en organisatorisk uppbyggnad av kapacitet för utvärdering, något som kommer att behövas alltmer för att möta ökande krav inom välfärdssystemen i Sverige och i andra länder. 11

Referenser Argyris, Chris. 1990: Overcoming Organizational Defenses. New York: Allyn and Bacon. Comton, W, Baizerman, M & Stockdill, S H (2002) The Art, Craft and science of Evaluation Capacity Building, New Direction for Evaluation nr 93. Jossey Bass Eriksson, Bengt & Karlsson, Per-Åke (1990) Utvärderingens roll i socialt arbete. (Ak avhandl.) Göteborg: Institutionen för socialt arbete Eriksson, Bengt & Karlsson, Per-Åke (1998) Utvärdera bättre. För kvalitetsutveckling inom socialtjänsten. Stockholm: Gothia Granberg, Otto. & Ohlsson, Jon. (2004). Från lärandets loopar till lärande organisationer. Lund: Studentlitteratur. Hasenfeld, Yeheskel (1983) Human Service Organizations Englewood Cliffs NJ: Prentice- Hall Hasenfeld, Yeheskel (ed) (1992) Human Service Organizations as Complex Organizations. Newbury Park: Sage Holmer, Jan & Starrin, Bengt (ed) (1993) Deltagarorienterad forskning. Lund: Studentlitteratur Hummelvoll, Jan Kåre. (Ed.) (2005) Kunnskapsdannelse i praksis. Handlingsorientert forskningssamarbeid i akuttpsykiatrien. Oslo: Universitetsforlaget. Johansson, K & Ohlson, S (1973) Organisationsutveckling genom utbildning. Stockholm: Esselte Karlsson, Per-Åke (2002) Utvärderingsverkstäder. Stöd för interna utvärderingar. Göteborg: FoU i Väst Kolb, David A, (1984) Experience as the source of Learning and Development. Englewood Cliffs NJ: Prentice-Hall. Love, Arnold (1991) Internal Evalutation: Building Organizations from within. Newbury Park: Sage Lipsyk, Michel (1980) Street-Level Bureaucracy. New York: Russel Sage Foundation Marsick & ONeil (1999) Management Learning Vol. 30(2): 159-176 Molander, Bengt (1996). Kunskap i handling. Göteborg: Daidalos. Nordström, Elisabeht (1999). Lärande samtal som redskap i handledning några tankar och erfarenheter i anslutning till ITIS. ITIS Studiematerial. Utbildningsdepartementet. 12

Patton, Michel Quinn (2008) Utilization Focused Evaluation. Thousand Oaks: Sage Quershi, Hasel (1998) Internal and External Evaluation. Scandinavian Journal of Social Welfare. Vol 7, 2/98 Reason, P & Heron, J (1986) Research with people. The paradigm of co-operative experimential inquiry. Person Centered Review, 1: 456-475 Revans R W(1981) The Nature of Action Learning. Omega 9(1) 9-24 Rossi, Peter H & Freeman, Howard E (1989) Evaluation: A Systematic Approach. London: Sage Scriven, Michel. (2002) Den nya utvärderingsvetenskapen. Socialvetenskaplig Tidskrift, nr 2-3/2002, 104-117. Socialstyrelsen (2002) Forskningscirkel som redskap för kunskapsutveckling om kvinnor och missbruk. Stockholm: Socialstyrelsen Socialstyrelsen (2004) För en kunskapsbaserad socialtjänst. Redovisning av ett regeringsuppdrag 2001-2003. Stockholm: Socialstyrelsen. Sommerfeld, Peter (Ed.) (2005) Evidence-Based Social Work Towards a New Professionalism? Bern: Peter Lang. Stevenson John F.1; Florin P.; Mills Diana.S.; Andrade Marco (2002) Building evaluation capacity in human service organizations: a case study Evaluation and Program Planning, Volume 25, Number 3, August 2002, pp. 233-243(11) Sunesson, Sune & Nilsson, Kjell (1988) Konflikt, kontroll, expertis. Att använda social forskning. Lund: Arkiv Vedung, Evert (1998). Utvärdering i politik och förvaltning. Lund: Studentlitteratur 13