Innovativ utvärdering

Innovativ utvärdering Paper till HSS 15 i Klamar 2015-05-29 Mats Holmquist

Samordningsförbunden i Sverige har till uppgift att samordna myndigheterna inom välfärden för att medborgare ska få stöd och rehabilitering som ger dem möjlighet att försörja sig själva. Man finansierar insatser som syftar till att samlokalisera, utveckla gemensamma metoder och individanpassa insatser efter vars och ens förutsättningar och behov. Ett centralt syfte är att få samarbetet mellan parterna att fungera bättre och använda samhällets resurser för rehabilitering mer kostnadseffektivt. Samverkan kräver organisering, vilket är skälet till att samordningsförbund bildats. De är juridiskt självständiga myndigheter och har funnits sedan Lagen om finansiell samordning av rehabiliteringsinsatser trädde i kraft den 1 januari 2004. Det finns 80 samordningsförbund som omfattar 240 av Sveriges 290 kommuner. Under 2014 finansierades 960 insatser med sammanlagt 38 000 deltagare där parterna bidrog med 560 miljoner kronor till samverkan. Inom ett samordningsförbund samverkar Arbetsförmedlingen, Försäkringskassan, kommun och landsting/region inom välfärds- och rehabiliteringsområdet. Samordningsförbundet Halland är ett av dem och omfattar fem kommuner i regionen. Verksamheten ska möjliggöra en snabbare återgång till arbete och etablering på arbetsmarknaden genom att finansiera en gränsöverskridande samverkan. Syfte Samordningsförbundet Halland har ett samverkansavtal med Högskolan i Halmstad (HH) som omfattar utvärdering av fem insatser, projekt, i fyra kommuner under tre år 2014-16 samt strategiskt stöd i styrelsen. Syftet är att utvärderingarna ska stödja implementeringen av värdefulla resultat och bidra till hållbara effekter. På HH har vi därför bildat ett utvärderingsteam med fyra forskare och lärare som följeforskar i projekten. Vi organiserar lärande utvärderingsprocesser med i första hand styrgrupperna som är ansvariga för implementeringen. Metodiken i utvärderingsmodellen baseras på teori och erfarenhet inom bland annat lärande utvärdering (Svensson m.fl., 2009), organisatoriskt lärande (Granberg & Ohlsson, 2009), förändringsledning (Jacobsen, 2013), projektarbete (Svensson, Aronsson, Randle & Eklund 2007). Metod Vi organiserar lärloopar i varje projekt. Första loopen börjar med två workshops. En med styrgruppen och en med projektteamet där vi ringar in problemen i de permanenta verksamheterna och lösningsidén i insatsen. Vi fokuserar på samarbetsformer och arbetssätt som kan tänkas implementeras. 2

Temporära projekt Lösningsidé Experiment Permanenta verksamheter Problem Behov Lära Utveckla Figur 1: Syfte med följeforskning i projekt Därefter gör vi intervjuer med styrgruppsdeltagarna och teammedlemmarna om samarbetsformerna, arbetssätten och implementeringen. Workshopdokumentationen och intervjuerna sammanställer vi till ett underlag som vi skickar ut till styrgruppen inför ett första gemensamt analysseminarium. Under analysseminariet tar vi upp värdefulla resultat och diskuterar vilka som är realistiska att implementera. Hinder och problem tas upp till analys, möjligheter och lösningar föreslås. Dokumentationen från analysseminariet blir till en första delrapport som lämnas över till styrgruppen för åtgärder. Delrapporten utgör avslutningen på första lärloopen. I utvärderingsprocessen får styrgruppen återkoppling på syfte och mål med projektet, vad som fungerar och vad som är problematiskt. Fokus är på nya samarbetsformer och arbetssätt som kan implementeras i de permanenta verksamheterna hos Socialförvaltningen, Arbetslivsförvaltningen, Försäkringskassan, Arbetsförmedlingen och Regionen (vården). I andra lärloopen samlar vi in deltagarnas synpunkter med en enkät som vi har tagit fram i samarbete med projektet. Projektgruppen delar ut den och deltagarna skickar in den till oss med post. Vi sammanställer resultaten och gör korstabeller på intressanta variabler.teamet gör några deltagarintervjuer som de skriver rent och skickar till oss. Utifrån enkäten och intervjuerna med deltagarna sätter vi ihop ett nytt underlag till ett andra analysseminarium med styrgruppen. Här sker en liknande kollektiv kunskapsprocess som vid första analysseminariet. Allt dokumenteras i en andra delrapport som ges till styrgruppen för åtgärder. Rapporten avslutar den andra lärloopen. 3

Figur 2: Lärloopar Till hösten planerar vi en tredje loop där vi ska göra fokusintervjuer med mellanchefer och en enkät till handläggarna i myndigheterna. Denna mottagarbild ska sedan analyseras tillsammans med styrgruppen utifrån ett implementeringsperspektiv. Dokumentationen läggs ihop med delrapport ett och två till en avslutande utvärderingsrapport. Förutom dessa loopar organiserar vi två analyskonferenser med alla samordningsförbundsprojekt i regionen. Hit samlar vi representanter från alla styr- och projektgrupper samt ansvariga chefer, ledare och politiker i myndigheterna, för att utbyta erfarenheter, dra gemensamma lärdomar och sprida dessa för att påverka makthavarna. Vi kommer även att göra en egen loop med Samordningsförbundets styrelse kring hur de strategiskt kan leda sin projektverksamhet för att generera mer nytta med sina medel. Analys och diskussion Den erfarenhetsbaserade kunskapssynen lyfts fram av Toulmin (1995) som menar att alla teoretiska krav måste belägga sitt värde genom att visa att de har rötterna i människors handlande och praktiska erfarenheter. Principen om stabilitet och enhetlighet står mot mångfald och ömsesidig anpassning till olika omständigheter. Mångfald och kreativa processer kan främjas genom att återgå till det muntliga, det enskilda, det lokala och det tidsbundna hävdar Toulmin. Följeforskningen och ett interaktivt förhållningssätt kan ses som ett uttryck för denna syn. Här finns även en demokratisk aspekt. Att göra praktikerna delaktiga i forskningsprocessen ger dem påverkansmöjligheter och gör dem till aktiva medproducenter av kunskap. Just samverkan mellan teori och praktik menar Delanty (1997) är avgörande för vetenskapens roll i samhället. Formulerandet av forskningsproblem sker alltid i en viss social kontext där det gäller att förstå aktörerna men även se dem inbäddade i sitt sociala sammanhang. Delanty efterfrågar ett större samspråk mellan vetenskap och samhälle och ser samhällsvetenskapen som ett praktiskt samtal format av definitionen av problem. Interaktiviteten i följeforskningen ger konsekvenser för oss forskare. Vi är både ledare av och ledda av följeforskningen (Burton & Mickan, 1993). Vi skapar en stödjande kontext för att möjliggöra följeforskning om frågor som är viktiga för praktikerna. Vi organiserar och leder 4

gemensamma analysseminarier vilka ger konsekvenser som påverkar både projekten och vår följeforskning. En analys av ett bristande målfokus ledde till avhopp i projektgruppen och förändrade vår utvärderingsdesign. Relationen mellan oss forskare och styrgruppen blir mer subjekt subjekt lik. En fördel är då att tyst kunskap kan lyftas upp med hjälp av oss. Vi lyfter även in teori i analyserna som stöd för mer generella slutsatser. Kombinationen av teoretiska och praktiska frågor bidrar bägge till bygget av en lokal teori i just detta projekt och till en teori i handling (Hansson, 2003). Här spelar de lokala kontextuella förutsättningar en aktiv roll. Exempelvis hur de sociala relationerna ser ut i styrgruppen och vilken roll organisationskulturen spelar i olika myndigheter och hur samarbetsklimatet är olika kommuner. Eriksson & Holmer (1991) anger tre sätt att förhålla sig till aktionsforskningsprocessen som bygger på praktikernas behov att ta del av forskarnas kunskap, för att bättre kunna förändra sin egen verklighet. 1. Praktikerna får ta del av den akademiska kunskapen som finns via forskarna (inhämtande av kunskap) 2. Forskarna hjälper till med att utveckla kunskaper hos praktikerna som är mer eller mindre latenta (utvecklande av egen kunskap) 3. Praktiker och forskare medverkar tillsammans i den sociala produktionen av kunskap (gemensam kunskapsproduktion) I vårt fall dominerar det sista. Inom lärlooparna utvecklas gemensam kunskap som sedan utvecklas ytterligare mellan looparna. Forskarens roll När följeforskningen är en del av ett praktiskt projekt och forskaren är interaktiv i utvärderingsprocessen, kan forskarrollen vara svår att definiera. Forskaren kan bli medproducent av sina egna data. Ett sätt att förhålla sig till denna roll är att växla mellan närhet och distans, handling och reflektion (Jonsson, 2001). Att vi alltid är minst två forskare gör att vi både kan leda och dokumentera workshops och seminarier. Vår interaktiva rörelse mellan den akademiska världen och den andra världen kan liknas vid abduktion (Alvesson & Sköldberg, 1992). Forskaren växlar mellan världarna och låter de akademiska teorierna impregneras av praktiken. Sedan rör sig forskaren tillbaka till akademin, tar då med sig de nya praktiska kunskaperna och låter dem impregneras av teorier. Mötet mellan världarna sker genom dialog och interaktion. I början sker oftast en diskussion om och definiering av problemet följt av data insamlingar, tolkningar och analyser. När dessa nya kunskaper återförs till praktiken sker i bästa fall en tillämpning och intervention. Följeforskarens abduktiva rörelse mellan teori och praktik kan beskrivas enligt figur 3 nedan. 5

Artiklar, rapporter Akademi Teorier Utvecklad teori Datainsamling Interaktion Probleminventering Tolkning, analyser Interventioner Tillämpad kunskap Praktik Verklighet Utvecklad praktik Figur 3: Abduktiv interaktivitet Beslut, förändring Den abduktiva logiken bygger på kreativitet, att se nya sammanhang, att tolka innebörder, att uppfatta nya relationer, att förklara samband att ge ny innebörd åt det som redan är känt (Svensson, 1992) Denna växelverkan mellan forskning och praktik kan innebära att planera en workshop, genomföra den, observera vad som sker, reflektera över resultatet och därmed identifiera nya problem. Det blir en spiral med återkommande loopar. Jonsson (2001) menar att vid interaktiv kunskapsbildning kommer forskare och praktiker från två olika sammanhang och möts i ett tredje där de för dialog med varandra. Detta tredje system utgör ett socialt rum där relationen mellan teori och praktik hanteras och där kunskap genereras. När du befinner dig i ditt forskningssystem har du rollen av primär aktör. Du är ansvarig för att teoretisk kunskap utvecklas och sprids. I det interaktiva dialogsystemet är du och praktikerna gemensamt ansvariga för att interaktionen fungerar och att innehållet är relevant. Jon Ohlsson (2002) kallar denna forskarroll för kritisk reflektör för att sträva efter att precisera och upprätthålla en distinktion mellan kunskapande och utvecklingsbidragande. Rollen tar sig yttryck i tre aktiviteter som påminner om hur vi arbetar i våra loopar: 1. Forskaren och praktikerna försöker gemensamt upptäcka problem och viktiga frågor 2. Forskaren reflekterar kontinuerligt över iakttagelser och relaterar dessa till en mer abstrakt förståelse 3. Forskaren återkommer till praktikerna med tolkningar för att få till stånd en gemensam reflektion. 6

Interaktiv följeforskning blir intressant genom att den kan bidra med ett utvecklingsinriktat och kreativt lärande (Ellström 1992). Problemet med den traditionella utvärderingen är att den för lite sysslar med innovationer och för mycket med kartläggningar. Det gör det svårt att överskrida det befintliga och undersöka de möjligheter som finns för utveckling, både av praktiken och av teorin. Agneta Hansson (2003) visar på tre typer av resultat från aktionsforskning: 1. Resultat som bidrar till produktionen av teorier och till ackumulerad akademisk kunskap (teoretiskt resultat) 2. Utveckling av teoretisk kunskap och praktisk kompetens kopplad till organisationen som en effekt av dialog baserad interaktion mellan forskare och praktiker (praktisk kunskapsutveckling) 3. Konkreta praktiska resultat av utvecklingsprocessen i form av interventioner i den berörda organisationen (praktisk intervention) Fram träder tre olika forskarroller som i text kan beskrivas som åtskilda men som i verkligheten troligen samspelar med varandra beroende på situation och fas i forskningsprocessen. Tabell 1 är ett sätt att särskilja forskarrollerna. Tabell 1: Forskarroller ROLL Traditionell forskare Interaktiv forskare Aktionsforskare Fokus Kunskapsbildning Lärande Förändring Avstånd Distans Växlande Närhet Position Observerar Deltar Driver Bidrag Sakkunskap Processkunskap Metodkunskap Resultat Teoretisk kunskap Praktisk kunskap Praktisk intervention En traditionell forskare samlar in och analyserar data. En interaktiv forskare deltar och bidrar aktivt till lärande. En aktionsforskare organiserar och driver fram handlingar för förändring. Jonsson (2001) menar att den interaktiva rollen ofta är komplex och mångfacetterad, kan bli splittrad och att fokuseringar kan förloras eller blandas ihop. Styrkan är dock att det ger möjlighet till djup förståelse och direkt omsättning av utvunna kunskaper genom kontinuerliga återkopplingar och gemensamma analyser. Forsberg & Starrin (1997) instämmer och anser att deltagarbaserad forskning skapar goda förutsättningar för att mer relevanta frågor kan ställas, rimligare fokuseringar kan göras och mer realistiska och acceptabla interventionsstrategier kan utvecklas. Beskrivningar, tolkningar och analyser som vi gör i akademin kan stämmas av i dialog med praktikerna på analysseminarierna. En tankemässig återvändsgränd kan snabbt upptäckas och ersättas av mer meningsfulla och relevanta tankespår. Den interaktiva kunskapsprocessen skapar på detta sätt förutsättningar för ett giltigt lärande. Winther Jörgensen (2008) menar också att kunskaperna som den interaktiva forskningen bidrar med blir socialt robusta genom sin kommunikativa validitet. En hypotes kan testas i dialog och sedan prövas i praktik för att se om den håller. 7

Utvärderingens roll Traditionell utvärdering är ofta summativ. Den görs i slutet, sammanfattar ett projekt och kontrollerar om resultatet stämmer med syftet och målen. Lärande utvärdering är istället formativ (Svensson m.fl., 2009). Den görs under tiden och tar fram underlag som kan användas till att leda och förbättra projektprocessen. Men i bägge dessa former är sambandet mellan temporär och permanent organisation svagt. Kopplingen mellan projektlärande och organisationslärande saknas. Det blir lätt ett fokus på aktiviteter, projektprocess och tillfälliga resultat. I vårt följeforskningsarbete fokuserar vi istället på organisationsnivån. På implementering av värdefulla resultat i de ordinarie verksamheterna. På långsiktiga effekter. Denna utvärderingsform kan kallas innovativ då den vill bidra till att ta det nya till världen, till att nyttiggöra projektresultat och utveckla ordinarie verksamhet. Då krävs en utvärderingskompetens som även kan organisera och leda lärprocesser, som kan sätta in utvärderingsarbetet i ett förändringssammanhang och bidra till en hållbar arbetslivsutveckling. Tabell 2 är ett sätt att särskilja de olika utvärderingsformerna. Tabell 2: Utvärderingsformer Summativ Formativ Innovativ Varför? Kunskap att bedöma projektet Kunskap att utveckla projektet Kunskap att utveckla organisationen För vem? Projektägare, finansiärer Projektgrupp, deltagare Styrgrupp, mottagare Av vem? Extern Närstående Mångkompetent När? I slutet, efteråt Under tiden Under tiden och efteråt Vad? Resultat Process Effekter Några saker vi kunnat observera i det innovativa utvärderingsarbetet så här långt är att En teoribaserad grund för utvärderingsdesignen som förankras i styrgruppen, ger stöd för riktning och prioritet i arbetet Involverandet av styrgruppen i utvärderingsprocessen skapar både relevans i forskningen och delaktighet i lärprocesserna Analysseminarierna blir ett tillfälle till mellanorganisatoriskt lärande och integrerad spridning Erfarenhetsbaserat kollektivt lärande rymmer innovativa möjligheter Förankring och delaktighet i organisationerna är avgörande för implementeringsprocessen 8

Referenser Alvesson & Sköldberg (1992) Tolkning och reflektion, Studentlitteratur, Lund Axelsson H. (1997) Våga lära. Doktorsavhandling. Institutionen för pedagogik, Göteborgs Universitet Burton J. & Mickan P. (1993) Managing Action Research, ur Ghaye T. & Wakefield P. (1993) The role of self in action research, C.A.R.N. Hyde Publication, Bournemouth Delanty, G. (1997). Social Science Buckingham: Open University Press. Ellström, P-E. (1992). Kompetens, utbildning och lärande i arbetslivet problem, begrepp och teoretiska perspektiv. Fritzes. Stockholm Eriksson K. & Holmer J. (1991) Studiecirklar som stöd för förändring av arbetslivet, Rapport nr 1991:09. Institutionen för pedagogik, Göteborgs Universitet Forsberg, E. & Starrin, B. (1997). Frigörande kraft empowerment som modell i skola, omsorg och arbetsliv. Stockholm: Gothia. Granberg, O. & Ohlsson, J. (2009). Från lärandets loopar till lärande organisationer. Lund: Studentlitteratur. Hansson A. (2003) Praktiskt taget. Doktorsavhandling. Institutionen för sociologi, Göteborgs Universitet Hansson T. (2000) The heart of learning organizations, Doktorsavhandling. Institutionen för lärarutbildning, Luleå Tekniska Universitet Holmquist, M. (2008). Samverkan och lärande - reflexioner om interaktiva möjligheter och hinder. I Gunnarsson, E., Johannisson, B. & Stjernberg, T. (red) Gemensamt kunskapande den interaktiva forskningens praktik. Acta Wexionensia, Växjö, sid 155-169. Jacobsen, D. I. (2013). Organisationsförändringar och förändringsledarskap. Lund: Studentlitteratur. Jonsson L. (2001) Kunskapsbildning i samverkan mellan forskning och praktik, Doktorsavhandling, Ekonomiska Institutionen, Linköpings Universitet Maxwell J. (1996) Qualitative research design. An interactive approach, Applied social research methods series, vol 41, SAGE, London. Ohlsson J. (2002) Forskaren som kritisk reflektör. Pedagogisk forskning med dialog i praktiken. Ur Svensson L., Brulin G., Ellström P.-E. & Widegren Ö. (2002) Interaktiv forskning för utveckling av teori och praktik, Arbetsliv i omvandling 2002:7, Arbetslivsinstitutet, Stockholm Svensson L. (2002) En analys och blick framåt. Ur Svensson L., Brulin G., Ellström P.-E. & Widegren Ö. (2002) Interaktiv forskning för utveckling av teori och praktik, Arbetsliv i omvandling 2002:7, Arbetslivsinstitutet, Stockholm. Svensson L., Aronsson G., Randle H. & Eklund J. (2007). Hållbart arbetsliv. Projekt som gästspel eller strategi i hållbar utveckling. Malmö: Gleerup. Svensson L. m.fl. (red) (2009). Lärande utvärdering genom följeforskning. Lund: Studentlitteratur. Toulmin, S. (1995). Kosmopolis. Stockholm: Ordfront. 9

Winther Jörgensen, M. (2008). På framkant: Interaktiv forskning och vetenskapens plats i samhället. I Johannisson, B., Gunnarsson, E. & Stjernberg, T. (red) Gemensamt kunskapande den interaktiva forskningens praktik, sid 349-379. Växjö: Växjö University Press. 10