FÖRSÄKRINGSKASSEFÖRBUNDET

MODELL FÖR ATT UTVÄRDERA SAMVERKAN Av FoU-ansvariga inom Treklöverkassorna FÖRSÄKRINGSKASSEFÖRBUNDET

1998 Försäkringskasseförbundet (FKF) Förlag: FKFs förlag, Box 1224, 111 82 Stockholm Grafisk produktion: Informationsenheten, FKF Tryck: Sjuhäradsbygdens Tryckeri AB FKF 103-25 98.06 ISBN 91-7500-254-X 2

Innehåll Förord... 4 Inledning... 5 Varför utvärdering?... 6 Samverkansprojekt ett komplext förlopp... 7 Utvärderingsboxen... 8 Hur?... 8 Vad?... 9 För vem?... 10 Boxen: Vad, hur och för vem?... 11 Analyser... 12 Förhållanden före insatserna... 12 Förhållanden i anslutning till insatserna... 13 Förhållanden efter förändringsprocessen... 15 Slutord... 16 Referenslista... 16 3

Förord Genom denna debattskrift fortsätter vi vår utgivning av inlägg i frågan utvärdering. Den här gången är det utvärdering av samverkan som är den specifika frågan. FoU-ansvariga inom Treklöverkassorna försäkringskassorna i Blekinge, Kalmar och Kronobergs län har i samarbete tagit fram en modell för hur utvärdering av samverkan kan göras. Ett nätverk av forskare är också knutet till kassorna och de har deltagit i utvecklingen av modellen. Modellen kan alltså i sig ses som ett positivt resultat av samverkan. Modellen har när den presenterats rönt stort intresse. Vår förhoppning är att den ska bli ett bra verktyg vid utvärdering av samverkansprojekt och bidra till att samverkan i alla former utvecklas. Vi hoppas också att presentationen här ska leda till diskussion och synpunkter från läsare och modellanvändare. Stockholm i juni 1998 Jan-Åke Brorsson 4

Inledning Försäkringskassorna har ett stort ansvar som samordnare av den arbetslivsinriktade rehabiliteringen. Ansvaret accentueras ytterligare i de lokala samverkansgrupperna, inte minst i och med intentionerna i proposition 1997/98:63. Men samverkan är inget självändamål utan den ska leda till förbättringar av olika slag. Svårigheten är dock att avgöra om det skett förbättringar och i så fall vad som har förbättrats. Samverkan måste därför utvärderas. Försäkringskassorna i Blekinge, Kalmar och Kronobergs län (Treklöverkassorna) har en gemensam FoU-verksamhet som tagit fram modellen för utvärdering av samverkan. De tre kassornas FoU-ansvariga har i sitt samarbete knutit ett nätverk av forskare till sig. De är Göran Lassbo, docent i pedagogik vid Göteborgs universitet, Conny Johannesson, docent i statskunskap vid Högskolan i Växjö och Claes Edlund, professor i tillämpad psykologi vid Lunds universitet. Modellen har utarbetats på uppdrag av direktörerna i Treklöverkassorna. De har även aktivt deltagit i arbetet med att ta fram modellen. Utvärderingsmodellen bygger på en modell från MURA-projektet (Metoder för utvärdering av reformer i arbetslivet). Claes Edlund, som deltog i MURA-projektet, har svarat för att modellen anpassats till MURA-projektets modell. När vår utvärderingsmodell presenterats i olika sammanhang har den rönt stort intresse. Man har framhållit fördelarna med att ha en gemensam modell. Det har också lett fram till denna publikation. Vi som har arbetat med modellen hoppas att den kan bidra till bra utvärderingar som leder till att vi lär oss av de projekt och insatser vi gör i samverkan. Vi tror också att man kan bygga vidare på modellen i andra sammanhang och ser fram mot många diskussioner i dessa frågor. Modellen ska inte styra projektet utan fungera som stöd och strukturera tankarna när man formulerar syfte och upplägg för utvärderingen. 5

Varför utvärdering? Samverkansprojekt har länge bedrivits inte minst i de så kallade lokala samverkansgrupperna. De har också utvärderats och ofta visat att de lett till goda resultat. I och med regeringens proposition 1997/ 98:63 fick samverkan ytterligare aktualitet. I propositionen betonas också vikten av utvärdering och redovisning av resultat. Det är en av anledningarna till att denna modell tagits fram. Men utvärdering behövs inte bara för enkelriktad resultatredovisning. I en statisk värld skulle det ha varit tillräckligt, men inte i den föränderliga värld som vi lever i idag. Där behövs utvärdering för vårt lärande. Utvärdering är alltså ett utvecklingsinstrument. Modellen bygger på antagandet att allt går att utvärdera. Det gäller bara att hitta rätt frågeställningar och rätt metoder. När vi utvärderar till exempel ett samverkansprojekt är det genomförandet och effekterna av ett politiskt beslut som utvärderas. Det är ett stort ansvar och fordrar därför bra verktyg och metoder. Vår modell syftar till att strukturera tänkandet för dem som går in i ett samverkansprojekt. Modellen är dock givetvis med relevanta justeringar användbar även i andra sammanhang. Ordet samverkan betyder egentligen handla efter gemensam plan och förutsätter att man är överens om vad man ska göra. Ibland tror man att man är överens men upptäcker efterhand att man har talat om olika saker. När projektet är genomfört kanske det visar sig att man inte var så överens och man har då svårt att bedöma om projektet var lyckat eller inte. Man får då också svårt att bemöta eventuell kritik mot projektet och dess resultat. Med ett tydligt formulerat syfte, som alla är överens om och som utvärderats, kan man lättare bemöta eventuell kritik. Men framförallt kan man dra viktig lärdom av projektet och redovisa resultat till uppdragsgivare och beslutsfattare. Använder man modellen tvingas projektledningen diskutera igenom syftet och redan från början bestämma sig för hur det ska utvärderas. 6

Samverkansprojekt ett komplext förlopp Bilden visar hur komplext förloppet är i ett samverkansprojekt. Vi kommer därför att gå igenom modellen steg för steg. Påverkande situation Intressenter & beslut Insatser Processer Resultat & effekter Påverkande händelser Bild. Förloppet i ett samverkansprojekt. Frågorna man ställer sig inför denna komplexa bild är: Hur kan man tänka för att förstå förloppet? Vad händer sedan när vi genomfört projektet/insatsen? Vilket blir resultatet? Man ska också tänka på att allt händer i en viss situation. Dessutom kan något hända som påverkar förloppet. Med en naturvetenskaplig ansats försöker man ofta exkludera saker som ligger utanför det man vill undersöka. Inom samhällsvetenskapen är detta omöjligt. Det är därför viktigt att inkludera den situation man befinner sig i och de händelser som kan påverka projektet. Händelser och situationer kan vara både samverkande och motverkande de är således påverkande. Exempelvis ett projekt som bedrivs i en situation med hög arbetslöshet har helt andra förutsättningar än ett som bedrivs där det råder hög sysselsättning. På samma sätt kan en dramatisk händelse en ny lag, en plötslig nedläggning av en industri eller liknande direkt påverka ett projekt. Det är då väsentligt att väga in allt detta i bedömningen av resultat och effekter. I modellen visar vi hur det kan gå till och hur man därmed kan dra slutsatser om de egna insatsernas effekter. Modellen hjälper oss att strukturera det komplexa förlopp som samverkansprojekt består av. 7

Utvärderingsboxen För att strukturera tänkandet bygger vi en box som består av flera små boxar. Vi lägger på några boxar i taget för att slutligen skapa den så kallade utvärderingsboxen. Med dess hjälp kan vi sedan ta ställning till dels vad som ska göras, dels vad som ska utvärderas. Hur? Hur du gör en utvärdering beror på vad du vill använda utvärderingsresultatet till. Det finns två övergripande former för att genomföra en utvärdering. Summativt Formativt En summativ utvärdering är en summering av vad som exempelvis skett. I viss mån kan den jämställas med vad vi dagligen kallar uppföljning. Enligt proposition 1997/98:63 är vi exempelvis skyldiga att redovisa antal projekt i ett län, omfattning, vilka som har medverkat osv. Det är typiska exempel på summativ utvärdering. En formativ utvärdering formar projektet efterhand. Tonvikten ligger här på att man direkt lär sig av det man gör och att det påverkar det fortsatta arbetet. För att det ska fungera är det viktigt att man dokumenterar. Med en formativ ansats fungerar utvärderingen som utvecklingsverktyg. Det vore fel att säga att den ena ansatsen är bättre än den andra, men de passar för olika syften och ofta måste du göra båda delarna. Du som arbetar i projektet vill ha vetskap under projektets gång, medan din uppdragsgivare vill ha en summering av uppnådda resultat och effekter. 8

Vad? Vad som ska utvärderas bestäms av projektets syfte. I ett samverkansprojekt kan det vara angeläget att utvärdera följande: Beslut Insatser Processer Effekter Orsaker En utvärdering av beslut innebär att man går igenom till exempel vilka beslut som är fattade, av vem de är fattade, vilka åtaganden de innebär och att man klargör otydligheter i besluten. En utvärdering av insatser kan behandla hur mycket och vad olika parter sätter in i form av åtgärder, arbetstid, pengar etc. En utvärdering av processer gör man om det till exempel är arbetsformerna man vill utveckla. Kanske behöver relationer mellan handläggare på olika myndigheter utvecklas, ärendehanteringen förbättras osv. Syftet är då att man ska lära sig använda utvärderingen som ett utvecklingsinstrument. Projektets effekter efterfrågas ofta av uppdragsgivare. Vad har projektet egentligen gett? Här kan man ofta använda nyckeltal, kriterier som finns angivna i beslutet osv. Olika orsaker kan bidra till resultat och effekter. Det kan vara projektets insatser, men även andra orsaker kan påverka förloppet. 9

För vem? Man kan även utvärdera utifrån olika perspektiv. Det beror på vem man gör utvärderingen för. Individen Arbetsförmedlingen Försäkringskassan Socialförvaltningen Hälso- och sjukvården En utvärdering i individens perspektiv ser därför annorlunda ut än en utvärdering i inblandade myndigheters perspektiv. Man ställer sig olika frågor. För individen är det exempelvis normalt att fråga sig vad effekten blir i ett helhetsperspektiv. Försäkringskassans frågor kan ha en mera ekonomisk inriktning. Det innebär att metoderna i utvärderingen blir olika. Man kan också utvärdera i andra perspektiv, till exempel det övergripande samhällsperspektivet. Även här är det projektets syfte som avgör valet. 10

Boxen: Vad, hur och för vem? Vi har nu med frågorna vad, hur och för vem skapat denna box bestående av ett antal mindre boxar. Summativt Formativt Beslut Insatser Processer Effekter Individen Arbetsförmedlingen Orsaker Försäkringskassan Socialförvaltningen Hälso- och sjukvården När frågeställningarna gåtts igenom kan det vara dags att förnya diskussionen om syftet. Eventuella oklarheter klaras ut så att både de som deltar i projektet och den som eventuellt anlitas för utvärderingen vet vad man vill åstadkomma och vilka förväntningar man har på utvärderingen. Målet med modellen är att strukturera tänkandet. Man väljer ut den eller de boxar man vill utvärdera. Därmed har man också fått en vägledning inför diskussionen om hur utvärderingen ska genomföras och redovisas. Syftet avgör valet. Frågeställningar från någon av de övriga boxarna kan lämnas därhän med hänvisning till syftet. Med modellen som gemensam utgångspunkt kan man lättare jämföra olika projekt och finna dem som har motsvarande syfte och inriktning. Man kan alltså lära av varandra. Vi förstår nu hur viktigt det är att den som utvärderar är med i projektplaneringen och arbetet före samverkansprojektets start. När vi nu har gjort valet går vi igenom hur man kan analysera utifrån vad vi vill veta. 11

Analyser I de olika boxarna kan nu olika analyser göras. Analysera förhållandena före, under och efter insatserna det vill säga hur vi tänkte/ planerade, hur vi gjorde och hur det blev. Förhållanden före insatserna Syftet med analystyperna intressent-/beslutsanalys och målanalys är att beskriva utgångsläget. Användbara metoder är att: Gå igenom handlingar Intervjua beslutsfattare och intressenter Undersöka eller skapa tidsserier Besluta om utvärderingsdesign; vilka boxar /rutor, metoder etc. Vi befinner oss i beslutsboxen och tittar på intressenternas perspektiv. Det är väsentligt att i början av projektet eller till och med före klargöra vad beslutet egentligen innebär. Gör det genom att dokumentera hur samverkan skedde före projektstarten. På samma sätt bör man klargöra om olika konflikter finns, till exempel på grund av sekretesslag. Finns koalitioner och särintressen, till exempel om någon myndighet tjänar mer på samarbetet än de övriga så bör även det klargöras. Målanalysen innebär en djupare analys av vad man egentligen vill. Man tvingar fram det som kanske inte sagts klart ut. Dessutom får man reda på vad man förväntar sig av utvärderingen, hur den ska läggas upp, vilka frågor den ska besvara m m. Målen kan komma att omformuleras något efter att frågorna har klargjort saker man inte sagt eller tänkt på. De två analyserna kan också klargöra syftet och därmed förtydliga uppdraget till utvärderarna. Exempel på frågor vid intressent- och beslutsanalys är: Vilka är intressenterna i beslutet? Hur har de samverkat inför beslutet? Vilka konflikter, koalitioner och/eller särintressen finns det? 12

Exempel på frågor vid målanalys är: Vilka mål uttrycks i klartext i beslutet? Hur uttrycks kompromisser? Vilka övriga mål kan man med fog räkna med? Vad förväntar sig intressenterna och beslutsfattarna av utvärderingen? Förhållanden i anslutning till insatserna Syftet med analyserna är här att ta reda på vad som har hänt. De olika analystyperna som kan användas är insatsanalys, processanalys, orsaksanalys respektive effektanalys. Vi gör det genom: att beskriva insatser, processer etc att intervjua handläggare, individer och viktiga kringaktörer enkäter deltagande observation uppföljning av tidsserier att mäta kriterier kostnads-/intäktsanalyser. I intervjuerna och enkäterna kommer upplevelserna av vad som skett fram. Beskrivningen kan göras mera objektiv liksom den deltagande observationen. Genom att använda tidsserier kan vi göra våra slutsatser trovärdiga. En tidsserie konstrueras så att man bestämmer tidpunkter när observationer ska göras. De läggs in på en tidsaxel, till exempel för hela projektets förlopp. Om man då kan observera att något inträffar vid samma tid som man gjort en viss insats kan man jämföra det med ett motsvarande projekt. Om samma observation har gjorts där kan man göra det trovärdigt att insatsen har givit resultat. Genom att bedöma och mäta kriterierna för vad som krävs för att påverka resultatet kan vi bedöma påverkan. Vi kan aldrig bevisa sambandet, men för att lära inför framtiden kan det räcka att göra det trovärdigt. 13

Frågorna som kan ställas vid insatsanalys är: Vad gjordes för att förverkliga målen? Vem gjorde det? En beskrivning av insatserna och vem som svarade för dem fås här. Bland annat omfattning och tidpunkt bör redovisas. "Om människor definierar Några viktiga frågor vid processanalys är: en situation som verklig, så blir den verklig till sina konsekvenser" Vad hände? (Thomasteoremet) Hur har samverkan fungerat? Finns konflikter, koalitioner, särintressen och kompromisser? Har samverkan haft någon betydelse för resultatet? Här är det händelserna som står i fokus. Arbetsformer och relationer mellan olika samverkanspartners analyseras. Den subjektiva upplevelsen av vad som hänt under projektets gång är viktig. Upplevelsen styr vår aktivitet och det är aktiviteten vi vill utveckla. När upplevelserna kan beskrivas och begrundas uppnås ett lärande som gör att utvärderingen fungerar som utvecklingsverktyg. Vi får samtidigt en värdering av om det vi gjorde inom ramen för samverkan verkligen haft någon betydelse för resultatet. Vid orsaksanalys kan vi fråga: Vilken situation utanför förändringsprocessen samverkade med alternativt motverkade insatserna och kan därmed ha bidragit till/ påverkat resultatet? Vilka händelser utanför förändringsprocessen samverkade med alternativt motverkade insatserna och kan därmed ha bidragit till/ påverkat resultatet? En situation är de omständigheter man befinner sig i, till exempel hög arbetslöshet. En händelse är mera tidsbunden, till exempel en lagändring eller en industrinedläggning. Vi kan med dessa frågor analysera effekter och resultat av sådant vi inte själva har kunnat påverka. Istället för att försöka bortse från påverkan utifrån försöker vi här ta lärdom den. Vi riskerar visserligen att inte få med alla faktorer och också att värdera deras påverkan fel, men vi får ändå en 14

bättre analys av det egna projektet. Om vi dessutom tittar på liknande projekt som visar på samma resultat, har vi möjlighet att göra det trovärdigt att våra insatser har gett ett visst resultat. Våra frågor vid effektanalys är: Vad blev det omedelbara resultatet av insatserna, förändringsprocesserna och orsakerna i övrigt? Vilka har effekterna på lite längre sikt blivit? Förhållanden efter förändringsprocessen Syftet blir här att klargöra om vi har uppfyllt syftet och om det har gjorts på ett effektivt sätt. Med kostnads- och intäktsanalys summerar vi kostnaderna och vad det faktiskt har gett. Det är viktigt både för våra uppdragsgivare och för oss själva. Ofta är det just detta som många i första hand tänker på när man talar om utvärdering. Nu kan vi se sambanden mellan vad vi tänkte, vad vi gjorde och hur det blev. Vi kan se vilka effekterna är och ställa dem mot målen. Vi kan därefter bedöma om vi uppnått målen och om insatserna och processen för att nå dit varit effektiv. Väsentliga frågor som ska besvaras vid måluppfyllelseanalys är: Hur förhåller sig de omedelbara resultaten till de klart uttalade respektive icke uttalade målen? Hur förhåller sig effekterna på sikt till de klart uttalade respektive icke uttalade målen? Vilka negativa biverkningar/positiva bieffekter kan konstateras? Frågor vid effektivitetsanalys kan vara följande: Var insatserna effektiva medel för att nå effekterna? Kan man tänka sig rimliga, effektivare alternativ? Kan man tänka sig förbättringar i något avseende? Hur kan arbetet rationaliseras/effektiviseras? 15

Slutord "Samverkansprojekt ett förlopp som går att utvärdera" Vår förhoppning är nu att du som tagit del av vår utvärderingsmodell tycker att vår komplexa bild av samverkansprojekt (se sidan 6) blivit enklare och lättare att tränga igenom. Genom struktureringen bör förloppet ha blivit enklare att förstå och därmed ökat möjligheten för utvärdering. Vi är öppna för synpunkter och ser fram emot en givande dialog. Hör av er! Eva Thorsson FoU-ansvarig Försäkringskassan Blekinge län Kjell Arvidsson FoU-ansvarig Försäkringskassan Kalmar län Peter Burman FoU-ansvarig Försäkringskassan Kronobergs län Referenslista Claes Edlund m fl. Metoder för Utvärdering av Reformer i Arbetslivet insatsanalys, Studentlitteratur, Lund 1984. T. Nilstun m fl. Modellkonstruktion, objektivitet och tvärvetenskap, Studentlitterut, Lund 1982. W.I Thomas, ( If men define situations as real, they are real in their consequenses ) i Ritzer, sociological Theory, 1992. Översatt i Berg L-E 1991, P Månsson (red), Moderna Samhällsteorier, Stockholm Prisma ( Om människor definierar en situation som verklig, så blir den verklig till sina konsekvenser. ) 16