O.P. Utvärdering 2013-10-31 1 (11) Olle Palm Vad innebär i utvärderingar Bakgrund Detta paper är en vidare bearbetning av ett paper jag skrev inom kursen Lärande utvärdering och följeforskning vid Mälardalens högskola, vårterminen 2012. Bakgrunden till kursen är att EU 2007 antog guidelines för vad man benämnde ongoing evaluation, samt att Socialfonden och Regionalfonden har bestämt att använda sig av en ansats med hjälp av följeforskning. Andra finansiärer, som KK-stiftelsen och VINNOVA, använder också utvärdering och följeforskning som metoder för utvärdering som direkt återkopplas till deltagarna. Enligt Sjöberg, Brulin och Svensson (2009) karakteriseras en utvärdering av att den: 1. Är formativ, dvs. processbaserad och sker löpande. 2. Kommer in tidigt i ett program- respektive projektgenomförande. 3. Kräver en närhet till deltagarna. 4. Ska vara till omedelbar nytta för olika berörda. 5. Förutsätter en kontinuerlig återkoppling, som kan ske med olika ambitionsnivåer (från en ensidig feedback till dialog och gemensam analys). 6. Bidrar med underlag för ett utvecklingsinriktat och gemensam kunskapsbildning. 7. Studerar måluppfyllelse, men är medveten om att målen kan förändras över tid. 8. Bidrar till allmän debatt och ger en generell kunskapsbildning. Under kursen på Mälardalens högskola intresserade jag mig för vad t från utvärderingar egentligen innebär. Vem är det som lär sig, och vad är det man eventuellt lär sig. För att få en klarare överblick över detta, och vilken typ av som kan ske, har jag skrivit detta paper. Det grundar sig framför allt på den kurslitteratur vi hade under LUFF-kursen och är alltså en teoretisk genomgång. Mitt syfte är att problematisera begreppet vid utvärderingar och diskutera vilka typer av som kan ske på olika nivåer, från individnivå till samhällsnivå. Jag vill också diskutera vilket som sker vid utvärdering av olika typer av interventioner. Dessutom vill jag relatera olika kategorier av till olika typer av utvärderingar. /Olle Palm olle.palm@glocalnet.net tel: 073-841 00 36
2 Inledning Meningen med att göra utvärderingar måste rimligtvis vara att de ska användas på något sätt. Användningarna kan vara av skiftande slag: strategisk användning, som symbolisk eller legitimerande, då utvärderingen får fylla ett syfte som är närmast rituellt, att bekräfta att det som utvärderats är bra kontrollerande, då en överordnad instans vill få besked hur en verksamhet sköts instrumentell användning eller innovativ kunskapsutveckling, då syftet är att förbättra eller vidareutveckla verksamheter. Vedung (2011) menar att på den högsta nivån handlar all utvärdering om. Han skriver att utvärderingen innebär att reflektera över verksamheter för att destillera fram lärdomar, som kan utnyttjas i framtida förbättringar. Min egen erfarenhet, efter att på olika sätt ha arbetat med utvärderingar i offentliga verksamheter under många år, är att det är i användningen av utvärderingarna som det ofta brister. Det kan vara svårt att hitta metoder för att på ett systematiskt sätt ta fram och redovisa resultat av verksamheter, men det är ändå möjligt att finna vägar att göra detta. Hur den kunskap som tas fram i utvärderingen ska användas och komma till nytta för att förbättra pågående eller framtida verksamheter är något annat. I värsta fall kan utvärderingen glömmas efter ett tag, och inte få någon påverkan alls. Ibland kan också utvärderingen bara tjäna som kuliss för att ge intryck av att de styrande har bra koll och bedriver en verksamhet av hög kvalitet. Oftast används dock utvärderingarna på något sätt, om så endast som kontrollinstrument för att i efterhand få bekräftat att verksamheten sköter sig. Det är dock alltför sällan, enligt min erfarenhet, som utvärderingarna leder till något verkligt, men när så sker kan utvärderingen vara ett mycket kraftfullt instrument för att ompröva, lära nytt och gå vidare.
3 Kategorier av En grundläggande indelning i två kategorier av görs av Ellström (2009): anpassningsinriktat eller bemästrings, som innebär en rörelse mot ett regelbaserat eller rutiniserat handlande utvecklingsinriktat eller kreativt, som uppstår ur ett förändringsbehov eller som resultat av eget ifrågasättande eller omprövning. Karlsson Vestman (2011) refererar till flera forskare som urskiljer tre nivåer eller typer av. Den första nivån överensstämmer med det anpassningsinriktade t enligt Ellerström, medan nästa nivå kan delas i två skilda kategorier. En kategori innebär att se på sin verksamhet med nya perspektiv, att få kunskaper som kan göra verksamheten bättre. Nästa kategori innebär att tidigare erfarenheter och kunskaper omprövas. Detta synsätt resulterar i en indelning av i tre kategorier, som också är en indelning som tidigare gjorts av Ellström (1996): reproduktivt, som innebär en förfining av befintliga arbetssätt inom ramen för gällande mål och rutiner utvecklingsinriktat produktivt, som innebär vidareutveckling av arbetsmetoder, men fortfarande inom ramen för den givna uppgiften kreativt eller problemstyrt produktivt, som innebär omprövning av metoder och uppgifter på en mer kunskapsbaserad och reflekterad nivå. Dessa tre nivåer anser jag täcker in, och väl beskriver, olika typer av som kan ske genom utvärderingar av program eller projekt i de sammanhang som beskrivs i Europeiska Kommissionens Indicative guidelines on evaluation methods (2007). I dessa riktlinjer sägs att erfarenheterna från tidigare programperioder (1994-1999 och 2000-2006) visar att de utvärderingar som då gjordes blev av allt bättre kvalitet, men att de innehöll svagheter genom att kraven på genomförandet var alltför rigida och fokuserade på kontroll (monitoring). Kritiken gällde dels med avseende på tidpunkten för genomförandet (mid-term evaluations) och dels att utvärderingarna skulle ge svar på en mängd detaljfrågor utifrån strukturfondernas syften, men inte gav djupare analyser. På grundval av dessa erfarenheter införde kommissionen, med de nya riktlinjerna, krav på utvärdering, som ska fungera mer flexibelt och bättre svara upp mot olika behov hos beslutsfattare inom medlemsstaterna. Flexibiliteten gäller såväl tematiskt fokus och design av utvärderingarna som tidpunkter för när de görs. Riktlinjerna för utvärderingar ska gälla såväl hela program som projekt inom dessa. Genom att de utvärderingarna förväntas vara flexibla, och riktlinjerna gälla såväl ur ett EU-perspektiv på program som enskilda projekt inom medlemsstater, bör samtliga tre typer av enligt ovan vara aktuella för de utvärderingar som riktlinjerna beskriver.
4 Vem som lär sig efter indelning i nivåer Slutsatserna från utvärderingar kan rikta sig till många olika intressenter. Det kan gälla deltagare i projekt eller verksamheter som utvärderas, ledningar för dessa, den som finansierar verksamheten eller det kan också gälla en vidare krets i den samhälleliga debatten. Det finns alltså många olika nivåer av intressenter som kan lära sig något av utvärderingar. Karlsson Vestman (2011) ger en beskrivning av t på tre nivåer: individ, grupp och organisation. Han urskiljer också hur t sker utifrån de tre tidigare beskrivna kategorierna av. När Vedung (2011) beskriver användning av utvärderingar skiljer han på individuell, interindividuell och kollektiv användning. När det gäller kollektiva aktörer delar han in dessa i regering, myndighet eller projektgrupp inom myndighet. Här kan tilläggas att Vedung i sin bok endast behandlar offentliga interventioner (intervention är det begrepp han använder för att täcka in projekt, verksamheter etc. som är föremål för utvärdering). För att beskriva hur de olika kategorierna av kan fungera för olika typer av intressenter menar jag att en indelning i nivåer enligt nedan, som är inspirerad såväl av Karlsson Vestman som av Vedung, är meningsfull. Jag har också tillfogat vad t på respektive nivå kan tänkas handla om. Samhällsnivå På denna nivå ligger det som kan ske i den allmänna samhällsdebatten, och hos intressenter som inte finns inom de organisationer eller verksamheter som direkt berörs av interventionen. Lärandet av utvärderingen ligger på ett generellt plan. Huvudmannanivå Denna nivå innefattar huvudmannen för den intervention som utvärderas, och som finansierar såväl intervention som utvärdering. Lärandet på denna nivå handlar om organisationsfrågor, mål, riktlinjer och övergripande uppdrag. Ledningsnivå Här finns den direkta operativa ledningen för interventionen. Lärandet kan handla om arbetsmetoder, arbetsfördelning och uppdragets tolkning. Genomförandenivå På denna nivå finns de som har sin verksamhet inom den intervention som utvärderas. Lärandet kan handla om arbetsmetoder, arbetssätt och roll/funktion inom organisationen/verksamheten. Med ovanstående indelning i nivåer som grund har jag försökt tillämpa den tidigare beskrivna indelningen i olika typer av. I tabell 1 nedan ger jag en kort sammanfattande beskrivning av t på olika nivåer.
5 Tabell 1 Lärande på olika nivåer. Reproduktivt Utvecklingsinriktat Kreativt Samhällsnivå Ändrad syn på hur verksamheter genomför sitt uppdrag. Ändrad syn på verksamheters uppdrag och organisation. Ändrad syn på funktion och övergripande uppdrag. Huvudmannanivå Förändrat operativa mål, regler och riktlinjer i organisationen och verksamheten Förändrat sin organisatoriska struktur och uppdraget för att nå övergripande mål. Omprövat principer, övergripande mål och synsätt på verksamhet och uppdrag. Ledningsnivå Förbättrat arbetsmetoder och arbetsfördelning inom befintlig organisation. Nya metoder och arbetssätt. Ändrad tolkning av uppdrag och organisation inom gällande grundsyn. Förändrat grundsynen på sin roll, funktion och uppdrag. Genomförandenivå Förfinat arbetssätt och metoder. Vidareutvecklat arbetssätt och metoder inom ramen för gällande synsätt och regelverk. Omprövat grundläggande synsätt på arbetet, sin roll och funktion inom organisationen.
6 Lärande vid olika typer av interventioner Lärandet som kan ske genom utvärderingar blir rimligtvis olika beroende på vilken typ av intervention som utvärderingen sätter under luppen. Jag har gått igenom kurslitteraturen för att finna en indelning av interventioner som kan vara lämplig för att belysa detta. Det har emellertid varit svårt att finna. Vedung (2011) har en indelning i 15 olika typer. Med denna som bakgrund samt de olika exempel på projekt och utvärderingar som getts under kursen, tillsammans med mina egna erfarenheter, har jag konstruerat nedanstående indelning i typer av interventioner. Denna indelning är ett försök att göra en indelning i olika typer av interventioner som kan ha betydelse för hur t av utvärderingar kan se ut. Innovativa interventioner Denna typ innefattar utvecklande av nya produkter eller tjänster. Lärandet vid denna typ av interventioner kan innefatta hur de nya produkterna/tjänsterna fungerar och tas emot av de tänkta kunderna eller brukarna. Utvecklande av arbetsmetoder inom befintliga strukturer. Innebär interventioner som syftar till förbättring av metoder, arbetssätt och detaljorganisation inom etablerade organisationer/verksamheter. Lärandet kan handla om arbetsmetoder, organisation för införandet eller uppgifter och roll för verksamheten. Utvecklande av samverkansformer Interventioner som utvecklar sätt för etablerade organisationer/verksamheter att samverka för att bättre uppnå sina mål. Exempel på detta är myndighetssamverkan (hängrännor i stället för stuprör, som Vedung (2011) skriver) eller de regionala partnerskapen som etableras inom ramen för de regionala strukturfonderna. Lärandet kan innebära ändrade former för samarbete och kommunikation med samverkanspartners, eller ändrad syn på sitt uppdrag i relation till omvärlden. Påverkan på omvärlden genom regler, stimulans eller information. Sådana interventioner innefattar bl.a. införande av lagar och regler med syfte att begränsa eller hindra någon företeelse, det kan exempelvis gälla skatter (höjning av alkoholskatten) eller förbud mot något (byggande vid stränder). Interventionerna kan också innebära att stimulera något genom subventioner (ex: ROT-avdraget). Det kan också handla om att genom information eller propaganda försöka begränsa eller stimulera något beteende, exempelvis genom hälsoupplysning. Vedung (2011) menar att dessa olika sätt att styra är den offentliga maktens tre grundläggande redskap: käpp, morot och predikan. Lärandet kan ge kunskap om interventionens genomslagskraft, hur effektiva de valda tillvägagångssätten har varit, men också mer generellt ge en ändrad syn på interventioner av liknande typ. I tabell 2 nedan gör jag ett försök att ge en sammanfattande beskrivning av hur olika kategorier av kan ske vid olika typer av intervention, med den typologi jag beskrivit ovan.
7 Tabell 2 Lärande vid olika typer av interventioner. Reproduktivt Utvecklingsinriktat Kreativt Innovativa interventioner. Ej aktuellt i någon större grad. Ny kunskap om införande eller användning av ny produkt eller tjänst. Ändrad syn på den nya produkten eller tjänsten i sig. Utvecklande av arbetsmetoder inom befintliga strukturer. Förbättring av befintliga arbetsmetoder. Ändringar i arbetsfördelning; ändringar i detaljorganisation. Nya arbetsmetoder; större organisatoriska förändringar. Utvecklande av samverkansformer. Ändrade former för samarbete. Förändrat arbetssätt och kommunikation med samverkanspartner och omvärld. Ändrad grundsyn på verksamhetens roll och uppdrag i förhållande till andra aktörer. Påverkan på omvärlden genom regler, stimulans eller information. Ändrade metoder för genomförandet av interventioner. Anpassning av strategier för interventioner av denna typ. Ny syn på införandet av liknande interventioner.
8 Lärande vid olika utvärderingsmodeller Vilken typ av utvärdering som genomförs har naturligtvis betydelse för vilka förutsättningarna är att lära något av utvärderingen. Vedung (2011) har i kap. 4 en översikt av utvärderingsmodeller som jag ser som mycket användbar för en diskussion om möjligheterna till vid olika typer av utvärderingar. Nedan följer en beskrivning av Vedungs indelning i olika familjer av utvärderingsmodeller. Jag har lagt till vilket som kan tänkas ske vid användandet av respektive modell. Mål processmodeller Utvärderingskriterierna utgår från interventionens mål. Objektet för utvärderingen är själva processen vid genomförandet av interventionen, alltså de olika aktiviteterna. Lärandet kan innebära kunskap om de genomförda aktiviteternas betydelse för att nå målen, hur de kan förbättras eller ersättas av andra. Mål resultatmodeller Även dessa utvärderingsmodeller utgår från interventionens mål. Objektet är utfallet av interventionen, alltså vilka effekter som uppnåtts. Lärandet kan handla om vilka resultat som uppnåtts, innebörden av de mål som satts upp och eventuell omprövning av målen. Relevansmodeller Värderingskriterierna utgår från interventionens underliggande problem, och i vad mån interventionen är relevant för att påverka problemet. Lärandet kan ge bättre kunskap om relationen mellan det grundläggande problemet och den intervention som valts, och leda till andra sätt att angripa problemet samt även ge en förändrad grundsyn på problemet som sådant. Aktörsmodeller Värderingskriterierna hämtas från berörda aktörer eller intressenter. Dessa modeller kan bedöma såväl processer som resultat. Lärandet kan ge kunskap om hur en intervention berör olika aktörer eller intressenter, deras uppfattning om interventionen samt även en ändrad syn på vilka intressenter som är viktiga för att lösa det grundläggande problemet. Ekonomiska modeller Det grundläggande värderingskriteriet är kostnaden för interventionen. Det kan handla om kostnaderna i sig, eller satta i relation till processer och resultat. Lärandet kan ge bättre rutiner för att följa upp kostnader, produktivitet och effektivitet. Det kan också leda till ändrade metoder för att förbättra, och nya sätt att definiera och mäta, produktivitet eller effektivitet. I tabell 3 nedan gör jag en sammanställning av hur olika kategorier av kan ske vid olika typer av utvärderingar, med den typologi jag beskrivit ovan.
9 Tabell 3 Lärande vid olika utvärderingsmodeller Reproduktivt Utvecklingsinriktat Kreativt Mål processmodeller Anpassning av aktiviteterna för förbättrade arbetsprocesser. Utvecklande av nya aktiviteter och arbetsprocesser. Helt nya sätt att lägga upp en intervention. Mål resultatmodeller Anpassning av interventionen för bättre fokusering på resultat och effektivitet. Förändringar av målformuleringar och nya sätt att utforma interventioner. Nya övergripande mål och angreppssätt för att uppnå dessa. Relevansmodeller Förbättrade metoder att angripa grundproblemet. Ändrade operativa mål för att åtgärda problemet. Ändrad grundsyn på problemets art och orsaker. Aktörsmodeller Bättre förmåga att ta till sig olika aktörers perspektiv på grundproblemet. Fördjupad kunskap om olika aktörer och deras relation till problemet. Ändrad grundsyn på vilka aktörer som är viktiga och deras relation till problemet. Ekonomiska modeller Bättre rutiner för att följa upp kostnader, produktivitet och effektivitet. Ändrade arbetssätt för att minska kostnader och öka produktivitet och effektivitet. Nya sätt att, i det aktuella sammanhanget, definiera och mäta produktivitet och effektivitet.
10 Sammanfattande kommentarer och slutsatser Lärande av utvärderingar kan ske på många olika sätt som skiljer sig beroende på vem det är som lär sig, vilken typ av intervention det är som utvärderas och vilken utvärderingsmodell som valts för att genomföra utvärderingen. I praktiken är naturligtvis inte de olika kategorierna strikt åtskilda. Vid en utvärdering kan intressenter på flera olika nivåer vara inblandade, typen av intervention kanske inte är glasklar och sättet att genomföra utvärderingen kan innehålla moment från olika modeller. Indelningarna i kategorier i dessa olika avseenden ger dock en struktur för att visa vilken typ av som kan ske i olika situationer. De tre sätten att lära reproduktivt, utvecklingsinriktat och kreativt skiljer sig beroende på vilken nivå t sker. På samhällsnivå sker t på ett övergripande plan och handlar om verksamheters uppdrag och sätt att organiseras i stort. På huvudmannanivå rör t främst mål, organisatorisk struktur och sätt att lösa sina uppdrag. På ledningsnivå handlar t mer konkret om arbetsmetoder, arbetsfördelning och roller. På genomförandenivå rör t de egna arbetsmetoderna, men också roll och den egna funktionen inom organisationen. Även vilken typ av intervention som utvärderas har betydelse för hur t kan komma att gestalta sig. Vid innovativa interventioner handlar t om den nya produkten eller tjänsten, hur den fungerar i sitt sammanhang och hur införandet kan ske. Vid denna typ av intervention blir reproduktivt knappast aktuellt. Vid utvecklande av arbetsformer inom befintliga strukturer handlar t om arbetsmetoder, arbetsfördelning och organisation. När interventionen gäller utvecklande av samverkansformer blir t mer koncentrerat kring sätt att samarbeta, kommunikation med samverkanspartner samt synen på det egna uppdraget och den egna rollen i förhållande till andra aktörer. Vid interventioner som syftar till att påverka omvärlden rör t metoder, strategier och även mer generellt synen på denna typ av interventioner. Vilken typ av modell som valts för utvärderingen har också betydelse för hur t gestaltar sig. Vid mål-processmodeller blir t koncentrerat kring aktiviteter och sätt att genomföra interventionen. Vid mål-resultatmodeller blir t mer fokuserat på resultat och effektivitet. Relevansmodeller för utvärdering bäddar mer för som är koncentrerat på grundproblemet och vad som kan göras för att angripa detta. Aktörsmodeller kan leda till om olika aktörer och deras relation till grundproblemet. Ekonomiska modeller ger underlag för om kostnader, produktivitet och effektivitet, såväl om metoder för att mäta dessa faktorer som hur de kan eller bör definieras i det aktuella sammanhanget. En slutsats är att inte innebär en och samma sak, som sker bara genom att en utvärdering genomförs. I Ellström (1996) görs följande definition av : Med avses här relativt varaktiga förändringar av en individs kompetens som ett resultat av individens samspel med sin omgivning. Ellström menar att denna definition kan generaliseras till att gälla även på grupp- eller organisationsnivå. Om man godtar denna definition menar jag att inte är något som sker med automatik och på samma sätt vid olika interventioner och utvärderingar. I början av detta paper tog jag upp tre olika typer av användning av utvärderingar: strategisk, kontrollerande respektive instrumentell eller innovativ.
11 Såväl strategisk som kontrollerande användning kan ske utan att något egentligt sker, utifrån ovanstående definition av. Om ett verkligt sker till följd av en utvärdering är det inte givet hur detta sker och av vilket slag det är. Min genomgång visar att t är beroende av såväl på vilken nivå det sker som vilken typ av intervention som utvärderas och vilken modell som valts för utvärderingen. För att ett ska ske krävs därför en medvetenhet om vad just t innebär. Delander och Månsson (2009) har betitlat sitt kapitel Valet av utvärderingstyp beror på vilken fråga som ställs. De menar att det, för att identifiera uppgift och tillvägagångssätt för utvärderingen, är mest fruktbart att utgå från vilka frågeställningar som utvärderingen ska svara på. Detta bör naturligtvis vara en utgångspunkt innan en utvärdering startar. Jag menar att en slutsats av min genomgång är att denna utgångspunkt behöver kompletteras med frågan om vilket man vill uppnå. Innan en utvärdering genomförs är det viktigt, såväl för den som beställer en utvärdering som för utvärderaren, att fundera över vem man anser borde lära sig något av den, och vilken typ av man vill uppnå. Metod för utvärderingen, tidpunkten för att göra den och sätt att presentera resultaten bör väljas utifrån vilket man vill eftersträva. Litteraturförteckning Delander, L. och Månsson, J. (2009). Valet av utvärderingstyp beror på vilken fråga som ställs. I: L. Svensson, G. Brulin, S. Jansson, & K. Sjöberg (red), Lärande utvärdering genom följeforskning. Lund: Studentlitteratur. Ellström, P.-E. (1996). Rutin och reflektion. Förutsättningar och hinder för i dagligt arbete. I : P.-E. Ellström, B. Gustavsson & S. Larsson (red), Livslångt. Lund: Studentlitteratur. Ellström, P.-E. (2009). Användning och nytta av utvärderingar ett perspektiv. I: L. Svensson, G. Brulin, S. Jansson, & K. Sjöberg (red), Lärande utvärdering genom följeforskning. Lund: Studentlitteratur. Europeiska Kommissionen (2007) Indicative Guidelines on Evaluation methods: Evaluation During the Programming period. Working Document No. 5. Bryssel: Europeiska Kommissionen Karlsson Vestman, O. (2011). Utvärderandets konst. Lund: Studentlitteratur. Sjöberg, K, Brulin, G och Svensson, L (2009). Lärande utvärdering följeforskning: En syntes. I: L. Svensson, G. Brulin, S. Jansson, & K. Sjöberg (red), Lärande utvärdering genom följeforskning. Lund: Studentlitteratur. Vedung, E. (2011). Utvärdering i politik och förvaltning. Lund: Studentlitteratur