Andreas Sävenstrand Paper inom kursen Lärande utvärdering följeforskning, Mälardalens högskola, vårterminen 2013 Utvärdering av intervention eller hållbarhet? Inledning Lärande utvärdering har fått ett brett genomslag genom lanseringen i strukturfonderna (Sävenstrand m.fl., 2013). Men det förekommer också ifrågasättande kring om det verkligen kan kallas utvärdering. På kursen presenterade representanter från ESF-rådet och Tillväxtverket sin syn på utvärderarens roll och uppdrag ur ett programperspektiv (Jansson & Wahlgren, 2013). Utvärderaren förväntas ha en kritisk och aktiv utvecklingsroll som synliggör och stödjer regionala utvecklingsstrategier. Vidare ska det identifieras om det finns en regional innovationsmiljö som kan ta emot de kunskaper och resultat som projektet genererat och på andra sätt stimulera lärande mellan program, projekt och regioner och dessutom bidra till public debate. Utvärderingen ska använda projektlogik för att öka projektets kvalitet och analysera kopplingen mellan projektets direkta resultat och mer långsiktiga effekter. De ansvariga myndigheterna formulerar därmed förväntningar på hållbarhet som att utvärderingen ska analysera kopplingen mellan projektets direkta resultat och mer långsiktiga effekter. Men går denna framåtblick ihop med definitionen av utvärdering som noggrann efterhandsbedömning (Vedung, 2009)? Är det förenligt att ha en kritisk och aktiv utvecklingsroll med att göra en oberoende bedömning av projektets resultat? Karlsson Vestman framför i sin föreläsning (2013) att lärande utvärdering är subjektiv och tar rollen som samordnare och organisatör och inte problematiserar detta. Kan man som utvärderare möjliggöra ökad kvalitet i projekt utan att ta över sysslor som delar av projektorganisationen ska sköta? Wikner (2011) framför kritik som menar att utvärderaren riskerar att utvärdera sina egna råd och ta över projektet. Frågeställning och metod En faktor som är speciell inom strukturfonderna är alltså att utvärderingen förväntas stödja projektens hållbarhet, deras möjlighet till långsiktiga effekter. Är inte det mer likt ett processtöd? Jag tänker fördjupa mig i frågeställningen om utvärdering kan ha en utvecklingsstödjande roll och samtidigt kallas utvärdering. Titeln på detta paper ska spegla just motsättningen mellan ett tydligt utlåtande efter en avgränsad intervention och en mer framåtblickande bedömning av vilken hållbar förändring som interventionen har lagt grunden för. För att kunna diskutera frågeställningen har jag tagit utgångspunkt i myndigheternas förväntningar på utvärdering och gjort en litteraturstudie. De källor som jag huvudsakligen har använt är kurslitteraturen
Svensson m.fl. (2009), Vedung (2009), Karlsson Vestman (2011) samt Brulin och Svensson (2011). Från dessa källor har jag sökt författarnas syn på vilken utvärderingens roll kan vara, hur man får utvärderingens resultat att användas samt i vilken mån utvärdering också kan stödja projektens långsiktiga effekter. Avslutningsvis diskuterar jag och ger min egen syn på i vilken mån utvärdering och utvecklingsstöd kan förenas. Resultat - Lärandets roll i förändringsarbeten Vi lär oss varje dag. Lärandet kan vara såväl avsett som oavsett, positivt eller negativt. Lärandet utgår alltid från individen och dess bakgrund, men påverkas också av samspelet med sin omgivning. Om vi ser till individen så är undervisning inte detsamma som inlärning. Det som förmedlas av läraren kan för det första nå fram delvis eller inte alls på grund av ointresse hos mottagaren eller distraktionsmoment i omgivningen. Om informationen når fram kan den också vara svår att förstå för mottagaren beroende på den begreppsram individen har genom tidigare erfarenhet. Det sker en tolkning av informationen som ger olika utfall hos olika individer (se till exempel Illeris, 2007). Undervisning i skolmiljö som det presenterats här bygger på muntlig information från en avsändare. På samma sätt kan lärande önskas i andra situationer, till exempel seminarier där erfarenheter av projekt, eller resultat av utvärdering, presenteras. På vilket sätt åhörare har lärt sig och hur stor grad av engagemang det tände påverkar i vilken mån de kan tillämpa lärandet i andra situationer. Lärprocessen påverkar alltså användningen och på så vis långsiktigheten. I skolvärlden har man till stor del frångått katederundervisning (informationsöverföring) till förmån för undervisning där individen tar aktiv del i lärandet. Exempel på detta är problemlösning eller projektarbete. Flera forskare inom pedagogiken har konstaterat att handling behöver varvas med reflektion för att stärka lärprocessen (Illeris, 2007). Men i utvecklingsarbeten räcker det inte med att individen lär, huvudsyftet är oftast organisatoriskt lärande. Här skiljer Ellström (2009) på anpassningsinriktat och utvecklingsinriktat lärande. Det anpassningsinriktade lärandet står för att införa mindre förbättringar av etablerade arbetssätt och rutiner. Såväl uppgift, metod som resultat är sedan tidigare givna. Om individen däremot har möjlighet att ifrågasätta och uppmuntras att omtolka förutsättningarna för hur den grundläggande uppgiften kan lösas så krävs ett mer utvecklingsinriktat och kreativt lärande. Här ska invanda rutiner brytas och för det kan input utifrån behövas, till exempel genom forskning. Ett sätt att tillgängliggöra forskning i praktiska sammanhang är interaktiv forskning. Wistus och Andersson (2009) beskriver detta som att forskning och praktisk verksamhet möts, men de är inte sammansmälta i samma verksamhet. De bidrar med sina respektive perspektiv som befruktar varandra i lärande- såväl som den konkreta utvecklingsprocessen. Forskning är med sitt vetenskapliga och systematiska angreppssätt en kvalitetsgarant, men nackdelen är att den är långsam och ibland svårtillgänglig. Interaktiv forskning tillgängliggör forskning i praktiska
sammanhang och kan på så vis öka kvalitet och lärande i förändringsprocesser. Utvärderingens roll Karlsson Vestman (2013) säger att utvärdering kan ha tre syften; kontrollerande, främjande eller kritiskt granskande och kunskapsutvecklande. Han menar också att detta är den första fråga som måste besvaras då en utvärdering ska genomföras vad är utvärderingen till för? Men granskar man hur de ansvariga myndigheterna presenterar tanken med lärande utvärdering så är svaret inte entydigt: Kritisk och aktiv utvecklingsroll (= kritisk och främjande?) Möjliggör ökad kvalitet i projekt (= främjande?) Public debate (= kunskapsutvecklande?) Dessutom finns i strukturfonderna ett indikatorsystem där projekten rapporterar siffror och aktiviteter som innebär en noggrann uppföljning och därmed ett ansvarsutkrävande och en kontroll att de gör vad de lovat. Vi ser alltså spår av alla tre syftena i strukturfondernas utvärderingsupplägg. Användning av resultat Myndigheternas ambition är alltså att projekten ska sätta långsiktiga avtryck som utvecklar verksamheter och politik. Men hur ska det gå till? Hur går projekten från ett resultat i slutet av projekttiden till effekter som lever kvar när projektet är slut? Projektet och dess personal kan ju själva inte arbeta för detta efter sista projektdagen har förlöpt. Myndigheterna uttrycker det som processer för mottagande, det vill säga. att det finns en plan för överlämning till den löpande verksamheten eller att resultaten kan tas om hand av till exempel en regional innovationsmiljö. Vedung (2009) formulerar detta som att det inte är interventionen i sig som avgör dess utfall utan hur interventionen tas emot av implementerare, adressater och omgivning. Det rör sig om användning av projektets resultat, men eftersom utvärderingen förväntas analysera kopplingen mellan projektets resultat och dess förutsättningar för långsiktiga effekter så blir utvärderingens resultat en nyckel i denna övergång. Därför kan det vara intressant att fråga sig varför användningen ibland uteblir. Vedung (2009) menar att utebliven användning kan bero på att utvärderingen inte kommer i rätt tid, att utvärderingen inte upplevs som relevant, att den har kvalitetsmässiga brister eller är svår att förstå. Alla dessa aspekter har utvärderaren själv stor makt över. Men Ellström (2009) hävdar att det också kan bero på mer kontextuella faktorer. Exempel kan vara intressekonflikter mellan de intressenter som ska använda resultaten, eller att organisationskulturen är svår att förena med ett utvärderingstänkande baserat på lärande och förbättring. Jag uppfattar att det är mot denna bakgrund som den lärande utvärderingen har introducerats. Genom att involvera intressenter i analysen av utvärderingen under projektets gång kan eventuella konflikter bearbetas och utbyte mellan projektets lärdomar och den ordinarie verksamheten kan stimuleras.
Karlsson Vestman (2011) menar att det finns tre huvudsakliga faktorer som påverkar användningen; utvärderingens kvalitet, kommunikationen respektive utvärderingens användare. Det som utmärker lärande utvärdering är främst kommunikationen och relationen till utvärderingens användare genom den interaktiva ansatsen (Svensson m.fl, 2009), medan utvärderingens kvalitet inte ska behöva skilja sig från andra utvärderingsupplägg. Den löpande återkopplingen kan också medföra att användarnas upplevelse av, och inställning till, utvärderingen successivt kan förändras under utvärderingens gång. Utvärderingens fokus Brulin och Svensson (2011) hävdar att lärande utvärdering i början kan fokusera på om projektet är realistiskt, välförankrat och integrerat med annat utvecklingsarbete. Realistiskt kan handla om det under projekttiden är rimligt att målen kan uppnås med de resurser som finns givet problemets komplexitet. Bedömningen rör främst interventionens koppling till den ordinarie verksamheten. Men det kan också vara vettigt att i inledningen av projektet bedöma relevansen. Detta kan snarare handla om interventionens koppling till problemets struktur i samhället och vad man vet om dess orsaker. Kommer projektets mål och styrmedel mildra de underliggande problemen, eller behandlas bara symtomen (Vedung, 2009)? Karlsson Vestman (2011) beskriver det som en särskild form av teoribaserad utvärdering som han menar bygger på att nyttja befintlig forskning. Men vad gäller när projektet kommer längre in i genomförandet? Vad ska utvärderingen fokusera för att stödja långsiktiga effekter och förbättra projektets kvalitet? Interventionens mål brukar vara en självklar utgångspunkt som behöver följas upp. Men Brulin och Svensson (2011) menar att det finns risker med att bara beskriva och värdera måluppfyllelse. Särskilt om man bryter ner målen i många och detaljerade delmål så finns risken att den övergripande idén med projektet försvinner i processen. Fokus blir plötsligt att uppfylla delmålen då man tror att det kommer leda till att syftet med interventionen uppfylls. Detta bygger på ett rationalitetstänkande som Vedung (2009) beskriver som går ut på en tro att människor alltid agerar lämpligt i en given situation. Om detta skulle stämma så kan varje delsteg i en tänkt interventionskedja fungera och delmål kan leda till att syftet med interventionen uppfylls. Men verkligheten är att människor ofta agerar på andra grunder. Ju fler mindre steg (delmål) som finns desto fler tillfällen för irrationellt agerande som styr mot annat än huvudmålet. Det rekommenderas ofta att skapa mätbara mål, men just detta kan orsaka den målförskjutning som beskrevs ovan att förbättra det delmål som mäts blir viktigare än det övergripande syftet med projektet eftersom det är den prestationen som bedöms. Det bör poängteras att det kan vara en fördel för projektpersonalen att arbeta utifrån delmål, men det är inte självklart att utvärderarna ska förstärka detta system och riskera att förlora sig i mätbara nyckeltal som styr bort från interventionens syfte. Uppgiften för utvärderarna är ju snarare att motverka alla typer av hemmablindhet.
Brulin och Svensson (2011) kallar detta den planeringsstyrda utvärderingsmodellen som utgår från att förändring kan planeras fram. Den utgår i stort från den tekniska sektorn där det är naturligt att ha mål med etappmål och att insatser i till exempel ett byggprojekt kommer i en viss ordning för att slutmålet ska nås. Men logiken fungerar sämre i sociala sammanhang och förutom att bidra till att fel saker mäts kan den dessutom bidra till att fel saker görs om utvärderbarhet får styra upplägget av själva projektet. Projektpersonalen kan då känna att de måste följa projektplanen och bli rädda för att göra fel, vilket dämpar kreativiteten. Kritiska faktorer för hållbarhet Människor tar sällan helt rationella beslut, vilket medför att man inte kan utgå från att en interventionsteori håller hela vägen. Men framgångsrika projekt bygger också på människor människor som lär sig arbeta och samverka bättre. Mänskliga relationer är en nyckelfaktor. Lärandet hos en individ, för grupper och i en organisation är grunden för hållbart utvecklingsarbete. Men lärande är ju svårt att mäta. Lärande kan dessutom handla om så många olika saker. I projekt är det enda man kan vara riktigt säker på att det inte blir som man har tänkt sig. Så frågan är då hur man lyckas hantera överraskningar? Brulin och Svensson (2011) påstår att ett hållbart utvecklingsarbete bygger på att man kan hantera osäkerhet, dilemman, motsägelser och konflikter. Sävenstrand och Florén (2011) hävdar t.o.m. att utan konflikter har man inte förändrat någonting. Det förklaras genom att nya arbetssätt berör människors vardag och rentav en del av deras identitet, vilket kan vara mycket känsligt. Därför är det naturligt att förändring möter motstånd. Projekt som bara flyter på bryter sannolikt inte i några avgörande strukturer för angelägna problemområden. Därför är det centralt att som utvärderare intressera sig för olika agendor, meningsskiljaktigheter och oväntade hinder i projektet samt om de hanteras konstruktivt. Brulin och Svensson (2011) anger vidare tre mekanismer som centrala för hållbart utvecklingsarbete; ägarskap, samverkan och utvecklingsinriktat lärande. För en utvärdering som ska verka utvecklingsstödjande blir det därför naturligt att försöka värdera dessa mekanismer. Samtidigt ser vi då att de alla tre är mycket svåra att göra mätbara hur mäter man ägarskap, samverkan och lärande? De behöver kanske fångas på annat sätt? Exempel på någon form av processindikatorer kan vara i vilken mån projektaktörerna interagerar med varandra, om synen på problemområdet och möjliga lösningar förändras, hur de omsätter projektets erfarenheter till egna initiativ och handlingar. Vedung (2009) är också inne på att utvärderingar för lång sikt behöver ett annat upplägg än mer kortsiktiga. Här är vi då i kärnan för mitt paper att utvärdera den kortsiktiga interventionen eller den långsiktiga hållbarheten. Vedung menar att man måste mäta på andra mellanliggande variabler som antas påverka det långsiktiga. Utvärderaren behöver då skapa en form av effektkedja för vad som behöver ske
under interventionen för att förutsättningar för långsiktiga effekter ska skapas. Observera att skillnaden mellan den ovanstående kritiken mot att mäta delmål handlar om vad variablerna styr mot - de kortsiktiga målen eller de långsiktiga intentionerna. Men det kan också handla om helt andra typer av variabler. I linje med de tre mekanismerna ägarskap, samverkan och lärande skapas andra indikatorer än de aktivitetsinriktade som ofta blir fallet när man bryter ner de kortsiktiga målen. Vedung (2009) går igenom olika typer av användning av utvärdering där flera är icke-utvecklande användning. Exempel på detta är legitimerande användning som bara finner nya argument för det man vill bevisa, taktisk användning för att köpa tid och undvika ett beslut just nu, samt rituell användning där det är viktigast att utvärderingen finns, inte vad den leder till. Betydligt vanligare är den upplysande användningen som är frikopplad från beslut och handling. Vedung presenterar därpå en effekthierarki enligt kommunikations-övertalningsmodellen (tabell 1) som visar hur olika typer av användning kan följa på varandra. Frågan är hur utvärderingen kan fånga hur det går med denna förändringsprocess? Tabell 1. Effekt-hierarki enligt kommunikations-övertalningsmodellen (Vedung, 2009). Typ av användning Legitimerande Instrumentell 2 Instrumentell 1 Upplysande 2 Upplysande 1 Steg i förändringsprocess 12: Konsolidering efter handlandet 11: Förstärkning av fattat beslut 10: Handling i enlighet med beslut 9: Beslut på basis av det framtagna 8: Framtagande 7: Lagring i minnet 6: Attityd, avnämaren modifierar inställning 5: Kunskap, adressaten förvärvar insikter och färdigheter 4: Begripande, adressaten tillägnar sig budskap 3: Intresse väcks för budskap 2: Uppmärksammande av budskap 1: Exponering för budskap Är utvärdering och processtöd förenligt? En annan kritik som förekommit är att lärande utvärdering är mer som ett processtöd och att man till slut utvärderar sina egna råd (Karlsson Vestman, 2011; Wikner, 2011). Volkov (2011) har genom en litteraturöversikt identifierat ett antal roller som interna utvärderare vanligen förväntas ha. Roller som förändringsagent, beslutsfattarstöd och förespråkare ligger i linje med att aktivt involveras i beslutsprocessens alla steg. Att ge rekommendationer om förbättringsåtgärder är i dessa roller naturligt, men är det lika naturligt i en lärande utvärdering, utförd av externa aktörer?
Wikner (2011) ser en stor konfliktrisk i att både ha en främjande och en opartisk roll. Han menar att det är en utmaning för utvärderaren att i en slutrapport opartiskt bedöma verksamhetens resultat och effekter, när man i en tidigare delrapport påverkat verksamhetens arbetssätt genom konkreta råd. Råden, eller rekommendationerna, är alltså centrala. Karlsson Vestman redogör för tre nivåer av rekommendationer. Den första ger förslag utifrån utvärderingens slutsatser. En mer långtgående rekommendation innebär att utvärderaren förordar ett visst handlingsalternativ. Detta kan passivisera beslutsfattarnas egen analys av problemet. Den tredje nivån inkluderar att även föreslå på vilket sätt en åtgärd ska implementeras. Risken är här att fokus läggs på utvärderarens förslag och bortser från hur förslaget har tagits fram och vilka alternativ som finns. Ju mer långtgående rekommendationer, desto mindre av egen analys och alternativtänkande hos användarna kan man säga. Ju längre rekommendationerna dras, desto mer avgränsad blir också tillämpningen till en specifik situation snarare än att stimulera till lärande som kan tillämpas generellt. Frågan är då om utvärderingen kan ge utvecklingsstöd utan att passivisera beslutsfattarna? Halvarsson och Öhman (2009) visar på en metod för gemensam kunskapsbildning som bygger på interaktiv forskning. Den ena delen i metodiken handlar om att synliggöra motsättningar inifrån utvecklingsarbetet. Den andra delen är att tillföra teorier utifrån som kan ge nya perspektiv på motsättningarna. Detta skapar tillsammans en arena där personer från organisationen och utvärderare bidrar med olika kunskaper i en gemensam analys. Utvärderaren lyfter alltså bara fram brister i projektet och ger inga rekommendationer. Förutom att lyfta bristerna presenteras också teorier hämtade från forskning, eller annan relevant källa, som kan hjälpa analysdeltagarna att hitta vägar framåt. Inte heller detta är en rekommendation utan ett analysverktyg som ska vara väl underbyggt. Diskussion Jag vill med detta avsnitt utveckla min egen syn på vilken roll en lärande utvärdering bör ha och hur den kan läggas upp. För det första uppfattar jag att lärandet alltid är en avgörande faktor för vilka långsiktiga effekter som uppstår av ett projekt. Det är däremot inte självklart att lärandet är uttalat eller synliggjort. Jag ser lärande som ändrad handlingsförmåga hos individer, grupper och organisationer och det krävs ett medvetet samspel mellan dessa nivåer för att lärandet inte ska stanna hos individen. Prövar man det nya som sker i projektet mot de organisatoriska förutsättningar man har i ordinarie verksamhet? Har man mötesplatser för att diskutera erfarenheter och hur de kan tas vidare? Observera att man med ett renodlat interventionsperspektiv skulle kunna ha ställt dessa frågor på följande sätt: Har det utvecklats något nytt genom projektet? Har inblandade individer lärt sig något genom projektet? Frågorna är snarlika men saknar det framåtblickande perspektivet som jag anser är så viktigt om projektet har som syfte att förändra en organisation. Det är alltså skillnad på att bara lära i projektet eller också lära av projektet.
Utvärderingen kan ha en roll i att beskriva och bedöma detta lärande. Men jag anser att det blir problematiskt om en och samma utvärdering förväntas ha alla roller (kontrollerande, främjande, kritisk och kunskapsutvecklande). Sävenstrand m.fl. (2013) visar att den lärande utvärderingen tydligt har bidragit med värde för projektens styrning och implementering. Däremot har mer generell kunskapsutveckling och påverkansarbete varit ovanligt. Jag menar att det är ett rimligt resultat att lärande utvärdering passar bäst för enskilda projekt och främst kan ha en främjande roll. Kontrollerande roller bör ligga på myndigheten som ju har ett ansvar att se till att medlen används på rätt sätt. Kunskapsutvecklande roller passar mer för programutvärderingar som tar ett större grepp och kan anlägga mer av ett samhällsperspektiv och söka generella slutsatser. I denna främjande roll kan uppdraget inledningsvis handla om att, med hjälp av en programlogik, dels bedöma om projektets tänkta aktiviteter hänger ihop med avsedda resultat och effekter, men också ställa frågan om projektet verkligen angriper det underliggande problemet är projektet relevant? Återkoppling av resultaten bör ske till personer som kan det organisatoriska sammanhanget för den ordinarie verksamheten såväl som projektets. Men det behöver också vara personer med olika mandat och perspektiv för att belysa det nya ur olika aspekter. Häri ligger en del av lärandet att se det ur olika vinklar. En annan del av lärandet är att utvärderaren kan föra in teoretiska modeller som kan förklara de resultat som utvärderingen visar och som ger stöd för den gemensamma analysen. En ytterligare lärandeaspekt är just mellan projekt och ordinarie verksamhet och det kan också vara mellan olika organisationer i ett samverkansprojekt. De rätta dialogfrågorna behöver ställas, de som fångar problemet och kan ge en konstruktiv dialog. Slutsatser och eventuella beslut måste däremot ligga på intressenterna snarare än utvärderarna. Men styr då inte utvärderaren vad som diskuteras och därmed vad som senare beslutas? Innebär det att man i slutändan värderar sig själv som Wikner (2011) hävdar? Självklart gör utvärderaren ett subjektivt urval av vad som anses värt att diskutera och hur det framställs, men detta görs ju ännu tydligare i utvärderingar med rekommendationer. Projektintressenternas intressen, behov och prioriteringar är också det som främst styr vilka beslut som tas i slutändan, oavsett vad en utvärdering säger. Men låt oss ändå säga att utvärderaren indirekt påverkar beslutet och att man sedan fortsätter utvärdera projektet. Vilka risker uppstår då? Jag anser att problemen uppstår först när men ser utvärderarens roll som domare. Man kan då inte längre döma projektet som ensamt ansvarig för de resultat som uppnås, man är själv medskapare av detta. Ser man sig mer som coach är huvudsaken att projektet ger långsiktiga effekter. I vilken mån det är projektets eller utvärderarens förtjänst är ointressant. Jag menar dock att med nuvarande upplägg av Socialfonden, där det inte finns en struktur för att jämföra projekt, så är isolering av just projektets bidrag och en opartisk domarroll för utvärderaren inte relevant. Dessutom
är det dels mycket svårt att på etiskt försvarbara sätt göra t.ex. experimentstudier, dels finns det begränsningar i hur tillämpbart resultatet är i andra sammanhang, eftersom förutsättningarna där aldrig kan vara identiska. Men innehållet i återkopplingen är ändå viktigt och vad är det då som återkopplas? Jag menar att de tre mekanismerna ägarskap, samverkan och lärande är något som kan fånga just förutsättningar för hållbarhet i de flesta projekt inom strukturfonderna. Jag vill därmed återgå till Vedungs effekthierarki som presenterades i tabell 1. Jag kopplar dock inte detta nödvändigtvis till kommunikation av utvärderingsresultat utan mer allmänt av budskap som uppstår genom projektet och som förväntas leda till någon typ av förändring. I tabell 2 har jag kompletterat med mina förslag på indikatorer för utvärdering i den högra kolumnen. Man kan säga att tabell 2 representerar ägarskapet där beslutsfattare följer projektet och bildar sig en uppfattning för att genomdriva välgrundade beslut. Men vi har ju ytterligare två mekanismer. Lärandemekanismen kan sägas handla om ett personalperspektiv. Relevanta indikatorer för lärandet kan handla om personalen har uppmuntrats och getts förutsättningar att arbeta utforskande genom projektet? Har de haft mötesplatser där de kunnat bearbeta och strukturera erfarenheterna av projektet? Har personalens erfarenheter tagits tillvara i formandet av budskap så att de därmed utgör ett underlag för beslutet? Har de genom beslutet getts förutsättningar att verkställa det genom till exempel resurser och instruktioner? Tabell 2. Effekt-hierarki enligt kommunikations-övertalningsmodellen (Vedung, 2009) kompletterad med mina förslag till indikatorer för utvärdering av framförallt ägarskapet. Användning Steg i förändringsprocess Indikatorer för utvärdering Legitimerande 12: Konsolidering efter handlandet Hålls beslutet levande och följs upp? 11: Förstärkning av fattat beslut Instrumentell 2 10: Handling i enlighet med beslut Vidtas konkretiserande insatser? Instrumentell 1 9: Beslut på basis av det framtagna Tas beslut med koppling till budskapet? 8: Framtagande Vilka nya initiativ till förändring tas? Upplysande 2 7: Lagring i minnet 6: Attityd, avnämaren modifierar inställning Vilka nya tankar föds? Hur kan budskapet användas? Upplysande 1 5: Kunskap, adressaten förvärvar insikter och Hur fördjupar man sig i budskapet? färdigheter 4: Begripande, adressaten tillägnar sig budskap Vad uppfattas som mest användbart? 3: Intresse väcks för budskap 2: Uppmärksammande av budskap Har de sett budskapet? 1: Exponering för budskap
Men till det kommer även samverkansmekanismen som gäller inom och mellan organisationer. Här kan indikatorer röra om parterna har samma syn på vad som ska förändras genom projektet? Är de öppna med sina drivkrafter och ambitioner och hanterar de eventuella konflikter eller hinder så att gemensam förändring möjliggörs? Förs det diskussioner om hur verksamheten kan formaliseras efter projektet genom långsiktig finansiering och organisering? Men vad hjälper det att beskriva dessa processer? Är det en utvärdering? Var kommer bedömningen in? Jag menar då att det är den lärande utvärderarens roll att för det första samla data kring projektets mål, men också den typ av indikatorer jag gett exempel på ovan. Dessa data behöver värderas mot kunskap om vad som ger hållbara effekter. Målen är alltså ett värderingskriterium och hållbarheten är ett annat. Genom att personer från projektorganisationen deltar i analysen ökar den egna förståelsen för såväl problematik som drivkrafter att använda de lösningar som kommer fram. Lösningarna blir också omedelbart förankrade om rätt personer deltar i analysen. Med hänvisning till tabell 2 kan man säga att ett sådant analysseminarium motsvarar steg 1-8 vid ett och samma tillfälle, även om det ofta kanske behövs flera tillfällen. Men besluten tas sällan då och det är också en del av poängen att utvärderaren inte är en del av beslutandet. Slutsatser Så vad blir då svaret? Kan utvärdering vara både noggrann efterhandsbedömning och analysera projektens förutsättningar för långsiktiga effekter? Ja, jag menar att det är en kontinuerlig efterhandsbedömning uppdelad i kortare perioder. Resultaten värderas däremot inte bara mot interventionens mål utan också mot kritiska faktorer för hållbarhet. Man blickar alltså bakåt kring det som gjorts medan värderingen kan sägas vara framåtblickande lägger det som gjorts grunden för långsiktiga effekter eller inte? Detta kräver dock kunskaper hos utvärderaren i hållbart utvecklingsarbete. Är en kritisk och aktiv utvecklingsroll förenlig med att bedöma projektets resultat? Ja, jag menar att utvärderaren kan vara kritisk på så sätt att man synliggör brister i genomförandet. Vad som är brister avgörs av värderingskriterierna som alltså både kan vara projektmål och hållbarhetsfaktorer. På så vis görs en bedömning som kan fungera stödjande och styrande mot långsiktiga effekter. Då utvärderingen delas in i flera kortare värderingsperioder så kan de också ges olika fokus och därmed bli mer relevant (stödjande) i förhållande till de behov som föreligger i genomförandet. Kan man som utvärderare möjliggöra ökad kvalitet i projekt utan att ta över sysslor som projektorganisationen ska sköta? Ja, jag hävdar att med den interaktiva forskningsansatsen och gemensam kunskapsbildning som grund så står utvärderaren fri från beslutandet och man ger inga rekommendationer. Utvärderaren synliggör svagheter och tillhandahåller relevanta kunskaper och verktyg för en gemensam analys medan intressenterna är de som utformar lösningar och tar beslut.
Samlat finner jag därmed att utvärdering kan ha en processtödjande roll och samtidigt kallas utvärdering.
Referenser Brulin, Göran & Svensson, Lennart (2011). Att äga, styra och utvärdera stora projekt. Studentlitteratur, Lund. Ellström, Per-Erik. (2009). Användning och nytta av utvärderingar: ett lärandeperspektiv. I Svensson, Lennart; Brulin, Göran; Jansson, Sven; Sjöberg, Karin (red.) Lärande utvärdering genom följeforskning s. 103-129. Studentlitteratur, Lund. Halvarsson, Agneta; Öhman, Ann (2009). Hur teori kan bidra till lärande interaktiv forskning i nationella utvecklingsprogram. I Svensson, Lennart; Brulin, Göran; Jansson, Sven; Sjöberg, Karin (red.) Lärande utvärdering genom följeforskning, s.145-163. Studentlitteratur, Lund. Illeris, Knud (2007). Lärande. Studentlitteratur, Lund. Jansson, Sven; Wahlgren, Ingela (2013). Opublicerad powerpoint från föreläsning 2013-03-18 vid Mälardalens högskola, Eskilstuna. Karlsson Vestman, Ove (2013). Opublicerad powerpoint från föreläsning 2013-02-25 vid Mälardalens högskola, Eskilstuna. Karlsson Vestman, Ove (2011). Utvärderandets konst. Studentlitteratur, Lund. Svensson, Lennart; Brulin, Göran; Jansson, Sven; Sjöberg, Karin (red.) (2009). Lärande utvärdering genom följeforskning. Studentlitteratur, Lund. Sävenstrand, Andreas; Uliczka, Helen; Jansson, Sven; Svensson, Lennart (2013). Erfarenheter av lärande utvärdering. APeL, Örebro. Sävenstrand, Andreas & Florén, Anna-Karin (2011). Projekt på rätt väg om att komma framåt med Socialfonden. APeL, Örebro. Vedung, Evert (2009). Utvärdering i politik och förvaltning. Studentlitteratur, Lund. Volkov, Boris (2011). Beyond Being an Evaluator: The Multiplicity of Roles of the Internal Evaluator. New Directions for Evaluation, no. 132, Winter 2011. Wiley Online Library. Wikner, Mattias (2011). Den allsmäktige en kritisk diskussion om utvärderarens nya roll. Ramböll, Stockholm
Wistus, Sofia; Andersson, Mats (2009). Att organisera för lärande mellan forskning och utveckling erfarenheter från NTG partnerskap. I Svensson, Lennart; Brulin, Göran; Jansson, Sven; Sjöberg, Karin (red.) Lärande utvärdering genom följeforskning, s. 165-182. Studentlitteratur, Lund.