Bo Eriksson April Lärande utvärdering/följeforskning 7,5 hp Linköpings universitet, ESF-rådet och Tillväxtverket (f.d. NUTEK) Syfte och bakgrund

Transkript

1 On-going evaluation i praktiken Några reflektioner kring förutsättningar för att omsätta teorierna om on-going evaluation i utvärderingar inom ramen för Europeiska Socialfondens programområde 2 Ökat arbetskraftsutbud Bo Eriksson April 2009 Lärande utvärdering/följeforskning 7,5 hp Linköpings universitet, ESF-rådet och Tillväxtverket (f.d. NUTEK) Syfte och bakgrund

2 I detta paper beskrivs och analyseras förutsättningarna för att realisera utvärdering i enlighet med begreppet on-going evaluation i projekt inom ramen för Europeiska Socialfondens programområde 2, Ökat arbetskraftsutbud. Begreppet on-going evaluation, så som det har presenterats i kursen Lärande utvärdering - följeforskning samt i den lärobok 1 som kursen bygger på, relateras i papret dels till EU kommissionens ramar för utvärdering i enlighet med regelverket för on-going evaluation och dels till den verklighet som undertecknad möter i den dagliga praktiken som utvärderare i ett konsultföretag Jag väljer att själv genomgående använda den beteckning, on-going evaluation, som användes i det styrdokument från EU kommissionen 2 som ligger till grund för utvärderingsarbete inom strukturfonderna. Anledningen är att det på svenska finns flera olika begrepp som används men att dessa inte helt motsvarar begreppet på engelska. Det känns inte adekvat att använda beteckningen följeforskning därför att forskning och utvärdering är två helt olika företeelser med olika utgångspunkter och användning. On-going evaluation är inte forskning utan utvärdering. Beteckningarna lärande utvärdering samt processtödjande och lärande utvärdering känns mer adekvata men inte heller de täcker helt in det begrepp som EU kommissionen använder. En viktig anledning är förmodligen att on-going evaluation är en politisk/byråkratisk specifikation av vad utvärderingar inom strukturfonderna ska syfta till, hur de ska genomföras och vilka kvalitetskriterier som gäller. De svenska begreppen synes i hög utsträckning vara definierade utifrån hur företrädare för den svenska akademin ser på utvärdering Förutsättningarna för att i praktiken genomföra utvärdering i enlighet med begreppet on-going evaluation belyses utifrån nedan angivna frågeställningar. Arbetet begränsas till utvärdering av projektverksamheter inom ramen för Europeiska Socialfondens programområde 2, Ökat arbetskraftsutbud eftersom det är det område som jag är mest bekant med. Hur definierar EU kommissionen begreppet on-going evaluation? Hur ser Svenska ESF-rådet, centralt och ute i regionerna, samt de projektägare som driver projekt inom ramen för Socialfondens programområde 2 på ongoing evaluation? Vilka konsekvenser får on-going evaluation för utvärderarens roll, val av utvärderingsstrategi, utvärderingsmetoder samt behovet av resurser för att genomföra en sådan utvärdering? Valet av frågeställningar i detta paper är kopplat både till en ambition att förstå begreppet ongoing evaluation och att kunna bidra till att realisera on-going evaluation i praktisk handling. Tolkningar av begreppet on-going evaluation 1 Brulin, Jansson, Sjöberg och Svensson, 2009, Lärande utvärdering följeforskning 2 European Commission (Directorate General Regional Policy), Working Document No. 5, October

3 För att kunna pröva och utveckla frågeställningarna finns ett behov av att sammanfatta de teorier och tolkningar av on-going evaluation som har presenterats i kursen och som jag anser vara relevanta i relation till mina frågeställningar. En utgångspunkt kan dock vara att först se på hur EU kommissionen definierar begreppet. EU kommissionens definition av ramarna för on-going evaluation EU kommissionen har under programperioden en ambition att medlemsländerna ska bygga upp en gemensam strategi och kunskap avseende utvärdering av såväl projekt som program, vilket saknats under tidigare programperioder. Denna strategi har formulerats i Indicative guidelines on evaluation methods: evaluation during the programming 3. I det nämnda dokumentet definieras on-going evaluation på följande sätt: On-going evaluation is a process taking the form of a series of evaluation exercises. Its main purpose is to follow, on a continuous basis, the implementation and delivery of an operational programme and changes in its external environment, in order to better understand and analyse outputs and results achieved and progress towards longer-term impacts, as well as to recommend, if necessary, remedial actions. Kärnan i definitionen är att utvärderingsaktiviteter genomförs under projekttiden för att bättre kunna förstå och analysera resultaten och de långsiktiga effekterna. I tidigare programperioder har utvärderingar gjorts i allt för sent skede och utvärderingsresultaten var ofta för otydliga för att de skulle kunna vara användbara för styrning och implementering. Fyra principer ska styra on-going evaluation: Proportionalitet i fråga om utvärderingarnas omfattning i relation till projektstorlek och riskområden i fråga om implementering. Utvärderarna ska vara oberoende i relation till berörda myndigheter för att säkra trovärdigheten i utvärderingsresultaten. Det är viktigt att intressenter i projektens partnerskap deltar i planering, utformning och genomförande av utvärderingarna. För att skapa transparens och stimulera den offentliga debatten ska utvärderingsrapporter publiceras. Kvalitetskrav anges både för utvärderingsprocessen och för utvärderingsrapporten. Några viktiga punkter är att: Målformuleringar i projekten måste vara sammanhängande och tydliga för att kunna utvärderas. Valda utvärderare ska ha förmåga att genomföra en utvärdering med god standard. Utvärderingsdesignen ska vara ändamålsenlig för att svara på utvärderingens huvudfrågeställningar. Utvärderingen ska ge möjligheter till dialog mellan utvärderare samt beslutsfattare och projektansvariga. Utvärderingen ska bygga på insamling av adekvata data med hög reliabilitet som tillgodoser informationsbehov i enlighet med direktiven för on-going evaluation. Det ska vara en öppen process som involverar olika intressenter. 3 European Commission (Directorate General Regional Policy), Working Document No. 5, October

4 Data ska analyseras i enlighet med etablerade normer och resultat ska kunna verifieras på ett objektivt sätt. Utvärderingsrapporter ska beskriva samband och målsättningar, organisation och resultat på ett sådant sätt att de är lätta att förstå. De ska också innefatta rekommendationer som är användbara för beslutsfattare och intressenter. Sammanfattningsvis kan man säga att utvärderingsinsatserna förväntas vara efterfrågestyrda, utvecklingsstödjande, framåtsyftande, processinriktade och att resultaten av utvärderingsinsatserna ska återkopplas till ledning och andra ansvariga. Tolkningar utifrån presenterat kursmaterial I kursen samt kursboken Lärande utvärdering - följeforskning har ett antal tolkningar av vad on-going evaluation står för presenterats. Det följande är ett subjektivt urval av dessa. Göran Brulin talar både i termer av följeforskning samt processtödjande och lärande utvärdering 4. Han särskiljer tre syften med den nya formen av utvärdering. För det första syftar processtödjande utvärdering - följeforskning till att bättre styra projekt och program mot de mål som anges. För det andra så ska resultat och erfarenheter från strukturfonderna återföras till den offentliga diskussionen. Det tredje syftet är att bidra till ett systematiskt lärande om hur det regionala tillväxtarbetet och arbetsmarknadspolitiken kan bedrivas i bättre former. Jonas Månson pekar på två skillnader i utvärderingsansatserna mot tidigare programperioder. 5 Den första är att genomförandeutvärderingar 6 har blivit mer betydelsefulla. Den andra skillnaden är att tidshorisonten mellan efterhandsutvärderingar och återrapportering till projekten avsevärt har förändrats. Under tidigare programperioder skedde återkoppling vid halvtidsutvärdering samt vid ex postutvärdering. I denna programperiod med löpande utvärderingsinsatser kan återkoppling ske tidigt i projekten. Samtidigt påpekar Månsson att on-going evaluation kan innefatta olika kategorier av utvärderingar; måluppfyllelseutvärderingar, effektutvärderingar, effektivitetsutvärderingar och genomförandeutvärderingar. Ove Karlsson Vestman närmade sig kursens ämnesområde utifrån en diskussion kring meningen med utvärdering generellt samt hur utvärderingsarbetet har förändrat fokus över tid. 4 Brulin, Jansson, Sjöberg och Svensson, 2009, Lärande utvärdering följeforskning, kapitel 2. 5 Brulin, Jansson, Sjöberg och Svensson, 2009, Lärande utvärdering följeforskning, kapitel 5. 6 Genomförandeutvärdering definieras av Månson som en utvärdering som innebär ett studium av genomförandeprocesserna i sig själva. 4

5 Hans framställning 7 följer tre spår som han benämner: Definitioner och syftets vägar. Ett nutidshistoriskt perspektiv generationer och böljor. Praktikvägen presentation av tre idealtyper. Det första spåret behandlar vad utvärdering är och varför utvärdering görs. Karlsson Vestman konstaterar att det inte finns någon entydig definition av vad utvärdering är men menar att följande element ingår: Utvärdering ska vara systematisk, vilket innebär att information hanteras enligt vissa principer, det finns en explicit metod eller procedur som visar hur man går tillväga i utvärderingen och utvärderaren följer en arbetsplan med vissa steg i viss ordningsföljd. En utvärdering ska inte enbart beskriva, kartlägga eller mäta utan också uttrycka ett värdeomdöme vilket kräver att det finns bedömningskriterier att förhålla sig till. Vilka värderingar som ska ligga till grund för bedömningen är, menar Karlsson Vestman, en central fråga vid utvärdering. En annan central aspekt som tas fram är att en utvärdering är relaterad till en målinriktad intervention som uttrycker en strävan att förbättra samhället. Utvärderingens funktion är i detta avseende att både beskriva vad som är rätt att göra och hur vi kan göra saker på rätt sätt. Objektet för utvärdering kan vara t.ex. en policy, en verksamhet, en process eller ett resultat. I utvärderarens uppgift ingår också att redovisa utvärderingen i form av en rapport eller på något annat sätt. Karlsson Vestman utgår i den historiska beskrivningen av utvärderingens utveckling från en beskrivning av Guber och Lincoln (1989). De anger fyra generationer av utvärdering. Den första är mätande eller målbaserad utvärdering ( ) och den andra är bedömande utvärdering ( ). Kännetecknande för den tredje generationens utvärdering ( ) är professionaliseringen inom utvärderingsfältet. För att få en tydligare grund för sin position som bedömare så började utvärderare att utforma etiska riktlinjer och tala om utvärdering som profession. Vid den fjärde generationens utvärdering (1980 och framåt) betonas pluralism, kvalitativa metoder och lärande. I kursbokens avslutande kapitel menar författarna 8 att ingen av de former som Guba och Lincoln beskriver passar för en lärande utvärdering (i form av följeforskning) som både ska vara till praktisk nytta och kritisk samt bidra till långsiktiga effekter och teoriutveckling. Författarna försöker istället formulera ett alternativ, den femte generationens utvärdering som kännetecknas av stöd för lärande och kritisk konstruktiv reflektion. Karlsson Vestman menar att det finns tre idealtypiska inriktningar för utvärdering och att dessa prioriterar olika kunskaper och lärande 9. 7 Brulin, Jansson, Sjöberg och Svensson, 2009, Lärande utvärdering följeforskning, kapitel 4 samt OH material redovisat vid muntlig presentation Brulin, Jansson, Sjöberg och Svensson, 2009, Lärande utvärdering följeforskning, kapitel Brulin, Jansson, Sjöberg och Svensson, 2009, Lärande utvärdering följeforskning, kapitel 4 samt OH material redovisat vid muntlig presentation

6 Den första, kontroll och ansvarsutkrävande utvärdering, producerar främst teknisk instrumentell kunskap via vetenskapliga metoder. Den andra, praktik och erfarenhetsbaserad utvärdering, prioriterar tolkande och handlingsbaserad kunskap som tar hänsyn till olika kulturer och erfarenheter. Den tredje, interaktiv dialoginriktad utvärdering, betonar kunskap om förändringars värdemässiga innebörd och fördelningspolitiska konsekvenser. Den första typen av utvärdering kan bidra till att vi lär oss nya metoder och tekniker som kan utveckla vår professionella yrkeskunskap och vidga perspektiven på yrkesverksamheten. Att utveckla tolkande och handlingsinriktad kunskap handlar, menar Karlsson Vestman, om att lyfta fram den tysta kunskapen och att bli medveten om olika subgruppers och kulturers sätt att se på och värdera en viss fråga. En viktig aspekt som framhålls inom den interaktiva dialoginriktade utvärderingstraditionen är att lärandet inte enbart är en individuell process utan att lärande också kan vara kollektivt. Svensson och Sjöberg lyfter i kapitel 1 i kursboken fram syftet med och genomförandet av utvärderingar utifrån två kompletterande synsätt. Planeringsstrategi Utvecklingsstrategi Inriktning Resultat (summativ) Process (formativ) Mål Mätning/kontroll Lärande/förståelse Effekter Bekantgöra Nyttiggöra Rapportering Skriftlig Muntlig Perspektiv Uppifrån Integrerat nedifrån och uppifrån Kommunikation Envägs Tvåvägs Förhållningssätt Distanserat Närhet Förutsättningar Slutet, förutsägbart Öppet, oförutsägbart Lärande Anpassningsinriktat Utvecklingsinriktat Svensson och Sjöberg betonar att de två synsätten är komplementära och att de i praktiken kombineras på olika sätt beroende på typ av utvärderingsuppdrag. Författarna menar att modellen kan vara ett stöd i en dialog kring olika sätt att organisera utvärdering. Per Erik Ellström vidareutvecklar i kursbokens sjunde kapitel lärandeperspektivet på utvärdering genom att diskutera olika former av kunskapsanvändning, vad en lärande utvärdering är samt hur en utvärdering kan främja lärande. Ellström fokuserar i sin framställning på hur utvärderingar kan komma till nytta och han ser idén om lärande utvärdering som en reaktion på att utvärderingar inte i tillräcklig omfattning kommer till användning. Ellström framhåller betydelsen av: Ett interaktivt synsätt på utvärdering som bygger på nära samverkan mellan utvärderarna och användarna av utvärderingar, och där användarna inbjuds att vara delaktiga i planering och utformning av utvärderingen. 6

7 Att utvärdering medvetet utformas och genomförs som en lärandeaktivitet och som en del av en strategi för lärande och kunskapsanvändning i den verksamhet som utvärderas. Sjöberg, Brulin och Svensson sammanfattar i kapitel 14 att en lärande utvärdering karakteriseras av att den: är formativ, d.v.s. processbaserad och sker löpande; kommer in tidigt i ett program-, respektive projektgenomförande; kräver en närhet till deltagarna; ska vara till omedelbar nytta för olika berörda; förutsätter en kontinuerlig återkoppling, som kan ske med olika ambitionsnivåer (från en ensidig feedback, till dialog och gemensam analys); bidrar med underlag för ett utvecklingsinriktat lärande och gemensam kunskapsbildning; studerar måluppfyllelse, men är medveten om att målen kan förändras över tid; bidrar till allmän debatt och ger en generell kunskapsbildning. De redovisade teoriavsnitten har varit viktiga i mina egna reflektioner kring de frågeställningar som presenterades i inledningen till detta paper. Resonemang kring frågeställningarna En viktig förutsättning för att skapa goda förutsättningar för genomförande av utvärderingar i enlighet med EU kommissionens intentioner bör vara att det finns ett gemensamt synsätt hos berörda aktörer kring vad on-going evalution innebär. Ramarna för utvärderingsarbetet inom det fält som studeras i detta paper styrs av hur Svenska ESF-rådet tolkar EU kommissionens riktlinjer samt hur dessa förankras och tillämpas i projekt inom programområdet. Hur ser Svenska ESF-rådet, centralt och ute i regionerna, samt de projekt-ägare som driver projekt inom ramen för programområde 2 på on-going evaluation? Svenska ESF-rådets tolkning av begreppet on-going evaluation framgår dels av de anvisningar 10 som ges till organisationer som ansöker om medel för att driva projekt och dels av de kriterier 11 som Svenska ESF-rådet använder för bedömning av utformning av uppföljning och utvärdering av projekt inom programområde 2. Svenska ESF-rådet använder både begreppet `Ongoing Evaluation och begreppet `genomförandeutvärdering i dessa dokument. Syftet med utvärderingar inom Socialfonden anges vara att bidra till både lärande och en god styrning av projekten. En uppdelning görs i uppföljning respektive utvärdering. Med uppföljning menar man främst insamling av data kopplade till kvantitativa mål med socialfondsprogrammen. Utvärdering innebär enligt vägledningsmaterialet ett större inslag av analys inriktad på att förklara ((belysa 10 Handledning för uppföljning och utvärdering inom Socialfonden, , Sven Jansson, Svenska ESF - rådet 11 Nationella urvalskriterier och urvalsmodell för det svenska socialfondsprogrammet , , Svenska ESF-rådet. 7

8 orsakssammanhang) och bedöma (värdera utifrån uppsatta mål och relevanta jämförelser eller alternativ resonemang) verksamhetens resultat och effekter. I vägledningen ges fyra olika exempel på utvärderingstyper. Dessa definieras enligt Månsons typologi, se sidan 4. Sammanfattningsvis betonas vikten av att involvera utvärderingskompetens i ett tidigt skede av projektprocessen, att utvärderaren har den sakkunskap och kompetens som är nödvändig för uppdraget samt att utvärderingen ska vara ett stöd i projektgenomförandet. En stor del av vägledningsmaterialet bygger på skriften `Nytta med följeforskning författad av Göran Brulin. Av de nationella urvalskriterierna framgår att en genomförandeansökan inom programområde 2 ska bedömas utifrån följande kriterier: Idéerna till planerad uppföljning, utvärdering och lärande av arbetsprocess och resultat. Planerade aktiviteter för att rigga uppföljning, utvärdering och lärande av och i projektet. Hur insatserna förväntas bidra till lärande i projektet. Hur aktiviteterna ska bidra till att stärka möjligheterna för att projektresultaten får avsett genomslag. Handläggarna på de regionala ESF kontoren har en roll både vid bedömning av ansökningar och vid uppföljning av pågående projektverksamheter. En intressant frågeställning för programutvärderarna inom programområde 2 bör vara att följa upp i vilken utsträckning det centrala synsättet är förankrat på regional nivå. Hur ser regionkontoren på frågorna kring utvärderingars betydelse, syfte, metoder och resursbehov? I vilken omfattning har vikten av och inriktningen av utvärderingsarbetet förankrats hos projektansökare och i beviljade projekt? En genomgång som undertecknad gjort av ett femtiotal beviljade ansökningar producerade i Sydsverige, Småland & Öarna samt Västsverige visar att kvalitén i de beskrivningar som ska ligga till grund för bedömning av om en ansökan motsvarar urvalskriterierna är högst skiftande och att det i ett antal fall kan ifrågasättas om de verkligen uppfyller de formella kriterierna i fråga på utvärderingsområdet. I många av ansökningarna saknades både sammanhängande och uppföljbara målsättningar samt strukturerade beskrivningar för hur utvärderingen skulle genomföras, i synnerhet på vilket sätt utvärderingen förväntades bidra till lärande och implementering. Även resurstilldelningen till utvärdering är mycket olika i ansökningarna. En annan frågeställning som bör uppmärksammas i relation till ESF-rådet är hur utvärderingar kan komma att används. Handläggningen hos de regionala ESF kontoren har ett starkt fokus på kontroll medan utvärderingens fokus kräver öppenhet och förtroende. Projektägare och samverkanspartners i projekten kan komma att ha svårt att låta sig involveras i en öppen dialog om det som kommer fram i dialogen kan komma att medföra ekonomiska konsekvenser för projekten och till och med att de avslutas. 8

9 Den skiftande kvalitén i projektansökningarna kan också kopplas till projektägarnas varierande kompetens kring utvärdering och en utbredd uppfattning om att det är upp till varje projekt att lägga upp utvärderingen på det sätt man själv finner bäst. Olika projektägare har också varierande uppfattningar om syftet med utvärderingsinsatsen. En del projektägare vill ha en utvärdering i enlighet med det synsätt som Svensson och Sjöberg benämner `Planeringsstrategi medan andra önskar en utvärdering i enlighet med den modell Svensson och Sjöberg benämner `Utvecklingsstrategi. I det första fallet handlar det ofta om att man vill visa upp (ofta kortsiktiga) resultat för att legitimera sin verksamhet och sitt sätt att arbeta (man vill få erkännande). Den egna verksamheten är i fokus och andras synpunkter har ingen relevans för verksamheten. I det andra fallet finns ett uttryckt intresse för att lära både av egnas och av andras erfarenheter. I många fall har utvärderingarna också en ansats som både innefattar en formativ och en summativ del. De olika motiven bakom att genomföra utvärderingarna och utformningen av dem påverkar också vem som har nytta av utvärderingen och på vilket sätt. För att kunna genomföra on-going evaluation i enlighet med EU kommissionens riktlinjer behöver det finnas tid för reflektion. Detta är något som projektägaren bör tänka på i samband med dimensioneringen av personalresurserna i projekten och hur dessa används. Som Molander och Ehneström påpekar i kapitel 3 i kursboken så fastnar projekt ofta i allt som ska göras. Man fokuserar på att prestera istället för att arbeta för att uppnå långsiktiga effekter. Här har finansiärerna en viktig roll i att skapa utrymme för långsiktighet. Några insatser som skulle kunna skapa bättre förutsättningar för utvärdering överhuvudtaget och för möjligheterna att realisera on-going evaluation i synnerhet bedömer undertecknad vara att: ESF-rådet (både centralt och regional) tydliggör betydelsen av och inriktningen på utvärderingsinsatserna genom att förankra riktlinjerna bättre, anordna seminarier kring utvärdering, fästa större vikt vid formuleringarna kring utvärdering i ansökningarna och ge projektägarna möjlighet att engagera en extern utvärderare redan i förprojekteringsfasen för stöd i utformning av projektlogik samt uppföljnings- och utvärderingsstruktur. Anvisningarna skulle också kunna innehålla ramar för hur stor andel av projektbudgeten som bör användas för utvärdering. ESF kontoren skulle kunna ha konsultstöd av professionell utvärderare för att fullgöra sin roll. ESF-rådet (både centralt och regionalt) skulle kunna främja den lärande aspekten genom att initiera lärseminarier mellan projekt och aggregering av utvärderingsresultat från ett större antal projekt. De som finansierar projekten (socialfonden och medfinansiärerna) och de som i egenskap av projektägare genomför behöver ta ett gemensamt strategiskt ansvar för att utvärderingsinsatser genomförs i enlighet med intentionerna samt att tillräckliga och adekvata resurser avsätts för detta. Det skapas även i mindre projekt ny kunskap som behöver lyftas för att utveckla de arbetsmarknadspolitiska insatserna. Det är viktigt med återföringen till den offentliga debatten men denna process behöver underlättas och stödjas av ESF-rådet. 9

10 Vilka konsekvenser får on-going evaluation för utvärderarens roll, val av utvärderingsstrategi, utvärderingsmetoder samt behovet av resurser för att genomföra en sådan utvärdering? Min egen uppfattning är att uppdragsgivare under den senaste femårsperioden i hög utsträckning efterfrågat en kombination av process- och resultatutvärdering med inslag av lärande. Modellen on-going evaluation fokuserar dock på ett tydligare sätt nödvändigheten av att utvärderaren kommer in i ett tidigt skede av projektprocessen, har en processtödjande och lärande funktion samt återför gjorda erfarenheter både till projektet och i form av deltagande i offentlig diskussion, lärkonferenser och seminarier. Detta innebär en breddning av utvärderingsuppdraget som bl.a. får konsekvenser för utvärderarens roll, de strategier och utvärderingsmetoder som används samt de resurser som behövs för att genomföra utvärderingsarbetet. Beviljade projekt i denna programperiod är i regel av den storleksordningen att det krävs mer än en person för att utvärdera. Ett team av utvärderare är ofta fördelaktigt för att kunna arbeta effektivt. Fördelningen av arbetsuppgifter kan ske på olika sätt. En organisation som utför utvärderingar kan ha personal med ansvarsfokus på olika områden men kan också tillföra kompetens genom sitt nätverk. För att göra en bra utvärdering i enlighet med modellen on-going evaluation inom Socialfondens programområde 2 krävs enligt min mening flera kompetenser: Kunskaper i utvärderingsmetodik (planering, informationsinsamling, sammanställning och bearbetning av data, analys och tolkning) Kännedom om det verksamhetsområde projektet bedrivs inom och förmåga att granska det utifrån olika typer av kunskapsramar. Kunskaper i projektmetodik. Grundkunskap om Europeiska Socialfonden och förutsättningarna för stöd till projekt som motverkar utanförskap. Förmåga att i dialog med projektaktörerna initiera en lärprocess. Förmåga att återföra utvärderingsresultaten muntligt och skriftligt på ett sätt som främjar implementering och spridning. Oavsett hur arbetsfördelningen görs och kompetensbehoven tillgodoses så innebär on-going evaluation, enligt min mening, att varje utvärderare behöver ha en bredare kompetensbas än tidigare Det fungerar inte att en person gör själva utvärderingsarbetet, någon annan tar hand om lärandet och en tredje står för återföring. Däremot kan organisationens reguljära resurser förstärkas med andra resurser t.ex. genom samarbete med andra organisationer med kompletterande kompetenser. Det kan vara samarbete med kompetens från olika högskolediscipliner, engagemang av specialister på att arrangera dialogseminarier eller engagemang av journalist för utformning av presentationsrapport. Dessa är dock endast kompletterande resurser som utvärderaren använder sig av för att kunna göra en kvalitativ utvärderingsinsats. I den litteratur som undertecknad har gått igenom tar flera utvärderare upp den lojalitetskonflikt som utvärderaren kan komma att hamna i när utvärdering genomförs enligt modellen on-going evaluation. För att kunna bidra med en kritiskt granskande analys så behövs viss distans mellan projekt och utvärderare medan en lärande process förutsätter förtroende och 10

11 tillit som skapas i en nära relation Utvärderingsteamet behöver därför ha en förmåga att skapa ett öppet klimat samtidigt som utvärderarna har en stark integritet. En annan viktig förmåga är också att kunna tydliggöra olika intressenters synsätt och handlande på ett sätt som inte upplevs provocerande. En stor tillgång i samverkansprojekt är att känna till olika intressenters verksamheter och att visa samma respekt för alla berörda.. I den nya programperioden krävs av projekten ett brett samarbete över sektorsgränser med organisationer som inte alltid vågar och/eller ser det som fördelaktigt för dem själva att vara delaktiga i en öppen dialog. Därför behöver finansiären, Socialfonden, genom ESF kontoren vid handläggning av ansökningar vara mycket tydliga med vilken delaktighet som krävs av medfinansiärer och andra samverkanspartners. Det vore också en fördel om det var ESF rådet som upphandlade utvärderare. Det skulle både utgöra ett incitament för ESF att ta ett aktivt ansvar för nyttiggörandet av utvärderingar och stärka utvärderarnas roll. Samarbete mellan fristående utvärderare och forskare i olika konstellationer är positivt både för att utveckla utvärderarrollen och metoderna för on-going evaluation. Gentemot projekten är det viktigt på vilket sätt utvärderaren förankrar sitt uppdrag. Det optimala är att alla aktörer som berörs av projektet också är med och formar utvärderingsupplägget. Detta sker idag i liten utsträckning och skulle behöva främjas. Praktiskt skulle detta kunna ske genom att ESF - rådet i samband med beviljandet av medel till förprojektering upphandlade utvärderare som tillsammans med aktörerna under förprojekteringen kunde vara med och forma strukturen för uppföljning och utvärdering av genomförandeprojektet. Ett användbart redskap är den modell för projektlogik som presenterats i kursen och som kursdeltagarna fått flera exempel på. Om berörda aktörer är med och utformar utvärderingens fokus och genomförande skapas en god grund för lärande och att utvärderingsresultaten ska komma till nytta. Det är viktigt att utvärderingsteamet också förankrar att det i utvärderingsuppdraget, förutom att inhämta, bearbeta och analysera information från olika intressenter, också ingår att: Utbyta erfarenheter i en dialog med projektaktörerna. Utvärderingsmaterialet och det som kommer fram i dialogen skapar lärande/förståelse. Utvärderingen kommer till nytta i utveckling av verksamheten. När jag jämför uppläggningen av utvärderingsarbetet i tidigare utvärderingsuppdrag med aktuella uppdrag så ser jag att strategi och metoder har anpassats så att metoderna för insamling, bearbetning och analys av data har integrerats med metoder för lärande och återföring. I högre utsträckning använder vårt företag numera metoder som fokusgrupper, deltagande observation och dialogmöten. Detta tillför i hög grad kvalitativ information till utvärderingarna samtidigt som det skapar delaktighet. I nu pågående utvärderingsuppdrag har vi i ökad utsträckning byggt upp strukturer för dialog i olika fora som projektgrupp, styrgrupp samt utvecklingspartnerskap. Vid dialog med projektgrupperna är de operativa frågorna i fokus och det handlar om reflektion genom samtal kring erfarenheter. I styrgruppen är det de strategiska frågorna som kommer i fokus och i utvecklingspartnerskapet de frågor som anknyter till utvecklingsbehov som de samverkande aktörerna har ett gemensamt intresse av att utveckla. Ovan resonemang kan åskådliggöras av följande struktur på utvärderingsprocessen i ett aktuellt uppdrag: För att kunna tillgodose ovan beskrivna utgångspunkter och hantera 11

12 utvärderingsarbetet på ett effektivt sätt är mitt förslag att utvärderingsprocessen delas in i sex faser där utvärderings- och återkopplingsaktiviteter genomförs i följande ordning (mer detaljerade beskrivningar finns i bilagorna 2-3): Inhämta information från projektledning, deltagare, personal och samverkanspartners. Sammanställa, bearbeta och analysera information. Ge återkoppling till projektteamet. Utveckla återföringsunderlaget efter feedback från projektteamet. Ge återkoppling till referensgruppen. Utveckla återföringsunderlaget ytterligare efter feedback från referensgruppen. Ge återkoppling till styrgruppen. Slutlig formulering av skriftlig delrapport efter återkoppling från styrgrupp. En sådan ordning förutsätter en planering där återkopplingen sker i slutet av respektive utvärderingsperiod i den följd som anges ovan. Det är min övertygelse att en process där utvärderingsmaterialet används för reflektion i flera steg skulle tydliggöra projektets utveckling och effekter på ett värdefullt sätt. Ett annat exempel på hur lärandet har förankrats i ett aktuellt utvärderingsuppdrag är följande: Om projektet ska kunna bidra till ett lärande så bör utvecklingsarbetet i projektet följa en lärandecirkel som kan sammanfattas i följande punkter: Hur arbetar vi idag? Vad är positivt/negativt? Varför arbetar vi som vi gör? Vilka alternativ finns? Hur kan man göra istället? Förslag till nytt arbetssätt/utveckla nya lösningar. Pröva den nya lösningen. Reflektera över hur det har gått. Hur ska vi fortsätta arbeta? Förutsättningen för att detta ska vara möjligt är att det finns ett utrymme för att arbeta på ett innovativt sätt i projektet och att de aktörer som är berörda är beredda att engagera sig i en lärandeprocess. Detta utvecklingsarbete är inte begränsat till projektet i sig utan innefattar också finansiärer, remittenter, brukarorganisationer, företagar- och arbetstagarorganisationer m.fl. On-going evaluation innebär också att frågan om hur mycket resurser som bör läggas på utvärderingsarbetet aktualiseras. Detta är en fråga som finansiären/beställaren har att hantera. Genomförarens uppgift är at hitta metoder att hantera det specifika utvärderingsuppdraget på ett effektivt sätt. Som genomförare av ett stort antal utvärderingsuppdrag inom det aktuella programområdet under ett antal år är det min uppfattning att projektägare ofta håller tillbaka kostnaderna på denna post i budgeten. En starkare styrning från ESF-rådet skulle i detta sammanhang vara önskvärt. I annat fall riskerar utvärderingar att inte komma till nytta p.g.a. att resurser inte har funnits för ett kvalitativt utvärderingsarbete. 12

13 Kraven kopplade till on-going evaluation påverkar också på vilket sätt den muntliga och skriftliga återkopplingen ska ske. För att återföringen ska kunna bidra till reflektion krävs att utvärderaren har en förmåga att formulera utvärderingsresultaten på ett sätt som stimulerar till reflektion och diskussion. Även här kommer tidsaspekten in. Återföringstillfällen behöver noga förberedas och struktureras. Sammanfattning och slutsatser Jag ser som utvärderare många möjligheter med on-going evaluation. Ansatsen är mycket positiv och upplevs överensstämma med hur jag själv vill arbeta med utvärdering. Jag ställer mig dock frågande till i vilken utsträckning det egentligen finns förutsättningar för att förverkliga intentionerna med on-going evaluation inom Europeiska Socialfondens programområde 2 i dagsläget. Jag har i detta paper pekat på upplevda behov av och möjligheter till utveckling av goda förutsättningar för on-going evaluation utifrån den egna praktiken som utvärderare. Jag är medveten om att detta innebär en begränsad referensram men tror ändå att framförda synpunkter är viktiga och har relevans även för andra. Den teoretiska basen för att göra bra utvärderingar är viktig men i praktiken så skapas förutsättningarna för utvärdering inom strukturfonderna i betydande utsträckning av det möjlighetsfönster som de regionala ESF kontorens syn på och tillämpning av direktiven för on-going evaluation, öppnar. Viktiga förutsättningar för att genomföra utvärderingar i enlighet med kravspecifikationerna för on-going evaluation som framförs i detta paper är: Ett gemensamt synsätt hos berörda aktörer kring vad on-going evaluation innebär. En tydligare förankring av tankarna bakom on-going evaluation från de regionala ESF kontorens sida framförallt gentemot projektägare och utvärderare. Ett tydliggörande av användningen av utvärderingsresultaten ur ett kontroll utvecklingsperspektiv. Stöd till projektägare att under förprojekteringen tillsammans med samverkanspartners och andra intressenter under ledning av en professionell utvärderare gå igenom projektetlogiken samt att utforma utvärderingsinsatser för genomförandeprojektet. Utveckling av projektägarnas förmåga att upphandla utvärdering. Tillräckliga resurser för utvärderingsarbetet, både för att berörda aktörer ska kunna delta i planering och genomförande av utvärderingen, och för att utvärderaren ska kunna genomföra sitt arbete på ett kvalitativt sätt. Utvärdering i enlighet med begreppet on-going evaluation har inverkan på utvärderarens roll, val av utvärderingsstrategi, utvärderingsmetoderna samt behovet av resurser för genomförande: Utvärderarrollen breddas vilket medför ett behov av fler kompetenser hos utvärderaren/utvärderingsteamet än tidigare. Förutom utvärderingshantverket så behöver utvärderaren ha förmåga att skapa dialog, bidra till lärande och att återföra utvärderingsresultaten på ett pedagogiskt sätt i olika fora. Utvärderaren kan komma att behöva anlita specialister som stöd i lärande samt återföringsprocess. 13

14 Samarbete och nätverksbyggande blir viktigare än tidigare för att kunna erbjuda rätt kompetens. Vikten av att skapa positiva möten mellan olika intressentgrupper och att fånga upp olika aktörers synpunkter accentueras. De förändrade kraven på utvärderingar inom Socialfonden har i mitt fall inneburit att användningen av metoder som fokusgrupper, deltagande observation och dialogmöten har blivit vanligare. Om man vill integrera utvärderingshantverket med lärande aktiviteter och återföring påverkar det uppläggningen av hela utvärderingsprocessen och behovet av resurser för att genomföra utvärderingsarbetet. Det är min förhoppning att ovan reflektioner i någon mån har kunnat bidra till en fortsatt konstruktiv diskussion kring on-going evaluation och möjligheterna att förverkliga utvärdering i enlighet med begreppet. Referenser Brulin, Jansson, Sjöberg och Svensson, 2009, kapitel ur boken Lärande utvärdering - följeforskning (ej publicerad) Indicative Guidelines on Evaluation Methods: Evaluation During the Programming Period. Working Document No. 5, April Karlsson, Ove (1999): Utvärdering - mer än en metod. Stockholm: Kommentus förlag. Vedung, Evert (1998): Utvärdering i politik och förvaltning. Lund: Studentlitteratur. Andersson, M m.fl. (2005): Om konsten att utveckla partnerskap. Stockholm: Arbetslivsinstitutet. Delar av Delander, L. och Månsson, J. (2007) "Framgången hemlighet - att utvärdera måluppfyllelse, effekter, effektivitet och genomförande", Ungdomsstyrelsen 2007:2, ISSN , ISBN Forss, Kim (2007): Utvärdering som hantverk bortom mallar och manualer, Studentlitteratur Handledning för uppföljning och utvärdering inom Socialfonden, , Sven Jansson, Svenska ESF rådet Nationella urvalskriterier och urvalsmodell för det svenska socialfondsprogrammet , , Svenska ESF rådet. 14