Titel: Ongoing evaluation scorecard Tankar kring ett utvärderingsverktyg för ERUF ESF projekt

Titel: Ongoing evaluation scorecard Tankar kring ett utvärderingsverktyg för ERUF ESF projekt Bernhard Karli Lärande utvärdering/följeforskning 7,5hp Linköpings universitet, ESF rådet, Tillväxtverket [f.d.nutek] Våren 2009

Bakgrund Inför införandet av EU:s sjunde programmperiod och sammanhållningspolitik för perioden 2007 2013 utarbetade DG Regio riktlinjer 1 på hur utvärdering och följeforskning av programmen skulle bedrivas bland medlemsstaterna. Baserat på EU:s dokument tog NUTEK [numera Tillväxtverket] fram en vägledning för utvärdering av programm och projekt som finansieras med hjälp av EU:s sammanhållningspolitiska strukturfonder 2. I samarbete med ESF rådet och HELIX vid Linköpingsuniversitet har NUTEK utarbetat en kurs i lärande genom utvärdering/följeforskning. Kursens andra omgång pågick under våren 2009 då detta dokument skrevs. I förord till boken Lärande utvärdering följeforskning 3 påpekar författarna Brulin, Jansson, Sjöberg och Svensson att forskning har bevisat att utvecklingsarbete sällan är hållbart. I de nya strategierna för utveckling till ex. projekt finansierade av strukturfondsmedel är lärandeperspektivet centralt, vilket ställer stora förväntningar på utvärdering som ett viktigt instrument för hållbar framgång. Utmaningen ligger i att kunna koppla samman insatta resurer, genomförda aktiviteter och uppnådda resultat samt effekter med hjälp av indikatorer menar NUTEK. Syfte Syftet med pappret är att reflektera över hur programåtgärder kan klassificeras och betygsättas med hjälp av indikatorer under utvärdering/följeforskning och därmed mögliggöra en jämförelse av räntabilitet på investerade resurer. Vidare skall pappret undersöka genomförbarheten av att utveckla ett enkelt utvärderingsverktyg baserad på viktiga indikatorer för ERUF och ESF finansierade projekt. Utvärderingsverktyget ska utvecklas av kursdeltagarna själva efter kursens avslutning i en slags ongoing process som förfinas vartefter erfarenhet och kunskap inhämtas. Utvärderingsverktyget skall underlätta förståelse för utvärdering/följeforskning samt stödja kommunikation av forskningsresultat till samhället och myndigheter som har till uppgift att förvalta sturkturfonder. Disposition Bakgrunden och syftet följs av teorier ur litteraturen samt forskningsresultat som kan ligga till grund för ett utvärderingsverktyg. Därefter ställs de av NUTEK identifierade indikatorerna kring insatsområden och horisontella kriterier som gäller under programperioden 2007 2013 i förhållande till utvärderingsmodeller som anses vara lämpligast för ERUF och ESF stödda programm. Vidare reflekteras det kring för och nackdelar med dessa indikatorer. Diskussioner under kursens gång kommer att berika resonemanget om verktyget. Slutligen sammanfattas tankarna och ett förslag läggs fram till hur resonemanget kan föras vidare.

Forskning På den operativa nivån i statliga myndigheter förstås utvärdering oftast som effektmätning vilket kan leda till missförstånd redan vid målsättningen av en utvärdering. Definitionen av utvärdering enligt Vedung 4 ) är en noggrann efterhandsbedömning av utfall, slutprestationer eller förvaltning i offentlig verksamhet, vilken avses spela en roll i praktiska beslutssituationer. Vidare förtydligar Vedung att det finns två huvudtyper av utvärderingar: effektmätningar som undersöker om/hur en offentlig åtgärd kausalt har gett upphov till konsekvenser och kvalificerad uppföljning som innefattar både insamling och redovising av data samt en aktiv medverkan under prestationens utveckling. Månsson 5 menar att en effekt är en skillnad mellan två alternativa förlopp. Förutsättning för att kunna utföra en effektmätning är förekomsten av ett kontrafaktiskt förlopp som till ex. en kontrollgrupp i medicinsk forskning. Denna möglighet antas vara osannolik vid genomförandet av det nuvarande strukturfondsprogrammet 2007 2013. Eftersom resultatstyrnings tänkandet lär vara väl förankrat i den svenska statliga budgetprocessen och i Nuteks operativa genomförande av strukturfonder bör ett verktyg som stödjer utvärderingsprocessen vara välsedd. Emellertid är valet av utvärderingsmodell och indikatorer av högsta betydelse för verktygets tillämpning och trovärdighet. Vedung 6 grupperar utvärderingsmodeller under tre rubriker: substansmodeller, ekonomiska modeller och institutionella modeller. De tre presenteras i tabellform nedan. Tabell 1. Substansmodeller Substansmodeller Fördelar Nackdelar Måluppfyllelsemodellen - Demokratiskt fastställda mål - Enkelhet - Objektiv värdering - Betraktar inte bieffekter - Betraktar inte kostnader Bieffektsmodellen Mållösa utvärderingsmodellen Helsystemmodellen som ovan och dessutom - Bieffekter beaktas - Vid tidshorisont - Mindre kostsam och lättare att hantera än ovan - Kan ge underlag för handling - Mäter genomförandeprocesser mellan beslut om inflöde och utfall på samhällsnivå - Oklara värderingsgrunder - Betraktar inte kostnader - Vilar på deskriptiv värderingsteori - Betraktar inte kostnader - Konturlös - Betraktar inte kostnader Brukarmodellen - Värdepluralism - Betraktar inte kostnader Intressentmodellen (stakeholder approach) - Se nedan - Betraktar inte kostnader - Kostsam OBS Brukarmodellen anses inte vara lämplig som utvärderingsmodell eftersom brukarna i strukturfondsperspektivet inte kan förväntas inneha en förståelse för kostnads intäkts perspektiv. Däremot bör någon form av intervjuer ingå i modellen som används vid tillämpning av ett eventuellt utvärderingsverktyg.

Vidare presenterar Vedung (s.76) en uppställning av Guba & Lincoln över tänkbara intressenter i ett offentligt progam där utvärderingen görs enligt en intressentmodell. Fördelen med den nordamerikanska modellen är att den är öppen och att berörda medborgare, mottagare, myndigheter, utövningsinstanser samt utvärderingsgemenskapet ingår i utvärderingen. Modellen är per definition pluralistisk och kvalitativ. Eftersom den har förmågan att fånga okända, oklara eller osammanvägbara mål motsvarar den allmänhetens uppfattning av demokrati i den offentliga verksamheten. Vedung menar att intressenternas mångfaldighet ökar användbarheten av utvärderingar som utförs enligt intressemodellen. Dessutom ger modellen utvärderaren möjlighet att koncentera sitt arbete på de lokala sammanhangen som bör vara huvudmålen för strukturfonderna. Gemensamt med de övriga susbstansmodellerna tar modellen tyvärr inte hänysn till kostnader och är dessutom kostsam att utföra. Tabell 2. Ekonomiska modeller Ekonomiska modeller Fördelar Nackdelar Produktivitetsmätning - Kostnader beaktas - Relativt enkel att beräkna och förmedla - Mäter enbart inre effektivitet - Referensfall krävs Effektivitet: som ovan och dessutom - Ger enbart delperspektiv kostnads intäkts analys - Mäter värdet av output i förhållande till kostnader - Tar inte i betraktan samhällspolitiska krav Effektivitet: kostnads nyttoanalys - Kostnader beaktas - Ställer output i fysiska termer i förhållande till kostnader som ovan Av de ovannämnda ekonmiska modeller som forskning har identifierat bör enbart effektivitetsmodellen som betraktar kostnads nytto analysen tas i betraktan vid sammansättning av ett utvärderingsverktyg eftersom den fångar upp insatsens effekter i fysiska termer i förhållande till insatsens kostnader. Tabell 3. Institutionella modeller Institutionella modeller Fördelar Nackdelar Kollegebedömning - Granskar utvärderingens kriterieval och tillämpning - Tar inte hänysn till sakfrågor - Opolitisk - Tidskrävande SOU modellen - Intressentmodell - Kan hantera otydliga mål - Politiskt användbar och känd - Befrämjar kompromisser Både Karlsson 7 och Vedung lyfter fram skillnanden mellan den representativa demokratisynen som substans och ekonomiska modeller tar i betraktan och den demokratiska principen om deltagande som interessentmodellen bygger på. Forskning visar att alla modeller har sina fördelar och nackdelar och ger endast partiella svar och perspektiv. Vid en utvärdering bör därför mer än en modell tillämpas och de som representerar den parlamentariska demokratin ges ett försteg.

Indikatorer Inledning En indikator utgör ett koncentrat av stora mängder information som vanligen finns utspridd på flera olika källor. Indikatorer används också för att samla och bearbeta data I ett strukturerat sätt vid frågeställningar. Indikatorer ställs i förhållande till urvalskriterier: en kvantitativ indikator baseras på en uppräkningsprocess medan en kvalitativ indikator formuleras i ett påstående som verifieras under ett datainsamlings moment. Utmaningen ligger i att formulera indikatorer utifrån frågor som baseras på urval och/eller utvärderingskriteria. Som Delander och Månsson påpekar är frågan i utvärderingssammanhang inte om kvalitativa eller kvantitativa metoder eller indikatorer är bättre men hellre hur arbetssättet och utvärderingssyften kompletterar varandra. Indikatorer möjliggör att kvalificera den uppfattade framgången av ett program som utvärderas med hjälp av substans eller institutionella modeller. Eftersom flera indikatorer kan utarbetas för en och samma utvärderingskriterie kan ett flertal indikatorer användas för att kontrollera och stärka bevisunderlaget. Uppföljningen och utvärderingen som baseras på indikatorer ger tillförlitliga uppgifter om viktiga fenomen och ämnesområden. Till en indikators grundkaraktär hör att den förenklar saker och ting, vilket innebär att man inte kan dra säkra slutsatser utifrån en eller några indikatorer. Indikatorer är i sig inte ett mått eller ett bevis på en effekt. Indikatorer tyder enbart på en ändring som kan vara effekten eller konsekvensen av en offentlig åtgärd. Enligt ITPS innehåller samtliga halvtidsutvärderingar som gjordes under de senaste struktfondsprogrammen relevant diskussion om indikatorernas brister och kvalitet. 8 Den första svagheten med att använda indikatorer anges vara definitionsproblematiken. Vid fastställande av indikatorer är objektivitet svår att säkerställa eftersom indikatorerna väljs ut av sakkunniga baserad på subjektiva värderingar. När indikatorerna väl är fasställda blir de svåra att modifiera eftersom jämförelse över tiden därmed blir omöjlig att utföra precis det som följeforskningen egentligen eftersträvar. Den andra svagheten med att använda indikatorer tycks vara tillämpningsproblematiken eftersom indikatorer förstås ofta vara lika viktiga. Att ifragasätta om alla indikatorer borde ha samma tyngd i en programutvärdering är berättigad. Men även om man inser meriten av att införa en vägning av indikatorer är utförandet av en sådan uppgift svår om överhuvudtaget möglig att rättfärdiga på ett övertygande sätt. 9 I utvärderingsfasen kan även misförståelse uppstå vid bedömningen av indikatorer som rapporteras. Definitionsmässigt fungerar indikatorer snarare som grova hjälpmedel mer än exakta riktmärken. Om utvärderaren däremot är medveten om svagheterna är indikatorer ett värdefullt arbetsinstrument.

Indikatorer för strukturfondsprogram 2007 2013 Enligt vad som fastställts i den svenska nationella strategiska referensramen för sammanhållningspolitik 2007 2013 10 har fyra temaområden prioriterats nämligen: innovation och förnyelse kompetensförsörjning och ökat arbetskraftsutbud tillgänglighet strategiskt gränsöverskridande samarbete. Utifrån dessa prioriteringsområden kan de regionala strukturfonderna fastställda vilka mål som prioriteras i den enskilda regionen. För att kunna mäta hur insatserna bidragit till målen har NUTEK fastställt ett antal indikatorer grupperade kring aktivitet, effekt, de horisontella kriterierna, kontext, resultat samt finansiell resursanvändning. Indikatorerna används på region, program, insatsområdes nivå och naturligtvis även på projektnivå. 11 Aktivitets och resultatindikatorer är tydligt verksamhetsorienterade och ska mäta de aktiviteter som genomförts och de resultat som uppnåtts för respektive projekt. Ekonomiska indikatorer ska mäta hur programmet fortskrider i ekonomiska termer. Effektindikatorer ska följa programmets påverkan på regionen. Så kallade kontextindikatorer är i mindre grad relaterade till programmets utförande men inte oväsentliga i syftet av lärande genom utvärdering/följeforskning. För programperioden 2007 2013 har följande kontextindikatorer valts ut: antalet nystartade företag, förändring i BNP (eller BRP) årlig tillväxt, förändring i BNP (eller BRP) per capita och sysselsättningsutveckling med avseende på dagbefolkning. Fördelar/nackdelar av utvalda indikatorer De av Nutek fastställda aktivitets och resultatsindikatorerna uppfyller argumenten för demokrati, forskning och enkelhet som eftersträvs av utvärdering/följeforksning enligt måluppfyllelse modellen. De ekonomiska indikatorer som har tagits fram används huvudsakligen i genomförande skedet och utgör ett arbetsredskap för uppföljning snarare än utvärdering/följeforskning. De kan inte tillämpas vid utvärdering/följeforskning enligt ekonomiska modeller och anses därmed vara av föga nytta för en utvärderings/följeforsknings process. Effektindikatorer och kontextindikatorer ter sig däremot gångbara i samtliga utvärderingsmodeller men yrkar på statistiska undersökningar under utvärderingsprocessen.

Alla de av Nutek valda indikatorerna är kvantitativa och ger svar på kravet om what you don t measure, you don t manage. Målen ges en operationell definition i mätbara termer. Däremot verkar urvalskriterierna som används vid beslut om åtgärder och projekt inte vara ålagd utvärderingsprocessen i samma omfattning. För att komplettera utvärdering/följeforskningsprocessen borde även kriterierna som använts vid val av programåtgärder och projekt ingå i utvärdering och granskas med hjälp av indikatorer. Genom att formulera teoretiska utgångspunkter och utvärderingskriterier utifrån Nuteks urvalskriterier bör man kunna utarbeta indikatorer av induktiv karaktär. 12 Dessa indikatorer bör sanktioneras av en referensgrupp och testas med hjälp av kontrollgrupper. Scorecard Med åtgärdsdokumentet för Övre Norrland som exempel har ett försök gjorts härnedan att gruppera urvalskriterier per delområde. Eftersom de horisontella kriterierna och tillhörande indikatorer är gemensamma för alla åtta program har de lämnats åt sidan för papprets syfte.

Tabell 4. Exempel på indikatorer Område Urvalskriterier Innovation och förnyelse Brett deltagande från näringslivet Förbättrad miljö Infrastrukturella insatser som görs för att skapa miljöer som främjar entreprenörskap Länsöverskridande samarbete Marknadsutvidgning och internationellt samarbete Medverkan i strategiprogram för nyckelbranscher Ökad integration och mångfald Samverkan och nätverksbyggande Ungdomars deltagande Utvecking av den internationella konkurrenskraften för att kunna attrahera utländska aktörer Utveckling eller förnyelse av näringslivet Delområden Entreprenörskap och nyföretagande Möjliga kriterier Bidrar till avknoppning från offentlig sektor för att skapa nya miljöanpassade produkter och processer i privatägda företag och inom social ekonomi Främjar utvecklingen av innovativa och kommersiellt livskraftiga IT lösningar med inriktning mot industriell IT, publika tjänster samt upplevelser Skapar miljöer som främjar entreprenörskap genom infrastrukturella insatser Ökar det entreprenöriella inslaget inom offentlig sektor, utbildning och forskning Ökar företagens möjligheter att agera på nya marknader Stimulerar till marknadsplaner och marknadsundersökningar som stärker företagens beslutsunderlag samt säljfrämjande insatser i enskilda företag eller i grupperingar av företag Utnyttjar offentliga finansieringslösningar till ex. JEREMIE, ERUF, ESF och regionalpolitiska företagsstöd Utvecklar exportfrämjande aktiviteter med god samverkan mellan exportrådgivare och andra aktörer samt fördjupar internationella kontakter mellan företag Utvidgar marknader för företag med nationell och/eller internationell potential Innovativa miljöer Internationellt samarbete Använder och vidareutvecklar metoder och arbetssätt som bedömts vara framgångsrika inom innovativa programmen. (degree of cross fertilisation) Bidrar till TripleHelix idén Främjar kunskapsutvecklingen hos främst små och medelstora företag Förbättrar företagens förutsättningar att ta del av kunskapsutvecklingen inom universitet och forskningsinstitut Skapar attraktiva miljöer som understödjer internationell konkurrenskraft Utvecklar strukturer som stimulerar kunskapsöverföring mellan företag och FoU miljöer Förmår att samspela med omvärlden inom FoU Samverkar med internationella utvecklingsprogram e.g. inter regio, CIP Utnyttjar de möjligheter som EU medlemskapet innebär vad gäller handelsavtal med parter på intressanta marknader och forskningssamarbeten. Ökar drivkrafterna för det enskilda företaget att öka kunskapsinnehållet och förnyelsen i sina varor och tjänster. Eftersom grundläggande urvalskriterier är gemensamma för alla program och samtliga projekt bör man kunna betyggsäta hur väl de olika urvalskriterierna uppfylls av programmet eller projektet vilket u bör vara målet för utvärdering/följeforskning. Valet av kriterier och formuleringen därav samt en detaljerad beskrivning av varje kriterie bör göras av programägaren.

I modellen nedan har kriterierna från exemplet ovan överförts till en tabell (scorecard) där varje kriterie bedöms efter en skala från 1 till 5, där 1 motsvarar ingen mätbar effekt och 5 motsvarar att förväntningar har träffats till fullo. Tabell 5. Exempel indikatorer för urvalskriterier innovation och förnyelse Område: Innovation och förnyelse Delområde: Innovativa miljöer 1 2 3 4 5 Använder och vidareutvecklar metoder och arbetssätt som bedömts vara framgångsrika inom innovativa programmen Bidrar till triple helix idéen Främjar kunskapsutveckling hos små och medelstora företag Förbättrar företagens förutsättningar att ta del av kunskapsutvecklingen inom universitet och forskningsinstitut Skapar attraktiva miljöer som understödjer internationell konkurrenskraft Utvecklar strukturer som stimulerar kunskapsöverföring mellan företag och FoU miljöer Betygsättning framställer tal som med hjälp av ett scorecard syntetiserar ett parti kvalitativa data och/eller uppfattningar. Betygsättning mögliggör framställning av strukturerad och jämförbar data beträffande utvärderingskriterier som inte genomlyses av kvantitativa indikatorer. Ju mer detaljerade scorecarden är desto mindre subjektiv blir utvärderingen och mer jämförbara blir värderingar gjorda av olika utvärderingsgrupper/personer. Vid tillämpning av intressentmodellen kan till exempel ett scorecard ifyllas av varje intressentgrupp. Ett flertal ifyllda scorecard på samma delområde av ett program/projekt styrker statistiskt sätt tillförlitligheten i utfallet. Utvärderingar måste tåla kritisk granskning och måste därför bestyrkas med konvergerande fakta och/eller utlåtande. Faktiskt bevis är den starkaste formen av belägg och utlåtande av intressentgrupper är den näst starkaste. Dessutom kan utlåtanden styrka attitydändringar över tiden och underlätta följeforskning samt möjliggöra ex ante utvärderingar inom valda delområden.

Slutsats I litteratur nämns ofta att vid utvärdering/följeforskning bör mer än en utvärderingsmodell tillämpas. Ett utvärderingsverktyg [scorecard] som kan användas oavsett den utvärderingsmodellen som tillämpas av utvärderaren/följeforskaren bör vara värdefull. Vid utvärderingsuppdrag som fördelas bland flera följeforskare kan ett sådant verktyg underlätta förståelse och kommunikation. Vidare kan utvärderingar av programåtgärder eller projekt inom samma område ställas i jämförelse. Slutligen bör ett scorecard vara kommunicerbart och översiktligt och därmed möjliggöra för betraktaren att bilda sig en uppfattning i frågan och delta i den samhälliga debatten. Sammanfattning Att sammanföra de av Nutek fastställda referenspunkter av objektiv karaktär (s.k. indikatorer) med referenspunkter av subjektiv karaktär i en utvärdering/följeforskning bör bemöta den filosofiska diktomi mellan objektiv eller subjektiv bedömning/utvärderingar som Karlsson lyfter fram i sin bok. Ett ongoing evaluation scorecard verktyg som kombinerar ovannämda karaktärer bör vara ett värdefullt utvärderingsverktyg för både programbeslutsfattarna, programansvariga och utvärderare/följeforskare. På grund av sitt (relativt) lättförståliga och kommunicerbara värden borde ett sådant utvärderingsverktyg underlätta spridningsarbete och därmed attitydpåverkan som eftersträvs av Andersson m fl. 13 Härmed föreslås att en grupp alumni från Lärande i utvärdering/följeforskning undersöker vidare intresse för och möjligheten till att utveckla ett scorecard baserad på urvalskriterier som används i ERUF och ESF program och projekt med målet att presentera en prototyp vid nästa kursomgång på LIU hösten 2009. Tänkas kan att en user community av utvärderare/följeforskare ansvarar för verktygets kontinuerlig utveckling och därmed garanterar verktygets fortsatta roll som stöd i lärande utvärdering följeforskningsprocessen. /

Litteratur Andersson, M. m fl 2005 Om konsten att utveckla partnerskap ISBN 91 7045 770 0 Brulin, G. M fl. Lärande utvärdering följeforskning (under publikation) Delander, L. Månnson, J. 2007 Framgångens hemlighet ISBN 978 91 89050 88 4 Indicative Guidelines on Evaluation Methods: Evaluation during the Programme Period Working Document 5 April 2007 Karlsson, O. 1999, Utvärdering, mer än metod ISBN 91 7099 820 5 Vedung, E. 1998, Utvärdering i politik och förvaltning ISBN 978 91 44 34262 7 EC Europeaid 2006, Methodological bases, Evaluation process 1 Indicative Guidelines on Evaluation Methods: Evaluation during the Programme Period Working Document 6 October 2008 2 NUTEK, Nytta med följeforskning R2008:16 3 Brulin,G. & Jansson,S. & Sjöberg, K. & Svensson, L. 2009 Lärande utvärdering följeforskning, Förord 4 Vedung, E. 1998, Utvärdering i politik och förvaltning 5 Delander, L. & Månsson, J. 2009 Lärande utvärdering följeforskning, Kap. 2 6 Vedung, E. 1998, Utvärdering i politik och förvaltning s. 50 figur 4.1 Utvärderingsmodeller 7 Karlsson, O. 1999, Utvärdering mer än metod 8 ITPS, Metautvärdering av strukturfondsprogrammen A2008:15 9 Chianca, T. Journal of MultiDisplinary Evaluation, Vol. 5, Nr. 9 ISBN 1556 8180 10 Regeringskansliet R2006, Sammanhållningspolitik 2007 2013 11 NUTEK, 2007, Åtgärdsdokumenten för operativa program 2007 2013 12 Karlsson, O. 1999, Utvärdering mer än metod 13 Andersson, M. m fl 2005 Om konsten att utveckla partnerskap ISBN 91 7045 770 0