Nasruddin gick och kastade brödsmulor runt sitt hus. Vad håller du på med, frågade någon. Skrämmer bort tigrarna. Men det finns ju inga tigrar häromkring. Just det. Effektivt, va? Idries Shah Den oefterhärmlige Mulla Nasruddin
LÄrande projektutvärdering JOAKIM TRANQUIST Tranquist Utvärdering ESI-FONDERNAS UTVÄRDERINGSKONFERENS Stockholm 4 5 februari 2016
Utvärdering i flernivåsystem EU 2020 Europeiska Socialfonden (DG Empl) Nationellt socialfondsprogram (ESF-rådet) Åtta regionala strukturfondspartnerskap Utlysningar om projektmedel Projekt Flera beställare i systemet - blev det som det var tänkt??
2007 2013 SPeL: många projekt avsätter få medel för utvärdering och de utvärderingar som genomförs är ofta operativa, snarare än strategiska. Det innebär att de vänder sig till projektledarnivån, men inte till styrgruppsnivån där beslut om en eventuell implementering fattas 1. Tema Unga: I riktlinjerna för utvärdering inom Socialfonden betonas vetenskaplighet och kontextuell analys, men i många fall finns det en svag vetenskaplighet i rapporterna. Extra problematiskt blir det med den begränsade kopplingen till Socialfondsprogrammet och dess utgångspunkter 2. Ramböll: Lärande utvärdering har fungerat som ett stöd för enskilda projekt och projektledare, men för andra mottagare av kunskap har de bidragit med ett svagt underlag för beslutsfattande 3. 1 Sävenstrand m fl (2013) Erfarenheter av lärande utvärdering. Spel-rapport nr 8. Örebro: Apel FoU. 2 Temagruppen Unga i arbetslivet (2014) Lärdomar från arbetsmarknadsprojekt för unga. Stockholm: Ungdomsstyrelsen. 3 Ramböll (2013) Utvärdering av Europeiska Socialfonden. Slutrapport.
2007 2013 Mot bakgrund av detta är användbarhet en viktig utgångspunkt för utvecklingsarbetet gällande utvärdering. [...] Kunskapsbehovet ser olika ut för aktörer på olika nivåer. En projektägare har inte samma kunskapsbehov som programförvaltaren 4. 4 Svenska ESF-rådet (2014) Erfarenheter från Europeiska Socialfonden 2007 2013.
Projektutvärdering 2014-2020 Även lärande utvärdering (även kallad processutvärdering) bör genomföras för att ge projektägare förutsättningar att utveckla processer och metoder under projekttiden. För att processutvärderingar ska leda till avsedd kunskapsanvändning och lärande hos dem som berörs av utvärderingen bör dessa medvetet utformas och genomföras som en lärandeaktivitet och som en del av en strategi för lärande och kunskapsanvändning. Även kontextuella faktorer, dvs. förutsättningar som råder vid projektgenomförandet, behöver beaktas i utvärderingen. Processutvärderingar syftar till att underlätta dialog med intresserade aktörer om processen, metoder, arbetssätt och vilka förutsättningar som skapats i projektet. På så vis läggs en grund för att projektens resultat ska kunna spridas och tillämpas inom annan verksamhet 5. 5 Nationellt socialfondsprogram för investering för tillväxt och sysselsättning 2014 2020. Bilaga 3.
Utvärdering vs. uppföljning INOM RESULTATBASERAT ARBETSSÄTT Uppföljningen ger löpande information (via utvalda indikatorer) på förändringens riktning, takt och omfattning. Den kan också identifiera oförutsedda förändringar [...]. Uppföljningsdata ger inte grund för tillskriva orsakssamband. De ger inte heller belägg för hur förändring uppstår endast att det förekommer eller inte. Likaså berör inte uppföljningsdata styrkor och svagheter i utformningen av projekt, program eller politik. Följaktligen behövs utvärdering för ta itu med dessa och andra viktiga frågor som handlar om hur resultat uppstår 6. 6 Zall Kusek, J & Rist, R C (2004) Ten Steps to a Results-BasedMonitoringand EvaluationSystem. Washington: The World Bank.
(Program-) Teoribaserad utvärdering
Resurser Aktivitet Utfall Effekter PROGRAMTEORI
Teoribaserad Utvärdering Ingen fast metod metodneutral! 1. Rekonstruera programteori 2. Formulera och prioritera utvärderingsfrågor 3. Besvara utvärderingsfrågor (4. Upprepa 1-3) Men: Det räcker inte med att beskriva programteorin, den måste värderas! Fokus på mekanismer som påverkar genomförandet. Vad fungerar, för vem och under vilka omständigheter?
Projektutvärdering
Socialfondens projektmodell Mobilisering Riggning Avstämning med ESF Genomförande RESULTAT EFFEKTER Analys- och planeringsperiod 1-9 mån Avslutningsfas 1-3 mån
Förstudie Genomförande Ansökan Avstämning Avslut HP HP HP Idé Spridning * Kunskap hos beställare * Kunskap hos utvärderare Evaluators have largely failed to incorporate into their taxonomies of use the myriad theories of change processes and the associated research bases in the social and behavioral sciences 7. 7 Mark, M & Henry G (2004) The Mechanisms and Outcomes of Evaluation Influence I: EvaluationVol 10(1): 35 57
Till slut Syftet med projektutvärdering i Socialfonden är lärande för att utveckla arbetsformer och styrning i projekten och en förståelse för vad som lett fram till resultaten. Det är vårt uppdrag. Vi utvärderare verkar i ett komplext utvärderingssystem. Det ställer höga krav på oss utvärderare att förstå och förhålla oss till vårt sammanhang. Visa mig vem som är din utvärderare...
TRANQUIST UTVÄRDERING WWW.UTVARDERING.SE JOAKIM@UTVARDERING.SE