Att fånga effekter av program och projekt Redaktörer: Lennart Svensson, professor LIU Göran Brulin, ansvarig för teoridriven utvärdering i de regionala strukturfonds- programmen Sven Jansson, ansvarig för teoridriven utvärdering i Socialfonden Karin Sjöberg, utvecklingsledare APeL-fou
Oavsedda och överraskande effekter Kanske finns det långsiktiga effekter av program och projekt som vi inte känner till eller förstår betydelsen av. Kan det till och med finnas oavsedda eller överraskande effekter som är viktigare än de planerade och förväntade? Hur kan sådana, dolda, effekter fångas, utvärderas och analyseras?
Stora satsningar Med hjälp av de över 800 miljarder euro ska målen för sammanhållningspolitiken genomföras för ett Europa karaktäriserat av smart, hållbar och inkluderande tillväxt. Även om det är stora summor så räcker dessa inte på långa vägar, utan det är bara de sekundära effekterna av nyskapande program och projekt som verkligen kan få arbetsmarknader, regional innovation och tillväxt att förändras, förbättras och förstärkas!
Att utvärdera för att fånga effekter: För att förstå den långsiktiga hållbarheten av ett utvecklingsprogram eller ett projekt så måste den dynamiska effektbilden klargöras!
Distinktioner - effekter - huvudeffekter och bieffekter; - oväntade och oavsedda effekter; - bieffekter eller sidoeffekter av olika slag; - direkt eller indirekt; - positiva eller negativa; - avsiktliga eller oavsiktliga; - inom ramen för målen i ett projekt, men de kan också ligga utanför målområdet; - en pervers effekt innebär ett utfall som är rakt motsatt det som avsetts.
Teoridriven lärande utvärdering handlar om: 1) Tydlig förändringsteori jmf programlogik och projektmål; 2) Insatsen ska vara förankrad både i praktisk kontext och teoretiskt kunskapsläge; 3) Utvärderingen av insatsen ska resultera i en användbar utsaga det vill säga någon typ av middle range teorier. TLU är med andra ord vetenskapligt grundat och vilar på praktisk erfarenhet.
Teoridriven lärande utvärdering TLU är central både i Socialfonden och i de regionala strukturfondsprogrammen. Den bygger inte på kontroll och detaljerad uppföljning av aktiviteter och kortsiktiga resultat. Den utgör referensram för mer planeringsstyrda utvärderingsinsatser som brukar samlas under de tre C:na: Control groups, Cost Benefit Analyses och Counterfactual Impact Evaluation.
Planeringsstyrda utvärderingsinsatser: De planeringsstyrda utvärderingsinsatserna bygger på ett linjärt, mekaniskt och styrt synsätt på utveckling. Sådana utvärderingsinsatser används för att mäta och kontrollera, inte som ett medel för att skapa kunskap om hur man med program och projekt kan stödja dynamiska utvecklingsprocesser som skapar ringar på vattnet, tillväxt och innovation, nya jobb, kompetensförstärkning och företagande.
Råd inför programperioden 2014 2020: Utvärdering bör vara utvecklingsstödjande: Utvärderingen måste tydligare bidra med kunskapsprodukter som kommer till användning i samhället. På det sättet kan en djupare analys göras som visar på sammanhang och effekter av olika slag samt på drivkrafter för framgång. I FÖLJANDE SJU PUNKTER TAR VI FRAM DET VIKTIGASTE FÖR UTVÄRDERINGSINSATSERNA:
10 - initiera och prioritera program och projekt som verkligen bidrar till Europa 2020-målen, smart och hållbar tillväxt för alla; - se till att det finns utvärdering och uppföljning som kan fånga de kvalitativa effekterna av projekt och program, inte bara eller främst kvantitativ uppföljning;
11 - stötta program och projekten under genomförandet genom uppföljning, fortlöpande utvärdering och gemensamma lärprocesser, erfarenhetsåterföring och kunskapsuppbyggnad; - se till att det finns ett aktivt ägande av projekten med styrgrupper och ett engagerat projektledarskap som får fortlöpande får ta del av utvärderingarna;
- relevant samverkan med olika aktörer inte minst med näringsliv, högskolor och universitet eller med olika myndigheter och civilsamhället; - se till att fonder och program samverkar och samutnyttjas för ett resultatorienterat genomförande; - gemensamma lärprocesser baserade på utvecklingsstödjande utvärdering bidra till att förverkliga Europa 2020-målen! 12