Lärdomar och möjligheter för ökat resultatfokus utvärdering i halvtid. Presentation xxx XXX

Transkript

1 Lärdomar och möjligheter för ökat resultatfokus utvärdering i halvtid Presentation xxx XXX

2 Innehåll Syftet med utvärdering TM 1: Stärka forskning, teknisk utveckling och innovation. TM 3: Öka konkurrenskraften i små och medelstora företag TM 4: Stödja övergången till en koldioxidsnål ekonomi inom alla sektorer ESI gemensam: Utvärdering av genomförandeorganisationernas arbetssätt

3 Syftet med utvärderingar är att förbättra kvaliteten på programmens utformning och genomförande samt att bedöma deras effektivitet och verkan. CPR 54(1)

4 Regionalfonden investerar, tillsammans med näringsliv, nationella och regionala aktörer, i prioriterade områden av strategisk betydelse för konkurrenskraft och hållbar tillväxt.

5 Forskning, teknisk utveckling och innovation Inkl. projektutvärdering av ESS

6 Analysram Innovation = Införandet eller genomförandet av en ny eller väsentligt förbättrad vara, tjänst eller process, nya marknadsföringsmetoder eller nya sätt att organisera affärsverksamhet, arbetsorganisation eller externa relationer Om VAD och HUR är i enlighet med vad man sedan tidigare vet främjar innovation (8 framgångsfaktorer) så når programmen sannolikt resultat. Med betoning på teori som bedömningsgrund. Ett värdekedjeperspektiv på mål och projekt. Bedömer hur nära kommersialisering programmen ligger.

7 Slutsatser Näringslivet är tydligt involverat i den stora merparten av projekt som genomförs i de regionala programmen. Det verkar finnas svagare incitament för akademin och enskilda forskare att delta i projekten, vilket kan utgöra ett hinder för att åstadkomma resultat i vissa regioner. Inom det nationella programmet är förhållandet det omvända: forskare är involverade på ett tillfredställande sätt i utvecklingen av ESS, medan kopplingen till näringslivet är svagare. Resultatindikatorerna är ofta relevanta och kan peka på om utvecklingen går i en eftersträvad riktning. Deras konstruktion gör dock att indikatorerna har en begränsad funktion i att mäta regionalfondens resultat. De horisontella kriterierna finns med i ansökningarna på ett acceptabelt sätt, men i genomförandet är de svagare. De tycks inte användas som ett verktyg för att nå uppsatta mål i någon betydande omfattning. Det saknas en stödjande struktur för projekten att arbeta med de horisontella kriterierna på ett sätt för att stärka innovation.

8 Ökad konkurrenskraft i SMF Exkl. finansieringsinstrument

9 Analysram Konkurrenskraft = the advantage that a firm gains by lowering costs, increasing productivity, improving the quality of and differentiating and innovating products and services offered, and by improving marketing and branding Antagande: Om VAD (inriktningen på verksamheten, mål och beviljade projekt) och HUR (vad som de fakto görs i projekten) ligger i linje med definitionen är det sannolikt att programmen bidrar till både målen och ökad konkurrenskraft. Betoning på egen empiri som bedömningsgrund.

10 Slutsatser Programmens inriktning ligger huvudsakligen i linje med vad man vet leder till ökad konkurrenskraft. Specifika mål är dock vagt formulerade och resultatindikatorer har brister både i mätbarhet och ibland relevans. Det begränsar deras relevans för styrning och utvärdering. En tydlig förskjutning mot ökat företagsfokus i stället för systemfokus jämfört med föregående programperioden. Projektens effektlogik ligger i huvudsak i linje med vad man vet leder till ökad konkurrenskraft, men det finns olika spår: i. förändringar hos företag och individer som deltar i projekten, HUVUDSPÅR ii. förändringar i projektägarnas löpande stödverksamhet som efter projektperioden kommer andra företag och individer till del, samt iii. spridningseffekter som följd av förändringar som sker från de två föregående bidragen. I projektens genomförande finns dock indikationer på att man har svårt att leverera enligt spår (i). Förseningar, höga OH kostnader och bristande kostnadseffektivitet, oförmåga att nå målen för aktivitetsindikatorer etc indikerar att man kan få svårt att nå målen.

11 I vilken utsträckning programmen kommer nå förväntade resultat kommer dock avgöras av utvecklingen av en liten del av målgruppen, vilken bör ligga i fokus för framtida steg i utvärderingen. De horisontella kriterierna finns med i ansökningarna, vilket kan ha ett styrningsvärde i sig. Det finns exempel på projekt där de används strategiskt för att nå ökad konkurrenskraft. Finns dock fortsatt utvecklingspotential.

12 Stödja övergången till en koldioxidsnål ekonomi Exkl. finansieringsinstrument

13 Analysram Utgår från tidigare kunskap om hur en CO2 snål ekonomi och energieffektivisering kan uppnås, med utgångspunkt i programmens övergripande inriktning. Antagande: Om VAD (inriktningen på verksamheten och mål inkl. resultatindikatorer) och HUR (dess implementering) ligger i linje med tidigare erfarenhet och kunskap är det sannolikt att programmen bidrar till målen. Jämn betoning mellan teori och egen empiri som bedömningsgrund.

14 Slutsatser Programmen kommer troligen att bidra till en koldioxidsnål ekonomi, men brister i förändringsteorin, implementeringen och programmens framdrift medför att effektens storlek kan ifrågasättas. Vagt formulerade mål och bristande koppling till resultatindikatorer (som skapar förväntan om stor förändring på kort tid) Behovsanalys, målgruppsanpassning och policymix Konkurrens mellan program och problem med efterfrågan Svaga projekt, som t.ex. arbetar med generella informationsinsatser som tidigare varit förknippat med svaga resultat, beviljas. I dagsläget har inte resultatindikatorerna förutsättningar att fylla en betydande funktion i programgenomförandet, som styrande eller som mått på programmens prestationer.

15 Miljökriteriet får ett tydligare genomslag än jämställdhet och ickediskriminering. Det vore önskvärt att i högre utsträckning konkretisera kopplingen mellan de horisontella kriterierna och den verksamhet som bedrivs.

16 ESI-gemensam utvärdering av genomförandeorganisationernas arbetssätt

17 Analysram Utgångspunkt: Partnerskapsöverenskommelsen tematisk fokusering ska ge tydligare resultat av ESI fonderna enskilt och gemensamt Antagande: En ändamålsenlig målstyrning förutsätter en grundläggande nivå av samsyn avseende både vad som ska åstadkommas och hur det ska ske. Otydlighet = icke ändamålsenligt Metod: Med utgångspunkt i en sammanhållen bild av vad en insats förväntas leda till och hur det är tänkt att ske samt under vilka förutsättningar insatsen existerar (s.k. förändringsteori) kan utvärderaren undersöka vilka delar av insatsen som fungerar eller inte fungerar ändamålsenligt. Förefaller ha en jämn betoning mellan teori och egen empiri som bedömningsgrund

18 Genomförande, hur effekterna nås Effekter kopplat till insatser Genomförande i enlighet med regelverk, PÖ, och regeringsuppdrag: genom flernivåstyre, utifrån principerna för genomförande i PÖ och samordnat mellan alla fyra fonder Investeringar realiseras genom att direktstöd genomförs EU2020 uppnås Projektägare och stödmottagare mobiliseras Önskade projektägare eller stödsökande ansöker om medel Projekten/stöden rekryterar önskade deltagare ESI-fondernas medel fördelas utifrån de tio tematiska målen i enlighet med prioriteringar Deltagande personer och/eller organisationer utvecklas (genom träning, kompetens, nya arbetssätt, nya redskap etc.) Projekt och stöd utvecklar och/eller testar arbetssätt eller metoder Projekt och stöd implementerar alt. sprider arbetssätt eller metoder Deltagande personer förändrar sitt agerande Deltagande organisationer förändrar sin verksamhet Projekt och stöd följs upp och utvärderas De tio tematiska målen uppnås Välfungerande arbetssätt och metoder förs över i långsiktig verksamhet Mer effektiva lösningar på utmaningar i samhället Effekter kopplat till genomförande Ökad förståelse för varandras uppdrag inom politikområdet Ökad samsyn kring prioriteringar inom politikområdet Samordning inom politikområdet

19 Effektlogiker 1. Direktspåret bidrag/resultat sker direkt i och med att medel tilldelas och insatsen genomförs. 2. Insatsspåret bidrag/resultat sker genom att de som deltar i verksamheten påverkas. 3. Utvecklingsspåret bidrag/resultat sker genom systempåverkan, exempelvis genom att metoder och arbetssätt utvecklas, testas och implementeras i annan/ordinarie verksamhet 4. Samverkansspåret bidrag/resultat sker genom att genomförandet i sig leder till ökad kompetens och samordning mellan aktörer inom fondernas politikområden.

20 Slutsatser/rekommendationer Behov av tydlighet: Vilka effekter programmen förväntas nå, och hur: effektlogiker och genomförandestrategier Styrning / prioritering Vad som ska samordnas mellan fonder, och i vilket syfte Behov av att utveckla strategier för samverkan mellan nyckelaktörer RK bör ge rätt förutsättningar (förväntade effekter, instruktioner, framförhållning i programmeringen).