Utvärderingsplan

BILAGA 4 Utvärderingsplan 2014-2020 Entreprenörskap och kompetens Ålands strukturfondsprogram ESF/Eruf CCI 2014FI05M2OP001 Version 1.0 Godkänd av övervakningskommittén xx.xx.2015 27 oktober 2015

1. INLEDNING... 2 2. UTVÄRDERING... 3 2.1 Utvärdering - en löpande process... 3 2.2 Resurser för utvärdering... 4 2.3 Resultat från utvärderingen... 4 2.4 Indikativ budget... 5 2.5 Metodval... 5 2.6 Indikativa utvärderingsfrågor... 6 2.7 Tidsplan... 7 Bilaga 1 Tidsplan för genomförandet av utvärderingen Bilaga 2 Tidsplan för rapportering Bilaga 3 Sammanställning resultatindikatorer 1

1. INLEDNING Utvärderingsplanen för strukturfondsprogrammet Entreprenörskap och kompetens med finansiering från Europeiska socialfonden (ESF) och Europeiska regionala utvecklingsfonden (Eruf), i fortsättningen programmet, har beaktat bestämmelserna i förordningen som fastställer gemensamma bestämmelser för de europeiska struktur- och investeringsfonderna och allmänna bestämmelser för strukturfonderna 1 samt kommissionens riktlinjer om utvärdering och övervakning 2. Under programperioden ska man åtminstone en gång med hjälp av en utvärdering av effekterna bedöma hur stödet från strukturfonderna har medverkat till målen för programmets insatsområden Entreprenörskap och innovation (Eruf) och Delaktighet och kompetens (ESF) samt Tekniskt stöd (ESF). Programmets finansiering uppgår till sammanlagt 9.991.000 euro varav 2.322.538 euro kommer från Eruf och 2.672.962 euro från ESF. Ytterligare 4.995.500 euro finansieras med nationella medel. Planen omfattar hela programperioden och ska granskas och godkännas av övervakningskommittén. Planen ses över regelbundet och anpassas för att på bästa sätt kunna möta syftet med utvärderingen vilken ska förbättra kvaliteten på programmets utformning och genomförande samt att bedöma dess effektivitet och verkan. Programmets verkan ska utvärderas mot bakgrund av de respektive europeiska struktur- och investeringsfondernas uppdrag i förhållande till målen i unionens strategi för smart och hållbar tillväxt för alla och med hänsyn till programmets omfattning i förhållande till BNP och arbetslöshetsrelaterade mål inom det berörda programområdet, där så är lämpligt. Uppdraget ska kunna utvärdera programmets bidrag i förhållande till de fondspecifika målen bl.a. genom att främja hög sysselsättning och kvalitet i arbetet, förbättra tillträdet till arbetsmarknaden, stödja arbetsmarknadens rörlighet, främja en hög utbildningsnivå och öka den sociala delaktigheten (ESF) samt förstärka den ekonomiska, sociala och territoriella samanhållningen genom att motverka de viktigaste regionala obalanserna (Eruf). En utvärdering av programmets effekter bör bedömas i förhållande till de gemensamma mål som är uppsatta i EU:s gemensamma tillväxt och sysselsättningsstrategi (EU 2020) med mätbara mål för bl.a. andel av EU.s BNP som investeras i forskning och utveckling (FoU), sysselsättnings- och utbildningsmål samt en mindre andel av människor som lever i utanförskap. 1 Europaparlamentets och rådets förordning (EU) nr 1303/2013 av den 17 december 2013 om gemensamma bestämmelser för Europeiska regionala utvecklingsfonden, Europeiska socialfonden, Sammanhållningsfonden, Europeiska jordbruksfonden för landsbygdsutveckling och Europeiska havs- och fiskerifonden, om fastställande av allmänna bestämmelser för Europeiska regionala utvecklingsfonden, Europeiska socialfonden, Sammanhållningsfonden och Europeiska havs- och fiskerifonden samt om upphävande av rådets förordning (EG) nr 1083/2006, artiklarna 54,56,110 och 114 2 Guidance Document on Evaluation Plans, Terms of Reference for impact Evaluations, Guidance on Quality Management of External Evaluations Monitoring and Evaluation of European Cohesion Policy, European Social Fund, Guidance document Guidance document on monitoring and evaluation, European Cohesion Fund, European Regional Development Fund 2

Utvärderingen kommer således att omfatta programmets samtliga sex investeringsprioriteringar och särskilda mål 3. Utvärderingsplanen bygger även delvis på erfarenheter från tidigare program på Åland som delfinansierats från EU:s strukturfonder. Genom en löpande utvärderingsprocess i flera steg med fokus på utvärdering av effekterna i slutet av perioden skapas ett större utrymme för en lärande process under vägens gång. Erfarenheter med halvtidsutvärderingar fokuserade på resultatuppföljning i ett för tidigt skede av programcykeln har inte visat sig vara effektivt. Utvärderingsplanen utgör ett viktigt verktyg för planeringen av utvärderingsuppdraget. Utvärderingsplanen överlämnas därefter till Europeiska kommissionen. I planen definieras den strategi som valts för att utvärdera effekterna av programmets prioriteringar och särskilda mål. Utvärderingens resultat förmedlar information till övervakningskommittén, beslutsfattare och genomförandeorgan och utgör viktig information för programmets uppföljning vilken ska ingå i de årliga genomföranderapporterna (2016 till och med 2023), framstegsrapporterna (2017 och 2019) och slutrapporten. Ramarna för utvärderingsuppdraget, mål och det faktiska genomförandet beskrivs på ett överskådligt sätt. Den anger även en översikt av de resurser som krävs och en indikativ tidsplan. I planen beaktas proportionalitetsprincipen med hänsyn till nivån på det stöd som anslagits i det operativa programmet för genomförandet av insatser inklusive tekniskt stöd för programadministration. Proportionalitetsprincipen omfattar även det allmänna målet att minska den administrativa bördan för de organ som deltar i förvaltning av programmet vilket även inbegriper utvärdering 4. 2. UTVÄRDERING 2.1 Utvärdering - en löpande process Förvaltningsmyndigheten har ansvaret för att utforma och leverera utvärderingsplanen och presentera den för övervakningskommittéen för granskning och godkännande. 3 Eruf: Investeringsprioritering enligt EU 1301/2013 artikel 5.1b och Särskilt mål; Att främja affärsutveckling, tillväxt och innovationer Investeringsprioritering enligt EU 1301/2013 artikel 5.3 d och Särskilt mål; Att främja konkurrenskraft hos små och medelstora företag (SMF) ESF: Investeringsprioritering enligt EU 1304/2013 artikel 3.1 a i) och Särskilt mål; Minskad arbetslöshet med fokus på ungdomar och ökad rörlighet på arbetsmarknaden Investeringsprioritering enligt EU 1304/2013 artikel 3.1 b i) och Särskilt mål; Minskad risk för marginalisering Investeringsprioritering enligt EU 1304/2013 artikel 3.1c iii) och Särskilt mål; Uppgradering av kunskaper, färdigheter och kompetens av arbetskraften Investeringsprioritering enligt EU 1304/2013 artikel 3.1 c iv) och Särskilt mål; Flexibla och relevanta utbildningssystem 4 Europaparlamentets och rådets förordning (EU) nr 1303/2013 av den 17 december 2013 om gemensamma bestämmelser, artiklarna 4.5 3

Personal från förvaltningsmyndigheten tillsammans med övervakningskommitténs sekretariat och chefen för förvaltningsmyndigheten bildar en intern arbetsgrupp för en löpande utvärderingsprocess. I samband med att utvärderingsplanen presenteras föreslås att övervakningskommittén tillika fungerar som styrgrupp för utvärderingsuppdraget. Utvärderingsplanen ska ses som ett strategiskt dokument, genom vilket övervakningskommittén ges möjlighet att ta ställning till de olika delarna i den löpande processen och deras tidsplan. Övervakningskommittén kan när som helst föreslå för förvaltningsmyndigheten behov av ändringar och godkänna ändringsförslag som anses nödvändiga. Varje ny godkänd version av utvärderingsplanen inlämnas till kommissionen (via SFC systemet 5 ). Alla påpekanden, rekommendationer och eventuella uppföljningsåtgärder med beaktande av utvärderingsresultaten kommer att behandlas i övervakningskommittén. Förvaltningsmyndigheten ansvarar för upphandlingen av externa experter. Den interna arbetsgruppen utarbetar ett anbudsunderlag för utvärderingsuppdraget. För uppdraget kommer kommissionens riktlinjer att användas, liksom erfarenhet av tidigare offentlig upphandling av utvärderingar. 2.2 Resurser för utvärdering Utvärderingarna kommer att använda ett blandat tillvägagångssätt som genomförs av såväl intern personal hos förvaltningsmyndigheten som extern expertis. Olika tillvägagångssätt kan definieras för enskilda delar. Extern expertis kommer att förses med information och input från interna bedömningar från förvaltningsmyndigheten, övervakningskommittén och pågående diskussioner. De slutliga utvärderingsresultaten kommer från externa experter. Experterna är funktionellt oberoende och fristående från programmets genomförandeorganisation 6. 2.3 Resultat från utvärderingen Övervakningskommittén har en viktig roll i utvärderingsprocessen och får tillgång till all information som rör utvärderingsuppdraget. Den interna arbetsgruppen kommer att diskutera resultaten och rekommendationerna från utvärderaren. Ett utkast till bemötande kommer att presenteras för övervakningskommittén som diskuterar, granskar och föreslår eventuella ändringar och kompletteringar. Övervakningskommittén enas därefter om uppföljningen av varje rekommendation. Eftersom övervakningskommitténs arbete, offentliga möteshandlingar och protokoll presenteras för allmänheten på landskapsregeringens hemsida www.regeringen.ax får allmänheten god information om utvärderingen, dess resultat och eventuella åtgärder. 5 Elektroniskt system för datautbyte SFC2014 för allt officiellt informationsutbyte mellan medlemsstaterna och kommissionen. 6 Utvärderingarna ska utföras av interna eller externa experter som fungerar fristående från de myndigheter som har ansvar för genomförandet av programmet, EU nr 1303/2013 artikel 54.3. 4

Utvärderingsrapporterna kommer att offentliggöras i sin helhet på www.regeringen.ax. 2.4 Indikativ budget En preliminär budget har gjorts för hela programperioden. I budgeten reserveras ca 50 000 euro för utvärderingsuppdraget. Anslaget upptas i budgeten för tekniskt stöd och består till 50 procent delfinansiering från Europeiska socialfonden (ESF) och lika stor andel nationell offentlig finansiering. I den händelse budgeten för tekniskt stöd är för liten och det bedöms nödvändigt finansieras den överstigande delen med nationell finansiering inom ramen för näringsavdelningens budget. Dessutom kommer förvaltningsmyndighetens egna personalresurser tas i anspråk för uppföljning av programmets indikatorer som ska redovisas i de årliga genomföranderapporterna och en slutlig genomföranderapport (2016-2023). Innehållet i rapporterna blir en viktig datakälla för utvärderarna för närmare analys av programmets måluppfyllelse. 2.5 Metodval Utvärderingen kommer att ske i tre steg och avrapporteras under åren 2017, 2019 och 2022. Utvärdering av programmets genomförande och övervakning kommer att ske i steg 1 och 2 i början av programperioden. I steg 1 omfattar den även genomförandet av kommunikationsstrategin. Utvärderingens analyser och slutsatser ska utgå från ett lärande perspektiv med syfte att förmedla idéer och erfarenheter som kan användas för eventuella förbättringar av programgenomförandet. Utvärderingen utgår från förvaltningsmyndighetens årligen löpande uppföljning av programmets genomförande vilket presenteras för övervakningskommittén och dokumenteras i de årliga genomföranderapporterna som skall granskas och godkännas av övervakningskommittén. Utvärderingen är kopplad till den interna arbetsgruppens bedömningar och rapportering av programmet så att båda processerna stödjer varandra. Utvärderingsuppdragets steg 1 utgår huvudsakligen från den information som finns tillgänglig i förvaltningsmyndighetens uppföljningssystem (landskapsregeringens stödtillämpning för EU-stöd) kompletterat med intervjuer av såväl stödmottagare som programförvaltningen. I steg 2 kompletteras metodvalet utöver intervjuer och analys av övervakningsindikatorerna i stödtillämpningen med en teoribaserad preliminär utvärdering för att röna de enskilda insatsernas inverkan på de resultatmål för sysselsättning, omsättning och förädlingsvärde vilka är uppsatta för de särskilda mål som delfinansieras från regionalfonden (Eruf). Källmaterialet för resultatindikatorerna (Eruf) utgörs av offentlig statistik. För socialfondens del bedöms på samma sett preliminärt de gemensamma långsiktiga resultatindikatorerna för 5

deltagare mot tillgängligt statistiskt material för Åland avseende arbetsmarknad, sysselsättning och utbildning. Utvärderingen av programmets effekter i steg 3 bygger på samma metodval som i steg1-2 men utökad med en slutlig bedömning och analys av programmets måluppfyllelse och bidrag till målen i Europas gemensamma tillväxt och sysselsättningsstrategi. Närmare om metoden och vilken tillgänglig data som finns kommer att närmare preciseras i det anbudsunderlag som utformas och finns tillgängligt när uppdraget bjuds ut. Förvaltningsmyndigheten tar ställning till den slutgiltiga metoden i förhållande till de anbud som lämnas in. Ett blandat tillvägagångssätt med intern och extern expertis kommer att användas. Externa utvärderare som anlitats kommer att använda de uppgifter som mottagits från förvaltningsmyndigheten samt övriga uppgifter som samlats in och gör en oberoende bedömning av desamma. 2.6 Indikativa utvärderingsfrågor Utvärderingen i steg 1 och 2 omfattar genomförandet av informations- och offentlighetsåtgärder samt programgenomförandet. Utvärderingen ska särskilt belysa följande utvärderingsfrågor (preliminärt): a) Har de mål som angivits i kommunikationsstrategin uppnåtts? b) Har de kommunikationsåtgärder som vidtagits nått programmets målgrupper effektivt? c) Har projektstyrningen i projekten varit professionell och effektiv och vilken betydelse har detta haft för projektens framgång? d) Hur väl har genomförda förenklingar i programgenomförandet fungerat? Utvärderaren ska även göra en kompletterande analys av programindikatorerna så att bedömningen av validiteten av uppgifterna kan göras. Utvärderingen ska dessutom belysa hur insatserna hittills förmått bidra till att nå de uppställda kvantitativa och kvalitativa målen samt inkludera en preliminär bedömning av de uppnådda resultatens långsiktighet (Eruf/ESF). De huvudsakliga resultatindikatorerna för programmet åskådliggörs i bilaga 3. Utvärderingsfrågorna a-b omfattar enbart steg 1. Utvärderingen av effekterna av programmet utvärderas i förhållande till trender och utvecklingen i regionen och programmets bidrag till desamma. Preliminära riktgivande utvärderingsfrågor för utvärdering av programmets långsiktiga resultat (effekt) i steg 3: Har målen i programmets insatsområden uppnåtts eller är de på god väg att göra så? Vad är effekten av programmet i den uppmätta förändringen? Vilka andra relevanta faktorer har bidragit till den uppmätta förändringen? 6

Uppvisade tidigare uppnådda kortsiktiga resultat en mer bestående verkan/effekt? Hur har måluppfyllelsen bidragit till bredare politiska mål i uppfyllelsen av Europa 2020 strategin? 2.7 Tidsplan Med erfarenhet från tidigare programperioder kommer merparten av projektens livslängd sträcka sig över fler år varvid projektens långsiktiga måluppfyllelse förväntas redovisas under programperiodens andra hälft. Den viktigaste delen av utvärderingsuppdraget vilken omfattar en bedömning av effekterna kommer därför att göras under programperiodens senare del. I de årliga genomföranderapporterna ska det ingå en sammanfattning av resultaten av alla utvärderingar som har blivit tillgängliga under föregående räkenskapsår 7. De utvidgade årliga genomföranderapporterna som lämnas in 2017 och 2019 ska ytterligare innehålla information och bedömning avseende framsteg när det gäller genomförandet av utvärderingsplanen och uppföljningen av resultaten av utvärderingen 8. De första externa utvärderingsresultaten tas emot under våren 2017 (steg 1) och våren 2019 (steg 2). Utvärderingsuppdragets steg 1 och 2 består i stor utsträckning på en samlad bedömning (analys) av inrapporterat resultat och trovärdigheten i de resultatmål som presenterats i ansökningarna och godkänts i samband med förvaltningsmyndighetens finansieringsbeslut samt de första inrapporterade resultaten av genomförda aktiviteter. Förvaltningsmyndigheten ansvarar för den löpande övervakningen av projektens genomförande och inrapportering av indikatorer (landskapsregeringens stödtillämpning för EU-stöd). Registrering av antalet deltagare som både påbörjat och avslutat en aktivitet inom ramen för projekt finansierade från socialfonden följs upp kontinuerligt under projektets livslängd i samband med lägesrapporteringar. I likhet med socialfonden följs antalet deltagande företag kontinuerligt upp i projekt delfinansierade från regionalfonden i samband lägesrapporteringen till förvaltningsmyndigheten. Långsiktiga resultat i form av t.ex. sysselsättning och nya företagsetableringar kan förväntas i större utsträckning i utvärderingens steg 3. Utvärderingsresultaten i steg 3 vilken utgör en analys av programmets mera långsiktiga effekter tas emot under våren 2022 och presenteras för övervakningskommittén. Senast vid utgången av 2022 ska den förvaltande myndigheten för det operativa programmet lägga fram en rapport till kommissionen som sammanfattar resultaten av den genomförda utvärderingen 9. 7 Kommissionens genomförandeförordning (EU) nr 2015/207 av den 20 januari 2015 om detaljerade tillämpningsföreskrifter för Europaparlamentets och rådets förordning (EU) nr 1303/2013, artikel 5 bilaga V, del A 8 Kommissionens genomförandeförordning (EU) nr 2015/207 av den 20 januari 2015 om detaljerade tillämpningsföreskrifter för Europaparlamentets och rådets förordning (EU) nr 1303/2013, artikel 5 bilaga V, del B 9 Europaparlamentets och rådets förordning (EU) nr 1303/2013 av den 17 december 2013 om gemensamma bestämmelser, artikel 114 p.2 7

Utvärderingsrapporten över programmets effekter kommer att ingå i programmets slutrapportering tillsammans med resultaten från delrapporterna i steg 1 och 2 10. Utvärderingsresultaten förväntas även att ge värdefull information inför planering och genomförande av nästa programperiod och för den utvärdering i efterhand (ex post) som kommissionen ansvarar för i samarbete med medlemsstaterna. Utvärderingen i efterhand ska vara slutförd senast den 31 december 2024. Bilaga 1 Vem Vad När Referens Ålands landskapsregering /Förvaltningsmyndighet Anbudsunderlag (Terms of Reference) Våren 2016 Guidance Document on Evaluation Plans, Terms of Reference for impact Evaluations, Guidance on Quality Management of External Evaluations Ålands landskapsregering /Förvaltningsmyndighet Övervakningskommittén Val av utvärderare Hösten 2016 Avtal/kontrakt Information om utvärderingsuppdraget Hösten 2016 Uppföljning av utvärderingsplanen Externa utvärderare Delrapport (Steg 1) Våren 2017 Övervakningskommittén Delrapporten presenteras för ÖK. ÖK granskar och godkänner förvaltningsmyndighetens genomföranderapport vilken inkluderar resultat från utvärderingens delrapport. Våren 2017 Uppföljning av utvärderingsplanen Externa utvärderare Delrapport (Steg 2) Våren 2019 Delrapporten presenteras för ÖK. ÖK granskar och godkänner Övervakningskommittén förvaltningsmyndighetens Våren 2019 genomföranderapport vilken inkluderar resultat från utvärderingens delrapport. Slutrapport av Externa utvärderare utvärderingsuppdraget (Steg Våren 2022 3) Ålands landskapsregering Kvalitetsbedömning Våren 2022 /Förvaltningsmyndighet Uppföljning av utvärderingsplanen Guidance on Quality Management of External Evaluations Uppföljning av utvärderingsplanen Övervakningskommittén Granskar och godkänner slutlig utvärderingsrapport och kvalitetsbedömning Våren 2022 Guidance on Quality Management of External Evaluations 10 Kommissionens genomförandeförordning (EU) nr 2015/207 av den 20 januari 2015 om detaljerade tillämpningsföreskrifter för Europaparlamentets och rådets förordning (EU) nr 1303/2013, artikel 5 bilaga V, del B 8

Ålands landskapsregering Godkänner Höst 2022 Uppföljning av utvärderingsplanen Guidance on Quality Management of External Evaluations Bilaga 2 Vem Vad När Referens Ålands landskapsregering /Förvaltningsmyndighet/Över vakningskommittén Sammanfattning av resultat av utvärderingen i genomföranderapporterna Senast 31 maj årligen tom 2023. Senast 30 juni 2017 och 2019 Förordningen om allmänna bestämmelser EU 1303/2013 art. 50 Kommissionen Sammanfattande rapport om programmen inom ESI fonderna på basen av medlemsstaternas genomföranderapporter Varje år from 2016 Förordningen om allmänna bestämmelser EU 1303/2013 art. 53 Medlemsstaten/Finland/Åland Sammanfattning av resultat av utvärderingarna i framstegsrapporterna Senast 31 augusti 2017 och 31 augusti 2019 Förordningen om allmänna bestämmelser EU 1303/2013 art. 52 Kommissionen Strategisk rapport om programmen inom ESI fonderna på basen av medlemsstaternas framstegsrapporter Senast 31december 2017 och 31 december 2019 Förordningen om allmänna bestämmelser EU 1303/2013 art. 53 Ålands landskapsregering/ Förvaltningsmyndighet/ Övervakningskommittén Europeiska kommissionen Rapport som sammanfattar resultaten av de utvärderingar som gjorts under programperioden och vilken skall stöda den ex-post slututvärdering som är under kommissionens ansvar i nära samarbete med medlemsstaten. Utvärdering i efterhand (ex-post) Senast 31 december 2022 Senast 31 december 2024 Förordningen om allmänna bestämmelser EU 1303/2013 art. 114 Förordningen om allmänna bestämmelser EU 1303/2013 art. 114 Guidance Document on Evaluation Plans, Terms of Reference for impact Evaluations, Guidance on Quality Management of External Evaluations 9

Bilaga 3 Fond Särskilt mål Resultatindikatorer Mål 2023 Källa Rapportering Att främja affärsutveckling, tillväxt och innovationer Förädlingsvärde ( ) per arbetstimme för valda branscher vilka närmare definierats i programmet 54,2 2017, 2019 och slutrapport Eruf Att främja konkurrenskraft hos små och medelstora företag (SMF) Förändrad omsättning i SMF ( ) inom alla sektorer, förutom fiske, vattenbruk och primärproduktion 1 405 022 000 2017, 2019 och slutrapport Statistikcentralen, ÅSUB Förändrad sysselsättning (anställda) i SMF 6 200 2017, 2019 och slutrapport Minskad arbetslöshet med fokus på ungdomar och ökad rörlighet på arbetsmarknaden Icke förvärvsarbetande som söker arbete efter avslutad åtgärd Deltagare i utbildning efter avslutad åtgärd Deltagare i sysselsättning, inklusive egenföretagande, sex månader efter avslutad åtgärd 30 (18 män/12 100 (55 män/45 45 (25 män/20 2019 och slutrapport ESF Deltagare i utbildning, som leder till en examen, en lärlingsutbildning eller en praktikplats sex månader efter att de lämnat projektet 120 (66 män/54 Landskapsregeringens stödtillämpning för EU-stöd 2019 och slutrapport Missgynnade deltagare som söker arbete, studerar, får kvalifikation, deltar i sysselsättning, inklusive egenföretagande, efter avslutad åtgärd 45 (16 män/29 Minskad risk för marginalisering Antal långtidsarbetslösa 60 Deltagare i sysselsättning, inklusive egenföretagande, sex månader efter avslutad åtgärd 45 (16 män/29 2019 och slutrapport 10

Uppgradering av kunskaper, färdigheter och kompetens av arbetskraften Deltagare som erhållit en kvalifikation efter avslutad åtgärd Deltagare med förbättrad arbetsmarknadssituation sex månader efter avslutad åtgärd 500 (200 män/300 100 (40 män/60 2019 och slutrapport Flexibla och relevanta utbildningssystem Antal utbildningsanordnare som tar i bruk en ny metod eller ett nytt system 2 Antal system som används ännu sex månader efter projektavslut 2 11