Utvärderingsplan för Interreg IV A Öresund-Kattegat-Skagerrak

Transkript

1 Bilaga 8/3/08 Datum Dnr ÖKS Utvärderingsplan för Interreg IV A Öresund-Kattegat-Skagerrak Version (8)

2 1. Bakgrund Den förvaltande myndigheten (FM) Nutek ska enligt beslut av Övervakningskommittén (ÖK) daterat den utarbeta en utvärderingsplan för Interreg IVA Öresund-Kattegat-Skagerrak För detta ändamål har en referensgrupp bildats med ledamöter från Övervakningskommittén för att bistå FM med utformning av planen samt finnas med under utvärderingsprocessen. Deltagare från det gemensamma tekniska sekretariatet deltar i referensgruppen som stödjande funktion. Förslaget till utvärderingsplan har vidareutvecklats på de punkter ÖK beslutade i samverkan med referensgruppen. Reviderat förslag underställs ÖK för beslut vid dess tredje möte och ska ses över varje år. FM och ÖK kan initiera en uppdatering av planen. Planen redovisar de utvärderingar som planeras och en tidplan. Planen ska vidare beskriva den typ av utvärderingsaktiviteter, teman och de frågor och aspekter som ska stå i fokus. FM kommer vid ÖK:s möten att redovisa framkomna resultat med syfte att starta en diskussion om behov och motiv för förändringar i det operativa programmet. Föreligger sådana behov tar FM fram ett förslag som presenteras på kommande möte eller om det är brådskande via skriftlig procedur. Större ändringar ska alltid avhandlas vid möte i ÖK. Förslag till ändringar i det operativa programmet och behov av utvärderingar kan även komma från aktörer som ryms inom ramen för satta målgrupper. FM kommer att redovisa dessa för ÖK för bedömning. Regelverket för strukturfonderna identifierar tre typer av utvärderingar; 1. Förhandsutvärdering/ex ante 2. Kontinuerlig utvärdering/ on-going evaluation 3. Efterhandsutvärdering/ex-post Ex-ante utvärderingen har redan genomförts i och med att programmet skrevs. Ex-post utvärderingen genomförs av kommissionen. 1.1 Ongoing evalutation kontinuerlig utvärdering Under tidigare programperioder har tyngdpunkten i utvärderingarna legat vid så kallade halvtidsutvärderingar (mid-term evaluation). Halvtidsutvärderingarna har byggt på riktlinjer som kommissionen satt upp och har spänt över ett brett register av såväl stora som mer avgränsade frågor. I samband med tidigare utvärderingsinsatser av Interregprogram har flera svårigheter identifierats. Det har bland annat pekats på att programmen är tvärsektoriella och genomförs i ett komplext sammanhang. Vidare har problem som iakttagits i utvärderingarna inte fått genomslag i genomförandet av programmen. Utvärderingarna har antingen kommit för tidigt (halvtidsutvärderingen) eller för sent (uppdateringen av halvtidsutvärdering och ex-post). Halvtidsutvärderingarna har vidare många 2 (8)

3 gånger gett ett splittrat och svåröverskådligt intryck av vad som har uppnåtts samtidigt som utvärderingarna ofta blivit ganska översiktliga. Det har varit svårt att säga något om effekterna och har inte haft någon större lärandeeffekt. Kommissionens riktlinjer Indicative Guidelines on evaluation methods; Evaluation during the programming period rekommenderar ett skifte under programperioden från en mer reglerad halvtidsutvärdering till en mer flexibel form av kontinuerlig utvärdering. Utvärdering i form av kontinuerlig utvärdering kan sammanfattas i fyra olika aspekter. För det första handlar processen om att ge stöd vid etablering av projekt och program när så efterfrågas. För det andra har den till uppgift att dokumentera erfarenheter som uppkommer i projekt och program. För det tredje handlar det om att värdera hur väl projekt och program når sina mål för att möjliggöra förändringar i det operativa programmet. För det fjärde handlar det om att sätta in utvärderingsresultatet i ett bredare samhälleligt perspektiv. Inriktningen innebär att man har en möjlighet att göra utvärderingar under hela programperioden vilket tydligt förenas med utvärderingarnas syften. Utvärderingarna kan organiseras på olika sätt en speciell fråga, ett prioriterat område eller programmets utfall kan följas under en längre period. Utvärderingsinsatser kan även ske punktvis utefter en tidsaxel. Den stora fördelen med kontinuerlig utvärdering är att den lättare bedöms kunna hantera de behov och frågor som uppstår under utvärderingen. I en utvärderingsplan som löpande uppdateras planeras de utvärderingsaktiviteter som behövs för att stödja genomförandet. Vilka frågeställningar som är intressanta att ta upp i utvärderingen varierar till viss del över programperioden. I början av programperioden är det intressant att utvärdera processer och organisation så att eventuella brister som upptäcks hinner åtgärdas i programmen; och i slutet av programperioden är det intressant att utvärdera resultat och effekter. 1.2 Syfte med utvärdering I rådets förordning (EG) nr 1083/2006 av den 11 juli 2006 anges vilka utvärderingar av programmen som ska genomföras. Enligt artikel 48.3 ska medlemsstaterna under programperioden göra utvärderingar som är knutna till övervakningen av operativa program, särskilt om det vid övervakningen konstateras en väsentlig avvikelse från de ursprungligen fastställa målen eller om det har lämnats in förslag till en översyn av operativa program enligt artikel 33. Resultaten ska skickas till övervakningskommittén och kommissionen. Enligt kommissionens anvisningar i Indicative Guidelines on Evaluation Methods ska tyngdpunkten för utvärderingarna ligga vid dels genomförandet av programmen dels på insatsnivå/teman. Utgångspunkten är att hålla ihop uppföljning och utvärdering. En god uppföljning i ett program är en förutsättning för att utvärderingarna ska kunna hålla hög kvalité. 3 (8)

4 Syfte med utvärderingar är följande; 1. Belysa effektiviteten i genomförandet av det operativa programmet och ge stöd vid etablering av program och projekt, 2. Förmedla och sprida kunskap och resultat från projekt och program till de aktörer som deltar i genomförandet, 3. Värdera hur väl projekt och program når sina mål och möjliggöra förändringar i genomförandet av det operativa programmet, 4. Återföra kunskap och best practice till de nätverk och aktörer som på olika sätt aktivt bidrar till att generera och utveckla projektidéer, rigga projektansökningar samt leda projektgenomförandet, 5. Samla kunskap och erfarenheter från olika program och relatera dessa till den europeiska sammanhållningspolitiken samt till nationell regional tillväxtpolitik. 2. Inriktning och teman Utvärderingarna ska ske under hela programperioden men fokus för denna del av utvärderingsplanen kommer att ligga på åren Det är framför allt under denna period ändringar kan göras i programmet som kan få påtaglig betydelse för genomförandet. Ändringar i den senare delen av programperioden riskerar att ha mindre betydelse eftersom huvuddelen av de finansiella resurserna är uppbundna genom beslut. Under 2010 genomförs en översyn av planen för resterande del av programperioden. När det gäller inriktning är programmets innehåll utgångspunkt för vad som ska utvärderas. Programmets generella indikatorer, prioritetsindikatorer per prioriterat område samt kontextindikatorer kommer att ligga till grund för bedömning av programmets måluppfyllelse Exempel på frågor som ska belysas är: 1. Genomförandet av programmet, 2. Resultat av programmet som kan ha påverkan på utvecklingen i gränsregionen som till exempel förändringar i förutsättningar kopplat till ny kunskap, regelverk och samarbetsstrukturer, härunder även urvalskriteriernas samt indikatorernas betydelse för genomförandet, 3. Programmets koppling till andra regionala utvecklingsinsatser. I det följande presenteras inriktningen av utvärderingsinsatserna för perioden Utvärdering av programgenomförandet I kommissionens riktlinjer anges att utvärderingen ska omfatta organisationen för genomförande. Denna markering är helt i linje med ÖK:s huvuduppgift att verka för ett effektivt genomförande av programmet. Organisationen för genomförandet av programmet är av strategisk betydelse. En väl fungerande organisation gör att resurserna kan fokusera på att främja utveckling av bra projekt för programområdet. Något förenklat kan processen delas in i följande faser: 4 (8)

5 1. Information för att nå programmets målgrupper 2. Ansökan om finansiering 3. Beredning av ansökningar 4. Förslag till prioritering 5. Beslut 6. Lägesrapporter och utbetalningar 7. Uppföljning, återföring av resultat, lärande och avslut I de olika faserna deltar olika aktörer. Faserna går in i varandra vilket gör att hela kedjan måste ses som ett sammanhang. Fokus för läggs vid de fem första faserna i processen eftersom det kommer att ta längre tid innan erfarenheterna från de senare faserna finns tillgängliga. Nedan följer ytterligare beskrivning av vad som ska ingå i den fem första faserna. Kartläggning av programgenomförandet; Programgenomförandet ska kartläggas där olika aktörers syn på processens olika faser ska stå i fokus. De målgrupper som ingår i programmet redovisas i kapitel 4 i det operativa programmet samt i kapitel 6 i kommunikationsplanen. Rör i huvudsak fas 1-3. Granskning av urvalskriterier; ÖK har beslutat om de kriterier som ligger till grund för urval av projekt. I utvärderingen ingår att granska hur dessa kriterier tillämpas och hur olika parter anser att de påverkar inflödet av projektansökningar. Viktiga komponenter för inriktning och bedömning av projekt är de indikatorer som finns i det operativa programmet. Kopplingen mellan indikatorer och urvalskriterier ska belysas. Rör i huvudsak fas 3-4. Granskning av projektportföljen; Åtgärderna i programmen är förhållandevis breda. Det innebär att varje åtgärd rymmer ett brett register av möjliga projekt. I kartläggningen ska ingå att belysa efterfrågan på de olika åtgärderna och vilka huvudtyper av projekt som relateras till varje åtgärd. Rör i huvudsak fas Projektprofil och gränsöverskridande mervärde EU:s huvudsyfte med Europeiskt Territoriellt Samarbete är att stödja Gränsöverskridande ekonomiska, sociala och miljörelaterade verksamheter på grundval av de gemensamma strategier för en hållbar territoriell utveckling. Genom gränsöverskridande samarbete ska interregprogrammen genomföra aktiviteter som bidrar till att utveckla attraktiva gränsregioner. Tidigare perioders utvärderingar har i stor utsträckning fokuserat på graden av gränsregionalt samarbete, det vill säga i vilken utsträckning projekten har varit utvecklade och drivna på båda sidor gränsen. Denna periods utvärderingar skulle kunna fördjupa kunskapen om gränsregionalt samarbete genom att fokusera mer på hur gränsregionalt mervärde skapas. 5 (8)

6 Det finns många aspekter som kan tänkas påverka det gränsöverskridande mervärdet: 1. Hinder och mervärden: Det finns projekt som är inriktade på att reducera gränshinder och projekt som är mer inriktade på att skapa gränsöverskridande interaktion, till exempel ett gränsöverskridande kluster, där utvecklingen av klustret är i fokus och inte nödvändigtvis hindret. Det finns även olika typer av gränshinder både formella (lagstiftning) och upplevda (kulturella). 2. Projektens tema och inriktning: Det finns både projekt som arbetar med hårda infrastrukturfrågor i stil med kollektivtrafik och transporter över gränser och projekt som arbetar med mer mjuka frågor som nätverk och kulturutbyten. 3. Projektets geografi: Vissa projekt är geografiskt utspridda medan andra är mer sammanhållna geografiskt. 4. Erfarenheter från tidigare projektarbete: Vissa projekt är vidareutvecklingar av andra projekt, alternativt att de aktörer som ingår i projektet har stor vana av projektarbete, medan andra projekt saknar den erfarenheten. Enligt förslag skulle en typologi över hur man arbetar gränsöverskridande kunna utarbetas, för att ge en djupare bild av vad olika projekt behöver, vad svårigheterna är och vad framgångsfaktorerna är. Detta skulle kunna ge värdefull kunskap om hur olika typer av projekt arbetar och vilken typ av stöd de behöver. Förslagsvis kan utvärderingen av det gränsöverskridande mervärdet starta under 2009 och ha fokus på hur projekten arbetar, för att hitta best och eventuell worst-practice för olika typer av projekt. Utvärderingen ska bidra till att utveckla kunskap om hur gränsöverskridande mervärde skapas och hur det kan mätas. Under den senare delen av programperioden, skulle en utvärdering av resultaten i dessa projekt kunna genomföras. 3. Förslag till upplägg av utvärderingsinsatserna Med bakgrund av ovanstående har FM utarbetat förslag på tillvägagångssätt som presenteras nedan. Tillvägagångssättet är uppdelad i olika avsnitt för att få en klar bild över processen. 3.1 Resurs för kontinuerlig utvärdering Under planeras processen inriktas på två områden; kartläggning och utvärdering av programgenomförandet samt kartläggning och utvärdering av gränsöverskridande mervärde. Uppdragstagaren av den kontinuerliga utvärderingsinsatsen föreslås ges i uppdrag att: 6 (8)

7 - kartlägga och utvärdera programgenomförandet samt, - kartlägga och utvärdera projektprofil och gränsöverskridande mervärde. En resurs för utvärderingsinsatsen i form av en utvärderare eller ett utvärderingsteam föreslås upphandlas av FM. Utvärderaren har i samband med användning av kontinuerlig utvärdering möjlighet att löpande ge synpunkter och råd. Detta ger en successiv implementering av resultaten. Det viktiga är dock att processen är öppen och att olika aktörer känner sig delaktiga och involverade i att värdera resultaten. Utvärderarens roll i denna process ska vara tydligt angivna. De kommer under genomförandet att göra iakttagelser, stora som små som de bör informera programansvariga om. Frågor av större betydelse tas upp med ÖK för diskussion. Små frågor kan ansvariga dra nytta av omgående och bör behandlas därefter. Resultaten ska inte ses som den slutliga sanningen utan som återkommande insatser för att i dialog med övriga aktörer bidra till kontinuerliga förbättringar i genomförandet av programmet. 3.2 Målgrupper Målgruppen för utvärderingsinsatserna är dels den formella organisationen (ÖK, FM, Norsk förvaltande organisation, styrkommittéerna, sekretariat), dels aktörer som på olika sätt deltar i genomförandet såsom regionala och nationella utvecklingsaktörer, projektägare, arbetsmarknadens parter, intresseorganisationer, universitet och högskolor etcetera. 3.3 Budget I TA-budgeten har avsatts en samlad finansieringsram för köp av externa tjänster och utvärdering på totalt EURO under programperioden. 3.4 Samordning FM föreslår att samordning med andra utvärderingsinsatser kan vara av värde. Detta gäller framförallt inom vissa delar av utvärderingen i samarbete med andra program inom Europeiskt Territoriellt Samarbete. Utvärderingar kan anpassas till varandra och fokusera på både programspecifika och generella frågor. På detta sätt kan eventuella skillnader i pågående programmens genomförande och programmens verkningsgrad studeras. 7 (8)

8 Bilaga 8/3/08 Datum Dnr ÖKS Tidplan Tidsplanen delas in i fyra olika faser; Upplägg och inriktning, Upphandling, Utvärdering och Diskussion om resultat. Utifrån dessa faser föreslås den övergripande tidsplanen se ut som följer; Upplägg och inriktning Juni 2008 ÖK-möte: Presentation av förslag till utvärderingsplan Augusti 2008 Möte med referensgruppen November 2008 ÖK-möte: Beslut om utvärderingsplan Upphandling December 2008 Januari 2009 Februari 2009 Anbudsunderlag klart Anbud inkommer och bedöms av FM Avtal skrivs med utvärderare Utvärdering Februari 2009 Utvärderingen påbörjas 2009 Möte med referensgruppen 2ggr, diskussion om utvärderingsprocessen Maj 2009 ÖK-möte; Presentation av utvärderingsprocessen Diskussion om resultat Augusti 2009 Lärseminarium September2009 Utkast till rapport om programgenomförandet Oktober/November ÖK-möte; Rapport om programgenomförandet behandlas Januari/Februari 2010 Utkast till rapport och lärseminarium om projektprofil och gränsöverskridande mervärde April/Maj 2010 ÖK-mötet; Rapport om projektprofil och gränsöverskridande mervärde behandlas 1 (8)