Vad kan vi lära oss av utvärderingar? Utvärderingsseminarium 17 september 2015
Vad kan vi lära oss av utvärderingar? 13.05 Vad tyckte deltagarna om kompetensutvecklingen? Lisa Karlsson, Analysenheten 13.40 Vad behöver vi tänka på för att genomförandet av landsbygdsprogrammet 2014-2020 ska bli bra? Sigrid Hedin, Tillväxtverket (tidigare Sweco Strategy) 14.30 Vad ska utvärderas i programuppstarten? 14.50 Fika Fredrik Holstein, utvärderingssekretariatet 15.15 Vad behöver förenklas? 16.00 Slut Terese Strenger, Sweco Strategy,
Kompetens för utveckling? Utvärdering av kompetensutveckling i landsbygdsprogrammet 2007-2013 Lisa Karlsson, Analysenheten
Slutsatser Nöjda! Från 64 procent (tvärvillkor) till 88 procent (djurens välfärd) Deltagare i kurs är mer nöjda än deltagare i rådgivning. Kvinnor är mer nöjda än män Andelen som tycker att de inte kan mer efter utbildningen varierar mellan 6 procent (djurens välfärd) och 33 procent (tvärvillkor) 74 procent svarar viss, ganska, mycket på åtminstone en effektfråga Män anser i högre grad än kvinnor att utbildningen har bidragit till förändrat arbetssätt Det vanligaste skälet till att deltagarna menar att utbildningen inte har haft effekt att de redan arbetade på det sätt som rekommenderades på utbildningen.
Är deltagarna nöjda? Begränsad klimatpåverkan 5 24 71 Djurens välfärd 3 9 88 Ekologisk produktion 1 17 82 Ett rikt odlingslandskap 0 14 86 Företagsutveckling Axel 1 2 28 71 Företagsutveckling Axel 3 5 15 80 Giftfri miljö 1 21 78 Hållbart skogsbruk 1 18 81 Ingen övergödning 2 16 82 Landsbygdsutveckling 4 15 81 Tvärvillkor 6 29 64 0% 50% 100% Mycket/ganska missnöjd Varken nöjd eller missnöjd Ganska/mycket nöjd
Förändring kunskap Kursen/rådgivningen har bidragit till att jag kan mer om Axel 1 Axel 2 Axel 3 Hållbart skogsbruk Miljövänliga arbetsmetoder 24 44 14 33 Naturmiljöer och biologisk mångfald 9 36 12 52 Kulturhistoria, kulturmiljöer och/eller gamla byggnader 4 21 15 14 Djurhållning och/eller djurvälfärd 38 17 16 2 Starta och utveckla företag 4 4 15 2 Ekonomi, ökad lönsamhet och ledarskap 15 10 18 9 Entreprenad, köp av tjänster 3 1 7 7 Produktutveckling eller diversifiering 10 6 18 4 Turism, restaurang, mat och dryck 5 2 17 1 Service- och tjänsteverksamhet 5 1 9 1 Ingenting, jag kan inte mer än innan 14 10 10 15 Annat 20 14 20 20
Förändrat arbetssätt EU-frågor om bidrag till förändrat arbetssätt: Nya produkter, produktionsinriktningar Ny produktionsmetod Nya IT-hjälpmedel Skötsel för biologisk mångfald Mer miljövänligt arbetssätt Förändrat arbetssätt sammanfattningsvis Många svarar handlar inte om det på en eller flera frågor. Frågan om nya IT-stöd är t ex inte relevant för ca 40 procent. 7 % svarar att aktiviteten inte handlade om någon av de efterfrågade effekterna (oviktat).
Upplevd effekt? Relativt låg andel svarar i ganska/mycket hög utsträckning Fler svarar i viss utsträckning Cirka 3/4 - viss, ganska, mycket på fråga om miljö i målområden som handlar om miljö Cirka 3/4 viss, ganska, mycket på åtminstone en fråga (oviktat) 8 procent ingen eller mycket liten förändring på samtliga effektfrågor (oviktat) Varför? Jo, man jobbar redan på rekommenderat sätt Kurs generellt mer positivt än rådgivning
Jämställdhet
Jämställdhet Signifikanta skillnader Kvinnor är mer nöjda än män, kurs inom axel 1 Män har förändrat sitt arbetssätt mer än kvinnor, kurs Män har förändrat sitt arbetssätt mer än kvinnor, rådgivning hållbart skogsbruk Generella tendenser Kvinnor mer nöjda än män Män har förändrat arbetssätt i högre uträckning än kvinnor
Nivå & innehåll Benägenhet att tycka att man inte kan mer än innan Signifikanta skillnader Rådgivning Målområdena Begränsad klimatpåverkan, Företagsutveckling axel 1 och axel 3 samt Tvärvillkor Skogsägare, skogsentreprenör
Nivå & innehåll Benägenhet att tycka att man redan arbetar på rekommenderat sätt Tendenser Män Rådgivning Jordbrukare Skogsbrukare, skogsentreprenör Minst benägenhet, signifikanta skillnader Målområde landsbygdsutveckling Annan roll
Målet? Inga definierade mål på effektnivå Vad har vi för förväntningar på kompetensutveckling? Är resultaten bra i förhållande till dem?
Kompetens för utveckling? Utvärdering av kompetensutveckling i landsbygdsprogrammet 2007-2013 Lisa Karlsson, Analysenheten
Förhandsutvärdering av landsbygdsprogrammet 2014-2020 Rekommendationer juni 2014 Sigrid Hedin, uppdragsledare (f.d. Sweco Strategy)
Hur gjordes förhandsutvärderingen? Följt riktlinjer för förhandstutvärdering. Stegvis bedömning av programframtagande (mars 2013-juni 2014) Resultat: Förhandsutvärderingsrapport samt SMB-rapport inklusive rekommendationer.
Slutsatser Utveckla interventionslogiken Utveckla målformuleringar Tydliggör åtgärders utfall och resultat Utforma indikatorer för att följa den eftersträvade förändringen Var vaksam på hur nya / vissa inslag i programmet fungerar Innovation CLLD flerfondslösning Horisontella principer, inkl. miljö och hälsa Anpassa programmet utifrån uppföljningar och utvärderingar
Generellt Interventionslogik Nya inslag (åtgärder) bör följas särskilt i övervaknings-, uppföljningoch utvärderingsarbetet. CLLD Säkerställ lokal förvaltningskapacitet ett landskapsperspektiv för prioritering 4. kan spela stor roll inom innovationer och samverkan. Det kräver att det finns nödvändig kompetens och kapacitet inom LAG.... att urvalskriterier av lokala utvecklingsstrategier svarar upp mot t ex lokala och regionala planer och program.. att innovationsprincipen adresseras och inkluderas i lokala utvecklingsstrategier. en samordning med fiskeri-, regional- och socialfonden under genomförandet för att möjliggöra en flerfondsfinansiering av insatser när behov finns.
Mål och finansiell fördelning Målformulering SMART:a mål på en mellanliggande nivå bör utvecklas för att underlätta uppföljning och utvärdering. Extern överensstämmelse Relatera regionala handlingsplaner till lokala och regionala mål. Säkerställ en koppling till EU:s strategi för Östersjöregionen i programgenomförandet. Följ nogsamt genomförandet av insatser med en liknande inriktning, för att minimera överlappningar och möjliggöra synergier.
Utfall och resultat Förväntat utfall och resultat som åtgärderna ska bidra till bör tydligare redovisas i programdokument. Kompletterande utfallsindikatorer behövs för att följa programgenomförandet, särskilt för prioriteringarna 1, 3, 4 och 5. Kompletterande resultatindikatorer behövs för samtliga fokusområden för att tydligare kunna följa den förändring som programmet eftersträvar att uppnå. Samverkan och erfarenhetsutbyte kring ansatser för att fånga resultat bör bedrivas med andra ESI-fonder. Rörande indikatorer inom prioritering 1 och 6 uppmuntras särskild avstämning.
Horisontella principer & hållbar utveckling Mål på en mellanliggande nivå som uppfyller SMARTkriterierna saknas för de horisontella principerna. Bedöm om särskilda åtgärder krävs för att nå dessa mål. Programmets bidrag till ökad jämställdhet och minskad diskriminering skulle kunna förtydligas. Se över om och hur kopplingen mellan vissa fokusområden och klimatförändringar kan utvecklas. Prioriteringarna 1, 2 och 6 kan styras så att de bidrar till hållbar utveckling.
Horisontella principer & hållbar utveckling Handläggare bör löpande utbildas i tillämpningen av de horisontella principerna och hållbar utveckling. I detta inbegrips även att säkerställa att information når alla berörda samt att hänsyn till språkval tas, i exempelvis kunskapsöverföringsoch informationsåtgärder, rådgivningstjänster, jordbruks- och affärsutveckling. Explicit uppföljning och utvärdering av målen för de horisontella principerna och hållbar utveckling bör genomföras. Resultaten bör återföras till ansvariga för att möjliggöra justering av insatser under genomförandet. Det kan både handla om att förstärka positiva effekter och minimera eller undvika negativa effekter.
Strategisk Miljöbedömning (SMB) Mer klimatanpassningsåtgärder hade varit möjligt. Kompletterande uppföljning och utvärdering behövs för kunskap om hur programmet påverkar på miljö och hälsa. Uppföljning kring programmets samspel med andra relevanta program behövs för att säkerställa att bästa möjliga effekt av programmet kan uppnås. I utformning samt programgenomförandet bör miljöaspekter kontinuerligt integreras i processen, t ex i regionala handlingsplaner. Uppföljning och utvärdering: Kunskap ska återkopplas till programgenomförarna, för att kunna korrigera åtgärder.
Genomförande Tydliggör hur rådgivning om programmets möjligheter ingår som en del i kommunikationsansatsen. Säkerställ att de åtgärder som planeras för att minska den administrativa bördan verkligen medför en reell förenkling. Jordbruksverket bör säkerställa att det finns en god förståelse för lokala behov i genomförandet av CLLD. Här är utformningen och sammansättningen av urvalskommittéerna, som bedömer och prioriterar de lokala utvecklingsstrategierna av yttersta vikt. Vidta åtgärder för att minimera risken för finansieringsglapp av LAG för att säkerställa att kompetens och kapacitet vidmakthålls.
Uppföljning och styrning Löpande uppföljning och utvärdering är av stor betydelse för att bedöma om programmets inriktning bör justeras. Övervakningskommittén och förvaltningsmyndigheten bör använda sig av uppföljnings- och utvärderingsresultat för att vid behov justera insatser samt som grund för framtagandet av liknande framtida insatser.
Förhandsutvärdering av landsbygdsprogrammet 2014-2020 Rekommendationer juni 2014 Sigrid Hedin, uppdragsledare (f.d. Sweco Strategy)
Utvärdering av genomförandeorganisationen i ESI-fonderna 2014-2020 Hur väl har ESI-fonderna organiserats för att bidra till uppfyllandet av EU:s 2020-mål? Diskussion kring inriktningen på en fondgemensam utvärdering under 2016
Bakgrund Gemensam utvärdering 2016 (SJV, TVV, ESF) Genomförarande för program- & EU 2020-mål? rutiner & arbetsformer synergier & överlappningar
Processen Remiss genomförs av Jordbruksverket, Tillväxtverket respektive ESF-rådet Skriftliga synpunkter, senast 22/9, till Fredrik.Holstein@jordbruksverket.se Fondsamordningens arbetsgrupp justerar Upphandling under hösten, slutlig utformning i samråd med utvärderare Utvärderingen genomförs under 2016
Preliminära utvärderingsfrågor 1. Bidrag till uppfyllandet av EU 2020-målen? 2. Genomförandet av Lokalt ledd utveckling? 3. En kunskapsbaserad politikutveckling? 4. Effekter av urvalskriterier? 5. Användningen av horisontella kriterier? 6. Har programmen förenklats? 7. Lagom samordning mellan ESI-fonderna?
Synpunkter från genomförandeorganisationerna? Vilka utvärderingsfrågor bör ställas? Precisering av frågor/delfrågor? Lägga till / ta bort frågeställningar? Prioritering av frågeställningar Hur möjliggöra lärande och förändring under programperioden? Vad är möjligt och lämpligt att ändra på? Hur utforma processen för att möjliggöra lärande? Fokus på särskild del av genomförandeorganisationen?
Utvärdering av genomförandeorganisationen i ESI-fonderna 2014-2020 Hur väl har ESI-fonderna organiserats för att bidra till uppfyllandet av EU:s 2020-mål? Diskussion kring inriktningen på en fondgemensam utvärdering under 2016
Fikapaus åter 15.15
Vad behöver förenklas? Utvärdering av landsbygdsprogrammet samt havs- och fiskeriprogrammet Terese Strenger 36
Utvärderingsfrågor och resultat På vilket sätt upplever stödmottagarna att det är svårt att söka och få stöd från programmen? Har åtgärder genomförts inom de områden där de sökande upplever att det finns störst hinder? Har förenklingarna påverkat förutsättningarna att nå målen med stöden? Har förenklingarna påverkat myndigheternas administrativa börda? Lätt att söka stöd vissa problem med ansökan, handläggningstider och redovisning av kostnader Förenklingsarbetet har haft rätt inriktning handläggningsrutinerna inom havs- och fiskeriprogrammet bör ses över Marginell positiv påverkan på måluppfyllelse På sikt minskar administrationen för myndigheterna 18/09/2015 37
Metod Inför ansökan om stöd Ansöknings förfarandet Beslutsfasen Kontroll Utbetalning/ redovisning 18/09/2015 38
På vilket sätt upplever stödmottagarna att det är svårt att söka och få stöd från programmen? RESULTAT Tydlig information om villkor för stöd Ansökningsförfarandet relativt enkelt undantaget företagsstöd i landsbygdsprogrammet Mycket långa handläggningstiderna innan beslut för företagsstöd i fiskeriprogrammet Inga större svårigheter i kontrollfasen Utbetalnings- och redovisningsfasen svår för projektsökande Negativa konsekvenser för sökande i fiskeriprogrammet 18/09/2015 39
Har åtgärder genomförts inom de områden där de sökande upplever att det finns störst hinder? RESULTAT Förbättrad kundtjänst, Förtryckta uppgifter i SAM Internet, Tydligare kontrollbeslut Stabilare blockdatabas Rätt inriktning Miljöersättning Enklare tolkning av regler Färre ändring av regler Kompensationsbidrag Likartad bedömning av kontrollanter Enklare kontroller 18/09/2015 40
Har åtgärder genomförts inom de områden där de sökande upplever att det finns störst hinder? RESULTAT Elektronisk ansökan Schablonkostnader Stor påverkan E-handläggning Mina sidor Viss påverkan Medfinansiering borttaget En LLU-myndighet Marginell påverkan Miljöinvestering EN kontaktperson Tydligare information om villkor för stöd Företagsstöd L-program Bättre vägledning vid ifyllandet av ansökan Företagsstöd F- program Projektstöd Kortare handläggningstider För beslut och utbetalning Enklare och mindre detaljerad redovisning av kostnader 41
Har förenklingarna påverkat förutsättningarna att nå målen med stöden? Marginell positiv påverkan Har förenklingarna påverkat myndigheternas administrativa börda? På sikt underlättas myndigheternas administrativa börda 18/09/2015 42
Slutsatser och rekommendationer Lätt att söka stöd vissa problem med ansökan, handläggningstider och redovisning av kostnader Förenklingsarbetet har haft rätt inriktning handläggningsrutiner inom havs- och fiskeriprogrammet bör ses över Marginell positiv påverkan på måluppfyllelsen På sikt minskar administrationen för myndigheterna 18/09/2015 43
Vad behöver förenklas? Utvärdering av landsbygdsprogrammet samt havs- och fiskeriprogrammet Terese Strenger 44
Tack för idag!