Bakgrund och inriktning för Stora programutvärderingen

Promemoria Datum: Diarienr: 1 (9) 2017-11-01 Kontaktperson: Bakgrund och inriktning för Stora programutvärderingen I utvärderingsplanen för Socialfonden framgår det att programmet ska utvärderas två gånger. Den förra utvärderingen som fokuserade på ESI-fondernas genomförandeorganisationer hade ett tydligt processfokus, medan nästkommande utvärdering är effektorienterad. Med effektutvärdering avses en analys av de förändringar som inträffat till följd av en åtgärd och som, med stor sannolikhet, inte hade uppstått i frånvaron av den aktuella satsningen 1. Följande PM syftar till att beskriva utgångspunkterna för den sistnämnda utvärderingen och ska ligga till grund för den beställning som, så som planen ser ut nu, kommer att göras sent våren 2018. PMet tar utgångspunkt i den av Övervakningskommittén beslutade utvärderingsplanen och kan ses som en ytterligare precisering av den beskrivning som finns i planen. PMet är att betrakta som ett första utkast och vi kommer att utveckla ansatsen ytterligare utifrån den inspel som ÖK AU och myndighetsledningen gör. Vi är intresserade av era inspel på underlaget. Vid behov kommer ytterligare möjligheter till inspel och förankring av utvärderingen att ges. Tidsplaneringen i utvärderingsplanen har justerats något. Den tentativa planen är att uppdraget kommer löpa från hösten 2018 till slutet av 2020. Eftersom följande PM är ett led i arbetet med att ta fram en kommande beställning vill vi be er om att inte sprida dokumentet. Om det kommer ut information som kan ge leverantörer en otillbörlig konkurrensfördel kan det äventyra uppdraget. 1 Ekonomistyrningsverket (2006). Effektutvärdering - Att välja upplägg. Svenska ESF-rådet Huvudkontoret Besöksadress: Rosterigränd 12, 3 tr Postadress: Box 47141, 100 74 Stockholm Telefon: 08-579 171 00 Fax: 08-579 171 01 Webbplats: www.esf.se

Diarienr: 2 (9) 1. Om Socialfonden Den Europeiska Socialfonden 2014-2020 genomförs som ett led i EU:s sammanhållningspolitik. Detta innebär att Socialfonden, tillsammans med övriga struktur- och investeringsfonder 2, ska bidra till en smart, hållbar och inkluderande tillväxt för alla, enligt de riktlinjer som gäller för Europa 2020. Arbetet med Europa 2020 är knutet till både Partnerskapsöverenskommelsen och Östersjöstrategin. De övergripande målen för Östersjösamarbetet är att rädda havsmiljön, sammanlänka regionen och att öka välståndet, medan Partnerskapsöverenskommelsen lyfter följande prioriteringar: Främja konkurrenskraft, kunskap och innovation Förstärka hållbart och effektivt nyttjande av resurser för en hållbar tillväxt Öka sysselsättningen, främja anställbarhet och förbättra tillgängligheten till arbetsmarknaden Socialfonden i Sverige stödjer sammanhållningspolitiken genom att åtgärder finansieras via tre programområden, i förhållande till den målstruktur som presenteras i tabell 1. Förutom de särskilda målen nedan ska ett antal processmål, eller horisontella principer, prägla verksamheten. Socialfonden ska, med andra ord, inte bara bidra till en väl fungerande arbetsmarknad, utan även beakta och bidra till horisontella principer gällande jämställdhet, tillgänglighet, icke-diskriminering samt ekologisk hållbarhet. Tabell 1: Särskilda mål inom Socialfonden Programområde (PO) Särskilda mål 1. Kompetensförsörjning 1.1 Stärka kompetensen hos i huvudsak sysselsatta kvinnor och män, men även hos personer som står långt ifrån arbetsmarknaden, i enlighet med arbetsmarknadens och den enskilda arbetsplatsens behov 1.2 Ökad samverkan och förstärkt koppling mellan utbildning, arbetsliv och arbetsplatsförlagt lärande 2. Öka övergångarna till arbete 2.1 Kvinnor och män som står långt från arbetsmarknaden ska komma i arbete, utbildning eller närmare arbetsmarknaden 2.2. Underlätta etableringen i arbetslivet och öka deltagandet i utbildning för unga 3 kvinnor och män 2.3 Kvinnor och män som står särskilt långt från arbetsmarknaden ska komma i arbete, utbildning eller närmare arbetsmarknaden 3. Sysselsättningsinitiativet för unga 3.1 Öka sysselsättningen och deltagandet i utbildning hos unga arbetslösa kvinnor och män och andra unga som varken arbetar eller studerar 2 Dessa fonder är: Regionalfonden, Jordbruksfonden samt Havs- och fiskerifonden, 3 Med unga avses personer mellan 15-24 år (se även mål 3.1).

Diarienr: 3 (9) PO1 vänder sig framförallt till sysselsatta, såväl företagare som anställda, medan PO2 riktar sig till arbetslösa i allmänhet och till följande målgrupper i synnerhet: unga, långtidsarbetslösa, personer med funktionsnedsättning, nyanlända invandrare samt sjukskrivna. PO3 fungerar, i sin tur, som en tillfällig resursförstärkning i utsatta regioner, där ungdomsarbetslösheten översteg 25% år 2012 4. Socialfonden förvaltas av ESF-rådet, med en total budget på 12 miljarder, där både EU-stöd och en nationell medfinansiering ingår. För PO2 finns en ram på 7589 miljoner. Motsvarande siffror för de andra programområdena är 3253 miljoner (PO1) och 1112 miljoner (PO3), vilket även visas i tabell 2. Tabell 2: Socialfondens finansiering, i miljoner kronor, exklusive resultatreserv 5 PO Unionens stöd Särskild tilldelning SSI Nationell medfinansiering Totalt 6 PO1 1626-1626 3253 PO2 3795-3795 7589 PO3 371 371 371 1112 Inom samtliga programområden finansieras verksamheter i projektform. De utlysningar som ligger till grund för dessa projekt formuleras av ESF-rådet. Därefter fattar strukturfondspartnerskapen beslut om vilka insatser som ska prioriteras, mot bakgrund av de regionala handlingsplaner som tagits fram. Partnerskapen leds av förtroendevalda och de representerar åtta geografiska områden: Övre Norrland Mellersta Norrland Norra Mellansverige Östra Mellansverige Stockholm Västsverige Småland och Öarna Sydsverige Partnerskapen förvaltar tre fjärdedelar av Socialfondens budget. Den sista fjärdedelen hanteras av ESF nationellt, utan regional styrning. De nationella medlen ska dels förstärka och utveckla arbetsmarknadspolitiken, dels bidra till en jämställd arbetsmarknad med ökad social delaktighet. Socialfondens nationella och regionala satsningar kan slutligen delas in i två kategorier: tillämpningsoch utvecklingsprojekt. Tillämpningsprojekt innebär att befintliga metoder används som ett temporärt stöd till ordinarie insatser, till exempel vid stora flyktingströmmar eller en omfattande ungdomsarbetslöshet. Tillämpningsprojekt har ett individfokus, medan utvecklingsprojekt även vill nå en förändring på organisations- och strukturnivå, främst genom att stödja sociala innovationer. Utvecklingsprojekt finns inom alla programområden, exklusive PO3, men de betonas särskilt vid mål 1.2 (se tabell 1). 4 Dessa regioner är: Mellersta Norrland, Norra Mellansverige och Sydsverige. 5 Resultatreserven för PO1 är 109 miljoner och för PO2 254 miljoner. 6 Utöver denna finansiering erhåller ESF-rådet 544 miljoner för teknisk assistans.

Diarienr: 4 (9) 2. Utvärderingsuppdraget Effektutvärderingen ska omfatta programmets samlade avtryck under perioden 2014-2020. Denna granskning bör: a) utgå ifrån de särskilda målen i tabell 1, b) ta hänsyn till de horisontella principerna samt c) skilja mellan de resultat som åstadkoms på individ-, organisations- och strukturnivå. Uppdraget har två huvudsyften. Det ska dels bedöma vad satsningen lett till, utifrån ett ansvarsutkrävande perspektiv, dels bidra med ett lärande genom att analysera varför vissa resultat nås till skillnad från andra. Mer specifikt utgår utvärderingen ifrån de frågor som visas i tabell 3, vilket innebär ett fokus på följande utvärderingskriterier: måluppfyllelse, effekter, effektivitet och relevans. Tabell 3: Centrala utvärderingsfrågor Kriterier Måluppfyllelse: Detta kriterium är mycket vanligt och det analyserar huruvida målen för en insats nås eller inte. Effekt: En god måluppfyllelse kan förklaras av de aktiviteter som genomförs, men även av så kallade omvärldsfaktorer, såsom konjunktur eller deltagarnas vilja till att förändra sina liv. Vid detta kriterium analyseras den isolerade effekt som kan tillskrivas Socialfonden, i förhållande till de övriga faktorer som påverkar programmets resultat på olika nivåer. Effektivitet: Här analyseras genomförandet av Socialfonden samt relationen mellan använda resurser och uppnådda effekter. Relevans: Med relevans avses kopplingen mellan programmets mål och samhällets utmaningar. Utvärderingsfrågor 1. I vilken utsträckning har de särskilda målen uppnåtts? 2. Bidrar Socialfonden till de horisontella principerna? 3. Vilken effekt har programmet på: Deltagarnivå? Organisationsnivå? Strukturnivå? 4. Hur skiljer sig effekten åt mellan olika: Målgrupper? Insatser? Regioner? Programområden? 5. Har Socialfonden lett till några oväntade effekter? 6. Nås rimliga effekter givet Socialfondens budget? 7. Är vissa insatser mer kostnadseffektiva än andra? 8. Genomförs rätt aktiviteter i förhållande till avsedda mål? 9. Implementeras programmet med en hög kvalitet? 10. Löper det en röd tråd mellan målen i: EU2020? Östersjöstrategin? Partnerskapsöverenskommelsen? Det nationella Socialfondsprogrammet? Regionala handlingsplaner? De utlysningar som genomförs

Diarienr: 5 (9) 11. Adresserar programmet de behov som finns: Bland deltagande individer? Hos medverkande organisationer? På arbetsmarknaden i stort? 12. Hur kompletterar Socialfonden ordinarie insatser? 2.2 Utvärderingsdesign EU-kommissionen framhåller att effektutvärderingar bör utföras på två huvudsakliga sätt: med hjälp av teoribaserade ansatser eller kontrafaktiska analyser 7. Teoribaserade utvärderingar vilar på en kombination av olika datainsamlingsinstrument, kvalitativa såväl som kvantitativa, och de syftar till att: a) bedöma sannolika effekter genom att b) jämföra de antaganden som en insats baseras på med c) tidigare forskning inom relevanta fält, till exempel på arbetsmarknadsområdet 8. I en kontrafaktisk utvärdering analyseras utvecklingen med hjälp av så kallade kontrollgrupper. En kontrollgrupp består av personer som påminner om programdeltagarna, i så hög utsträckning som möjligt, men som inte medverkat i den aktuella insatsen. Den isolerade effekten av en åtgärd förstås sedan som resultatskillnaden mellan deltagar- och kontrollgruppen över tid 9. Även om teoribaserade och kontrafaktiska utvärderingar ofta beskrivs som separata angreppssätt, så finns det ingen inneboende motsättning mellan dem, enligt ESF-rådets mening. Tvärtom kan flera fördelar vinnas med kombinerade analysstrategier. Ett sådant upplägg gör det till exempel möjligt att undersöka vad insatsen leder till, i termer av netto-effekter, samtidigt som du belyser varför vissa resultat uppstår till skillnad från andra, vilket är av stor betydelse i ett strategiskt utvecklingsarbete. I klartext menar ESF-rådet att en mix av teoribaserade och kontrafaktiska perspektiv är relevant vid analysen av de utvärderingsfrågor som visas i tabell 3. En viktig utgångspunkt för utvärderingens upplägg är de operationaliseringar som beskrivs i Socialfondens utvärderingsplan. En vidareutveckling av dessa, kopplat till programutvärderingen, finns redovisad i bilaga 1. 2. 4 Återföring och lärande Effektutvärderingen ska inte bara genomföras på ett tillförlitligt sätt; den ska även bidra med ett lärande och en verksamhetsutveckling hos relevanta intressenter. I tabellen nedan preciseras de huvudsakliga mottagarna av utvärderingen samt deras roll och mandat inom Socialfondssystemet. Tabell 5: Huvudsakliga mottagare Mottagare EU-kommissionen Roll och mandat EU-kommissionen analyserar genomförandet av det nationella Socialfondsprogrammet utifrån ett ansvarsutkrävande perspektiv, med ett särskilt fokus på insatsernas måluppfyllelse, effekter och deras effektivitet. 7 Guidance document on monitoring and evaluation (2015). 8 Carol H. Weiss (1997). Theory-based evaluation: past, present and future. 9 Socialstyrelsen (2012). Att göra effektutvärderingar.

Diarienr: 6 (9) Mottagare Övervakningskommittén ESF-rådet Roll och mandat Övervakningskommittén ska dels granska programmets genomförande och framstegen när det gäller att uppnå avsedda mål, dels undersöka de frågor som påverkar resultatreserven. Därutöver får Övervakningskommittén lämna synpunkter till den förvaltande myndigheten kring programmets utformning och framdrift, inklusive åtgärder för att minska stödmottagarnas administrativa börda. ESF-rådet hanterar flera nyckelprocesser i programmet, däribland lärandet och resultatåterföringen på regional, nationell och europeisk nivå. ESF-rådet ska även: Forma utlysningar Mobilisera relevanta projektägare Pröva projektansökningar Regionalt tillväxtansvariga och strukturfondspartnerskap Övriga mottagare Socialfonden styrs av handlingsplaner som utformas av tillväxtansvariga i respektive region. Mot bak-grund av dessa planer svarar strukturfondspartnerskapen för den slutliga prioriteringen av de insatser som genom-förs. I detta arbete ska partnerskapen granska projektens kvalitet, samtidigt som de säkerställer en tydlig koppling mellan programmets åtgärder och regionala behov. Övriga mottagare av utvärderingens resultat är: SKL Arbetsförmedlingen Försäkringskassan Arbetsmarknadsdepartementet Dessa aktörer säker en tillförlitlig kunskap om hur olika metoder fungerar, vilket ska ligga till grund för beslut om eventuella tillämpningar inom ordinarie verksamhet. Utvärderingen ska ge en kontinuerlig återföring av utvärderingens resultat, där hänsyn tas till olika intressenter och deras behov, snarare än ett traditionellt processtöd. Utvärderingen ska givetvis vara både framåtsiktande och handlingsorienterad, men ska inte betraktas som ett löpande bollplank och ESF-rådet lägger stor vikt vid att de rekommendationer som tas fram bygger på en noggrann analys av empiriska data. Utvärderingens plan för lärande och återföring vör omfatta: En löpande dialog med ESF-rådet Möten med och återrapporteringar till Övervakningskommittén samt Arbetsutskottet Muntliga presentationer för regionala aktörer

Diarienr: 7 (9) En metodrapport, en delrapport och slutrapport Bilaga 3: Förslag till operationaliseringar Socialfonden utgår ifrån sex särskilda mål och fyra horisontella principer som, var för sig, beskriver en önskad utveckling på individ-, organisations- och/eller strukturnivå. Utvärderingen av programmets komplexa målstruktur får gärna inspireras av de operationaliseringar som föreslås i tabellen nedan, där vi även tydliggör vilken datainsamling som krävs för att granska respektive mål. Exempel på operationaliseringar av programmets mål Typ av mål Särskilt mål 1.1 och 1.2 Möjliga operationaliseringar De särskilda målen (SM) inom programområde 1 kan operationaliseras på fyra huvudsakliga sätt: 1) Deltagarna i Socialfonden utvecklas mer positivt än jämförbara grupper av icke deltagare, till exempel gällande: Inkomst Byte av arbetsgivare, yrke eller bransch Arbetslöshet Antal sjukdagar 10 2) De arbetsställen som medverkar i Socialfonden utvecklas mer positivt än jämförbara organisationer. Möjliga indikatorer i detta sammanhang är: omsättning, produktivitet och vinst 11. 3) Operationaliseringarna ovan utgår ifrån data som finns tillgängliga i offentlig statistik. Som ett komplement till dessa uppgifter kan utvärderaren granska deltagarnas utveckling med hjälp av ESF-rådets uppföljning. De personer som medverkar i SM 1.1 får, mer specifikt, svara på en enkät efter avslutad insats. Denna enkät har en svarsfrekvens på runt 40 procent och den fokuserar på följande individresultat: Nya arbetsuppgifter Tryggare anställning Utökad arbetstid En breddad syn på möjliga arbeten 4) De särskilda målen inom PO1 ska slutligen leda till ett antal avtryck på organisations- och strukturnivå som varken kan mätas med register eller befintlig uppföljning. 10 Dessa indikatorer gäller för SM 1.1, då projekten inom 1.2 genomförs med få eller inga deltagare. 11 Denna operationalisering kan användas vid både SM 1.1 och SM 1.2.

Diarienr: 8 (9) Typ av mål Möjliga operationaliseringar Särskilt mål 1.1 och 1.2 Exempel på indikatorer som kan användas vid särskilt mål 1.1 är: a) en förbättrad arbetsorganisation, b) en breddad rekryteringsbas, c) en kompetensförsörjning som tillgodoser samhällets behov samt d) ett hållbart arbetsliv. Därutöver kan följande operationaliseringar användas vid särskilt mål 1.2: Särskilt mål 2.1-2.3 Ökad samverkan Bättre arbetsmiljö Större lärande på arbetsplatsen Nya metoder utvecklas och implementeras Förstärkt koppling mellan utbildning, arbetsliv och APL 12 1) Vad gäller resultat och effekter på individnivå, så bör deltagarna i programområde 2 utvecklas mer positivt än jämförbara grupper av icke deltagare med avseende på: Inträde i arbetskraften Temporära och tidsbegränsade jobb Osubventionerade heltidsarbeten Inkomst av anställning eller egenföretagande Deltagande i reguljär utbildning Studierelaterad inkomst 2) Deltagarnas ställning på arbetsmarknaden kan även mätas med hjälp av självupplevd utveckling eller progression. En sådan progression kan till exempel handla om: Självkänsla Språkkunskaper Arbetslivserfarenhet Studiemotivation Yrkeskompetens 3) Socialfonden ska stärka de organisationer som medverkar i programområde 2, framförallt genom en ökad samverkan samt en implementering av nya metoder och arbetssätt. Projekten i PO2 ska vidare leda till en strukturpåverkan genom att: Bidra till ny lagstiftning Influera politiska beslut Sprida kunskap om hur utanförskap kan motverkas Indikatorerna ovan gäller för alla mål inom programområde 2, även om den organisations- och strukturförändrade ambitionen är knuten till utvecklingsprojekt, snarare än tillämpningsprojekt. Punkt 1 kan, i ett nästa steg, utvärderas 12 Arbetsplatsförlagt lärande

Diarienr: 9 (9) Typ av mål Särskilt mål 3.1 De horisontella principerna med hjälp av befintlig statistik, medan punkt 2 och 3 kommer att kräva en egen datainsamling från utvärderararens sida. Möjliga operationaliseringar Programområde 3 är, i grund och botten, en sysselsättningsåtgärd för utsatta individer. I operationaliseringen av SM 3.1 kan utvärderaren, med fördel, återanvända de deltagarindikatorer som beskrivs vid PO2. Dessa indikatorer fångar, som tidigare nämnts, övergångar till arbete, men även den utveckling och progression som deltagarna själva upplever. 1) På individnivå kan de horisontella principerna förstås utifrån deltagarnas representation och sysselsättningsresultat. Med representation avses förmågan till att nå följande grupper: Kvinnor och män Nyanlända Utomeuropeiskt födda Personer med funktionsnedsättning Sysselsättningsresultat kan vidare definieras som att grupperna ovan kommer i arbete, utbildning eller närmare arbetsmarknaden. De indikatorer som är kopplade till deltagarnas representation och resultat finns tillgängliga i Socialfondens uppföljning samt i offentliga register. 2) På organisationsnivå är det centralt att såväl projekten som programorganisationen har kunskap om de horisontella principerna och att de prioriteras i verksamheten. Projektens kunskap om de horisontella principerna prövas kontinuerligt av ESF-rådets samordnare och dessa bedömningar sammanställs inom ramen för programmets uppföljningssystem. 3) Vad gäller strukturnivån ska Socialfonden påverka normer och synsätt bland arbetsgivare kring möjliga personer att anställa. Därutöver har programmet ett mål om att bidra till en minskad könssegregering på den svenska arbetsmarknaden. Detta mål kan följas upp med hjälp av ESF-rådets statistik.