Uppföljning och utvärdering av sociala investeringsprojekt. Eskilstuna 7 maj 2015 Tomas Bokström

Transkript

1 Uppföljning och utvärdering av sociala investeringsprojekt Eskilstuna 7 maj 2015 Tomas Bokström tomas.bokstrom@skl.se

2 Varför utvärdera? Vi vill förbättra resultat X Vilka möjliga insatser kan förbättra X? - Insats A, B och C - Vilken ska vi välja? Kostnad, genomförbarhet och effekt? Utvärdering av den eller de insatser man väljer ger beslutsunderlag för prioriteringar och bidrar till effektiv resursanvändning

3 Styrning med uppföljning och utvärdering Görs det som ska göras, nås de som ska nås av insatsen? - Processmått för att mäta programtrohet Uppföljning Får vi de utfall som det var tänkt, vad är storleken på effekten? - Mätning av utfall, väntade och oväntade (bieffekter) Effektutvärdering Vad innebär de förändrade utfallen ekonomiskt, kort- och långsiktigt? - Kort sikt: Ev. förändring av konsumtion av välfärdstjänster, relaterat till insatsens kostnad - Lång sikt: Förändrade utfalls påverkan på sannolikheten för framtida välfärdskonsumtion samt produktionsvinster Cost/benefit-analys

4 Exempel: Norrköping Stort antal SiS-placeringar (~25/år) 214 vårddygn/person i snitt kr/vårddygn

5 Prioritera! Årskostnad för en genomsnittsungdom på SiS: kr 2 kontaktpersoner 50%, insatssamordnare 50%: kr Minus 1 placering = kr

6 ... "the scared straight-type intervention increases the odds of offending by between 1.6 and 1.7 to 1 compared to a no-treatment control group." Anthony J. Schembri, Secretary Florida Department of Juvenile Justice, Scared Straight Programs: Jail and Detention Tours

7 Guide för effektutvärdering av sociala investeringsprojekt

8 1. Planering Identifiera: 1. Målgrupp (behovsanalys) 2. Målet: Bryta ner syftet i resultat & effekter 3. Kriterier för deltagande Interventionsgruppen tydligt beskriven/avgränsad

9 Forts. 2. Resultat & (långsiktiga) effekter Ekonomiska effekter Resultat = Kvantitativa utfallsmått Högre andel elever med gymnasiebehörighet Fler i beroende av försörjningsstöd Sociala effekter X% högre närvaro X% fler får gymnasiebehörighet Välbefinnande Del av en social gemenskap

10 1. Planering Identifiera: 4. Hur är aktiviteter/insatser kopplade till förväntade resultat och effekter? 5. Finns definitioner av aktiviteternas innehåll och genomförande tydligt beskrivet? - Är processmått identifierade? - Av vem och hur ofta ska processmåtten samlas in? - När behöver dessa rapporteras

11 1. Planering Identifiera: 6. Input Ringa in alla resurser som projektet kräver. - Tydlig projektbudget! - Vilka resurser och vilken tid fordrar insatserna/aktiviteterna?

12 1. Planering även: Hitta ett jämförelsealternativ/en kontrollgrupp för att kunna kontrollera effekten! Juridiska krav samtycke!

13 Genomförande Genomför aktiviteter/insatser enligt projektplanen - Fungerar kanalerna/rapporteringsleden i projektet? Samla in processmåtten - Ansvarsfördelningschema Bortfall Planera inför implementering

14 Analys Olika effekter - Kortsiktiga - Långsiktiga - Kommunen? Regionen? Geografiskt område? Samhället? Fastställ effekten! - T-test skillnad mellan kontroll och intervention? - Oddskvot (OR) sannorlikhet för behov t.ex stöd, vård, placering i de olika grupperna. Känslighetsanalys? Parallella processer?

15 Tillämpning Rapport förslag i guiden Kommunicera slutrapport och effektutvärderingens resultat till berörda aktörer En tydlig beskrivning av insatsen och dess effekter påverkar framtida beslutsfattande Projektbeskrivning och plan för implementering

16 Struktur för effektutvärdering & programtrohet 1. Vilka långsiktiga effekter förväntas projektet ha? Långsiktiga effekter 2. Vilka resultat vill vi förändra eller uppnå med projektet? Med vilka utfallsmått kan vi mäta resultaten? Resultat/utfallsmått 3. Vilka aktiviteter/insatser genomför vi under projektet för att uppnå förväntade resultat? Hur ofta? Av vem? Aktivitet/Insats 4. Processmått: Kan vi mäta utförandet och delresultat för aktiviteterna? Tid för aktivitetens förberedelse, gemomförande och efterarbete? Deltar avsedd målgrupp i aktiviteten? Processmått 5. Input: Vilka resurser kommer projektet att kräva? Hur fördelas dessa på aktiviteterna? Input Minskad arbetslöshet Skolnärvaro Uppsökande verksamhet 1 personal på jour Antal utryckningar =X Mkr projektbudget 1 Bil Betyg Uppsökande verksamhet Resultat på terminsprov 2 heltidsanställningar Skolnärvaro Läxläsningsverksamhet 2 ggr/vecka a 2 timmar Andel elever som deltar Betyg Läxläsningsverksamhet 2 ggr/vecka a 2 timmar Resultat på terminsprov

17 Struktur för effektutvärdering & programtrohet 1. Vilka långsiktiga effekter förväntas projektet ha? Långsiktiga effekter 2. Vilka resultat vill vi förändra eller uppnå med projektet? Med vilka utfallsmått kan vi mäta resultaten? Resultat/utfallsmått 3. Vilka aktiviteter/insatser genomför vi under projektet för att uppnå förväntade resultat? Hur ofta? Av vem? Aktivitet/Insats 4. Processmått: Kan vi mäta utförandet och delresultat för aktiviteterna? Tid för aktivitetens förberedelse, gemomförande och efterarbete? Deltar avsedd målgrupp i aktiviteten? Processmått 5. Vilka resurser kommer projektet att kräva? Hur fördelas dessa på aktiviteterna? Input

18 Exempel på utvärdering 1

19 Exempel på utvärdering 2 Servicetrainee Norrköping Andel kvinnor (september 2012) Medelantal barn per hushåll (september 2012) Medelålder för vuxna (september 2012) Minskning antalet hushåll med ekonomiskt bistånd Projektgrupp (30 personer) Liten jämförelsegr upp (30 personer) 53% 47% 46% 2,19 2,56 2,44 37,10 37,50 41,33 74 % 20 % 30 % Stor jämförelsegr upp (394 personer)

20 Hur utvärdera 1 insats för placerade barn? Bakgrund - 67 placerade barn vårddygn Kostnad för placeringar 22,5 mkr Andel med behörighet till gymnasiet 2014, 43% (10 st) Insats - Hemmaplanslösning - Kostar 2,5 mkr/år - Servar 20 barn/familjer per år - Mål: - Minskat behov av placeringar - Ökat psykiskt välbefinnande - Bättre skolresultat

21 Hur utvärdera 2 insatser för ökad läskunnighet och trivsel i lågstadiet? Bakgrund - 63 % av totalt 373 barn klarade NP i svenska åk % i åk 3 angav hög trivsel i enkät lågstadieskolor: - 124/100/80 barn i åk 1-70/100/75 barn i åk 2 - Resurser för extra stöd 2 000/7 000/3 000 kr/elev - 5 förskoleklasser á 20 barn Insatser - 1. Specialpedagogisk kompetens i förskoleklass (500 tkr) - 2. Program för bättre miljö i förskoleklass (minska utagerande etc) (500 tkr) - 3. Utbilda lågstadiepedagoger för bättre undervisning ( kr) Mål: 95 % ska klara NP i svenska och 90 % ska ange hög trivsel i åk