Uppföljning och utvärdering av sociala investeringsprojekt Eskilstuna 7 maj 2015 Tomas Bokström tomas.bokstrom@skl.se
Varför utvärdera? Vi vill förbättra resultat X Vilka möjliga insatser kan förbättra X? - Insats A, B och C - Vilken ska vi välja? Kostnad, genomförbarhet och effekt? Utvärdering av den eller de insatser man väljer ger beslutsunderlag för prioriteringar och bidrar till effektiv resursanvändning
Styrning med uppföljning och utvärdering Görs det som ska göras, nås de som ska nås av insatsen? - Processmått för att mäta programtrohet Uppföljning Får vi de utfall som det var tänkt, vad är storleken på effekten? - Mätning av utfall, väntade och oväntade (bieffekter) Effektutvärdering Vad innebär de förändrade utfallen ekonomiskt, kort- och långsiktigt? - Kort sikt: Ev. förändring av konsumtion av välfärdstjänster, relaterat till insatsens kostnad - Lång sikt: Förändrade utfalls påverkan på sannolikheten för framtida välfärdskonsumtion samt produktionsvinster Cost/benefit-analys
Exempel: Norrköping Stort antal SiS-placeringar (~25/år) 214 vårddygn/person i snitt 5 000 kr/vårddygn
Prioritera! Årskostnad för en genomsnittsungdom på SiS: 1 070 000 kr 2 kontaktpersoner 50%, insatssamordnare 50%: 830 000 kr Minus 1 placering 1 070 000 830 000 = 240 000 kr
... "the scared straight-type intervention increases the odds of offending by between 1.6 and 1.7 to 1 compared to a no-treatment control group." Anthony J. Schembri, Secretary Florida Department of Juvenile Justice, Scared Straight Programs: Jail and Detention Tours
Guide för effektutvärdering av sociala investeringsprojekt
1. Planering Identifiera: 1. Målgrupp (behovsanalys) 2. Målet: Bryta ner syftet i resultat & effekter 3. Kriterier för deltagande Interventionsgruppen tydligt beskriven/avgränsad
Forts. 2. Resultat & (långsiktiga) effekter Ekonomiska effekter Resultat = Kvantitativa utfallsmått Högre andel elever med gymnasiebehörighet Fler i beroende av försörjningsstöd Sociala effekter X% högre närvaro X% fler får gymnasiebehörighet Välbefinnande Del av en social gemenskap
1. Planering Identifiera: 4. Hur är aktiviteter/insatser kopplade till förväntade resultat och effekter? 5. Finns definitioner av aktiviteternas innehåll och genomförande tydligt beskrivet? - Är processmått identifierade? - Av vem och hur ofta ska processmåtten samlas in? - När behöver dessa rapporteras
1. Planering Identifiera: 6. Input Ringa in alla resurser som projektet kräver. - Tydlig projektbudget! - Vilka resurser och vilken tid fordrar insatserna/aktiviteterna?
1. Planering även: Hitta ett jämförelsealternativ/en kontrollgrupp för att kunna kontrollera effekten! Juridiska krav samtycke!
Genomförande Genomför aktiviteter/insatser enligt projektplanen - Fungerar kanalerna/rapporteringsleden i projektet? Samla in processmåtten - Ansvarsfördelningschema Bortfall Planera inför implementering
Analys Olika effekter - Kortsiktiga - Långsiktiga - Kommunen? Regionen? Geografiskt område? Samhället? Fastställ effekten! - T-test skillnad mellan kontroll och intervention? - Oddskvot (OR) sannorlikhet för behov t.ex stöd, vård, placering i de olika grupperna. Känslighetsanalys? Parallella processer?
Tillämpning Rapport förslag i guiden Kommunicera slutrapport och effektutvärderingens resultat till berörda aktörer En tydlig beskrivning av insatsen och dess effekter påverkar framtida beslutsfattande Projektbeskrivning och plan för implementering
Struktur för effektutvärdering & programtrohet 1. Vilka långsiktiga effekter förväntas projektet ha? Långsiktiga effekter 2. Vilka resultat vill vi förändra eller uppnå med projektet? Med vilka utfallsmått kan vi mäta resultaten? Resultat/utfallsmått 3. Vilka aktiviteter/insatser genomför vi under projektet för att uppnå förväntade resultat? Hur ofta? Av vem? Aktivitet/Insats 4. Processmått: Kan vi mäta utförandet och delresultat för aktiviteterna? Tid för aktivitetens förberedelse, gemomförande och efterarbete? Deltar avsedd målgrupp i aktiviteten? Processmått 5. Input: Vilka resurser kommer projektet att kräva? Hur fördelas dessa på aktiviteterna? Input Minskad arbetslöshet Skolnärvaro Uppsökande verksamhet 1 personal på jour Antal utryckningar =X Mkr projektbudget 1 Bil Betyg Uppsökande verksamhet Resultat på terminsprov 2 heltidsanställningar Skolnärvaro Läxläsningsverksamhet 2 ggr/vecka a 2 timmar Andel elever som deltar Betyg Läxläsningsverksamhet 2 ggr/vecka a 2 timmar Resultat på terminsprov
Struktur för effektutvärdering & programtrohet 1. Vilka långsiktiga effekter förväntas projektet ha? Långsiktiga effekter 2. Vilka resultat vill vi förändra eller uppnå med projektet? Med vilka utfallsmått kan vi mäta resultaten? Resultat/utfallsmått 3. Vilka aktiviteter/insatser genomför vi under projektet för att uppnå förväntade resultat? Hur ofta? Av vem? Aktivitet/Insats 4. Processmått: Kan vi mäta utförandet och delresultat för aktiviteterna? Tid för aktivitetens förberedelse, gemomförande och efterarbete? Deltar avsedd målgrupp i aktiviteten? Processmått 5. Vilka resurser kommer projektet att kräva? Hur fördelas dessa på aktiviteterna? Input
Exempel på utvärdering 1
Exempel på utvärdering 2 Servicetrainee Norrköping Andel kvinnor (september 2012) Medelantal barn per hushåll (september 2012) Medelålder för vuxna (september 2012) Minskning antalet hushåll med ekonomiskt bistånd Projektgrupp (30 personer) Liten jämförelsegr upp (30 personer) 53% 47% 46% 2,19 2,56 2,44 37,10 37,50 41,33 74 % 20 % 30 % Stor jämförelsegr upp (394 personer) http://www.norrkoping.se/vard-omsorg/arbetsmarknadsatgarder/anstallningar/servicetrainee/
Hur utvärdera 1 insats för placerade barn? Bakgrund - 67 placerade barn 2014-5 000 vårddygn 2014 - Kostnad för placeringar 22,5 mkr 2014 - Andel med behörighet till gymnasiet 2014, 43% (10 st) Insats - Hemmaplanslösning - Kostar 2,5 mkr/år - Servar 20 barn/familjer per år - Mål: - Minskat behov av placeringar - Ökat psykiskt välbefinnande - Bättre skolresultat
Hur utvärdera 2 insatser för ökad läskunnighet och trivsel i lågstadiet? Bakgrund - 63 % av totalt 373 barn klarade NP i svenska åk 3 2014-70 % i åk 3 angav hög trivsel i enkät 2014-3 lågstadieskolor: - 124/100/80 barn i åk 1-70/100/75 barn i åk 2 - Resurser för extra stöd 2 000/7 000/3 000 kr/elev - 5 förskoleklasser á 20 barn Insatser - 1. Specialpedagogisk kompetens i förskoleklass (500 tkr) - 2. Program för bättre miljö i förskoleklass (minska utagerande etc) (500 tkr) - 3. Utbilda lågstadiepedagoger för bättre undervisning (100 000 kr) Mål: 95 % ska klara NP i svenska och 90 % ska ange hög trivsel i åk 3 2018