Utvärderingskonferens ESI Utvärderingsmetoder

Storlek: px

Starta visningen från sidan:

Download "Utvärderingskonferens ESI Utvärderingsmetoder"

Klara Lundgren
för 7 år sedan
Visningar:

1 Utvärderingskonferens ESI Utvärderingsmetoder Seminarium 4-5 februari 2016 Mats Alentun, Tillväxtverket Christina Ehneström, VETA Advisor AB

2 Intro Vilka är vi? Vilka är ni? Jobbar med utvärdering? I vilken roll? Seminariets syfte & upplägg

3 Utvärdering Vilar på tre ben Teorier om utvärdering (metoder, bedömning, användning) Samhällsvetenskapliga teorier (information, ramverk) Programteori

4 Varför utvärdering? Rationale för utvärdering: Ska bidra till någons/någras lärande. Lärandet ska omsättas i handling. Tre initiala frågor: Vem ska lära sig? Lära sig vad? Vad ska denne använda lärandet till? Svaren styr metodvalet!!

5 När utvärdera? Ex ante Underskedet: T.ex. följeforskning, on-going evaluation, lärande utvärdering, mid-term evaluation, etc Ex post

Vem ska lära sig vad för vilken användning? Ex post Användning? Hur/om fortsätta? Avveckla programmet, införliva det i andra mentorsprogram och fortsätta. Justera upplägg. Vems lärande? Lära sig vad?

6 Vem ska lära sig vad för vilken användning? Ex post Användning? Hur/om fortsätta? Avveckla programmet, införliva det i andra mentorsprogram och fortsätta. Justera upplägg. Vems lärande? Lära sig vad? Lärande uppstår hos Tillväxtverket och Näringsdepartementet om t.ex. relevansen för programmet och hur pass väl det genomförts. Rapport Utvärderingsprocess Avslutat program: Mentor Kvinna Nytt program

7 Vem ska lära sig vad för vilken användning? Underskedet: Exemplet följeforskning Användning? Tillväxtverket justerar aktiviteterna, eventuellt också design (programteori), för pågående program. Vems lärande? Lära sig vad? Lärande uppstår hos Tillväxtverket om hur pass väl det pågående programmet genomförs. Rapport Rapport Rapport Utvärderingsprocess Pågående program: Mentor Kvinna

8 Vem ska lära sig vad för vilken användning? Ex ante Användning? Tillväxtverket justerar programmets design (programteori). Vems lärande? Lära sig vad? Lärande uppstår hos Tillväxtverket om projektförslagets relevans och genomförandebarhet. Rapport Utvärderingsprocess Programförslag: Mentor Kvinna Justerat program förslag

Vad lära sig: Utvärderingsfrågor (ex post) Innan metod väljs Utifrån de tre svaren : Fastställa utvärderingsfrågor Betänk: En utvärdering kan inte svara på allt!

9 Vad lära sig: Utvärderingsfrågor (ex post) Innan metod väljs Utifrån de tre svaren : Fastställa utvärderingsfrågor Betänk: En utvärdering kan inte svara på allt! Därför: Prioritera och fokusera. Säkerställ: Utvärderingsfrågorna motsvarar huvudanvändarens behov av lärande. Möjliga att besvara? I tid? Rimlig kostnad? Info tillgänglig? Förankrat hos en bredare grupp av intressenter?

10 Utvärderingskriterier Utvärderingsfrågorna utgår från olika kriterier: Relevans (inre logik - kausalitet) Policyrelevans (yttre logik) Effektivitet (utifrån programteori) Bärkraftighet/hållbarhet Kostnadseffektivitet Oplanerade effekter Generaliserbarhet (piloter)

11 Relevans och effektivitet kan mätas mot programteori Programteorin beskriver vilken typ av resultat och effekter som förväntas uppkomma av en given insats Resurser Aktiviteter Direkta resultat Resultat på längre sikt Effekter på lång sikt

12 Utmaningar med mål Formulering av mål Mål som inte går att följa upp och styra mot Otydliga mål, kopplade till en politisk vision Mål som inte är tidssatta eller kvantifierbara Mål där indikatorer på måluppfyllelse saknas

13 Indikatorer Effekter: Tillämpa och utveckla metoder som bidrar till att kvinnor och män som står långt från arbetsmarknaden kommer i arbete eller kommer närmare arbetsmarknaden. Mål (SMARTa): Minst 60% av deltagarna ska ha närmat sig arbetsmarknaden efter sitt deltagande i projektet. Olika insatser Ökad hälsa, självkänsla, självtillit och social kompetens Deltagare närmar sig arbetsmarknaden Självförsörjande genom anställning eller studier

14 Policyrelevans - ett exempel Övergripande programteori på en regional satsning för att motverka avhopp Olika insatser Kompetensutveckling av lärare och annan skolpersonal Om ungdomars situation och motivation Bemötande och relationer Jämställdhet, tillgänglighet och ickediskriminering Ökad kunskap och medvetenhet om och hur olika typer av stöd erbjuds olika elever Diskriminerande strukturer förebyggs Förbättrad undervisning Förbättrat studiestöd Förstärkt mentorskap Utvecklad SYV Ökad motivation Stärka/bygga relationer/förbättrat bemötande Förbättrad uppföljning Förbättrade rutiner vid övergångar Förbättrat samarbete vid kritiska övergångar Bättre mottagande och anpassad undervisning för nyanlända Elever som deltar Får lika förutsättningar att lyckas i skolan Klarar kurser Ökar sin självtillit Får bättre vuxenrelationer Stärker anknytningen till skolan Får ökad valkompetens Bättre studieresultat Ökad skolnärvaro Minskat antal avbrott i skolan Insatser direkt mot målgruppen Studieverkstad Uppföljningsrutiner/Coach Överlämning Språkstöd Kompetensutv eckling kring jämställdhet, tillgänglighet och ickediskriminering Ungdomarnas anställnings -barhet ökar Ungdomsarbetslösheten i regionen minskar Andelen elever utan gymnasie betyg ska vara lägre än 10 % Full sysselsätt -ning och ökad tillväxt Resultat på organisationsnivå Resultat på individnivå

15 Policyrelevans Exempel MSB MSBs projektmål: Metodik utvecklad för länsstyrelsernas samordning och inriktning vid stora olyckor. Länsstyrelsernas förmågor stärkta för att samordna och inrikta vid stora olyckor. Policyrelevant? Ja: Metodiken ett stöd för länsstyrelser att utöva sitt författningsmässiga geografiska områdesansvar. Ja: MSB uppgift att ge metodiks- och kompetenshöjande stöd.

16 Utvärderingskriterier: Exempel från MSB Relevans Är projektets logik sådan att det finns ett realistiskt kausalt samband mellan aktiviteter och resultat? Effektivitet Har projektet genomfört planerade aktiviteter och uppnått planerade resultat? Bärkraftighet Förefaller uppnådda resultat att vara bärkraftiga?

17 Recap med exempel Vem lära sig vad för vilken användning? Fastställ utvärderingskriterier Fastställ utvärderingsfrågor Utveckla metod Utbildningsförvaltningen i Eskilstuna undrar hur det gått för ett program att främja elevernas friluftsliv. Och, vad tjänar det egentligen till? Någon idé att fortsätta? Effektivitet: Genomförts enligt plan? Påverkat elevernas fritidsvanor? Relevans: Skolans uppgift att främja? Vad är värdet av ett ökat friluftsliv? Bärkraftighet: Elevernas förmodade friluftsvanor om tre år? Oplanerade effekter: Annan undervisning minskad, skador, ökad/minskad självkänsla? Ex postutvärdering enligt programteori. Fokus på förankring. Bred datainsamling.

18 Utmaning effektmätning: Attribution Definition attribution: Den omfattning en observerad förändring orsakats av den åtgärd som utvärderas och inte av andra faktorer.

19 Exempel - Attribution Antal cykelolyckor Färre cykelolyckor - det förändrade tillståndet är positivt. Den kontrafaktiska effekten också positiv men inte lika mycket! Hela det förändrade tillståndet kan alltså inte tillskrivas åtgärden, även andra faktorer har påverkat i positiv riktning. Kommunal insats Faktisk utveckling Kontra-faktisk utveckling Förändrat tillstånd (positivt) Kontrafaktisk effekt (positiv) Tid

20 RTC Randomized Trial Controls (I) Slipper problemet med attribution! Ursprung i medicinsk forskning. Delar slumpmässigt in en population i två grupper med/utan åtgärd. Jämförelsegruppen för att mäta kontrafaktisk utveckling

21 RTC Randomized Trial Control (II) Kan lösa attribution-problematiken och ge tillförlitliga mätvärden. Men, Resurskrävande Etiska utmaningar (t.ex. elektrifiering landsbygd) Utmaning i praktiken att slumpa Mäter endast förändringar förklarar inte varför förändringarna inträffat eller inte Inget självändamål: Vem lära sig vad för vilken användning?

22 Datainsamling Utgå från utvärderingsfrågorna! Vad behöver vi veta för att besvara dem! Kvantitativ: registerdata, statistik, kvantifierbara frågor i enkäter, enligt checklistor Kvalitativt: intervjuer, dokumentläsning, kvalitativa frågor enkäter, egna observationer, platsbesök. Mixed Methods. De två kan föregå, komplettera och verifiera varandra, ge underlag för vidare analys.

23 Något mer? Om du skulle genomföra en utvärdering inom en snar framtid vad skulle du tänka på då? Vad tar du med dig från detta seminarium?

24 Tack för oss!

Relevanta dokument

Vetenskapsmetod och teori. Kursintroduktion

Vetenskapsmetod och teori. Kursintroduktion Vetenskapsmetod och teori Kursintroduktion Creswell Exempel Vetenskapsideal Worldview Positivism Konstruktivism/Tolkningslära Kritiskt (Samhällskritiskt/ Deltagande) Pragmatism (problemorienterat) Ansats