Mixade metoder för effektanalys Ett mkt kort inlägg. Evert Vedung Prof emeritus i statsvetenskap ssk bostadspolitik Uppsala universitet, IBF, 2005-

Transkript

1 Mixade metoder för effektanalys Ett mkt kort inlägg ESI-fondernas konferens Evert Vedung Prof emeritus i statsvetenskap ssk bostadspolitik Uppsala universitet, IBF, Aalborg universitet, Institut for statskundskab, Universidade Fed Fluminense, Niterói, Rio de Janeiro Tribunal de Contas da Uniao, Brasília, Brasilien, Använd gärna dessa bilder men gör referens på följande sätt: Vedung, Evert, , Mixade metoder för effektanalys: Ett mkt kort inlägg. ESI-fondernas konferens, Sthlm. Uppsala: Evert Vedungs privata arkiv 1

2 Sju upplägg för att belysa effektproblemet Källa: Vedung 2009: Experiment med slumpmässig kontroll (randomiserade experiment) (eng. randomized controls, RCTs = randomized controlled treatments) 2 Experiment med matchad kontroll (matchade experiment) (eng. matched controls) 3 Generisk kontroll (eng. generic controls) 4 Reflexiv kontroll (tidsserie, enkel före eftermätning) (eng. reflexive controls) 5 Skuggkontroll (shadow controls) 6 Tvärsnittskontroll (statistisk kontroll) (crosssectional design) 7 Förklarande processutvärdering, processpårning (fallstudie)(process evaluation, process tracing) 2

3 Effektanalys i utvärderingsläran MCET-upplägget MCET = Measuring Cluster Effects through Triangulation Triangulering = användning av tre upplägg: 1 Skuggkontroll (5 i listan Sju upplägg) 2 Generisk kontroll (3 i listan Sju upplägg) 3 Processpårning (7 i listan Sju upplägg) 3

4 Upplägg för att belysa effektproblemet Skuggkontroll De utfallsresultat som faktiskt föreligger före-- efter bland slutmottagarna, som oberoende av utvärderaren har exponerats för styrningen, jämförs med bedömningar som görs av insiktsfulla människor, t.ex. experter, administratörer och slutmottagare, av vilka resultat som skulle ha uppnåtts efter, om styrningen inte hade funnits 4

5 Upplägg för att belysa effektproblemet Generisk kontroll De utfallsresultat som faktiskt föreligger före--efter bland slutmottagarna, som oberoende av utvärderaren har exponerats för styrningen, jämförs med vad som genomsnittligt eller typiskt är fallet för samma tidsperiod inom en större population, som den exponerade gruppen på saklogiska grunder kan sägas tillhöra men som inte exponerats för styrningen 5

6 Upplägg för att belysa effektproblemet Processpårning (förklarande processutvärdering, fallstudie) Det nettoutfall, som uppnås genom den beslutade styrningen, klarläggas genom att styrningen, som den naturligt föreligger, spåras steg för steg tillbaka från bruttoutfall över slutprestationer, förvaltningsprocesser, styrningsinnehåll och omgivning i försök att avgöra vilka faktorer och generativa mekanismen som direkt eller indirekt inverkat respektive inte inverkat på utfallet 6

7 Regularity approach to causation Causality is understood in terms of regular patterns of association between variable 1 and variable 2 when other relevant possible causal variables have been controlled for Constanct conjunction or correlations between factors (J S Mill) The (long and complicated) actual causal process whereby variable 1 produces changes in variable 2 is treated as a black box, not to be opened 7

8 Mechanism (mechanistic) approach to causality Implies that the black box between variable 1 and 2 is opened in order to find the so-called mechanisms that variable 1 sets in motion that actually produce changes in variable 2 Transmission of causal forces from var 1 to var 2 Mechanisms are agents of change. They describe how the resources embedded in the programme influence the reasoning of the subjects and ultimately the behaviour of programme subjects. Ray Pawson, 2013, p

9 GEVALIS Vuxna: utvärderingssystemet Perspektiv 1 Löpande utvärdering Ongoing evaluation på EU-språk Realt pågående samtidigt som den verksamhet som utvärderas (i realtid) Följeforskning = den svenska benämningen

10 GEVALIS Vuxna: utvärderingssystemet Perspektiv 2 Inflätad utvärdering Aspekt 1 Vanliga jobbet Utv-gruppens medlemmar medverkar i den sakverksamhet (rehabilitering) som utvärderas

11 GEVALIS Vuxna: utvärderingssystemet Perspektiv 2 Inflätad utvärdering Aspekt 2 Jobb för utvärderingen Frontbyråkraterna (rehabcoacherna) sköter fortlöpande generering och dokumentation av viss information Sker i realtid och parallellt med rehabarbetet, inte långt efteråt Enligt en i förväg utarbetade rutiner som kan anpassas efter nya omständigheter

12 GEVALIS Vuxna: utvärderingssystemet Perspektiv 2 Inflätad utvärdering Aspekt 2 Jobb för utvärdering 1 Formell informationsinsamling om brukarna sköts av frontpersonalen (rehabcoacherna) i projektet 1a. Strukturerat aktivitetsschema för varje brukare som fylls i 2 Formell informationsinsamling o dokumentation gm frontpersonalen 2a. Loggbok f varje delprojekt, dag för dag 2b. Lägesbeskrivning varje kvartal Förädlas sedan i utv-nätverket

13 GEVALIS Vuxna: utvärderingssystemet Perspektiv 2 Inflätad utvärdering Aspekt 3 Förädling i utv-nätverket Ordf skrivit texter Samordnaren för coachgruppen skrivit texter Utvärderingsexperten skrivit texter Texter diskuterats i gruppen och omformulerats Annat utanför texter också diskuterats

14 GEVALIS Vuxna: utvärderingssystemet Perspektiv 2 Inflätad utvärdering Aspekt 4 kontinuerlig återkoppling Utvärderingens observationer kopplas fortgående (kontinuerligt) tillbaka till all personal som jobbar i sakverksamheten på olika nivåer 1 SoF politisk ledning 2 SoF projektets ledning 3 Hela nätverket av coacher 4 Coacher i var och en av de fem kommunerna

15 GEVALIS Vuxna: utvärderingssystemet Perspektiv 2 Inflätad utvärdering Aspekt 5 Årlig återkoppling Utvärderingens och resultat kopplas tillbaka till all personal som jobbar i sakverksamheten på olika nivåer Gm en årlig lärandekonferens Coacher Linjechefer Projektansvarig Politiker Administratörer

16 R e f e r e n s e r Vedung, Evert & Bjurulf, Staffan, 2015, Three Approaches to Impact Evaluation of Regional Development, in Elg, Mattias, et al., eds, Sustainable Development in Organizations, , Cheltenham, UK Edward Elgar Vedung, Evert, 2014, Utvärderingsmodellen: löpande, inflätad, evidensproducerande, i Wohlfarth, Janet, red., Åka-modellen, , Skara: Samordningsförbundet Västra Skaraborg, Rapport 2014:2. [Hur man får ut människor i långvarigt utanförskap i arbete] Vedung, Evert, 2013, Bieffekter, perversa effekter och andra egendomliga effekter av offentliga interventioner, i Svensson, Lennart; Brulin, Göran; Jansson, Sven & Sjöberg, Karin, eds., Att fånga effekter i program och projekt, 35-60, Lund: Studentlitteratur 16

17 17