Utvärdering varför då? Definition, nytta och evidens. Gustav Petersson: Rolf Sandahl:

Transkript

1 Utvärdering varför då? Definition, nytta och evidens Gustav Petersson: Rolf Sandahl:

2 Utvärdering? En semantisk magnet Carol Weiss

3 I utvärderingslitteraturen? Noggrann bedömning i efterhand av utfall, slutprestationer, förvaltning och beslutsinnehåll samt organisering av offentlig verksamhet, vilken tänkes spela en roll i praktiska beslutssituationer. Evert Vedung

4 Utvärderingsterritoriet Noggrannhet Värdering Användning

5 Noggrann?... program evaluation is the application of systematic research methods to the assessment of program design, implementation, and effectiveness Eleanor Chelimsky

6 Värdefrågan Evaluation is the science of valuing Michael Scriven

7 Värdefrågan? Tell me who the evaluator is and I will tell you what the design will be. Tell me the design and I will predict the results, and therefore: Tell me the evaluator and I predict the results! Midge Smith

8 Noggrannhet användning?...evaluation is more art than science and should be oriented toward meeting needs of program decision makers and stakeholders. Lee Cronbach

9 Utvärdering och politik Det är avsikter snarare än resultat som är viktigast för en politiker (Daniel Tarschys) Det finns en risk att för mycket kan bli iakttaget i backspegeln och att man granskat vad som skett i stället för att diskutera vad man vill ska hända (Göran Persson)

10 Utvärdering av kausalitet kräver Noggrannhet Rimliga förutsättningar för att utvärdera - vad är möjligt att mäta?- och rimliga förväntningar på resultat (evidens?) Funderingar kring kunskapsbehov - vad ska utvärderas?- och användning Funderingar kring utvärdering och alternativ information - är det verkligen utvärdering vi behöver?

11 Syftet med vår bok (Studentlitteratur) Att omsätta filosofernas teorier om kausalitet till de praktiska situation som uppstår när vi försöker spåra orsaker och effekter i relation till statliga insatser. Varför? 1. Stort intresse för effektmätningar 2. Dagens evidensdebatt är onyanserad: fångar inte alla sidor av kausalitet och möter därför inte förvaltningens informationsbehov

12 Evidensrörelsen Målet med ett experiment är att påvisa orsakssamband mellan en oberoende variabel och en beroende variabel, och experiment är den enda typ av undersökning som med säkerhet kan fastslå att ett sådant samband föreligger. Kjellberg & Sörqvist

13 Maryland Scientific Method Scale 5) randomisering mellan program och kontroll, 4) för- och eftermätning med kontrollgrupp och statistisk kontroll, 3) för- och eftermätning med kontrollgrupp men utan statistisk kontroll, 2) för- och eftermätning utan kontrollgrupp och 1) sambandsstudier.

14 14 Utbildningsdepartementet USA Proposed evaluation strategies that use neither experimental designs with random assignment nor quasiexperimental designs using a matched comparison group nor regression discontinuity designs will not be considered responsive to the priority when sufficient numbers of participants are available to support those designs.

15 Socialstyrelsen (Evidensbaserad praktik i socialt arbete)

16 Kontextens betydelse Skapandet av en experimentell situation innebär snarare att man helt enkelt skapar en annan, och ofta ganska speciell, social situation som försökspersonen i ställer reagerar på och interagerar med. Därmed går det ursprungliga studieobjektet inte sällan förlorat Danermark et al

17 Varför teori? There is nothing as practical as a good theory. Kurt Lewin

18 5 olika teorier om kausalitet Kontrafakticitet Lagbundenhet Verkande mekanismer Förändrad sannolikhet Manipulerbarhet

19 Kontrafaktisk utveckling? Insats Effekt Faktisk utveckling

20 Två argument för andra kausalitetsteorier 1. Detta är inte i första hand vad vi menar med kausalitet (Elster) 2. Om vi väljer denna teori om kausalitet så leds vi till tillvägagångssätt som inte ger användbar kunskap

21 Användbarhet Knowing last week s score doesn t help you prepare for the next match. Brad Astbury It cannot be overemphasized that unless an experiment can be generalized at least a bit, time and resources have been wasted. One does not really care about the results of a study unless its conclusions can be used to guide future decisions. Generalization is a prerequisite for that guidance. Richard Berk

22 Utvärdering och politik I take the position that evaluations are to be judged by the extent to which they help the political community achieve its ends. The logic of science must come to terms with the logic of politics. Cronbach

23 Evidensbasering Cartwright: Den svagaste länken i evidenskedjan sätter gränsen för evidensbasering

24 24 1. Mekanismer It is through the notion of program mechanisms that we take the step from asking whether a program works to understanding what it is about a program which makes it work. Pawson

25 Mekanismer I samhället: mentala processer mellan orsak och effekt Kausalitet är alltså inte bara korrelation Varför observerar vi samband? Hundraårig tradition inom samhällsvetenskaperna 1970-talet: kritisk realism

26 2. Lagbundenhet Mackie (1960-tal): INUS-villkor En orsak är en av flera faktorer som tillsammans producerar effekten Statistisk och kausalitet? Relevant fråga: Under vilka förutsättningar ger insatsen avsedda resultat?

27 Förstå variation Striking an average over diverse phenomena is almost never enough; the task is to understand the diversity. Cronbach

28 28 Vad behöver vi veta? The traditional does it work? question transforms instantly into at least five different lines of inquiry: what is it about this kind of intervention that works, for whom, in what circumstances, in what respects and why. Pawson

29 Hur gå tillväga istället? Några exempel Pawson: programteori och testning av CMO-hypoteser Bo Bengtsson: fallstudier bör användas för att spåra mekanismer Extrema fall där vissa mekanismer verkar starkare än andra Mackies teori har använts bland annat för QCA

30 Inget överlägset tillvägagångssätt: [E]valuations should not be cast in a single mold. For any evaluation, many good designs can be proposed, but no perfect ones. Cronbach

31 Våra slutsatser 1. Det finns starka argument både för och mot olika teorier om kausalitet 2. Olika upplägg för effektmätning vilar på olika teorier om kausalitet; de genererar alltså olika typer av kunskap

32 Hur ska man välja upplägg? Först; Vilken typ av kunskap om kausalitet behöver vi? Kunskap om ett unikt eller ett generellt förhållande? Kausal deskription eller kausal förklaring? Genomsnitt eller variation? Sedan; Välj ett upplägg som möjliggör slutsatser om effekter i enlighet med kunskapsintresset. Inte samma sak som att välja mellan kval och kvant metoder Beror också på vad som är möjligt, resurstillgång, hur allvarlig en felskattning är etc.