Effektanalys en introduktion. Rolf Sandahl

Transkript

1 Effektanalys en introduktion Rolf Sandahl

2 Några områden som en utvärderare ska behärska..research design, sampling, measurement, interviewing, observation, site visits, archival studies, case studies, focus groups, photography, database development and management, statistics, content analysis, cost analysis, policy analysis, synthesis, and computer technology Stufflebeam &Shinkfield

3 Vad som ska mätas beror bl.a. på Insatsens karaktär Tidpunkt för mätningen Vilken kunskap vi söker Tid och resurser för analysen 3

4 Alexandriainstitutets målsättning lyfta fram de frågeställningar och teman som tar sin utgångspunkt i de universella värderingarna om tolerans och förståelse, demokrati och mänskliga rättigheter, samt inriktningen på hållbar utveckling. 4

5 ROT-avdraget lett till merintäkter för stat och kommun i form av ökade skatteintäkter från de näringsidkare och deras anställda som utfört ROT-arbetena och redovisat och betalt skatter och avgifter för de ökade inkomsterna? Hur många arbeten hade inte utförts alls, utförts senare, utförts i egen regi eller med användning av svart arbetskraft om avdraget inte hade funnits.

6 Skolinspektionen Att utvärdera effekterna av utbildningsinspektionen

7 Tänkbara effekter av inspektionen

8 Flera insatser Samtidigt som jobbskatteavdraget infördes gjordes vidare flera andra regelförändringar som kan ha påverkat arbetsutbudet och sysselsättningen, t.ex. förändringar i arbetslöshetsförsäkringen, sjukförsäkringen och socialavgifterna, vilket innebär att det är svårt att identifiera den isolerade effekten av jobbskatteavdraget. Prop 2011/12:1 8

9 Matlandet (Kontigo) Fler små och medelstora företag deltar i och vinner kontrakt i offentlig upphandling På väg mot måluppfyllelse Data tyder på måluppfyllelse. Målet dock oprecist (hur många fler). Ökad kvalitet i mat inom den offentliga sektorn Oklar utveckling/ ännu ej uppnådda mål Svårt att mäta måluppfyllelse. Målet behöver preciseras och utvecklas. Primärproduktion Andelen primärproducenter som trivs med sitt yrkesval ska öka Oklar utveckling/ ännu ej uppnådda mål Svårt att mäta tillgängliga data antyder: oförändrat Ökad produktion och ökad lönsamhet På väg mot måluppfyllelse Utvecklingen varierar delvis mellan indikatorerna, men överlag mer positiv än näringslivet i stort. Fler sökande till gröna utbildningar Oklar utveckling/ ännu ej uppnådda mål Förvisso en ökning, men klart mindre än till högre utbildning i allmänhet. Minskad administrativ börda Oklar utveckling/ ännu ej uppnådda mål Olika indikatorer pekar i olika riktning. Förädlad mat Minskad administrativ börda Oklar utveckling/ ännu ej uppnådda mål Olika indikatorer pekar i olika riktning. Ökad produktion och ökad lönsamhet På väg mot måluppfyllelse Överlag mer positiv utveckling än för näringslivet i stort.

10 Så går det för matlandet Nu har vi svart på vitt att Matlandet är en viktig satsning för Sverige. Översynen visar på flera positiva effekter av satsningen, men också på utmaningar som vi måste arbeta vidare med till 2020, säger landsbygdsminister Eskil Erlandsson. Översynen som Eskil Erlandsson nu har tagit emot visar att Matlandetvisionen på bara ett par år har blivit en etablerad del av Livsmedelsverige och att det redan nu finns en rad positiva resultat att lyfta fram. Visionen är välkänd och har bidragit till nya samarbeten och att branscher som tidigare stod långt ifrån varandra nu möts. Översynen visar också att flera av målen för visionen som är satta till år 2020 är på god väg att uppnås. Det visar sig att stöd som betalats ut till företag ger effekt på deras omsättning. Det går också att se vissa regionala effekter av stöden. Översynen visar också på att det finns delar i Matlandet som måste förbättras och utvecklas. Med översynen som grund kommer ett utvecklingsarbete inledas under våren. Detta kommer att ske i nära samarbete med myndigheter och andra berörda aktörer.

11 Ingen kontrollgrupp Att utvärdera jobbskatteavdraget är dock förknippat med vissa svårigheter. Eftersom alla med arbetsinkomst är berättigade till jobbskatteavdraget saknas det en kontrollgrupp, dvs. en grupp som inte berörs av jobbskatteavdraget, vilket försvårar jämförelser. Prop. 2011/12:1

12 Det tar tid? Att påverka skolans utveckling och vända en negativ utveckling kan ta tid Det kan dröja innan resultatet av regeringens satsningar kan utläsas, t.ex. i form av andelen elever med fullständiga betyg från grundskolan. Prop. 2011/12:1 12

13 Effektkedja Föräldrarsamverkan Föräldrar får ökad kunskap om skolarbetet Föräldrarna ökar sitt stöd i skolarbetet Bättre betyg bland eleverna Insats Slutmål 13

14 Effekt och orsak either inquiries into the cause of a given effect, or into the effects or properties of a given cause John Stuart Mill 1843

15 Effektanalys (framlängesmetod) A B 1 B m

16 Orsaksanlys (baklängesmetod) A 1 A n B

17 Contribution analysis Attribution is used to both identify with finding the cause of an effect and with estimating quantitatively how much of the effect is due to the intervention. The term contribution is used here in the following way: in light of the multiple factors influencing a result, has the intervention made a noticeable contribution to an observed result and in what way? John Mayne

18 Kärt barn har många namn Interventionsteori Interventionslogik Programlogik Förändringsteori - Handlingsteori Policyteori Ingripandeteori Verksamhetsteori Etc.

19 Programteori Mekanis-mer Förädrarna inser att deras bild av skolan och dess arbete är begränsad och vill lära sig mer Föräldrarna inser att de har en viktig roll och kan hjälpa till Eleverna känner en stimulans och ett ökat intresse för skolarbetet Föräldrarsamverkan Föräldrar får ökad kunskap om skolarbetet Föräldrarna ökar sitt stöd i skolarbetet Bättre betyg Insats Slutmål 19

20 Programteori Det polisiärt brottsförebyggande arbetet i Sverige vilar inte på någon tydlig teoretisk grund, vilket bland annat får till följd att möjligheterna att på ett tillfredställande sätt utvärdera verksamheten försvåras. Polisen och Brå

21 Följdförklaring (successionist causation) X 2 X 1 Y Y X 3 X 4

22 Konfigurativ förklaring Attribute Set Outcome a b c D e f g

23 Generativ förklaring Mechanism (M) Context (C) Outcome Pattern (O)

24 Hur kan man mäta? Val av upplägg Insamling av data Presentation av data

25 Evidens In god we trust - All Others Must Have Credible Evidence. Donaldsson mfl

26 Utbildningsdepartementet (USA) Proposed evaluation strategies that use neither experimental designs with random assignment nor quasi-experimental designs using a matched comparison group nor regression discontinuity designs will not be considered responsive to the priority when sufficient numbers of participants are available to support those designs. 26

27 Gradering av vetenskaplig säkerhet (Maryland Scientific Method Scale ) (5) randomisering mellan program och kontroll, (4) för- och eftermätning med kontrollgrupp och statistisk kontroll för andra förklaringsvariabler, (3) för- och eftermätning med kontrollgrupp men utan statistisk kontroll, (2) för- och eftermätning utan kontrollgrupp och (1) Sambandsstudier

28 Evidensbaserad praktik Bästa rådande evidens Evidensbaserad praktik Brukares erfarenhet och önskemål Professionellas erfarenhet

29 Does it work? The traditional does it work? question transforms instantly into at least five different lines of inquiry: what is it about this kind of intervention that works, for whom, in what circumstances, in what respects and why. Ray Pawson