Frågor som påverkar utvärderingens design

Transkript

1 Varför utvärdera? Fördjupa och sprida kunskap om den verksamhet som utvärderas. Kunna säga något om effekten av vad som genomförts Förbättra/förändra en process

2 Frågor som påverkar utvärderingens design Uppdraget - VAD, VARFÖR, VEM, VILKA INTRESSEN? Bedömningen - IDEAL, VEM, VILKA INTRESSEN? Kunskapen - VAD, VILKA DATA, NÄR, VEM? Funktionen - RAPPORTERING, NYTTA?

3 Bedömningsfrågan / Värderingsgrunder Mål Intressen Teori Kulturella / Allmänna värden

4 Niopunktsprogram för utvärdering Varför ska utvärdering ske? Vad är det som ska utvärderas? Vilka är man kan det tänkas finnas olika intressen berörda av utvärderingen? Vem ska utvärdera? När ska utvärderingen ske? Hur ska underlag/information för utvärderingen hämtas in? Mot vad vilken referensram ska (ut)värderingen ske? Hur ska rapporteringen ske? Hur ska utvärderingen nyttiggöras?

5 Två huvudgrupper Processutvärdering Systematiskt följa och dokumentera en verksamhets genomförande Strukturbaserad utvärdering Tidsstruktur Före, under, efter Resursstruktur - Programteori

6 eller Processutvärdering Systematiskt följa och dokumentera en verksamhets genomförande, insatsen själv i fokus Utfallsorienterad utvärdering Resultatutvärdering Mål/Effekter/Före- och eftermätning

7 eller Summativ utvärdering Formativ utvärdering

8 Programteori Interventionsteori/Interventionslogik/Program logik Hur är intervenerandet tänkt att fungera? Inte nödvändigtvis hur det realiserats. Inverkansteori Värdeteori

9 Programteori -Problem -Behov -Målgrupp -Mål Intervention A Intervention B Intervention C Resultat/ utfall som ska leda till förändring inom målgruppe n som i sin tur leder till Mål uppfylls Förvänt ade effekter uppstår

10 Hur teoridriven utvärdering hanterar de fyra grundfrågorna Lärandesyfte för beslutsfattare och utförare Bedömning utifrån interventionsteorin eller generell teori Kunskap om processer, kausalitet eller utfall, beroende på teorin Bör ge evidens och beprövad erfarenhet

11 Resultat, utfall och effekt RESULTAT Resurser Aktiviteter/processer Prestationer Utfall 1 Utfall 2 IMPLEMENTERING EFFEKTER Resultat: Prestationer och/eller utfall Utfall: Situationen hos ett objekt efter en åtgärd Effekt: Om utfallet beror på den vidtagna åtgärden (kausalitet)

12 Experiment/Kvasiexperiment RCT Kvasiexperimentell design Statistisk kontroll Generisk kontroll Andra former av kontroll Reflexiv kontroll Skuggkontroll

13 Tvågruppsexperiment Påstådd hierarki i förmågan att lösa effektproblemet. Experiment med slumpmässig kontroll Experiment med matchad kontroll Generisk kontroll Reflexiv kontroll Skuggkontroll Tvärsnittskontroll Fallstudie

14 Före-efter-utvärdering Välfärdsindikator Utfall: Effekt + verkan av andra orsaker Baslinje Intervention Tid T 0 T 1 T 2 T 3

15 Det klassiska experimentet Intervention diff (F) Population Randomisering eller matchning Försöksgrupp diff (K) Kontrollgrupp T 1 T 2 Tid Effekten av interventionen: diff(f) - diff(k)

16 Hypotesprövning Typ I-fel: Att förkasta H0 fast H0 faktiskt är sann Typ II-fel: Acceptera H0 fast Ha är sann Signifikansnivå = α: sannolikheten (risken!) för typ I-fel Beslut baserat på stickprov Sanning om populationen Förkasta H0 Acceptera H0 H0 sann Typ I-fel Korrekt beslut Ha sann Korrekt beslut Typ II-fel Det råder ett motsatsförhållande mellan risken för Typ I-fel och risken för Typ II-fel: minskar vi signifikansnivån (= risken för Typ I-fel) ökar risken för Typ II-fel. Styrkan = 1-Typ II fel Inom samhällsvetenskaperna brukar man anse att α = 0.05 ger en bra avvägning mellan typerna av fel.

17 Effekter och osäkerhet

18 Validitet och Reliabilitet

19 Begreppsvaliditet Att teoretiska begrepp är rätt operationaliserade och mätta. Även behandligstrohet Intern validitet Hög trovärdighet att förändringar beror på insatsen och inget annat (RCT, kvasiexperiment, confounders) Extern validitet Effektiva i vardagsarbetet, generaliserbarhet. (flera oberoende studier med samma resultat)