Varför utvärdera? Fördjupa och sprida kunskap om den verksamhet som utvärderas. Kunna säga något om effekten av vad som genomförts Förbättra/förändra en process
Frågor som påverkar utvärderingens design Uppdraget - VAD, VARFÖR, VEM, VILKA INTRESSEN? Bedömningen - IDEAL, VEM, VILKA INTRESSEN? Kunskapen - VAD, VILKA DATA, NÄR, VEM? Funktionen - RAPPORTERING, NYTTA?
Bedömningsfrågan / Värderingsgrunder Mål Intressen Teori Kulturella / Allmänna värden
Niopunktsprogram för utvärdering Varför ska utvärdering ske? Vad är det som ska utvärderas? Vilka är man kan det tänkas finnas olika intressen berörda av utvärderingen? Vem ska utvärdera? När ska utvärderingen ske? Hur ska underlag/information för utvärderingen hämtas in? Mot vad vilken referensram ska (ut)värderingen ske? Hur ska rapporteringen ske? Hur ska utvärderingen nyttiggöras?
Två huvudgrupper Processutvärdering Systematiskt följa och dokumentera en verksamhets genomförande Strukturbaserad utvärdering Tidsstruktur Före, under, efter Resursstruktur - Programteori
eller Processutvärdering Systematiskt följa och dokumentera en verksamhets genomförande, insatsen själv i fokus Utfallsorienterad utvärdering Resultatutvärdering Mål/Effekter/Före- och eftermätning
eller Summativ utvärdering Formativ utvärdering
Programteori Interventionsteori/Interventionslogik/Program logik Hur är intervenerandet tänkt att fungera? Inte nödvändigtvis hur det realiserats. Inverkansteori Värdeteori
Programteori -Problem -Behov -Målgrupp -Mål Intervention A Intervention B Intervention C Resultat/ utfall som ska leda till förändring inom målgruppe n som i sin tur leder till Mål uppfylls Förvänt ade effekter uppstår
Hur teoridriven utvärdering hanterar de fyra grundfrågorna Lärandesyfte för beslutsfattare och utförare Bedömning utifrån interventionsteorin eller generell teori Kunskap om processer, kausalitet eller utfall, beroende på teorin Bör ge evidens och beprövad erfarenhet
Resultat, utfall och effekt RESULTAT Resurser Aktiviteter/processer Prestationer Utfall 1 Utfall 2 IMPLEMENTERING EFFEKTER Resultat: Prestationer och/eller utfall Utfall: Situationen hos ett objekt efter en åtgärd Effekt: Om utfallet beror på den vidtagna åtgärden (kausalitet)
Experiment/Kvasiexperiment RCT Kvasiexperimentell design Statistisk kontroll Generisk kontroll Andra former av kontroll Reflexiv kontroll Skuggkontroll
Tvågruppsexperiment Påstådd hierarki i förmågan att lösa effektproblemet. Experiment med slumpmässig kontroll Experiment med matchad kontroll Generisk kontroll Reflexiv kontroll Skuggkontroll Tvärsnittskontroll Fallstudie
Före-efter-utvärdering Välfärdsindikator Utfall: Effekt + verkan av andra orsaker Baslinje Intervention Tid T 0 T 1 T 2 T 3
Det klassiska experimentet Intervention diff (F) Population Randomisering eller matchning Försöksgrupp diff (K) Kontrollgrupp T 1 T 2 Tid Effekten av interventionen: diff(f) - diff(k)
Hypotesprövning Typ I-fel: Att förkasta H0 fast H0 faktiskt är sann Typ II-fel: Acceptera H0 fast Ha är sann Signifikansnivå = α: sannolikheten (risken!) för typ I-fel Beslut baserat på stickprov Sanning om populationen Förkasta H0 Acceptera H0 H0 sann Typ I-fel Korrekt beslut Ha sann Korrekt beslut Typ II-fel Det råder ett motsatsförhållande mellan risken för Typ I-fel och risken för Typ II-fel: minskar vi signifikansnivån (= risken för Typ I-fel) ökar risken för Typ II-fel. Styrkan = 1-Typ II fel Inom samhällsvetenskaperna brukar man anse att α = 0.05 ger en bra avvägning mellan typerna av fel.
Effekter och osäkerhet
Validitet och Reliabilitet
Begreppsvaliditet Att teoretiska begrepp är rätt operationaliserade och mätta. Även behandligstrohet Intern validitet Hög trovärdighet att förändringar beror på insatsen och inget annat (RCT, kvasiexperiment, confounders) Extern validitet Effektiva i vardagsarbetet, generaliserbarhet. (flera oberoende studier med samma resultat)