Att skapa förutsättningar för bra utvärderingar Seminarium Regeringskansliet 17/1 2018 Kim Frss, Andante tls fr thinking AB
Krt m begrepp Utvärdering, vad är det? Evaluatin is the systematic inquiry int the wrth r merit f an bject Källa: The Prgramme Evaluatin Standards, Sage 1994 Systematik praktiskt tillämpning av vetenskapliga metder Wrth r merit, pängen är att kmma fram till värdemdöme Definitinen ska ses sm en minsta gemensam nämnare Utvärdering i förhållande till frskning Utvärdering i förhållande till utredning Utvärdering i förhållande till analys
Strategiska beslut Budget Syfte Tidshrisnt Metdlgi Kvalitetssäkring/knt rll Användning
Budget Vad kstar det att utvärdera? 1% sm tumregel? När måste budget bestämmas Faktrer sm tenderar att driva kstnaderna högre Flera syften Otydliga kriterier för utvärdering Brister i kunskap m situatin i utgångsläget Experimentella metder Bristande perspektiv på kausala samband Ensidig datainsamling
Syfte med utvärdering Lärande Ansvarsutkrävande (accuntability) Beslutsunderlag Knflikter mellan syften?
Tidshrisnt Långa perspektiv respektive krta Vad är långa tidsperspektiv? Fördelar med långa tidsperspektiv Förändring tar tid Lyfter fram betydelse av sammanhang Oväntade eller önskade effekter Avslöjar demi-regularities Nackdelar med långa tidsperspektiv Begränsar metdvalet Målbild ch kunskap kan ha ändrats Dataåtkmst Kmpetens
Metdlgi Metdlgi metder instrument Metdlgi Upplägg/design av utvärderingen Antaganden m kausala samband Prcessen att kmma fram till slutsatser Metder vad är det? Intervjuer Enkätundersökningar Observatiner Litteratur/statistik/andra källr/ Big Data Instrument för datainsamling T.ex. intervjuprtkll System för textanalys, statistiska analyser, mm
Kvantitativa ch kvalitativa metder finns de? Ja, men det är inte så lätt. Kvalitativa metder kan ibland asscieras till mindre pålitliga, subjektiva metder Kvantitativa metder asscieras med evidens ch bjektiva metder Ingetdera stämmer ch distinktinen är inte fruktbar Begreppet metd bör skärskådas
Kvantitativt ch kvalitativt Data Kvalitativa Kvantitativa Analys Kvalitativa Antrplgiska studier, tlkning av texter, analys av plitiska prcesser, Bedömning av kvalitativa data ch försök att förstå ch värdera samband i dessa Kvantitativa Innehållsanalys, räkna rd i texter, arbeta med listr, kvantifiera bservatiner, Statistisk ch matematisk analys av numeriska data
Utvärderingars kvalitet Kvalitet är ftast ett prblem inm ett utvärderingssystem Vad menas med kvalitet? Användbarhet Tillförlitlighet Etik i planering genmförande ch användning Effektivitet Kvalitetskntrll respektive kvalitetssäkring
Olika sätt att arbeta med kvalitet Beställaren bedömer slutprdukten ch avgör/förhandlar m den är bra ng Utföraren har en kvalitetssäkringskmpnent i arbetet Beställaren har en standardiserad prcess för kvalitetskntrll Referensgrupp Extern bedömning Specificerade kriterier
Användning Vad är användning (lärande, beslutsunderlag, ansvarsutkrävande, prcessanvändning plus några typer till) De flesta studier av utvärderingssystem menar att användning kunde ch brde varit bättre Användbarhet (ch användning) är en viktig aspekt av kvalitet Utvärdering ch value fr mney Användning bör planeras tidigt (men kan inte alltid förutses)
En inte vanlig fördelning av kstnader Prcentuell fördelning av kstnader 20% 2% 20% Förberedelser Datainsamling Analys 18% Skriva rapprt 40% Lansering/kmmunikat in
En mera ändamålsenlig fördelning av kstnader Prcentuell fördelning av kstnader Förberedelser 15% 15% Datainsamling 10% Analys 25% 35% Skriva rapprt Lansering kmmunikatin
Slutsatser vad gäller metdval Beakta distinktinen mellan metdlgi, metd ch instrument (MMI) Beakta på vilken nivå beslut m dessa tas av beställare eller utförare? Beslut m MMI berr på syfte, tidsperspektiv, budget ch utvärderingsfrågr De strategiska besluten kan inte tas berende av varandra Planera för kvalitetssäkring Planera för användning Utveckla en budget sm synliggör ch allkerar medel till samtliga faser i utvärderingen