Att inte elda för kråkorna! Utvärderingens grunder Utvärdering! Varför? Vad är det? Hur gör man? Mats Blid avdelningen för drogprevention 2009-11-20 Sid 1 2009-11-20 Sid 2 Varför ska man utvärdera? Vilka resultat uppnås? Vad beror resultaten, effekterna, hur vi lyckas, på? 1. Metoden/specifikt arbetssätt 2. Implementeringen 3. Brukaren/klienten/kundens situation (psykiskt, socialt) 4. Den professionelle 5. Relationen/sammanhanget Hur ska vi få veta det? Eller Hur kan vi fortsätta hävda att en verksamhet tillför deltagarna/brukarna, klienterna/patienterna/samhället någonting om vi inte kan visa att så sker och hur detta sker? Forts. När man blandar sig i andra människors liv bör det ske med bästa möjliga kunskap. I all bästa välvilja räcker inte! Kunskap används för att skapa en bättre praktik men kunskap räcker inte, den måste implementeras också! Offentliga verksamheter har kritiserats för att alltför mycket bygga sina insatser på: tradition och mode. Utvärdering är en förutsättning för en mer kunskaps/evidensbaserad praktik och för att i ett senare skede bedöma evidens. Målet med den evidensbaserade praktiken är att minska risken att oavsiktligt skada och öka möjligheterna att göra gott. Ett viktigt syftet med utvärderingar är att ta fram interventioner som är effektiva i förhållande till uppsatta mål. 2009-11-20 Sid 3 2009-11-20 Sid 4 Vad är utvärdering? / /noggrant kartlägga och (efterhands)bedöma en offentlig verksamhets resultat och vägarna dit i syfte att skapa underlag för att bevara, korrigera eller förändra (Vedung 2009). Att utvärdera ett projekt eller ett annat fenomen innebär ett systematiskt studium av ett empiriskt förlopp eller en företeelse (en intervention) för att kunna värdera och dra slutsatser som kan användas för eventuella framtida planeringar och beslut (Grundh 2008). 2009-11-20 Sid 5 2009-11-20 Sid 6 1
forts. Systematiskt tillvägagångssätt innebär att utvärderingen genomförs med ett strukturerat arbetssätt med vetenskapliga metoder vid datainsamling och analys så att andra kan upprepa det (replikerbart). Centrala utvärderingsfrågor Motsvarar resultatet det man kan förvänta eller önska sig utifrån något värdekriterium? Är resultatet på något sätt en produkt av (samhällets) ingrepp /påverkan /intervention? Således, utvärderingens två grundpelare: Vetenskaplighet 1. Systematisk 2. Vetenskapliga metoder 3. Öppen dataredovisning Värderande 1. Att bedöma värdet Alltså, utvärdering är en systematisk undersökning av någots värde (Forss 2007). 2009-11-20 Sid 7 2009-11-20 Sid 8 En systemmodell för utvärdering Inflöde Omvandling Utflöde T 1 T 2 Mål Implementeringsprocessen 2-4 år Problem/behovsanalys Community readiness Resultat T 3 Effekt forts. Vad är skillnaden mellan uppföljning, utvärdering och forskning? Uppföljning är löpande insamling av huvudsakligen kvantitativ information (statistik, indikatorer) i syfte att övervaka hur en verksamhet utvecklas i något/några på förhand bestämda avseenden. Intern syssla. Informationen hämtas från befintliga databaser och/eller regelbundna enkätundersökningar. Utvärdering handlar om effektivitet snarare och innehåller inslag av uppföljning samt värderas Forskning jämförs med tidigare forskning och är mer långsiktig 2009-11-20 Sid 9 2009-11-20 Sid 10 Olika grundmodeller för utvärdering svarar på olika frågor 1. Mål- och effektmodeller - är direkt inriktade på att bedöma resultatet av en verksamhet genom att ta fasta på någon given effekt eller mål (summativ) 2. Processinriktade modeller samlar information och beskriver brukares upplevelser av insatsen och vilka processer som ger upphov till förändring (formativ) 3. Teoribaserade utvärderingsmodeller - Ger svar på hur en åtgärd uppnår sina mål, tittar in i" ett program/intervention för att förstå bakomliggande mekanismer - hur effekter uppstår. Utforskar programteorin. 4. Ekonomiska modeller. Det finns två huvudsakliga ekonomiska utvärderingsmodeller; kostnadseffektanalys och kostnadsintäkts- (cost-benefit) analys 5. Sammansatta utvärderingsmodeller - olika utvärderingsperspektiv tillämpas i en och samma utvärdering. Måluppfyllelseutvärdering Måluppfyllelsemodellens två grundfrågor: Stämmer resultaten överens med de beslutade insatsmålen och beror detta i så fall på insatsen? Det första momentet kallas här mätning av målöverensstämmelse, det andra effektmätning. Stora krav på formulering av målen jämförbara och vems är målen? Inge fokus på processen den svarta lådan. 2009-11-20 Sid 11 2009-11-20 Sid 12 2
Måluppfyllelseanalys Effektutvärdering Hur definieras effekt: Mål en förändring som inträffat som en följd av en vidtagen åtgärd och som annars inte skulle ha inträffat (ESV 2006:08, s 9). T2 Vid en effektutvärdering har utvärderaren rollen att försöka fastställa ett orsakssamband mellan själva insatsen och den förändring som eventuellt skett av ett visst tillstånd eller en viss situation som verksamheten försökt att påverka. 2009-11-20 Sid 13 2009-11-20 Sid 14 Experimentell utvärdering (RCT) Kvasiexperimentell utvärdering K Ej insats, eller standardinsats (TAU) Matchad jämförbar insats/grupp Population E T2 T2 2009-11-20 Sid 15 2009-11-20 Sid 16 Processutvärdering Utmärkande för denna typ av utvärderingar är att fokus snarare ligger på själva interventionen/insatsen den svarta lådan - inte brukares situation före - efter. Att beskriva en process, att identifiera, tydliggöra, systematisera och dokumentera vilka faktorer som bidrar till en förändring är centrala inslag. Information samlas in upprepande gånger under tiden interventionen pågår. Svarar på frågan vad sker? (Hur och varför). Ofta formativ till sin karaktär och vill bidra till förändring under tiden som arbetet/projektet pågår. forts. processinriktad utvärdering kan ta sig olika uttryck där man antingen gör en processbeskrivning eller en processanalys. I det första fallet handlar det som sagt om att beskriva ett utvecklingsförlopp t.ex. implementeringsprocessen - genom att identifiera, tydliggöra, systematisera och dokumentera en förändring. Det handlar om att beskriva en rörelse, ett händelseförlopp utan vidhängande värdering. För mer komplexa skeenden är en processbeskrivning otillräcklig, varför man måste ta hjälp av teoretiska verktyg. Då rör det sig om en processanalys där empirin belyses med hjälp av teorier för att se och förstå olika sammanhang eller att komma bakom det som tillsynes sker (för en mer förklarande ansats är kritisk realism användbar). 2009-11-20 Sid 17 2009-11-20 Sid 18 3
Processutvärdering Ett ex. på en processanalytisk metod - Single-case System Design (SCD) Utmärkande drag är att en utvärderingsenhet (individ, grupp) jämförs med sig själv över tid. Således finns det ingen parallell (kontrollgrupp) jämförelseenhet (Oscarsson 2009). Tn 2009-11-20 Sid 19 2009-11-20 Sid 20 Hur gör man? Några grundläggande frågor en utvärderingsprocess 1. Varför ska utvärdering ske? Dessa frågor handlar om syftet och står för det övergripande motivet bakom utvärderingen. Vad är det som beställaren vill ha utrett och varför vill man utreda saken i fråga. I vilken beslutssituation kommer utvärderingen att användas. Vilka bakomliggande motiv har beställaren. Ofta finns någon form av kunskapsintresse bakom: lärande, främjande men också kontroll. 2. Vad är det som ska utvärderas? Beskriv insatsen, på vilket sätt kan den beskrivas och karaktäriseras t.ex. i termer av mål och styrmedel, kan insatsen betraktas som ett medel att nå något annat eller som ett egenvärde. 2009-11-20 Sid 21 2009-11-20 Sid 22 3. Vilka är intressenterna? Medborgare Beslutsfattare Myndigheter Åtgärdens målgrupp/brukare Finns konkurrerande intressen av utvärderingen? 4. Vem ska genomföra utvärderingen? Organisationsfrågan om vem det är som ska utföra utvärderingen och hur den ska organiseras och på vad sätt man kan strukturera arbetet på lämpligaste sätt. Intern extern? Hur fri är jag som utvärderare? 2009-11-20 Sid 23 2009-11-20 Sid 24 4
5. När ska utvärderingen ske? Utvärderingen bör planeras på ett tidigt stadium för att möjliggöra baslinjedata/information. Kontinuerligt efteråt? Hänger ihop med vilka frågeställningar man vill ha svar på. 6. Hur ska underlag/information för utvärderingen hämtas in? Denna fråga handlar om vilken design/modeller, metoder och tekniker för att samla in data/information som ska användas. Valet beror på frågeställningarna! De resultat som arbetas fram kan grunda sig på en rad olika undersökningar som registerdata, enkäter, manualer, intervjuer, deltagarobservation, dokumentanalyser m.m. och resultatet är beroende av variablerna i utvärderingen. Etiska övervägande. 2009-11-20 Sid 25 2009-11-20 Sid 26 7. Mot vad ska (ut)värderingen ske? Bedömningsfrågan, utifrån vad ska man genomföra bedömningen, vilka måttstockar ska man arbeta efter. Ska man i bedömningarna ta fasta på insatsmål, brukarnas förväntningar eller intressenternas krav (i forskning bedöms resultaten mot tidigare forskning och teori). Vad ska bedömas som framgång respektive misslyckande? 8. Hur ska rapporteringen ske? 9. Hur ska utvärderingar nyttiggöras? Impact frågan! Hur ska utvärderingen användas och hur används den? Hur undviker man att den blir en hyllvärmare! Bör man strukturera eller organisera den på ett särskilt sätt för att vara bättre lämpad till användning. Olika mål med den! I utvärderingsarbetet kan tyngdpunkten läggas olika på ovanstående frågor men det är viktigt att frågorna ställs för att genomföra en relevant och användbar utvärdering (Vedung 1998). För att höja nyttan - involvera intressenterna i utvärderingsprocessen (Staice m.fl. 2009). 2009-11-20 Sid 27 2009-11-20 Sid 28 Detta kan sammanfattas i fyra grundproblem vid planering och genomförande av utvärdering Uppdragsproblemet Kunskapsproblemet Bedömningsproblemet Funktionsproblemet Uppdragsproblemet På vems uppdrag görs utvärderingen? Vilket syfte ska den tjäna? Vilka frågor ska besvaras? Vem ska utföraren vara? Vems perspektiv ska man utgå ifrån? Vilka ekonomiska och andra ramar finns? 2009-11-20 Sid 29 2009-11-20 Sid 30 5
Kunskapsproblemet Bedömningsproblemet Hur ska man gå tillväga för att ge en sann beskrivning av objektet för utvärderingen? Urvalsfrågor, utvärderingsmodeller, datainsamlingstekniker, analys och tolkning. Hur ska man värdera den inhämtade kunskapen? Mot vad görs denna bedömning; norm, ideal, mål, teori? Vem ska göra bedömningen? 2009-11-20 Sid 31 2009-11-20 Sid 32 Funktionsproblemet Sammanfattningsvis Hur kommer utvärderingen att användas? Vilken funktion avses den att få respektive får den faktiskt? Hur kan man påverka utvärderingens användning? En utvärdering kan ha fokus på Brukare Interventioner Verksamheter Orientering mot.. Processen Utfall Kausalitet Kvalitet 2009-11-20 Sid 33 2009-11-20 Sid 34 forts. Utgå från olika typer av modeller, t.ex.. Processbeskrivande Processanalytiska Tidsseriemodeller -efter Målmodeller Kvasiexperimentella Experimentella Verksamhetsutvärderande Innehålla olika metoder Beskrivning och analys av ett förlopp SSD (fallstudie) Integrerad utvärdering DUR Manualbaserade Måluppfyllelseanalyser Bieffektanalys Målfri utvärdering Teoretiska Jämförande studier Randomiserade studier Självutvärderingar, brukarutlåtande, kollegor, experter 2009-11-20 Sid 35 2009-11-20 Sid 36 6
Tillämpa olika tekniker. Intervjuer Dokumentanalys Självbedömning Manualstyrda intervjuer Statistiska sammanställningar Observationer Enkäter Fokusgrupper Tester Exempel på insatser som använts och visat sig ha motsatt effekt än tänkt - kontrafinalitet Re-birthing Holding Scare-straight Boendetrappa Spädbarn skulle sova på magen (outvärderad rekommendation) Missbrukare skulle lära sig att drick måttligt eller avhållas med hjälp av elektriska stötar (s.k. aversionsterapi vilket innebär att ett negativt beteende kopplas samman med en obehaglig upplevelse ) Storstadssatsningen 2009-11-20 Sid 37 2009-11-20 Sid 38 Den evidensbaserad praktik (EBP) hur det fungerar i praktiken, ett mål i sig En integrering av resultat från olika kunskapskällor vägs samman: Den för tillfället bästa vetenskapliga kunskapen om insatsers effekter (evidensbaserade metoder, en metodologisk fråga) Brukarens erfarenheter och förväntningar (T.ex. genom brukarmedverkan i utformandet av programteorin eller brukarevision) Den lokala situationen och omständigheter Den professionelles expertis (en avgörande faktor) Uppföljning och dokumentation - en förutsättning för utvärdering God uppföljning (indikatorer följs över tid) är en förutsättning för att kunna genomföra en utvärdering. En plan för hur den löpande uppföljningen ska ske bör tas fram innan ett projekt eller program startas upp. En regelmässig och fortlöpande dokumentation är centralt för genomförandet av en utvärdering. En grundstruktur är: dokumentation, utvärdering, resultat (DUR) (Eriksson, B. & Karlsson, P-Å. (2008). Utvärderingar ska inte göras tillfälligt utan vara delar i sammanhängande system. 2009-11-20 Sid 39 2009-11-20 Sid 40 Referenser Eriksson, B. & Karlsson, P-Å. (2008). Att utvärdera välfärdsarbete. Stockholm: Gothia förlag Socialstyrelsen Vedung, E. (1998). Utvärdering i politik och förvaltning. Lund: Studentlitteratur. Sandberg, B (2006) Perspektiv på utvärdering i Roxell, L & Tiby, E (red.) (2006) Frågor, fält & filter, Lund: Studentlitteratur 2009-11-20 Sid 41 7