Utvärdering varför då? Definition, nytta och evidens. Gustav Petersson: gustav.j.petersson@gmail.com Rolf Sandahl: rolf.sandahl@gmail.



Relevanta dokument
Om utvärderingsanalys och kausalitet. Rolf Sandahl

LÄRANDE FÖR UTVECKLING

Effektanalys en introduktion. Rolf Sandahl

Health café. Self help groups. Learning café. Focus on support to people with chronic diseases and their families

Vetenskapliga begrepp. Studieobjekt, metod, resultat, bidrag

Om oss DET PERFEKTA KOMPLEMENTET THE PERFECT COMPLETION 04 EN BINZ ÄR PRECIS SÅ BRA SOM DU FÖRVÄNTAR DIG A BINZ IS JUST AS GOOD AS YOU THINK 05

Blueprint Den här planeringen skapades med Blueprints gratisversion - vänligen uppgradera nu. Engelska, La06 - Kursöversikt, 2015/2016.

DEMOKRATI 3 DEMOKRATINS VILLKOR

Bedömning för lärande formativ klassrumspraktik Per Berggren och Maria Lindroth

Stimulated recall En forskningsmetod

Disclosure. SOMP-I skapades av Kristina Persson. SOMP-I ägs av Barnens rörelsebyrå Kristina Persson & Kine Johansen är delägare i företaget

Planering - LPP Fjällen år 5 ht-16

Vätebränsle. Namn: Rasmus Rynell. Klass: TE14A. Datum:

KOMMUNICERA. och nå dina mål. Lärandeförvaltningens kommunikationsstrategi

Laborativ matematik som bedömningsform. Per Berggren och Maria Lindroth

Bedömning för lärande. Workshop för nyckelpersoner i Sundsvalls kommun

Processinriktning. Anvisning. Diarienummer: KS 2015/2121 Dokumentansvarig: Utveckling, planering och uppföljning, Utvecklingsledare

Vi skall skriva uppsats

Riktlinjer - Rekryteringsprocesser inom Föreningen Ekonomerna skall vara genomtänkta och välplanerade i syfte att säkerhetsställa professionalism.


Utmaningar och möjligheter vid planering, genomförande och utvärdering av förändringsarbete i organisationer

FK Electrodynamics I

State Examinations Commission

Materialplanering och styrning på grundnivå. 7,5 högskolepoäng

Solowheel. Namn: Jesper Edqvist. Klass: TE14A. Datum:

Webbregistrering pa kurs och termin

Sektionen för Beteendemedicinsk smärtbehandling

Hur utvecklar man användbara system? Utvärdering. Användbarhet handlar om kvalitet. Utvärdering. Empiriska mätningar. Metoder

BFL & IKT (och SUA kommer )

Särskild avgift enligt lagen (2000:1087) om anmälningsskyldighet för vissa innehav av finansiella instrument

4-3 Vinklar Namn: Inledning. Vad är en vinkel?

Självkörande bilar. Alvin Karlsson TE14A 9/3-2015

FRÅGA: Jag tilldelades stipendium 2014, kan jag ändå söka de riktade stipendierna i år?

NO Fysik Åk 4-6. Syfte och mål

Världshandel och industrialisering

Isolda Purchase - EDI

Evidensbaserad praktik (EBP)

WhatsApp finns för dessa plattformar:

UPPGIFT: SKRIV EN DEBATTARTIKEL

Make a speech. How to make the perfect speech. söndag 6 oktober 13

Riktlinjer för medborgardialog

EXPERT SURVEY OF THE NEWS MEDIA

Kvalitetsarbete i förskolan

912 Läsförståelse och matematik behöver man lära sig läsa matematik?

Boll-lek om normer. Nyckelord: likabehandling, hbt, normer/stereotyper, skolmiljö. Innehåll

Questionnaire for visa applicants Appendix A

Samtals- och dokumentationsunderlag Språk och erfarenheter

Hur fattar samhället beslut när forskarna är oeniga?

Hållbar utveckling i kurser lå 16-17

Från nyhet till vardagsnytta - implementeringens svåra konst

Har vi lösningen för en bättre hemtjänst? Självklart.

Det är bra om även distriktsstyrelsen gör en presentation av sig själva på samma sätt som de andra.

Varför ska man utvärdera? Vilka resultat uppnås? Vad beror resultaten, effekterna, hur vi lyckas, på? Forts. Vad är utvärdering?

This is England. 1. Describe your first impression of Shaun! What kind of person is he? Why is he lonely and bullied?

Mönster. Ulf Cederling Växjö University Slide 1

Vad är det att vara en bra brandman? Vad kan man då?

Hej! Mitt namn är Agota, och jag ringer från Smittskyddsinstitutet angående en telefonintervju om ditt deltagande i Sjukrapport. Pratar jag med XX?

HT 2011 FK2004 Tenta Lärare delen 4 problem 6 poäng / problem

1. How many hours per week have you on average spent on the course, including scheduled time?

FÖRBERED UNDERLAG FÖR BEDÖMNING SÅ HÄR

Intervjumall. Datum: Intervjuare: Kandidatens namn: Kandidatens uppgifter: Växel: (5)

Sid i boken Rekrytering. Författare Annica Galfvensjö, Jure Förlag

Preschool Kindergarten

Kundservicerapport Luleå kommun 2015

CHANGE WITH THE BRAIN IN MIND. Frukostseminarium 11 oktober 2018

Beijer Electronics AB 2000, MA00336A,

Strukturen i en naturvetenskaplig rapport

Vid ett flertal tillfällen ställde individer frågor till Edgar Cayce om

Att koda en magnetremsa i plastkortskrivare med inbyggd magnetkodare.

Lathund för pedagoger Grundskola med:

Särskild avgift enligt lagen (1991:980) om handel med finansiella

3.9 Biologi. Syfte. Grundskolans läroplan Kursplan i ämnet biologi

Vetenskaplig utvärdering av ANDT-projekt vad kan man lita på?

Så kan du arbeta med medarbetarenkäten. Guide för chefer i Göteborgs Stad

Learning study elevers lärande i fokus

Design för användbarhet

Forma komprimerat trä

Statsbidrag för läxhjälp till huvudmän 2016

Svenska som andraspråk, 1000 verksamhetspoäng

Support for Artist Residencies

Examensarbete Introduk)on - Slutsatser Anne Håkansson annehak@kth.se Studierektor Examensarbeten ICT-skolan, KTH

TENTAMEN: Design och konstruktion av grafiska gränssnitt DAT215

Är du lönsam lille vän (och för vem)?! Operationaliseringen av samverkan och dess implikationer för humaniora!

Sammanfattning på lättläst svenska

Projektet har liksom Wången många år på nacken. Redan på 1950-talet bedrevs här forskning på brukshästarnas hovar.

Sammanfatta era aktiviteter och effekten av dem i rutorna under punkt 1 på arbetsbladet.

Discovering!!!!! Swedish ÅÄÖ. EPISODE 6 Norrlänningar and numbers Misi.se

Skriva B gammalt nationellt prov

LPP laboration. Förmågor: Centralt innehåll: Kunskapskrav:

MR 5 FRÅN FÖRBUD TILL RÄTTIGHET WORKSHOP I KLASSRUMMET TEMA: MÄNSKLIGA RÄTTIGHETER (MR)

Information technology Open Document Format for Office Applications (OpenDocument) v1.0 (ISO/IEC 26300:2006, IDT) SWEDISH STANDARDS INSTITUTE

Skolinspektionen Nyanlända 2016

Förskollärarprogrammet

Protokoll Föreningsutskottet

Användning av Erasmus+ deltagarrapporter för uppföljning

Kanban är inte din process. (låt mig berätta varför) #DevLin Mars 2012

Vetenskapsideal och forskningsperspek3v

District Application for Partnership

Transkript:

Utvärdering varför då? Definition, nytta och evidens Gustav Petersson: gustav.j.petersson@gmail.com Rolf Sandahl: rolf.sandahl@gmail.com

Utvärdering? En semantisk magnet Carol Weiss

I utvärderingslitteraturen? Noggrann bedömning i efterhand av utfall, slutprestationer, förvaltning och beslutsinnehåll samt organisering av offentlig verksamhet, vilken tänkes spela en roll i praktiska beslutssituationer. Evert Vedung

Utvärderingsterritoriet Noggrannhet Värdering Användning

Noggrann?... program evaluation is the application of systematic research methods to the assessment of program design, implementation, and effectiveness Eleanor Chelimsky

Värdefrågan Evaluation is the science of valuing Michael Scriven

Värdefrågan? Tell me who the evaluator is and I will tell you what the design will be. Tell me the design and I will predict the results, and therefore: Tell me the evaluator and I predict the results! Midge Smith

Noggrannhet användning?...evaluation is more art than science and should be oriented toward meeting needs of program decision makers and stakeholders. Lee Cronbach

Utvärdering och politik Det är avsikter snarare än resultat som är viktigast för en politiker (Daniel Tarschys) Det finns en risk att för mycket kan bli iakttaget i backspegeln och att man granskat vad som skett i stället för att diskutera vad man vill ska hända (Göran Persson)

Utvärdering av kausalitet kräver Noggrannhet Rimliga förutsättningar för att utvärdera - vad är möjligt att mäta?- och rimliga förväntningar på resultat (evidens?) Funderingar kring kunskapsbehov - vad ska utvärderas?- och användning Funderingar kring utvärdering och alternativ information - är det verkligen utvärdering vi behöver?

Syftet med vår bok (Studentlitteratur) Att omsätta filosofernas teorier om kausalitet till de praktiska situation som uppstår när vi försöker spåra orsaker och effekter i relation till statliga insatser. Varför? 1. Stort intresse för effektmätningar 2. Dagens evidensdebatt är onyanserad: fångar inte alla sidor av kausalitet och möter därför inte förvaltningens informationsbehov

Evidensrörelsen Målet med ett experiment är att påvisa orsakssamband mellan en oberoende variabel och en beroende variabel, och experiment är den enda typ av undersökning som med säkerhet kan fastslå att ett sådant samband föreligger. Kjellberg & Sörqvist

Maryland Scientific Method Scale 5) randomisering mellan program och kontroll, 4) för- och eftermätning med kontrollgrupp och statistisk kontroll, 3) för- och eftermätning med kontrollgrupp men utan statistisk kontroll, 2) för- och eftermätning utan kontrollgrupp och 1) sambandsstudier.

14 Utbildningsdepartementet USA Proposed evaluation strategies that use neither experimental designs with random assignment nor quasiexperimental designs using a matched comparison group nor regression discontinuity designs will not be considered responsive to the priority when sufficient numbers of participants are available to support those designs.

Socialstyrelsen (Evidensbaserad praktik i socialt arbete)

Kontextens betydelse Skapandet av en experimentell situation innebär snarare att man helt enkelt skapar en annan, och ofta ganska speciell, social situation som försökspersonen i ställer reagerar på och interagerar med. Därmed går det ursprungliga studieobjektet inte sällan förlorat Danermark et al

Varför teori? There is nothing as practical as a good theory. Kurt Lewin

5 olika teorier om kausalitet Kontrafakticitet Lagbundenhet Verkande mekanismer Förändrad sannolikhet Manipulerbarhet

Kontrafaktisk utveckling? Insats Effekt Faktisk utveckling

Två argument för andra kausalitetsteorier 1. Detta är inte i första hand vad vi menar med kausalitet (Elster) 2. Om vi väljer denna teori om kausalitet så leds vi till tillvägagångssätt som inte ger användbar kunskap

Användbarhet Knowing last week s score doesn t help you prepare for the next match. Brad Astbury It cannot be overemphasized that unless an experiment can be generalized at least a bit, time and resources have been wasted. One does not really care about the results of a study unless its conclusions can be used to guide future decisions. Generalization is a prerequisite for that guidance. Richard Berk

Utvärdering och politik I take the position that evaluations are to be judged by the extent to which they help the political community achieve its ends. The logic of science must come to terms with the logic of politics. Cronbach

Evidensbasering Cartwright: Den svagaste länken i evidenskedjan sätter gränsen för evidensbasering

24 1. Mekanismer It is through the notion of program mechanisms that we take the step from asking whether a program works to understanding what it is about a program which makes it work. Pawson

Mekanismer I samhället: mentala processer mellan orsak och effekt Kausalitet är alltså inte bara korrelation Varför observerar vi samband? Hundraårig tradition inom samhällsvetenskaperna 1970-talet: kritisk realism

2. Lagbundenhet Mackie (1960-tal): INUS-villkor En orsak är en av flera faktorer som tillsammans producerar effekten Statistisk och kausalitet? Relevant fråga: Under vilka förutsättningar ger insatsen avsedda resultat?

Förstå variation Striking an average over diverse phenomena is almost never enough; the task is to understand the diversity. Cronbach

28 Vad behöver vi veta? The traditional does it work? question transforms instantly into at least five different lines of inquiry: what is it about this kind of intervention that works, for whom, in what circumstances, in what respects and why. Pawson

Hur gå tillväga istället? Några exempel Pawson: programteori och testning av CMO-hypoteser Bo Bengtsson: fallstudier bör användas för att spåra mekanismer Extrema fall där vissa mekanismer verkar starkare än andra Mackies teori har använts bland annat för QCA

Inget överlägset tillvägagångssätt: [E]valuations should not be cast in a single mold. For any evaluation, many good designs can be proposed, but no perfect ones. Cronbach

Våra slutsatser 1. Det finns starka argument både för och mot olika teorier om kausalitet 2. Olika upplägg för effektmätning vilar på olika teorier om kausalitet; de genererar alltså olika typer av kunskap

Hur ska man välja upplägg? Först; Vilken typ av kunskap om kausalitet behöver vi? Kunskap om ett unikt eller ett generellt förhållande? Kausal deskription eller kausal förklaring? Genomsnitt eller variation? Sedan; Välj ett upplägg som möjliggör slutsatser om effekter i enlighet med kunskapsintresset. Inte samma sak som att välja mellan kval och kvant metoder Beror också på vad som är möjligt, resurstillgång, hur allvarlig en felskattning är etc.