Utvärderingens elementa Evert Vedung Prof emeritus i statsvetenskap ssk bostadspolitik Uppsala universitet, Inst f bostads- och urbanforskning samt Statsvetenskapliga institutionen Utvärderingens elementa Svenska utvärderingsföreningen Stockholm, 7 okt 2015 Evert Vedung: kontaktuppgifter Adress kontor: Uppsala universitet, Inst f bostads- o urbanforskning (IBF), Box 514, 751 20 Uppsala Telefon: +46 18 4716500, +46 18 4716511 (direkt) Mobiltelefon: +46 (0)70 4401315 Epost: evert.vedung@ibf.uu.se Hemsida: http://www.ibf.uu.se/person/evert-v.html Adress besök: Trädgårdsgatan 18, Uppsala Adress hem: Ymergatan 14, 1 tr, 753 25 Uppsala Mobiltelefon: 070 4401315 Epost: evert.vedung@ibf.uu.se 2 1
Utvärdering = def. Noggrann bedömning i efterhand av utfall, slutprestationer, förvaltning och beslutsinnehåll samt organisering av offentliga interventioner, vilken avses spela en roll Utvecklad systemmodell Logisk interventionsmodell (intervention logic model) i praktiska beslutssituationer 5 7 Enkla systemmodellen Utvärderingens roll enligt flerskiktsmodellen 2
Illustrera grundbegrepp som intervention, implementering, slutprestation (output) slutmottagare (addressees, targets), utfall (outcome) Fallet: Svenska regeringens hjälp till afghanska flyktingar i Pakistan 9 Utvärderingsmodeller 1 Måluppfyllelsemodellen 2 Bieffektsmodellen 3 Relevansmodellen 4 Brukarorienterad utvärdering 5 Intressentmodellen 6 Kollegebedömning självvärdering 7 Produktivitetsmodellen 8 Effektivitetsmodellen 11 European union evaluation model LEVEL 1: SOCIETY, NATURE Problems Outcome2 Outcome1 LEVEL 2: INTER- VENTION Goals Inputs Activities Outputs LEVEL 3: ASSESS- MENT Goal relevance Productivity Efficiency(cost efficiency) Effectiveness(goal achievement) Outcome relevance and Sustainability 12 3
Måluppfyllelsemodellen Parlamentariska styrkedjan 13 Måluppfyllelsemodellen Skogsvårdslagen 1979: målkatalog 4
Kontrafinalitet Brukarorienterad utvärdering 19 Effekter, bieffekter: en typologi 18 20 5
Bieffektsmodellen Brukarstyrning 21 23 Brukarstyrning 22 24 6
Slutprestationer Brukarna kan också tillfrågas om: 27 Slutprestationer Brukarnas utvärdering av rådgivning kan handla om: Brukarutvärdering av process fram till slutprestationer 26 28 7
SW0T-SCHEMAT DISPONERA BRUKARNAS SYNPUNKTER ENLIGT DETTA 1. Strengths = Styrkor? Fördelar? 2. Weaknesses = Svagheter? Nackdelar? 3. Opportunities = Möjligheter? Förbättringar som kan undanröja svagheter? 4. Threats = Hot? Vad skulle kunna gå snett med styrkorna om ingenting görs? 29 31 Åtta argument för brukarorientering 300dpi Vem är intressent (eng. stakeholder)? En intressent är en berörd En berörd har delägarskap i utvärderad intervention ( = äger delvis frågan ) Delägarskap kan avse 1 Pengar 2 Status 3 Makt 4 Rykte 5 Anseende hos kolleger och allmänhet 6 Chans 7 Möjlighet till avancemang Intressentmodellen: drivs av teori om legitim representation av berörda 32 8
Intressentutvärdering: enkel & kvalificerad 1 Enkel intressentutvärdering Intressenterna tillfrågas om nöjdhet med interventionen och dess delar Ingen interaktion mellan intressenter Utvärderaren redovisar grupp för grupp Utvärderaren redovisar gm att göra viss sammanvägning Intressentutvärdering: förtjänster 33 35 Intressentutvärdering: enkel & kvalificerad Intressentutvärdering: förtjänster 2 Kvalificerad intressentutvärdering Intressenterna bestämmer värderingskriterier och dimensioner i interventionen som ska utvärderas Intressenterna beskriver interventionen samt bedömer den utifrån egna värderingskriterier Dialog och deliberation mellan intressentgrupper i syfte att nå en gemensam tolkning och värdering 34 36 9
Intressentutvärdering: nackdelar (olämpor) 1 Diffus avgränsning av berörda Vem är berörd? Otydligt i modellen 2 Likställer alla intressenter Kålsuparargumentet 3 Otydlig till representativ demokrati Måste verka inom ramar uppsatta av representativ demokrati och demos 4 Opraktisk och kostsam Många intressenter. Omständligt. Tidsödande. Dyrt Skola enligt utvidgade systemmodellen 5 Pragmatisk uppfattning om sanning? Sanning kan bli användbarhet, nytta, accepterbarhet. Detta är också poängen för en del metodologer 37 Självvärdering - extern bedömning (Kvalitetssäkring) Ekonomiska modeller 40 10
Ekonomiska modeller Ett folkbiblioteks produktivitet 41 Ett folkbiblioteks produktivitet Boklån som indikator på slutprestation 11