Introduktion Presentationer Viktoria Hildenwall, SIPU: Översikt av hur utvärdering av det svenska biståndet varit organiserat över åren. Rune Premfors, SCORE: Utvärdering av det svenska biståndet ur ett svenskt förvaltningspolitiskt perspektiv. Eva Lithman, konsult: Ett internationellt perspektiv på utvärdering av det svenska biståndet. Intermezzo deltagarna diskuterar Kommentatorer Kim Forss, konsult, ger kommentarer som professionell utvärderare. Jan Bjerninger, konsult, reflekterar över utvärderingars betydelse och användning utifrån sin långa och breda erfarenhet av svenskt utvecklingssamarbete. Avslutande diskussion Jubileumsmingel
HUR ska det svenska biståndet utvärderas? Historisk tillbakablick... Viktoria Hildenwall, SIPU
2012: Sveriges internationella utvecklingssamarbete fyller 50 år Prop. 1962:100: Biståndsinsatsernas förverkligande och effekt bör följas. På detta område har man i vissa givarländer konstaterat betydande brister som man nu söker reparera. Det rör sig här om en grannlaga uppgift, som dock torde ligga även i den mottagande partners intresse.
Våren 1993 Kommittén för utvärdering och analys inom det biståndspolitiska området samt Sekretariatet för analys av utvecklings-samarbetet (Sasda).
1995: EGDI Expert Group on Development Studies
Revisionsrapport 1998/99 Riksdagens revisorer: föreslår att Regeringen ser över möjligheterna att inrätta ett oberoende utvärderingsinstitut med forskningsanknytning inom biståndet. Tyngdpunkten i en sådan verksamhet bör ligga på utvärdering av utvecklingssamarbetets ändamålsenlighet, kostnadseffektivitet samt verksamhetens kvalitet.
2003: Regering och Riksdag fattar beslut om att inrätta en självständig utvärderings-funktion. Dess uppgift:... att från ett externt perspektiv granska och göra strategiska analyser av utvecklingssamarbetet.
1 januari 2006: SADEV startar sin verksamhet. Instruktion: att självständigt eller i samarbete med andra aktörer genomföra utvärderingar av det svenska bilaterala och multilaterala utvecklingssamarbetet. att genomföra analyser av utvecklingssamarbetet och utvecklingen i samarbetsländerna.
Otydlig inriktning? Ursprungliga syftet: Att skapa en fristående utvärderingsfunktion som självständigt skulle välja sitt utvärderingsobjekt? Alltmer avgränsat uppdrag: analysuppdraget borttaget, krav om hög relevans för kommande beslut inom biståndet, allt fler Regeringsuppdrag?
Maj 2012: Statskontoret publicerar sin rapport: Slutsatser: Förväntningarna på SADEV har inte infriats. Den fristående utvärderingen behöver ges bättre förutsättningar. Föreslår en omstart av SADEV.
Juni 2012: UD informerar: En arbetsgrupp inom departementet har konstaterat att SADEV:s verksamhet inte kan anses effektiv Arbetsgruppen föreslår att Regeringen fattar beslut om att SADEV avvecklas den 31 december 2012.
December 2012: Läggs SADEV ner? Vad kommer istället? HUR ska det svenska utvecklingssamarbetet utvärderas?
Rune Premfors, SCORE: Utvärdering av det svenska biståndet ur ett svenskt förvaltningspolitiskt perspektiv. Eva Lithman, konsult: Ett internationellt perspektiv på utvärdering av
Better Aid Evaluation in Development Agencies AFREA African Evaluation Association L' Association Africaine d'evaluation
Några internationella perspektiv på utvärdering och utvecklingssamarbete Eva Lithman, konsult: Principer och praktik - Hur gör andra? Utvecklingstendenser Slutsatser
Principer (OECD/DAC) 1991, bl.a. Oberoende: fristående ställning, ledning Objektivitet och trovärdighet: täckning, metoder, professionalism Användbarhet: bl.a. öppenhet och tillgänglighet
Arkitekturen: nätverk + + + nationella och internationella enskilda organisationer, inititativ t.ex the Global Fund, nya givarländer, privata stiftelser och företag
Norge Nederländerna
Trender Fler aktörer, fler utvärderingar = evaluation fatigue? Är gemensamma utvärderingar svaret? CDG 2006: When will we ever learn? Metodutveckling och debatt Kapacitet i samarbetsländerna Lärande eller kontroll? 3iE, Sadev, ICAI, DEval
Några slutsatser och frågor Oberoendeprincipen ges olika tillämpning, det finns ingen given modell. För att bevara utvärderingars trovärdighet behöver ansatser och metoder utvecklas. Vilken roll har utvärdering och/resp forskning som kunskapsbas för utvecklingssamarbetet? Konsekvenser av en mer givarcentrerad utvärdering?
Vilka är de största utmaningarna när dagens utvecklingssamarbete ska utvärderas?
Meeting stronger political demands for results and accountability - in a tougher fiscal climate across the OECD area - while at the same time responding to organisational learning needs (implications for topics, methods, timing, and internal systems to promote use). Involving and supporting partners in developing countries (including Busan agenda) Beyond aid policy coherence, global goods, other forms of cooperation Communicating more effectively to reach audiences Learning more from each other drawing on a larger knowledge base available of programme evaluations, impact evaluations, systematic reviews etc. Hans Lundgren, Head Evaluation Network Secretariat, OECD/DAC
Despite significant global efforts to transform the relationship of development cooperation the traditional challenges still remain: These include, among others, the following; The unequal power relations, which influence the kinds of questions that get asked and thus answered. The nature of use and/or intended use which colours the investment in and value of evaluations. Capacity challenges surrounding the conceptualisation, commissioning, implementation and use of evaluation. Florence Etta, Former resident of African Evaluation Association
Kommentatorer Kim Forss, konsult Jan Bjerninger, konsult
Kvalitetsaspekter på utvärdering och frågan om oberoende Kim Forss, konsult
Vad gör en utvärdering bra Användbarhet Tillförlitlighet Effektivt genomförd Etisk process Källa: Joint Committee on Standards; The Program Evaluation Standards. Sage 1994
Kvalitetskriterier för ett utvärderingssystem? Utveckling av vad som för utvärdering; förmågan att leverera önskvärd mängd utvärderande kunskap som uppfyller kraven på vad som är bra utvärderingar. Systemet ska vara; Användbart Tillförlitligt Etiskt Effektivt Oberoende/fristående? I så fall varför?
Syftet med oberoende Motverka påverkan och inflytande vid värderingen från det utvärderade objektet Motverka oavsiktlig snedvridning/systematiska fel från utvärderarnas sida Få in utanförstående perspektiv på verksamheten Förmedla legitimitet
Former för att uppnå oberoende Externa utvärderare Externa konsulter Organisatoriskt skilda enheter Externa bedömare av utvärderingsprocessen Extern bedömning Formell extern kvalitetskontroll Involvera brukare Rådgivande kommittéer Styrning Referensgrupp Styrgrupp
Sammanställning
Slutsatser Frågan om oberoende är instrumentell, ställs och besvaras för att uppnå ett syfte, snarare än ett värde i sig Olika problem kräver olika lösningar De praktiska lösningarna kan genomföras oavsett övergripande organisatorisk form, dvs. Inom ramen för en kommittee, en fristående myndighet, eller en enhet inom myndigheten (Sida i det här fallet) Kvalitet är målet, oberoende ett medel, och uppnås med praktiska organisatoriska lösningar under utvärderingsprocessen