HUR ska det svenska biståndet utvärderas? Historisk tillbakablick... Viktoria Hildenwall, SIPU

Transkript

1

2 Introduktion Presentationer Viktoria Hildenwall, SIPU: Översikt av hur utvärdering av det svenska biståndet varit organiserat över åren. Rune Premfors, SCORE: Utvärdering av det svenska biståndet ur ett svenskt förvaltningspolitiskt perspektiv. Eva Lithman, konsult: Ett internationellt perspektiv på utvärdering av det svenska biståndet. Intermezzo deltagarna diskuterar Kommentatorer Kim Forss, konsult, ger kommentarer som professionell utvärderare. Jan Bjerninger, konsult, reflekterar över utvärderingars betydelse och användning utifrån sin långa och breda erfarenhet av svenskt utvecklingssamarbete. Avslutande diskussion Jubileumsmingel

3 HUR ska det svenska biståndet utvärderas? Historisk tillbakablick... Viktoria Hildenwall, SIPU

4 2012: Sveriges internationella utvecklingssamarbete fyller 50 år Prop. 1962:100: Biståndsinsatsernas förverkligande och effekt bör följas. På detta område har man i vissa givarländer konstaterat betydande brister som man nu söker reparera. Det rör sig här om en grannlaga uppgift, som dock torde ligga även i den mottagande partners intresse.

5 Våren 1993 Kommittén för utvärdering och analys inom det biståndspolitiska området samt Sekretariatet för analys av utvecklings-samarbetet (Sasda).

6 1995: EGDI Expert Group on Development Studies

7 Revisionsrapport 1998/99 Riksdagens revisorer: föreslår att Regeringen ser över möjligheterna att inrätta ett oberoende utvärderingsinstitut med forskningsanknytning inom biståndet. Tyngdpunkten i en sådan verksamhet bör ligga på utvärdering av utvecklingssamarbetets ändamålsenlighet, kostnadseffektivitet samt verksamhetens kvalitet.

8 2003: Regering och Riksdag fattar beslut om att inrätta en självständig utvärderings-funktion. Dess uppgift:... att från ett externt perspektiv granska och göra strategiska analyser av utvecklingssamarbetet.

9 1 januari 2006: SADEV startar sin verksamhet. Instruktion: att självständigt eller i samarbete med andra aktörer genomföra utvärderingar av det svenska bilaterala och multilaterala utvecklingssamarbetet. att genomföra analyser av utvecklingssamarbetet och utvecklingen i samarbetsländerna.

10 Otydlig inriktning? Ursprungliga syftet: Att skapa en fristående utvärderingsfunktion som självständigt skulle välja sitt utvärderingsobjekt? Alltmer avgränsat uppdrag: analysuppdraget borttaget, krav om hög relevans för kommande beslut inom biståndet, allt fler Regeringsuppdrag?

11 Maj 2012: Statskontoret publicerar sin rapport: Slutsatser: Förväntningarna på SADEV har inte infriats. Den fristående utvärderingen behöver ges bättre förutsättningar. Föreslår en omstart av SADEV.

12 Juni 2012: UD informerar: En arbetsgrupp inom departementet har konstaterat att SADEV:s verksamhet inte kan anses effektiv Arbetsgruppen föreslår att Regeringen fattar beslut om att SADEV avvecklas den 31 december 2012.

13 December 2012: Läggs SADEV ner? Vad kommer istället? HUR ska det svenska utvecklingssamarbetet utvärderas?

14 Rune Premfors, SCORE: Utvärdering av det svenska biståndet ur ett svenskt förvaltningspolitiskt perspektiv. Eva Lithman, konsult: Ett internationellt perspektiv på utvärdering av

15 Better Aid Evaluation in Development Agencies AFREA African Evaluation Association L' Association Africaine d'evaluation

16 Några internationella perspektiv på utvärdering och utvecklingssamarbete Eva Lithman, konsult: Principer och praktik - Hur gör andra? Utvecklingstendenser Slutsatser

17 Principer (OECD/DAC) 1991, bl.a. Oberoende: fristående ställning, ledning Objektivitet och trovärdighet: täckning, metoder, professionalism Användbarhet: bl.a. öppenhet och tillgänglighet

18 Arkitekturen: nätverk nationella och internationella enskilda organisationer, inititativ t.ex the Global Fund, nya givarländer, privata stiftelser och företag

19 Norge Nederländerna

20 Trender Fler aktörer, fler utvärderingar = evaluation fatigue? Är gemensamma utvärderingar svaret? CDG 2006: When will we ever learn? Metodutveckling och debatt Kapacitet i samarbetsländerna Lärande eller kontroll? 3iE, Sadev, ICAI, DEval

21 Några slutsatser och frågor Oberoendeprincipen ges olika tillämpning, det finns ingen given modell. För att bevara utvärderingars trovärdighet behöver ansatser och metoder utvecklas. Vilken roll har utvärdering och/resp forskning som kunskapsbas för utvecklingssamarbetet? Konsekvenser av en mer givarcentrerad utvärdering?

22 Vilka är de största utmaningarna när dagens utvecklingssamarbete ska utvärderas?

23 Meeting stronger political demands for results and accountability - in a tougher fiscal climate across the OECD area - while at the same time responding to organisational learning needs (implications for topics, methods, timing, and internal systems to promote use). Involving and supporting partners in developing countries (including Busan agenda) Beyond aid policy coherence, global goods, other forms of cooperation Communicating more effectively to reach audiences Learning more from each other drawing on a larger knowledge base available of programme evaluations, impact evaluations, systematic reviews etc. Hans Lundgren, Head Evaluation Network Secretariat, OECD/DAC

24 Despite significant global efforts to transform the relationship of development cooperation the traditional challenges still remain: These include, among others, the following; The unequal power relations, which influence the kinds of questions that get asked and thus answered. The nature of use and/or intended use which colours the investment in and value of evaluations. Capacity challenges surrounding the conceptualisation, commissioning, implementation and use of evaluation. Florence Etta, Former resident of African Evaluation Association

25 Kommentatorer Kim Forss, konsult Jan Bjerninger, konsult

26 Kvalitetsaspekter på utvärdering och frågan om oberoende Kim Forss, konsult

27 Vad gör en utvärdering bra Användbarhet Tillförlitlighet Effektivt genomförd Etisk process Källa: Joint Committee on Standards; The Program Evaluation Standards. Sage 1994

28 Kvalitetskriterier för ett utvärderingssystem? Utveckling av vad som för utvärdering; förmågan att leverera önskvärd mängd utvärderande kunskap som uppfyller kraven på vad som är bra utvärderingar. Systemet ska vara; Användbart Tillförlitligt Etiskt Effektivt Oberoende/fristående? I så fall varför?

29 Syftet med oberoende Motverka påverkan och inflytande vid värderingen från det utvärderade objektet Motverka oavsiktlig snedvridning/systematiska fel från utvärderarnas sida Få in utanförstående perspektiv på verksamheten Förmedla legitimitet

30 Former för att uppnå oberoende Externa utvärderare Externa konsulter Organisatoriskt skilda enheter Externa bedömare av utvärderingsprocessen Extern bedömning Formell extern kvalitetskontroll Involvera brukare Rådgivande kommittéer Styrning Referensgrupp Styrgrupp

31 Sammanställning

32 Slutsatser Frågan om oberoende är instrumentell, ställs och besvaras för att uppnå ett syfte, snarare än ett värde i sig Olika problem kräver olika lösningar De praktiska lösningarna kan genomföras oavsett övergripande organisatorisk form, dvs. Inom ramen för en kommittee, en fristående myndighet, eller en enhet inom myndigheten (Sida i det här fallet) Kvalitet är målet, oberoende ett medel, och uppnås med praktiska organisatoriska lösningar under utvärderingsprocessen

33