Sidan 1 av 8 www.teglejansson.se Finansiärens roll inför upphandling av (processtödjande, lärande) utvärdering 2009-04-16 Stig Tegle PM Kurs Lärande utvärdering/följeforskning vt 2009, Linköpings universitet C:\Documents 1
Sidan 2 av 8 Sammanfattning Inför den nya programperioden 2007-2013 och efter mer än 10 års erfarenhet och satsningar i mångmiljardklassen är EU-kommissionen/ESF missnöjda med hur utvärderingarna (utvärderarna?) fungerat 1. Problemen med utvärderingarna skall nu försvinna/minska genom att en ny form av utvärdering (nya utvärderare?) skall skapas. I Sverige har denna nya typ fått många namn: processtödjande utvärdering, lärande utvärdering och till och med följeforskning. Det är dock felaktigt att skylla misslyckandena på utvärderingen (utvärderarna). Ansvaret inför i den nya programperioden för att skapa hållbara och permanenta (infra)strukturer för bra utvärderingar oavsett prefix vilar på finansiären (beställaren) ensamt. Alla funktioner i en utvärdering - granskning, processtöd och lärande - är viktiga. Det går inte att expandera en funktion vid en given budget utan att det får negativa konsekvenser för de andra två funktionerna. För finansiären är det en strategisk resurs att själv bygga upp och själv styra system för lärandet mellan och inom projekten 1. Till vem riktar sig denna PM? Denna PM riktar sig till organisationer och myndigheter som handlar upp utvärdering. 2. Vad denna PM inte är Denna PM är inte en checklista för att handla upp utvärdering utan ett analysstöd före upphandling. 1 Kritiken är omfattande (se bilaga). C:\Documents 2
Sidan 3 av 8 3. Vad är (processtödjande, lärande) utvärdering? Det är inte så lätt att förstå vad som i EU-sammanhang skall menas med den nya utvärderingen. EU-kommissionens officiella uttolkning gör inte bilden klarare 2. Här blir nyckelordet on-going-evaluation,...although Regulation (1083/2006) does not explicitly refer to this expression.. och betoningen ligger på pågående som skild från utvärdering ex ante, ex post eller mid-term; begreppet associeras också till interim evaluation. Utvärderingen skall dessutom bli mera flexible, demand-driven enligt kommissionen. Fyra principer skall styra on-going-evaluation : 1. Proportionalitet (vis a vis projektstorlek och -risker) 2. Oberoende (utvärderingen skall göras av experts or bodies (internal or external) that are functional independent of the certifying and audit authorities ) 3. Partnerskap ( consultation with stakeholders ) 4. Transparens ( publish evaluation reports ) Så långt liknar on-going-evaluation det vi vanligen kallar process-utvärdering men med betoning på att utvärderingen skall pågå under längre tid (än tidigare gjorda processutvärderingar?) 3. EU-kommissionen gör dock en ytterligare markering genom att beskriva on-going-evaluation som effective collaboration between the evaluator and programme managers 4. Alla bra gamla såväl som nya traditionella utvärderingar innehåller givetvis ett bra samarbete mellan utvärderare och projektledning/beställare. Men kommissionen menar kanske något annat med collaboration resp programme managers? Processtödjande är i språklig mening enkelt: ett stöd (coach, mentor) till projektdeltagare och/eller projektledare som arbetar med utvecklingsprojekt. Ordet lärande dyker också upp i detta sammanhang men det är oklart varifrån lärandekravet kommer 5. Troligen från insikten att man skall bygga hållbara projekt som kan fortsätta även när (EU)finansieringen är borta. 2 EU (2006). 3 Inget är nytt under solen: Vedung (2008, s 50, 75, 166) refererar till substansmodeller alt mållös utvärdering alt intressentmodellen alt förklarande processutvärdering. Karlsson (1999, s 58) refererar till aktionsforskningsinriktad intressentutvärdering. Inga av dessa nämner dock några av de nya begreppen (on-going.. etc). 4 DG Regio/Evalsed (citerat från Nutek 2008, s 15). 5 Begrepp som lärande organisationer etc myntades i Sverige på 1970-talet; se översikt i tex Forslin- Thulestedt (1993). C:\Documents 3
Sidan 4 av 8 Vi kan sammanfatta de tre sidorna eller stödfunktionerna i en projektorganisation som är av intresse inför den nya programperioden: Processtöd Granskning Lärande Med granskning i figuren menas här den traditionella effekt- eller processutvärderingen. Ordet traditionell är satt inom citationstecken eftersom metoderna för effekt- och processutvärdering utvecklas och förändras och kan anpassas efter nya krav (se nedan). Fokus är dock fortfarande det granskande, rapporterande syftet. All utvärdering - oavsett namnet - innehåller element från alla tre delarna i figuren, men i olika grad. Det är dock upp till finansiären (beställaren) att bestämma var tyngdpunkten skall ligga och ange tids- och ekonomiska ramar i proportion till prioriteringarna. Detta tydliggörande av att det kan finnas olika syften eller funktioner med utvärderingen är kanske det som är nytt med företeelsen med många namn som analyseras här (on-going etc). Men samtidigt innebär detta att om tyngdpunkten t.ex ligger på processtöd (processtödjande utvärdering) denna inte kan ersätta traditionell (effekt)utvärdering eller ersätta system för lärprocesser inom projektet. Någon gratislunch gives alltså inte. Det finns enligt min mening en uppenbar risk att finansiären kan se det som en gratislunch. Genom att kräva samma granskningsvolym som tidigare men dessutom kraftigt ökad volym på projektnivå av processtöd kommer projektbudgetarna att de facto brandskattas. Eller så kommer den traditionella granskningen att trängas ut till förmån för den nya - mera diffusa - utvärderingsprocessen 6. Om processtöd är en viktig funktion kan man fundera på om inte finansiärerna kan göra som Arbetsförmedlingen och Försäkringskassan nu gör på uppdrag av regeringen: separat handla upp coaching till handläggare (projektledare) i ett stödjande men också i viss mån i ett beteendeförändrande syfte. Vad som då blir kvar (se figur ovan) är (den traditionella) granskningen och att bygga stöd för lärprocesser. En sådan separering mellan processtöd och granskning skulle underlätta upphandlingen av granskningsdelen medan strukturer för lärprocesserna enligt min mening bäst tas om hand av finansiären själv (se nedan). 6 Dessa fårhagor förstärks om man läser Nutek (2008). C:\Documents 4
Sidan 5 av 8 4. (Processtödjande, lärande) utvärdering är inte forskning Att som i Sverige blanda ihop (den nya) utvärdering med forskning är svårt att förstå och troligen skadligt för både utvärdering och forskning 7. Svårt att förstå därför att ordet forskning inte finns med några av de officiella (eller andra) dokument som EUkommissionen har lagt fram om utvärdering inför den nya programperioden. I ett underlag till kursen konstateras också att följeforskning skiljer sig från traditionell forskning men på vilket sätt är svårt att förstå 8. I underlaget blir lösningen att man uppfinner den superprofessionella utvärderaren (mera om detta i nästa avsnitt). Skadligt därför att forskning och utvärdering är två helt olika företeelser med olika utgångspunkter och användning. Utvärdering är en funktion som finansiären på gott och ont styr över (beställer) och som har (skall ha) tydliga mottagare. Forskning är motsatsen där forskaren (högskolan) styr med utgångspunkt i inomvetenskapliga kriterier och där mottagaren är forskarvärlden själv eller alla. Att det i verkligheten finns gråzoner mellan forskning och utvärdering och att forskning kan använda utvärderingsresultat - motiverar inte att finansiären avstår från att bestämma vad i varje upphandling som skall upphandlas: forskning eller utvärdering. Distinktionen mellan forskning och utvärdering vad gäller syftet måste vara glasklar från början för finansiären när man upphandlar stöd. 5. Hur genomföra kostnadseffektiva utvärderingar som innehåller allt? En viktig fråga gäller hur man skall genomföra kostnadseffektiva utvärderingar som sammantaget ger bra traditionell granskning, innehåller processtöd och skapar lärprocesser. Jag har inte hittat något svar i litteraturen men det finns säkert redan erfarenheter från fältet att sprida 9. Det är dock inte så enkelt om man skall följa EUkommissionens fyra principer ovan särskilt kraven på oberoende och transparens. Enligt Nuteks vägledning (Nutek 2008, s 18) löses det hela genom att utvärderaren personligen ikläder sig alla tre rollerna i figuren ovan (processtödjare, granskare, skapare av lärprocesser) samtidigt: - För att interaktiv lärande skall ske måste utvärderarna engagera sig i de processer de utvärderar och studerar. De kan inte bara stå vid sidan av. Lärprocesser uppstår när de är med i och prövar sin retoriska förmåga för att klargöra för och övertyga program- eller projektledning vilka problemen och möjligheterna är. Kunskapsbildning i interaktiv samverkan tillför ett kritiskt perspektiv på förändrings- och utvecklingsprocesser i samhället, samtidigt som de ingår i en konstruktionsprocess. Att belysa och synliggöra de möjligheter som finns i bättre 7 Se Nutek (2008) som helt ur luften via persuation by definition ersatt on-going-evaluation med ordet följeforskning. 8 Utkast kap 2, s 5. 9 T.ex. KK-stiftelsen är uppenbarligen på banan med att styra lärprocesserna (Molander m fl (2009). C:\Documents 5
Sidan 6 av 8 organiserade och väl förankrade lokala och regionala projekt utgör ett viktigt bevis på att utvärderingarna spelar roll, det vill säga sätter spår. Detta innebär alltså att följeforskaren både ska kunna vara kritiskt granskande och samtidigt tillsammans med projekt- och programledningen kunna bidra till förbättringar. - Ambitionen bör vara att inte bara bidra till lärprocesser där strategier och inriktning ifrågasätts, utan även så kallad double-loop learning där roller och organisering sätts under luppen. Med följeforskning, till skillnad från traditionell utvärdering, är ambitionen att skapa möjligheter till fördjupade reflektioner, analyser, jämförelser, synteser och slutsatser. Kontinuiteten i följeforskningen och den nära relationen till projekt- och programledning innebär att följeforskaren kan bli katalysator för förändring och ny riktning i strukturfondsarbetet. Utvärderingssystemet med följeforskning ska göra strukturfonderna till en så kallad lärande organisation. Till dessa krav på utvärderaren som person tillkommer att han eller hon också skall delta i allmän debatt och diskussion för att främja offentlig debatt om programmens genomförande och därmed tillfredsställa förväntningarna om att skapa ett brett intresse för strukturfonderna 10. Det är inte säkert att alla finansiärer hittar sådana här utvärderare och då blir frågan hur den av alla utvärderingsforskare noterade principiella konflikten mellan stödjande (coachande) och granskande funktioner kan lösas 11. Ett förslag har redovisats ovan (separata upphandlingar av den stödjande resp den granskande funktionen). En annan möjlighet är att kombinera detta med explicita (tids- och kostnadssatta) krav på kommunikation mellan den granskande resp den processtödjande utföraren. För att ytterligare förbilliga upphandlingsprocessen - och minska antalet utförare finansiären skall styra och kommunicera med kan man tänka sig en gemensam upphandling av processtöd och granskning. Dvs samma företag utför (får lägga anbud på) båda funktionerna men med krav på personlig och resursmässig separation (två olika projektledare, budgetar etc) mellan processtöd och granskning. Osv. 10 Kap 2, s 6. 11 Karlsson (1999, s 65-66) beskriver utvärderarens möjliga roller i termer som amatör, infiltratör, förrädare, spion, lakej, provokatör, tipsare, rådgivare, utbildare, defacto projektledare. C:\Documents 6
Sidan 7 av 8 6. Avslutning: System för lärande är finansiärens ansvar och viktigaste styrmedel Det finns en risk att finansiärerna tar den s.k luftslottsmodellen till hjälp vid upphandling av utvärdering i den nya programperioden. Luftslottsmodellen innebär att allt ansvar för innehåll och strukturer inkl lösningar av alla välkända inneboende målkonflikter skrivs in som krav i anbudsunderlaget. Finansiären minimerar då sin egen insats för styrning, coachning och lärande. Ett (av flera) sätt att motverka detta är att finansiären själv bygger upp en infra(stöd)struktur för lärande och kommunikation mellan projektledare (projektdeltagare). En sådan struktur består av fasta och permanenta möten, webbsidor, Open Spacekonferenser, fokusgrupper, etc 12. I denna struktur man sedan stoppa in både processtödjare och granskare. Den fasta strukturen kan ändras efter hand om nödvändigt men det viktiga är att det är finansiären som styr strukturen. Givet strukturen blir innehållet (flödet) varierande och givetvis styrt av projektledare (projektdeltagare) Referenser EU (2006), Indicative Guidelines on Evaluation Methods: Evaluation During the Programming Period, Working Document no.5, October 2006. http://ec.europa.eu/regional_policy/sources/docoffic/2007/working/wd5_ongoing_en.pd f Forslin, J & Thulestedt, B-M (1993), Lärande organisation. Att utveckla kompetens tillsammans. Publica 1993. Kap 2 (2009), En ny programperiod, en ny utvärderingsansats! (kap ur kommande bok). Karlsson, O (1999), Utvärdering mer än metod, Ajour, en serie kunskapsöversikter från Svenska Kommunförbundet, nr 3, 1999. Molander, G & Ehnström, C (2009), Utvärdering ett utvecklingsarbete hos en finansiär (kap ur kommande bok). Nutek (2008), Nytta med följeforskning. En vägledning för utvärdering av strukturfonderna 2007-2013, Nutek rapport R 2008:16, mars 2008. Vedung, E (2008), Utvärdering i politik och förvaltning, Studentlitteratur 2008. 12 Ett projekt av Mats Andersson och Sofia Wistus (NTG Partnerskap) lät man projektledarna skriva en bok tillsammans som ett led i en lärprocess. C:\Documents 7
Sidan 8 av 8 Bilaga: Kritiken mot utvärdering under tidigare programperioder 1. Enligt Nutek (2008, s 13): - Utvärderingarna har antingen kommit för tidigt (halvtidsutvärderingen) eller för sent (uppdateringen av halvtidsutvärderingen och ex-post). Halvtidsutvärderingarna har många gånger gett ett splittrat och svåröverskådligt intryck av vad som har uppnåtts, samtidigt som utvärderingarna ofta blivit ganska översiktliga. Startkostnaderna för halvtidsutvärderingarna har ofta varit höga, vilket har kritiserats av förvaltningsmyndigheterna som har haft att genomföra programmen. Samtidigt har återföringen av kunskap många gånger ansetts marginell. De (förvaltningsmyndigheterna) har bland annat fått avsätta betydande tid för att sätta in utvärderarna i frågor som skall utvärderas. Dessutom har intresset för utvärderingsresultaten inte varit särskilt stort. De resultat som beviljade projekt ledde till hade man inte tid att bry sig särskilt mycket om eftersom genomförandeorganisationen har haft andra (och större) bekymmer till exempel kring medelsförbrukning och tillämpning av det europeiska regelverket. 2. Enligt EU (2006, s 5): Nevertheless, some weaknesses were identified: The rigid deadline, leading to evaluations having been launched too early in many cases (notably when operational programmes started late), and creating a surge in demand in the evaluation market; The requirements being too broad, covering all operational programmes and various/complex evaluation questions, ranging from strategy, to effectiveness, and to implementation issues. Consequently, some evaluations were lacking an in-depth analysis of important evaluation questions, especially as regards the results achieved, and were insufficiently adapted to address the specific internal demands of the Member State administrations. The main lesson drawn from the experience of the MTE was a need for shift towards a more flexible approach, driven by the operational and/or strategic needs of decisionmakers. C:\Documents 8