Att beställa utvärderingar

Transkript

1 2005:26 UTVÄRDERING Att beställa utvärderingar en vägledning 1

2 Innehållsförteckning Förord 3 Inledning 4 Processbeskrivning 6 1. Klargör syftet 8 2. Formulera utvärderingsfrågan Går utvärderingsfrågan att besvara? 18 Verksamhetslogik Intern eller extern utvärderare? 22 Vilka kunskaper och färdigheter bör utvärderaren ha? 24 Vad kan jag förvänta mig när jag anlitar en utvärderare? 25 Relationen beställare utvärderare Formulera en uppdragsbeskrivning Välj utvärderare Avsluta utvärderingen 34 Avslutande kommentarer 36 Exempel på utvärdering 38 Mall för uppdragsbeskrivningar 40 Referenser 41 2

3 Förord EKONOMISTYRNINGSVERKET (ESV) arbetar för att öka och förbättra användningen av utvärderingar i den svenska statsförvaltningen. Detta sker främst genom att ESV erbjuder utbildningar och producerar vägledningar inom utvärderingsområdet. Denna vägledning ingår i en ny serie av vägledningar som ESV publicerar. Att utvärdera den statliga verksamheten är viktigt. Det ger kunskap om hur statens medel används och vilka resultat de leder till. Utvärderingar ger därför värdefullt underlag för att utveckla och förbättra den statliga verksamheten. Vägledningen har kommit till som följd av en intervjuundersökning som ESV genomfört om erfarenheter av att beställa utvärderingar. Undersökningen visade att det finns behov av råd och stöd i hur man blir en bra beställare av utvärderingar, oavsett om man beställer utvärderingen av den egna organisationen eller anlitar en utomstående utvärderare. Genom att förtydliga processen att initiera och beställa utvärderingar tror ESV att förutsättningarna för att utvärderingen blir väl genomförd förbättras. Ett väl genomtänkt utvärderingsuppdrag underlättar också användningen av resultatet av utvärderingen. Denna vägledning riktar sig till beslutsfattare och utredare som vill ha stöd när det gäller att beställa utvärderingar. Den har utarbetats av Maria Bergström och Ulla Duell. Susanne Jansson Avdelningen för statsmakternas styrning 3

4 Inledning 1 Dahler-Larsen, P Den rituelle reflektion om evaluering i organisationer SOM MAN ROPAR i skogen får man svar, brukar vi säga. Detta gäller inte minst i utvärderingssammanhang. Dialogen mellan beställare och utvärderare och beställningens utformning är många gånger lika viktiga för slutresultatet och dess användning som genomförandet av själva utvärderingen. Processen att initiera och beställa en utvärdering ger förutsättningar för hur väl utvärderingen kan genomföras. Många problem med utvärderingar har sin upprinnelse i planeringsfasen. Det gäller exempelvis om utvärderingen inte konkretiserats i tillräcklig utsträckning. Den danske utvärderingsforskaren Peter Dahler- Larsen 1 har pekat på att utvärderingar i moderna organisationer tenderar att utvecklas till en ritual, där man inte i förväg tänkt igenom frågor kring utvärderingarnas syfte och användning. Enligt Dahler-Larsen vet beställarna vad de ska utvärdera och hur utvärderingar ska genomföras men inte varför man ska utvärdera och vad utvärderingarna ska användas till. När man ska beställa en utvärdering är det viktigt att reflektera över och ta ställning till en rad grundläggande frågor som gäller utvärderingens syfte, uppläggning och funktioner. Avsikten med den här skriften är att lyfta fram och diskutera de grundmoment som en utvärderingsbeställning bör innehålla. Vad ESV vill åskådliggöra innebär ingen ny modell för hur en utvärderingsbeställning ska gå till. I stället presenterar vi ett sätt att tänka kring utvärderingsbeställningar i relation till vissa grundläggande frågor om bland annat utvärderingens syfte och de sammanhang i vilka utvärderingar planeras och genomförs. ESV har i den här vägledningen valt att följa processen att planera och beställa en utvärdering från problemidentifiering till uppdragsbeskrivning. De legala aspekter som kan anläggas på beställningsprocessen beskriver vi kort i skriften, men för att få veta hur offentlig upphandling går till och vilka regler som gäller hänvisas läsaren till Nämnden för offentlig upphandling (NOU 2 ). Behovet av resurser för enskilda utvärderingar i form av personer, pengar och tid behandlar vi inte i skriften, då det inte finns något generellt svar på dessa frågor. Däremot ger skriften vägledning om hur man kan bedöma vilka resurser som kan krävas. De tankar vi presenterar i vägledningen bygger på mångas idéer och erfarenheter. Inför arbetet med att ta fram innehållet gjorde ESV intervjuer med tjänstemän från myndigheter och Regeringskansliet samt utvärderingsforskare och utvärderingskonsulter om deras erfarenheter av att beställa utvärderingar. Intervjuerna visade att det finns ett behov av mer stöd och kunskap inom utvärderingsområdet. Hur utvärderingar initieras och när en utvärdering kan vara ändamålsenlig framhölls

5 som områden som vi särskilt borde belysa. Den allmänna uppfattningen bland dem vi har intervjuat verkar vara att det är svårt att vara beställare och att det finns behov av en vägledning i att beställa utvärderingar. Detta bekräftas även av en utredning gjord av Statskontoret som redovisar att man från departementshåll upplever att beställar- och användarkompetensen inom Regeringskansliet behöver stärkas för att man ska kunna utnyttja utvärderingar bättre. 3 ESV:s iakttagelser när det gäller erfarenheterna av att beställa utvärderingar visar att det är vanligt att beställaren har begränsade kunskaper i utvärderingsteori. Den här vägledningen kan ses som ett steg i riktning mot större kunskap inom detta område. Även högre kvalitet i utvärderingsrapporterna förs ofta fram som angeläget för att förbättra användningen av dem 4. ESV tror att en förbättrad process när det gäller att beställa och planera en utvärdering också ger bättre förutsättningar för att genomföra utvärderingen väl och därmed också påverkar kvaliteten på utvärderingen liksom användningen. Vad menas då med utvärdering? Det finns många svar på den frågan, och man kan i utvärderingslitteraturen hitta en mängd olika definitioner. I dagligt tal används utvärdering och uppföljning nästan synonymt. Inte sällan sker här en sammanblandning av begreppen, och många så kallade utvärderingar visar sig vid närmare granskning mer likna det som kallas uppföljning. Varför är det då så viktigt att hålla isär begreppen? De viktigaste skälen är att en utvärdering och en uppföljning representerar olika sätt att ta fram information och kunskap om en verksamhet, och att en utvärdering och en uppföljning har olika syften. Man brukar säga att uppföljningen beskriver vad som har hänt, medan utvärderingen förklarar varför. En utvärdering syftar till en djupare förståelse av enskilda fenomen eller aspekter, medan en uppföljning vanligen vill bidra till en bredare kännedom om generella fenomen trender, tendenser, översikter och liknande. Den främsta skillnaden ligger alltså i det värderande inslaget. Verksamheter eller insatser som värderas måste göra det i relation till något, t ex till allmänt accepterade eller för utvärderingen särskilt framtagna kriterier. De värdeomdömen som görs ska vara väl underbyggda. Annars risker man att hamna i löst tyckande. När man gör en bedömning eller värdering av utvalda delar av en verksamhet är man inne på utvärderingens område. 3 Statskontoret. 2002:20. Utvärderingar Av vem och till vad? En kartläggning av Regeringskansliets utvärderingsresurser. 4 Statskontoret. 2002:21. Utvärderingar och politik II Hur använder regeringen utvärderingar? 5

6 Processbeskrivning I de avsnitt som följer beskriver vi processen att ta fram en uppdragsbeskrivning. Processen illustreras med följande processkedja: Formulera utvärderingsfrågor Intern eller extern utvärderare? Val av utvärderare Klargör syftet Går frågorna att besvara? Formulera uppdragsbeskrivning Avsluta utvärdering 6 FIGUREN OVAN ÅSKÅDLIGGÖR de grundmoment som ESV anser att en utvärderingsbeställning bör innehålla. Frågor som beställaren kan behöva ställa i ett eller flera moment av processen är bland annat: Vad är syftet med utvärderingen? Vilka frågor ska utvärderingen besvara? Vilken tid och vilka resurser står till förfogande för utvärderingsuppdraget? Vilken expertis krävs? Frågorna hänger samman sinsemellan och bör inte betraktas isolerade från varandra utan ses tillsammans som en helhet. I praktiken finns det givetvis både utvärderingsbeställningar som är mycket enklare och sådana som innehåller många fler processteg än vad vi visar ovan. Beställningsprocessen, som ESV ser den här, börjar med att det finns ett behov av en utvärdering. Ett viktigt första steg är att klargöra vems behov som ska tillfredsställas med utvärderingen, det vill säga syftet med utvärderingen och vilka som primärt kan tänkas använda den. Nästa steg handlar om att formulera utvärderingsfrågor. Frågor som man som beställare bör ställa sig är: Vad är viktigt att undersöka? Vad är möjligt att undersöka? allt med hänsyn till den tid och de resurser som står till förfogande. Utvärderingsfrågor kan upplevas som komplexa och inte helt enkla att besvara. Ibland är det inte heller säkert att frågorna går att besvara. Innan ett uppdrag läggs ut på en utvärderare behöver man således fundera på om frågorna faktiskt är möjliga att besvara. Detta kan göras genom att man använder olika metoder eller tekniker. Längre fram i vägledningen kommer vi att beröra detta. Om man efter analys finner att frågorna går att besvara, kan man gå vidare och bestämma vilka utvärderingskriterier eller bedömningsgrunder som ska gälla för insatsen som ska granskas. Konstaterar man däremot att frågorna inte går att besvara som

7 de är ställda, får man gå tillbaka och formulera nya utvärderingsfrågor. Ibland kan man i detta sammanhang behöva formulera om syftet med utvärderingen för att klargöra hur utvärderingen ska kunna användas och varför man gör den. Det fjärde steget i processen handlar om att bestämma om utvärderingen ska utföras internt av organisationen själv, eller om man ska anlita en utomstående utvärderare. Valet av utvärderare handlar om val av kompetens och grad av oberoende av uppdragsgivaren. Målet med ovanstående steg är att de ska utmynna i formulerandet av en uppdragsbeskrivning, som är steg 5 i beställningsprocessen. Uppdragsbeskrivningen skrivs vanligen inför valet av utvärderare, steg 6 i figuren ovan, som ett anbudsunderlag. Uppdragsbeskrivningen kan se lite olika ut beroende på hur stort och omfattande utvärderingsuppdraget är, och den kan vara mer eller mindre omfattande beroende på hur långt beställaren vill gå i att definiera utvärderingsuppdraget. Vid anlitande av externa utvärderare är det nödvändigt med en uppdragsbeskrivning, men den är viktig även när interna utvärderare engageras. I det förra fallet utgör uppdragsbeskrivningen ett viktigt dokument i förhandlingen mellan beställare och utvärderare om det förväntade målet med uppdraget. Den blir då grunden för det avtal som upprättas mellan utvärderare och beställare. Uppdragsbeskrivningen kan också ses som ett rättesnöre som man kan gå tillbaka till under utvärderingsuppdragets gång för att se vad det var man bestämde. Tydlighet ska prägla en uppdragsbeskrivning. Det ska tydligt framgå vad syftet med utvärderingen är, vad resultatet ska användas till och vilka aspekter uppdragsgivaren anser vara viktiga. Ambitionsnivån ska stå i proportion till den tid och de resurser som kan avsättas för uppdraget. När valet av utvärderare är klart kan uppdragsbeskrivningen komma att justeras i samverkan mellan beställare och utvärderare. De kommer då överens om hur uppdraget ska genomföras och vad det ska innehålla. Under utvärderingens gång är det brukligt att beställare och utvärderare har avstämningsmöten där frågor och eventuella resultat diskuteras. I samband med rapporten gör utvärderaren en avstämning av resultatet med beställaren, som granskar rapporten mot uppdragsbeskrivningen. Utvärderingen avslutas, steg 7 i processbilden ovan, genom att utvärderaren lämnar en slutrapport till beställaren. I slutet av vägledningen finns ett exempel med en beskrivning av ett fall från Nutek. Vi följer där hela beställningsprocessen från initiering till avlämnande av utvärderingsresultatet. 7

8 Klargör syftet! Varför ska vi utvärdera? För vem eller vilka gör vi utvärderingen? Hur har vi tänkt att utvärderingen ska användas? Klargör syftet Formulera utvärderingsfrågor Går frågorna att besvara? Intern eller extern utvärderare?

9 NÄR MAN INITIERAR en utvärdering är det viktigt att klargöra syftet med utvärderingen. Syftet med utvärderingar varierar. Utvärderingar ska bland annat ge svar på frågor om måluppfyllelse, nytta, kostnader, effektivitet och kvalitet. Syftet med en utvärdering påverkar både ambitionsnivån, resurserna och tillvägagångssättet. Om beställaren inte känner sig klar över syftet innebär det att resten av processen blir haltande. Att klargöra syftet för sig själv och för andra som kommer i kontakt med processen innebär att utvärderingen får den styrning som är nödvändig för att processen ska bli så bra som möjligt och för att resultatet ska komma till användning. Syftet kan exempelvis vara att ge beslutsfattare underlag för beslut om utbyggnad av en vårdcentral, att kontrollera och bedöma effektiviteten och kvaliteten av akutvården inom vårdcentralen, att ge kommuninvånarna insyn, information och vägledning för att kunna välja husläkare, att ge landstingets planerare underlag för att utveckla sjukvården inom kommunen. Varför ska utvärderingen göras? Är syftet med utvärderingen kontrollerande eller lärande? Det finns olika sätt att gruppera utvärderingssyften, men det vanligaste är att man skiljer mellan kontroll och lärande syfte. Dessa syften kan kombineras, men de kan också kräva lite olika ansatser vid genomförandet av utvärderingen. När man utvärderar för att kontrollera en verksamhet eller en insats granskar man verksamheten för att se om den gör det den borde göra och om den leder till önskat resultat. Dessa utvärderingar görs också ofta när en verksamhet eller en insats är avslutad man gör en summativ utvärdering av det som gjorts i verksamheten. Utvärderingen blir då ett sätt för beslutsfattare att ta fram information för att bättre kunna kontrollera och styra en verksamhet, exempelvis för att avgöra om verksamheten ska fortsätta att bedrivas på samma sätt, om den ska förändras på något sätt eller om den ska läggas ned till förmån för något annat. Förändrings- eller utvecklingsmotivet kan i sig vara ett syfte med en utvärdering. Man kan vilja ta fram underlag för beslutsfattare att på skilda sätt förnya eller utveckla verksamheten. När utvärderingen i stället fokuserar på att vara en del av verksamhetens utveckling och lärande genomförs den medan verksamheten pågår och kallas då formativ utvärdering. Större insatser kan tjäna på att utvärderas under tiden projektet pågår, eftersom man då behöver ha koll på många olika insatser som ska leda till ett visst mål. Utvärderingen förbättrar på så sätt förståelsen för händelser och processer och bygger upp kunskap inom den verksamhet som utvärderas. Ibland utvecklas indikatorer och andra uppföljningsmått som en del i utvärderingen, och dessa används då för att bedöma om insatsen kan anses leda till ökad måluppfyllelse. Det är vanligt att kontroll- och lärandesyftet flyter samman. Ingen utvärdering är väl helt fri från kontroll samtidigt som man inte alltid kan säga att utvärdering leder till utveckling. För det mesta uppfattas det lärande syftet som något positivt, till skillnad från kontrollsyftet. Men för att styra och utveckla verksamheten på ett effektivt sätt behöver beslutsfattarna båda dessa syften. En utvärdering beställd av Skolverket 5 om verkets utbildningsinspektion är ett exempel på en lärande utvärdering. Utvärderingen syftar dels till att se vilka effekter som kommunerna menar att inspektionen 5 Sandahl, R. och Bringle, S Skolverkets utbildningsinspektion en utvärdering av dess effekter. Delrapport 1: Första inspektionsomgången, hösten Ekonomistyrningsverket Formulera uppdragsbeskrivning Val av utvärderare Avsluta utvärdering

10 Andersson, J. & Ramberg, T. Sida Evaluation 04/19. DemoÖstprogrammet svenska demonstrationsanläggningar i Östersjöregionen inom energi- och miljöteknik. Department for Infrastructure och economic cooperation. S har lett till eller kommer att leda till, dels till att utifrån detta resultat göra en bedömning av om det finns tillräckliga förutsättningar för att effekterna ska infinna sig. På det sättet får inspektörerna veta vad som är bra respektive dåligt i inspektionerna och vad som kanske måste förbättras. Ett annat exempel på en lärande utvärdering är DemoÖstprogrammet svenska demonstrationsanläggningar i Östersjöregionen inom energi- och miljöteknik. Utvärderingen är beställd av Sida 6, och syftet är enligt rapporten dels att dokumentera nyttan av DemoÖstprogrammet utifrån ett marknadsperspektiv: Har DemoÖstprojekten lett till ytterligare kontakter och affärer?, dels att ge Sida underlag för att kunna förbättra hanteringen av programmet och förstå vilka faktorer som ger bäst resultat för de investerade medlen. Vilka är utvärderingens intressenter och mottagare? Syftena med en utvärdering kan vara många, beroende på vem som är beställare och vem som ska använda utvärderingen. Intressenter är de som har någon form av beroende av eller påverkan på det som utvärderas. Den självklara intressenten är beställaren. Andra intressenter är de som direkt eller indirekt berörs av utvärderingsresultatet. Olika intressenter har olika relationer till verksamheten och de utvärderingar som görs. Ibland talar man om mottagare av en utvärdering och menar då de direkta konsumenterna av resultatet, de som primärt är avsedda att påverkas av utvärderingen. En mottagare kan i många fall räknas som en intressent, men ibland kan det vara bra att hålla isär begreppen. Man bör alltid i ett tidigt skede av initieringen av en utvärdering kartlägga tänkbara intressenter och förutse vilka krav de kan ha på utvärderingsresultatet och i vilken grad de ska involveras i utvärderingsprocessen. Många av intressenternas krav kan vara motstridiga, och beställaren måste därför bestämma vilka man ska ta hänsyn till. Om man vid planeringen av en utvärdering för diskussioner om ett vidare användningsperspektiv, genom att man exempelvis engagerar olika parter under utvärderingsprocessens gång, kan det leda till en ökad medvetenhet och förståelse för utvärderingen. Hur ska utvärderingen användas? En utvärderings tänkta användning bör diskuteras redan vid planeringen av utvärderingen. Frågan om hur utvärderingen ska användas är nära kopplad till syftet med utvärderingen. Förutom att specificera vilka som är mottagare och intressenter till utvärderingen kan beställaren i detta skede behöva fundera över hur utvärderingens resultat ska presenteras. Det är vanligt att man som beställare ser en skriftlig rapport som slutprodukt för en utvärdering, men Klargör syftet Formulera utvärderingsfrågor Går frågorna att besvara? Intern eller extern utvärderare?

11 kanske kan föredrag, videorapporter, seminarier och debatter i dialogform vara minst lika viktiga för att föra ut utvärderingsresultatet. Vilket sätt man än väljer är det av vikt för användningen av resultatet att rapporteringen anpassas till mottagarna när det gäller såväl utformningen som språket. Det är vidare värdefullt att i inledningsskedet av utvärderingsprocessen diskutera eventuellt negativa av intressenternas krav kan vara motstridiga, och be- reaktioner på det kommande utvärderingsresultatet. Många ställaren måste därför bestämma vilka man ska ta hänsyn till Formulera uppdragsbeskrivning Val av utvärderare Avsluta utvärdering

12 Formulera utvärderingsfrågan! Hur ställs en bra utvärderingsfråga? Klargör syftet Formulera utvärderingsfrågor Går frågorna att besvara? Intern eller extern utvärderare?

13 DEN FÖRSTA FRÅGA som bör ställas är: Vad ska utvärderas? Vad är det som är viktigast att få reda på om ett utvärderingsobjekt med tanke på den tid och de resurser som man har möjlighet att avsätta? Vad som ska utvärderas måste naturligtvis beslutas från fall till fall beroende på syftet med utvärderingen. Begreppet utvärderingsobjekt används i utvärderingslitteraturen för att bestämma det som granskas och bedöms i en utvärdering. Det kan vara en person, en produkt, ett projekt, en verksamhet, en verksamhetsgren, ett verksamhetsområde eller ett helt politikområde. I det här skedet av utvärderingsprocessen är det inte ovanligt att man som beställare fokuserar mer på vilken typ av datainsamling som ska göras, exempelvis telefonintervjuer eller enkät, än att man låter syftet och utvärderingsfrågorna bestämma valet av metod. Innan utvärderingsfrågan formuleras behöver man ta reda på vilka utvärderingar som redan gjorts på området och om den tänkta frågeställningen redan finns belyst i tidigare utvärderingar. Många gånger kan det räcka med att göra en kvalificerad bedömning av det egna insatsområdet med hänvisning till tidigare utvärderingar på området och deras resultat för att frågeställningen ska anses utredd och utvärderad. Man kan också komplettera med en mindre studie för att verifiera resultaten i de tidigare utvärderingarna. När man formulerar utvärderingsfrågan bestämmer man också på vilken aggregeringsnivå, exempelvis central ledningsnivå eller projektnivå, som frågan ska besvaras och vad som innefattas i utvärderingsobjektet. En utvärderingsfråga som handlar om att utvärdera till exempel om informationssatsningar generellt är ett bra styrmedel har en hög aggregeringsnivå och utgör ett omfattande utvärderingsobjekt. Om utvärderingsfrågan enbart fokuserar på ett särskilt projekts genomförande och nytta för det problem som man är satt att lösa, är aggregeringsnivån låg och utvärderingsobjektet väl definierat. Det är viktigt att i detta sammanhang klargöra vem som beslutar om vad som är viktigast att få veta i utvärderingen. Är det beställaren? Är det beställaren tillsammans med en projektgrupp eller styrgrupp? Det gäller då att alla inblandade får en förståelse för utvärderingens syfte och exempelvis vilket problem den eventuellt ska lösa. Utvärderingsfrågorna tvingar beställaren att fundera både över syftet med utvärderingen och över hur han eller hon har tänkt att den ska användas. En övergripande utvärderingsfråga kan exempelvis lyda: Leder verksamhetens insatser i form av prestationer av skilda slag, till avsedda effekter? Den frågan kan sedan brytas ned i till exempel: Hur är insatserna genomförda? Vilka är mottagarna av insatserna? Vilka effekter, avsedda och oavsedda, leder insatserna till? Formuleringen av utvärderingsfrågor avgränsar det som ska granskas och bedömas i en utvärdering till att omfatta endast det som berörs av frågorna. Hur utvärderingsfrågorna ställs är alltså viktigt för utvärderingsresultatet. Nedan följer ett exempel på syftet med en utvärdering och tillhörande utvärderingsfrågor. I en samhällsekonomisk analys av ekologisk livsmedelsproduktion, 7 gjord av Livsmedelsekonomiska institutet, är syftet att ta reda på om det är motiverat att av miljöskäl stödja ekologisk odling ekonomiskt och om man kan säga att dagens politik för främjande av ekologisk odling är effektiv. 7 Livsmedelsekonomiska institutet. Rapport 2003:2. Samhällsekonomisk analys av ekologisk livsmedelsproduktion,s Formulera uppdragsbeskrivning Val av utvärderare Avsluta utvärdering

14 Omfattande frågeställningar ställer krav på tid och resurser för att samla in relevant information om utvärderingsobjektet. De grundläggande utvärderingsfrågorna är: Vilka effekter på miljön orsakar ekologisk produktion av livsmedel och hur stora är dessa jämfört med motsvarande konventionella produktion? Vilket ekonomiskt värde tillmäter medborgarna i samhället dessa effekter? Är det, utifrån en samhällsekonomisk analys, motiverat att av miljöskäl stödja ekologisk odling ekonomiskt? Med avseende på resultaten från denna studie och med de antaganden som ligger bakom, vad kan man säga om effektiviteten i dagens politik för främjande av ekologisk odling? 8 Owen, J.M and Rogers, P.J. 1999, Program evaluation. Forms and approaches, s Det är inte alltid självklart vad som ingår i utvärderingsobjektet. I det här exemplet skulle man kunna lyfta fram vad som avses med ekologisk respektive konventionell produktion. Som beställare kan man alltså genom utvärderingsfrågorna styra utvärderingsprocessen i olika hög grad. Mer preciserade frågor ger en högre grad av styrning och vice versa. Vi kan kalla detta för att beställaren anger vilka frihetsgrader som en utvärderare ges i sitt uppdrag. I de intervjuer med utvärderare som ESV gjorde kom det fram, att även om beställaren försöker styra utvärderingen med preciserade frågeställningar, så har utvärderaren alltid möjlighet att vidga frågorna, om det skulle främja utvärderingen som helhet. Detta bör dock ske i en dialog mellan beställare och utvärderare. Men det kan också vara så, att en högre grad av styrning av utvärderingen leder till en ökad direkt användning av utvärderingen. Vad är konsekvensen av att ställa många utvärderingsfrågor? Som beställare är det viktigt att komma ihåg konsekvenserna av att ställa många eller avancerade utvärderingsfrågor. Tid och kostnader för att besvara utvärderingsfrågorna måste finnas med i bedömningen när beställaren prioriterar vilka utvärderingsfrågor som utvärderaren ska koncentrera sig på. 8 Alla frågor kanske varken kan eller behöver besvaras. Det finns också utvärderingsfrågor som ställer krav på vissa typer av data och vissa typer av datainsamlingsmetoder som är resurs- och tidskrävande. I vissa fall räcker det med att göra en mindre intervjuundersökning med relevanta intressenter och mottagare till utvärderingsobjektet. I andra fall krävs det att man gör en mer omfattande datainsamling av enkätdata från en större mängd intressenter eller mottagare eller att man använder registerdata. Omfattande frågeställningar ställer krav på tid och resurser för att samla in relevant information om utvärderingsobjektet. Omfattande frågeställningar kan också ställa krav på olika typer av expertis för att kunna besvaras och bedömas Klargör syftet Formulera utvärderingsfrågor Går frågorna att besvara? Intern eller extern utvärderare?

15 Nedan beskrivs en utvärdering med många utvärderingsfrågor. Utvärderingen är beställd av Nutek, behandlar Resurscentra för kvinnor en kraft för hållbar regional utveckling? 9 och är en analys av en projektfinansierad verksamhet under en fyraårsperiod. Syftet med utvärderingen är att bedöma om nuvarande resurscentras potential är en resurs i arbetet med regional utveckling och tillväxt eller om det finns behov av andra strukturer eller verksamheter för denna uppgift. Utvärderingen omfattar de projekt som beviljats medel från organisationen inom ramen för regionala och lokala resurscentra under de fyra åren. 350 projekt var berörda av undersökningen. Sammantaget har organisationen bidragit med ca 100 miljoner kronor till dessa projekt under perioden. De frågor som enligt beställningen skulle belysas var: 1. Vilka motiv finns för speciella stöd riktade till kvinnor, dvs. i form av resurscentra? 2. Finns det olika regionala behov av sådana bidrag? 3. Hur fördelas bidragen på olika typer av projekt? 4. Vad vill de olika projekten uppnå? 5. I vilken utsträckning uppnår de sina mål? 6. I vilken utsträckning leder projekten till ökad jämställdhet? 7. Vilken påverkan har projekten på den regionala utvecklingen? 8. I vilken utsträckning bidrar projekten till hållbar tillväxt? 9. Vilka möjligheter finns till förbättring och utveckling av projekten? 10. Vilka hinder finns för att projekten ska kunna uppnå det övergripande syftet med resurscentra för kvinnor? Därutöver analyseras hur verksamheten bidrar till jämställdhet, miljö och etnisk mångfald. Utvärderingsfrågorna i exemplet ställs både på hög och låg nivå, och är heller inte prioriterade. Fråga 1 5 och 9 är avgränsade och rör projektens genomförande och måluppfyllelse. Fråga 10 är dels ledande i sin utformning, dels utgår man från att syftet är möjligt att uppnå. I frågorna 6 8 breddas frågeställningen betydligt utanför utvärderingsobjektet. Dessa frågor kräver en mycket större ansats för att vara möjliga att besvara. Som beställare bör man i ett exempel som detta möjligen fråga sig om tiden och kostnaderna för att besvara utvärderingsfrågorna står i proportion till värdet av svaren. Vissa frågor kan vara lätta att besvara, om det finns lättillgänglig underlagsinformation. Andra frågor kan vara betydligt mera komplicerade och tidskrävande. Att tänka på vid formulering av utvärderingsfrågor För att kunna formulera relevanta och bra utvärderingsfrågor kan beställaren ibland behöva anlita särskild expertis som kan ha både sak- och utvärderingskompetens. Det finns ett antal olika aspekter som beställaren bör tänka på när han eller hon ställer en utvärderingsfråga: 10 9 Nutek. 2004:14 Resurscentra för kvinnor en kraft för hållbar regional utveckling? En analys av projekt finansierad verksamhet under perioden s Rossi, P.H., Lipsey, M.W., Freeman, H.E th edition, Evaluation. A Systematic Approach Formulera uppdragsbeskrivning Val av utvärderare Avsluta utvärdering

16 En utvärderingsfråga måste vara möjlig att besvara, vara tillräckligt specifik, konkret och praktisk samt gälla något mätbart, så att meningsfull information kan inhämtas för att besvara den. För att man ska kunna göra en bedömning måste utvärderingsfrågorna ställas mot en referenspunkt. Det kan vara mål för en viss verksamhet, jämförelser mellan myndigheter eller länder eller kunders krav på en viss servicenivå. För att bedöma om en utvärderingsfråga är lämplig och realistisk kan beställaren tillsammans med utvärderaren exempelvis göra en beskrivning av verksamhetens logik (se s. 16) och utifrån verksamhetslogiken formulera en fråga som är möjlig att besvara. 11 analysera frågan i relation till känd kunskap, det vill säga aktuell forskning och litteratur på området. dels när det gäller utvärderingskompetensen. Hur mycket måste man förstå av uppdraget för att kunna vara beställare? Många beställare är, enligt den intervjuade beställaren, alltför lite insatta i verksamheten och kan inte ställa de rätta frågorna. Utvärderingsfrågorna kan i dessa fall bli för generella och resultera i enbart en mekanisk beskrivning. Ibland till och med överlåter man till utvärderingskonsulten att formulera frågorna. En viktig aspekt som nämndes i intervjun är att den som gör en beställning också ska kunna ta emot resultatet. En beställare måste vara klar över vad han eller hon vill veta och hur informationen är tänkt att användas. 11 Ekonomistyrningsverket. 2001:16. Verksamhetslogik. 16 En beställare som ESV intervjuat framhåller det som speciellt viktigt att inför en utvärdering klargöra frågeställning och ansvarsfördelning mellan beställare och utvärderare. Det ställer krav på beställaren dels när det gäller sakkompetensen, Klargör syftet Formulera utvärderingsfrågor Går frågorna att besvara? Intern eller extern utvärderare?

17 5 6 7 Formulera uppdragsbeskrivning Val av utvärderare Avsluta utvärdering 17

18 Går utvärderingsfrågan att besvara? Finns det tillräckligt med information för att besvara frågorna? Måste en förstudie göras? Är det rationellt att genomföra utvärderingen? Klargör syftet Formulera utvärderingsfrågor Går frågorna att besvara? Intern eller extern utvärderare?

19 EN TYPISK UTVÄRDERINGSFRÅGA kan handla om att ta reda på vilka effekter som en viss insats eller verksamhet haft inom ett politikområde eller att ta reda på om en insats eller verksamhet bedrivs i enlighet med de mål som finns för verksamheten. Exempelvis kan en utvärderingsfråga vara svår att besvara när tidpunkten för utvärderingen ligger fel. Vill man till exempel utvärdera långsiktiga effekter efter endast något år och förändringarna kan konstateras först efter årtionden kan utvärderingsfrågorna vara svåra att besvara. Insatsens betydelse eller tyngd bland andra faktorer som påverkar ett visst skeende kan också göra det svårt att svara på frågorna. Kan vi utvärdera om en speciell informationskampanj bidragit till exempelvis minskad energiförbrukning? Problemet är här att även andra åtgärder kan verka i samma riktning, till exempel bidrag till energisparande åtgärder. Ju fler faktorer som verkar i samma riktning som i detta fall informationskampanjen, desto svårare blir det att bedöma just informationskampanjens effekter. Det är väldigt lätt att utan att man tänker på det formulera utvärderingsfrågor som inte går att besvara. För att en utvärderingsfråga ska kunna besvaras måste det vara möjligt att samla information. Det måste finnas tillräckligt med information som kan samlas in för att man på ett realistiskt sätt ska kunna bedöma det som ska utvärderas. Hur bedöms utvärderbarheten? En bedömning av utvärderbarheten kanske framför allt görs inför mer omfattande utvärderingsuppgifter och där man känner sig osäker på hur en verksamhet fungerar eller om en politisk satsning varit framgångsrik. När man granskar utvärderbarheten gör man det utifrån ett slags rationellt övervägande av om en utvärdering är möjlig att genomföra till en rimlig kostnad och inom en rimlig tid, men man bedömer också om utvärderingen kan förväntas ge nyttig och användbar information till beslutsfattare och andra primära användare av utvärderingen. När man bedömer utvärderingsobjekts utvärderbarhet går man igenom följande fyra steg: Gör en beskrivning av verksamhetslogiken (se vidare s. 16) som ska innefatta beslutsfattarnas, personalens och andra intressenters syn på och förståelse av verksamheten eller den politiska satsningen. 2. Bedöm om verksamheten och dess mål är realistiska, genomförbara och mätbara. 3. Bedöm vilket utvärderingsupplägg som kan göra det möjligt att bedöma verksamheten på ett kostnadseffektivt och tillförlitligt sätt. 4. Kom överens med de primära användarna av utvärderingen om vad som ska prioriteras i utvärderingen och hur den är tänkt att användas. I beskrivningen av vilka delar som ingår i att bedöma utvärderbarheten av en verksamhet eller politisk satsning utgår ESV i det här sammanhanget från att bedömningen utförs som en förstudie av en utvärderare, alltså inte av beställaren. Detta arbete kan givetvis göras av beställaren själv, men processen kräver framför allt tid som en beställare kanske inte har. Förslagsvis kan processen genomföras som en tvåstegsraket en del där man bedömer utvärderbarheten och formulerar utvärderingsfrågan, en förstudie, och en del där man genomför utvärderingsuppdraget, som då blir huvudstudien. De olika stegen kan utföras av två olika utvärderare. 12 Wholey, J.S., Hatry, H.P. & Newcomer, K.E Handbook of practical programme evaluation. s Formulera uppdragsbeskrivning Val av utvärderare Avsluta utvärdering

20 Figur Verksamhetslogik Antaganden om Var, när och hur ofta som är optimalt. Hur målgruppen, potentiella onyktra förare, kommer att reagera: RESURSER AKTIVITETER PRESTATION Finansiella medel. Specifik kompetens. Utrustning. Material Planering och förbe redelser Utökat antal alkohol utandnings prov verket. 2004:14. Ordbok om ekonomisk styrning i staten 20 Alternativt kan utvärderbarheten bedömas internt av verksamheten, som gör en egen förstudie för att undersöka utvärderbarheten av till exempel ett större program. Verksamhetslogik Hur tänkte vi? Vilka antaganden gjorde vi? Som ett första steg för att närma sig utvärderingsobjektet är det bra om man kan ta reda på hur det var tänkt att fungera från början. Det gör man genom att systematiskt och översiktligt bedöma vilka resurser som används, vilka aktiviteter som satts i gång och vilka prestationer de resulterat i, det vill säga vilka tjänster eller varor som möter kunden eller mottagaren utanför organisationen. Man bedömer också om aktiviteterna och prestationerna leder till önskade effekter på kort och lång sikt. Denna granskning kallas för att man gör en beskrivning av verksamhetslogiken. Verksamhetslogik, 13 eller programteori som det ofta kallas i utvärderingslitteraturen, är ett verktyg för att beskriva och analysera en verksamhet. När man planerar en utvärdering av exempelvis effekten av en viss verksamhet i förhållande till ett mål kan en beskrivning av verksamhetslogiken utgöra en grund för bedömningen. Den kan hjälpa beställaren av en utvärdering att avgöra vilka effekter i kedjan som är möjliga att mäta och hur långt organisationens ansvar kan sträcka sig med hänsyn till andra aktörers agerande. Vidare tar den hänsyn till faktorer i omvärlden som kan påverka resultatet. Men en beskrivning av verksamhetslogiken kan också handla om vilka processer och aktiviteter som förväntas leda till ett visst resultat eller en viss effekt. Fokus är då på verksamheten snarare än vad den leder till. Ovanstående figur illustrerar förväntade relationer mellan resursinsats, aktiviteter, prestationer och effekter. Pilarna i bilden representerar ett förväntat orsak verkansamband. I modellen ingår också att beskriva vilka antaganden som ligger bakom de förväntade orsakssambanden, vilka målgrupperna är i olika delar i kedjan och vilka externa aktörer och faktorer som också kan tänkas påverka utfallet. Som ett exempel kan vi beskriva följande verksamhetslogik: Ett mål som polisen ska bidra till är ett minskat antal alkoholrelaterade trafikolyckor (se schemat ovan). Polisen kan välja att öka antalet kontroller med alkoholutandningsprov för att öka upptäcktsrisken med syfte att det ska påverka potentiella trafikonyktra att inte köra bil berusade. I vilken grad detta bidrar till minskad trafikonykterhet och färre alkoholrelaterade olyckor kan vara svårt att säkerställa. Andra händelser kan påverka utfallet, som till exempel en samtidigt pågående informationskampanj, en ny behandlingsmetod för alkoholister, strängare straff för att köra onykter och Klargör syftet Formulera utvärderingsfrågor Går frågorna att besvara? Intern eller extern utvärderare?

21 EFFEKT Kort sikt EFFEKT Medellång sikt EFFEKT Lång sikt Ökad upptäckts risk Minskat antal onyktra förare Färre alkohol relaterade olyckor Externa faktorer: Samtidigt införande av Informationskampanj Ny behandlingsmetod av alkoholister Strängare straff Lägre tillåten promillehalt lägre accepterad promillegräns. I beskrivningen av verksamhetslogiken försöker man identifiera dessa händelser. Om ökade kontroller inte tycks bidra till en positiv förändring kan det bero på att kontroller inte är en effektiv metod, men det kan också bero på att kontrollerna borde utföras vid andra tidpunkter eller på andra platser för att vara effektiva. En utvärdering kan hjälpa till att belysa detta. Målet för en verksamhet kan röra en prestation, det vill säga gälla vad som ska levereras, hur mycket eller hur många, av vilken kvalitet och till vilket pris. Prestationen är något som organisationen vanligtvis råder över själv. Effekterna däremot påverkas i de flesta fall även av andra aktörer eller faktorer i omvärlden. När stats makterna fastställer mål för olika statliga insatser blir dessa därför sällan avgränsade till vad en enskild myndighets verksamhet kan åstadkomma. I stället handlar målen om effekter som flera andra aktörer och faktorer i samhället bidrar till. Målet för ett helt politikområde kan sägas vara den önskade effekten av olika insatser i statsförvaltningen. Målen för en enskild myndighet uttrycks av den anledningen ofta i termer av att myndigheten ska bidra till en önskad förändring. När man gör en beskrivning av verksamhetslogiken kan, som vi tidigare nämnt, fokus också ligga på själva verksamheten, som med hjälp av olika resurser skapat strukturer och processer som förväntas leda till ett visst resultat eller en viss effekt. I vårt fall ovan kan man då mer koncentrera sig på frågor som rör hur man valt att organisera en satsning på ökade trafikkontroller, till exempel genom resurstilldelning, planering av aktiviteten, utbildning av personal, inköp av alkoholmätare. Genom att göra en beskrivning av verksamhetslogiken får man ett hjälpmedel att bedöma om verksamhetens aktiviteter kan förväntas leda till måluppfyllelse och om det är möjligt att mäta resultatet och måluppfyllelsen. Låt säga att utfallet av verksamheten inte blir det önskade. Då kan beskrivningen av verksamhetslogiken vara till hjälp. Tankarna och idéerna bakom olika aktiviteter inom projektet finns redan från projektstarten dokumenterade i beskrivningen av verksamhetslogiken. I projekt som pågår under lång tid måste man räkna med personalförändringar, och det finns därför anledning att gardera sig för projektledarbyten. Fördelen med beskrivningen av verksamhetslogiken i det sammanhanget är att den fungerar som en gemensam referensram både för beställaren och för utföraren. Att göra en mer omfattande sådan beskrivning får inte bli för tidsödande och inte för komplext för att vara ändamålsenligt. Vidare måste också beskrivningen av verksamhetslogiken vara öppen för prövning och förändring under utvärderingens gång Formulera uppdragsbeskrivning Val av utvärderare Avsluta utvärdering

22 Intern eller extern utvärderare? Vilka för- och nackdelar finns det med att använda interna respektive externa utvärderare? Klargör syftet Formulera utvärderingsfrågor Går frågorna att besvara? Intern eller extern utvärderare?

23 ATT UTVÄRDERA ÄR en process som upplevs olika beroende på om man är beställare, utvärderare eller själv blir utvärderad. I detta sammanhang har också valet av utvärderare betydelse. När man planerar en utvärdering bör man samtidigt ta ställning till vem eller vilka som ska ansvara för och genomföra själva utvärderingen. I olika utvärderingssammanhang kan man ha behov av olika utvärderare. Vid vissa utvärderingstillfällen kan en utvärderare som arbetar centralt i staten vara det bästa valet, vid andra tillfällen lämpar sig en forskare eller en privat utvärderingskonsult bäst. Vi kommer nedan först att gå igenom hur man kan resonera när man tar ställning till om utvärderingen ska utföras externt eller internt i förhållande till verksamheten. Därefter diskuterar vi vilka kunskaper och färdigheter en utvärderare behöver ha: Vad kan man som beställare och användare förvänta sig när man anlitar en utvärderare? Slutligen: Vad är viktigt i relationen mellan beställare och utvärderare? När beställaren ska besluta vem som ska genomföra utvärderingen finns det ett antal frågor som han eller hon kan ställa: 1. Vem är den primära användaren av utvärderingen? 2. Tjänar organisationen på att genomföra utvärderingen själv, i form av egen kunskaps uppbyggnad? 3. Behövs specifik kompetens, som organisationen inte har, för att genomföra utvärderingen? 4. Finns det externa krav, i förhållande till organisationen, på att verksamheten ska utvärderas? 5. Kan en extern utvärderare komma att öka utvärderingens trovärdighet för externa användare? Ovanstående lista är inte uttömmande. Detta kan ses som några exempel på frågor som beställaren kan ställa vid valet av utvärderare. En tumregel kan vara att ju mer man som beställare i utgångsläget anser sig veta om hur det egentligen är, desto större skäl finns det att ta hjälp av någon mer neutral utvärderare. Det finns fördelar och nackdelar med att använda enbart interna eller enbart externa utvärderare. Om den primära användaren av utvärderingen är organisationen själv och det primära syftet är lärande, kan det vara bra om utvärderingen också genomförs internt. Organisationen kan behöva utveckla särskild utvärderingskompetens för att öka kvaliteten på de egna utvärderingarna. Ibland kan det också vara värdefullt att involvera brukarna eller mottagarna av organisationens tjänster eller produkter i utvärderingen. Det finns många olika modeller för att bygga upp intern utvärderingskompetens så att man kan använda utvärderingar kontinuerligt för att förbättra verksamheten. Interna utvärderingar har fördelen att de som utvärderar också känner till organisationens mål och specifika interna processer samt dess organisationskultur, som kan förklara varför saker och ting är på ett visst sätt. Om en utvärderare snabbt måste sätta sig in i kompl exa frågor kan detta också tala för en intern lösning. Men det kan också vara en nackdel att vara intern utvärderare i organisationen. Risken att bli hemmablind är stor, liksom risken att inte våga ifrågasätta interna processer i organisationen. För att höja den interna utvärderingskompetensen kan organisationen anlita en extern utvärderare som dels genomför utvärderingen, dels hjälper organisationen att utveckla en bra utvärderingsmetod som kan användas i framtida utvärderingar. En fördel med att anlita externa utvärderare kan alltså vara att organisationen får hjälp att utveckla mo Formulera uppdragsbeskrivning Val av utvärderare Avsluta utvärdering

24 Att vara utvärderare innebär i någon mån att vara allkonstnär. 14 Kjaersgaard, K., Administrativ Debat, 2002, nr 2. God evalueringsskik- Diskussion af adfaerd och normer ved evaluering, Økonomistyrelsen, Danmark 15 Sida Utvärderingshandbok för Sida. Andra upplagan. 24 deller för organisatoriskt lärande. Det kan också bidra till en kompetensutveckling av personalen både innehållsmässigt och metodmässigt. Ofta finns det externa krav på att en verksamhet ska utvärderas. Kraven kan komma från regeringen men också från allmänheten via till exempel mediernas uppmärksamhet av någon fråga. I dessa fall kan det vara bra att anlita en extern utvärderare som kan anses vara oberoende i förhållande till organisationens mål och organisationskulturen. En extern utvärderare kan också lyfta fram problem som verksamheten kanske inte skulle se annars eller våga ta itu med på egen hand. Han eller hon kan därmed ge legitimitet till att hantera svåra frågor. En extern utvärderares faktiska oberoende ska dock inte överdrivas. Utvärderingskonsulter agerar på en marknad. De är beroende av att ha bra relationer till sina uppdragsgivare och kan därför hamna i ett beroendeförhållande till dem, det vill säga man vågar inte bita den hand som föder en. Det kan givetvis påverka deras möjlighet att agera som oberoende utvärderare. Som beställare bör man försäkra sig om att utvärderaren har en utvärderaretik som anger att utvärderarens huvuduppgift är att utvärderingen genomförs och förmedlas med avsikt att få fram så tillförlitlig och sann information som möjligt om utvärderingsobjektet. Externa utvärderare används dock i högre grad om syftet med utvärderingen är att kontrollera genomförandet eller att bedöma effekterna av en politisk satsning. Detta anses ge mer legitimitet åt utvärderingen. I större projekt kan det vara vettigt att kombinera interna och externa utvärderare. Exempelvis kan en intern utvärderare koncentrerar sig på att samla in data och utvärdera olika delprojekt, medan en extern utvärderare gör den slutliga analysen och bedömningen. Vid större utvärderingar kan man också använda en referensgrupp för att stämma av resultat och lösa problem som uppstår under utvärderingens gång. 14 Vilka kunskaper och färdigheter bör utvärderare ha? 15 Vilka krav på kunskaper och färdigheter kan beställaren ställa på utvärderaren? De kvalifikationer som krävs av utvärderare låter sig inte definieras en gång för alla, eftersom kraven skiftar mellan olika utvärderingar. Klart är att det inte bara krävs gedigen fack- och utvärderingskunskap och analytisk förmåga. Även personliga egenskaper som lätthet att kommunicera, både muntligt och skriftligt, samarbetsförmåga, professionalitet och personlig integritet har stor betydelse. Att vara utvärderare innebär i någon mån att vara allkonstnär. Utvärderaren behöver för det Klargör syftet Formulera utvärderingsfrågor Går frågorna att besvara? Intern eller extern utvärderare?

25 första ha kunskaper om datainsamlingsmetoder och kunna göra nödvändiga och kostnads effektiva bearbetningar och relevanta analyser av data och annan information som samlats in. För det andra behöver utvärderaren ha goda fackkunskaper, eller samarbeta med personer som har det. För det tredje måste utvärderaren känna till viktig lagstiftning och politiska frågeställningar som är aktuella för det område som ska utvärderas. Utvärderaren måste vidare ta reda på om det finns tidigare utvärderingar på området som är relevanta för beställaren att känna till. Han eller hon måste också vara lyhörd för olika intressenters behov, så att syftet med utvärderingen uppfylls och utvärderingen blir optimalt användbar för beställaren och andra intressenter. Utvärderaren måste också bedöma i vilken grad utvärderingen kan genomföras under de villkor som anges av beställaren. Utvärderingsområdet är stort, och det går kanske i realiteten inte att ställa alla ovanstående krav på en och samma person. Många myndigheter står i dag själva för fackkompetensen i ett utvärderingsuppdrag och genomför uppdraget i samarbete med en utvärderingskonsult. Ibland kan beställaren behöva anlita ett utvärderingsteam för att genomföra ett utvärderingsuppdrag. Då är det viktigt att teamet består av personer med olika kunskaper och färdigheter som kompletterar varandra. Fördelen med att anlita ett team är att det ofta är svårt för en enda utvärderare att täcka alla områden som behöver ses över i en utvärdering. Ett annat skäl är att det är tidsbesparande. En utvärderare ska också kunna förmedla utvärderingens resultat på ett sätt som är anpassat till mottagaren. Som beställare bör man inte alltid låsa sig vid att rapporteringen ska ske enbart skriftligt. Ibland kan muntliga föredrag, dialoger och seminarier vara minst lika viktiga för att föra ut utvärderingsresultatet. Språket är också viktigt. Det finns många utvärderingar med alltför krångligt språk. Vad kan jag förvänta mig när jag anlitar en utvärderare? Finns det etiska principer för utvärderare? För beställaren är det viktigt att utvärderaren strävar efter att ta fram en så objektiv bild som möjligt av utvärderingsobjektet. I det sammanhanget kan det vara bra att man som beställare känner till olika internationella standarder som anger vilka förutsättningar och krav som kan ställas på en utvärderare. Den amerikanska utvärderingsföreningen (AEA) 16 har tagit fram etiska principer med intentionen att de ska vara vägledande för utvärderare. De ska informera beställare och användare om vad de kan förvänta sig när de 16 American Evaluation Association Guiding principles for evaluators Formulera uppdragsbeskrivning Val av utvärderare Avsluta utvärdering

26 En förutsättning för att utvärderingen ska bli bra och användbar är att beställaren och utvärderaren har en bra dialog. 26 anlitar en utvärderare. Dessa principer finns något omformulerade även inom andra utvärderingsorganisationer; de har ungefär samma grundteman som de amerikanska. Dessa principer är framför allt riktade till utvärderare, men det kan vara bra för beställare att känna till dem. I korthet innebär principerna för det första att utvärderaren ska använda relevanta och väl beprövade metoder för att utföra sitt utvärderingsuppdrag, så att resultatet blir så tillförlitligt som möjligt. Utvärderaren ska för det andra meddela beställaren vilka problem som eventuellt uppstår under utvärderingsprocessen. För det tredje ska en utvärderare som åtar sig ett utvärderingsprojekt garantera att han, hon eller teamet har de kunskaper och färdigheter som är nödvändiga för att genomföra uppdraget. Utvärderaren ska för det fjärde försäkra beställaren, utvärderingens intressenter och andra mottagare att utvärderingsprocessen genomförs på ett ärligt och öppet sätt, med de begränsningar som tillgång till tid, resurser och information innebär. För det femte ska utvärderaren visa respondenterna, de som lämnar information om utvärderingobjektet, respekt och ta hänsyn till deras integritet genom att informera dem om gällande lagstiftning och andra rättigheter som skyddar dem som lämnar information. För det sjätte ska en utvärderare enligt AEA:s etiska principer inte enbart uppfylla beställarens behov utan också ta hänsyn till viktiga intressen för medborgarna och se till samhällsintresset i stort vid genomförandet av ett utvärderingsuppdrag. Detta är kanske den svåraste principen, då den stipulerar att utvärderaren inte bara bör tjäna beställarens intressen utan också medborgarnas. Det kan till exempel handla om att en utvärderare när han eller hon skriver en offert på ett anbud bör framföra synpunkter på uppdragsbeskrivningens frågor så att de i högre grad tar hänsyn till aspekter som i sammanhanget kan vara viktiga ur ett medborgarperspektiv. Det kan exempelvis gälla ett vägbygge som påverkar boende i ett område. Relationen beställare utvärderare Hur skapas ett bra klimat mellan beställare och utvärderare? Vilka kritiska punkter finns i relationen? Vi har tidigare uppmärksammat vikten av att utvärderaren förmedlar utvärderingsresultatet. En förutsättning för att utvärderingen ska bli bra och användbar är att beställaren och utvärderaren har en bra dialog. En beställare bör för att garantera en bra slutprodukt om möjligt stimulera utvärderaren så att han eller hon tycker att utvärderingsuppdraget blir intressant. Det är vidare viktigt att beställaren och utvärderaren är överens om uppdragsbeskrivning Klargör syftet Formulera utvärderingsfrågor Går frågorna att besvara? Intern eller extern utvärderare?

27 en, vad som kan stå i rapporten och vilka frågor som är möjliga att besvara inom utsatt tid och inom ramen för uppdragets budget. För att skapa ett bra klimat mellan beställare och utvärderare kan man redan i uppdragsbeskrivningen ange några hållpunkter som är viktiga i kommunikationen mellan beställare och utvärderare. Till exempel kan man ha avstämningsmöten med muntliga föredragningar om hur utvärderingen fortskrider. Det finns också en del kritiska punkter i kommunikationen mellan beställare och utvärderare. Beroende på i vilket sammanhang som utvärderingen ska göras kan det finnas maktproblem inbyggda i relationen mellan beställare och utvärderare. Om beställaren är mindre kunnig på det aktuella utvärderingsområdet och anlitar en utvärderare som är expert kommer maktbalansen att vara skev till förmån för utvärderaren. Detta leder till att utvärderaren kan få ett för stort inflytande på slutprodukten. Det kan också leda till att utvärderaren begär ett större arvode än han eller hon skulle ha gjort om maktbalansen varit mer jämn. Om beställaren har en dold agenda eller är mycket kunnig på utvärderingsområdet kan maktbalansen förskjutas till beställarens förmån, om han eller hon anlitar en utvärderare som kanske inte har så många uppdrag och som är beroende av att ha bra referenser för framtida uppdrag. Dessa maktproblem kan också påverka utvärderingens innehåll och omfattning. De påverkar också beställarens och utvärderarens förhandling om utvärderingsfrågan, tiden för uppdraget och priset. För att förhindra eventuella konflikter mellan beställare och utvärderare är det bra om det finns en tydlig och klar uppdragsbeskrivning. Det är också bra om meningsskiljaktigheter om utvärderingens genomförande löses på förhand genom att uppdragsbeskrivningen revideras i enlighet med den överenskomna specificeringen av utvärderingsuppgiften. Om en tydlig överens kommelse inte kan uppnås är det bättre att ut värd eringen inte genomförs under gällande förutsättningar. 17 Slutligen är det viktigaste dock att kom munika - tionen mellan beställare och utvärderare präglas av tillit till utvärderarens förmåga att genomföra utvärderingen på bästa sätt och av utvärderarens förståelse för beställarens behov. 17 Stufflebeam, D. L The American Journal of Evaluation, version 21, no Lessons in Contracting for Evaluations. s Formulera uppdragsbeskrivning Val av utvärderare Avsluta utvärdering

28 Formulera en uppdragsbeskrivning Vad ska en uppdragsbeskrivning innehålla? Hur förhåller sig uppdraget till tid och resurser som ställs till förfogande? När ska en uppdragsbeskrivning formuleras? Klargör syftet Formulera utvärderingsfrågor Går frågorna att besvara? 4 Intern eller extern utvärderare?

29 UPPDRAGSBESKRIVNINGEN SKA beskriva vad som ska utvärderas och ge bakgrundsinformation om utvärderingsobjektet. Den ska också ange syftet med utvärderingen och gärna hur den primärt är tänkt att användas. Vidare bör den innehålla uppgifter om vilka datainsamlingsmetoder beställa ren förväntar sig och vilken omfattning dessa bör ha. I idealfallet har beställaren tydligt och klart formulerat utvärderingsfrågan, beskrivit utvärderingsobjektet och angett de viktigaste intressenterna till utvärderingen. Vid andra tillfällen kanske man som beställare inte kan formulera en bra utvärderingsfråga. Det som ska utvärderas kan till exempel vara resultatet av en politisk kompromiss, med oklara mål och prioriteringar och ett delat ansvar mellan olika myndigheter. I de fallen måste kanske utvärderingsfrågorna formuleras av beställaren och utvärderaren gemensamt. Alternativt formuleras frågorna senare i utvärderingsprocessen. Uppdragsbeskrivningen ska också ange en grov tidsplan för arbetet och en tidpunkt när utvärderingsuppdraget ska avrapporteras. Ofta händer det att beställaren behöver ha utvärderingen i god tid inför vissa beslut. Utvärderaren å sin sida behöver tid för att kunna genomföra utvärderingen. En del utvärderingar tar lång tid, till exempel att visa på att särskilda insatser har haft vissa effekter. Att visa på orsakssamband är metodologiskt svårt och kräver både tid och resurser i ett tidigt skede vid genomförandet av en ny satsning. Om beställaren har en snäv tidsplan som måste hållas kan det få konsekvenser för utvärderarens möjligheter att leverera en rapport som är av god kvalitet. Det är viktigt att man som beställare förstår de villkor som utvärderaren har för att utföra uppdraget och inte förväntar sig något som inte finns angivet eller som inte är möjligt att undersöka. Flera utvärderingskonsulter som ESV intervjuat upplever att det ofta är problematiskt att uppfylla kraven i uppdragsbeskrivningen med den tid och de resurser som ställts till förfogande. Det är kostsamt att genomföra kvalificerade datainsamlingar, både av kvalitativ och av kvantitativ karaktär, och det tar också tid att sammanställa, analysera och värdera resultaten av dessa. I intervjuerna kom det också fram att utvärderarna har intrycket att uppdragsbeskrivningarna under de senaste åren utvecklats till att bli alltmer omfattande och formaliserade. Andra synpunkter som fördes fram var att kraven på uppgifter som ska redovisas i en offert ofta inte står i proportion till uppdragets omfattning. Offerten blir då mer en administrativt teknisk övning än ett försök att ge beställaren den bästa lösningen, som en intervjuad uttryckte det. Kom ihåg att ett utvärderingsuppdrag, dess frågor, tid och resurser, måste matchas på ett bra sätt, och detta bör ske genom en förhandling mellan beställaren och utvärderaren. Uppdragsbeskrivningen är som tidigare nämnts nödvändig vid anlitande av en extern utvärderare, men den är viktig även vid anlitande av en intern utvärderare. Det finns olika förlagor och checklistor över vad som bör finnas med i en uppdragsbeskrivning. 18 En del anser att en uppdragsbeskrivning ska styra utvärderaren i så hög grad som möjligt, medan andra anser att en uppdragsbeskrivning ska överlåta till utvärderaren att komma med förslag om hur utvärderingen ska genomföras och 18 Sida Looking Back, Moving Forward. Sida Evaluation Manual, s Formulera uppdragsbeskrivning 6 7 Val av utvärderare Avsluta utvärdering

30 19 Kjaesgaard, K., Administrativ Debat, 2002, nr 2. God evalueringsskik Diskussion af adfaerd och normer ved evaluering, Økonomistyrelsen, Danmark 30 Utgångspunkten för den offentliga upphandlingen är att den ska ske i konkurrens. även vilka frågor som kan ställas om utvärderingsobjektet. Vilken väg man än väljer är det viktigt att utvärderaren och beställaren är överens om uppdragsbeskrivningens innehåll innan utvärderingen påbörjas. En annan viktig aspekt som man behöver klargöra i ett tidigt skede är ansvarsfördelningen mellan beställaren och utvärderaren: Vem äger den färdiga produkten, och vem har rätt att besluta om var och hur resultaten ska publiceras och spridas? Vem som äger utvärderingsrapporten anger också vem som har beslutanderätten över vad som slutligen ska stå i rapporten. 19 I slutet av vägledningen finns ett exempel på en uppdragsbeskrivning. När uppdragsbeskrivningen är klar och valet fallit på att en extern utvärderare ska anlitas, ska beställaren enligt lagen (1992:1528) om offentlig upphandling (LOU) initiera en anbudsprocess. Vid mindre upphandlingar kan direktupphandling användas, då ett normalt anbudsförfarande skulle innebära alldeles för höga administrativa kostnader i förhållande till upphandlingens storlek. Även vid direktupphandling bör prisjämförelse om möjligt göras. Det är organisationen själv som fastställer riktlinjer för direktupphandlingen, vilka beloppsgränser som ska gälla och under vilka förutsättningar direktupphandling får ske. Om myndigheten har ramavtal med ett antal Klargör syftet Formulera utvärderingsfrågor Går frågorna att besvara? Intern eller extern utvärderare?

31 utvärderingsföretag, kan beställaren bestämma hur och vilka utvärderare som ska få möjlighet att lämna in en offert på uppdraget. Vid upprepade direktupphandlingar av samma typ av vara eller tjänst tecknas ett ramavtal. Ett ramavtal kan exempelvis tecknas med ett antal utvärderingskonsulter efter upphandling i konkurrens. Hur man går till väga och vilka regler som gäller för offentlig upphandling kan man läsa i en skrift som Nämnden för offentlig upphandling (NOU) 20 har tagit fram och som heter Kort om LOU, lagen om offentlig upphandling. I den finns angivet att utgångspunkten för den offentliga upphandlingen är att den ska ske i konkurrens. Lagen om offentlig upphandling gäller för verksamheter inom stat, kommuner och landsting. LOU är däremot inte tillämplig om en statlig myndighet anlitar en annan statlig myndighet som utvärderare, eftersom staten är en och samma juridiska person. transparens, vilket innebär att upphandlingsprocessen ska kännetecknas av förutsägbarhet och öppenhet, proportionalitetsprincipen, vilket innebär att kvalifikationskrav och krav i kravspecifikation ska vara rimliga och anpassade till det som upphandlas, principen om ömsesidigt erkännande, vilket innebär att intyg och certifikat som utfärdas av berörda myndigheter i ett medlemsland automatiskt blir gällande i alla medlemsländer. Utformningen av uppdragsbeskrivningen kan ses som en process i flera steg, där det första steget handlar om att skapa ett underlag för anbud eller offertförfrågningar. När sedan offerter kommit in från utvärderare eller utvärderingsteam och en urvalsprocess genomförs, leder denna ofta till att uppdragsbeskrivningen preciseras, och att den slutligen justeras av utvärderaren och beställaren gemensamt som en överenskommelse om utvärderingsuppdragets omfattning och innehåll. All offentlig upphandling ska vara baserad på grundläggande gemenskapsrättsliga principer såsom icke-diskriminering, vilket till exempel innebär att man inte får ge ett lokalt företag företräde med anledning av dess geografiska läge, likabehandlingsprincipen, vilket till exempel innebär att alla måste få samma information och vid samma tillfälle, Formulera uppdragsbeskrivning Val av utvärderare Avsluta utvärdering

32 Välj utvärderare Vad behöver man tänka på när man väljer utvärderare? Hur förbättras förutsättningarna för en utvärderingsprocess? Klargör syftet Formulera utvärderingsfrågor Går frågorna att besvara? 4 Intern eller extern utvärderare?

33 VID MINDRE UTVÄRDERINGSUPPDRAG, som faller inom ramen för direktupphandling, kan beställaren mera fritt välja utvärderare till sitt uppdrag. Inte sällan hamnar då de personliga egenskaperna hos utvärderaren i förgrunden. Man kan exempelvis önska att den man anlitar ska vara bra på att förmedla resultatet under utvärderingsprocessens gång. Tidigare referenser är också viktiga när man anlitar en extern utvärderare. Vid en anbudsprocess görs en mer formell granskning av de anbud som kommit in. I ett första steg påbörjas en urvalsprocess där alla anbud granskas och man väljer ut den utvärderare eller det utvärderingsteam som uppfyller kraven i uppdragsbeskrivningen. Det är också viktigt att granska de företag som lämnat in anbud så att man inte väljer något som har ekonomiska svårigheter, till exempel är försatta i konkurs eller har näringsförbud. Nästa steg handlar om att välja bland de anbud som klarar kraven. Enligt LOU gäller antingen principen om det ekonomiskt mest fördelaktiga anbudet eller också principen om lägst pris. I utvärderingssammanhang är det lämpligt att tillämpa principen om det ekonomiskt mest fördelaktiga anbudet. I bedömningen av vad som är ekonomiskt mest fördelaktigt tar man hänsyn till bland annat tekniska, kvalitativa, funktionella och ekonomiska aspekter. Det innebär att det vid en upphandling inte bara är det lägsta priset som gäller. När man bedömer offerter eller anbud bör följande aspekter vägas in: 1. teknisk kvalitet på offertunderlaget och dess innehåll 2. hur teamet har tänkt besvara utvärderingsfrågan 3. finansiella faktorer. Med den tekniska kvaliteten avses i vilken grad anbudet uppfyller kraven i uppdragsbeskrivningen, vilken kompetens som utvärderaren eller teamet har och vilka resurser som står till förfogande för att utföra uppdraget. Om en större datainsamling behövs kan det till exempel vara bra om det finns ytterligare personer som kortvarigt kan knytas till utvärderingen. Därmed kommer vi in på den andra kvalitetsaspekten, som handlar om hur man avser att besvara utvärderingsfrågan. Det kan exempelvis handla om att man redovisar vilken metod man anser bäst besvarar frågan eller att man redovisar vilka olika datainsamlingsmetoder som är tänkta att användas för olika intressenter. Den tredje punkten slutligen handlar om en bedömning av vilket anbud som kan anses vara mest kostnadseffektivt, det vill säga redovisar en hög kvalitet på genomförandet till en låg kostnad. Ibland kan beställaren behöva stöd av en erfaren utvärderare vid denna bedömning. När valet av utvärderare är klart behöver beställare och utvärderare träffas för att stämma av uppdragsbeskrivningen mot offerten och för att slutgiltigt besluta om utvärderingsupplägget. En viktig aspekt att ha i minnet är att en bra utvärderingsprocess kan ges goda förutsättningar av en tydlig uppdragsbeskrivning. Samtidigt är det en avvägningsfråga hur detaljerade utvärderingsfrågorna behöver vara. En erfaren utvärderare som både är kunnig inom det relevanta ämnesområdet och har goda utvärderingskunskaper behöver kanske mindre detaljerade utvärderingsfrågor och kan dessutom känna sig stimulerad av att få ett handlingsutrymme när det gäller att omsätta utvärderingsfrågan i praktiskt genomförande. Å andra sidan behöver beställaren försäkra sig om att utvärderaren besvarar rätt utvärderingsfråga i förhållande till syftet Formulera uppdragsbeskrivning 6 7 Val av utvärderare Avsluta utvärdering

34 Avsluta utvärderingen Hur granskas rapportutkastet? Vilka slags synpunkter kan beställaren och andra lämna till utvärderaren? Hur ska resultaten spridas? Till vilka? Klargör syftet Formulera utvärderingsfrågor Går frågorna att besvara? 4 Intern eller extern utvärderare?

35 VI HAR NU kommit till det skede då vi ska avsluta en utvärdering. Det steget kan i sig delas upp i olika faser: rapportskrivande, avrapportering av resultat, färdigställande av rapport och spridning av utvärderingsresultat till olika användare. I vilken grad utvärderaren ska vara med i spridningsprocessen kan man förhandla om redan i början av processen, men det kan också bli ett tilläggsuppdrag för utvärderaren. Det är i huvudsak utvärderaren som färdigställer en utvärderingsrapport. Dock kan resultaten förmedlas till beställaren innan rapporten färdigställs. Ett sätt är att beställaren får granska ett utkast till slutrapport innan den kan anses färdig. Viktigt är då att rapporten granskas utifrån givna förutsättningar. Frågor att ställa sig när man granskar en utvärderingsrapport kan vara: Motsvarar rapporten till innehåll och form de krav som ställts i uppdragsbeskrivningen? Har alla väsentliga frågor besvarats tillfredsställande? Är slutsatserna logiska och väl underbyggda med fakta och data som presenteras i utvärderingen? Är analysen väl genomförd, och är resultatet trovärdigt? Är metodik, genomförande och utvärderingsavgränsningar redovisade? Presenteras utvärderingens resultat på ett klart sätt? Är formen, dispositionen och språket tillfredsställande? Vanligtvis låter beställaren olika berörda intressenter lämna sina synpunkter på rapporten inom en viss tid. Synpunkterna kan omfatta krav på kompletteringar, påpekanden om felaktigheter eller missuppfattningar eller förslag om förbättrad presentation. I det här sammanhanget är det däremot mindre lämpligt att beställaren lämnar synpunkter för att påverka utvärderingens slutsatser och rekommendationer. Utvärderaren färdigställer därefter rapporten och lämnar en slutlig version till beställaren. När slutrapporten kommit in till beställaren övergår utvärderingsprocessen i spridningsfasen, den fas då resultatet ska förmedlas till användarna. Detta kan göras på olika sätt, till exempel genom att själva rapporten distribueras till berörda intressenter. Men man kan också förmedla resultaten genom att presentera dem via olika medier som videopresentationer och liknande. Där så är lämpligt kan vissa utvärderingsresultat också förmedlas via rollspel och teater. Det viktiga är att resultaten sprids i så hög grad som möjligt till dem som kan komma att påverkas av dem Formulera uppdragsbeskrivning 6 7 Val av utvärderare Avsluta utvärdering

36 Avslutande kommentarer Utvärderingar är oerhört viktiga tjänster. De är viktiga medel för att utkräva ansvar och medborgarrättigheter och för att initiera förbättringar. Daniel L. Stuffelbeam Vi har i den här vägledningen gått igenom en utvärderingsprocess från initiering till avslut ur en beställares perspektiv. Vår förhoppning är att vägledningen ska kunna bidra till högre kvalitet på de utvärderingar som görs inom statsförvaltningen. En utvärdering av hög kvalitet är relevant, väl genomförd och levereras i tid. Användningen av utvärderingar är avhängig av kvaliteten. Ju bättre kvalitet, desto större sannolikhet att utvärderingen används på många olika sätt och under en längre tid. Utvärderingar kan användas på olika sätt, och vid olika tillfällen. I vissa fall används utvärderingsprocessen som ett sätt att få ökad kunskap om utvärderingsobjektet och för att kunna påverka måluppfyllelsen. Där är samspelet mellan beställaren och utvärderaren intensivt under hela utvärderingsprocessen. I de fall då utvärderarens oberoende till utvärderingsobjektet är centralt är kontakterna mellan beställare och utvärderare inte lika täta och kanske mer formella för att tilltron till resultatet inte ska ifrågasättas. Relationen mellan beställare och utvärderare handlar dels om att skapa förutsättningar för en god kommunikation, dels om att skapa förtroende och förståelse för varandras kompetens, förutsättningar och behov, dels om att förmedla kunskaper mellan beställare och utvärderare. Vi har följt en beställningsprocess från ax till limpa, beskriven i ett exempel i slutet av vägledningen. Beställare av utvärderingen var Nutek. Beställningsprocessen präglades till stor del av Nuteks vilja att ha insyn i utvärderingsprocessen samtidigt som informationen från utvärderingen skulle vidarebefordras till regeringen. Det som utmärkte processen var ett behov av intensiv kommunikation mellan beställare och utvärderare, ett stort förtroende för utvärderarnas kompetens och ett behov av att förmedla kunskap till tredje part. Att genomföra utvärderingar inom olika delar av statsförvaltningen är viktigt. Det ger oss kunskap om hur våra skattemedel används och om användningen leder till de resultat som var avsedda. Utvärderingar ger oss också möjlighet att utveckla och förbättra verksamheter. Därför avslutar vi denna vägledning med att uppmana till kloka utvärderingsbeställningar och nyttig användning av dem. 36

37 37

38 Exempel på en utvärderingsbeställning 38 FALLET NUTEK Bakgrund Nutek är en näringspolitisk myndighet som arbetar för att stärka förutsättningarna för tillväxt i näringslivet i olika regioner i landet. I ett regeringsuppdrag fick Nutek i uppgift att stödja kommunal samverkan i ett program för lokal näringslivsutveckling, LNU, tillsammans med Sveriges Kommuner och Landsting. Nutek skriver att programmet syftar till att stödja åtgärder som långsiktigt stärker lokal näringslivsutveckling och som ger den lokala nivån bättre förutsättningar att medverka i och bidra till de regionala tillväxtprogrammen. Programmet har pågått från 2002 till och med 2004, och har omfattat 25 miljoner, som fördelats på 24 olika projekt. Vad är syftet med utvärderingen? Huvudsyftet med utvärderingen var att Nutek skulle återrapportera resultatet av programmet till regeringen. Nutek hade fått ett regeringsuppdrag att programmet skulle utvärderas. Därutöver såg Nutek utvärderingen som en del i lärandeprocessen inom den egna organisationen. Vilka utvärderingsfrågor ska ställas? Utvärderingsuppdraget bestod i att genomföra en process- och effektutvärdering av LNU-programmet och åtgärdsområdenas mål. Det var alltså 24 projekt som skulle utvärderas med avseende på om de uppfyllde kraven som ställts upp för programmet och om det fanns några gemensamma nämnare projekten emellan. Utvärderingen gällde också projektens integrering i den regionala tillväxtpolitiken. Projekten delfinansierades av lokala aktörer. Nuteks egna frågor handlade om att utvärderaren också skulle utvärdera bland annat genomförandet av projekten och ledarskapsfrågor. Vem ska utvärdera? Nutek har ramavtal med ett 20-tal utvärderingsföretag. För utvärderingsuppdraget valde Nutek att bjuda in fyra företag att lämna offert på uppdraget. Urvalet grundades på att förtagen ansågs ha rätt kompetens och kvalitet för att genomföra utvärderingen. Formulerande av uppdragsbeskrivning Inför anbudsförfrågningen tog Nutek fram en uppdragsbeskrivning eller avropsförfrågan, som Nutek kallade det. I den beskrev Nutek vad som skulle utvärderas, vad man förväntade sig av utvärderingen, syftet med utvärderingen, omfattningen av uppdraget, vilka kontakter som utvärderarna och beställaren förväntades ta under utvärderingsprocessen, hur avrapporteringen skulle gå till och vilka underlag som fanns. Där fanns också en beskrivning av utvärderingsobjektet och dess mål. Utvärderingen skulle vara klar inom fyra månader. Nutek angav inte någon prisnivå eller budget i sin uppdragsbeskrivning för att förhindra att företagen då skulle lägga sig på just den nivån. Priset var en förhandlingsfråga, ansåg Nutek. Men priset är bara en av de aspekter som bedöms när man ger ett uppdrag till ett visst företag. Andra faktorer som spelar in är bland annat utvärderingsteamets kompetens och om utvärderingsteamet visar på ett intressant upplägg. Avrop/anbud Efter att en avropsförfrågan hade gått ut till de fyra företag som valts ur ramavtalslistan anordnades en gemensam träff på initiativ av Nutek för att gå igenom programmet samt förutsättningarna för och förväntningarna på utvärderingen. Man ville på så sätt försäkra sig om att anbudsgivarna hade förstått vad Nutek ville ha och att alla skulle ha en gemensam bild av programmet. Ett uttalat syfte med utvärderingen från Nuteks sida var att utvärderingen skulle vara en del i Nuteks egen lärandeprocess. Man var därför mån om att ha täta kontakter med det företag som slutligen fick uppdraget. Efter den gemensamma träffen kom tre av utvärderingsföretagen in med offerter det fjärde valde att dra sig ur på grund av tidsbrist. De olika utvärderingsföretagen hade i sina offerter olika förslag till metoder för att utvärdera LNU-programmet. Därtill fanns givetvis en kostnadsberäkning och en redovisning av hur stora personella resurser man avsåg att avsätta för uppdraget. Det företag som slutligen vann var ett väletablerat och välrenommerat utvärderingsföretag som hade både lägst pris och ett förslag om en kompletterande delstudie som gav ett mervärde till utvärderingen.

39 När anbudsprocessen var klar bestämdes det att Nutek och utvärderingsföretaget skulle ha en träff för att stämma av uppdragsbeskrivningen och göra en gemensam tidsplan. Nutek såg utvärderingen som ett tillfälle att lära sig mer om programmet och ville ha täta kontakter med utvärderarna. Nutek ville också ha möjlighet att ge snabb feedback på resultat för att utvärderingen skulle inriktas mot att ge Nutek det man ville ha. Mottagande av utvärderingsresultat Inför avrapporteringen samlades Nutek och utvärderingsföretaget för att gemensamt gå igenom resultaten av utvärderingen och se om de utvärderingskonklusioner som man hade kommit fram till låg i linje med vad Nutek förväntat sig. Man kallade detta för ett lärseminarium. Enligt Nutek var detta väldigt bra och positivt för alla parter. Därefter kom utvärderingsföretaget in med ett första utkast till utvärderingsrapport, som lästes av en intern grupp på Nutek. Den granskade också rapporten mot uppdragsbeskrivningen. De som granskade hade tidigare inte varit inkopplade i programmet. Kommentarer från första genomläsningen skickades till utvärderingsföretaget för en revidering av rapporten. Nutek accepterade det andra utkastet av rapporten som en slutversion. Uppföljning av utvärderingsprocessen Nutek var mycket nöjt med utvärderingen. Enligt utvärderingsföretaget berodde framgången till stor del på upplägget, att Nutek var delaktig i processen, och att utvärderingsuppdraget sågs som en lärandeprocess för Nutek. 39

40 Mall för uppdragsbeskrivningar 22 Fritt översatt från CIDA- Canadian International Development Agency, Model TOR 40 Nedan ges ett förslag till hur en uppdragsbeskrivning för anlitande av extern utvärderare kan utformas. Exemplet är hämtat ur det kanadensiska biståndsorganet CIDA:s riktlinjer för utvärdering och återfinns också i Sidas handbok om utvärdering. Exemplet kan användas även vid anlitande av interna utvärderare. Exempel på hur riktlinjer för en uppdragsbeskrivning kan se ut: Utvärderingstitel a. Skriv en kort och beskrivande titel som är lätt att komma ihåg b. Titeln ska hänga samman med utvärderingsobjektet 2. Verksamhetslogik a. Beskriv utvärderingsobjektet med dess mål och aktiviteter b. Beskriv hur de tänkta aktiviteterna ska leda till önskat mål c. Redovisa (om det finns) mått på om projektet eller programmet verkat vara framgångsrikt 3. Syfte med utvärderingen a. Beskriv varför utvärderingen ska göras och vad man förväntar sig av den b. Beskriv vilka beslut som ligger bakom att utvärderingen ska genomföras c. Beskriv hur utvärderingen kommer att användas 4. Utvärderingsfrågor a. Skriv tydliga utvärderingsfrågor b. Kontrollera att inga viktiga frågor missas 5. Intressentmedverkan a. Bestäm vilka intressenter som bör vara involverade i utvärderingsprocessen b. Hur stor ska deras medverkan vara? c. Kontrollera att de viktigaste intressenterna identifierats 6. Ansvarsförhållanden a. Beskriv ansvaret som åvilar utvärderaren respektive beställaren och vad det innefattar 7. Utvärderingsprocess a. Ange hur utvärderingen förväntas genomföras (urval, datainsamling och så vidare) b. Säkerställ att utvärderaren får tillgång till nödvändig information c. Kontrollera att utvärderingsuppdraget är realistiskt i relation till tid och pengar 8. Rapportering a. Beskriv i detalj hur utvärderingen förväntas avrapporteras b. Gör tidsplan för avstämningar och avrapportering c. Kontrollera att tidsplanen är rimlig för att utvärderingen ska kunna användas på det tänkta sättet d. Kontrollera att det finns tillräckligt med tid för att besvara alla frågeställningar på ett bra sätt. Följande aspekter bör beställaren kontrollera, men de behöver inte anges i uppdragsbeskrivningen. 9. Utvärderarens kompetens a. Kontrollera att beskrivningen av uppdraget tydliggjort vilken typ av kompetens som behövs för att genomföra utvärderingsuppdraget på ett tillfredsställande sätt b. Klargör om särskild kompetens behövs, till exempel viss sociokulturell kompetens för att kunna kommunicera med intressenter och genomföra datainsamling lokalt i projekten (gäller framför allt biståndsprojekt) 10. Utvärderingsbudget a. Bedöm om utvärderingsuppdraget kan genomföras och uppnå önskat resultat med de resurser som avsatts b. Bedöm om utvärderingsobjektet beskrivits på tillräcklig detaljnivå c. Kontrollera att utvärderingsbudgeten räcker för det tänkta utvärderingsupplägget.

41 Referenser Intervjuer: Maria Eriksson, Nutek Ingemar Eriksson, Finansdepartementet Kim Forss, utvärderingskonsult Jan-Eric Furubo, Riksrevisionen Anders Hanberger, Umeå Centre for Evaluation Research (UCER) Peter Kempinsky, utvärderingskonsult, FBA Stefan Molund, Sida Conny Olander, Nutek Lennart Widell, Ekonomistyrningsverket Tryckta källor: American Evaluation Association Guiding principles for evaluators. Dahler-Larsen, P Den rituella reflection om evaluering i organisationer. Ekonomistyrningsverket. 2004:14. Ordbok om ekonomisk styrning i staten. Ekonomistyrningsverket. 2001:16. Verksamhetslogik. Kjaersgaard, K. Administrativ Debat, 2002, nr 2. God evalueringsskik Diskussion af adfaerd och normer ved evaluering. Økonomistyrelsen, Danmark. Kullman, M., Andersson, J. & Ramberg, T. Sida Evaluation 04/19. DemoÖstprogrammet svenska demonstrationsanläggningar i Östersjöregionen inom energi- och miljöteknik. Department for Infrastructure och economic cooperation. Nutek 2004:14 Resurscentra för kvinnor en kraft för hållbar regional utveckling? En analys av projektfinansierad verksamhet under perioden Owen, J.M and Rogers, P.J. 1999, Program evaluation. Forms and approaches. Rossi, P.H., Lipsey, M.W., Freeman, H.E th edition, Evaluation. A Systematic Approach. Sandahl, R. 1991, Resultatanalys, s. 130 ff. Riksrevisionsverket. Sandahl, R. och Bringle, S Skolverkets utbildningsinspektion en utvärdering av dess effekter. Delrapport 1: Första inspektionsomgången, hösten Ekonomistyrningsverket. Sida Looking Back, Moving Forward. Sida Evaluation Manual. Statskontoret Ramavtalsupphandling. Statskontoret. 2002:20. Utvärderingar Av vem och till vad? En kartläggning av Regeringskansliets utvärderingsresurser. Statskontoret. 2002:21. Utvärderingar och politik II Hur använder regeringen utvärderingar? Stufflebeam, D.L. The American Journal of Evaluation, version 21, No3, Fall 2000, Lessons in Contracting for Evaluations. Wholey, J.S., Hatry, H.P. & Newcomer, K.E Handbook of practical programme evaluation. Lewin, E. Utgiven av Utvärderingsgruppen, Planeringssekretariatet, Sida, andra upplagan Utvärderingshandbok för Sida. Livsmedelsekonomiska institutet. Rapport 2003:2. Samhällsekonomisk analys av ekologisk livsmedelsproduktion. 41

42 42

43 För mer information se Utvärderingsfrågor på ESV:s webbplats Vägledningen kan beställas från ESV Tel: Fax: E-post: Redaktion: Maria Bergström, Ulla Duell och Anneli Wicksell Kontakt: Layout och omslag: ETC Foto: Peter Lilja Tryck: Edita Sverige AB ESV 2005:26 ISBN

44 VI HAR I DENNA vägledning tagit fram en process för hur man beställer utvärderingar. Processen följer beställarens roll i utvärderingen och innefattar allt från problemidentifiering till utvärderingens avslut och spridning till användare. Viktiga frågor som belyses är: Varför görs utvärderingen? För vem? Vilka frågor ska utvärderingen besvara? Vad bör stå i en uppdragsbeskrivning? Vem ska göra utvärderingen? Hur ska utvärderingen avrapporteras? Till vilka ska utvärderingsresultaten spridas? Vägledningens fokus ligger på utvärderingsprocessen inte på juridiska och ekonomiska aspekter av en beställning. Den lyfter fram och diskuterar grundmomenten som en utvärderingsbeställning bör innehålla. Ekonomistyrningsverket utvecklar och implementerar en effektiv och ändamålsenlig ekonomistyrning som syftar till god kontroll av statens finanser resursfördelning i enlighet med politiska prioriteringar hög produktivitet och effektivitet. Vi är statens experter på resultatstyrning och finansiell styrning och ansvarar för god redovisningssed. Vi har unika kunskaper om statens finanser och erbjuder kostnadseffektiva administrativa stödsystem. Vårt arbete omfattar alla nivåer i staten och vi arbetar i nära samverkan med främst Regeringskansliet och myndigheterna. Vi bedriver även internationell verksamhet. Drottninggatan 89, Box 45316, Stockholm Telefon Fax