Utvärdering på olika områden

Transkript

1 2014:7 Utvärdering på olika områden En analys av sektorsspecifika utvärderingsmyndigheter

2

3 MISSIV DATUM DIARIENR /141-5 ERT DATUM ER BETECKNING S2013/4538/SFÖ (delvis) Regeringen Socialdepartementet Stockholm Uppdrag att analysera fristående sektorspecifika utvärderingsmyndigheter Regeringen har gett Statskontoret i uppdrag att analysera fristående sektorsspecifika utvärderingsmyndigheter. En viktig del av uppdraget är att analysera och bedöma under vilka förutsättningar sektorsspecifika utvärderingsmyndigheter utgör en ändamålsenlig organisering av de statliga utvärderingsresurserna. I uppdraget bland annat också att bedöma vilka generella styrkor och svagheter som är förknippade med sektorspecifika utvärderingsmyndigheter i förhållande till alternativa sätt att organisera statlig utvärdering. Statskontoret överlämnar härmed rapporten Utvärdering på olika områden en analys av sektorsspecifika utvärderingsmyndigheter (2014:7). Generaldirektör Yvonne Gustafsson har beslutat i detta ärende. Utredningschef Ann-Katrin Berglund och utredare Clas Heinegård, föredragande, var närvarande vid den slutliga handläggningen. Yvonne Gustafsson Clas Heinegård POSTADRESS: Box 8110, Stockholm. BESÖKSADRESS: Fleminggatan 20. TELEFON VXL: registrator@statskontoret.se

4

5 Innehåll Sammanfattning 7 1 Statskontorets uppdrag Regeringens beslut Bakgrund till uppdraget Vår tolkning av uppdraget Utredningsarbetets genomförande Rapportens disposition 15 2 Utvärdering inom staten Utvärdering som begrepp och metod Den statliga utvärderingens utveckling Organisering av statlig utvärdering 24 3 De sektorsspecifika utvärderingsmyndigheternas verksamheter Inrättande av utvärderingsmyndigheter Regeringen är oftast den primära mottagaren Myndigheternas uppgifter och verksamhetens inriktning Utvärderingsmyndigheterna ska ha en fristående ställning Enrådighet den vanligaste ledningsformen Verksamheterna är organiserade på olika sätt Arbetsformer och prestationer Personalberoende verksamheter Kostnader och finansiering Samlad bild 46 4 Faktorer som påverkar utvärderingsmyndigheternas ändamålsenlighet Fokus på utvärderingsmyndigheternas relevans, kvalitet och resursanvändning Relevans Kvalitet Resursanvändning Samlad bild 65 5 Utvärderingsmyndigheternas påverkan på sektorsmyndigheterna Sektorsmyndigheter med ansvar för att genomföra politiken Utvärderingsmyndigheternas påverkan på sektorsmyndigheterna Samlad bild och analys 71 5

6 6 Ändamålsenlig organisering av statliga utvärderingsresurser När bör en sektorsspecifik utvärderingsmyndighet inrättas? Vilka är för- och nackdelarna med att använda olika utvärderingsalternativ? Vad bidrar till en ändamålsenlig organisering? Slutord 86 Referenser 87 Bilagor 1 Regeringsuppdraget 91 2 Grundfakta om sektorsspecifika utvärderingsmyndigheter 95 3 Avvecklade utvärderingsmyndigheter 101 6

7 Sammanfattning På regeringens uppdrag har Statskontoret analyserat fristående sektorsspecifika utvärderingsmyndigheter. En central del av uppdraget är att Statskontoret ska analysera och bedöma under vilka förutsättningar fristående sektorsspecifika utvärderingsmyndigheter innebär en ändamålsenlig organisering av de statliga utvärderingsresurserna. Mot bakgrund av analysen ska Statskontoret bedöma vilka generella styrkor och svagheter som är förknippade med fristående sektorsspecifika utvärderingsmyndigheter i förhållande till alternativa sätt att organisera statlig utvärdering. Sektorsspecifika utvärderingsmyndigheter en heterogen grupp Statskontorets kartläggning omfattar Brottsförebyggande rådet, Finanspolitiska rådet, Institutet för arbetsmarknads- och utbildningspolitisk utvärdering, Inspektionen för socialförsäkringen, Myndigheten för kulturanalys, Myndigheten för tillväxtpolitiska utvärderingar och analyser, Myndigheten för vårdanalys, Statens beredning för medicinsk utvärdering samt Trafikanalys. Kartläggningen visar att det finns flera likheter men också betydande skillnader mellan utvärderingsmyndigheterna. Framträdande likheter är i första hand att de är permanent organiserade verksamheter för utvärdering inom sina respektive områden. De bedriver även personalintensiva verksamheter och är beroende av personal med en hög kompetens. De flesta har regeringen och Regeringskansliet som främsta målgrupp och myndigheternas verksamheter består oftast av både egeninitierat arbete och arbete med regeringsuppdrag. Skillnaderna är främst att de verkar inom skilda politikområden med områdesspecifika utvärderingsfrågor och granskningsobjekt. Myndigheterna behöver därmed sakkompetens av helt olika karaktär. Flera faktorer påverkar utvärderingsmyndigheternas ändamålsenlighet De sektorsspecifika utvärderingsmyndigheterna har inrättats för att göra analyser och utvärderingar inom olika områden. Verksamheterna och prestationerna behöver tillgodose flera krav på ändamålsenlighet: 7

8 De rapporter som tas fram behöver vara relevanta och användbara för utvärderingsmyndigheternas målgrupper. Myndigheterna behöver vara trovärdiga producenter av tillförlitliga analyser och utvärderingar. I egenskap av statliga myndigheter behöver utvärderingsmyndigheterna bedriva kostnadseffektiva verksamheter. Flera faktorer har betydelse för utvärderingsmyndigheternas förutsättningar att arbeta på ett ändamålsenligt sätt. Utvärderingsmyndigheternas relevans och användbarhet för regeringen och Regeringskansliet beror till stor del på hur tydliga analyserna och utvärderingarna är. Förhållandet mellan den uppdragsstyrda och den egeninitierade verksamheten påverkar också ändamålsenligheten. Myndigheterna ska uppfattas som trovärdiga och självständiga kunskapsproducenter och då är det viktigt att de har en fristående ställning. Vidare behöver de till exempel ha goda kvalitetsäkringsprocesser samt personal med hög kompetens inom politikområdet. Ändamålsenlig organisering av statliga utvärderingsresurser Utvärderingsmyndigheterna är en heterogen grupp och därför är analysen och bedömningen inriktad på det som är gemensamt för dem. När bör en sektorsspecifik utvärderingsmyndighet inrättas? Sektorsspecifika utvärderingsmyndigheter fungerar i praktiken som ett av flera utvärderingsalternativ på de berörda sakområdena. Frågan om när det är berättigat att inrätta en sektorsspecifik utvärderingsmyndighet handlar därför till stor del om vilket mervärde myndigheten förväntas ge i förhållande till andra statliga utvärderingsalternativ. En sektorspecifik utvärderingsmyndighet ger ett mervärde genom att regeringen får tillgång till djup metod- och sakkompetens som fortlöpande tar fram analyser och utvärderingar på det aktuella området. Det möjliggör i sin tur en långsiktig kunskapsutveckling om den förda politikens resultat och effekter samt om förhållanden som är viktiga för politikens utformning. För att bedöma om en sektorsspecifik utvärderingsmyndighet ska inrättas bör regeringen och Regeringskansliet ställa sig följande frågor: Vilket behov finns av kontinuerliga analyser och utvärderingar i syfte att stärka kunskapsutvecklingen inom ett område? Vem ska använda analyserna och utvärderingarna och till vad? 8

9 Hur viktigt är det med tillgång till en stadigvarande analyskapacitet inom området för vissa bestämda frågor? I vilken mån går det att få kompetens och långsiktig kunskapsutveckling inom området med andra utvärderingsalternativ? Det närmare mervärdet av att inrätta sektorsspecifika utvärderingsmyndigheter kan skilja sig åt och vara olika stort beroende på vilket sakområde det rör sig om. Inrättandet av sektorsspecifika utvärderingsmyndigheter behöver därför även beakta flera olika områdesspecifika omständigheter. För att det ska vara berättigat att inrätta en sektorsspecifik utvärderingsmyndighet är det även viktigt att myndighetens målgrupper får användning för analyserna och utvärderingarna. Regeringen behöver därför tydligt ange sitt syfte med utvärderingarna och vilka som ska använda sig av dem. Vilka är de generella för- och nackdelarna med att använda olika statliga utvärderingsalternativ? Utöver sektorsspecifika utvärderingsmyndigheter har regeringen tillgång till flera andra alternativ, till exempel sektorsmyndigheter, statliga utredningar, Statskontoret, universitet och privata konsulter. Fördelen med att till exempel anlita en sektorsmyndighet är att den har stor kunskap om politikens genomförande och resultat. Sektorsmyndigheter har även goda förutsättningar att analysera komplexa frågor som ligger till grund för utvecklingen av deras verksamheter. Nackdelen är att sektorsmyndigheter är verksamhetsansvariga och därmed uppfattas de vara mindre trovärdiga än de sektorsspecifika utvärderingsmyndigheterna när det gäller att helt objektivt beskriva och analysera brister och problem i sina egna verksamheter. Statskontoret är en fristående utvärderingsmyndighet med ett generellt, sektorsövergripande utvärderingsuppdrag och har fördelen att kunna ta tillvara kunskaper inom olika områden i sin utvärderingsverksamhet. Statskontoret har även möjlighet att utveckla särskild kompetens i sektorsövergripande frågor såsom arbetet med att styra, organisera och effektivisera statliga verksamheter. Statskontoret har dock inte samma djupa kunskaper som de sektorsspecifika utvärderingsmyndigheterna och därför riskerar Statskontorets analyser att bli mer övergripande. På motsvarande sätt finns det även generella för- och nackdelar med statliga utredningar inklusive expertgrupper, universitet och högskolor respektive privata konsulter. Vad bidrar till att sektorspecifika utvärderingsmyndigheter är en ändamålsenlig organisering? I sin styrning och uppföljning av utvärderingsmyndigheter bör regeringen ta hänsyn till flera faktorer som är av betydelse för ändamålsenligheten i myndigheternas verksamheter. Det finns ingen given styrmodell som passar 9

10 samtliga utvärderingsmyndigheter, och styrningen och uppföljningen bör anpassas efter vad regeringen vill uppnå. Det är särskilt viktigt att regeringen tydligt pekar ut utvärderingsmyndighetens uppgifter och målgrupper. Regeringsuppdragen spelar en viktig roll för inriktningen på myndighetens verksamhet, och med en strukturerad dialog om planerade regeringsuppdrag och egeninitierade studier kan myndigheten lättare få en relevant verksamhet. Storleken på verksamheten har också stor betydelse för ändamålsenligheten. Större verksamheter får oftare tid till omvärldsanalys och kompetensutveckling. De är även mindre sårbara för till exempel oplanerad personalfrånvaro. För att minska sårbarheten och tillgodose olika behov av kompetens anlitar utvärderingsmyndigheterna extern kompetens i olika stor utsträckning. En myndighet som ofta anlitar konsulter kan dock få svårare att bygga upp en egen långsiktig kompetens. Utvärderingsmyndigheternas påverkan på sektorsmyndigheter Det finns olika erfarenheter av hur mycket och på vilket sätt utvärderingsmyndigheter påverkar de sektorsmyndigheter som har ett omfattande genomförandeansvar. På vissa områden bidrar utvärderingsmyndigheterna med kunskapsunderlag som indirekt är till nytta för sektorsmyndigheternas verksamhetsutveckling. På andra områden uppfattar sektorsmyndigheterna att utvärderingsmyndigheter tar fram analyser och utvärderingar som inte tillför någon ny eller användbar kunskap till nytta för verksamhetsutvecklingen. 10

11 1 Statskontorets uppdrag 1.1 Regeringens beslut Regeringen beslutade den 13 juni 2013 att uppdra åt Statskontoret att analysera sektorsspecifika utvärderingsmyndigheter (S2013/4538/ SFÖ delvis). Mot bakgrund av att fristående utvärderingsmyndigheter finns inom flertalet samhällssektorer är det enligt regeringen angeläget med en kartläggning och analys som ger en samlad bild av den fristående utvärderingsverksamheten. Regeringen ser även behov av stöd vid sina bedömningar i arbetet med att organisera den statliga verksamheten inom respektive samhällssektor. I och med uppdraget till Statskontoret vill regeringen stärka förutsättningarna för kvalificerade beslut i de delar som rör organiseringen av de statliga utvärderingsresurserna. Regeringen pekar även på att den får ett underlag för att vidareutveckla förutsättningarna för effektiv fristående utvärdering genom en fördjupad analys av under vilka omständigheter fristående utvärderingsmyndigheter utgör ett ändamålsenligt sätt att organisera de statliga utvärderingsresurserna. Enligt regeringens beslut ska Statskontoret: Kartlägga och analysera hur fristående sektorsspecifika utvärderingsmyndigheter bedriver sin verksamhet. Analysera och bedöma under vilka förutsättningar fristående sektorsspecifika utvärderingsmyndigheter innebär en ändamålsenlig organisering av de statliga utvärderingsresurserna. I uppdraget ingår att mot bakgrund av analysen bedöma vilka generella styrkor och svagheter som är förknippade med fristående sektorsspecifika utvärderingsmyndigheter i förhållande till alternativa sätt att organisera statlig utvärdering. Statskontoret ska också analysera hur utvärderingsmyndigheternas arbete påverkar de myndigheter vars verksamhet utvärderas. Statskontoret ska muntligt rapportera om uppdragets genomförande till Socialdepartementet senast den 1 november Uppdraget ska redovisas till Regeringskansliet (Socialdepartementet) senast den 14 mars Bakgrund till uppdraget Utvärdering av planerade och genomförda åtgärder spelar en viktig roll i styrningen och utvecklingen av den statliga politiken på olika områden. Regeringen behöver ha tillgång till utvärderingsunderlag för att kunna 11

12 bedöma om statliga verksamheter bedrivs enligt uppsatta mål och om statliga resurser används på ett ändamålsenligt sätt. Myndigheternas årsredovisningar och andra rapporteringar är viktiga underlag för regeringens löpande styrning och uppföljning av myndigheterna. Även dialogen mellan Regeringskansliet och myndigheterna spelar en viktig roll för att följa upp och ge en återkoppling om verksamhetens resultat och framtida inriktning. I den förvaltningspolitiska propositionen (prop. 2009/10:175) gör regeringen bedömningen att när det inför vissa beslut fordras fördjupade analyser av en verksamhets effekter och effektivitet bör de som regel utföras av någon annan än berörda myndigheter. Grundläggande omprövningar av olika verksamheters existens, mål och medel bör enligt regeringen göras utifrån ett allsidigt underlag från bland annat myndigheter, akademisk forskning, sektoriella forskningsinstitut och revisionsorgan. Regeringens utvärderingsresurser är fördelade på flera olika sätt. I en del fall ansvarar statliga myndigheter med uppgift att genomföra politiken inom ett visst område även för vissa utvärderingsuppgifter. I andra fall används kommittéväsendet för att utvärdera olika verksamhetsfrågor. Därutöver finns det myndigheter som har fristående utvärderingsuppgifter i bemärkelsen att de inte ska genomföra politiken på de områden som de ska utvärdera. Statskontoret är en fristående utvärderingsmyndighet som verkar inom flera områden. Andra fristående utvärderingsmyndigheter har dock en tydlig sektorsanknytning och ansvarar för utvärderingar inom särskilda områden. Under de senaste åren har regeringen inrättat ett antal fristående sektorsspecifika utvärderingsmyndigheter. Statskontoret publicerade 2011 den egeninitierade rapporten Fristående utvärderingsmyndigheter en förvaltningspolitisk trend? Rapporten visar att utvärderingsmyndigheterna har bildats vid olika tidpunkter och under olika omständigheter. Av rapporten framgår även att dessa myndigheter har bildats för att tillgodose behov av att bland annat ta fram underlag för utveckling av politiken, stödja regeringens myndighetsstyrning, kontrollera myndigheters effektivitet, öka insynen i offentlig verksamhet samt bidra till att lösa samhällsproblem. Statskontoret pekade i rapporten på vissa avvägningar som kan behöva göras när regeringen ska besluta om hur utvärderingsresurserna ska organiseras. Det gäller bland annat de fristående utvärderingsmyndigheternas utrymme att kunna agera självständigt och långsiktigt respektive deras (stabsstödjande) roll att mer löpande tillhandahålla beslutsunderlag och handlingsrekommendationer. En annan aspekt som Statskontoret pekade på var utvärderingsmyndigheternas begränsade storlek och deras förutsättningar att utveckla tillräcklig kompetens i förhållande till det område de utvärderar. 12

13 1.3 Vår tolkning av uppdraget Regeringens beslut nämner inte vilka utvärderingsmyndigheter uppdraget konkret rör sig om. Regeringen refererar dock i sitt beslut till Statskontorets studie från 2011, vilken omfattade följande tio myndigheter: Brottförebyggande rådet (Brå) Finanspolitiska rådet Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU) Institutet för utvärdering av utvecklingssamarbete (SADEV) Inspektionen för socialförsäkringen (ISF) Myndigheten för kulturanalys (Kulturanalys) Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys) Myndigheten för vårdanalys (Vårdanalys) Statens beredning för medicinsk utvärdering (SBU) Trafikanalys De avgränsningar om utvärderingsmyndigheternas fristående ställning, sektorsanknytning med mera som Statskontoret gjorde i 2011 års studie är fortfarande tillämpliga. Ingen ny sektorspecifik utvärderingsmyndighet har bildats sedan 2011, men SADEV har ersatts av en expertgrupp för utvärdering och analys av Sveriges internationella bistånd. Statskontoret har inriktat utredningsarbetet mot en generell analys och bedömning utifrån konkreta iakttagelser av enskilda utvärderingsmyndigheter. Syftet är således inte att utvärdera de enskilda myndigheternas verksamheter. Kartläggningen omfattar motiv till inrättande, uppgifter och verksamhetsinriktning, målgrupper, ledningsform, organisation, personal, arbetsformer samt verksamhetskostnader och finansiering. Under utredningsarbetets gång har det framkommit att utvärderingsmyndigheterna har vissa inbördes likheter men också betydande skillnader. I analysen har Statskontoret därför ägnat särskild uppmärksamhet åt att ta fram en samlad bild över myndigheternas uppgifter rörande analys, utvärdering, stabsstöd och kunskapsutveckling. Det är dessa uppgifter som i första hand är gemensamma för utvärderingsmyndigheterna. För dessa uppgifter analyserar vi relevans, kvalitet och resursanvändning i utvärderingsmyndigheternas verksamheter och prestationer, i syfte att belysa faktorer som har särskild betydelse för deras ändamålsenlighet. I bedömningen av generella styrkor och svagheter med sektorsspecifika utvärderingsmyndigheter i förhållande till andra statliga utvärderingsalternativ fokuserar vi på för- och nackdelar med de andra alternativen i för 13

14 hållande till sektorsspecifika utvärderingsmyndigheter. Dessa alternativ består av statliga myndigheter med ett genomförandeuppdrag inom en sektor (sektorsmyndigheter), myndigheter med ett generellt, sektorsövergripande utvärderingsuppdrag (Statskontoret), statliga utredningar inklusive expertgrupper, universitet samt privata konsultföretag. Analysen av uppdragsfrågan hur utvärderingsmyndigheternas arbete påverkar de myndigheter vars verksamhet utvärderas baseras i huvudsak på hur fyra myndigheter med omfattande genomförandeansvar inom vissa områden uppfattar att de har påverkats av sektorsspecifika utvärderingsmyndigheter. 1.4 Utredningsarbetets genomförande Till grund för rapportens kartläggningsfrågor ligger i första hand skriftlig dokumentation (utredningar, propositioner, instruktioner, regleringsbrev, årsredovisningar med mera). Vi har även hämtat vissa kompletterande uppgifter från utvärderingsmyndigheterna och Regeringskansliet. Underlag till uppdragets analysdelar har inhämtats ur skriftliga underlag och genom intervjuer med främst utvärderingsmyndigheterna, berörda delar av Regeringskansliet samt myndigheter med genomförandeansvar inom vissa områden. Totalt har vi gjort 26 intervjuer. Därutöver har vi hållit två gemensamma möten (seminarier) med företrädare för de berörda myndigheterna för att inhämta synpunkter på och diskutera frågor kring faktorer som påverkar ändamålsenligheten i verksamheten. Uppdraget har genomförts av en projektgrupp bestående av Clas Heinegård (projektledare) och Lisa Widén. I utredningsarbetet har även Rebecka Sandheden (praktikant) deltagit. Som ett led i att kvalitetssäkra genomförandet av uppdraget har en referensgrupp varit knuten till utredningsarbetet. Referensgruppen har lämnat synpunkter på arbetets uppläggning samt på preliminära iakttagelser och slutsatser. Referensgruppen har bestått av avdelningschef Eva Lindblom, Ekonomistyrningsverket, docent Nils Hertting, Uppsala universitet samt utredarna Susanne Johansson, Lina Nyberg, Johan Mörck och Anders Widholm, Statskontoret. Uppdragets genomförande och preliminära iakttagelser har även tagits upp för diskussion i Statskontorets råd och Statskontorets vetenskapliga råd. De berörda myndigheterna och departementen har haft tillfälle att faktagranska de delar i rapporten som rör deras respektive ansvarområden och verksamheter. 14

15 1.5 Rapportens disposition I kapitel 2 redogör vi för utvärderingsbegreppet, olika utvärderingsansatser samt gränsytor mellan utvärdering och uppföljning, forskning respektive tillsyn. Vi belyser även vissa utvecklingslinjer i statlig utvärdering och beskriver olika sätt att organisera statlig utvärdering. I kapitel 3 redovisar vi kartläggningen av hur de sektorsspecifika utvärderingsmyndigheterna bedriver sina verksamheter. Kartläggningen omfattar myndigheternas inrättande, målgrupper, uppgifter och verksamhetsinriktning, ledningsformer och organisation, arbetsformer och prestationer samt kostnader och finansiering. Kapitlet avslutas med en samlad bild. Kapitel 4 innehåller en redovisning av iakttagelser om faktorer som är av betydelse för och påverkar ändamålsenligheten i de sektorsspecifika utvärderingsmyndigheternas verksamheter och rapporter. Ändamålenligheten fokuserar på relevans (användbarhet), kvalitet (trovärdighet och tillförlitlighet) samt resursanvändning (kostnadseffektivitet). I kapitel 5 redogör vi för iakttagelser om hur sektorsspecifika utvärderingsmyndigheter påverkar sektorsmyndigheter med omfattande genomförandeansvar på olika områden. Vi avslutar kapitlet med en sammanfattande analys. I kapitel 6 återfinns vår analys och bedömning. Analysen är inriktad på frågor rörande när en sektorspecifik utvärderingsmyndighet bör inrättas, generella för- och nackdelar med att använda en sektorsspecifik utvärderingsmyndighet jämfört med andra statliga utvärderingsalternativ samt vad regeringen särskilt bör beakta i styrningen och uppföljningen av en sektorsspecifik utvärderingsmyndighet för att säkerställa en hög ändamålsenlighet. 15

16 16

17 2 Utvärdering inom staten I detta kapitel presenterar vi begreppet utvärdering och ger exempel på olika definitioner. Därefter redogör vi bland annat för olika ansatser inom utvärdering samt utvecklingen av utvärdering inom staten. Vi gör också en övergripande genomgång av hur den statliga utvärderingen är organiserad. 2.1 Utvärdering som begrepp och metod Utvärderingsbegreppet Den språkliga grundläggande betydelsen av att utvärdera är att fastställa, bedöma värdet eller resultatet av något. Utvärdering som begrepp rymmer dock flera olika dimensioner. Innebörden varierar beroende på i vilka sammanhang och för vilka syften utvärderingen genomförs. Utvärdering har därtill betydande gränsytor och nära kopplingar till andra närliggande termer såsom analys, bedömning och granskning. Flera olika forskare har sinsemellan tagit fram olika definitioner av begreppet utvärdering. Enligt Vedung (2009) är utvärdering i grunden ett fundamentalt analytiskt tillvägagångssätt i allt disciplinerat tänkande och praktiskt handlande. I en närmare definition har han valt att anpassa utvärderingsbegreppet till den offentliga sektorn. Här likställs utvärdering med en noggrann efterhandsbedömning av sådant som kan tänkas spela roll i praktiska beslutssituationer. Dit räknas beslut, förvaltning, slutprestationer och utfall samt organisering av offentlig verksamhet. 1 På liknande sätt definierar Karlsson Vestman (2011) utvärdering som en verksamhet som syftar till att systematiskt beskriva och bedöma en pågående eller avslutad intervention eller aktivitet. Beskrivningen ska ligga till grund för en bedömning som är relaterad till redovisade kriterier. Målet med utvärderingen är att presentera ett utlåtande om utvärderingsobjektets inneboende kvaliteter och nytta för omvärlden. Vestman lyfter fram att det förekommer att utvärderaren förväntas ge rekommendationer på vad som bör åtgärdas utifrån resultatet av utvärderingen. Det innebär att utvärderaren fastställer värdet hos något i förhållande till en viss uppsättning värdekriterier. Eftersom rekommendationer grundar sig på normativa antaganden 1 Vedung (2009). Utvärdering i politik och förvaltning. 3 uppl., s

18 tillförs utvärderingen därmed en politisk dimension. 2 Det innebär att utvärderingsresultaten kan få politiska implikationer Olika utvärderingsansatser Utvärdering rymmer flera olika metoder och ansatser och en utvärdering kan dessutom fokusera på olika delar av en verksamhet. Till de vanligaste utvärderingsansatserna räknas processutvärdering, effektutvärdering, samhällsekonomisk utvärdering, programteorianalys samt behovsanalys. 3 Utvärdering kan avse en tillbakablickande bedömning eller en förhandsbedömning av en påtänkt åtgärd. Det kan också handla om utvärderingar av andra utvärderingar. Processutvärdering avser studier av hur en verksamhet genomförs i praktiken. Sådana processutvärderingar genomförs under tiden ett program pågår och ibland även efter att programmet har avslutats. Effektutvärdering handlar om att bedöma om en vidtagen åtgärd har fått de förväntade effekterna i en verksamhet. En effektutvärdering förutsätter därmed att verksamheten har pågått under en tid eller att den har avslutats. Samhällsekonomisk utvärdering handlar om att bedöma förhållandet mellan de fördelar respektive kostnader som ett investeringsbeslut kan medföra för samhället som helhet eller ett specifikt projekt. Till de vanliga metoderna för samhällsekonomisk utvärdering hör bland annat cost-benefit-analys. Vid programteorianalys är syftet att beskriva och bedöma en verksamhets underliggande teori. Genom en programteorianalys kan man exempelvis försäkra sig om att en verksamhet ska planeras på ett visst sätt för att uppnå önskad effekt eller för att bedöma nyttan av en effektutvärdering. Behovsanalys handlar om att bedöma behovet av olika insatser samt vilka mått och steg som är relevanta att vidta för att tillgodose ett problem. Syftet är att bidra till ett vidgat diskussionsunderlag. Ex postutvärdering är en tillbakablickande bedömning av en intervention som redan är beslutad och där verksamheten pågår eller är avslutad. Det kan exempelvis handla om att granska vilka förändringar som kan tillskrivas det aktuella projektet och i vilken mån projektets mål är uppfyllda. 4 I detta sammanhang ses utvärdering som en bakåtriktad mekanism, som ändå är tänkt att fungera framåtriktat. 5 Utvärdering ex ante avser en förhandsbedömning 2 Karlsson Vestman (2011). Utvärderandets konst, s.29 3 Ivarsson och Salas (2013). 4 Ivarsson och Salas (2013:95). 5 Vedung (2009:20ff) 18

19 av en påtänkt eller möjlig åtgärd som ännu inte har genomförts. Inte sällan betecknas ex anteutvärdering som konsekvensanalys. 6 Ytterligare en form av utvärdering är metautvärdering. Denna ansats används bland annat för att bearbeta resultaten från andra utvärderingar eller pröva kvaliteten i andra utvärderingar Utvärderingens gränsytor till andra begrepp Som nämndes inledningsvis är utvärdering ett mångtydigt begrepp som ibland liknas ibland vid en semantisk magnet. För att tydliggöra vad utvärdering är kan det vara lämpligt att jämföra med vissa andra närliggande begrepp. Utvärdering och uppföljning En utvärdering sker vid särskilda tillfällen och innebär en djupare analys och bedömning. Uppföljning är däremot en löpande aktivitet som är präglad av fasta rutiner och det handlar då om att granska hur en verksamhet utvecklas i ett eller flera avseenden. För att det ska handla om utvärdering måste det därmed finnas någon form av värdering. Men även information från en uppföljning behöver bearbetas och innehålla en värdering i någon form för att kunna användas. Det är bland annat detta som skapar svårigheten med att särskilja uppföljning från utvärdering. 8 Svårigheten med att skilja utvärdering från uppföljning har också att göra med att det finns två begrepp för uppföljning. Med uppföljning avses vanligen datainsamling och statistikproduktion om en enskild aktivitet, så kallad enkel uppföljning. Det förekommer med andra ord ingen analys av kausalsamband eller någon bedömning av information i förhållande till interventioner eller värderingskriterier. Samtidigt kan uppföljning, utöver insamling och redovisning av data, handla om att identifiera och undanröja eventuella hinder i förvaltningsprocessen, det vill säga en kausalanalys. Denna form av uppföljning benämns kvalificerad uppföljning eller monitorering. 9 Utvärdering och forskning Utvärdering syftar till att säga något om ändamålsenligheten med en verksamhet eller en intervention. Ibland är avsikten också att undersöka eventuella orsaker till ett problem och hur olika åtgärder verkar för problemet, och då framträder den gråzon som finns mellan utvärdering och forskning. Till skillnad från utvärdering är forskning dock inte lika bunden till upp 6 Vedung (2009:23). 7 Vedung (2009:44). 8 Lindgren (2006:9). 9 Vedung (2009:32,35). 19

20 dragsramar för sin undersökning. Dessutom kan en forskare vanligtvis i större utsträckning välja vilka objekt som ska studeras. I motsats till utvärdering, som ofta fokuserar på specifika fall, syftar forskning i regel till mer generaliserande resultat. Utvärderingar ska ge praktisk nytta genom att ta fram beslutsunderlag, medan forskning snarare betraktas som en kontinuerlig kunskapsuppbyggnad och ett bidrag till den samlade kunskapen inom ett forskningsområde. 10 Det är inte helt tydligt var uppdragsforskning ingår, om det ska ses som utvärdering eller forskning. Uppdragsforskning är ofta tillämpad, vilket innebär att forskningen har en bestämd tillämpning i sikte, till skillnad från grundforskning som helt baseras på nyfikenhet. 11 Utvärdering och tillsyn Tillsyn handlar vanligtvis om att i efterhand kontrollera om offentliga bestämmelser följs. 12 Enligt regeringens skrivelse En tydlig, rättssäker och effektiv tillsyn (Skr. 2009/10:79) bör begreppet tillsyn främst användas för en verksamhet som avser självständig granskning. Tillsyn handlar om att kontrollera om tillsynsobjekt uppfyller de krav som följer av lagar och andra bindande föreskrifter. Tillsyn innebär, likt utvärdering, att verksamheter granskas och bedöms. Tillsynen har dock andra typer av bedömningsgrunder. I tillsynen riktas fokus till stor del på hur en verksamhet uppfyller de krav som lagstiftningen ställer. Till skillnad från utvärdering ingår det inte i samma grad att finna förklaringar till varför en verksamhet inte har uppfyllt ett visst krav. Inom vissa områden genomförs så kallad systemtillsyn, vilket innebär en granskning av tillsynsobjektens program för egenkontroll (SOU 2004:100). Systemtillsyn har inslag av utvärdering och kan till viss del liknas vid metautvärdering i det att tillsynen avser tillsynsobjektens egna system för styrning och kontroll. Ett exempel på myndighet som bedriver systemtillsyn är Inspektionen för socialförsäkringen (ISF). Systemtillsyn är nära förknippat med effektivitetgranskning och ISF:s granskningsprojekt har ofta både tillsyns- och effektivitetsrelaterade inslag. Effektivitetsgranskningen fokuserar på administrativ effektivitet och effektutvärdering. 10 Statskontoret (2011). Fristående utvärderingsmyndigheter en förvaltningspolitisk trend? s Se bl.a. SOU 2012:20, Kvalitetssäkring av forskning och utveckling vid statliga myndigheter, s Johansson (2006). Tillsyn och effektivitet: statliga inspektörers yrkesroller och strategival. 20

21 2.1.4 Kriterier för en bra utvärdering Sammanhanget och föremålet för utvärderingen avgör vad som betraktas som en bra utvärdering. Det finns dock mått och kriterier som är tänkta att fungera på ett mer övergripande plan. Ett exempel på kriterier för vad som är en bra utvärdering är de som tagits fram av det amerikanska utvärderingssällskapet (The American Evaluation Association). 13 Forss (2007) har presenterat sin tolkning och översättning av dessa kriterier: Utvärderingen ska vara till nytta (utility). 2. Utvärderingen ska bedrivas effektivt (feasibility). 3. Utvärderingen ska göras med integritet (propriety). 4. Utvärderingen ska vara vederhäftig (accuracy) Forss tolkar det första kriteriet som att en bra utvärdering ska göras för att vara till nytta, det vill säga för att användas. En utvärdering ska också göras effektivt, till exempel genom att intervjua tillräckligt många men inte för många personer. Utvärderingen blir även korrekt (vederhäftig) genom att man arbetar systematiskt med vetenskapliga metoder för datainsamling och kontrollerbara processer med mera. Forss tolkar kriteriet om integritet bland annat som integritet för dem som lämnar uppgifter. Det handlar också om hanteringen av uppgifterna som kommer in och om att höra alla de som borde komma till tals. 2.2 Den statliga utvärderingens utveckling Utvärdering som ökat inslag i resultatstyrningen Under de senaste årtiondena har resultatstyrning blivit en av regeringens dominerande styrformer i relationen till förvaltningen. Regeringen styr myndigheternas verksamheter utifrån fastställda mål som myndigheterna får stor handlingsfrihet att omsätta i praktiken. Det finns ett stort behov av att följa upp resultaten och se att de överensstämmer med den politiska avsikten, och utvecklingen har medfört ökade krav på utvärderingar av statliga verksamheter. Till viss del beror de ökade kraven också på att regeringen i högre grad än tidigare ska lämna resultatinformation till riksdagen avseende myndigheters verksamheter. I praktiken innebär det att Regeringskansliet behöver ägna mer tid åt att samla in information från myndigheterna. Samtidigt har alla myndigheter ett grundläggande ansvar för att följa upp och återrapportera sin egen verksamhet, enligt kravet i förordning (2000:605) om årsredovisning och budgetunderlag. 13 Kim Forss 2007, Utvärdering som hantverk - Bortom mallar och manualer, sid Kriterierna är publicerade i The Programme Evaluations Standards: Sanders

22 Flertalet bedömare vittnar om att utvärdering som aktivitet har blivit allt mer regelbundet återkommande. Det framgår av flera utredningar och studier som har belyst den statliga utvärderingen under 2000-talet. Bland andra har Statskontoret fått olika uppdrag av regeringen att undersöka omfattningen, organiseringen och användningen av utvärderingar inom staten. Omfattningen av statlig utvärdering I regleringsbrevet för 1999 gav regeringen Statskontoret i uppdrag att kartlägga och bedöma det samlade utvärderingsarbetet inom de olika utgiftsområdena. Året efter gav vi ut rapporten Utvärdering och politik en kartläggning av utvärderingarna i budgetpropositionen (2000:17) med analyser av samtliga 114 utvärderingar som omnämns i budgetpropositionen för år Vi konstaterade bland annat att få utvärderingar genomfördes av utvärderingsorgan och att få utvärderingar var sektorsövergripande. Utvärderingarna var också ojämnt fördelade mellan de olika utgiftsområdena. I rapporten Utvärdering och politik II Hur använder regeringen utvärderingar (2002:21) följde Statskontoret upp den tidigare kartläggningen och bedömningen av det samlade utvärderingsarbetet. I den rapporten utgick vi från budgetpropositionerna för 2000 och 2002 och konstaterade bland annat att antalet omnämningar i budgetpropositionen hade ökat något, men att fördelningen fortfarande var mycket ojämn mellan olika politikområden. Antalet sektorsövergripande utvärderingar var fortsatt få samtidigt som Regeringskansliets användning av fristående utvärderingsmyndigheter minskade. Det visade sig också att regeringen beställde färre utvärderingar medan fler utvärderingar kom till på myndigheternas egna initiativ. Antalet utvärderingar som användes som politiskt beslutsunderlag hade minskat något. År 2001 gav regeringen Statskontoret i uppdrag att kartlägga tillgången på utvärderingar inom olika politikområden. I rapporten Utvärderingar Av vem och till vad? En kartläggning av Regeringskansliets utvärderingsresurser (2002:20) konstaterar vi bland annat att några få stora sektorsmyndigheter med genomförandeansvar eller tillsynsuppgifter stod för merparten av de tillgängliga utvärderingsresurserna. Inom många politikområden användes samma myndighet för att både genomföra och utvärdera en verksamhet. Styrutredningen studerade användningen av statliga utvärderingar År 2006 tillsatte regeringen en utredning med uppdraget att utvärdera styrformen resultatstyrning. I slutbetänkandet Att styra staten regeringens styrning av sin förvaltning (SOU 2007:75) konstaterade utredningen att olika beslutssituationer ställer krav på olika slags information. Den löpande styrningen ställer stora krav på regelbunden information och den ansvariga myndigheten fyller en viktig roll för att tillhandahålla sådan information. I fråga om större omprövningar, exempelvis gällande grundläggande mål och medel på ett område, är det enligt utredningen svårt att förutse vilken typ av information som behövs. I bredare frågor konsulteras i första hand kom 22

23 mittéväsendet alternativt interna arbetsgrupper inom Regeringskansliet men i mer avgränsade frågor förekommer att myndigheter används. Enligt utredningen borde det vara möjligt att utnyttja kommittéväsendet i högre grad för att därigenom få översikt över vilken kunskap och vilka forskningsområden som kan ge underlag för omprövningsarbetet (SOU 2007:75). Ett annat resultat var att allt mer information verkade komma från sektorsmyndigheter. Informationen kom bland annat från rapporter av olika slag, kartläggningar, statistik samt årsredovisningar och budgetunderlag. Inflödet av information kom även från sektorsanknutna utvärderingsmyndigheter respektive allmänna utvärderingsmyndigheter, revisionen, forskningsinstitutioner, konsulter, Regeringskansliet, riksdagen samt andra organ eller intresse- och branschorganisationer. Myndigheter med uppgift att verkställa politiken dominerade dock den bild som fördes in i beslutsprocessen till regeringen och tjänstemän inom Regeringskansliet (SOU 2007:75). Utredningen visade också att Regeringskansliet tillämpade olika strategier för informationsförsörjning. När det gäller information om myndigheten och dess verksamhet vände man sig i första hand till den aktuella myndigheten. Däremot fanns flera olika strategier för att samla data och information om vad som händer utanför myndigheten. Till huvudstrategierna räknades särskilda analys-, utvärderings- och forskningsorgan som organiserats i form av myndigheter eller inom universitet och högskolor. En annan vanligt förekommande strategi var att den genomförande myndigheten fick i uppdrag att tillhandahålla analyser och utvärderingar om verksamheten (SOU 2007:75). Styrutredningen beräknade även omfattningen och utvecklingen av svensk utvärderingsverksamhet. Enligt utredningens grova och lågt räknade skattning uppgick den sammanlagda kostnaden för utvärdering till mellan två och tre miljarder kronor. Förvaltningskommittén förespråkade utvärderingspluralism År 2006 tillsatte regeringen en kommitté med uppgiften att se över den statliga förvaltningens uppgifter och organisation (dir. 2006:123). Slutbetänkandet Styra och ställa förslag till en effektivare statsförvaltning (SOU 2008:118) innehöll bland annat förslag och överväganden om den statliga utvärderingen. Förvaltningskommittén förespråkade en fördjupad och systematiserad granskning av myndigheternas verksamhet. Det fanns enligt kommittén ett behov av att kritiskt analysera de komplexa sambanden mellan prestationer och effekter. Slutbetänkandet pekade också på behovet av att genomlysa det bakomliggande syftet med offentliga insatser. Enligt kommittén borde ett underlag som produceras av den myndighet som ansvarar för en verksamhet inte utgöra det enda underlag som ligger till grund för regeringens bedömning av verksamhetens utfall. Istället borde regeringens och riksdagens prövning av den offentliga verksamheten base 23

24 ras på kunskapsunderlag från olika källor: myndigheter, oberoende akademisk forskning, sektoriella forskningsinstitut, revisionsorgan och internationella insatser. För statsförvaltningens struktur ansågs det därför viktigt med ett vältäckande nät av myndigheter och andra organ som har till uppgift att utvärdera och analysera offentliga insatser (SOU 2008:118) års förvaltningspolitiska proposition i vissa fall fordras en utomstående granskare Behoven av information varierar för olika verksamheter och beslutssituationer, vilket regeringen slog fast i förvaltningspolitiska propositionen för 2010, Offentlig förvaltning för demokrati, delaktighet och tillväxt (2009/10:175). I den löpande styrningen och kontrollen av myndigheterna kommer informationen från årsredovisningar, budgetunderlag och andra rapporteringar samt informella kontakter. Myndighetsdialogen är en annan viktig del i regeringens uppföljning av myndigheternas verksamhet som lyftes fram. En sådan dialog borde enligt regeringen genomföras årligen och ha sin utgångspunkt i bland annat myndighetens årsredovisning. Regeringen menar att det i vissa fall behövs en utomstående granskare. Det gäller vid behov av djupare analyser av ändamålsenligheten i en viss organisering eller av effektiviteten i processer inom en myndighet. Enligt regeringen kan en sådan utomstående granskare ge en opartisk bedömning. Stabsmyndigheterna skulle även kunna tillhandahålla nödvändiga underlag med kort varsel. Regeringen konstaterade vidare att det ställs stora krav på Regeringskansliet och stabsmyndigheterna i fråga om att följa, sammanställa och bearbeta kunskap till stöd för de politiska beslutsprocesserna. Vidare slog regeringen fast att utvärderingsresurserna var fördelade på många olika myndigheter och att vissa områden hade fristående utvärderingsmyndigheter, andra inte. Regeringens förklaring var att behovet av information skiljer sig åt mellan olika områden, till exempel avseende ekonomisk omfattning och risk. Regeringen såg att de områden som saknar frisående utvärderingsmyndigheter i regel istället utvärderas av kommittéer eller av Statskontoret (prop. 2009/10:175). 2.3 Organisering av statlig utvärdering I dag får den statliga förvaltningen kunskapsunderlag från flera olika myndigheter som har i uppgift att utvärdera och analysera offentliga insatser. De olika myndigheterna kan delas in i fyra olika grupper: fristående sektorsspecifika utvärderingsmyndigheter myndigheter som har ett generellt sektorsövergripande utvärderingsuppdrag statliga utredningar inklusive expertgrupper 24

25 myndigheter med genomförandeansvar inom ett område (sektorsmyndigheter) Fristående sektorsspecifika utvärderingsmyndigheter Förvaltningskommittén förespråkade principen att verkställande uppgifter borde särskiljas från uppgiften att utvärdera resultaten. Enligt kommittén borde regeringen överväga att inrätta fristående utvärderingsmyndigheter inom delar av förvaltningen där sådana saknas. Bakgrunden till kommitténs förslag var regeringens behov av oberoende analyser och utvärderingar som underlag för att styra myndigheterna. Kommittén framhöll att behovet av permanenta utvärderingsmyndigheter behöver avgöras utifrån om det finns andra organ att anlita för att göra utvärderingar. Det viktiga var enligt kommittén att verksamheter utvärderas och att regering och riksdag har kapacitet att ta emot resultaten (SOU 2008:118). I studien Fristående utvärderingsmyndigheter en förvaltningspolitisk trend? (2011) konstaterade Statskontoret att utvärdering allt oftare organiseras i sektorsspecifika och fristående myndigheter. Studien visar att de fristående utvärderingsmyndigheterna utgör en blandad grupp: de har till exempel tillkommit i olika sammanhang, i olika syften och under olika tidsperioder. Därutöver skiljer de sig åt vad gäller resurser och uppgifter samt i fråga om regeringens styrning av dem. Studien lyfter fram att myndigheterna har en gemensam nämnare i att de alla är små myndigheter med stora uppgifter och därmed delar vissa utmaningar. Bland utmaningarna finns möjligheterna till oberoende, dels i förhållande till politikens implementering och utformning, dels i förhållande till sektorn. I studien lyfter Statskontoret också fram att inrättandet av fristående utvärderingsmyndigheter å ena sidan skulle kunna ses som ett sätt att lindra många av utvärderingens inneboende värdekonflikter: opartiskhet eller policyrelevans, sakkunskap eller metodkunskap, grundlighet eller tajming, opartiskhet eller sakkunskap. Å andra sidan skulle det ökade inslaget av fristående utvärderingsmyndigheter kunna ses som en konsekvens av den förvaltningspolitiska princip som förordar renodling av verksamheter. OECD framhåller i sin rapport Value for money in Government (2013) att det finns anledning att se över trenden att inrätta nya fristående utvärderingsmyndigheter i Sverige. Enligt OECD menar departementen att de har svårt att påverka utvärderingsmyndigheternas agenda, vilket gör det svårt för dem att få tillgång till tidsmässigt relevant och användbar information för policyutveckling. Myndigheterna å andra sidan står inför svårigheten att balansera ett institutionellt oberoende med kravet på policyrelevanta utvärderingar. I rapporten pekar OECD också på att många utvärderingsmyndigheter saknar ett tydligt fokus på utvärdering och därför ofta har tagit på sig andra typer av uppgifter. 25

26 OECD gav den svenska regeringen ett antal förslag på hur man skulle kunna komma tillrätta med problemen. Ifråga om policyutvärderingar rekommenderar OECD att det tas fram och slås fast generella utvärderingsnormer och tydliga standarder för utvärderingsmetodik samt att departementen själva får ansvaret för att planera och genomföra utvärderingar. Ansvaret för övriga utvärderingar borde enligt OECD överlåtas till universitet eller särskilda forskningsorganisationer. Genom att omstrukturera eller avveckla de flesta nybildade fristående utvärderingsmyndigheterna går det enligt OECD att göra betydande besparingar av statliga medel. 15 Myndigheter som har ett generellt sektorsövergripande utvärderingsuppdrag Till skillnad från sektorsspecifika utvärderingsmyndigheter har sektorsövergripande utvärderingsmyndigheter i uppgift att analysera flera sektorer. I praktiken motsvarar det Statskontoret som lyder under regeringen samt Riksrevisionen. Riksrevisionen som inrättades 2003 när man slog samman före detta Riksrevisionsverket (RRV) och Riksdagens revisorer. RRV var en myndighet under regeringen men Riksrevisionen är riksdagens organ. I sitt slutbetänkande Ett stabsstöd i tiden (SOU 2008:22) konstaterade Stabsutredningen bland annat att en sektoriserad utvärdering sannolikt innebar såväl specialiseringsfördelar som möjligheter att utveckla den egna sektorsverksamheten genom att respektive sektor får löpande underlag. Samtidigt pekade utredningen på att regeringens sektorsövergripande politik ställer krav på ett utredningsstöd som inte är specialiserat inom en viss sektor. Utredningen ansåg till exempel att Statskontoret fortsatt skulle fylla funktionen som regeringens och Regeringskansliets utrednings-, uppföljnings- och utvärderingsorgan. I fråga om ESV gjorde utredningen bedömningen att det även i fortsättningen bör finnas en tydlig funktion bland de så kallade stabsmyndigheterna som ansvarar för att utveckla och förvalta metoder och modeller och regelverk för ekonomi- och resultatstyrning. Statliga utredningar inklusive expertgrupper Kommittéer och särskilda utredare fungerar som en tillfällig utvärderingsresurs och anlitas vanligen när regeringen har behov av en särskilt grundlig genomgång inför en proposition. En utvärderingsverksamhet granskar vanligtvis resultatet av en intervention, men inom kommittéväsendet är fokus ofta på framtida handlande. I rapporten Kommittéerna och bofinken (Ds 1998:57) konstaterar utredarna att nästan alla större politiska beslut bygger på beslutsunderlag som tagits fram av en kommitté. Riksdagens revisorer (1996:97:6) ansåg att kommitté 15 OECD, Value for money in Government (2013), sid

27 formen var överlägsen andra utredningsformer, bland annat eftersom den ger goda möjligheter till nya kombinationer av kunskap och kompetens. Enligt dem bör dock kommittéerna kunna få bättre förutsättningar för sitt arbete genom tydligare uppdrag, utvecklade arbetsformer och bättre administrativt stöd. Styrutredningen lyfte också fram kommittéer som en viktig källa till information för regeringen (SOU 2007:75). I den tidigare nämnda stabsutredningen konstaterades att kommittéväsendet utgör en mycket viktig komponent i den svenska förvaltningsmodellen, men att departementen har olika förmåga att använda kommittéerna på ett strategiskt sätt skiftar mellan departementen. Utredningen menade att förberedelserna inför tillsättandet av en kommitté generellt var alltför slentrianmässiga (SOU 2008:22). Enligt regeringen fyller kommittéer en viktig funktion i det politiska beslutsfattandet, särskilt när det gäller till att föra in kunskap och olika perspektiv i det politiska systemet. I 2010 års förvaltningspolitiska proposition skriver regeringen att kommittéformen är ändamålsenlig för att exempelvis bedöma vilken kunskap och vilka forskningsområden som bör beaktas vid hanteringen av ett visst samhällsproblem (prop. 2009/10:175). Regeringen förespråkade en strategisk användning av kommittéväsendet och ansåg även att det var angeläget att fortsätta värna en hög kvalitet och kunskapsnivå i kommittéarbetet. Som en del av kommittéväsendet kan regeringen även inrätta särskilda expertgrupper med uppgift att göra analyser och utvärderingar inom olika ämnesområden. En sådan kommitté är Expertgruppen för studier i offentlig ekonomi (ESO) under Finansdepartementet. ESO inrättades första gången 1981 och lades ned 2003 för att återinrättas ESO syftar till att bredda och fördjupa underlaget för framtida finanspolitiska och samhällsekonomiska avgöranden. Uppdraget genomförs i huvudsak genom att ESO ger forskare och institutioner i uppdrag att genomföra studier. Den tidigare Expertgruppen för miljöstudier (EMS) avvecklades EMS hade i uppdrag att studera användningen av offentliga medel och andra styrmedel med miljömässiga konsekvenser med avseende på samhällsekonomisk effektivitet och måluppfyllelse. Regeringens beslutade att avveckla expertgruppen eftersom verksamheten kunde tillgodoses på annat sätt, bland annat genom att ESO fick möjligheten att bedriva miljöekonomiska studier. Myndigheter med genomförandesansvar inom ett område (sektorsmyndigheter) Förutom fristående utvärderingsmyndigheter finns även sektorsmyndigheter med ansvar för att genomföra politiken och utvärdera verksamheten inom sina respektive politikområden. Till exempel ska Skolverket följa upp och utvärdera skolväsendet, förskoleverksamheten och skolbarnomsorgen. Försäkringskassan ska bland annat följa och analysera samt förmedla social 27

28 försäkringssystemets utveckling och effekter för enskilda och samhälle inom sitt verksamhetsområde. Socialstyrelsen ska enligt sin instruktion göra utvärderingar inom hälsa, hälso- och sjukvård, socialtjänst och stöd och service till vissa personer med funktionsnedsättning. 28

29 3 De sektorsspecifika utvärderingsmyndigheternas verksamheter I detta kapitel redogör vi för motiven för att inrätta sektorsspecifika utvärderingsmyndigheter och vilka uppgifter myndigheterna har tilldelats. Vi redogör också för myndigheternas fristående ställning och deras målgrupper samt för hur de sektorsspecifika utvärderingsmyndigheterna bedriver sina verksamheter. Redovisningen belyser utvärderingsmyndigheternas verksamhetsinriktning och arbetsformer, organisation och personal samt verksamhetskostnader och finansiering. I bilaga 2 redovisar vi korta sammanställningar om respektive utvärderingsmyndighet. 3.1 Inrättande av utvärderingsmyndigheter Utvärderingsmyndigheterna har blivit fler Som Statskontoret belyste 2011 i rapporten Fristående utvärderingsmyndigheter en förvaltningspolitisk trend? har det under senare år inrättats flera fristående utvärderingsmyndigheter. Enligt Statskontorets definition är fristående sektorsspecifika utvärderingsmyndigheter sådana myndigheter som har som central uppgift att utvärdera offentlig verksamhet inom utpekade sektorer, men utan direkta uppgifter att implementera politiken. Av de nio utvärderingsmyndigheter som ingår i kartläggningen inrättades sex av dem under perioden

30 Tabell 3:1 Tidpunkt för inrättande och föregångare Myndighet Bildades år Föregångare Brå 1974 Delvis utbrytning från Rikspolisstyrelsen (RPS) Finanspolitiska rådet 2007 IFAU 1997 Expertgruppen för utredningsverksamhet i arbetsmarknadsfrågor (EFA) ISF 2009 Kulturanalys 2011 Delvis utbrytning från Statens kulturråd SBU 1992 Beredningsgrupp under Socialdepartementet Tillväxtanalys 2009 Institutet för tillväxtpolitiska studier (ITPS) med flera Trafikanalys 2010 Statens institut för kommunikationsanalys (SIKA) Vårdanalys 2011 Aktörer inom hälso- och sjukvården Även om flertalet utvärderingsmyndigheter är relativt nya har många av dem föregångare i myndigheter som har avvecklats i takt med att nya har inrättats. Ett exempel är Tillväxtanalys som har sin direkta föregångare i Institutet för tillväxtpolitiska studier (ITPS). ITPS bildades 2001 i samband med att analysresurser från Verket för näringslivsutveckling (Nutek) och Sveriges tekniska attachéer skulle samlas i en myndighet (prop. 1999/2000:71). När ITPS avvecklades ersattes verksamheten av Tillväxtanalys 2009 (prop. 2007/08:78). En stor del av dåvarande Glesbygdsverkets uppgifter fördes också över till Tillväxtanalys, liksom vissa uppgifter från Konsumentverket och Nutek. När Trafikanalys bildades tog myndigheten över den del av verksamheten inom Statens institut för kommunikationsanalys (SIKA) som rörde den officiella statistiken medan merparten av övrig verksamhet avvecklades (prop. 2009/10:1 UO 22 Kommunikationer). Viss verksamhet fördes över till Trafikverket. Exempel på myndigheter som saknar föregångare är Vårdanalys som inrättades Innan Vårdanalys inrättades vilade ansvaret för utvärdering och uppföljning på flera aktörer inom hälso- och sjukvården, bland andra Socialstyrelsen. Även Brå saknar en direkt föregångare. Till viss del övertog rådet arbetsuppgifter som tidigare låg inom ramen för Rikspolisstyrelsens uppdrag (prop. 1974:1). Det finns också exempel på att utvärderingsmyndigheter har avvecklats och delar av verksamheten har inordnats i andra myndigheter. I bilaga 3 redogör vi kort för avvecklingen av Institutet för utvärdering av internationellt biståndsarbete (SADEV) och Livsmedelsekonomiska institutet (SLI). 30

31 3.1.2 Liknande motiv till inrättandet Av utredningar och propositioner framgår att det ofta finns flera motiv till att inrätta nya utvärderingsmyndigheter. De finns inom olika politikområden som vart och ett har sina förutsättningar. På ett generellt, övergripande plan har vi dock sett att motiven har varit näraliggande. De mest framträdande motiven kan sammanfattas i tre kategorier: ökat behov av utvärderingar breddat och fördjupat kunskapsunderlag för politiken renodling av myndigheters verksamheter Inför bildandet av flera av utvärderingsmyndigheterna konstaterade både regeringen och flera utredningar att de utvärderingar som dittills genomförts på ett visst sakområde var otillräckliga eller att befintlig utvärderingsverksamhet inte längre kunde möta de nya behov som har uppstått till följd av samhällsutvecklingen. Innan IFAU inrättades hade bland andra regeringen nått slutsatsen att den snabba förändringen av arbetsmarknadspolitiken medförde ett väsentligt ökat behov av utvärderingsstudier. Det fanns stora förväntningarna på politiken att kunna bemöta den stigande arbetslösheten under 90-talet och regeringen ansåg inte längre att resultaten från tidigare utvärderingar var tillämpbara (prop. 1996/96:5). Det ökade behovet av utvärderingar är i många fall också nära förknippat med behovet av att bredda och fördjupa kunskapsunderlaget till stöd för den statliga styrningen och politikutvecklingen på olika områden. Att politik bör vila på kunskap är ett återkommande argument inför inrättandet av en ny utvärderingsmyndighet. När till exempel Trafikanalys bildades var regeringens förhoppning att en ny utvärderingsmyndighet skulle tillföra den sakkunskap som dels ansågs nödvändig för att effektivisera infrastrukturplaneringen, dels behövdes för att få bukt med Trafikverkets informationsövertag gentemot regeringen och Regeringskansliet (prop. 2009/10:59). Förändringar av myndighetsstrukturer är ett annat återkommande motiv till att inrätta en ny utvärderingsmyndighet. Det kan dels handla om att en befintlig myndighet avvecklas till förmån för en ny utvärderingsmyndighet, dels gälla att utvärderingsverksamheten brutits ut från en genomförandemyndighet som ett led i att renodla verksamheten. I flera fall har regeringen betonat vikten av att de utvärderande myndigheterna ska ha en fristående ställning och verka oberoende av den operativa verksamhet som de ska granska. På till exempel kulturområdet ledde Kulturutredningens omfattande förslag på förändringar av myndighetsstrukturen bland annat till att Kulturanalys bildades. Tidigare hade utvärdering varit en del av verksamheten hos myndigheterna inom kulturområdet. Även i förarbetena som ledde fram till att Vårdanalys bildades betonas oberoendet och vikten av renodling 31

32 av utvärderingsuppgiften för att stärka förtroendet såväl för utvärderingarna som för de verksamheter som utvärderas. 3.2 Regeringen är oftast den primära mottagaren För de flesta av utvärderingsmyndigheterna är regeringen utpekad som den primära målgruppen och mottagaren av de underlag som myndigheterna tar fram. I både förarbeten och instruktioner har regeringen ofta lyft fram att myndigheterna ska utgöra ett stöd till regeringen. Tillväxtanalys är ett exempel på en myndighet som inrättades med syftet att bidra till att bredda kunskapsunderlaget till stöd för utvecklingen av politiken. Regeringen ville att den nya myndigheten skulle ta fram policyrelevanta underlag som var tillämpbara i policyutvecklingen. Ett annat exempel är Trafikanalys som enligt budgetpropositionen för 2010 skulle ha som huvuduppgift att granska och kvalitetssäkra beslutsunderlag samt utvärdera genomförandet av olika åtgärder och deras effekter inom transportområdet. Utvärderingsmyndigheterna har i ett par fall även andra utpekade målgrupper. Vårdanalys har till exempel målgrupper i både regeringen, landstingen, brukarna med flera. Regeringens syfte med att inrätta Vårdanalys var att stärka invånarnas ställning och inflytande. Myndighetens uppgift är att följa upp hur väl hälso- och sjukvården fungerar och analysera större satsningar och reformer ur patienternas och allmänhetens perspektiv (prop. 2010/11:1). Vidare har SBU till uppgift att sammanställa sina utvärderingar på ett enkelt och lättfattligt sätt och sprida dem till vårdgivare och andra berörda. Syftet är att uppnå förändringar i praxis så att behandlingsmetoder blir mer evidensbaserade. I praktiken är det till stor del sjukvårdens personal och särskilt läkarkåren som använder SBU:s utvärderingsresultat. Enligt förarbetena till Finanspolitiska rådet inrättades myndigheten i det demokratiska syftet att bidra till ökad öppenhet och stärkt möjlighet till ansvarsutkrävande. Regeringen argumenterade för att rådets årliga rapport kunde utgöra ett underlag för bland annat riksdagens granskning av regeringens politik och för den offentliga debatten (prop. 2006/07:100). Samtidigt har myndigheten regeringen som sin huvudsakliga mottagare. I instruktionen anges bland annat att myndigheten har i uppdrag att följa upp och bedöma måluppfyllelsen i finanspolitiken. Finanspolitiska rådet ska varje år lämna en rapport till regeringen med en redovisning av de analyser och bedömningar som rådet har gjort. 3.3 Myndigheternas uppgifter och verksamhetens inriktning För att skapa en övergripande bild av myndigheternas uppgifter och verksamheter redovisar vi nedan myndigheternas närmare uppgifter rörande analys och utvärdering, stabsstöd och kunskapsutveckling. Vi redogör också 32

33 för myndigheternas övriga uppgifter i fråga om ansvar för den officiella statistiken och att sprida kunskap Analys- och utvärderingsuppgifter I kapitel 2 redogör vi för olika definitioner av begreppet utvärdering och olika utvärderingsansatser. Inom ramen för uppdraget att utvärdera den genomförda politiken har regeringen i flera fall valt att precisera vilken form av utvärdering som efterfrågas. För flera av de berörda myndigheterna omfattar utvärderingsuppdraget både att utvärdera genomförda politiska åtgärder och verksamheter (ex post) och föreslagna åtgärder (ex ante). Flera ska enligt sina instruktioner utvärdera, analysera och redovisa effekter av föreslagna och genomförda åtgärder inom politikområdet. Ett par av myndigheterna ska även utföra effektivitetsgranskningar. En av dem har i uppdrag att göra systemtillsyn. De sektorsspecifika utvärderingsmyndigheterna ska i de flesta fallen utvärdera statlig verksamhet. Två av dem, Vårdanalys och SBU, har dock istället hälso- och sjukvården som granskningsobjekt. Vårdanalys granskar alla delar av systemet och dess aktörer och i uppdraget ingår även tandvården och gränssnittet mellan vård och omsorg granskningsobjekt. I vissa fall ingår det i utvärderingsmyndigheternas uppdrag att genomföra uppföljning och analyser, såsom till exempel av utvecklingen inom området Stabsstödsuppgifter I ett par fall har regeringens intentioner med utvärderingsmyndigheterna uttryckts som att de ska utgöra en stödfunktion för regeringen. Ett exempel är direktiven till utredningen om att inrätta Trafikanalys. Där står, som en av flera utgångspunkter, att den blivande myndigheten ska vara regeringens stöd för utvärderingar och analyser inom hela transportområdet. Inför bildandet av Tillväxtanalys ansåg regeringen att den blivande myndigheten i huvudsak skulle arbeta på uppdrag av regeringen. Egeninitierad verksamhet med utgångspunkt i instruktionen skulle bedrivas endast i begränsad omfattning. Många av myndigheterna har i uppdrag att bistå regeringen och Regeringskansliet med underlag. I vissa fall ska detta ske löpande. Uppdraget att bistå regeringen med underlag kan bland annat innebära att myndigheten tillfälligt lånar ut sin personal till Regeringskansliet eller att myndighetens personal deltar på möten i Regeringskansliet, i rollen som experter. Det förekommer också att utvärderingsmyndigheten ska bistå departementet i att följa upp sektorsmyndigheterna på området. I en del fall innehåller instruktionerna tydligt formulerade krav på myndigheterna att lämna rekommendationer. En majoritet av myndigheterna ska årligen lämna en eller flera rapporter till regeringen, utöver den redovisning som följer av förordning (2000:605) om årsredovisning och budgetunderlag. 33

34 3.3.3 Uppgifter om att utveckla kunskap Utöver att utvärdera politiken inom området och lämna stöd till regeringen har många myndigheter andra mer direkt formulerade kunskapsutvecklande uppgifter. Det handlar bland annat om att bidra till kunskapsutveckling genom att utveckla nya metoder och om att följa forskningen inom området. Det handlar också om att främja utvecklingen av utvärderings- och analysmetoder inom området. Inom ramen för uppdraget att utveckla kunskap bedriver eller initierar flera av myndigheterna forskning. I vissa instruktioner står det att myndigheterna får bedriva egen forskning inom sitt verksamhetsområde. I andra fall uttrycks det som att myndigheterna ska bedriva forskning. Flera av myndigheterna ska genom omvärldsbevakning bevaka, följa och ta fram kunskap om vad som händer i omvärlden och inom forskningsvärlden. I vissa fall kan det röra sig om att göra internationella jämförelser Övriga uppgifter Utöver utvärderingsrelaterade, stabsliknande och kunskapsutvecklande uppgifter har många av utvärderingsmyndigheterna också andra uppgifter enligt sin instruktion och regleringsbrev. Många ska till exempel sprida kunskap och resultat från sina verksamheter till andra aktörer och ansvara för den officiella statistiken inom politikområdet. Knappt hälften av myndigheterna i kartläggningen har ansvaret för den officiella statistiken inom sin sektor. 16 Det gäller Trafikanalys, Tillväxtanalys, Kulturanalys och Brå. Uppgiften regleras i förordning (2001:100) om den officiella statistiken. Flertalet av myndigheterna har även ett tydligt utpekat uppdrag att på olika sätt samverka med andra aktörer inom området. Det kan till exempel handla om att samråda med andra berörda myndigheter och organ Verksamheterna främst inriktade mot analys, utvärdering och kunskapsutveckling Vi har kartlagt hur respektive utvärderingsmyndighet fördelar sina resurser på de olika uppgifterna och redovisar resultaten i tabell 3.2. Vi vill särskilt understryka att det finns betydande gränsytor och inbördes starka samband mellan de olika uppgifterna. Analyser och utvärderingar vilar till exempel i flera fall på, samt är beroende av, tillgång på statistik. 16 Under mitten av 90-talet fördelades ansvaret för den officiella statistiken mellan Statistiska centralbyrån (SCB) och 24 andra myndigheter. Tidigare hade SCB det huvudsakliga ansvaret för den officiella statistiken. De 24 myndigheterna fick ansvaret för den statistik som låg inom deras verksamhetsområde och SCB hade fortsatt ansvar för sektorsövergripande statistik. Sedan den 1 juli 2012 finns 27 statistikansvariga myndigheter. 34

35 Översikten i tabellen visar hur stor andel respektive uppgiftsområde utgjorde av den totala verksamheten under Tabell 3.2 Olika uppgiftsområden som andel av den totala verksamheten under 2012 Myndighet Uppgifter rörande analys, utvärdering, Övriga uppgifter stabsstöd och kunskapsutveckling Brå 30 % 70 % (Forskning och utveckling, inkl. (Ansvar för den officiella utvärdering) statistiken, stöd till lokalt arbete, internationellt arbete) Finanspolitiska rådet 92 % (Årlig rapport och underlagsrapporter) 8 % (Offentlig diskussion) IFAU 98 % 2 % (Forskning, effekt-processutvärdering (Sprida information) ISF 98 % (Systemtillsyn och 2 % effektivitetsgranskning) (Informationsspridning) Kulturanalys 69 % 31 % (Utvärdering, analys, omvärldsbevakning (Ansvar för den officiella samt forskning) statistiken, kommunikation) SBU 73 % 27 % (Utvärdering av medicinska (Kunskapsspridning) behandlingsmetoder) Tillväxtanalys 89 % 11 % (Utvärdering, stabsstöd och (Ansvar för den officiella kunskapsutveckling) statistiken) Trafikanalys 60 % 40 % (Utvärdering, uppföljning, analys) (Ansvar för den officiella statistiken m.m.) Vårdanalys 78 % 22 % (Analys och granskning samt uppföljning (Spridning av myndighetens och utvärdering) rapporter och resultat m.m.) Källa: Statskontorets beräkningar och myndigheternas uppskattningar Av tabellen framgår att nästan samtliga utvärderingsmyndigheter har inriktat merparten av verksamheten mot uppgifter som rör analys, utvärdering, stabsstöd och kunskapsutveckling. Ett undantag är Brå där dessa uppgifter utgör en mindre andel än myndighetens övriga uppgifter. Kostnaderna för Brå:s arbete med forskning och utveckling, inklusive utvärdering, uppgick dock till cirka 30 miljoner kronor. Brå:s kostnader för utvärdering är också större än de totala kostnaderna för några av de andra utvärderingsmyndigheterna. 17 Andelarna bygger i vissa fall på beräkningar av redovisade kostnader och i andra fall på myndigheternas uppskattningar av resursfördelning eller arbetstid som lagts ned på respektive uppgiftsområde. Det kan också finnas vissa variationer vad gäller hur myndigheterna väljer att redovisa olika kostnader, om de redovisas som analys och utvärderingsverksamhet eller hamnar inom ramen för övriga uppgifter. Uppgifterna i tabellen är därför inte direkt jämförbara med varandra. 35

36 3.4 Utvärderingsmyndigheterna ska ha en fristående ställning Många av de utvärderande myndigheternas förarbeten och instruktioner lyfter fram att de ska vara oberoende eller självständiga i förhållande till den verksamhet de ska granska. I instruktionen för Kulturanalys skriver regeringen till exempel att myndigheten får utföra uppdrag inom sitt verksamhetsområde under förutsättning att det inte påverkar förtroendet för myndighetens självständiga ställning. 18 En liknande skrivning finns i instruktionen för Trafikanalys. Myndigheten får enligt denna utföra uppdrag åt planeringsansvariga myndigheter och organ under förutsättning att det inte påverkar förtroendet för myndighetens självständiga ställning. I organiseringen av utvärderingsmyndigheterna har regeringen i ett par fall valt särskilda ledningsformer för att tydligt signalera myndighetens fristående ställning. Ett sådant exempel är Finanspolitiska rådet. Konstruktionen med ett särskilt råd och tillhörande kansli ska säkerställa att myndigheten har en fristående ställning och kan ta fram sin årliga rapport på ett oberoende sätt. Det särskilda rådet är en del av myndigheten och har ingen egen relation till regeringen. Konstruktionen tillåter inte heller att regeringen ger uppdrag direkt till rådet Verksamheterna är både egeninitierade och uppdragsstyrda En aspekt på myndigheternas fristående ställning är handlingsutrymmet för att ta sig an egeninitierade utvärderingar. Kartläggningen visar att utvärderingsmyndigheterna bedriver både egeninitierad verksamhet med utgångspunkt i sina respektive instruktioner och verksamhet som baseras på regeringsuppdrag. Några av myndigheterna har en samlad plan eller lista över pågående och planerade utvärderingar och analyser som grund för sitt egeninitierade arbete. Exempelvis ska ISF enligt sin instruktion varje år ta fram en särskild tillsyns- och granskningsplan över den huvudsakliga inriktningen på myndighetens tillsyn och granskning. Även Vårdanalys instruktion anger att myndigheten årligen ska ange sin tilltänkta huvudsakliga inriktning i en särskild analys- och granskningsplan. Andra myndigheter har inte samma typ av officiella planer för det egeninitierade arbetet. Till exempel arbetar Kulturanalys efter ett internt arbetsdokument. Kulturanalys har dock för avsikt att ta fram en mer officiell analysplan. Merparten av utvärderingsmyndigheterna får uppdrag av regeringen i varierande mängd. Finanspolitiska rådet får dock som regel inga uppdrag alls. Regeringsuppdragen gäller oftast att analysera, utvärdera och kartlägga 18 Förordning (2011:124) med instruktion för Myndigheten för kulturanalys 36

37 olika frågor eller områden. Uppdragen tilldelas i myndigheternas regleringsbrev eller i särskilda beslut av regeringen. I tabell 3.3 nedan redovisar vi hur många nya regeringsuppdrag var och en av utvärderingsmyndigheterna fick under Tabell 3.3 Antal nya regeringsuppdrag under 2012 Brå Finans - IFAU ISF Kultur - SBU Tillväxt - Trafik - Vård - politiska analys analys analys analys rådet Källa: Utvärderingsmyndigheternas regleringsbrev för 2012 Hur många nya regeringsuppdrag myndigheterna får varierar från år till år. Det kan delvis förklaras av hur många löpande, konkreta uppgifter myndigheterna har i sina instruktioner. Dessutom kan vissa av regeringsuppdragen sträcka sig över mer än ett år. Det varierar även i vilken utsträckning som regeringsuppdragen följs av särskild finansiering för att täcka de kostnader som är förenade med att genomföra uppdragen. Regeringsuppdragen är inte sällan mer resurskrävande att utföra än egeninitierade analyser och utvärderingar. Exempelvis uppger ISF att regeringsuppdragen är färre än de egeninitierade studierna men de tar ändå ungefär hälften av myndighetens samlade arbetstid i anspråk. 3.5 Enrådighet den vanligaste ledningsformen I tabell 3.4 nedan framgår att de flesta utvärderingsmyndigheter är enrådighetsmyndigheter, vilket innebär att respektive myndighetschef ansvarar för verksamheten inför regeringen. I övrigt finns det både flera likheter och skillnader i myndigheternas ledningsformer. 37

38 Tabell 3.4 Utvärderingsmyndigheternas ledningsformer Myndighet Ledningsform Insynsråd Rådgivande organ Särskilda beslutsorgan Brå Enrådighet Enligt Vetenskapligt råd - instruktion enligt instruktion Finanspolitiska Enrådighet - - Det särskilda rådet rådet IFAU Enrådighet - Vetenskapligt råd - enligt instruktion Referensgrupp eget initiativ ISF Enrådighet Enligt Medicinskt råd på - instruktion eget initiativ Kulturanalys Enrådighet Enligt Vetenskapligt råd eget - instruktion initiativ SBU Enrådighet - Vetenskapligt råd, Nämnden för Alertråd och medicinsk lekmannaråd egna utvärdering initiativ. Tillväxtanalys Enrådighet - Kapitalmarknadsrådet - enligt instruktion Trafikanalys Enrådighet - Vetenskapligt råd - enligt instruktion Vårdanalys Styrelse - Patientråd enligt - instruktion Källa: Myndigheternas instruktioner och webbplatser Av de nio utvärderingsmyndigheterna är det bara Vårdanalys som inte är en enrådighetsmyndighet. Vårdanalys leds istället av en styrelse som svarar för de uppgifter som följer av myndighetsförordningen gällande ledningens ansvar. Vårdanalys styrelse har även i uppdrag att besluta om publicering av resultatet av myndighetens analyser, granskningar och utvärderingar samt om myndighetens analys- och granskningsplan. Tre utvärderingsmyndigheter har insynsråd enligt sina instruktioner. Regeringen har inte preciserat insynrådens roll utöver myndighetsförordningens generella bestämmelser. Fem av utvärderingsmyndigheterna har instruktioner som föreskriver att de ska ha rådgivande organ. I vissa fall kallas organen vetenskapliga råd men det förekommer även andra benämningar. Trafikanalys vetenskapliga råd har till exempel i uppgift att kvalitetssäkra de metoder myndigheten tar fram och tillämpar samt att bidra till deras utveckling. En del utvärderingsmyndigheter har på eget initiativ inrättat egna rådgivande organ som ska stödja arbetet med att leda och genomföra verksamheten. IFAU har till exempel en referensgrupp bestående av företrädare för arbetsgivar- och arbetstagarorganisationer samt vissa departement och myndigheter. 38

39 Regeringen har fastställt att två av utvärderingsmyndigheterna ska ha särskilda beslutsorgan. Vid SBU finns Nämnden för medicinsk utvärdering som har till uppgift att fatta beslut om myndighetens projekt och fastställa sammanfattningar och slutsatser i myndighetens utvärderingar. Finanspolitiska rådet sköter administrativa och handläggande uppgifter åt ett särskilt råd vid myndigheten. Det särskilda rådet ska i maj varje år ge myndigheten en rapport över de analyser och bedömningar som rådet har gjort. Myndigheten ska samma dag lämna det särskilda rådets rapport till regeringen. 3.6 Verksamheterna är organiserade på olika sätt Myndigheternas organisering av verksamheten utgår i flera fall från deras instruktionsenliga uppgifter och deras huvudsakliga arbetsområden och delverksamheter. Exempelvis har Trafikanalys organiserat sin operativa kärnverksamhet i avdelningar för analys och granskning respektive utvärdering, nulägesanalys och statistik. Tillsammans omfattar avdelningarna de uppgifter som ingår myndighetens ansvarsområde. ISF är den enda av utvärderingsmyndigheterna som har en uttalad matrisorganisation. Matrisorganisationen utgörs av tre enheter som speglar utgiftsområdena i statsbudgeten och fyra kompetensområden som speglar de huvudsakliga metoder och discipliner som myndigheten använder. Vissa myndigheter har på grund av sin begränsade storlek inte delat in i sin organisation i olika avdelningar eller enheter. Exempelvis har Kulturanalys i stället delat in sitt uppdrag i ett drygt tiotal ansvarsområden med en områdesansvarig medarbetare för varje område. Det innebär att varje utredare svarar för ett eller två ansvarsområden. I varje utvärderingsprojekt arbetar minst två personer. Av de nio utvärderingsmyndigheterna är sju lokaliserade i Stockholm. IFAU bedriver hela sin verksamhet i Uppsala. Tillväxtanalys har sitt huvudkontor i Östersund, men myndigheten har även kontor i Stockholm och på fem utlandsorter. Av de Stockholmslokaliserade utvärderingsmyndigheterna är det endast Trafikanalys som bedriver verksamhet även på annan ort (Östersund). Vissa utvärderingsmyndigheter har inrättat särskilda stödenheter och stabsfunktioner. Ett exempel är Brå som har enheter för it, kommunikation respektive förvaltningsstöd och särskilda funktioner för juridik och personal. Andra utvärderingsmyndigheter har betydligt mer begränsade egna funktioner för administration och verksamhetsstöd, bland annat Kulturanalys och Finanspolitiska rådet. Dessa myndigheter köper därför olika stödtjänster av 39

40 andra statliga myndigheter. 19 Med undantag för SBU använder sig utvärderingsmyndigheterna i olika utsträckning av de tjänster som erbjuds av Statens servicecenter. 3.7 Arbetsformer och prestationer En systematisk projektstyrning och kvalitetssäkring Utvärderingsmyndigheterna bedriver till största delen sina verksamheter i projektform och använder olika rutiner och verktyg för att planera, genomföra, kvalitetssäkra och rapportera sina utvärderingsprojekt. Flera har också ofta tagit fram särskilda projektvägledningar och metodböcker för olika moment av projektprocessen. Utvärderingsmyndigheterna har även sinsemellan liknande kvalitetssäkringsmetoder. Dessa innebär vanligen att projekten använder referensgrupper som ofta består av både myndigheternas egna medarbetare och externa personer med särskild kompetens. Det förekommer även att myndigheterna håller särskilda seminarier och att externa opponenter anlitas för att inhämta synpunkter på metodval och preliminära analyser och slutsatser. Ett viktigt led i kvalitetssäkringen är även myndigheternas interna beredningsgång inför ledningens beslut om rapportering av projekt. SBU har till exempel en särskilt grundlig projekt- och kvalitetssäkringsprocess. Denna bygger på en internationellt vedertagen metod för att utvärdera medicinska behandlingsmetoder där arbetsgången består av ett antal fastställda arbetsmoment Rapporter och publikationer är den främsta prestationen För utvärderingsmyndigheternas utvärderingsrelaterade verksamheter består prestationerna till stor del av olika publikationer såsom rapporter, promemorior och working papers. En del av myndigheterna publicerar även rapporter och annat skriftligt underlag inom ramen för sin statistikverksamhet. Av diagram 3.1 nedan framgår antalet publikationer för respektive myndighet under Kulturanalys anlitar Statskontoret för stöd gällande bland annat IT, posthantering och vaktmästeri. Finanspolitiska rådet köper in viss administrativ service och hyr sina lokaler av Konjunkturinstitutet. 20 Tabellen avser publikationer som myndigheterna gjort tillgängliga på sina webbplatser. Det gäller exempelvis Finanspolitiska rådets årliga rapport och myndighetens sex underlagsrapporter 40

41

42

43

44

45

46

47 Samtidigt verkar utvärderingsmyndigheterna inom vitt skilda politikområden. Det finns stora skillnader i karaktär mellan till exempel kulturområdet, rättsväsendet, socialförsäkringsområdet och vårdsektorn, och det gör att myndigheternas närmare uppdrag och sakfrågor skiljer sig mycket åt. Dessa skillnader ger också att utvärderingsfrågorna och granskningsobjekten skiljer sig åt. De områdesspecifika förhållandena ställer krav på unik sakkompetens inom just det området. Därtill är utvärderingsmyndigheterna olika stora och har olika stora resurser till sitt förfogande, vilket gör att vissa är mer sårbara än andra när det gäller oplanerad frånvaro av personal. Vår samlade bild av utvärderingsmyndigheternas uppdrag och verksamhet är att det finns både likheter och betydande skillnader. I det fortsatta arbetet riktar vi därför in oss på de mer övergripande likheterna. I nästa kapitel redovisar vi våra iakttagelser om vilka faktorer som påverkar utvärderingsmyndigheternas förutsättningar för att vara en ändamålsenlig organisering av statlig utvärdering. 47

48 48

49 4 Faktorer som påverkar utvärderingsmyndigheternas ändamålsenlighet I detta kapitel redovisar vi våra iakttagelser av vilka faktorer som har betydelse för och påverkar ändamålsenligheten i de sektorsspecifika utvärderingsmyndigheternas verksamheter och rapporter. 4.1 Fokus på utvärderingsmyndigheternas relevans, kvalitet och resursanvändning Våra iakttagelser är inriktade på utvärderingsmyndigheternas uppgifter rörande analys och utvärdering, stabsstöd och kunskapsutveckling. Med ändamålsenlighet avser vi: Relevans (användbarhet) Kvalitet (trovärdighet och tillförlitlighet) Resursanvändning (kostnadseffektivitet). Dessa aspekter på ändamålsenlighet utgår från de övergripande motiven till att inrätta utvärderingsmyndigheterna såsom att fördjupa och bredda kunskapsunderlaget för att stärka styrningen och utvecklingen av politiken på berörda områden. Aspekterna anknyter även till kriterier för vad som vanligen betraktas som bra utvärderingar, se kapitel Relevans I detta avsnitt redovisar vi iakttagelser om faktorer som de berörda departementen och utvärderingsmyndigheterna ser som betydelsefulla för att myndigheterna och deras rapporter ska vara användbara för regeringen och Regeringskansliet. Vi belyser även utvärderingsmyndigheternas relevans för övriga målgrupper och användare samt deras roll för en långsiktig kunskapsutveckling Regeringen använder utvärderingsmyndigheter för resultatbedömning och styrning I budgetpropositionen redovisar regeringen varje år resultatet av den förda politiken och förslag till politikens fortsatta inriktning inom olika utgiftsområden. I budgetpropositionen för 2014 (prop. 2013/14:1) redovisar regeringen bedömningar av flertalet av de nio sektorsspecifika utvärderingsmyn 49

50 digheternas verksamheter och resultat. Av tabell 4.1 nedan framgår att regeringen generellt bedömer att myndigheterna i flera fall lämnar viktiga underlag för bedömningar och beslut om styrningen av politiken. Tabellen visar även att det finns vissa skillnader i på vilket sätt som regeringen bedömer att myndigheterna är relevanta och användbara. Tabell 4.1 Regeringens bedömningar i budgetpropositionen för 2014 Myndighet Regeringens allmänna bedömning Brå Regeringen ställer höga krav på att verksamheten inom rättsväsendet ska vara kunskapsbaserad. För att leva upp till detta krävs ett kontinuerligt arbete för att utveckla relevant och aktuell kunskap om effektiva metoder och arbetssätt. Brå, som har i uppdrag att vara ett centrum för forsknings- och utvecklingsverksamhet inom rättsväsendet, har en nyckelroll i dessa sammanhang. Finanspolitiska rådet Det huvudsakliga målet, att bidra till att finanspolitiken är långsiktigt hållbar, är uppnått genom publicering av rapporten Svensk finanspolitik. Genom publiceringen av rapporten samt genom att arrangera konferenser och seminarier m.m. har även målet uppnåtts vad gäller en ökad öppenhet och tydlighet kring den ekonomiska politikens syften och effektivitet. IFAU IFAU lämnar viktiga underlag för bedömningen av arbetsmarknadspolitikens måluppfyllelse. IFAU utgör en viktig resurs för att följa upp och utvärdera insatser och reformer inom Arbetsmarknads- och utbildningspolitiken vilka tillsammans med socialförsäkringen utgör stora offentliga utgifter. ISF De rapporter som ISF lämnade under 2012 har utgjort viktigt underlag för bedömningar och beslut inom de aktuella utgiftsområdena och genom sin granskning bidrar ISF till stärkt rättssäkerhet och effektivitet inom Försäkringskassan och Pensionsmyndigheten. Kulturanalys Verksamheten vid Kulturanalys har utvecklats mycket positivt. Regeringen vill gå vidare med ytterligare uppdrag till myndigheten för att stärka regeringens förutsättningar att bedöma effekterna av de statliga insatserna. SBU SBU bidrar i hög utsträckning till statens kunskapsstyrningsarbete. På regeringens uppdrag har SBU under 2013 publicerat ett flertal underlag som ger en samlad bild av den aktuella kunskapen inom ett antal områden. Tillväxtanalys (Regeringen redovisar ingen allmän bedömning om myndigheten i budgetpropositionen för 2014 eller i budgetpropositionen för 2013) Trafikanalys Trafikanalys har under 2012 lämnat stöd till Regeringskansliet och publicerat ett antal rapporter vilket bidragit till att arbetet med myndighetsstyrning, uppföljning och utvärdering samt omvärldsanalys förbättrats. Vårdanalys Vårdanalys inledde sin verksamhet under 2011 och är därmed en annan viktig del i regeringens arbete med att följa upp vårdens resultat. De samlade insatserna har starkt bidragit till att skapa effektiva verktyg för uppföljning av medicinska resultat och verksamhetsutveckling till nytta för den enskilda patienten. (Budgetpropositionen för 2013). Källa: prop. 2013/2014:1. En övergripande indikator på användbarheten i utvärderingsmyndigheternas analyser och utvärderingar är hur många av myndigheternas publikationer som explicit nämns av regeringen i budgetpropositionen. I diagram

51