Vad händer med utvärderingar om de inte används?

Transkript

1 Sohlman Hornsgatan Stockholm tel Vad händer med utvärderingar om de inte används? Innehållsförteckning 1. Sammanfattning och slutsatser 2. Utgångspunkter 2.1 Hypoteser om evidensbaserad policy och användning av utvärderingar 2.2 Utvärdering och goda utvärderingar 2.3 Regeringens sätt att använda utvärderingar 3. Konsekvenser av icke-användande 4. Vad göra? 4.1 De enskilda utvärderarna 4.2 Utvärderarna som kollektiv Referenser Bilaga 1 Regeringen och utvärderingar Budgetpropositionen för

2 1. Sammanfattning och slutsatser I det här pappret sammanfattar jag mina bedömningar av regeringens sätt att använda utvärderingar. Det sker mot bakgrund av mina tidigare studier av goda utvärderingar och en hypotes om att vid evidensbaserad politik borde användning av utvärderingar vara normaltillståndet och användningen instrumentell snarare än taktisk. Trots att regeringen bekänner sig till en evidensbaserade politik har detta inte lett till att effektiva utvärderingsstrategier. De aktuella utvärderingarna används snarare taktiskt eller inte alls. De används inte för att underbygga och utveckla politiken (avsnitt 2.3). Min bedömning är att detta icke-användande inte är långsiktigt hållbart. Förr eller senare kommer utvärderandet att falla i vanrykte. Om man vill värna om den högkvalitativa utvärderingens framtid är det viktigt att diskutera vad som kan göras för att förändra situationen. Vad har de enskilda utvärderarna respektive utvärderarna som kollektiv för ansvar och möjligheter (jfr. avsnitt 4.1 och 4.2). De förslag till åtgärder som jag tar upp i det avslutande avsnittet och som skulle kunna vidtas för att förbättra förutsättningarna för användandet av utvärderingar ska ses som exempel avsedda att inspirera till diskussion och handling. 2. Utgångspunkter Jag har gjort flera studier av regeringens sätt att använda utvärderingar särskilt inom det arbetsmarknadspolitiska området (Lemne & Sohlman, 2004, 2006, Sohlman, 2004, 2006a, 2006b, 2009, 2010a, 2010b, 2010c, 2011 ). Senast kompletterade jag med en genomgång av användningen av utvärderingar i budgetpropositionen för I det senare fallet tog jag inte bara med arbetsmarknadspolitiken utan även användningen av utvärderingar i Finansplanen och det inledande s.k. Granskningsavsnittet som bl.a. handlar om Finanspolitiska rådets och Riksrevisionens utvärderingar. (Se bilaga 1 till denna rapport.) Nedan (avsnitt 2.3) återfinns en sammanfattning av mina slutsatser beträffande regeringens sätt att använda utvärderingar. Mot denna bakgrund tar jag upp en diskussion om detta användande eller snarare icke-användande av utvärderingar och dess konsekvenser. Och vidare, om man inte anser denna situation tillfredsställande, kommer den naturliga följdfrågan vad som kan göras för att förändra sakernas tillstånd i positiv riktning. Men först några ord om evidensbaserad politik, användning av utvärderingar och definitioner av utvärderingar och goda utvärderingar. 2.1 Hypoteser om evidensbaserad policy och användning av utvärderingar Den svenska regeringen säger sig bedriva evidensbaserad politik (Sohlman, 2010b, 2011). 2

3 En vanlig hypotes är att vid evidensbaserad politik (EBP) blir det i första hand frågan om ett instrumentellt, konceptuellt och kunskapsuppbyggande användande av utvärderingar. Det innebär en kognitiv snarare än en taktisk/symbolisk användning av utvärderingar. I det senare fallet tjänar utvärderingar syften som att vara rituellt självförstärkande eller bortförklarande. (Boswell, 2009) Förutom regeringars principiella inställning till utvärderingar har hävdats att även andra faktorer i den politiska omgivningen spelar en roll för hur utvärderingar används. Forskare har argumenterat för att en instrumentell användning av utvärderingar är desto troligare i ett EBPsammanhang och i en sektor, som liksom den svenska arbetsmarknadspolitiska, domineras av en teknokratisk diskurs. Arbetsmarknadspolitiken i Sverige är output-orienterad och transparant i det att mål, medel och resultat tämligen lätt kan avläsas. (Boswell, 2009, Sager & Rissi, 2011) Det politiska systemet har naturligtvis en annan logik än det vetenskapliga. Inte desto mindre är det av intresse att undersöka den instrumentella hypotesen beträffande användning av utvärderingar i en kontext av evidensbaserad politik. 2.2 Utvärdering och goda utvärderingar Det finns många definitioner av utvärdering och ännu fler meningar om vad som är en god utvärdering. I den här studien uppehåller jag mig vid utvärderingar av klassiskt snitt, dvs. efterhandsbedömningar av offentliga insatser. Utvärderingar är aldrig värderingsfria. Bedömningar och tolkning av empiriska resultat och observationer är alltid nödvändiga. En förutsättning för goda utvärderingar har ansetts vara att utvärderaren drar välmotiverade, tillförlitliga och balanserade slutsatser. (Hurteau et al., 2010). Min sammanfattande bedömning är att de utvärderingar vars användning jag diskuterar håller en hög kvalitet. De har i allra flesta fall publicerats i professionella tidskrifter och tagits upp i internationella och svenska forskningsöversikter. 2.3 Regeringens sätt att använda utvärderingar I mina översikter av utvärderingsanvändning, som främst handlat om arbetsmarknadspolitik, har jag skiljt på politiska reformer och marginella förändringar av politiken. Min slutsats är att när det gäller den tidigare socialdemokratiska regeringen och de större reformerna användes utvärderingar taktiskt eller inte alls. Kunskapslyftet infördes exempelvis utan hänvisning till några utvärderingar. Däremot för marginella förändringar av politiken användes utvärderingar i viss utsträckning instrumentellt. Vid regeringsskiftet 2006 lades politiken och i synnerhet arbetsmarknadspolitiken kraftigt om. På ett övergripande plan kan dessa förändringar knappast sägas vara utvärderingsdrivna exempelvis när det handlade om att övergå till att arbeta med incitament (för arbetslösa att söka jobb och arbetsgivare att anställa) i stället för med direkta arbetsmarknadspolitiska åtgärder (som arbetsmarknadsutbildning och anställningsstöd). Däremot fanns det på ett underordnat plan 3

4 forskningsstöd för att exempelvis avskaffa de existerande ungdomsprogrammen och för att införa mer av jobbsökande och förstärkta förmedlingsinsatser i arbetsmarknadspolitiken. Jag har därefter följt hur arbetsmarknadspolitiken, när den väl hade introducerats, utvecklats i förhållande till utvärderingar (Sohlman 2010b). Vad jag tycker mig se är att inte bara de påföljande större förändringarna i arbetsmarknadspolitiken (t.ex. införandet av externa aktörer i arbetsförmedlingen) har blivit ideologidrivna utan även att valet av medel (t.ex. jobbsökande och sänkta socialavgifter för ungdomar) har politiserats. I budgetpropositionen för 2011 är bilden i stort sett densamma men med mitt vidgade perspektiv kan dock vissa nyansskillnader iakttas. Inom Regeringskansliet har man gjort den uppdelningen att Finansdepartementet diskuterar de utvärderingar och förslag som framförs av Finanspolitiska rådet oavsett utgiftsområde. Riksrevisionens granskningar behandlas dels av Finansdepartementet i budgetpropositionens inledande avsnitt dels inom vart och ett av de berörda utgiftsområdena. Forskning och utvärderingar inte är något underlag som används för att motivera de stora dragen i den ekonomiska politiken. Hänvisningar till forskningen och utvärderingar förekommer men de fyller snarare funktionen att inge förtroende och peka på att ett vetenskapligt angreppssätt ligger bakom arbetet med budgeten. I bemötandet av Finanspolitiska rådets och Rikrevisionens förslag intar finansdepartementet en defensiv attityd. Regeringens beslut är väl underbyggda, man har gjort vad man kunnat i redovisningshänseende etc. Under hand verkar man dock satsa på att utveckla arbetsmetoderna och rapporteringen. Ett slags underhandsdialog äger rum beträffande olika redovisningstekniska aspekter. Det är en styrka för Finanspolitiska rådet att få återkomma årligen och med en bred ansats granska finanspolitiken. Ad hoc granskningar av enstaka politiska åtgärder, som Riksrevisionen arbetar med, kanske inte har samma förutsättningar att få genomslag. Riksrevisionen har dock fördelen av att vara ett verk under riksdagen även om den fördelen kanske inte ska överdrivas. I substansfrågorna tar regeringen varken intryck av Finanspolitiska rådet eller Riksrevisionen. I ett antal fall står regeringens bedömningar/förhoppningar mot teori och empiri. Andra förklaringar till skiljaktiga åsikter är olika förväntningar i osäkra prognossituationer och i avsaknad av utvärderingar. Regeringen/finansdepartementet skriver i det inledande avsnittet av budgetpropositionen att det är angeläget att utvärderingar av arbetsmarknadspolitiska åtgärder sker kontinuerligt och är en integrerad del av planeringen vid införande och avskaffande av insatser. Det är även viktigt att veta vilka åtgärder som kan antas lösa problemen på bästa sätt och det behövs därför information om huruvida de åtgärder som genomförts är framgångsrika. Arbetsmarknadsdepartementet arbetar dock inte systematiskt med utvärderingar. Resultatet är att det saknas kunskap om hur de åtgärder regeringen satsat på fungerar och hur pass effektiva de är för olika grupper och i olika konjunkturlägen. Arbetsmarknadsdepartementet svarar inte heller på den mer sammanhållna kritik som återfinns hos Finanspolitiska rådet och Riksrevisionen. Man tar endast ad hoc upp vissa utvärderingar i samband med genomgången av olika arbetsmarknadspolitiska åtgärder. Några exempel på hur regeringen hanterar utvärdering i samband med regeringens viktigaste arbetsmarknadspolitiska åtgärder: Förmedlingsinsatser 4

5 Regeringens syn på förmedlingsinsatser och jobbsökaraktiviteter är att de otvetydigt är effektiva åtgärder. Utvärderingsstudier har visat att förstärkta förmedlingsinsatser kan vara billiga och effektiva arbetsmarknadspolitiska åtgärder. När det kommer till detaljer saknas dock i långa stycken evidens. I vilka konjunkturlägen de passar, i hur pass stora volymer, för vilka grupper, tidigt eller sent under en arbetslöshetsperiod, vilka element den förstärkta arbetsförmedlingen ska innehålla, hur de ska kombineras med screening, kontroller, sanktioner och avskräckning etc. Kompletterande aktörer De effektutvärderingar som finns indikerar att kompletterande aktörerna inte är effektivare än Arbetsförmedlingen i att hitta sysselsättning för de arbetslösa. Både Finanspolitiska rådet och Långtidsutredningen är tveksamma till regeringens politik på detta område. Regeringen framhärdar dock i att hoppas på positiva bidrag från kompletterande aktörer med tillägget att det är angeläget med fortsatt uppföljning och utvärdering så att verksamheten kan förbättras. Jobb- och utvecklingsgarantin Regeringen är nöjd med Jobb- och utvecklingsgarantin. Arbetsförmedlingen kommer att inom ramen för minskade resurser och fler uppdrag genom sitt utvecklingsarbete lyckas med att åstadkomma både mer aktiviteter för fler deltagare och aktiviteter av högre kvalitet. Det behövs inga utvärderingar, inga ytterligare förtydliganden om fas tre av garantin eller de kompletterande aktörernas roll. Det finns dock fortfarande inga effektutvärderingar av Jobb- och utvecklingsgarantin. Aktivitetsgraden i garantin är mycket låg. Långtidsutredningens slutsats är att en ökad aktivitet i Jobb- och utvecklingsgarantin liksom i Jobbgarantin för ungdomar framstår som ett av de mest angelägna förändringsbehoven inom arbetsmarknadspolitiken. Sänkta socialavgifter för ungdomar Regeringen har noterat att det har initierats externa utvärderingar av ungdomsnedsättningen och avser att följa resultaten av detta arbete. Regeringen har inte tagit ställning till om den ska initiera någon egen utvärdering. Riksrevisionen rekommenderade att åtgärden borde utvärderas givet att den resulterade i få nya jobb till höga kostnader. Finanspolitiska rådet är mer uttalat kritiskt till sänkningen av arbetsgivaravgifter för ungdomar. Sänkta arbetsgivaravgifter bedöms av rådet vara ett ineffektivt sätt att öka sysselsättningen för ungdomar. Långtidsutredningen ger uttryck för en liknande åsikt. Den generella sänkningen av arbetsgivaravgifter för ungdomar bör avskaffas. Sänkta arbetsgivaravgifter kan vara motiverade för svaga grupper, vilket i fallet ungdomar, skulle kunna vara unga utan slutbetyg från gymnasiet. Arbetspraktik Regeringen har gjort stora satsningar på arbetspraktik. Vare sig tidigare studier eller Riksrevisionens senaste effektutvärdering ger något stöd för bedömningen att arbetspraktik skulle ge relativt större sysselsättningseffekter än andra programinsatser eller i kombination med andra krisåtgärder. Tidigare erfarenheter av kraftiga volymökningar av arbetsmarknadspolitiska åtgärder reser snarare frågan om vilken kvalitet som kan förväntas på praktikplatser som genereras i stor skala. Sammanfattningsvis, trots att regeringen bekänner sig till en evidensbaserade politik har detta inte lett till att effektiva utvärderingsstrategier utvecklats. De aktuella utvärderingarna utnyttjas ad hoc och snarare taktiskt än instrumentellt. De används inte för att underbygga och utveckla politiken. 5

6 3. Konsekvenser av icke-användande Det finns ingen empirisk forskning av effekterna av regeringens sätt att använda utvärderingar. Konsekvenser skulle kunna vara: För utvärderarna. Att de tröttnar på att lägga ner möda på att få fram goda utvärderingar när de inte används. För utvärderingssystemet. Att utvärderingssystemet skadas. En följd skulle kunna vara att det blir allt mindre oberoende utvärdering och att kommersiella utvärderingsaktörer tar över. Ett faktum är dock att de stora utvärderingsorganen Finanspolitiska rådet, Riksrevisionen och IFAU (Institutet för arbetsmarknadspolitisk utvärdering) fortsätter att år efter år producera goda utvärderingar. Dessa organ är offentliga myndigheter och så länge deras verksamhet får fortsatt offentlig finansiering kan de naturligtvis fortsätta sin verksamhet. De kan dessutom kanske hålla moralen upp genom att de kan få avsättning och uppskattning för sina produkter i andra sammanhang. De kan forska och skriva för publicering i vetenskapliga och professionella nätverk. Det är möjligt att det senare är väl så viktigt för berörda utvärderare. Utvärderande organ kanske inte heller lägger särskilt stor vikt vid vad beställarna gör med deras utvärderingar. Det finns indikationer på att det inte verkar vara särskilt intresserade av att följa upp vilka avtryck deras utredningar och utvärderingar gör. (Sohlman & Lemne, 2007) Min bedömning är dock att detta långsiktigt inte är en hållbar situation. Förr eller senare kommer utvärderandet falla i vanrykte. Om man vill värna om den högkvalitativa utvärderingens framtid är det därför viktigt att diskutera vad som kan göras för att förändra situationen. 4. Vad göra? Vilket ansvar och vilka möjligheter har utvärderarna som enskilda individer och kollektiv att motverka de negativa effekterna av icke-användandet. 4.1 De enskilda utvärderarna De möjligheter jag främst ser för enskilda utvärderare att främja användande av utvärderingar är: Att kommunicera sina resultat till media och allmänheten. Om utvärderingsresultat sprids och uppmärksammas i pressen kan det bli svårare för de politiska beslutsfattarna att ignorera dem. Debattartiklar i tidningarna typ på DN-debatt och Svenska Dagbladets Brännpunkt kan vara effektiva. (Jfr. Sohlman, 2008, Hartman, 2011) Att ägna sig åt större och för de politiska beslutsfattarna mer relevanta frågor. Utvärderingar av övergripande politiska frågor har kanske bättre chanser att bli uppmärksammade än mindre ad hoc utvärderingar. Finanspolitiska rådets rapporter, för att inte tala om SNS utvärdering av 6

7 privatiseringen av offentliga tjänster (Hartman m. fl. 2011), har mött stort intresse. Att föra ut resultaten till forskarvärlden. Där de kan bevaras för framtida bruk, både av forskare och politiker. I det förra fallet kan de ge underlag för metaanalyser som kan förstärka betydelsen av olika enskilda utvärderingsresultat. Till problemen för enskilda utvärderare hör dock att de kan ha svårt att mobilisera tillräckligt med resurser för att utvärdera stora och angelägna politikområden och uthålligheten i deras aktiviteter kan vara relativt låg. Resultaten av enskilda utvärderares undersökningar och mindre ad hoc utvärderingar kan lätt försvinna genom att de förtigs och/eller förtalas. 4.2 Utvärderarna som kollektiv Som kollektiv, via professionella organisationer, kan utvärderare få större inflytande. Till aktuella aktörer i detta sammanhang hör SVUF (Svenska utvärderings föreningen), alla de myndigheter med särskilt utvärderingsansvar som numera finns i Sverige samt övriga utvärderande organ vare sig de är offentliga eller ej. Till myndigheter specialiserade på utvärdering/utredning hör: Finanspolitiska rådet FOI, totalförsvarets forskningsinstitut IFAU, institutet för arbetsmarknadspolitisk utvärdering Myndigheten för Kulturanalys SADEV, institutet för utvärdering av internationellt utvecklingssamarbete SBU, staten beredning för medicinsk utvärdering Tillväxtanalys, myndigheten för tillväxtpolitiska utvärderingar och analyser. Exempel på myndigheter med bl.a. utvärderande uppdrag är: Arbetsförmedlingen Försäkringskassan Högskoleverket Naturvårdsverket Riksrevisionen Skolverket SIDA Socialstyrelsen Tillväxtverket Forskningsråden: Vetenskapsrådet, FAS (forskningsrådet för arbetsliv och socialvetenskap), Formas (forskningsrådet för miljö, areella näringar och samhällsbyggande) och Vinnova (innovationsmyndigheten). Andra utvärderande organ är: Riksbankens jubileumsfond 7

8 SNS, Studieförbundet näringsliv och samhälle MISTRA, stiftelsen för miljöstrategisk forskning Tillsammans eller enskilt skulle dessa organ kunna uppmärksamma och verka för användning av utvärderingar. Exempel på aktiviteter dessa organ skulle kunna ägna sig åt i detta sammanhang är: Att producera översikter av forsknings- och utvärderingsresultat. Hypotesen bakom detta förslag är att dels göra utvärderingsresultat lättillgängliga dels ge dem större tyngd. IFAU och SNS (Studieförbundet Näringsliv och Samhälle) har gjort dylika sammanställningar. (Björklund m. fl., 2010, Forslund & Vikström, 2011, Hartman m. fl. 2011) Att ta sig an stora utvärderingsprojekt. De stora utvärderingsprojekten kan bli politiskt kontroversiella. Därför är det viktigt att utvärderande organisationer har en tydlig policy när det gäller utvärderingsprojekten och en gemensam uppslutning kring dem. Ordna konferenser om utvärderingsresultat. Det skulle kunna bli ett naturligt inslag på varje SVUF-konferens att en del av den ägnades åt användning av utvärderingsresultat. (Man kunde exempelvis ha en följetong om hur regeringen eller enskilda kommuner sedan senast använt utvärderingsresultat på olika områden.) Starta webbsidor. Webbsidor där man presenterar och diskuterade utvärderingsresultat kunde också vara värdefulla. Satsa på forskning om användning av utvärderingsresultat och konsekvenser av det aktuella användandet. Genom denna forskning skulle man eventuellt kunna skapa ett större tryck på beslutsfattarna att tillvarata utvärderingsresultaten. Detta är en viktig förutsättning för att kunna fortsätta att attrahera kompetenta forskare till utvärderingsverksamheten. På längre sikt är det viktigt att verka för professionalism inom utvärderingsområdet. Enligt vissa bedömare har inte utvärderingsområdet uppnått status av profession (Piciotto, 2011). Standards och riktlinjer skulle behövas på området. Eventuellt kunde de anknyta till etikregler i offentlig och privat sektor. Sedan gäller det naturligtvis att få beställarna av utvärderingar att ansluta sig till aktuella standards och även att få kommersiella utvärderare att anamma dessa standards. Ökad förståelse mellan politiker och utvärderare. Det är naturligtvis viktigt att å ena sidan utvärderarna att alltid hålla i minnet att utvärderingar med all rätt inte kan vara det enda underlaget vid beslutfattande. Politiskt beslutsfattande är inte en teknisk rationell aktivitet utan det handlar om att fatta lämpligast möjliga beslut. Politik har alltid en moralisk, etisk dimension. Politikutformning är inte enbart en 8

9 expertuppgift. Men politikerna måste å andra sidan accepterar att utvärdering kan ge vägledning. De bör hanteras hederligt och med respekt. Chanserna till ett gott samarbete mellan politik och utvärdering ökar om det finns en ömsesidig förståelse mellan politiska beslutsfattare och utvärderare. (Majone 1992, Sanderson 2004, SOU 2007:75) Bygga broar mellan forskning, utredning, utvärdering inom olika discipliner. Det finns olika utvärderingskulturer inom olika vetenskapliga discipliner. Dessa har i sin tur gett upphov till olika traditioner inom olika ämnesområden förutom att ansatserna ser olika ut inom forskning och utredning. Normaltillståndet kanske är att man inom varje sektor ignorerar varandra. Detta är beklagligt då man förmodligen skulle ha mycket att lära av varandra. För att inte tala om hur mycket det skadar utvärderingens ställning om man motarbetar varandra. Sammanfattningsvis finns mycket som skulle kunna göras för att förbättra förutsättningarna för att utvärderingar ska användas. Förslagen ovan ska ses som exempel avsedda att inspirera till diskussion och handling. 9

10 Referenser Björklund, A., Fredriksson, P., Gustafsson, J-E och B. Öckert, 2010, Den svenska utbildningspolitikens arbetsmarknadseffekter: vad säger forskningen? IFAU-rapport 2010:13. Boswell, C., 2009, The Political Uses of Expert Knowledge. Immigration and Social Policy. Cambridge University Press. Forslund A. och J. Vikström, 2011, Arbetsmarknadspolitikens effekter på sysselsättning och arbetslöshet en översikt. IFAU-rapport, 2011:7. Hartman, L., 2011, Privatiseringar i välfärden har inte ökat effektiviteten. Dagens Nyheter, Hartman, L., Anell, A., Mörk, E., Vlachos, J., Hanspers, K., Lundin, M., Szebehely, M. och S. Wiklund, 2011, Konkurrensens konsekvenser. Vad händer med svensk välfärd? SNS. Hurteau, M., Houle, S., & S. Mongiat, How Legitimate and Justified are Judgments in Program Evaluation? In Evaluation, No. 3 July, 2009 (Vol. 15.) Lemne, M. och Å. Sohlman, 2004, Governance, Democracy and Evaluation From not evaluating at all to learning from ex post evaluations the strenuous Swedish way towards accountability. Paper prepared for the European Evaluation Society Sixth Conference, Berlin, Lemne, M. och Å. Sohlman, 2006, From Drainpipes to Integrated Systems. Evaluations for policy efficiency and democratic development in different policy sectors in Sweden. Paper prepared for the European Evaluation Society Seventh Conference, London, Majone G., 1992, Evidence, Argument and Persuasion in the Policy Process. New Haven, CT, Yale Univeristy Press. Piciotto, R., 2011, The logic of evaluation professionalism. I Evaluation 2011:2. Sager, F. och C. Rissi., 2011, The limited scope of policy appraisal in the context of referendum democracy the case of regulatory impact assessment in Switzerland. I Evaluation 2011:2. Sanderson, I., 2004, Getting Evidence into Practice: Perspectives on Rationality. I Evaluation, nr 3 juli, Sohlman, Å, 2004, Utvärdering och politikutformning - Exemplen Kunskapslyftet och Individuellt kompetenssparande. Paper prepared for the Annual Conference of the Swedish Evaluation Society, Stockholm. Sohlman, Å., 2006a, Arbetsmarknadspolitiska åtgärder för integration. Slutrapport. Bilaga till Rapport Integration Integrationsverket. 10

11 Sohlman, Å., 2006b, Styrsystemet och utvärderingar som en del av styrsystemet. Bilaga till Rapport Integration Integrationsverket. Sohlman, Å., 2008, Allvarliga brister i Ams verksamhet. Dagens Nyheter, Sohlman, Å., 2009, Erfarenheter av arbetsmarknadspolitiska åtgärder en komplex historia. TCO granskar: Arbetsmarknadspolitiska åtgärder, 2009:11. Sohlman, Å., 2010a, Arbetsmarknadspolitik för att motverka långa arbetslöshetstider. LO. Sohlman, Å, 2010b, Evaluation for enlightened policies? A Swedish case study on the utilisation of evaluations for employment policies. Paper presented at the EES conference in Prague Sohlman, Å., 2010c, Kommentar till P. Skedinger Hur fungerar arbetsmarknadspolitiken under olika konjunkturlägen. Finanspolitiska rådets konferens juni Sohlman, Å., 2011, Användning av utvärderingar en arbetsmarknadspolitisk fallstudie. Forthcoming. Sohlman, Å. och M. Lemne, 2007, Myndigheternas utvärderingar reslutat från en enkätundersökning. Svenska utvärderingsföreningens konferens SOU 2007:75, Att styra staten - regeringens styrning av sin förvaltning. 11