En granskning av tillämpningen av programteori i rapporter

Transkript

1 En granskning av tillämpningen av programteori i rapporter En förstudie i programteori med verksamhetslogik

2 ESV:s rapporter innehåller regeringsuppdrag, uppdrag från myndigheter och andra instanser eller egeninitierade utredningar. Publikationen kan laddas ner som tillgänglig PDF och beställas från Word-formatet kan tillhandahållas via Publikationsservice. Datum: Dnr: ESV-nr: Copyright: ESV Rapportansvarig: Kristin Lilieqvist

3 Förord Den här förstudien är en del av projektet Programteori med verksamhetslogik en handledning och har varit en av mina uppgifter som praktikant på Ekonomistyrningsverket under höstterminen Rapporten är framtagen i nära samarbete med projektledare Maria Bergström. Kristin Lilieqvist Definition av ekonomisk styrning Ekonomisk styrning har klassiskt definierats som en syntes mellan finansiell styrning och mål-och resultatstyrning, där finansiell styrning innebär styrning av en verksamhet genom angivande av finansiella ramar samt villkor och restriktioner knutna till dessa. 1 Finansiell styrning kan även uttryckas som finansiella restriktioner som gäller för en verksamhet att nå vissa mål. 2 Mål- och resultatstyrningen innebär att mål anges för en verksamhet, att resultatinformation tas fram systematiskt och att resultatet analyseras och bedöms mot uppställda mål. 3 Tillsammans utgör alltså den finansiella styrningen och mål- och resultatstyrningen den ekonomiska styrningen. Under senare år har dock regeringen tryckt på vikten av att den ekonomiska styrningen och i synnerhet mål- och resultatstyrningen - med utgångspunkt i de olika statliga verksamheternas styrbehov - utvecklas i samklang med övriga styrmedel. Tittar man på innehållet i de dokument 4 som behandlar den ekonomiska styrningen 1 ESV:s ordbok. 2 Ds 2000:63, Finansdepartementet, Ekonomisk styrning för effektivitet och transparens. 3 ESV:s ordbok. 4 Proposition 2009/10:175 Offentlig förvaltning för demokrati, delaktighet och tillväxt SOU 2008:118 Styra och ställa förslag till en effektivare statsförvaltning ESV 2003:4 En kartläggning av användningen av myndigheternas årsredovisningar i Regeringskansliet ESV 2009:16 Kartläggning av regleringsbrev ESV 207:23 Resultat och styrning i statsförvaltningen 3

4 och övrig förvaltningspolitik så har man i praktiken inte hållit sig till rågången mellan ekonomisk styrning och andra styrmedel, utan diskuterar dessa simultant. Detta har även manifesterats i regeringens förändrade styrning av de statliga myndigheterna. ESV anser därmed att det inte längre finns anledning att definitionsmässigt urskilja vissa styrmedel som tillhörande den ekonomiska styrningen och andra inte. Fokus bör istället ligga på resultaten, d.v.s. det som styrningen ska utmynna i och som kommer medborgarna till del. ESV föreslår därför att ekonomisk styrning hädanefter ges följande definition: Ekonomisk styrning är styrning som leder till att myndigheterna med hög effektivitet och god hushållning med statens medel uppnår de resultat som riksdagen och regeringen har beslutat. DS 2000:63 Ekonomisk styrning för effektivitet och transparens 2007:75 Att styra staten regeringens styrning av sin förvaltning Proposition 2011/12:1 (Budgetproppen 2011) 4

5 INNEHÅLL Innehåll Förord Sammanfattning Inledning och bakgrund Programteori, verksamhetslogik, programlogik etc.? Begrepp och definitioner Aspekter vi undersökt Urval och avgränsning Urval Avgränsning Resultat Vilken terminologi och definition används? Framgår det vem som satt målet och hur kopplingen till den politiska nivån ser ut? Är programteorin tydlig? Hur detaljerad är programteorin? Har man belagt kopplingen mellan slutprestation och effekt? Används programteorin som analysinstrument? Vilket syfte har programteorin? Diskussion och slutsatser Referenser

6 SAMMANFATTNING 1 Sammanfattning Förstudien är en analys av sjutton rapporter som har gemensamt att de innehåller ordet programteori eller något snarlikt begrepp (programlogik, effektlogik, verksamhetslogik, interventionslogik, förändringsteori). Utifrån hur begreppen beskrivs och används i rapporterna har vi inte kunnat se någon tydlig distinktion mellan dem, utan de används så gott som synonymt. Även om majoriteten av programteorierna har bedömts ha hög tydlighet, hög detaljnivå och har presenterat någon form av koppling mellan slutprestation och effekt så finns det ett stort glapp mellan programteoridiskursen och hur programteori används i praktiken i rapporterna. De idealtypiska programteorierna och exemplen i programteorilitteraturen är mycket mer utförliga, strukturerade och tydligt presenterade än dem som finns i de rapporter vi granskat. Slutsatsen är att det finns stor potential att ytterligare utveckla bruket av programteori. Särskilt i planeringen av upplägget av ett program finns stora möjligheter att öka användningen av programteoriinstrumentet. Som vi förstått rapporterna har det inte funnits uttalade programteorier skapade inför programmets start av de programansvariga, utan programteorin har utarbetats av rapportförfattaren i syfte att beskriva och/eller analysera pågående eller avslutad verksamhet och/eller vara grund för framtida utvärderingar eller satsningar. 6

7 2 Inledning och bakgrund Den här rapporten är en förstudie till projektet Programteori med verksamhetslogik, som syftar till att ta fram en metod och handledning riktad till departement och myndigheter om hur de kan ta fram och arbeta med programteori och verksamhetslogik. Programteorin kan fungera som ett stöd för styrningen av statsförvaltningen både vad gäller planering och utvärdering av verksamheten. Förstudien har som syfte att undersöka hur programteori och verksamhetslogik används av myndigheter och utvärderare i praktiken. Används det ex ante och som analysinstrument, d.v.s. att man i början av en utvärdering försöker utröna hur programteorin ser ut, och sedan använder den för att dra slutsatser under utvärderingens gång? Eller används det ex post, som ett sätt att sammanfatta, förtydliga och åskådliggöra sina slutsatser? Eller händer det att programteorin inte tillför någonting till rapporten eller rent ut av snarare skapar förvirring än ökar läsbarheten? Vi vill med denna rapport skapa en bild av mogenheten i bruket av programteori och verksamhetslogik och undersöka graden av utveckling hos teorierna. Detta är alltså en metaanalys över tillämpningen av programteori i rapporter. 2.1 Programteori, verksamhetslogik, programlogik etc.? Begrepp och definitioner Ofta används snarlika begrepp för att beskriva samma eller närliggande saker. I denna rapport har vi valt att främst använda ordet programteori. Med det menar vi hur tanken bakom en viss åtgärd/insats/verksamhet ser ut, d.v.s. hur man har tänkt sig att målet ska nås. Vad är det som gjort att just dessa resurser och insatser valts, och hur förväntas de bidra till att nå det övergripande målet? En del av programteorin utgörs av den s.k. verksamhetslogiken, som kan sägas vara en förenklad (och ofta grafisk) beskrivning av programteorin. En stiliserad bild av en verksamhetslogik brukar se ut ungefär såhär: 7

8 Bild rån Ekonomistyrningsverkets skrift om verksamhetslogik (ESV 2011:16) Förenklat kan man säga att verksamhetslogikens vänstra led rör implementeringen inom organisationen/förvaltningen (med vilka aktiviteter man omvandlar vilka resurser till vilka prestationer) medan det högra ledet beskriver vad som händer i samhället när en prestation lämnar organisationen och kommer en målgrupp till del. En programteori kan bestå av flera olika verksamhetslogiker och effektkedjor. För en mer utvecklad beskrivning av programteori och verksamhetslogik, se t.ex. ESV:s publikation Verksamhetslogik ger överblick, åstadkommer delaktighet och skapar förståelse 5 eller Purposeful program theory effective use of theories of change and logic models av Sue Funnell och Patricia Rogers. 5 ESV 2001:16 8

9 3 Aspekter vi undersökt De frågeställningar vi haft i förhållande till programteorierna sammanställs i tabellen nedan. Varje enskild fråga utvecklas vidare i resultatkapitlet, där vi också ger en samlad bild av läget för den aspekt frågan. Vilken terminologi och definition används? Framgår det vem som satt målet och hur kopplingen till den politiska nivån ser ut? Är teorin tydlig? Hur detaljerad är programteorin? Har man belagt kopplingen mellan slutprestation och effekt? Används programteorin som analysinstrument? Vilket syfte har programteorin? 4 Urval och avgränsning 4.1 Urval Urvalet har primärt skett genom sökning på hemsidor tillhörande de myndigheter som finns nämnda i Statskontorets rapport Fristående utvärderingsmyndigheter en förvaltningspolitisk trend. Sökorden har varit bl.a. programteori, program theory, verksamhetslogik, programlogik och interventionslogik. Genom denna process fick vi tag i femton rapporter. Därefter har vi kontaktat ett antal utvärderingsforskare och seniora utvärderare och bett dem komplettera vår lista med utvärderingar som de vet använder sig av programteori i någon mening, helst sådana som de anser vara exempel på där programteorin har en verklig funktion i rapporten. Detta genererade ytterligare rapporter varav två hann komma med i urvalet. Det totala materialet består således av sjutton rapporter som använder programteoribegreppet (eller något av de närliggande orden). En del av rapporterna i urvalet är inte klassiska utvärderingar, utan kan i vissa fall bara innehålla en redogörelse för en programteori 6 eller är bara en beskrivning av hur man kan ta fram en programteori 7. Det innebär att vi inte kan undersöka användningen av programteorin i dessa fall, utan bara bedöma teorierna i sig. 6 Kartläggning av asylverksamheten i termer av verksamhetslogik, Ekonomistyrningsverket 7 Lärande uppföljning för jämställda verksamheter, Sveriges Kommuner och Landsting 9

10 4.1.1 Avgränsning Urvalet är varken stort nog eller tillräckligt vetenskapligt utfört för att man ska kunna generalisera slutsatserna utanför rapportens sammanhang. Rapportens ambition är att skapa en bild av hur det kan se ut, inte att producera en allmängiltig sanning. Man bör också vara medveten om att det finns många faktorer som vi inte har tittat på och som påverkar en utvärderings (och programteoris) kvalité, däribland tid, pengar, antal personer, tillgång till material, metoder och tidigare erfarenheter. De i studien inkluderade rapporterna kan alltså vara som att jämföra äpplen och päron vad gäller förutsättningarna för att formulera en programteori och genomföra en utvärdering. 10

11 5 Resultat Nedan beskrivs de olika aspekter som vi har analyserat rapporterna ur. Varje rubrik/fråga utvecklas och redovisas för sig. 5.1 Vilken terminologi och definition används? Inledningsvis har vi undersökt vilket ord man primärt använder för att benämna det vi i denna rapport valt att kalla programteori och om (och i så fall hur) man har valt att definiera vad man menar med begreppet. I definitionen har vi letat efter medvetna avgränsningar där man på något sätt indikerar att programteorin är en förenklad bild av verkligheten. Det vanligaste ordet är programlogik, som nämns i elva av de sjutton rapporterna. Det näst vanligaste är programteori som nämns i fyra rapporter. Effektlogik nämns i två rapporter, medan begreppen förändringsteori, verksamhetslogik och interventionslogik bara finns med i varsin rapport. 8 Begrepp Förekomst (antal rapporter ) Programlogik 11 Programteori 4 Effektlogik 2 Förändringsteori 1 Verksamhetslogik 1 Interventionslogik 1 Alla rapporter utom tre gör någon form av förklaring (liknande en definition) av begreppet man använt. Detalj- och konkretionsnivån i begreppsbeskrivningarna är skiftande, men ingen säger uttalat i direkt anslutning till definitionen att teorin är en förenklad bild av verkligheten. Dock kan ord som modell, karta och beskrivning som används i en del definitioner vara en indikation på detta. Vissa rapporter har vid genomgång av den aktuella programteorin med en formulering som visar på en medvetenhet kring att det är en förenkling av verkligheten, t.ex. uppställningen gör inte anspråk på att ge en uttömmande beskrivning av alla faktorer som kan tänkas påverka [programmets]olika mål och som det kan vara 8 Att summan begrepp överstiger antalet rapporter beror på att man i tre fall använt sig av två begrepp, till synes synonymt, eller åtminstone utan att berätta för läsaren om (och i så fall hur) man gör skillnad mellan dem. 11

12 rimligt att beakta i sammanhanget och att programteorin är ett lite idealiserat sätt att sammanfatta effekterna av programmet. Vi kan inte uttyda någon skillnad i betydelse mellan begreppen. Oavsett etikett beskrivs ungefär samma sak, och man kan säga att orden används synonymt. Till exempel används Hur insatsen är tänkt att fungera som förklaring av såväl programlogik, programteori och förändringsteori. Ett annat tecken på att begreppen kan ses som synonyma är att tre rapporter använder fler än ett begrepp, utan att klargöra någon distinktion emellan dem. Ingen definition står i konflikt med någon annan, och de överlappar varandra väldigt mycket. I den mån de inte är identiska är det snarare ambitionsgrad/fyllighet eller ordval/fokus som skiljer. Olikheterna kompletterar snarare än motsäger bilden av vad en programteori är. 5.2 Framgår det vem som satt målet och hur kopplingen till den politiska nivån ser ut? Det är väldigt få rapporter som i klartext skriver ut vilken aktör som har satt de mål som finns i programteorin. I de flesta fall beskrivs bakgrunden till programmet på ett sätt som gör att man kan gissa sig till vem som formulerat målen, även om det råder visst tvivel. Ibland kan det också vara svårt att veta om politiker haft någon roll i formuleringen av målen och vilken roll/status/uppgift en aktör har i förhållande till politiken. Vissa programlogiker saknar tydliga mål. Någon form av förankring av programmets/rapportens ursprung och syfte görs dock i samtliga rapporter. En rapport som är väldigt tydlig på detta område är Resurscentra för kvinnor en utvärdering av projektverksamheten Där redogör man för vilka mål som finns kopplad till resurscentrumen i regleringsbrevet (och hur detta förändrats över tid). Vidare förklaras att det är Nutek som sedan brutit ned detta och formulerat syfte och direkta mål för deras finansiering av resurscentrumen. (Dock är målen i sig och själva rapporten inte särskilt tydliga) Ett annat exempel på en rapport som är tydlig med kopplingen är Staten och riskkapitalet 10 som har ett helt stycke om måldiskussion. Där skrivs tydligt att Europeiska regionala utvecklingsfonden bestämt den övergripande avsiktsförklaringen med åtgärden (och som återges i korthet i rapporten), men att 9 Tillväxtanalys, 2009:02 10 Tillväxtanalys, 2010:01 12

13 man samtidigt lämnat mycket utrymme för den lokala nivån att själv tolka och precisera målformuleringen. 5.3 Är programteorin tydlig? När vi tagit ställning till huruvida programteorierna är tydliga har vi tittat på huruvida de är enkelt att förstå huvuddragen i programteorierna. Vi har ställt frågor som: Är det lättförståeligt eller måste man pussla mycket själv för att få ihop det? Är begreppen någorlunda konkreta eller så luddiga att de nästan blir intetsägande? Förklaras eventuella svåra begrepp eller förkortningar? Huvudsakligen har vi bedömt om det är lätt att förstå programmets syfte, upplägg och hur det fungerar. De programteorier som får ett klart jakande svar på den frågan har vi bedömt som tydliga. Ett exempel på en programteori som vi tycker är tydlig är illustrerad nedan: Bild på programlogik från Att utvärdera företagsrådgivning, Tillväxtanalys2009:08. Den är enkel att följa, använder inga svårbegripliga begrepp och är på det stora hela logisk och lättförståelig. Däremot har vi inte bedömt den som detaljerad. (Se resonemang i nästa kapitel.) Gemensamt för de rapporter vi bedömt som otydliga är att de inte riktigt följer den schematiska bilden över hur en programteori ser ut. Här finns exempel från båda extremerna vad gäller detaljnivå. Dels en rapport som utelämnar så mycket att det är svårt att få en tydlig bild av vad som menas över huvud taget, och dels en rapport 13

14 som har en otrolig mängd detaljer, men som är både plottrig, luddig och otillräckligt beskriven och det därför är svårt att förstå hur alla delar förhåller sig till varandra. Bland rapporterna i medel-kategorin hamnar t.ex. en rapport vars teori egentligen är tydlig, lätt att förstå och där de ingående delarna förklaras, men där det inte är pedagogiskt presenterat och det därför krävs mycket av läsaren själv för att pussla ihop det och greppa helheten. Det finns alltså tillräckligt med information för att man ska kunna få en klar bild av programmets syfte, upplägg och funktion, men presentationen är inte helt tydligt upplagd. Huvuddragen går att förstå men med viss svårighet. Enligt ovan nämnda kategorisering har vi bedömt tydligheten som hög i nio av rapporterna, medelhög i fyra och låg i tre rapporter. Tydlighet Antal rapporter Hög 9 Medel 4 Låg Hur detaljerad är programteorin? Ett mått på hur välutvecklad en programteori är kan vara dess detaljnivå. Som utgångspunkt i bedömningen av detta har vi tittat på hur många av detaljerna i den idealtypiska programteorin (se sidan 7) som preciseras. Redogör man både för implementeringsdelen (resurser, aktiviteter, prestationer) och effektkedjan? Framgår det vilka som är målgruppen, säger man något om bakomliggande antaganden och sätts teorin in i en kontext med externa faktorer som kan tänkas spela roll för resultatet? Tydliggörs vida/diffusa begrepp och vad man menar med dem i det aktuella sammanhanget? Utifrån dessa frågor kan vi konstatera att exemplet kring företagsrådgivning i förra kapitlet inte är särskilt detaljerat, eftersom det saknar implementeringsdel, att externa faktorer inte nämns och att det saknas antaganden om framgångsfaktorer och uttalade antaganden mellan företagens framgång och välfärd. Dessutom preciseras inte vad som menas med de något luddiga orden starta, driva och växa. Av de sexton rapporter som redovisat en specifik programteori har vi bedömt att tio stycken är detaljerade utifrån ovan nämnda definition. Tre stycken är odetaljerade, och tre hamnar någonstans mittemellan. Att en programteori hamnar i denna medelkategori kan komma av att den förvisso innehåller väldigt mycket detaljer och information, men att detta inte täcker in så många olika delar av idealmodellen 14

15 alternativt att man förvisso täcker in många delar från idealmodellen (aktiviteter, aktörer, effekter o.s.v.) men att det man fyllt dessa rutor/begrepp med är så svävande/luddigt att det ändå är svårt att bilda sig en uppfattning om hur programmet är tänkt att fungera. Detaljnivå Antal rapporter Hög 10 Medel 3 Låg 3 Vi vill understryka att det som varit avgörande i bedömningen vi gjort ovan främst är att olika delar beskrivs, inte hur noga de beskrivs. (En fyllig beskrivning har dock som nämnts gjort att en programteori som inte redogjort för många delar uppgraderats låg till medel i tabellen). Skulle vi även ha beaktat hur välutvecklad beskrivning varje ingående del hade är det tveksamt om mer än en eller två av rapporterna hade bedömts ha hög detaljnivå. 5.5 Har man belagt kopplingen mellan slutprestation och effekt? Här har vi tittat på om man har förklarat hur det är tänkt att den slutprestation som programmet producerar (det som lämnar organisationen/myndigheten och kommer medborgaren till del) kommer att leda till de effekter man eftersträvar. Det kan antingen handla om att man redogör för vilka antaganden som ligger till grund för att man förväntar sig en viss effekt eller att man styrker sambandet på ett annat sätt, t.ex genom att hänvisa till tidigare forskning och erfarenheter. Av de femton programteorier där det går att se vad som är prestation och effekt har åtta av dem presenterat någon form av beskrivningen av hur kopplingen ser ut. Sju rapporter har inte en sådan beskrivning. Koppling mellan Antal rapporter prestation och effekt? Ja 8 Nej 7 Vi har inte tagit hänsyn till hur trovärdig eller detaljerat beskriven kopplingen är, utan bara att man presenterat någonting i form av ett antagande/förutsättning eller fakta/forskning. Det vanligaste sättet att göra kopplingen är genom att nämna ett antagande eller förutsättning. 15

16 Att kopplingen mellan prestationer och effekter inte har styrkts behöver inte vara en kritik mot själva rapporten. I ett fall använder utvärderaren en rekonstruktion av programteorin som ett sätt att visa på ett feltänk i det utvärderade programmet och använder bristen på koppling som ett argument i utvärderingen 11. Det kan också vara ganska självklara saker som man som läsare kan förstå ändå även om de inte är utskrivna Används programteorin som analysinstrument? När vi frågat oss huruvida programteorin används som analysinstrument har vi framförallt tittat på om man knyter an till programteorin i slutsatserna. Utgår analysen från resonemangen i programteorin? Fem rapporter hade ett upplägg som inte var som en traditionell utvärdering med ett särskilt slutsatskapitel eller analys. T.ex. ESV-rapporten Kartläggning av asylverksamheten i termer av verksamhetslogik, som enbart har till syfte att presentera programteorier för olika delar av asylverksamheten. Eventuell utvärdering med programteorin som grund ligger utanför rapportens åtagande. Ett annat exempel är SKL-rapporten Lärande uppföljning för jämställda verksamheter som handlar om HUR man tar fram en programteori, och där en programteori kopplat till jämställdhet i kommunerna bara finns med som ett illustrerande exempel. Av de elva rapporter som hade någon form av slutsats-del såg användningen av programteori som ett analysinstrument ut som följer: Används programteorin som Antal rapporter analysinstrument? Ja 5 Nej 4 Nja/oklart 2 De rapporter där det tydligt går att säga att rapportens slutsatser på något sätt är sammankopplade med programteorin hamnar i ja-kategorin. Rapporterna där vi inte lyckats uttyda en sådan koppling hamnar i nej-kategorin. De två rapporter i 11 Slutrapport från utvärderingen av det medicinska informationssystemet InfoMedica, UCER Ett exempel på detta är fallet med företagsrådgivningen (s.13) Där står inget uttalat, men man kan anta att tanken är att företagsrådgivningen gör mottagaren av råden mer rustad för att starta/driva/expandera företaget än hen varit innan råden, d.v.s. att det finns ett antagande om att det finns en kunskapslucka och att företagsrådgivningen bidrar med rätt information för att åtgärda den. 16

17 nja/oklart-kategorin är svåra att uttala sig om. Man hänvisar inte uttryckligen till programteorin för att få läsaren med sig i en sådan koppling. Rapporterna resonerar inte tydligt utifrån kausalförhållanden i programteorierna, men innehållet i teorin och slutsatserna tycks överlappa en del. Dock är en del programteorier inte tillräckligt utvecklade eller ämnet så pass komplicerat att det är svårt att som ej insatt i sakområdet att avgöra huruvida teorin de facto används i analysen Vilket syfte har programteorin? Vid en genomläsning av rapporterna som använd något av programteoribegreppen har vi sett att användningen av programteorin går att dela in i tre huvudsakliga kategorier. Den första är som grund för planering för framtida intervention och/eller framtida utvärdering. Rapportens presentation av programteorin är främst tänkt som ett avstamp för användning i ett senare skede. Man benar ut olika samband för att ta fram en grund för ett framtida program och/eller för att ha som stöd vid utvärdering. Den andra kategorin är att programteorin utgör grund för utvärdering i den aktuella rapporten. Här har vi varit generösa och även tagit med dem som inte har en klockren användning av programteorin, men där det ändå finns en ambition åt det hållet Den tredje användningskategorin är som illustration. Programteorin sammanfattar och illustrerar ett resonemang, och/eller fungerar som exempel. I tre rapporter ansåg vi det oklart vilket syfte programteorin ämnade ha både i den aktuella rapporten och i ett senare skede. I dessa fall tillför programteorin inte särskilt mycket till rapporten och skulle kunna ses som överflödig. 13 Av dessa anledningar, och att presentationen inte alltid är pedagogisk, bör det tilläggas att en person med större kännedom om ämnet (eller högre kognitiv förmåga) skulle kunna upptäcka fler och tydligare kopplingar mellan programteorin och slutsatserna än vi funnit i vår bedömning. 17

18 Fördelningen mellan kategorier ser ut som följer: Programteorins syfte Antal rapporter Planering för framtida intervention 5 och/eller framtida utvärdering Grund för utvärdering 7 Illustration 3 Oklart 3 Att det summerar till mer än sjutton beror på att en del rapporter kunde placeras i flera kategorier. En fjärde tänkbar kategori som ingen rapport hamnar inom är som planering för den aktuella insatsen, d.v.s. att insatsen från början hade en programteori och att den redogörs för i inledningen av rapporten. I rapporterna i urvalet tycks programteorierna i huvudsak vara efterhandskonstruktioner skapade av rapportförfattaren. 18

19 6 Diskussion och slutsatser Även om det bland rapporterna finns ett fåtal goda exempel som håller hög nivå rakt igenom så är det generella intrycket att det är ett ganska stort glapp mellan programteoridiskursen och programteori i praktiken. De idealtypiska programteorierna och exemplen i programteorilitteraturen är mycket mer utförliga, strukturerade och tydligt presenterade än dem som finns i de rapporter vi granskat. Bruket av programteori har potential att utvecklas betydligt mer än vad som gjorts hittills i de fall vi tittat på. Vi vet att det finns utvärderare som jobbar med programteoriverktyget, men som låter programteorin stanna i huvudet eller på egna skisser och inte presenterar själva programteorin i rapporten. Vi vill avråda från det förfaringssättet av två skäl. För det första blir det enklare för läsaren att förstå grunden i hur utvärderaren tänkt om programteorin redovisas. För det andra blir det svårare för den som intresserar sig för programteori (t.ex. för en studie liknande denna) att hitta rapporten om inget av programteoribegreppen finns omnämnt eftersom modern sökmetodik (via internetbaserade sökmotorer) bygger på att ordet finns med. För att rapporten ska bli en mer värdefull del av den ackumulerade kunskapsmassan och bli användbar i vidare sammanhang än det ursprungliga är det bra om programteorin för det utvärderade objektet redovisas och att detta görs på ett så pedagogiskt och systematiskt sätt som möjligt. Genom en utförlig presentation av programteorins alla delar, och att resultat och slutsatser tydligt kopplas tillbaka till hur det var tänkt enligt programteorin, ökar sannolikt läsarens förståelse av programmet och kanske till och med författarens egen? 19

20 REFERENSER Referenser Aktör Stiftelsen för Strategisk Forskning KTH och IVL Sveriges kommuner och landsting Västerbottens landsting KK-stiftelsen Myndigheten för skolutveckling Tillväxtanalys Tillväxtanalys Tillväxtanalys Landstinget i Gävleborg och Folkhälsoinstitutet VINNOVA VINNOVA VINNOVA VINNOVA ESV Jämställdhets- och integrationsdepartementet Utvecklingsrådet för den statliga sektorn Rapporttitel Effekterna av SFFs stöd till tio nationella nätverksprogram inom biomedicin och bioteknik Utvärdering av Centrum för hållbar utveckling Lärande uppföljning för jämställda verksamheter Slutrapport från utvärderingen av det medicinska informationssystemet InfoMedica SAVE-IT; Uppföljnings- och utvärderingsbesök hos den nationella forskarskolan inom komponentbaserad utveckling av säkerhetskritisk programvara vid Mälardalens högskola Utvärdering av Nationellt centrum för språk-, läs- och skrivutveckling Resurscentra för kvinnor- en utvärdering av projektverksamheten Att utvärdera företagsrådgivning Staten och riskkapitalet, Delrapport 1: Metodbeskrivning och kunskapsöversikt Minska tobaksbruket bland ungdomar i Gävleborg Effekter av statligt stöd till fordonsforskningen Sammanfattning effektanalys: Av stöd till strategiska utvecklingsområden för svensk tillverkningsindustri Vinnovas fokus på effekter: En samlad ansats för effektlogikprövning, uppföljning, utvärdering och effektanalys Evaluation of the öresund contracts for cross-border R&D cooperation between Denmark and sweden Kartläggning av asylverksamheten i termer av verksamhetslogik Utvärdering av Program Jämi och Program för Hållbar Jämställdhet Arbeta utan stress - en utvärdering av nätverksträffar som stöd för myndigheters utvecklingsarbete 20

21 ESV ansvarar för en ändamålsenlig ekonomisk styrning av staten. Vi utvecklar och förvaltar en effektiv ekonomisk styrning av statlig verksamhet. Vi tar fram bra besluts- och diskussionsunderlag för den ekonomiska politiken. Vi bidrar till en korrekt hantering av Sveriges EU-medel. ESV har bred och djup kompetens och arbetar i nära samverkan med Regeringskansliet och myndigheterna. Ekonomistyrningsverket Drottninggatan 89 Tfn Box Fax ISSN: Stockholm ISBN: