Framgangens hemlighet. att utvärdera måluppfyllelse, effekter, effektivitet och genomförande

Transkript

1 Framgangens hemlighet att utvärdera måluppfyllelse, effekter, effektivitet och genomförande

2

3 Tankar kring Framgangens hemlighet att utvärdera måluppfyllelse, effekter, effektivitet och genomförande 2007:2 1 S K R UNGDOMSSTYRELSENS I F T E R

4 Ungdomsstyrelsen är en statlig myndighet som verkar för att unga ska få verklig tillgång till makt och välfärd. Det gör vi genom att: ta fram och förmedla kunskap om ungas levnadsvillkor. följa upp riksdagens och regeringens mål för den nationella ungdomspolitiken och stödja kommunerna i deras ungdomspolitiska arbete. fördela bidrag till och stödja metodutveckling inom ungas fritid och föreningsliv samt inom internationellt ungdomssamarbete. Ungdomsstyrelsens skrifter 2007:2 ISSN ISBN projektledare Torgny Sandgren författare Lennart Delander och Jonas Månsson textredigering Ingrid Bohlin grafisk form/illustration Christián Serrano tryck Lenanders Grafiska AB distribution Ungdomsstyrelsen, Box 17801, Stockholm tfn , fax e-post: info@ungdomsstyrelsen.se webbplats: 2

5 Förord Flera kommuner och organisationer driver idag olika försöksverksamheter och projekt för att stärka ungas situation och bryta utanförskap. Syftet är ofta att pröva nya metoder och arbetssätt. En viktig fråga i dessa sammanhang är naturligtvis möjligheten att dokumentera och utvärdera. Vad blev effekterna? Nådde vi målen? När vi ställs inför utvärderingsfrågor är det viktigt att fundera över vad som ska utvärderas och lämpliga metoder för detta. Vilken strategi vi väljer får betydelse för vilken kunskap som utvärderingen genererar. Inom flera delar av såväl ordinarie ungdomsverksamhet som avgränsade projekt, finns behov av att utveckla utvärderingsarbetet. Mer kunskap om resultat och effekter är nödvändigt för att kunna bedöma ungdomspolitiska insatser. I projektsatsningen Förebyggande och främjande ungdomsverksamhet har Ungdomsstyrelsen möjlighet att utveckla kvalitetsarbete men också andra insatser för att stärka förutsättningarna att genomföra samhällsekonomiska analyser av ungdomsverksamhet. Framgångens hemlighet är ett stöd för personer inom kommuner, myndigheter och andra organisationer som vill pröva nya arbetssätt eller metoder innan beslut fattas om att använda dem i verksamheten. Boken rymmer därför flera exempel från utvärderingar av exempelvis fritidsgårdar och arbetsmarknadsprojekt. Skriften är framtagen av Lennart Delander och Jonas Månsson vid Växjö universitet. Per Nilsson generaldirektör, Ungdomsstyrelsen 3

6 Innehåll 6 INLEDNING 12 KAPITEL 1 UTVÄRDERINGAR: UTGÅNGSPUNKT, UTFÖRARE OCH PLANERING 13 Avsnitt 1.1 Sambandet mellan åtgärd, utvärdering och den verklighet man vill påverka 15 Avsnitt 1.2 Utvärderarens uppgift och roll. Faser i en utvärdering 20 KAPITEL 2 KATEGORIER AV UTVÄRDERINGAR 21 Avsnitt 2.1 Måluppfyllelseutvärdering 25 Avsnitt 2.2 Effektutvärdering 38 Avsnitt 2.3 Effektivitesutvärdering 62 Avsnitt 2.4 Genomförandeutvärdering 68 KAPITEL 3 SAMMANFATTNING OCH AVSLUTANDE KOMMENTAR 76 APPENDIX 1 NUVÄRDESBERÄKNING OCH KALKYLRÄNTA 78 APPENDIX 2 EFFEKTIVITETSUTVÄRDERING AV ETT REHABILITERINGSPROJEKT 86 REFERENSER 88 NOTER 4

7 5

8 INLEDNING 6

9 Varför utvärdera? Det finns en rad skäl till varför utvärderingar ska göras. Ett av dessa är att bedöma pågående verksamheter, exempelvis för att ta reda på konsekvenserna av förändringar i till exempel arbetsmetoder, styrning, omfattning, inriktning eller för att få en uppfattning om resultaten av nya verksamheter. Beslut om förändringar i verksamheter eller införandet av nya föregås inte sällan av en tids försöksverksamhet. Idag finns ett större krav på utvärderingar än tidigare för att få driva försök. Inte minst gäller detta EU-finansierade projekt, där utvärderingar av olika slag spelar en central roll. Även om de tankar kring utvärdering som framförs i den här boken kan tillämpas på olika situationer så förklarar exemplen i huvudsak just användningen av försök som en metod att skaffa beslutsunderlag. Boken är i första hand inriktad på utvärderingar av försöksverksamheter inom den offentliga sektorn. Den är en hjälp till personer inom kommuner, myndigheter och andra organisationer inom den offentliga sektorn när de står i begrepp att på prov genomföra åtgärder innan beslut fattas om att införa dem i reguljär verksamhet och om deras slutliga utformning. Praktisk försöksverksamhet, eller projektverksamhet, kan avgränsas till att endast gälla vissa geografiska områden, vissa grupper av individer, vissa företag eller andra organisationer som exempelvis arbetsförmedlingen eller försäkringskassan. Utvärderingar av praktisk försöksverksamhet har den förtjänsten att de har en mycket direkt anknytning till specificerade och aktuella val- eller avvägningsproblem. Exemplen i boken är ofta hämtade från arbetsmarknadsområdet. Dels för att många försök inom offentlig sektor syftar till att direkt eller indirekt påverka individers situation på arbetsmarknaden, dels för att man inom arbetsmarknadsområdet har en lång tradition av att utvärdera sin försöksverksamhet. 1 De som tar initiativ till och de som genomför ett försök, men även andra, vill förstås dra lärdom av de erfarenheter som görs under försöket. Vad kom ut av det? Vad kan vi lära av det? Avsikten med att bedriva en försöksverksamhet är ju i många fall att få underlag för ställningstaganden och beslut. Det betyder att det egentligen inte är särskilt tillspetsat att påstå att utvärderingen är själva poängen med ett försök. Därför bör det som en integrerad del av försöket ingå en planering av hur man systematiskt ska hämta in den kunskap som behövs för att få ett så bra beslutsunderlag som möjligt. I mycket vid mening kan man definiera utvärdering som just systematiskt inhämtande av erfarenheter. Vilka erfarenheter är det då man behöver skaffa information om? Det beror helt och hållet på vilka frågor man har behov av att få besvarade för att få underlag inför framtida beslut. Ibland kanske det räcker att ta reda på om 7

10 man har nått det eller de mål som ställts upp. Men oftast vill man nog också veta i vilken grad som den observerade måluppfyllelsen är ett resultat av försöksverksamheten. Den kan ju även ha påverkats av andra förändringar i den omgivande verkligheten än själva försöket. Inte sällan behöver de som ska fatta beslut inte endast veta resultatet utan också få reda på om det är tillräckligt betydelsefullt för att motivera en satsning på den åtgärd som har prövats. För tolkningen av utvärderingar med sådana inriktningar som de antydda men också som inslag i en läroprocess kan det vara nödvändigt att även få svar på frågor som har att göra med hur själva genomförandet av verksamheten har fungerat. Vissa utvärderingar är omfattande och söker svar på flera olika slag av frågeställningar medan andra är inriktade på endast en eller två frågor. I boken utgår utvärderingarna från just vilka slag av frågor som man vill ha svar på. De kan sammanfattas i fyra kategorier: måluppfyllelse-, effekt-, effektivitets- och genomförandeutvärderingar. Den första kategorin används för att får svar på frågan om målen för den studerade verksamheten har uppnåtts. Effektutvärderingar avser att besvara hur den aktuella åtgärden har påverkat resultatet i relevanta avseenden, jämfört med om den inte hade genomförts. I båda dessa kategorier av utvärderingar betraktas själva verksamheten som en svart låda och utvärderaren tar endast reda på vad som har kommit ut ur den. Verksamheten är en svart låda även vid den tredje utvärderingskategorin, men där tar utvärderaren reda på både vad som har stoppats in i lådan i form av olika resurser och vad som har kommit ut ur den för att få underlag att besvara frågan om åtgärden är ett effektivt sätt att nå uppställda mål. Vid den fjärde utvärderingskategorin öppnas lådan och man ser efter vad som har försiggått inuti den eftersom man i det fallet är intresserad av att få svar på frågor som har med genomförandeprocesserna att göra. Beslutsfattare i offentliga verksamheter kan vilja ha svar på frågan: Lönar åtgärden sig? Om man i ett privat företag kommer fram till att en viss förändring av verksamheten skulle ge ökad vinst så betyder det att man inte använder sina möjligheter på bästa sätt. Det föreligger ineffektivitet den övervägda förändringen skulle löna sig. För verksamheter inom den offentliga sektorn är effektivitetsbegreppet mer komplicerat därför att målen är mer svårpreciserade och inte så sällan omtvistade. Att svara på den nyss nämnda frågan för en åtgärd inom offentlig sektor, att göra en effektivitetsutvärdering av åtgärden, är därför inte helt enkelt. Vad det handlar om är att jämföra åtgärdens för- och nackdelar med utgångspunkt från samhälleliga målsättningar. Om fördelarna överväger nackdelarna så är det från effektivitetssynpunkt bättre att genomföra åtgärden än att avstå. Den som har att fatta beslut i den frågan måste självklart tänka i termer av för- och nackdelar. Problemet är att han eller hon till och med måste väga dem mot varandra. Eftersom resurser av olika slag är begränsade är det naturligtvis oerhört betydelsefullt att man inom den offentliga sektorn (likaväl som inom den privata) använder de som finns på bästa möjliga sätt. Därför fyller effektivitetsutvärderingar en viktig funktion för att förbättra underlaget för de överväganden som, även utan en systematisk utvärdering, på något sätt måste göras av dem som har att fatta beslut om resursanvändning inom den offentliga sektorn. Detta, 8

11 tillsammans med det faktum att effektivitetsutvärderingar av offentliga verksamheter inte är så alldeles enkla, är skälet till att beskrivningen av dessa tillsammans med de konkreta exemplen, getts tämligen stort utrymme. Texten i kompendiet är organiserad på följande sätt 2 Avsnitt 1 Avsnitt 1 innehåller några inledande resonemang som tar sin utgångspunkt i en idealbild av utvärderingar för att tydliggöra deras roll i beslutsprocessen. Det tar också upp utvärderarens uppgift och roll och pekar på för- och nackdelar med intern respektive extern utvärderare. Avsnittet avslutas med en översikt av utvärderingsprocessen och dess olika faser. Därefter ägnas större delen av avsnittet åt reflexioner och kommentarer kring olika tillvägagångssätt för att besvara sådana frågor som de fyra ovan nämnda. Avsnitt 2.1 I Avsnitt 2.1 diskuteras sådana utvärderingar som tar sikte på att besvara frågor som: Uppnåddes målen för verksamheten? Efter en dis-kussion om målformuleringar och målhierarkier överordnade, mellanliggande, underordnade mål betonas att en måluppfyllelseutvärdering baseras på att man observerar utfallet av ett enda skeende, det som inträffat när verksamheten har bedrivits på ett visst sätt. Det gör att man inte kan dra några slutsatser om effekter, för detta krävs en annan typ av utvärdering. Avsnittet avslutas med exempel på måluppfyllelseutvärdering. Avsnitt 2.2 Avsnitt 2.2 ägnas åt utvärderingar som söker svar på frågan: Vilken är skillnaden i resultat jämfört med om åtgärden inte hade genomförts? effektutvärderingar. Till skillnad från måluppfyllelseutvärderingar innebär de alltid en jämförelse mellan alternativa skeenden eller förlopp. I avsnittet ges en översikt över tänkbara upplägg av effektutvärderingar med kommentarer om deras förmåga att påvisa orsakssamband, det vill säga deras kapacitet att påvisa i vilken utsträckning observerade utfall kan tillskrivas den studerade åtgärden och tolkas som effekter. Här diskuteras också problemet med skillnader, som kan påverka utfallet, mellan de grupper som representerar de alternativ som i en effektutvärdering jämförs med varandra. Exempel på effektutvärderingar avslutar avsnittet. Avsnitt 2.3 Avsnitt 2.3 handlar om effektivitetsutvärderingar. Effektivitet innebär att på bästa sätt utnyttja de möjligheter som finns för att realisera uppställda mål. En effektivitetsutvärdering innebär därför ett studium av alternativa sätt att uppnå dessa mål en vägning av positiva effekter mot negativa effekter av att övergå från ett sätt till ett annat. Om fördelarna är större än nackdelarna, så är en sådan övergång gynnsam från effektivitetssynpunkt. I boken är särskild vikt lagd vid utvärderingar som tar sikte på att besvara frågan om samhällsekonomisk effektivitet. Ambitionen är att framställningen ska vara begriplig utan några förkunskaper i nationalekonomi. 3 I avsnittet redogörs för samhällsekonomisk kostnadsintäktsanalys som en metod för effektivitetsutvärdering, vilket innebär att effek- 9

12 ter av olika slag görs jämförbara genom att använda ett enhetligt mått pengar. Efter en genomgång av olika positiva effekter av en tänkt åtgärd som syftar till att reducera arbetslöshet bland ungdomar visas hur sådana effekter, värderade i kronor, och med dem förknippade kostnader kan föras in i en modell för samhällsekonomisk kalkylering. Modellen har den fördelen att den gör det möjligt att bedöma åtgärdens resultat både ur effektivitetssynpunkt för samhället som helhet, och från fördelningssynpunkt för direkt berörda individer respektive för den offentliga sektorn. Avslutningsvis presenteras två exempel på effektivitetsutvärderingar: En som handlar om samverkan mellan myndigheter som metod för att förkorta ungdomars arbetslöshetstider och en som avser investering i en fritidsgård. I Appendix 1 finns ytterligare ett exempel på den här typen av utvärdering som handlar om en åtgärd på rehabiliteringsområdet. Syftet med det exemplet är att visa hur stora skillnader i resultat som det kan bli mellan en samhällsekonomisk utvärdering som inte har en ordentlig teoretisk förankring och en som har sin utgångspunkt i gängse ekonomisk teori. Avsnitt 2.4 Måluppfyllelse-, effekt- och effektivitetsutvärderingar ger inte svar på frågor som gäller verksamhetens genomförande. Avsnitt 2.4 ägnas därför åt sådana utvärderingar som innebär ett studium av genomförandeprocesserna i sig själva genomförandeutvärderingar. En genomförandeutvärdering är i grunden en dokumentation av hur projektet har bedrivits och ger underlag för att förstå de eventuella effekter, eller bristen på effekter, som blivit resultatet av projektet. Eftersom genomförandeutvärderingar till stora delar bygger på att man dokumenterar förloppet fokuserar vi på vilken typ av frågor som kan ställas. Två exempel på frågor man söker svar på är: På vilket sätt skulle genomförandet av verksamheten ha kunnat förbättras? Vad har fungerat bra och vad har fungerat dåligt under genomförandeprocessen? Avsnittet avslutas med exempel på tänkta instruktioner för en genomförandeutvärdering. Idén till exemplet har hämtats från ett verkligt projekt. Avsnitt 3 Avsnitt 3 inleds med en sammanfattning av de fyra slag av utvärderingar som har diskuterats i föregående avsnitt, med korta kommentarer till deras användbarhet och vad man bör tänka på när man använder dem. I avsnittet pekas också på att en effekt- eller effektivitetsutvärdering kan behöva kompletteras med en genomförandeutvärdering för att besvara frågan om utvärderingsresultatens generaliserbarhet. Avslutningsvis berörs valet mellan kvantitativa och kvalitativa utvärderingsmetoder. Valet bör styras av vad som utvärderingen ska besvara. Det centrala i utvärderingssammanhang är dock inte en konflikt mellan metoder som i realiteten kompletterar varandra. Att ställa det ena tillvägagångssättet mot det andra resulterar bara i en konstlad och gagnlös motsättning mellan metoder lämpade för skilda syften. 10

13 Om författarna Lennart Delander och Jonas Månsson har under mer än tio år arbetat tillsammans i olika typer av utvärderingsprojekt. Båda har undervisat i utvärderingsmomenten vid de kurser och program som ges vid Växjö universitet. Lennart Delander är hedersdoktor vid Växjö universitet och verksam inom Centrum för arbetsmarknadspolitisk forskning (CAFO). Han har arbetat med olika typer av utvärderingar, främst mot arbetsmarknaden, sedan mitten av 1970-talet och har varit med om att utveckla utvärderingsmetoder. Bland annat genomförde han det första randomiserade sociala experimentet i Europa. Lennart har även anlitats som expert vid framtagandet av International handbook of labour market policy and evaluation. Jonas Månsson är docent vid Växjö universitet och var tidigare knuten till Arbetslivsinstitutet på Gotland. Även Jonas är verksam inom CAFO och har arbetat med ett brett spektrum av utvärderingar som till exempel utvärderingar av arbetsmarknadspolitik, näringspolitik och kompetensutvecklingsåtgärder. Jonas var även en av medförfattarna till boken om utvärderingar av samhällsbetalda transporter. 11

14 KAPITEL 1 UTVÄRDERINGAR: UTGÅNGSPUNKT UTFÖRARE PLANERING 12

15 Avsnitt 1.1 Sambandet mellan åtgärd, utvärdering och den verklighet man vill påverka Här förs ett resonemang om utvärderingar för att tydliggöra deras roll i beslutsprocessen och vilka fördelar respektive nackdelar som finns med en intern eller en extern utvärderare. Utgångspunkt är att utvärderingar syftar till att ge underlag för ställningstaganden och beslut. En idealbild av utvärderingar kan beskrivas som i figur 1.1 (se Delander & Niklasson 1987, s. 7 8). Den översta rutan kan tolkas så här: En problemfylld verklighet och olika sätt att tolka denna kan ge upphov till förslag på någon åtgärd, som till exempel att etablera en fritidsgård för att minska stökigheten i en viss stadsdel. Den planerade åtgärden blir föremål för någon form av överväganden, i idealfallet tar den form av en genomförd förhandsutvärdering som ger underlag för beslut om att till exempel ge- Verkligheten Problem Teorier, tolkningar, hypoteser Övervägd åtgärd Förhandsutvärdering Åtgärd Efterhandsutvärdering Resultatanalys Figur 1.1 Utvärdering en idealbild. 13

16 nomföra försök med den föreslagna åtgärden. Denna påverkar verkligheten. Kanske blir resultatet vad förhandsutvärderingen indikerade. Detta är förstås inte säkert, och hur det faktiskt förhåller sig i det avseendet kan endast avgöras med hjälp av en utvärdering som genomförs efter det att åtgärden har startat, vilket kan vara både medan den pågår och efter en avslutad försöksperiod. I båda fallen kan vi för korthets skull tala om en efterhandsutvärdering. Denna kan påverka beslutsfattandet på olika sätt: Den kan ingå i underlaget för beslut om att antingen införa åtgärden i en reguljär verksamhet eller att avstå från den. Den kan också ge underlag för förändringar i åtgärdens innehåll och/eller genomförande, eventuellt efter en förhandsutvärdering av föreslagna ändringar. En efterhandsutvärdering kan också resultera i att våra tolkningar av verkligheten förändras vilket kan ge upphov till försök med en annan eller en förändrad åtgärd, eventuellt efter en förhandsutvärdering. Under tiden som man prövar och utvärderar en åtgärd kan verkligheten och vår tolkning av den ha kommit att ändras av en lång rad andra skäl, illustrerat med pilarna in från höger till den översta rutan. Det innebär att nya problem ständigt uppkommer och förslag till nya åtgärder och omprövningar av gamla ständigt aktualiseras. I kommersiella verksamheter spelar förhandsutvärderingar av enskilda projekt, till exempel i form av investeringskalkyler, ofta en mycket mer framträdande roll än efterhandsutvärderingar av själva projekten. 4 I offentliga verksamheter förhåller det sig ofta tvärtom. Förhandsutvärderingar får där ofta formen av sådana studier, överväganden och bedömningar som återfinns i utredningar, propositioner, yttranden, muntliga diskussioner och överläggningar och så vidare. Ibland bygger de på resultaten av tidigare utvärderingar eller från forskningsresultat. Då talar man ofta om att åtgärden är evidensbaserad. Sådant etiketteras dock sällan som utvärderingar. Denna idealbild innebär att efterhandsutvärderingar kan baseras på tidigare genomförda förhandsutvärderingar och att resultaten av efterhandsutvärderingar kan utnyttjas i samband med förnyade förhandsutvärderingar. Detta bör ses som något som är värt att sträva efter, även om det i praktiken ofta är mycket svårt att åstadkomma sådana direkta och tydliga sammankopplingar. Relationen mellan förkalkyler och efterkalkyler är ofta av denna eftersträvansvärda karaktär och då speciellt i kommersiella verksamheter. Den som ska genomföra en utvärdering av till exempel en politisk åtgärd bör således inte underlåta att studera hur åtgärden motiverades, vilka överväganden och bedömningar och vilka eventuella studier som låg till grund för beslut om åtgärden, vad man hoppades att uppnå, hur målsättningarna formulerades och så vidare. Man kan sedan studera frågor av typen: Uppnådde man vad man hoppades på? Vad blev resultatet jämfört med om den studerade åtgärden inte hade genomförts? Är det resultatet tillräckligt bra för att motivera åtgärden? Fungerade verksamheten på avsett sätt? Det är dessa fyra slag av frågor som står i centrum i avsnitt 2, huvudavsnittet i det här kompendiet, och som ligger till grund för vår indelning av utvärderingar i fyra kategorier som utgår från de frågeställningar som utvärderingarna gäller. 14

17 Avsnitt 1.2 Utvärderarens uppgift och roll faser i en utvärdering Om uppdragsgivare till en utvärdering är ett företag eller en intresseorganisation kan det ofta vara relativt enkelt för utvärderaren att definiera sin uppgift. Betydligt svårare kan det bli om uppdragsgivaren är en myndighet. Vi kan till exempel föreställa oss en lokal eller regional myndighet som arbetar inom ramen för givna regleringar, direktiv, anslag och anslagsbestämmelser. Myndigheten överväger en omläggning av någon del av sin verksamhet, en åtgärd som ryms inom de nämnda ramarna och som ska bli föremål för utvärdering. Om myndigheten vet precis vad den vill veta kan den välja att ge mycket klara och snäva direktiv, precis som ett företag som bara vill veta om en investering är lönsam eller inte. Vill den tilltänkte utvärderaren inte underkasta sig dessa direktiv, och om han inte kan påverka dem, bör utvärderaren tacka nej till uppdraget. Det är emellertid rätt vanligt att en uppdragsgivande myndighet faktiskt inte vet eller åtminstone inte klart kan precisera vad det är den vill veta. Detta brukar ta sig uttryck i allmänt hållna och oprecisa direktiv för utvärderingen. Utvärderaren får stora möjligheter att själv, eller i samverkan med uppdragsgivaren, definiera sin uppgift. I ett ytterlighetsfall är utvärderaren en fri forskare som själv kan välja såväl sina problemställningar som sina kriterier och metoder. I ett ytterlighetsfall åt andra hållet är utvärderaren helt uppbunden av i detalj specificerade direktiv som återspeglar vad uppdragsgivaren anser sig behöva veta som underlag för ställningstagande och beslut om den aktuella åtgärden. Här är det uppdragsgivarens värderingar som bestämmer utvärderingens inriktning medan det i det förstnämnda fallet är utvärderaren som fastställer vilken information som ska anses vara relevant vid en bedömning av åtgärden. Det vanligaste är nog att utvärderingens inriktning bestäms genom ett samspel mellan utvärderaren och uppdragsgivaren, ett samspel som för övrigt kan inkludera även andra aktörer som till exempel berörd personal och fackliga organisationer. Rollfördelningen kan emellertid vara mycket olika från fall till fall. Detta resonemang bygger på att myndigheten väljer att anlita en extern utvärderare. Inom många organisationer har man emellertid byggt upp egna utvärderingsfunktioner, ofta som en förlängning av och specialisering inom traditionella utredningsfunktioner. I Karlsson (1999 s. 64) finns följande översikt över för- och nackdelar med en intern respektive en extern utvärderare: Vid valet mellan intern och extern utvärderare bör man emellertid också väga in sådant som syftet med försöket och vilka frågor som man vill att utvärderingen ska ge svar på. När 15

18 Tabell 1.1 För- och nackdelar med intern respektive extern utvärderare Intern utvärderare Extern utvärderare Positivt Negativt Positivt Negativt 1. Väl insatt i försöket. 2. Väl insatt i verksamheten. 3. Kan inträngande belysa vad som sker 1. Konflikt mellan roll som utvärderare och anställd. 2. Risk att tona ner nackdelar och överbetona fördelar med försöket. 3. Brist på erfarenhet av utvärderingsarbete. 1. Inga bindningar till verksamheten. 2. Kan ha distans till försöket och överblicka fler verksamheter än den som utvärderas. 3. Specialistkunskap i forsknings- och undersökningsmetodik. 1. Bristande kännedom om verksamheten. 2. Bristande engagemang i de tankar och idéer som ligger bakom försöket. 3. Svårigheter att anpassa resultaten så att de är praktiskt användbara. det rör sig om ett försök som främst syftar till utveckling och lärande inom den aktuella organisationen finns det starka skäl att överväga en intern utvärdering. En sådan kan också vara lämplig om avsikten med utvärderingen är att få svar på frågor om i vilken grad som väl preciserade mål har blivit uppfyllda. De tre i översikten angivna nackdelarna med en intern utvärderare torde då knappast vara för handen. Även för en utvärdering som vill ge svar på frågor som har med själva genomförandet av verksamheten att göra, kan en intern utvärdering vara ändamålsenlig. De tre nämnda nackdelarna kan dock väga tyngre i det fallet än då syftet är att ta reda på måluppfyllelsen. Gäller däremot utvärderingen att ta reda på vad resultatet har blivit jämfört med om försöket inte hade bedrivits eller att om fördelarna överväger nackdelarna kan det finnas mycket som talar för att anlita en extern utvärderare. De ovan listade nackdelarna med en sådan behöver då inte väga särskilt tungt medan däremot fördelarna kan vara betydelsefulla. Arbetsgången faser i en utvärdering När ett problem har identifierats och en åtgärd har initierats ställs ofta frågan om när man ska involvera dem som ska utvärdera projektet. Som framgår av figur 1.2 är svaret på denna fråga att utvärderarna ska engageras redan i planeringsstadiet av projektet. Det kan vara lämpligt att de som ska utvärdera det enskilda projektet fungerar som en remissinstans för exempelvis målformuleringar, eller förväntningar om effekter. En, ur ett utvärderingsperspektiv, väl förankrad projektplan kan på ett markant sätt påverka kvaliteten på den utvärdering som senare ska genomföras, och det kan vara mycket kostnadsbesparande för dem som betalar utvärderingen. Tyvärr är det dock så att både externa och interna utvärderare ofta kommer in i slutskedet, eller till och med efter det att projektet har genomförts. Detta försämrar möjligheterna att genomföra en bra utvärdering samtidigt som kostnaderna för densamma troligen blir betydligt högre. 16

19 I samband med att man planerar projektet är det lämpligt att man tänker igenom vilka effekter som man vill uppnå. Ett avsnitt där man explicit uttrycker vad målen är med projektet och ett avsnitt där man anger förväntade resultat, eller effekter, av projektet bör finnas med i projektplanen. Redan i detta stadium är det lämpligt att man inom projektorganisationen funderar på vem som ska utvärdera projektet och skickar en första skiss på projektplanen till den som ska utvärdera. Utvärderarens uppgift är här att granska mål- och effektformuleringar i planen. Frågor som ställs är: Hur lång tid tar det att uppnå målet respektive effekterna? Exempel: Om man genomför ett projekt vars syfte är att ändra ungdomars attityder till droger, för att färre unga ska missbruka droger i framtiden, så är tidshorisonten ganska lång. Syftar däremot projektet till att öka viljan att delta i fritidsgårdsaktiviteter kan man relativt snart mäta resultatet. Denna diskussion om tidshorisont är viktig för att kunna observera både måluppfyllelse och effekter. Görs en utvärdering för tidigt är det troligt att man inte kan observera effekter, beroende på att det helt en- Projektägare Tid Utvärderare Problemidentifiering Åtgärdsplan/Projektplan Utvärderare Föremätning Åtgärd/Projekt genomförande Observation av process och implementering Eftermätning 1 Kortsiktiga effekter Eftermätning 2 Långsiktiga effekter Figur 1.2 Flöden i samband med en utvärdering. 17

20 kelt inte gått tillräckligt lång tid. Om det är effekter på relativt lång sikt kan man följa upp effekterna exempelvis årligen under ett visst antal år, där de första årens studier ger en möjlighet till att observera förändringar. Hur formuleras målen? Målformuleringarna ska vara sådana att det finns en möjlighet att följa upp dem. Att använda formuleringar som fostra demokratiska medborgare i en global värld kan i sig tyckas som ett lovvärt mål, men det är knappast något som låter sig studeras utan tillgång till en i det närmaste obegränsad budget och obegränsad tillgång på information. En övergripande målformulering för ett projekt kan istället vara att minska skadegörelsen i ett bostadsområde. Målet skulle exempelvis kunna uttryckas som att allmännyttans, andra husägares och kommunernas kostnader för skadegörelse ska inom x år ha minskat med y procent. En sådan målformulering är bra då det finns uppföljningsbara indikatorer. Föremätning När projektplanen är färdig och mål och medel fastställda är det lämpligt att innan start ta fram information om läget för resultatindikatorerna. I de fall man kan använda sig av insamlad statistik kan man naturligtvis göra en föremätning även efter att projektet har startat, men rör sig projektet om exempelvis en förändring av attityder eller andra uppfattningar är en föremätning oftast en förutsättning för att på rätt sätt kunna genomföra utvärderingen. I samband med föremätningen får man också indikationer på tillgängligheten av resultatvariabler. I de fall det inte finns variabler som direkt avspeglar resultaten, bör man ta en diskussion med projektledningen om eventuella ersättningsvariabler (ofta kallade proxy-variabler). Kartläggning av genomförande och processer Efter att all grundinformation, det vill säga material som gör det möjligt att jämföra tillstånd före och efter genomförandet, har samlats in startar projektet. Om genomförandet eller processen ska dokumenteras och följas upp är det nu dags för utvärderaren att börja detta arbete. Exempelvis genom att sitta med på möten och att intervjua deltagare och projektledning om exempelvis förväntningar på projektet. Eftermätning Efter att projektet avslutats genomförs en första eftermätning. Den mätning som nu görs är att kartlägga samma typer av resultatindikatorer som gjordes vid föremätningen. Genom att på lämpligt sätt (se följande avsnitt) jämföra detta resultat med resultatet från föremätningen kan vi beräkna effekterna av projektet på just våra resultatindikatorer. En fråga är när denna första eftermätning ska göras? Ofta finns det motstridiga intressen hos utvärderare och projektets ledning. Projektledningen vill ofta ha en mätning och avstämning nära projektslutet och i de fall projektet ger omedelbara och hållbara effekter är detta inget problem. Exempelvis om syftet är att öka kunskapen inom matematik, så kommer de kunskaper som förvärvats genom projektet på kort sikt troligen även att vara långsiktiga. I många projekt är det emellertid så att mätbara effekter kommer först efter en tid. Om man idag driver ett projekt för att påverka attityder 18

21 och förhållningssätt är det troligt att denna påverkan gör sig märkbar först efter en viss tid. Dessutom kan man ställa frågan om hur hållbara de effekter som man har lyckats uppnå genom projektet är? Därför kan det vara lämpligt att en första eftermätning i vissa fall följs av en andra, som då tar sikte på att mäta de mer långsiktiga effekterna. 19

22 KAPITEL 2 KATEGORIER AV UTVÄRDERINGAR 20

23 Avsnitt 2.1 Måluppfyllelseutvärdering Man kan diskutera begreppsavgränsningar och terminologi i det oändliga. Utvärderingslitteraturen vimlar av begrepp och kategorier som gäller olika utvärderingskategorier och utvärderingsmetoder. För att skilja mellan olika slag av utvärderingar är det mest fruktbart att utgå från vilka frågeställningar som utvärderingarna ska svara på. 5 Åtskilliga frågor som man kan vilja ha svar på med hjälp av en utvärdering kan ses som varianter av en generell frågeställning av följande typ: Uppnås målen för verksamheten? Lägg märke till att i den frågan nämns inget alternativ till den studerade verksamheten. Det betyder att en måluppfyllelseutvärdering gäller frågor som låter sig besvaras genom ett studium av endast ett skeende det skeende eller förlopp som realiseras när verksamheten bedrivs på det sätt som den faktiskt bedrivs. Häri ligger en avgörande skillnad jämfört med en effektutvärdering (se nedan). Anta att man har beslutat sig för att utvärdera ett visst projekt. Så länge beslutet inte är mer specificerat än så, vet vi bara att det innebär att det ska göras en studie som kan förbättra underlaget för ställningstaganden och beslut. När projektägaren, utvärderaren eller båda parterna i samarbete, har bestämt vilka frågor som man bör söka besvara har ett mycket viktigt skede i utvärderingsprocessen klarats av. Hur kan man då hitta de intressanta frågorna? En möjlighet är självklart att tänka igenom vad vi själva skulle vilja veta. En annan möjlighet är att sätta sig in i projektets förhistoria. Hur kom projektet till stånd och vilka frågeställningar ansågs vid den tidpunkten som intressanta av dem som var involverade? Under alla förhållanden måste en måluppfyllelseutvärdering baseras på en analys av den verksamhet som utvärderingen ska gälla. Målstrukturen är ofta komplicerad och kanske också motsägelsefull. Man måste på något sätt avgränsa syftet med studien. Det kan vara effektivt att välja en avgränsning som innebär att utvärderingen inriktas på endast någon eller ett fåtal målrelaterade frågor av alla dem som kan ställas. Men det är då viktigt att man klargör och motiverar den valda avgränsningen så att de svar som utvärderingen ger kan placeras in i sitt rätta sammanhang. I ett tidsbegränsat projekt som syftar till att hjälpa arbetslösa ungdomar att få jobb, kan vi anta att det är sagt att deltagarna ska tillhöra en viss eller vissa på ett bestämt sätt avgränsade målgrupper, exempelvis komma från ett speciellt utsatt bostadsområde, och att en viss andel av dem ska ha fått arbete efter projektets slut. Med utgångspunkt från en generell frågeställning om huruvida målen för verksamheten uppnåddes, kan det då formuleras mer precise- 21

24 rade frågor som till exempel: I vilken utsträckning har deltagarna motsvarat projektets målgrupper? I vilken utsträckning har olika kategorier av deltagare fått arbete (uppdelade efter kön, ålder, utbildningsnivå, arbetslöshetstidens längd eller andra kriterier som kan antas vara intressanta i det aktuella fallet)? De båda nyssnämnda frågorna kan sägas vara baserade på förhållandevis överordnade målsättningar. Men det är möjligt att de som direkt eller indirekt är involverade i projektet även vill ha svar på ännu mer preciserade frågor som till exempel: I vilken utsträckning fick deltagarna varaktiga respektive tidsbegränsade anställningar? I vilken utsträckning fick de heltids- respektive deltidsanställningar? I vilken utsträckning fick de endast timanställningar? I vilken utsträckning fick deltagare anställning med någon form av anställningsstöd? För dem som inte hade fått arbete vid uppföljningstidpunkten kanske man vill ha svar på frågor som: I vilken utsträckning har deltagare tagits in i arbetsmarknadspolitiska program (andra än dem som räknas som jobb)? I vilken utsträckning har deltagare påbörjat en reguljär utbildning? I vilken utsträckning har deltagare lämnat arbetskraften? Personer som har att ta ställning till verksamhetens utformning skulle förmodligen bidra med andra frågor än dem man möter på mer överordnade nivåer. För att ta ett exempel så skulle de kunna uttrycka att verksamhetens mål är att deltagarna ska förvärva vissa kunskaper och färdigheter. I så fall vill de säkert att en utvärdering ska ge svar på frågan: I vilken utsträckning har deltagarna förvärvat de avsedda kunskaperna och färdigheterna? Man kan visserligen anse att mål av det slaget är underordnade andra mål, eller att det kanske snarare rör sig om medel för att realisera ett mer överordnat mål om att projektet ska leda till arbete. Detta hindrar emellertid inte att det kan vara rationellt att ställa upp sådana underordnade eller mellanliggande mål och utvärdera i vilken utsträckning de har uppfyllts. Sådan information kan ju till exempel vara värdefull vid tolkningen av svaren på frågor om i vilken grad man har uppnått projektets överordnade mål. Det finns inte något entydigt svar på frågan om vilka mål som måluppfyllelseutvärderingar bör inriktas på. Detta måste bestämmas från fall till fall. Målformuleringarna kan vara av den arten att en utvärdering inte ger direkta och entydiga svar på de ställda frågorna. Utvärderaren måste då nöja sig med att försöka ge indikationer på i vilken grad man har lyckats uppfylla mål av det slaget. Ett sådant mål kan vara att man genom verksamheten ska fostra demokratiska medborgare. På kort sikt är det troligt att detta är svårt att utvärdera, men om projektet även syftat till att undervisa i demokratifrågor kan en utvärdering av kunskaper om dessa frågor ge en indikation på måluppfyllelse. Vi använder alltså termen måluppfyllelseutvärdering som beteckning på en studie som gäller sådana målrelaterade frågor som kan besvaras genom att man följer ett enda skeende. Anta till exempel att en utvärdering av det slaget har gett följande resultat: Omedelbart innan starten av det projekt som utvärderingen gäller, så var alla de blivande projektdeltagarna arbetslösa. Vid projektets slut hade 80 procent av deltagarna arbete. En utvärdering av detta slag ger i sig själv en målrelaterad beskrivning av det studerade skeendet det vill säga av det projekt utvärderingen gäller. Det är viktigt att observera att denna beskrivning inte i sig själv säger något om projektets effekt på deltagarnas sysselsättningsstatus. 22

25 Det skulle vara grovt missledande att säga att utvärderingen har visat att projektet har medfört eller resulterat i eller fått till effekt en ökning av sysselsättningsgraden i gruppen av projektdeltagare från 0 till 80 procent. Dessa uttryckssätt leder lätt till förhastade slutsatser om orsakssambanden bakom det beskrivna skeendet. I själva verket säger måluppfyllelseutvärderingen inget om hur mycket, om ens något av ökningen av sysselsättningsgraden från 0 till 80 procent, som kan tillskrivas projektet. Ökningen kan ju mycket väl bero på yttre omständigheter, exempelvis etablering av ett stort köpcentrum på den aktuella orten. Man kan möjligen hävda att måluppfyllelseutvärderingar är en aning ointressanta just för att de inte ger svar på frågan om effekter av studerade verksamheter, och att de därför bör kompletteras med andra typer av utvärderingar. Något ligger det väl i detta, men renodlade måluppfyllelseutvärderingar kan ändå ge mycket värdefull information redan i sig själva. Om man i utgångsläget inte vet hur det senare går för personer som till exempel får del av en arbetsmarknadspolitisk aktivitet, så kan ju en studie som besvarar endast den frågan ge ett avsevärt förbättrat underlag för ställningstaganden och beslut. Exempel på måluppfyllelseutvärdering Ämnet för den här boken är utvärdering av nya verksamheter eller förändringar av existerande verksamheter, det vill säga utvärdering av projekt eller reformer. (Vid förhandsutvärderingar rör det sig om övervägda åtgärder. Se figur 1.1.) Inom ramen för reguljärt bedrivna verksamheter använder man sig av olika slags informationssystem för kontinuerlig eller periodisk uppföljning som i allmänhet är inriktad mot att bedöma om verksamheten bedrivs enligt uppgjorda planer och instruktioner och om den når uppställda mål. Även sådana aktiviteter syftar till att ge underlag för beslut och kan därför egentligen också betraktas som utvärderingar. Det kan emellertid vara ändamålsenligt att skilja mellan utvärdering och verksamhetsuppföljning där det senare begreppet reserveras för aktiviteter inom ramen för löpande uppföljningar som används som instrument för styrning och ledning av reguljära verksamheter. 6 När det i samband med utvärderingen av ett projekt, till exempel ett ändrat sätt att bedriva en viss verksamhet, gäller att definiera projektmål och bestämma hur måluppfyllelsegraden ska mätas eller beskrivas kan det ofta ligga nära till hands att anknyta till redan existerande målbeskrivningar och mätningar som ingår i en löpande verksamhetsuppföljning. 7 Det finns många exempel på rutinmässiga uppföljningar inom kultur- och fritidssektorn som bland annat redovisar hur väl man har uppnått uppställda mål. Sådana verksamhetsuppföljningar kan därför vara en god utgångspunkt för att finna de intressanta frågorna för måluppfyllelseutvärderingar av projekt inom den sektorn. Exempelvis ställer man i verksamhetsuppföljningar upp mål för antalet besökare på fritidsgårdar och i den löpande avrapporteringen talar man om hur väl man har uppnått målet. Ett exempel på en måluppfyllelseutvärdering som illustrerar detta kan vara följande. I en kommun driver man ett projekt med marknadsföring av en fritidsgård för att öka antalet besökare. Skälet är att man tror att ett ökat fritidsgårdsutnyttjande ska leda till mindre ska- 23

26 degörelse, mindre mobbning på skolan samt till ett bättre skolresultat bland de skolungdomar som deltar i fritidsgårdsverksamheten. Innan man sätter igång kampanjen formulerar man följande mål. Antalet besökare på ungdomsgården ska uppgå till minst 500 personer per månad. Andelen flickor ska vara 50 procent. Kostnaden för skadegörelsen i området ska vara högst kronor per år. Man ska öka ungdomars livskvalitet. som gjort att vi fått just dessa resultat? Om en av styrkorna med måluppfyllelseutvärdering är att de är lätta att genomföra och inte är speciellt dyra, så är en av svagheterna att man i grund och botten inte kan uttala sig om måluppfyllelsen är en effekt av det projekt man studerar. För att kunna göra detta måste man på något sätt kontrollera för utomstående faktorer. Efter kampanjen undersöker man hur målen uppfyllts. Genom besöksmätningar ser man om det numera är 500 personer eller fler per månad som besöker fritidsgården. Likaså undersöker man om andelen flickor är 50 procent. Från kommun och fastighetsägare tar man in information om hur stor skadegörelsen är i området och frågan man ställer sig är om kostnaden per år uppgår till kronor eller mindre. För att undersöka måluppfyllelsen om ökad livskvalitet kan man helt enkelt med hjälp av intervjuer eller enkäter ta reda på om ungdomarna som besöker fritidsgården upplever att besök på fritidsgården ger ökad livskvalitet. Om nu målen har blivit uppfyllda skulle man ju i grund och botten kunna drista sig till att dra slutsatsen att detta projekt har varit lyckosamt i den meningen att effekten av projektet har blivit det önskade målen som sattes upp innan är ju uppfyllda. Om detta är ett projekt av engångskaraktär så kan man stanna vid detta, men om projektet är ett pilotprojekt för att undersöka om denna typ av kampanjer är något som ska genomföras vid andra fritidsgårdar måste man vara försiktig. Frågan är om vi vet att den observerade måluppfyllelsen är en effekt av projektet? Kan det ha hänt andra saker 24

27 Avsnitt 2.2 Effektutvärdering Till skillnad från vad som är fallet vid en måluppfyllelseutvärdering räcker det inte att studera endast ett skeende för att ge svar på en fråga av typen: Vilka effekter har den verksamhet vi studerar fått? Genomförandet av en effektutvärdering skiljer sig från en måluppfyllelseutvärdering främst genom att en effektutvärdering förutsätter ett väl specificerat alternativtänkande. En sådan utvärdering syftar till att undersöka förekomsten av ett orsakssamband, som till exempel att ge svar på frågan om ett projekt som syftar till att minska skadegörelsen i ett bostadsområde resulterat i att skadegörelsen har minskat jämfört med om projektet inte hade bedrivits. Effekter = Skillnader mellan alternativa förlopp Säg att vi studerar en pågående verksamhet. Det faktiskt genomförda handlingsalternativet kallar vi alternativ A. Det skeende eller förlopp som då förverkligas kallar vi förlopp A. Om den studerade verksamheten inte bedrevs eller om den bedrevs på ett annat sätt än vad som faktiskt är fallet, skulle ett annat förlopp förverkligas. Säg att vi kan definiera ett sådant alternativt handlingssätt som vi betecknar alternativ B. Motsvarande förlopp betecknas förlopp B. Med begrep- Förlopp A Alternativ A Alternativ B Genomförande av A Genomförande av B Utfall A Utfall B Skillnader = Effekter Förlopp B Figur 2.1 Effekter. 25

28 pet åtgärd avses i utvärderingssammanhang en övergång från handlingsalternativ B till handlingsalternativ A (eller tvärtom). Denna åtgärds effekter definieras som skillnaderna mellan utfallen vid förlopp A och förlopp B. Det är viktigt att observera att en åtgärd inte är väldefinierad förrän man klart har definierat två alternativa handlingssätt. Det är lika viktigt att ha klart för sig att en effekt är en skillnad mellan två alternativa förlopp. I dagligt tal kan man naturligtvis använda orden åtgärd och effekt utan tydliga preciseringar men när det är fråga om utvärderingar är detta riskabelt. Man kan förstås fråga sig vilka effekter, det vill säga vilka skillnader mellan alternativa förlopp, som en effektutvärdering bör inriktas på. Först och främst kan det sägas att det rimligen bör vara av intresse att försöka mäta den studerade åtgärdens effekter på graden av måluppfyllelse i något eller några avseenden. Det är ju i första hand där man hamnar om man tar steget över från en måluppfyllelseutvärdering till en motsvarande effektutvärdering. Man kan då tala om en jämförande måluppfyllelseutvärdering, eftersom den ju innebär att man jämför den måluppfyllelse som uppnås genom handlingsalternativ A med den måluppfyllelse som uppnås genom handlingsalternativ B. Detta kan många gånger vara en fruktbar utgångspunkt. En mer generell formulering är att en effektutvärdering bör gälla sådana effekter som man har anledning att betrakta som intressanta och som kan antas vara av sådan storlek att de är betydelsefulla. Det är inte säkert att alla sådana effekter täcks in av existerande målformuleringar för den åtgärd det gäller. Åtgärden kan till exempel medföra indirekta effekter på förutsättningarna för och utfallet av andra verksamheter än den som åtgärden i sig själv gäller. Sådana indirekta effekter kan vara både önskvärda och icke önskvärda. I båda fallen är de intressanta. Om det inte finns några bra mätmetoder och/ eller tillförlitliga data tillgängliga för att skatta storleken av eventuella indirekta effekter så bör en utvärdering åtminstone innehålla en kvalitativ analys av förekomsten och betydelsen av den här typen av effekter. Att avstå från försök och utvärdering med den motiveringen att man ändå inte kan mäta indirekta effekter som väntas uppkomma är nog i de flesta fall mindre välbetänkt. Då försummar man möjligheten att få information om åtgärdens indirekta effekter, en kunskap som ändå innebär en förbättring av beslutsunderlaget. Olika utvärderingsplaner och deras förmåga att visa effekter I grunden kan man skilja på två olika typer av ansatser eller planer: experimentella och icke experimentella. Man kan utgå ifrån att en experimentell ansats i grunden har två grupper, en försöks- och en jämförelsegrupp, medan icke experimentella utvärderingsansatser karaktäriseras av att det bara finns en grupp, en försöksgrupp. I det här avsnittet finns exempel på och kommenterer kring upplägg av båda slagen. Ett par av exemplen har betydande svagheter i förmågan att påvisa effekter av en åtgärd. Att vi ändå har dem med beror framför allt på att man då och då ser dem användas i det syftet, och då finns det skäl att förhålla sig kritisk till resultaten. I hela avsnittet används M för att beteckna mätning, eller insamling av information, t används för att beteckna tidpunkter i anslutning till det försök som ska utvärderas. En tidpunkt som ligger en period före själva försöket skrivs som t 1 och en tidpunkt som ligger två perioder före försöket betecknas som t 2. På samma 26

29 sätt betecknas perioder som följer efter försökets start med t + 1 och t + 2. Placeringen av Försöksperiod i schemat ska inte tolkas som att försöksverksamheten nödvändigtvis måste vara avslutad när man mäter utfall, utan detta kan ske under tiden som försöksverksamheten pågår. Efter avser alltså en tidpunkt eller period någon gång efter försöksstarten vilket förstås även kan vara efter det att projektet har avslutats. Effektutvärderingar syftar till att undersöka orsakssamband (kausalsamband). Därför bedöms i det följande utvärderingsplanerna med avseende på deras förmåga att påvisa orsakssamband deras interna validitet, det vill säga hur säker man kan vara på att det som tolkas som effekter verkligen har orsakats av den studerade åtgärden. För att kunna skriva rimligt enkelt antar vi att det rör sig om en utvärdering av ett försök med två program där det ena inte innebär någon förändring av den verksamhet det gäller (jämförelsealternativet). Experimentella ansatser I experimentella ansatser finns det alltid någon form av både försöks- och jämförelsegrupp (kontrollgrupp). Försöksgrupp och jämförelsegrupp behöver inte nödvändigtvis röra sig om grupper av personer utan kan vara geografiska områden som till exempel lokala arbetsmarknader, 8 kommuner, bostadsområden eller fritidsgårdar. I fortsättningen talar vi för korthets skull om individer och deltagare i den ena eller den andra gruppen. Det behöver inte heller vara så, som schemat tycks antyda, att jämförelsegruppen inte får del av något program alls eller får del av en verksamhet som bedrivs sedan tidigare. Effektmätningar avser ju jämförelser mellan alternativ och då måste det rimligtvis röra sig om realistiska handlingsalternativ. Om det redan är beslutat att en verksamhet ska upphöra eller förändras är den ju, bedriven i sin nuvarande form, inget meningsfullt jämförelsealternativ. I ett sådant fall kan utvärderingen i stället handla om att klarlägga skillnader i förlopp mellan alternativa utformningar av ett program som avser att ersätta tidigare verksamhet. Då rör det sig ju egentligen snarast om jämförelse mellan två (eller flera) försöksgrupper, men för enkelhets skull får de introducerade gruppbenämningarna även avse sådana fall. De båda tidsperioderna t 2 och t 1 ligger båda före det att försöket genomförs. För att återknyta till diskussionen om föreutvärderingar kan vi tänka oss att den första mätningen är den som identifierar problemet så att en åtgärd börjar planeras. Det är på basis av den information som samlas in vid denna tidpunkt som man formulerar sitt projekt och projektets målsättningar. Vid tidpunkten t + 1 genomförs en mätning som kommer att ingå i effektutvärderingen. Då bör man ha en klar bild av mål och vilka resultat som man vill uppnå med åtgärden. Om man exempelvis genomför åtgärder för att minska kostnaderna för klotter bör man i perioden som föregår försöket, det vill säga period t 1 ha samlat in information om hur stora kostnaderna är innan åtgärden startar. Även tiden efter försöket exemplifierar vi med två perioder t + 1 och t + 2. Vår erfarenhet är att beslutsfattare ofta vill ha snabb information, illustrerat av period t + 1, om vad utfallet har blivit, ibland orealistiskt snabbt. Om åtgärden är av en sådan art att den ger snabba resultat, exempelvis att öka den teoretiska kunskapen om något, är det förstås relevant att mäta direkt efter det att åtgärden har avslutats. I många fall kommer emellertid inte effekterna förrän långt senare. 27