Vad kan vi lära oss av effektstudier? en granskning av några av Vinnovas effektstudier 2014:01

Transkript

1 PM 2014:01 Vad kan vi lära oss av effektstudier? en granskning av några av Vinnovas effektstudier I denna rapport granskas fyra av Vinnovas effektstudier. Hur säker är evidensen på effekter av stödet till sektorerna fordonsforskning, tillverkningsindustri, medicinsk teknik och innovativa livsmedel samt förnyelsebara råvaror? Vilka lärdomar kan dras för kommande studier?

2 Dnr: 2012/008 Myndigheten för tillväxtpolitiska utvärderingar och analyser Studentplan 3, Östersund Telefon: Telefax: E-post: För ytterligare information kontakta: Lars Bager-Sjögren Telefon: E-post:

3 Förord I 2012 års regleringsbrev fick Tillväxtanalys uppdraget att föreslå en ram för analys och utvärdering av innovationspolitiken. I uppdraget formulerades även ett deluppdrag med syfte att göra en metaanalys av några effektstudier som gjorts i Vinnovas regi. I denna rapport har fyra effektstudier med ett sektoriellt fokus granskats. Effekter av stöd till fordonsforskning Effekter av stöd till strategiska utvecklingsområden för svensk tillverkningsindustri Hälsoeffekter av stöd till medicinsk teknik och innovativa livsmedel Effekter av stöd till forskning om förnyelsebara råvaror Metaanalysen har genomförts med syfte att diskutera frågorna: Hur är begreppet effekt behandlat i utvärderingarna? Vilken typ av information och data har använts? Vilken typ av lärande kan observeras? De granskade effektutvärderingarna är omfattande och ambitiösa. Man kan se dem som den första generationens effektstudier och där senare effektstudier genomförts på delvis annorlunda sätt. Metaanalysen visar bland annat att den kontrafaktiska normen i dessa första generationens effektstudier varit svagt definierad, vilket medfört att det varit svårt att empiriskt uppskatta de direkta och indirekta effekterna av de olika programmen. Det beror delvis på att de utvärderade programmen är komplexa och omfattande, och pågått under en längre tidsperiod. Dessa förhållanden försvårar, vilket inte är ovanligt, att uppskatta en tydlig kausalitet mellan insatser, resultat och effekter. De genomförda effektanalyserna kan därför ses som ett sökande efter goda resultat och goda exempel snarare än att bedöma effekterna mot en kontrafaktisk norm. Metaanalysen visar att utvärderingarna trots detta ändå drar långtgående slutsatser avseende effekter från programmen. Under senare år har Vinnovas perspektiv förändrats genom att det har vuxit fram en ökad medvetenhet om innebörden av effektbegreppet, bland annat genom att utveckla och säkra programteori och insatslogik från start i nya program och med större krav på att formulera påverkbara effektmål. Dessa senare effektanalyser har också i högre utsträckning än tidigare inriktats mot mer begränsade program, med kortare tidsspann mellan avslut och analys vilket gör det enklare att spåra förväntade effekter i senare skeden. Utgångspunkten i den moderna utvärderingslitteraturen är att en effekt bör ses som ett resultat av en insats som jämförs mot en norm och som identifierats som relevant för syftet med utvärderingen. Detta innebär ett ökat behov av oberoende kontrafaktiska utvärderingar för att bedöma effekterna av statliga FoI- insatser och för att stödja utvecklingen mot en lärande forsknings- och innovationspolitik. Sweco Eurofutures har utfört rapporten åt Tillväxtanalys. Lars Bager-Sjögren vid Tillväxtanalys har varit projektledare. Stockholm, februari 2014 Enrico Deiaco Avdelningschef, Innovation och globala mötesplatser Tillväxtanalys 3

4 Innehåll Sammanfattning... 5 Summary Inledning Bakgrund och syfte Metod Disposition av rapporten Skillnaden mellan resultat och effekter Programteori och målstruktur Vad är en effekt? Olika sätt att mäta effekter Granskning av fyra effektutvärderingar Kort beskrivning av de utvärderade programmen och projekten Investering i hälsa Hälsoekonomiska effekter av forskning inom medicinsk teknik och innovativa livsmedel Effektanalys av forskningsprogram inom material från förnyelsebara råvaror Effektanalys av stöd till strategiska utvecklingsområden för svensk tillverkningsindustri Effekter av statligt stöd till fordonsforskning betydelsen av forskning och förnyelse för den svenska fordonsindustrins konkurrenskraft Utvärderingarnas syn på effektbegreppet Viss medvetenhet om att effekter påverkas av många faktorer Bristande insikt om förutsättningarna för effektlogikkedjan Tidens och andra finansiärers betydelse Slutsats Hanteringen av effekter i praktiken Goda föresatser men svårt att följa dem Ingen användning av empiriska metoder för att mäta effekter Slutsats Tillgång till information vid mätning av effekter Otillräckligt strukturerade intervjuer för att kunna bedöma effekter Svårt att bedöma den specifika effekten av ett program Slutsats Vinnovas syn på effekter och effektanalyser Inledning Vinnovas fokus på systemperspektiv och samhällsnytta En samlad ansats för att möjliggöra effektanalyser Vinnovas slutsatser och lärdomar av tidiga effektanalyser Reflektioner över Vinnovas arbete med effektanalyser Utvecklingen inom Vinnova senaste åren Slutsatser och reflektioner Utgångspunkter för granskningen Sammanfattande bild av granskade utvärderingar Vinnovas arbete med effektanalyser Det framtida arbetet med effektutvärderingar

5 Sammanfattning En lärande innovationspolitik förutsätter att det finns rutiner för utvärderingar och processer, och hur dessa påverkar politikens inriktning och innehåll. På uppdrag av Tillväxtanalys har Sweco Eurofutures genomfört en metaanalys av några effektutvärderingar av olika forskningsprogram som inriktats mot sektorer och branscher. För detta syfte valdes ett antal specifika effektutvärderingar över sektorsinriktade program som Vinnova och dess föregångare har haft. Sektorprogrammen fokuserade på tillverkningsindustrin i allmänhet, program riktade till fordonsbranschen specifikt, program för medicinsk teknik och livsmedel i syfte att generera hälsoekonomiska effekter samt program som stimulerat utvecklingen av förnyelsebara råvaror. Utvärderingarna genomfördes under perioden 2008 till Metaanalysen diskuterar utvärderingarnas resultat utifrån tre perspektiv. Det första handlar om hur begreppet effekt är behandlat i utvärderingarna. Det andra ger en redovisning av den information och data som har använts i effektutvärderingarna. I det tredje perspektivet ges en beskrivning av Vinnovas syn på effekter, deras arbete med effektanalyser genom åren, och lärdomar som dragits av dessa: Vad har man lärt sig av effektanalyserna? Har de förändrats över tiden och hur arbetar man idag för att försäkra sig om att få tillgång till rätt information för att kunna genomföra utvärderingar och uppföljningar? En viktig utgångspunkt i den moderna utvärderingslitteraturen är att en effekt bör ses som ett resultat av en insats och som jämförs mot en norm som identifieras som relevant i sammanhanget. Jämförelsen kan ske med andra alternativa insatser, eller att ingen insats har genomförts. En effekt som en offentlig aktör åstadkommer är ett resultat som utan aktörens åtgärd inte skulle kunna realiseras. Detta innebär ett behov av en kontrafaktisk metodansats som ofta är förknippad med metodologiska utmaningar och stora krav på datakvalitet. De granskade effektutvärderingarna är omfattande och ambitiösa i sin ansats, medan operationaliseringen av genomförandet generellt håller lägre nivå för valen av empiriska metoder och krav på informationens tillförlitlighet och reliabilitet. Systemperspektiven som inneburit att flera program och insatser analyserats samlat, tillsammans med långa tidsspann mellan insats och den effekt som man försöker mäta, försvårar möjligheterna att skapa trovärdiga kausala samband mellan insatser och effekter. Bedömningen är också att flera av effektanalyserna, trots detta, ändå ofta drar långtgående slutsatser av effekter från programmen. De studerade effektanalyserna får därför snarare en karaktär av ett sökande efter positiva effekter, istället för att vara neutralt granskande. Som effektanalyserna presenteras framstår de studerade programmen därför mer som goda exempel på resultat från genomförda program. Det är därför en brist att normen ofta är för svagt definierad för att kunna tala om effekter i strikt kontrafaktisk mening, vilket medfört att det är svårt att empiriskt uppskatta de direkta och indirekta effekterna. Detta beror delvis på att de program som utvärderats har varit mycket komplexa och omfattande samt löpt över en lång tidsperiod. Dessa förhållanden försvårar beskrivningen av ett tydligt samband mellan insats, resultat och effekter, vilket inte är ovanligt i FoI-program. Under senare år har Vinnovas perspektiv delvis förändrats då det vuxit fram en ökad medvetenhet om innebörden av effektbegreppet. Vinnova har samtidigt arbetat med att redan från start utveckla och säkra programteori och insatslogiken i nya program med större krav på påverkbara effektmål, vilket gör det 5

6 enklare att spåra förväntade effekter i senare skeden. Vinnova har också arbetat med att förbättra informationshanteringen i programmen genom ett mer utbyggt system för projektredovisning och uppföljning, bland annat genom enkäter till de aktörer som deltar i ett projekt. Förändringarna avser att underlätta för framtida studier. Utifrån Vinnovas egna erfarenheter av de svårigheter och brister de funnit, har senare effektanalyser i högre utsträckning inriktats mot mer begränsade program med kortare tidsspann mellan avslut och effektanalyser. Dessa fokuserar också mer på de effekter som programmen har reella förutsättningar att påverka. Även om det har skett en ökad medvetenhet om hur effektutvärderingar bör genomföras hos myndigheterna behövs en bred diskussion om lämpliga insatser, både gällande metoder och vilken information som ska inhämtas för att kunna förse regeringen och myndigheterna med lärande effektutvärderingar. Kunskapen om att effekter kräver ett kontrafaktiskt tillstånd bedöms fortfarande som relativt svag, inte bara inom departement och myndigheter utan även bland många utvärderare. Genomförandet av effektutvärderingar baserade på en medveten kontrafaktisk ansats kommer därför att ställa högre krav på utformningen av programteorier, användningen av olika metoder och på empiriskt underlag än tidigare. 6

7 Summary A learning innovation policy requires that there are procedures for evaluations and processes and how these affect the policy s direction and content. As commissioned by Growth Analysis, Sweco Eurofutures conducted a meta-analysis of some impact evaluations of various research programmes targeting sectors and industries. For this purpose, a number of specific impact evaluations of sectoral programmes that Vinnova and its predecessors have had were selected. The sectoral programmes focused on the manufacturing industry in general, programmes specifically targeting the automotive industry, programmes for medical technology and food aiming to generate health economic impacts, and programmes that stimulated the development of renewable raw materials. The evaluations were carried out during the period 2008 to The meta-analysis discusses the results of the evaluations from three perspectives. The first concerns how the term impact is treated in the evaluations. The second gives an account of the information and data used in the impact evaluations. The third perspective provides a description of Vinnova s view of impacts, their work with impact assessments over the years, and lessons learned from these: What has been learned from the impact assessments? Have they changed over time, and how is work being done today to ensure access to the right information to be able to carry out the evaluations and follow-ups? An important starting point in modern evaluation literature is that an impact ought to be viewed as a result of an intervention that is compared to a norm identified as relevant in the context. The comparison can be made with other alternative interventions, or that no intervention has been carried out. An impact that a public sector actor achieves is a result that could not have been realised without the action of the actor. This implies a need for a counterfactual methodological approach, which is often associated with methodological challenges and high demands on the data quality. The impact evaluations reviewed are comprehensive and ambitious in their approach, while the operationalization of their implementation is generally of a lower level in terms of the empirical methods and requirements on the trustworthiness and reliability of the information. The system perspectives, which meant that a number of programmes and interventions were analysed together, combined with the long time span between the intervention and the impact that one was attempting to measure, makes it difficult to establish credible causal relationships between interventions and impacts. The appraisal is thus that, despite this, many of the impact assessments often draw far-reaching conclusions regarding the impacts of the programmes. The impact assessments studied thus have more of a quality of looking for positive impacts rather than being neutral in their scrutinizing with a view to contributing lessons learned from the interventions. As the impact assessments are presented, the studied programmes therefore are advanced more as good examples of results from implemented programmes. Thus, a shortcoming is that the norms are often weakly defined for being able to talk about impacts in strict counterfactual terms, which has meant that it is difficult to empirically evaluate the direct and indirect impacts. This is partly due to the fact that the programmes evaluated have been very complex and extensive, and also ran over a long period of time. These conditions make it more difficult to describe a clear causality between interventions, results and impacts, which is not unusual in these R&I programmes. In recent years, Vinnova s perspective has changed somewhat due to a greater awareness of the substance 7

8 of the term impact having developed. At the same time, Vinnova has worked to develop and consolidate the program theory and intervention logic from the start in new programmes with more stringent requirements for controllable impact targets, which make it easier to track anticipated impacts at later stages. Vinnova has also worked to improve information management in the programmes by means of a more extensive system for project accounting and follow-up, including by means of various types of surveys sent to the actors involved in a project. These changes aim to facilitate future studies. Based on Vinnova s own experiences of the difficulties and shortcomings they have found in many previous impact assessments, later impact assessments have therefore been focused to a greater extent on more limited programmes, with shorter time spans between conclusion and impact assessments. These also focus more on the impacts that the programmes have real opportunities of influencing. Even if an awareness of how impact evaluations should be carried out has grown within government agencies, a broad debate on appropriate interventions, in terms of both methods and what data should be gathered, is needed in order to be able to furnish the Government and its agencies with learning impact evaluations. The knowledge that impacts require a counterfactual condition is still assessed to be relatively weak not only within government ministries and agencies, but also among many evaluators. The implementation of impact evaluations based on a consciously counterfactual approach will therefore place higher demands on the design of programme theory, the use of various methods, and empirical evidence than has previously been the case. 8

9 1 Inledning 1.1 Bakgrund och syfte Tillväxtanalys fick i regleringsbrevet för budgetåret ett fortsatt uppdrag om det svenska innovationssystemet, vilket skall ses mot bakgrund av regeringens arbete med att utforma en nationell innovationsstrategi. En effektiv lärande innovationspolitik förutsätter att de finns rutiner för utvärderingar och processer och hur dessa påverkar politikens inriktning och innehåll. Sweco Eurofutures 2 har på uppdrag av Tillväxtanalys genomfört en metaanalys av några effektutvärderingar av olika FoI-program som inriktats mot sektorer och branscher. För detta syfte valdes ett antal specifika effektutvärderingar över sektorsinriktade program som Vinnova och dess föregångare har haft. Sektorprogrammen fokuserade på tillverkningsindustrin i allmänhet, program riktade till fordonsbranschen specifikt, program för medicinsk teknik och livsmedel i syfte att generera hälsoekonomiska effekter samt program som stimulerat utvecklingen av förnyelsebara råvaror. Metaanalysen diskuterar utvärderingarnas resultat utifrån tre perspektiv. Det första handlar om hur begreppet effekt är behandlat i utvärderingarna. Det andra ger en redovisning av den information och data som har använts i effektutvärderingarna. I det tredje perspektivet ges en beskrivning av Vinnovas syn på effekter, deras arbete med effektanalyser genom åren, och lärdomar som dragits av dessa: Vad har man lärt sig av effektanalyserna? Har de förändrats över tiden och hur arbetar man idag för att försäkra sig om att få tillgång till rätt information för att kunna genomföra utvärderingar och uppföljningar? 1.2 Metod I samarbete med Tillväxtanalys har följande fyra utvärderingar valts ut för att studeras närmare. Tre av utvärderingarna har, på uppdrag av Vinnova, genomförts av konsultbolag och en utvärdering av Linköpings universitet. Effekter av statligt stöd till fordonsforskning Betydelsen av forskning och förnyelse för den svenska fordonsindustrins konkurrenskraft Faugert & Co Utvärdering AB. 2009, VA 2009: 02 Investeringar i hälsa Hälsoekonomiska effekter av forskning inom medicinsk teknik och innovativa livsmedel, Linköpings universitet, 2009, VA 2009:19 Effektanalys av stöd till Strategiska utvecklingsområden för svensk tillverkningsindustri, Faugert & Co Utvärdering AB, VA 2010:06 Effektanalys av forskningsprogram inom material från förnyelsebara råvaror, WSP, VA 2011:06 Uppdraget har genomförts i olika moment, vilka delvis överlappar varandra tidsmässigt. Först gjordes en mer övergripande genomläsning av de fyra utvalda effektutvärderingarna för att få en allmän uppfattning om struktur, använd information och analysmetoder. Därefter skedde en detaljerad analys av utvärderingarna. Det har därvid bland annat varit 1 Regleringsbrev för budgetåret 2012 avseende Myndigheten för tillväxtpolitiska utvärderingar och analyser inom utgiftsområde 24 Näringsliv, Ändringsbeslut Uppdraget har genomförts av Peter Sandén (uppdragsledare), Olof Linde och Terese Strenger 9

10 fråga om att undersöka det kontrafaktiska synsättet, det effektbegrepp som har använts, valet av effektmått, valet av information, genomförandet av effektmätningen och tolkningen av denna. En intervju genomfördes med Vinnovas utvärderingsenhet för att få deras syn på de fyra utvalda effektutvärderingarna; bland annat med avseende på vilken nytta de haft av utvärderingarna, när nya program insatser satts igång. Dessutom berördes Vinnovas syn på och användning av effektbegrepp och mätning av effekter samt inriktningen på de effektutvärderingar som idag genomförs och det informationssystem som byggt upp för projekt och program. 1.3 Disposition av rapporten Som en utgångspunkt för granskningen av utvärderingarana ges i Kapitel 2 en genomgång av innebörden av effektbegreppet och de krav som detta ställer vid genomförandet av utvärderingar. Detta följs av en genomgång av utvärderingarnas syn på effekter, hanteringen av effekter i praktiken och den information som har använts vid mätning av effekter (Kapitel 3). Detta följs av en redovisning av Vinnovas syn på effektutvärdering (Kapitel 4). I det sista kapitlet ges slutsatser och reflektioner om effektutvärderingar (Kapitel 5) 10

11 2 Skillnaden mellan resultat och effekter 2.1 Programteori och målstruktur En effektutvärdering i likhet med andra slag av utvärderingar tar sin utgångpunkt i en programteori som speglar både uttalade och outtalade uppfattningar om hur ett projekt eller ett program är tänkt att fungera. Programteorin rekonstrueras och analyseras med utgångspunkt i situationsteorin, inverkansteorin och målstrukturen för organisationen. I situationsteorin analyseras den problembakgrund ( problembilden ) som ligger till grund för programmet och som man ska försöka komma till rätta med. Nästa steg är att analysera inverkansteorin och den målstruktur som satts upp för programmet. Insatserna eller aktiviteterna analyseras ex ante för att bedöma dem i relation till problembilden. Är det troligt att insatserna leder till en lösning av de problem som initierade programmet? Gör man rätt saker? I detta utvärderingssteg ingår också att bedöma om målen är relevanta, tydliga, realistiska och mätbara, med andra ord att projektet har utvärderingsbara mål? Utgångspunkten för mål för ett program är problembilden; det är denna som styr inriktning och omfattning. Ju mer precist man identifierar eller avgränsar problembilden, desto lättare är det att utforma mål och insatser som är anpassade för att lösa problemet. Med en målstruktur menas den mål medel-hierarki som används vid styrning av verksamheter. Överst i en hierarki finns ett huvudmål för det resultat som på ett övergripande plan uttrycker vad projektet ska uppnå. Huvudmålet, som ska knyta an till den problembild som initierade verksamheten, bryts vanligtvis ner i flera underliggande resultatmål som är mer konkreta till karaktären. Resultatmålen är medlen för att uppnå huvudmålet. På nästa nivå finns mål för de aktiviteter eller insatser som ska genomföras i projektet (Figur 1). På detta sätt bildas en mål medel-hierarki eller mål medel-kedja med ett antal styrnivåer för verksamheten. Är målstrukturen konsistent kommer uppfyllelse av aktivitetsmålen att vara analogt med uppfyllelse av resultatmål och huvudmål, då de förra är ett medel för att uppnå de senare. Man kan till exempel ha som mål att en forskningsinsats ska leda till ökad kompetens hos en högskola och deltagande företag, vilket i sin tur ger som resultat att ett visst antal nya företag etableras. Det är viktigt att målen är mätbara för att kunna utvärdera en insats. I vissa fall är målen mätbara, men det kan vara svårt att få tillgång till den information som behövs för att kunna mäta resultatet. I andra fall kan målen vara formulerade på ett oklart och oprecist. Figur 1 Målstruktur en principskiss 11

12 2.2 Vad är en effekt? Det är viktigt att skilja mellan resultat och effekt. Med effekt menas en förändring som inträffar som en följd av en genomförd insats och som annars inte skulle ha inträffat. Detta betyder ett kontrafaktiskt synsätt 3 : Vad skulle ha inträffat om man inte genomfört en insats jämfört med vad som faktiskt hände? Eller: Vad skulle ha inträffat om man genomförde en annan insats jämfört med vad som faktiskt hände? I effektmätningarna försöker man isolera effekterna av insatsen från allt annat (mervärde/additionalitet/nettoeffekt) genom att ta hänsyn till omvärldsfaktorernas påverkan på resultatet. För att tala om en programeffekt måste man avgöra programmets (insatsernas) bidrag till de resultat som observeras. Vid en kontrafaktisk utvärdering eller effektanalys krävs att man etablerar någon form av kontrafaktiskt tillstånd för att besvara frågan. Enklare uttryckt en om inte-problematik. Vad hade hänt om programmets insatser inte hade genomförts? Hade resultatet ändå blivit detsamma? Vilken påverkan har externa faktorer haft för resultatet? Hade andra finansiärer trätt in istället för programaktören? Hade utvecklingsarbetet tagit andra former? I detta sammanhang talas om additionalitet och mervärden. Analysen av om inte-problemet syftar ytterst till att fastställa en dödviktseffekt, att fastslå hur stor del av de observerade resultaten som skulle ha kommit till stånd även utan programinsatsen. Bidraget till nettoprogrameffekten är således resultatet minus dödviktseffekten. En annan sak som man bör ta hänsyn till är att programmet kan leda till effekter som var oavsedda. Exempel på sådana bieffekter kan vara att programmets insatser har påverkat vissa företag positivt men att andra företag konkurrerats ut som en följd av insatserna. Detta brukar kallas konkurrenssnedvridande effekter. Tanken med forskningsinsatser är att konkurrenssnedvridande effekter ska undvikas. I den mån de företag som får del av programmet gynnas är tanken att detta inte sker på bekostnad av andra företag, då gynnandet uppkommer som ett resultat av en utvecklingsprocess och inte av stödet i sig. Den exakta skillnaden mellan FoI-stöd och olika typer av företagsstöd kan naturligtvis diskuteras. Det är också möjligt att diskutera konkurrenssnedvridning mellan å ena sidan de forskningsinstitutioner som får del av stödet och å andra sidan sådana som inte får det. Andra effekter av programmet är ofta indirekta. Det faktum att programmet existerar kan komma att påverka aktörer som inte är direkt berörda av programmet. Det kan handla om att programmet i sig riktar fokus på en viss fråga, vilket indirekt får till effekt att fler börjar agera i enlighet med programmets intentioner. Detta skulle då förstärka programmets effekt på det önskade programeffektmålet, även om det inte direkt är ett resultat av programgenomförandet. Det omvända fallet kan också tänkas, nämligen att programmets existens påverkar andra att minska sina insatser. Detta skulle i så fall minska programmets nettoeffekt. Detta kan tyckas som en teknisk eller akademisk övning, som kan vara svår att 3 Detta effektbegrepp överensstämmer med den definition som ges av EU, se European Union (2013), Design and commissioning of counterfactual impact evaluation A practical guidance for ESF Managing Authorities, chapter 1, pp I EU talar man ofta om resultat och effekter i termer av outcome (resultat) och impact (effekt). Man kan också uttrycka det så att effekt (impact) är detsamma som ett kontrafaktiskt resultat, dvs. nettoresultatet efter hänsyntagande till dödviktseffekten. 12

13 hantera i en utvärdering av politiska program. Det kan dock vara nödvändigt att beakta denna problematik vid vissa utvärderingar. Det ligger nära till hands att tolka en positiv påverkan på programmets effektmål som ett framgångsrikt program. Programmets kostnader bör dock också vägas in. Genom att ställa effekten mot kostnaden ges en möjlighet att jämföra olika insatser med varandra, vilket ger ett underlag för att bedöma de olika insatsernas kostnadseffektivitet. 2.3 Olika sätt att mäta effekter Det från teoretisk synpunkt mest ideala sättet att genomföra en effektanalys är att jämföra resultatet för en behandlingsgrupp som tar del av en insats (som får behandling) med en kontrollgrupp, där de som ingår i gruppen inte tar del av insatsen, det vill säga inte får någon behandling. I en experimentsituation som i medicinska experiment är det möjligt att slumpmässigt fördela deltagarna på olika grupper, vilket gör att de två grupperna i statistiskt hänseende blir lika. Skillnaden i resultat mellan behandlings- och kontrollgruppen kan då tillskrivas den behandling som deltagarna i behandlingsgruppen har fått. Det är dock inom samhällsvetenskapen svårt att genom experiment bilda behandlings- och kontrollgrupper som bara skiljer sig åt med avseende på om deltagarna har tagit del av en insats. Man försöker i stället efterlikna experimentsituationen genom att använda vissa kvasi-experimentella metoder. Huvudprincipen för dessa metoder är att försöka få individer eller företag som deltar i en insats (dvs. är behandlingsgruppen) så lika som möjligt i relevanta egenskaper som de som inte deltar i insatsen (dvs. är kontrollgruppen). En vanlig metod att uppnå detta är att genomföra en så kallad matchningsanalys genom att använda metoden propensity score matching 4. Målet är att för varje individ i behandlingsgruppen finna en individ i kontrollgruppen som motsvarar deltagaren i behandlingsgruppen i relevanta egenskaper. Man kan säga att matchning blir ett sätt att finna en statistisk tvilling i kontrollgruppen till en deltagare i behandlingsgruppen. Det krävs dock vissa förutsättningar för att kunna genomföra effektanalyser med hjälp av matchning: Man behöver kunna identifiera relevanta behandlings- och kontrollgrupper. Det behövs tillgång på data, ofta av kvantitativt slag, för både grupperna. Det bör finnas en utvecklad teori om vilka faktorer som påverkar effektvariabeln (förändringsteori), till exempel vilka egenskaper hos ett företag som påverkar ett företags tillväxt, eftersom dessa faktorer är en grund för valet av matchningsvariabler. Man bör på olika sätt ta hänsyn till den inverkan som icke observerbara faktorer kan ha på effektvariabeln. Beroende på bristande förutsättningar att kunna genomföra matchningsanalyser eller andra liknande analyser används ibland andra metoder för att kunna göra olika jämförelser och därigenom få en bild av den effekt som en insats haft. Det bör dock betonas att detta slag av analys inte bygger på en kontrafaktisk metod men analysen kan ändå ge en viss 4 Se Heckman, J., Lalonde, R. J., & Smith, J. A. (1999), The economics and econometrics of acvtive labor market programs. i A. Ashenfelter, & D. Card (Red.), Handbook of Labour Economics (Vol. 3, ss ). Amsterdam: Elsevier Science och Rosenbaum, P. A., & Rubin, D. (1983). The central role of the propensity score in observational studies for causal effects. Biometrika, 70,

14 indikation om det betydelse som en insats haft. 5 Exempel på detta slag av metod är generisk kontroll som innebär att en undersökningsgrupp/behandlingsgrupp som tagit del av en insats jämförs med det som händer för en motsvarande grupp i en större population som inte tagit del av insatsen; de som ingår i denna grupp bör så långt möjligt ha liknande egenskaper som de i undersökningsgruppen. En annan metod är reflexiv kontroll, som innebär att deltagarna i en insats jämförs med sig själva vid en eller flera tidigare tidpunkter; man undersöker om deltagarna efter det att en insats satts in utvecklas på ett annat sätt jämfört med utvecklingen före insatsen. Det är vid denna analys viktigt att bedöma att det inte har skett någon påverkan av andra faktorer än själva insatsen som skulle kunna förklara utvecklingen för deltagarna i undersökningsgruppen, Det bör återigen betonas att detta slag av metoder endast kan ge en indikation om det skett en förändring på grund av en insats, som inte kan likställas med en effekt som utvärderats på ett kontrafaktiskt sätt. En metod som är kontrafaktisk men som bygger på subjektiva bedömningar av effekter är den subjektiva, kontrafaktiska metoden. 6 Denna innebär att deltagarna/företag/andra aktörer i ett projekt eller program ombeds att göra en subjektiv bedömning av eventuella effekter som deltagandet i projektet/programmet har haft på olika delar av verksamheten. Respondenterna uppmanas att bedöma i vilken utsträckning programmet har varit betydelsefullt för att uppnå de observerade resultaten. Har till exempel programmet bidragit till ett snabbare eller ett mer omfattande förlopp än vad som annars skulle ha varit möjligt? Hade det överhuvudtaget varit möjligt att uppnå de observerade resultaten utan programmets insatser? I ett andra steg får respondenterna bedöma om det har funnits alternativa insatser för utveckling av till exempel projektet, företaget och forskningsinstitutionen. Detta följs sedan upp i nästa steg genom att man får bedöma om dessa alternativ har varit lika bra, sämre eller bättre än de insatser som man tagit del av via programmet. Det huvudsakliga syftet med detta tillvägagångssätt är att fånga upp projektets eller programmets additionalitet. 5 För en beskrivning av dessa metoder, se Vedung, E (2009), Utvärdering i politik och förvaltning, Studentlitteratur AB 6 Se Polt Wolfgang & Rojo Jaime (2003), Evaluation methodologies, I Gustavo Fahrenkrog (eds) RTD Evaluation Toolbox, Sevilla: European Commission, sid Se också Link A & Scott J (2011), Public goods, Public Gains: Calculating the social benefits of public R&D, New York: Oxford University Press, i vilken beskrivs och analyseras studier från bland annat National Institutet of Standards and Technoly (NIST), som tillämpar liknande metoder. Metoderna har senast blivit återgivna i antologin: Handbook on the theory and practice of program evaluation ed A Link & N Vonortas (2013). För exempel på tillämpningar av den subjektivt kontrafaktiska metoden, se också EUREKA Impact Analysis Effects of Swedish participation in EUREKA, VA 2012:08, Vinnova och Effektutvärdering av stöd till näringslivet genom såddfinansiering och inkubatorer, Utvärderingsrapport 2011:01, Regional utveckling, Västra Götalandsregionen 14

15 3 Granskning av fyra effektutvärderingar 3.1 Kort beskrivning av de utvärderade programmen och projekten Investering i hälsa Hälsoekonomiska effekter av forskning inom medicinsk teknik och innovativa livsmedel Utgångspunkten för utvärderingen har varit program inom medicinteknisk och livsmedelsanknuten forskning från slutet av 1980 talet fram till Dessa program har fått stöd från Vinnova och dess föregångare STU och Nutek Programmen omfattar ett stort antal forskningsanslag och spänner över ett brett spektrum av medicinska och hälsorelaterade tillämpningsområden, inklusive olika livsmedelstillämpningar, Forskningsmedel har fördelats mellan svenska universitet, högskolor, industriforskningsinstitut samt företag. Syftet med programmen var att få hälsoekonomiska effekter genom de forskningsinsatser som gjordes inom olika områden. Effekter ska uppkomma genom att forskningen bidrar till utvecklingen av en produkt eller procedur med dokumenterad effekt på hälsa eller livskvalitet och produkten/proceduren har nått viss spridningsgrad i sjukvården/samhället. Dessutom ska forskningen ha bidragit till en effektivare sjukvård eller en upplevd förbättring av sjukvårdens arbetsprocess och/eller miljö. I de olika programmen har ingått ett stort antal projekt. Enligt Vinnovas och Nuteks sammanställningar omfattade det medicintekniska området drygt 800 dataposter fördelade på ett stort antal projekt. Genom vissa filtreringar av datamaterialet har antal dataposter och projekt minskat väsentligt. Bland annat har sorterats bort projekt som fått finansiering anslag 1990 eller tidigare eller första anslag 2003 eller senare. Exempel på andra bortsorteringar är projekt av grundforskningskaraktär och anslag till entreprenörsverksamhet och resor. Dessa bortsorteringar innebär att utvärderingen endast omfattar 223 dataposter hänförliga till 97 projekt inom de olika programmen. Inom livsmedelsområdet fördelade Vinnova och Nutek till universitet och högskolor 122 miljoner, hänförliga till 94 projekt, för forskning under åren Effektanalys av forskningsprogram inom material från förnyelsebara råvaror Utvärderingen syftar till att belysa de långsiktiga effekterna miljöpåverkan, ekonomisk utveckling för företag, generering av ny kunskap och kunskapsspridning av forskningsprogrammen inom området förnyelsebara material. Forskningsprogrammet PROF, Nya produkter ur förnyelsebara råvaror, pågick under perioden Programmet till vilket anslogs 15 miljoner kronor inom fyra olika delområden: barriärskikt, ytaktiva ämnen, gelbildare och modifierade biofibrer. Inom dessa områden var målet för programmet att skapa kunskap som gör det möjligt för svensk industri att utveckla och tillverka nya, miljöanpassade och på en internationell marknad kommersiellt gångbara produkter baserade på inhemska förnyelsebara råvaror. Detta program följdes i slutet av 1990-talet av forskningsprogrammet PROFYT, Nya funktionella cellulosa- och agroprodukter, som pågick under 1998 till Forskningen inom programmet som omfattade 39 miljoner kronor inriktades på delområdena stärkelse, hemicellulosa och vegetabiliska oljor. Fokus i PROFYT var att stärka samarbetet 15

16 mellan forskningsmiljöer och industrin, skapa en grund för utveckling av kretsloppsanapassade produkter och bygga upp en inhemsk kunskapsbas som kan användas för att utveckla produkter och material baserade på förnybara råvaror i framtiden. År 2003 startades forskningsprogrammet Gröna Material, som pågick till 2007 och hade en budget på 70 miljoner kronor. Syftet med Gröna Material var att öka användningen av den industriella produktionen av nya material och produkter från förnybara råvaror. Tanken var att insatserna på lång sikt skulle bidra till en hållbar utveckling kombinerad med ekonomisk tillväxt. Syftet med delprogrammet Demonstrationer var att forskningsresultaten från de tidigare programmen nu skulle börja resultera i marknadsmässiga produkter. Totalt omfattade de tre programmen i vilka forskningsinstitutioner, företag och forskningsinstitut deltog knappt 50 projekt, till vilka anslogs totalt 125 miljoner i statliga medel Effektanalys av stöd till strategiska utvecklingsområden för svensk tillverkningsindustri Utvärderingen omfattar fem program under perioden inom produktframtagningsområdet, med stöd från Vinnova och Nutek. IT i verkstadsindustrin (ITV) bedrevs under perioden och syftade till att höja den svenska verkstadsindustrins förmåga att på ett medvetet och långsiktigt uthålligt sätt nyttja informationsteknologin för att förbättra såväl sina produkter som sina interna processer. Programmet syftade också till att påverka högskolornas forskning åt att bli mer industritillvänd och till att producera mer direkta industriellt användbara resultat. Programmet omfattade en offentlig budget på 145 miljoner kronor. Tillverkningsindustrins produktframtagning (TIP) bedrevs under perioden och syftade till en utveckling och implementering av generisk kunskap, metoder, tekniker och teknologier för en effektivare produktframtagning som kan leda till en ökad konkurrenskraft inom tillverkningsindustrin. Detta skulle i huvudsak genomföras genom att sammanföra aktörer från såväl näringsliv som forskarsamhället och samhället för att genom förbättrad samverkan mellan olika aktörer därigenom stärka de nationella innovationssystemen. Porgrammet omfattade en offentlig budget på 31 miljoner kronor. Komplexa sammansatta produkter (KSP) bedrevs under perioden och syftade till att genom samverkansprojekt med svensk tillverkningsindustri skulle industriella problemställningar adresseras. Resultaten från forskningen kunde då bättre implementeras i industrin, till gagn för tillväxt och ökad konkurrenskraft på en allt mer globaliserad och kundanpassad marknad. Programmet omfattade en offentlig budget på 88 miljoner kronor. Effektiv produktframtagning (EP) bedrevs under perioden och syftade, på samma sätt som KSP, till att genom samverkansprojekt med svensk tillverkningsindustri skulle industriella problemställningar adresseras. Resultaten från forskningen kunde då bättre implementeras i industrin, till gagn för tillväxt och ökad konkurrenskraft på en allt mer globaliserad och kundanpassad marknad. Programmet omfattade en offentlig budget på 139 miljoner kronor. Manufacturing Engineering Research Area (MERA) bedrevs under perioden och syftade till att stärka svensk fordonsindustris konkurrenskraft genom att: 16

17 verka för att långsiktigt stärka forskningsmiljöer kring utvalda och prioriterade forskningsområden inom produktionsteknik verka för att ny kunskap tas fram och implementeras samt att befintlig kunskap implementeras i industriella tillämpningar Programmet var störst bland dessa fem och omfattade en offentlig budget på 304 miljoner kronor. Det huvudsakliga motivet för effektanalysen var att skapa förståelse för på vilket sätt Vinnovas och dess företrädares insatser resulterat i effekter och av vilket slag dessa effekter var. De effekter som Vinnova ville att effektanalysen skulle fokusera på skulle primärt eftersökas i industrin, medan effekter på universitet och högskolor samt institut skulle betraktas ur perspektivet av hur dessa understödde och bidrog till effekter i industrin. Effektanalysen inleddes med en förstudie som mynnade ut i en avgränsning och konkretisering av uppdraget på så sätt att huvudstudien skulle fokusera på tre områden: Funktionsförsäljning Friformsframställning Industriell IT Informationsinsamlingen för effektanalysen gjordes genom två enkäter en till industrirepresentanter och en till universitet och högskolor samt institut, djupintervjuer med 40 personer från industrin och akademin samt diskussioner i referensgrupper och på tolkningsseminarium. I metoden understryks betydelsen av att de fem programmen inte ens utgjorde hälften av den offentliga finansieringen inom området, vilket innebar en betydande försiktighet i attribueringen i analysens delstudier. Genom en så kallad femplusansats sökte man effekter som kunde härröras från finansiering från Vinnova och dess företrädare och inte bara effekter som kunde knytas till de fem programmen Effekter av statligt stöd till fordonsforskning betydelsen av forskning och förnyelse för den svenska fordonsindustrins konkurrenskraft Bakgrunden till fordonsforskningsprogrammet (ffp) går tillbaka till 1992 då fordonsindustrin såg ett behov av bättre styrformer för samverkan mellan företag och akademi och statlig delfinansiering på motsvarande villkor som i andra konkurrentländer. Staten å sin sida hade fått upp ögonen alltmer för värdet av behovsmotiverad forskning. Resultatet blev ett fordonstekniskt forskningsprogram med en årlig kostnadsram på högst 30 miljoner kronor per år under förutsättning att fordonsindustrin bidrog med minst lika mycket. Fordonsindustrin förslag hade initialt legat på 200 miljoner kronor per år. Programmet startade 1994 och konstruktionen av avtalet innebar ett större industriellt inflytande och engagemang i tillämpad forskning än vad som varit vanligt tidigare. Avtalet omfattade en total budget på 180 miljoner kronor för Programmet har därefter förlängts vid ytterligare tillfällen och löpte i sin dåvarande form i slutet av Syfte och mål för programmet förklaras vara att dels skapa kompetens- och rekryteringsbas på högsta internationella nivå, dels skapa forskningsresultat som är till nytta i parternas verksamhet. För beslut om projekt skulle också gälla att projekten som mål skulle leda till ett effektivare samarbete mellan fordonsindustrin å ena sidan och universitet och högskolor och forskningsinstitut å den andra. I effektanalysen görs en övergripande rekonstruktion av programteorin bakom satsningen, där man konstaterar att programmet innebar en delvis 17

18 nya väg för forskningsfinansieringen. Målen och medlen liknade till stor del andra behovsmotiverade satsningar, medan det var konstruktionen med ett särskilt programråd var unik. Genom programrådet skapades en arena där företagen och myndigheterna var tvungna att samarbeta på ett djupare sätt än tidigare eftersom viktiga prioriteringsbeslut skulle fattas av företagen. För akademins del öppnades genom programmet en ny finanseringskälla och nya finansieringsmöjligheter som krävde viss anpassning av arbetsformer. Effektanalysen som genomfördes hade som syfte att beskriva och analysera vad man 14 år efter starten av programmet kunde se för effekter av satsningen på industrin, inom forskningsvärlden och i samhället. Efter en förstudie gjordes en avgränsning av omfattningen till de två första fordonsprogrammen som löpte mellan , bland annat med motivet att det hade gått tillräcklig tid för att det skulle vara möjligt att se effekter av dessa satsningar. Effektanalysen är uppbyggt runt ett antal delundersökningar, som metodmässigt baserats på en blandning av dokumentstudier, tidigare utvärderingar, intervjuer, enkäter och fallstudier. För tolkning och syntes av delundersökningarna har man haft stöd av en referensgrupp med nära anknytning till programmet och för effektanalysens syntesarbete har särskilda tolkningsseminarier utgjort en viktig del. 3.2 Utvärderingarnas syn på effektbegreppet En central fråga är att bedöma om det i utvärderingar förs en diskussion eller ett resonemang om vad en effekt är och skillnad mellan resultat och effekt. Det finns vissa skillnader mellan utvärderingarna i detta avseende Viss medvetenhet om att effekter påverkas av många faktorer Analysen av Effekter av statligt stöd till fordonsforskning är mycket ambitiös i sin ansats. Det konstateras tidigt att det är en mycket komplex uppgift att söka effekter inom de tre utpekade dimensionerna industri, forskning och myndigheter samtidigt som det har gått mer än 14 år sedan programmet satte igång. I synen på effekter drivs en medveten linje om att det handlar om att isolera den påverkan, positiv som negativ, som programmen haft, i förhållande till andra faktorer som påverkat parallellt. I en inledande förstudie till effektanalysen gjordes en bedömning av möjliga önskade effekter som skulle kunna uppstå i programmet, men det finns en medvetenhet om att de förändringar som påträffas i analysen också kan bero på andra orsaker. Det nämns bland annat att man måste ta hänsyn till att programmen utgör en liten del bland andra forskningssatsningar inom området och att det genomförs projekt och sker förändringar inom industrin och forskningsvärlden samt att det sker förändringar i ekonomi och omvärld parallellt. För att hantera dessa svårigheter och kunna fastställa effekten av programmet beskrivs en analysmodell i fem delar. Den första är att beskriva förlopp och tidsföljder mellan olika händelser för att tydligt kunna se potentiella orsak verkansrelationer. Den andra är att analysera olika påverkande händelser och omgivningsfaktorer runt programmet för att se om de har förstärkt eller fungerat som katalysator när det gäller utvecklingen inom relevanta delar av industrin och forskningssystemet. Det tredje innefattar att ha fokus på både kortsiktiga och långsiktiga effekter av projekten. I den fjärde delen analyseras vad programmet faktiskt tillfört eller adderat, i form av exempelvis forskningsmedel till vissa miljöer, nettoförändringar i arbetssätt eller samarbeten. För det femte görs ett försök till analys av i vilken mån programmet bidragit till att hantera eller eliminera svagheter i fordonsindustrins innovationssystem. 18

19 I rekonstruktionen av programteorin delas resultat och effekter in i tre delar: output (i form av det som programmet producerar mot olika målgrupper), effekter på kort och medellång sikt (exempelvis nya FoI-program, höjd kompetens, nya samarbeten, bättre produkter), samt effekter på lång sikt (t.ex. nya produkter, stärkt konkurrenskraft, strukturella anpassningar i forskningssystemet). Trots att det som noterats gått 14 år sedan start, och den ambitiösa ansatsen, väljer man i analysen att fokusera på effekter i det korta och medellånga perspektivet. Sammantaget kan konstateras att det i denna effektanalys läggs stor möda i ansatsen att spåra effekter av programmet, och att det finns en viss medvetenhet om att effekter avser ett kontrafaktiskt tillstånd. Samtidigt blir fokus i diskussionen, utifrån påvisade svårigheter, till stor del inriktat på att överhuvudtaget finna rimliga samband mellan de insatser som gjorts och eventuella förändringar som syns. Därmed förändras effektbegreppet till att i första hand påvisa förändringar som kan kopplas till programmet, medan det kontrafaktiska tillståndet blir något som hanteras mer i en diskussion. I den hälsoekonomiska utvärderingen finns en teoretisk medvetenhet om att effekten av en insats kan påverkas av ett stort antal omvärldsfaktorer och att man måste ta hänsyn till dessa, när man ska bedöma eller beräkna nettoeffekten. Det kan till exempel finnas samhällsförändringar och förändrade levnadsvanor som påverkar resultatet. Forskningsprojekt som får stöd påverkas till exempel av förhållanden inom vården och omsorgen samt andra medicinska teknologier inom sjukvården. Figur 2 Hur stor andel av effekten som kan tillskrivas forskningsinsatsen i relation till andra aktörers insatser och andra faktorers inverkan Källa: Investeringar i hälsa Hälsoekonomiska effekter av forskning inom medicinsk teknik och innovativa livsmedel, s. 21 Det görs i rapporten ett försök att utforma en modell eller kanske snarast en tankemodell för hur man ska mäta nettoeffekten av en viss investering (Figur 2). Beräkningen av insatsens relativa storlek börjar med att beräkna till exempel Vinnova anslag för en viss satsning i relation till annan forskning. Detta ger Vinnovas andel av den totala forskningsfinansieringen inom ett visst tillämpningsområde. Om denna forskning ger som resultat en innovation, försöker man bedöma hur denna samverkar med andra teknologier för diagnos och behandling. Detta ger underlag att för att bedöma innovationens relativa betydelse mätt i procentuella termer för den nya teknologin eller behandlingen. I nästa steg ser man förändringen av hälsotillstånd inte bara i relation till den nya sjukvårdsinsatsen som beror 19

20 på innovationen utan också till förändringar i levnadsstandard. Även i detta steg försöker man räkna ut insatsens relativa andel för förbättringen av hälsotillstånd. Slutligen ser man den nya teknologin i förhållande till andra medicinska behandlingsmetoder som samverkar för att nå ett bättre behandlingsresultat. Det skulle sammantaget betyda att den totala nettoeffekten eller nyttan av en forskningsinsats är en produkt av de olika andelarna som har beräknats vid de olika stegen vid bedömningen av insatsen Bristande insikt om förutsättningarna för effektlogikkedjan I effektanalysen av stöd till strategiska utvecklingsområden för svensk tillverkningsindustri sker en strukturering av olika resultat och effekter utifrån en så kallad effektlogikkedja (Figur 3). I denna kedja identifierar man olika förändringar som sker hos universitet och högskolor samt företag som på olika sätt deltar i ett FoI-projekt. Figur 3 Effektlogikkedja Källa: Effektanalys av stöd till strategiska utvecklingsområden för svensk tillverkningsindustri, s.152 Effektlogikkedjan ger en bild av att olika resultat och effekter måste komma som en följd av varandra. FoI-projektet kan till exempel. resultera i flera doktorer och civilingenjörer, som i sin tur möjliggör första ordningens effekter som till exempel kompetensutveckling och nya metoder och arbetsätt. Detta kan på längre sikt leda till andra ordningens effekter som till exempel teknikspridning och stärkt konkurrenskraft. För att effektlogikkedjan ska fungera krävs för det första att stegen har en inre logisk konstistens det vill säga en fungerande förändringsteori. För det andra krävs att organisationer som deltar i aktiviteten (FoI-projektet) har uppnått resultaten/effekterna i de olika stegen. Om de som har deltagit i aktiviteten exempelvis etablerat nya företag utan att till exempel ha fått ny kunskap och kompetensutveckling kan inte effekten nya företag hänföras till aktiviteten. För det tredje krävs att denna process inte påverkas i väsentlig grad av andra omvärldsfaktorer eller annan finansiering. Om samtliga dessa tre kriterier är uppfyllda är det nya företaget en effekt av FoI-projektet. Med andra ord hade det nya företaget inte kunnat bildas utan FoI-projektet och en effekt i kontrafaktisk mening 20

21 föreligger därmed. En insikt om att dessa förutsättningar gäller för att kunna mäta effekter finns inte i utvärderingen av strategiska områden i tillverkningsindustrin Tidens och andra finansiärers betydelse En omständighet som inte berörs explicit i vissa av utvärderingarna är tidsaspektens betydelse för möjligheten att mäta effekter. Detta är en problematik som till exempel uppkommer i en effektlogikkedja, när det kan ta lång tid från den initiala insatsen till att den andra ordningens effekter kan mätas. Det kan ta år från att insats initierats till att en ny teknologi introduceras och ett företag har etablerats. Under denna tid kan också olika finansiärer, forskare, utvecklingsföretag och entreprenörer ha varit delaktiga i genomförandet av insatsen på olika sätt. Samtidigt har det under denna period skett olika förändringar i samhället och inom branschen som gör att det finns ett flertal faktorer som är svåra att ta hänsyn till, när man ska bedöma kausaliteten mellan en ursprunglig forskningsinsats och en ny teknologi, nya produkter eller nya metoder. Tidsaspekten tas dock upp i utvärderingen av fordonsindustrin. Möjligheten att påvisa kausalitet mellan en specifik insats och resultat försvåras också av att forskning ofta finansieras av andra offentliga eller privata aktörer utöver Vinnovas program. Dessa aspekter belyses väl i de tre utvärderingarna av forskningsprogram till svensk tillverkningsindustri och av fordonsindustrin samt i den hälsoekonomiska utvärderingen. Dessa tre utvärderingar beskriver framför allt andra offentliga forskningsfinansiärer som har bidragit till forskning inom dessa områden under utvärderingsperioden. Detta leder till att man i utvärderingarna av tillverkningsindustrin och fordonsindustrin betonar att man i analysen av effekter bör använda en systemansats. Detta betyder att man försöker påvisa effekter av finansiering från samtliga offentliga aktörer. Det finns i dessa utvärderingar en teoretisk medvetenhet om svårigheten att påvisa additionalitet för effekterna från de olika finansiärerna Slutsats Förvånande nog förs knappast i någon av utvärderingarna en diskussion om själva innebörden av effektbegreppet. Det sker förvisso en redovisning i ett par av utvärderingarna om att det finns ett stort antal omvärldsfaktorer som kan påverka det resultat som blir följden av en viss insats. Däremot berörs inte vilket är själva kärnan i effektbegreppet den kontrafaktiska situationen vid beräkningen av en effekt: Vad skulle ha hänt om inte Vinnova hade satsat på en forskningsinsats? Vad skulle ha hänt om någon annan aktör hade gjort samma insats? Hade samma resultat kommit till stånd ändå utan Vinnovas finansiering? Slutsatsen av denna genomgång visar att man i utvärderingarnas metodik inte gör en klar åtskillnad mellan resultat och effekter. I utvärderingen av forskningsprogram inom förnyelsebara råvaror saknas helt en diskussion om vad som är resultat och vad som kan klassificeras som en effekt. I denna utvärdering finns endast en redovisning av målen i de olika delprogrammen (PROF, PROFYT och Gröna material). Det synes som man i utvärderingarna i regel sätter likhetstecken mellan långsiktiga resultat och effekter och inte på ett explicit sätt diskuterar den kontrafaktiska innebörden av en effekt. Däremot tycks det finnas en viss teoretisk medvetenhet om att ett resultat kan påverkas av omvärldsfaktorer och andra finansiärers insatser, vilket försvårar möjligheten att påvisa en kausalitet mellan insats och resultat. 21

22 3.3 Hanteringen av effekter i praktiken I detta avsnitt behandlas hur man i praktiken har utformat utvärderingen för att kunna skilja mellan resultat och effekter Goda föresatser men svårt att följa dem I Effekter av statligt stöd till fördonsforskning görs en ambitiös ansats att försöka redogöra för vilka insatser som genomförts i programmet och skilja detta från andra påverkande händelser och faktorer; därefter redovisas resultat och effekter och den koppling som dessa kan ha till programmets insatser. Underlaget för detta fås genom omfattande dokumentstudier, framtagning av statistik samt ett urval enkäter och intervjuer tillsammans med så kallade tolkningsseminarier. Även om ambitionen är god hamnar utvärderarna återkommande i ett läge i de olika empiriska delavsnitten, där de inledningsvis tvingas konstatera att det är stora svårigheterna att fastställa kausaliteten mellan insatser och effekter i praktiken. En genomgående känsla vid läsningen av utvärderingen är att när den faktiska empirin inte räcker till för att spåra de effekter som man vill påvisa, återstår det ofta att bara göra tolkningar av kausalitet och effekter. Detta kan till exempel illustreras i resonemanget om effekterna på industrin: Effekterna som vi observerat är många, men de beror inte nödvändigtvis enbart på ffp. De är naturligtvis också resultat av en mängd andra händelser, såsom konjunkturoch marknadssvängningar, ägarförändringar, lagstiftning, andra FoU-program etc., varför attribueringen till just ffp kan vara svår eller omöjlig. Vissa effekter dyker dock upp i så många olika utsagor och härrör från av varandra orelaterade källor att sannolikheten för att de är effekter i alla fall till del av just ffp får anses vara betydande.. I ingången till slutsatskapitlet fortsätter linjen med att visa på de problem som funnits Den samlade bevisföringen när det gäller effekterna av ffp 1 och 2 (programmen) blir något av ett indiciemål. Till snart sagt allt det vi beskrivit i det föregående finns flera tänkbara orsaker, inte bara ffp. Och ingen kan säkert veta vad som hade hänt om inte staten hade slutit avtalet med fordonsindustrin och därmed skapat ffp. Om vi med dessa reservationer i åtanke lägger ihop vad vi ändå har kunnat se, framträder en rätt övertygande bild av att ffp-satsningen under åren fick följande effekter men som, när detta är sagt, inte utgör några hinder att dra mycket långtgående och positiva slutsatser av programmets påverkan på nämnda effekter. Vad allt detta i sin tur kan ha betytt för Sveriges ekonomi eller miljö, eller för hela samhället, är omöjligt att beräkna. Att ffp medverkat till att skynda på introduktionen av nya, miljövänligare och inte minst trafiksäkrare bilmodeller och till att åtminstone temporärt hålla uppe sysselsättningen på en del orter verkar högst troligt Satsningen har gett väsentliga bidrag till vidmakthållandet av den svenska fordonsindustrins konkurrenskraft, genom stärkt forskningskompetens och absorptionskapacitet, stärkta samarbetsrelationer med högskolan, stärkt intern konkurrenskraft för personbilstillverkarna inom de utlandsägda koncernerna och viktiga forskningsresultat som kunnat tillämpas i produktutvecklingen. Även när det gäller fordonstrafikens miljöeffekter skulle man kunna hoppas att det går att se en positiv inverkan från ffp. Genom att ffp har innehållit en betydande del som 22

23 gäller miljö, inklusive motorer för alternativa drivmedel och utveckling av elhybriddrift, borde det ha bidragit till att upprätthålla kompetensen i landet Det synes således att det har funnits en seriös ambition att hantera det kontrafaktiska elementet i genomförandet av analysen, men att komplexiteten genom andra påverkande händelser och det långa tidsspannen gör att det blivit allt för långt glapp mellan det empirin ger stöd för och de effekter som söks. Analysens verkliga brister uppstår därmed först när man ska ta sig från det empiriska materialet till samlade slutsatser, som ofta ligger långt utanför det som materialet ger stöd för. När slutsatser dras om fordonsforskningsprogrammens effekter har man inte tagit hänsyn till andra påverkansfaktorer vid sidan av forskningsprogrammet. Man tillskriver i stället de förändringar som kan identifieras som en effekt av de insatser som gjorts inom fordonsforskningsprogrammet Ingen användning av empiriska metoder för att mäta effekter I princip används i utvärderingarna inte någon av de etablerade metoderna för att mäta effekter (se avsnitt 2.3). Det empiriska materialet i utvärderingarna består i stor utsträckning av enkäter och intervjuer för att identifiera förändringar hos företag eller inom universitet och högskola. Det kan handla om att urskilja förändrade arbetssätt i företagen eller nya och utvecklade produkter som har tagits fram under den period som företagen och universitet och högskolor har fått finansiering från forskningsprogrammen. Resultat som beskrivs för universitet och högskola kan exempelvis handla om att ett antal doktorer och licentiater samt industridoktorander som har tillkommit, om att universitet och högskola samarbetar med industrin på ett annat sätt eller om på vilket sätt forskningen har påverkar grundutbildningen. I ett par av utvärderingarna har man delvis analyserat resultat och effekter med utgångspunkt från effektlogikkedjan (se avsnitt 3.2.2). Detta sker dock på ett inkonsekvent sätt. I utvärderingen av stöd till strategiska utvecklingsområden för tillverkningsindustrin studeras tre fördjupningsområden: funktionsförsäljning, friformsframställning och industriell IT. För de två förstnämnda områdena görs ingen tydlig redovisning av olika resultat eller effekter såsom de definieras i effektlogikkedjan. Det är således svårt att förstå vilka resultat och effekter som uppnås. I redovisningen saknas också en beskrivning av samband mellan resultat och första samt andra ordningens effekter. För industriell IT är situationen något annorlunda. I redovisningen görs en relativt tydlig beskrivning av uppnådda resultat och effekter. Man redogör för olika slag av resultat samt olika typer av första och andra ordningens effekter enligt terminologin i effektlogikkedjan. Det är också relativt väl beskrivet hur resultat bidrar till första ordningens effekter och hur första ordningen effekter bidrar till andra ordningens effekter. För samtliga tre fördjupningsområden tas dock inte hänsyn till omvärldsfaktorer som kan tänkas ha påverkat utvecklingen. Inledningsvis beskriver man i utvärderingen att det finns många andra finansiärer med relevans för produktframtagningsområdet. I utvärderingen har man däremot inte försökt särskilja den påverkan Vinnovas finansiering har haft i relation till andra forskningsfinansiärers insatser Det förekommer dock i undantagsfall att respondenterna har fått uttalat sig om vilken betydelse Vinnovas finansiering har haft för utvecklingen. Den sammantagna slutsatsen för denna utvärdering är dock, dels att det inte har skett en konsekvent tillämpning av effektlogikkedjan, dels att det inte har genomförts någon mätning eller bedömning av de kontrafaktiska effekterna av forskningsinsatserna. 23

24 I utvärderingen av hälsoekonomiska effekter har man gjort ett slumpmässigt urval av 20 projekt som har studerats vidare som fallstudier. Vid intervjuerna för fallstudierna har utvärderarna ställts frågor som delas in i fyra områden: Hur långt har man kommit inom forsknings-/tillämpningsområdet? Vilken forskning ligger bakom det som har uppnåtts? Hur har resultaten använts vidare? Vilken betydelse har finansiärerna haft? Frågor har också ställts om anslagen från Vinnova, STU och Nutek. Det gällde dels anslagens storlek i förhållande till den totala forskningen och utvecklingen, dels vilken vikt anslagen haft i det skede då de delades ut. Här har också berörts annan finansiering som haft betydelse för utvecklingen, såsom riskkapital, stipendier, priser och eget kapital. Även olika företagskonstellationer samt företagsköp och försäljningar har kommit upp under den här punkten. Man har vid intervjuerna försökt få skattningar om Vinnova/STU/Nutekanslagens storlek i förhållande till den totala finansieringen. Vinnovas, STU:s och Nuteks betydelse för finansieringen har klassats i olika kategorier enligt nedan: Liten del En ganska betydande del men mindre än hälften Ungefär hälften En klart betydande del men inte allt Hela finansieringen Vet ej/information saknas I fallstudierna gör dock ingen systematisk redovisning enligt de frågor som anges i intervjuformuläret; det ges heller inga precisa uppgifter om Vinnovas/STU:s/Nuteks andel av den totala finansieringen av en forskningsinsats. Det är från beskrivningarna svårt att avgöra vilken betydelse som en eventuell finansiering från dessa finansiärer har haft för utvecklingen. Det förs inga kontrafaktiska resonemang i alla fall inte mer än undantagsvis och inte på ett explicit sätt om vad som skulle ha hänt om man inte fått finansieringen från Vinnova och om det skulle ha varit möjligt att få finansiering från andra källor. Inte heller förs ett resonemang i fallstudierna om vilken betydelse omvärldsfaktorer eventuellt har haft på framtagningen av produkten och användningen av denna i sjukvården. Det betyder att fallstudierna i princip endast kan sägas ge en bild av de resultat och inte effekter som nåtts genom finansieringen från Vinnova. Sammanfattningsvis kan sägas att det i intervjuformuläret finns vissa ansatser till att samla in uppgifter för att kunna göra en bedömning av Vinnova-finansieringens additionalitet, men metodiken i undersökningen har inte en kontrafaktisk inriktning. Detta framgår ännu mera tydligt i det faktiska genomförandet av fallstudierna. Samtidigt ska det dock framhållas att det är en stor utmaning att mäta effekter av en insats på ett kontrafaktiskt sätt i en utvecklingsprocess som kan sträcka sig över två eller tre årtionden. En förklaring till att man i utvärderingen talar om effekter fastän dessa inte har undersökts kan vara att man likställer långsiktiga resultat till exempel att en ny behandlingsmetod har skapats och använts med effekter. Det slutliga målet att få till stånd en ny behandlingsmetod 24

25 ses som en effekt om målet nås, eftersom detta resultat ses som en följd av tidigare delresultat som har nåtts i en längre utvecklingsprocess. I utvärderingen av forskningsprogram till material från förnyelsebara råvaror utgår man från de mål som har angivits för de olika delprogrammen. Man har genomfört intervjuer med 50 personer i ett eller flera av de 47 forskningsprojekten. I intervjuerna har man bland annat täckt in frågor om de ekonomiska effekter till exempel antal patent, produkter på marknaden och utveckling av nya företag. Ett annat område som ingått i intervjuundersökningen har varit effekter på forskning och nätverkande i form av antal disputerande, nationella och internationella nätverk samt etablering av forskningscenter. Dessutom har miljöeffekter identifierats. Undersökningsmetodiken är inte på något sätt kontrafaktisk, utan är enbart en redovisning av de förändringar som enligt intervjupersonerna har skett i uppfyllandet av de olika målen, till exempel antal patent som har tagits fram i de olika projekten Slutsats Det är ett långt steg mellan teori och praktik i utvärderingarna. I tre av de fyra utvärderingarna finns det, som nämndes tidigare, en viss medvetenhet om att det är många andra faktorer som påverkar de effekter som kan tänkas uppstå hos de organisationer och företag som har tagit del av finansiering från programmen. I genomförandet av utvärderingarna beaktar man däremot sådana faktorer på ett bristfälligt sätt. När slutsatser dras om till exempel fordonsforskningsprogrammens effekter har man inte tagit hänsyn till andra påverkansfaktorer vid sidan av detta program. Man använder inte heller de empiriska verktyg som finns för att mäta eller bedöma effekter. I ett fall görs det överhuvudtaget ingen bedömning av effekter utan det är endast fråga om en form av måluppfyllelse. 3.4 Tillgång till information vid mätning av effekter Mot bakgrund av att man inte har använt t några empiriska metoder för att mäta effekter är det inte förvånande att man inte har sörjt för att det finns relevant information för genomförandet av effektutvärderingar. Det finns i huvudsak inga statistiska uppgifter, enkätsvar eller djupintervjuer som skulle kunna användas för att kunna bedöma effekter. Utvärderingsarbetet grundar sig i stor utsträckning på djupintervjuer, där kontrafaktiska förhållanden inte har berörts på ett systematiskt sätt Otillräckligt strukturerade intervjuer för att kunna bedöma effekter I utvärderingen av hälsoekonomiska effekter säger man att det inte är realistiskt att kunna få uppgifter om i vilken utsträckning olika faktorer påverkar effekten av en viss forskningsinsats (se Figur 2). Orsaken är framför allt brist på säkra ingångsvärden samt gränsdragningsproblem mellan de olika påverkansfaktorerna. Den information som faktiskt samlas in genom intervjuer med olika projektaktörer ger underlag för att bland annat bedöma om forskningen har resulterat i en produkt och om denna ger hälsoeffekter. Däremot ges ingen möjlighet till att dra slutsatser om kontrafaktiska effekter eftersom det i intervjuerna inte har ställts sådana frågor. Det innebär att denna utvärderingsansats skulle kunnat ha förbättrats väsentligt om man på ett systematiskt sätt tog reda på olika finansiärers betydelse och intervjupersonernas bedömningar enligt subjektiv kontrafaktisk metod. Samtidigt bör dock tilläggas att det i projekt med långa tidsrymder finns svårigheter att isolera en finansiärs insats i relation till andra finansiärer och omvärldsfaktorer. 25

26 I utvärderingen av material från förnyelsebara råvaror finns det överhuvudtaget inte uppgifter som möjliggör en bedömning av effekterna av de olika programmen. Detta beror dels på att man inte har tagit fram underlag för att bedöma omvärldsfaktorer och andra finansiärers betydelse, dels att intervjupersonerna inte kontrafaktiskt har fått bedöma den betydelse som forskningsprogrammet har haft. Den information som samlas in i utvärderingen av forskning till tillverkningsindustrin bygger på intervjuer som ger berättelser om positiva utfall av utvecklingen över tid. Beskrivningarna är i regel mycket generella, även om det finns undantag, som gör det svårt att få en uppfattning om den effekt som programmen har inneburit. Detta illustreras nedan Som tidigare nämnts är VAC (Volvo Areo) kanske det företag som gynnats mest av offentliga FoU-program i sin utveckling mot ökad andel funktionsförsäljning, till stor del eftersom företaget haft en sådan tongivande ställning i både centrumbildningarna Polhem och Faste vid LTU. Företagets representanter berättar om flera exempel på andra ordningens effekter. Det nu närmast klassiska exemplet på funktionsförsäljning, tjänsten power by hour (eller kwh för stationära turbiner), är fortfarande aktuell och en kommersiell verklighet för VAC. VAC ägnar sig också åt funktionsförsäljning i rena underhållsavtal för gamla produkter med lång livslängd som sålts endast som hårdvara. Till skillnad mot de första stapplande stegen på funktionsförsäljningsstigen, besitter VAC nu förmågan att formulera ömsesidigt attraktiva kunderbjudanden. I detta sammanhang hjälper forskningen vid UoH och den tydligt höjda egna forskarkompetensen företaget att på ett fundamentalt plan förstå kraven och ekonomin, vilket är en förutsättning för kloka överväganden i utformandet av kunderbjudanden. Denna utveckling till trots är dock hårdvaran fortfarande grundpelaren som företaget utgår ifrån och bygger på med olika tjänster Svårt att bedöma den specifika effekten av ett program I Effekter av statligt stöd till fördonsforskning har man använt sig av flera olika typer av informationskällor. Huvuddelen har utgjorts av dels sekundärmaterial i form av dokumentstudier, statistik och tidigare utvärderingar från programmen, dels primärkällor i form av enkäter till doktorander och forskningsmiljöer, dels djupintervjuer med nyckelpersoner inom fordonsindustrin, akademi, och myndigheter. Till detta har även tre fallstudier gjorts kopplat till centrala forskningsmiljöer inom programmet. Det kan konstateras att kvaliteten i flera av de använda primärkällorna uppvisar brister avseende validitet och reliabilitet samt möjligheterna att värdera effekter. Det har ofta varit svårt för personer inom de riktade målgrupperna att både allmänt minnas vad som har hänt för länge sedan och ha förmåga att kunna isolera programmets insatser och betydelse från vad som skett parallellt genom andra händelser. I detta ligger givetvis också svårigheten att föreställa sig vad som skulle ha skett, kontrafaktiskt, om inte programmet funnits. Ett annat noterat problem är att det har varit svårt att få hög svarsfrekvens på enkäter, vilket ju delvis beror på svårigheten att spåra individer som medverkat långt tillbaka i tiden. En central enkät till forskningsmiljöerna besvarades exempelvis bara av 20 av 56 personer, som representerade endast 17 av 53 miljöer som medverkat i programmen. I enskilda frågor var antalet svar ännu lägre, vilket givetvis gör att det blir svårt att dra tydliga slutsatser på frågor som möjliggör flera svarsalternativ. De tre fallstudierna av forskningsmiljöer och intervjuerna i samband med dessa förefaller därför i praktiken ha utgjort en mycket viktig del av den samlade primärinformationen, och har varit av stor betydelse för de slutsatser som dras i analysen. I analysen motiveras valet 26

27 av de tre fallstudierna med att även om ffp var ett jämförelsevis litet tillskott för forskningssystemet i sin helhet så innebar det en tydlig förstärkning för vissa miljöer. Det kan förefalla rimligt att fokusera på områden dit en stor del av programmens medel koncentrerats, samtidigt som det inte fullt klargörs i analyser och slutsaster om dessa återspeglar den totala situationen från programmen eller utgår från lyckade exempel genom fallstudierna. En avspegling av att primärkällor i form av intervjuer och enkäter inte har varit helt tillräckliga för att stå på egna ben i bedömningen av programmen, ges också av att de särskilda tolkningsseminarier som anordnats med närstående aktörer fick en mycket central roll för att tolka resultat och effekter. I analysen berör utvärderaren problematiken om informationshanteringen enligt följande: Det rör sig också om rätt långa tidshorisonter, då ffp startade för drygt 14 år sedan. Vissa effekter uppenbarar sig redan efter kort tid. Många effekter av kanske andra slag blir synliga först på längre sikt. Dels skapar detta en del uppenbara problem när det gäller att få tag i data på grund av glömska, svårigheter att få tag i register- och kontaktuppgifter med mera. Dels innebär det att vi måste använda sådant vi kan iaktta nu (exempelvis rekryteringar eller framgångsrik användning av forskningsresultat) för att bedöma eller gissa oss till vad som kan hända i framtiden beträffande exempelvis högskolans kompetens eller företagens konkurrenspotential. Som nämnts har ju ffp inte varit ensamt på arenan när det gäller att stödja fordonsteknisk forskning och forskarutbildning. Dessutom hände ju mycket för mer än 10 år sedan. Det har inneburit att det dels har varit extra viktigt att försöka få en klar bild av vad ffp egentligen har tillfört eller adderat, dels har varit särskilt svårt att få fram exakta data om detta. Intresset har riktats mot input- och främst beteendeadditionalitet. Det sistnämnda antar vi är det som är bestående och det vi egentligen vill åstadkomma. Vi har då allmänt fått lita till olika personers minne och på de dokument vi lyckats få fram, och också som framgått kombinerat olika datakällor för att se om data så att säga pekar åt samma håll Slutsats En genuin svårighet i de effektanalyser som har studerats är den långa tidsperioden som förflutit sedan programmet initierades och ambitionen att beskriva komplicerade utvecklingsprocesser samt att visa på Vinnovas bidrag till denna utveckling. Den information som har inhämtats i effektanalyserna har i regel möjliggjort en väl genomförd beskrivning av utvecklingen inom olika områden hos specifika företag och/eller inom akademin under den period som har studerats. Den tillgängliga informationen har däremot inte varit tillräcklig för att på ett trovärdigt sätt beskriva Vinnovas bidrag till denna utveckling. För lång tid har förflutit mellan insats och de resultat man försöker mäta för att det ska vara möjligt att dels få en tillräckligt god och representativ svarsfrekvens, dels intervjupersoner ska kunna ge en korrekt beskrivning av händelseförlopp och påverkansfaktorer. Det har i regel inte heller funnits andra undersökning/uppföljningar som genomförts i tidigare skeden och som skulle ha kunnat fungera som underlag i analysen. Dessutom har inte effektanalyserna i tillräckligt utsträckning haft en granskande och analytisk ansats för att kunna ge en adekvat bild av insatsens påverkan på resultaten/effekterna. Man har inte på ett systematiskt sätt försökt specificera Vinnovas bidrag utan ansatsen har tenderat att ge en positiv bild av Vinnovas bidrag till utvecklingen. Sammantaget leder detta till slutsatsen att informationsunderlaget har varit otillräckligt för att kunna mäta de effekter som man säger sig vilja mäta. 27

28 4 Vinnovas syn på effekter och effektanalyser 4.1 Inledning Allt sedan Vinnovas start 2001 har visst arbete bedrivits inom myndigheten med att utveckla metoder och arbetssätt för effektanalyser. Fram till 2007 hade Vinnova låtit utföra en handfull effektanalyser, vilka delvis också utfördes som en del i metodutvecklingsarbetet. Erfarenheterna summeras i en rapport från , som också beskriver Vinnovas ansats och syn på effekter och effektanalyser. Sedan dess har ytterligare ett antal effektanalyser utförts samtidigt som Vinnovas interna arbete fortsatt med att vidareutveckla förutsättningarna för bättre analyser. Med detta har också synen på effekter och effektanalyser delvis kommit att förändras. Den grundläggande ansatsen och metodiken som presenterades i rapporten från 2007 ligger dock fortfarande fast och används i detta kapitel för att ge en övergripande bild av Vinnovas syn på effekter och effektanalyser. Kapitlet avslutas med aktuella kommenterar och perspektiv från Vinnova både om den första eran av effektanalyser till vilka även de särskilt utvalda studierna för denna analys kan sägas ingå och om hur arbetet med effektanalyser utvecklats för nya program under senare år. Det ska också noteras att Vinnovas arbete med effektanalyser utvecklats både utifrån interna behov i och med bildandet 2001, och utifrån de krav som har kommit att ställas från Näringsdepartementet om att Vinnova årligen ska genomföra särskilda effektanalyser. Dessförinnan låg analysverksamhetens fokus främst på utvärdering och uppföljning, som riktades mot de interna arbetsprocesserna, medan effektanalyserna kom att läggas ut på externa utförare. Detta lade således grunden för ett nytt arbetssätt inom Vinnova där effektanalyser kommit att ingå som en del i en sammanhängande utvecklings- och utvärderingsprocess. 4.2 Vinnovas fokus på systemperspektiv och samhällsnytta För att förstå Vinnovas ansats i effektanalyserna måste utgångspunkt tas i myndighetens roll, som är att främja hållbar tillväxt genom finansiering av behovsmotiverad forskning och utveckling av effektiva innovationssystem. Vinnova betraktar innovationssystem som ett analytiskt perspektiv för att förstå de dynamiska samband mellan aktörer och faktorer som påverkar innovationsprocessens olika delar, som volym, inriktning, resultat och effekter. Därmed blir detta perspektiv också en viktig utgångspunkt i Vinnovas arbete att värdera de insatser som genomförs. Det konstateras också att den ekonomiska forskningen om samband mellan FoI, innovation och tillväxt till stor del rör sig på det ekonomiska makroplanet, och ger begränsad kunskap om hur sambanden och dynamiken fungerar på mikroplanet. Därför ger den också svagare vägledning för hur FoI och innovationspolicy bör utformas för att generera effekter på hållbar tillväxt. Detta lyfts fram som ett viktigt skäl till att det enligt Vinnova även behövs analyser som ligger på en delvis högre detaljeringsnivå i form av dynamiska mikro- och mesoanalyser, i syfte att kunna ge ett bra underlag för policyutveckling. Detta kopplar också till det ökade behovet för Vinnova att kunna värdera samhällsnytta och effekter av de insatser som de medverkar till genom sina program. Ett grundproblem är 7 Vinnovas fokus på effekter. Vinnova analys 2007:14 28

29 att satsningar inom FoI till sin karaktär utgörs av investeringar i långsiktiga utvecklingsprocesser som medför långa tidsspann mellan investering och märkbara slutliga effekter. Vinnovas ambition har därför varit att utveckla en mer samlad ansats för hur sammanhängande processer skulle kunna värderas och utvärderas i ett längre tidsperspektiv, där effekter på samhället och hållbar tillväxt ofta kan ha en fördröjning på tio eller tjugo år. I rapporten ger Vinnova en skiss över hur effektlogiken (Figur 4) från deras satsningar ser ut, där det framgår att det ligger flera steg mellan en investering tills dess den kan ge påverkan på samhället. Figur 4 Principiell effektlogik i Vinnovas satsningar Av figuren ges också en grundläggande bild av de typer av effektmål (rapportens eget ordval) som Vinnova ser genom sina satsningar. Det kan noteras att Vinnova inte för någon utvecklad diskussion om sin syn på själva effektbegreppet. Det framgår inte explicit att det krävs en kontrafaktisk situation för att kunna bedöma effekten av en insats. Effekter används istället mer generellt som ett begrepp för de förändringar och påverkan som önskas uppnås, men inte alltid utifrån bilden att det måste vara som en effekt av insatsen. Begreppet effekt hos Vinnova får därmed främst en innebörd av förändringar på längre sikt, till skillnad från förändringar på kortare sikt som ofta benämns som resultat. I figuren nämns även direkta effekter som ett mellansteg till den långsiktiga påverkan som ska uppnås. Som framgått av det inledande avsnitt om effektbegreppet är effekt ett analytiskt verktyg för att avgöra en viss insats inverkan på en upplevd förändring. Detta innebär också att en effekt av en insats inte bara är kopplad till slutliga effekter utan kan mätas i alla ovan nämnda steg. Däremot ligger det i sakens natur att kausaliteten ofta blir svårare att fastställa ju längre mot höger, och det slutliga målet, man kommer i figuren. Att Vinnova inte är tydligare med att definiera effektbegreppet och hur det används i effektanalyser ger en viss oklarhet om vad som avses; det ger emellertid också en känsla av att frågan om vilka krav som ställs för att tillskriva något som en effekt av en insats delvis medvetet lämnats öppen från Vinnova. Detta blir än mer påtagligt och förklarligt med den angivna systemansatsen och de långa tidsperspektiv som ges för att uttala sig om effekter. Istället för att definiera effektbegreppet använder sig Vinnova av additionalitet som ett övergripande sätt att värdera de resultat och effekter som uppstår som en följd av 29

30 offentliga insatser (Vinnovas ordval). Additionalitetsbegreppet inbegriper output-, input-, respektive beteendeadditionalitet. För Vinnova är outputadditionalitet relaterat till utfall i form av resultat och effekter från offentliga satsningar, där resultat kan uppstå i form av vetenskapliga publikationer, fler patent, prototyper, nya varor eller tjänster, medan effekter exempelvis kan vara ökad omsättning, fler jobb, ökad produktivitet etc. Inputadditionalitet innebär att de offentliga satsningar som görs leder till att företag investerar mer i FoI än vad de skulle ha gjort annars, medan beteendeadditionalitet medför att satsningar medför förändringar i beteenden hos företag och andra aktörer exempelvis i form av ökningar av FoI-projekts storlek, risknivå, tidsåtgång och kvalitet. Genom att Vinnova lyfter fram additionalitetsperspektivet innebär det samtidigt att det finns en medvetenhet om kraven på kausallitet mellan insats och uppfattade resultat, vilket också uttryckligen beskrivs ovan i termer av att insatser och resultat uppnåtts som annars inte hade skett. Samtidigt medför Vinnovas systemperspektiv att de effekter som de önskar påvisa ska baseras på breda program som genomförts av olika aktörer under längre tid, och där de synbara effekterna förväntas uppstå många år senare. Vinnova visar en viss medvetenhet om att detta perspektiv kan medföra problem att senare kunna spåra additionalitet eller effekter (vilket begrepp som nu används). De hänvisar till så kallade attribueringsproblem, vilket innebär att det vid utvärdering kan uppstå svårigheter att avgöra vilken betydelse enskilda faktorer har för de resultat och effekter som kan observeras. Detta problem återkommer man även delvis till i Vinnovas beskrivning av sin ansats för att göra effektanalyser. 4.3 En samlad ansats för att möjliggöra effektanalyser Vinnova betonar att innovationsverksamhet generellt har en högre osäkerhet och därmed även en högre risk än andra ekonomiska aktiviteter. Detta medför också att det behövs en förståelse för att enskilda insatser inte alltid resulterar i påtagliga ekonomiska effekter. För att det då ska vara möjligt att värdera offentliga insatser inom ett område, behöver fokus läggas på de sammanlagda effekterna av de gjorda satsningarna. Slutsatsen av detta blir att effektanalyser kräver en portföljansats som grund. För att sedan kunna värdera effekterna krävs vidare att det finns en samlad strategi och organiserade processer med tydliga effektmål och en förståelse för de utmaningar som finns i olika innovationssystem så att insatserna inriktas mot att åstadkomma de viktigaste effekterna. Det ställer vidare krav på att det är möjligt att kontinuerligt följa upp insatser så att anpassningar kan göras i takt med att FoI- och innovationsprocesser utvecklas eller omvärlden förändras. Därefter krävs förutsättningar att utvärdera genomförda insatser för att utveckla lärande om olika typer av insatser och arbetssätt fungerar. Det behövs även som ett sista steg möjligheter att analysera effekter och effektsamband av satsningarna för att få en djupare förståelse för vilka bidrag och samhällsnyttor insatserna bidragit till. Denna typ av avslutande effektanalyser kan enligt Vinnova utföras först efter det att en betydande tid förflutit sedan insatserna genomfördes. Denna syn har enligt Vinnova utgjort en grund för den samlade ansats som antagits för att planera och genomföra program och för att senare möjliggöra effektanalyser. Ansatsen består av de fyra stegen effektlogikprövning, uppföljning, utvärdering och effektanalys (Figur 5). 30

31 Figur 5 Vinnovas samlade ansats för att möjliggöra effektanalyser Nedan ges en kort belysning även av de tre inledande stegen eftersom dessa tillsammans utgör en central förutsättning för Vinnovas effektanalyser, i det fjärde och sista steget. Effektlogikprövning Effektlogikprövning genomförs vid alla Vinnovaprogram och handlar om att i förväg ex ante innan ett program startas, utforma och pröva effektlogiken. Med det avses att tydliggöra vad som ska uppnås och hur vägen dit förväntas se ut. Det innefattar således att identifiera programresultat och effektmål samt indikatorer som visar att programmet rör sig mot sina effektmål. Utifrån detta kan insatser och processer utformas, som på sikt ska leda till ett antal övergripande effekter och som också innefattar processer för att undersöka om och hur de uppnås. Som en generell rekommendation anger Vinnova att program alltid ska sträva efter att utforma resultat- och effektmål som uppfyller de så kallade SMARTkriterierna (Specific, Measurable, Achievable, Relevant, Time-bound). Vidare konstateras att en effektlogikprövning även inkluderar en noggrann planering av programmets utvärderingsbarhet ex ante vilket är centralt för att senare undvika att utvärderingar mer får karaktär av arkeologiarbete, vilket man anser präglat många tidigare ex post utvärderingar. Löpande uppföljningar Nästa steg utgörs av kontinuerliga uppföljningar av programmen under deras genomförande, med syfte att fånga upp kortsiktiga resultat och att indikera effekter på forskning, näringsliv och offentlig verksamhet. Detta utförs inom Vinnova och innebär att samla in information om indikatorer som visar om och hur en satsning rör sig mot sina effektmål. Information samlas in dels under genomförandet dels efter att den avslutats. 31