Utvärderingsrpporter 2012:04 Regionl utveckling Erfrenheter v projekt och progrm i Västr Götlnd En metnlys v utvärderingr v projekt och progrm inom tillväxtrbetet i Västr Götlnd. Anlysen är genomförd v Kontigo AB
Innehåll Innehåll...3 1 Inledning...5 1.1 Uppdrget...5 1.2 Metod...5 1.3 Disposition...7 1.5 Avgränsning och studiens begränsningr...7 2 De nlyserde utvärderingrn...9 2.1 Redovisning v nlysern v de enskild utvärderingrn... 13 3 Utvärderingrns syn på instserns strtegisk utformning... 14 3.1 Utvärderingrn relterr sälln och i llmänn ordlg till tillväxtprogrmmet...14 3.2 Instserns mållogik sälln i fokus för utvärderingrn i så fll rikts kritik mot målen... 15 3.3 Horisontell mål hmnr oft under rdrn... 15 3.4 Utvärderingrns smlde syn på instserns strtegier...16 4 Utvärderingrns syn på instserns genomförnde... 18 4.1 Finnsiärerns styrning...18 4.2 Generell bedömningr v genomförndet...18 4.3 Frmgångsfktorer och orsker till svårigheter... 20 4.3.1 Vikten v en enkel och tydlig orgnistion, kompetent och enggerde projektmedrbetre... 20 4.3.2 Trnsprens och rättvis en ytterligre viktig frmgångsfktor... 20 4.4 De horisontell spekterns integrering i genomförndet... 21 4.5 Utvärderingrns smlde syn på instserns genomförnde...22 5 Utvärderingrns bedömning v resultt, måluppfyllelse och effekt...23 5.1 Instser för entreprenörskp och utveckling v befintlig företg eller kluster 24 5.2 Instser för utveckling v innovtioner, innovtionssystem...25 5.3 Instser med socilt och kulturellt innehåll...25 5.4 Större smmnhållnde progrm... 26 5.5 Smld bild över instserns resultt, effekt och nytt... 26 6 Smmnfttnde bedömning v instsern...28 6.1 Kopplingen melln enskild instser och regionens utvecklings- och tillväxtstrtegi hr uppfttts som svg i fler v utvärderingrn... 28 6.2 Genomförndeprocessern får blndde omdömen... 28 6.3 Delvis god resultt, men llt för liten ffärsnytt och tillväxt... 29
7 Slutstser erfrenheter för ett revidert tillväxtprogrm... 30 7.1 Svårt tt på bsen v genomförd utvärderingr nå smlde slutstser... 30 7.1.1 Tydlig och smmnhålln progrm stärker lärndemöjlighetern... 30 7.1.2 Mer homogen och bättre utvärderingr är en förutsättning för lärnde på systemnivån... 31 7.2 Tillväxtprogrmmet utgör ett otydligt rmverk för instsern... 31 7.3 Behov v en ökd tydlighet och trnsprens...33 7.4 Behov v en tydligre idé om vd instsern sk leverer...33 8. Bilg: Förteckning och smmnfttning v genomgångn utvärderingr...35
1 Inledning Västr Götlndsregionen medverkr som finnsiärer i ett stort ntl projekt och progrm inom regionens regionl utvecklings- och tillväxtrbete. I de flest fll är mn en v fler finnsiärer, i någr fll är mn ensm finnsiär. Projekten och progrmmen återfinns i mång olik smmnhng, från tt ingå i ntionell eller interntionell progrm till tt vr instser särskilt utformde för tillväxt- och utveckling i Västr Götlnd. I nslutning till utformndet v ett nytt tillväxt-/utvecklingsprogrm för regionen, från 2014, hr Västr Götlndsregionens regionutvecklingssekretrit vänt sig till Kontigo med en förfrågn om tt genomför en övergripnde utvärdering v de utvärderingr v projekt och progrm som genomförts under de senste åren. 1.1 Uppdrget Uppdrget syftr till tt smmnställ, nlyser och berbet resultten v genomförd utvärderingr för tt kunn dr generell lärdomr inför frmtgndet v ett nytt tillväxt/utvecklingsprogrm. Ett ntl särskild områden v vikt för utvärderingen hr utpekts v uppdrgsgivren, dess är: Bedöms instsern som relevnt utifrån inriktning och mål i pågående tillväxtprogrm? Vilk lärdomr kn drs kring målstyrning och -logik? Vilk resultt och effekter visr de genomförd utvärderingrn på? I vilken grd uppfyller instsern sin mål? Vilk lärdomr kn drs gällnde instserns genomförnde (processen)? Vilk lärdomr kn drs om finnsiärerns styrning och uppföljning v instsern? Hur hr instsern lyckts uppfyll de horisontell kriteriern (jämställdhet, mångfld och miljö)? De flest v frågorn ovn är generell och gäller ll projekt/progrm och utvärderingr, medn frågn om regionsekretritets styrning och uppföljning endst berör de instser mn själv hr vrit huvudfinnsiär för. 1.2 Metod Kontigo hr rbett med ett urvl v utvärderingr som vi erhållit från regionsekretritet. Smmnlgt hr mterilet omfttt totlt 48 olik instser med över 55 nlyserde utvärderingr. I tbell 2.1 nedn lists smtlig instser vrs utvärderingr hr nlyserts. Arbetet hr bedrivits i två huvudsteg: 1. En individuell bedömning och nlys v vr och en v utvärderingrn
2. En smld nlys v bedömningrn med syfte tt dr mer generell slutstser. Kontigo hr för uppdrgets syfte delt in bedömningsrbetet i tre sekventiell delr och två kompletternde spekter. Denn indelning och de övergripnde frågorn som vi ställt till utvärderingrn frmgår v figuren 1.1 nedn. Utvärderingrns innehåll och resultt bedöms i tre steg: strtegi, process och resultt. Inom rmen för strtegibedömningen hr nlyserts hur utvärderingrn hr bedömt instserns relevns och logisk uppbyggnd vd gäller mål, t.ex. Inom rmen för processdelen hr bedömts hur utvärderingrn hr värdert finnsiärens styrning (särskilt då i instser som regionen själv vrit huvudfinnsiär för), hur genomförndet hr fungert och vilk fktorer för frmgång som eventuellt hr lyfts frm i utvärderingrn. I resulttdelen fokuserr utvärderingrns bedömning v instsens resultt hr mn nått sin mål, vilk resultt och effekter kn spårs? Genom ll tre bedömningsstegen nlysers också utvärderingrns bedömning v de horisontell spektern. Slutligen görs två övergripnde bedömningr v utvärderingrns krktär och resultt. Den först syftr till tt slå fst utvärderingens krktär, främst huruvid utvärderingen i dess upplägg och metoder betonr processer eller resultt. Här är viktigt tt poängter tt det inte hndlr om tt bedöm eller värder utvärderingrns kvlitet, utn enbrt ders krktär och inriktning. Den ndr delen hndlr om en smld nlys v utvärderingens syn på den utvärderde instsen. Figur 1.1. Kontigos modell för bedömning v utvärderingrn
I näst led i rbetet hr vi försökt tt smmnfttnde nlyser utvärderingrn och resultten från nlysen v dem. Även här hr vi utvecklt en särskild nlysmodell, som bygger på tre olik steg. Vi hr här, smlt för ll utvärderingrn, för det först försökt tt identifier gemensmm frmgångsfktorer i projekten, eller fktorer som är gemensmm för vrför projekten vrit mindre lyckde. För det ndr hr vi, återigen smlt för ll utvärderingr, kommentert utvärderingrns kredibilitet, dvs. ders potentil tt dr generll slutstser. Återigen hndlr dett inte om en kvlittiv bedömning om utvärderingrn, utn om en nlys v utvärderingrns ändmålsenlighet för den typen v slutstser. Slutligen, för det tredje, så försöker vi mot bkgrund v de två tidigre momenten tt dr generell slutstser om projektens strtegi, processer och resultt, på bsen v de studerde utvärderingrn. Figur 1.2. Kontigos modell för en smld värdering v utvärderingrn 1.3 Disposition Rpporten är upplgd så tt i kpitel 2 presenters i tbellform de instser vrs utvärderingr hr nlyserts. I kpitel 3, 4 och 5 presenters vår nlys v utvärderingrns bedömningr v de tre områden strtegisk frågor, genomförndespekter respektive resultt. I kpitel 6 smmnfttr vi resultten från de tre områden i en smld nlys v utvärderingrns innehåll. I kpitel 7 presenters någr kortfttde slutstser och rekommendtioner med utgångspunkt i denn nlys inför revideringen v tillväxtprogrmmet i Västr Götlndsregionen. I bilgeform presenters de huvudsklig resultten från nlysern v smtlig grnskde utvärderingr. 1.5 Avgränsning och studiens begränsningr En metutvärdering är en svår och känslig övning. Denn rpport bygger uteslutnde på ndrhndskällor, dvs. på studier v projekt utvärderde v ndr utvärderre (även om viss utvärderingr förvisso är genomförd v Kontigo AB) och rpporterde i ndr utvärderingr. Dett gör tt vår återgivn bedömningr v projektens och instserns innehåll, strtegier, processer och resultt helt kommer tt vr beroende
v dess källor. Inte i något fll går vi till originlkälln, dvs. till det underlg som utvärderingrn utgått ifrån. I mång fll kommer vi inte tt kunn svr på de frågor som vi önskr få svr på i denn metutvärdering. Anledningen till dett är tt den fråg vi önskt nlyser då inte hr behndlts eller studerts i utvärderingen, eller tt ing resultt omkring frågn hr presenterts trots tt den hr studerts. Det finns i en metutvärdering, inte utrymme för metutvärderren tt själv fyll i resultt och slutstser där utvärderingrn inte hr berört eller lyft frm dess.
2 De nlyserde utvärderingrn I dett vsnitt redoviss vilk utvärderingr som hr ingått i uppdrget. Utvärderingrn hr delts upp i nednstående ktegorier: Utvärderingr beställd v regionutvecklingssekretritet Utvärderingr beställd v delregionern Utvärderingr beställd v Tillväxtverket Utvärderingr beställd v Vinnov Tbell 2.1 Ingående utvärderingr Projekt eller progrm (som utvärderingen vser) Utvärderre År Utvärderingr beställd v regionutvecklingssekretritet Attityder till entreprenörskp Kontigo 2012 CSR Västsverige IM-gruppen 2012 Avknoppningsprojektet Kontigo 2012 Socilt entreprenörskp följeforskning B-O Bergstrnd 2012 Såddlån - följeforskning Sweco Eurofutures 2012 GSP projektren Kontigo 2011 Västr Götlnd som filmregion Inno Scndinvi 2011 Progrmmet InMotion Nordregio 2011 Elektronikutvecklingscenter (EUC) Kontigo 2011
Connect Väst Sweco Eurofutures 2011 Göteborg Plus Turismens utredningsinstitut 2010 Effektutvärdering v stöd till näringslivet genom såddfinnsiering och inkubtorer Hndlingsprogrmmet för socil ekonomi Sweco Eurofutures 2011 Kontigo 2010 Merite ABs verksmhet IM-gruppen 2010 Loklproducert i Väst AB Kontigo 2010 Industriell dynmik Inno Scndinvi 2010 Nätverket Elwir Mrinne Bull Consulting 2009 Bättre-konceptet IM-gruppen 2009 Mångfld ger mer en extern uppföljning v projektet Mångfld som tillväxtfktor Sverige 2000- institutet 2008 Regionl utvecklingsmiljöer för innovtion och förnyelse FBA Holding och Intersect 2008 Mest mångfld i ett fåtl projekt utvärdering v instser inom Etnisk mångfld i rbetsliv och företgnde 2004-2007 Gott om socilt kpitl ont om entreprenörer Utvärdering v två tillväxtinititiv i Västr Götlnd Sweco Eurofutures 2008 Sweco Eurofutures 2008 Intersect 2008
Innovtionssystemet i Västr Götlnd en nlys v utbud och efterfrågn FBA Holding Mj 2008 Förekom Företgsmm kvinnor och män Mrinne Bull Consulting 2008 Utvärderingr beställd v delregionern Hlvtidsutvärdering v Skrborgs delregionl tillväxtprogrm Hlvtidsutvärdering v Fyrbodls delregionl tillväxtprogrm Utvärdering v entreprenörskp som förhållningssätt i Fyrbodl BRGs frmtid klusterrbete Följeforskning Expedition Frmåt Kontigo 2011 Empiricus utvärdering 2010 FBA Holding 2008 Örjn Sövell mfl. 2010 IM-gruppen 2010 Utvärdering v ADA Institutet för näringslivsnlys vid JIBS 2007 Rpport ADA NKI Evimetrix 2010 Undersökning v Mind your own business Affärsdriven miljöutveckling - kundundersökning Kundundersökning Brewhouse Evimetrix 2011 Evimetrix 2011 Evimetrix 2011 Kundundersökning åt BRG Evimetrix 2011 Center of visuliztion Evimetrix 2011
kundundersökning Evimetrix 2011 Utvärderingr beställd v Tillväxtverket Mrintekniskt forum Högskoln i Väst 2010 MetU Metodutveckling för turistnäringen Rmböll mngement 2010 Espir projektren Stig Berglund strtegi 2010 HINT Öhrlings PWC 2009 ALMI Invest Västsverige, Västr Götlnds och Hllnds län Rmböll 3 rpporter, den senste 2011 IT Centrum Väst - kundundersökning ProduktionsKompetens- Centrum PKC Tbell utvärdering 2011 Trästd 2012 Annorlund konsult 2011 Följeforskningr kring Mål 2 Västsverige Sweco Euroufutures 4 rpporter, 2008-2011 Utvärderingr beställd v VINNOVA Lighthouse Vinnov 2010 Smrt textiles Vinnov 2011 Biomtcell Vinnov 2009 Plus Vinnov 2009 TSS Test Site Sweden Vinnov 2010
2.1 Redovisning v nlysern v de enskild utvärderingrn Redovisningen v vr och en v de nlyserde utvärderingrn presenters i en särskild bilg. Resultten i bilgn presenters smmnfttt med utgångspunkt i figuren 1.1. Det vill säg för vrje enskild utvärdering presenters en nlysfigur med förlg i figuren 1.1.
3 Utvärderingrns syn på instserns strtegisk utformning Inom rmen för denn del hr tre huvudfrågor nlyserts: Hur hr utvärderingen nlysert instserns strtegisk betydelse i förhållnde till regionens tillväxtprogrm? Hur hr utvärderingrn bedömt progrmmens logisk uppbyggnd och förmåg tt formuler tydlig och utvärderingsbr mål? Hur hr utvärderingrn bedömt tt progrmmen lyckts tt integrer de horisontell spektern? Först och främst kn vi konstter tt mn i ett stort ntl v de nlyserde utvärderingrn inte hr behndlt dess frågor, eller i en del fll hr behndlt endst någr v frågorn. I fllet med frågn om hur utvärderingrn hr bedömt instserns betydelse i förhållnde till regionens tillväxtprogrm kn för det först konstterts tt dett inte hr vrit en explicit fråg för någon v utvärderingrn. Här hr vi istället sett till huruvid utvärderingrn hr bedömt projektet eller progrmmet som en relevnt tillväxt- och utvecklingsinsts i mer llmän mening. Även med en sådn justering kn vi konstter tt utvärderingrn inte ger ett tydligt underlg i dett vseende. När det gäller progrmmålen kn vi konstter tt det även här är mång utvärderingr som inte behndlr frågn. Ett skäl till dett kn vr tt dett hr behndlts på nnt håll, vilket till exempel gäller för fler v de utvärderingr som beställts v Vinnov, där målen oft hr utvärderts inom de tidigre skeden v instsern och inom rmen för ders godkännnde. 3.1 Utvärderingrn relterr sälln och i llmänn ordlg till tillväxtprogrmmet Frågn om instsens reltion till tillväxtprogrmmet hr som nämnts inte behndlts explicit i mång v utvärderingrn. I dryg tiotlet utvärderingr görs ing som helst explicit kopplingr melln den utvärderde instsen och tillväxtprogrmmet, eller visionen för Västr Götlnd. Dett är kännetecknnde t.ex. för utvärderingrn v Vinnovs instser eller Tillväxtverkets ntionell progrm. Det gäller också för viss instser med nknytning till ndr regionl områden än regionl tillväxt, såsom kultur. I övrig utvärderingr relters på olik sätt till tillväxtprogrmmet. Det hr inom rmen för denn studie vrit svårt tt nlyser denn reltering mer i detlj. Men Kontigo menr ändå tt mn kn skilj melln de utvärderingr som relterr instsern till progrmmet i mer llmänn termer och dem som mer explicit dresserr frågn om instsens förhållnde till tillväxtprogrmmet eller till visionen. Den sist-
nämnd gruppen är större och omfttr knpp 20-tlet olik utvärderingr, medn den förr gruppen omfttr dryg tiotlet utvärderingr. I gruppen som relterr instsern till strtegiern i mer llmänn termer återfinns ll typer v utvärderde progrm. Det vnlig är här tt mn i utvärderingrn betonr instserns strtegisk betydelse för regionens tillväxt, uttryckt i mer llmänn ordlg. De cirk 25 procent v utvärderingrn som explicit lyfter instserns förhållnde till det regionl tillväxtprogrmmet gör dett genom ett förhållndevis neutrlt konstternde om tt tnken med instsen är tt den skll bidr till tillväxtprogrmmets genomförnde eller tt den genomförs som en del i regionens tillväxtprogrm. Med ndr ord sägs här vnligen inget om huruvid utvärderren bedömer instsen som strtegisk i förhållnde till tillväxtprogrmmet. Explicit värderingr v instserns fktisk strtegisk betydelse för tillväxtprogrmmets genomförnde förekommer nästn inte över huvud tget i utvärderingrn. 3.2 Instserns mållogik sälln i fokus för utvärderingrn i så fll rikts kritik mot målen Instserns logisk struktur och formuleringen v målen hr sälln vrit en fråg som uppmärksmmts i utvärderingrn. I drygt tjugo v utvärderingrn hr denn fråg inte dresserts explicit. Det förefller finns två huvudnledningr till dett, ntingen hr dett br vrit en icke-fråg för utvärderingen eller så hr frågn vhndlts i ndr smmnhng. Här kn mn t utvärderingen v Vinnovs instser som exempel, där de utvärderingr som här hr nlyserts är utvärderingr i hlvtid eller i senre skeden. Här finns skäl tt nt tt frågn om instserns målformuleringr hr vklrts i tidigre och ndr skeden v genomförndet. I knppt 20 v de nlyserde utvärderingrn nlysers frågn om instserns mål på något sätt. Av dess riktr flertlet omkring 15 v dem någon form v kritik mot progrmmens målstruktur eller mål. Vnligt är dock tt mn både lyfter frm viss positiv spekter men smtidigt också riktr en kritik. Två frågor lyfts oftst som problemtisk i smmnhnget: för det först tt målen är otydligt formulerde eller svår tt mät och därmed följ upp och för det ndr tt målstrukturen till en del är rörig, dvs. tt målen inte hänger ihop med vrndr. Inte sälln gäller kritiken bägge dess spekter. De få uttlt positiv utvärderingr när det gäller instserns mål är positiv i mycket llmänn ordlg och förefller inte närmre h bedömt eller värdert instserns mål i detlj. 3.3 Horisontell mål hmnr oft under rdrn Inom tillväxtprogrmmet hr tre horisontell mål funnits: miljö, jämställdhet och mångfld. I denn del nlyserr vi utvärderingrns bedömning v huruvid dess
frågor hr integrerts i instserns mål eller inte. Den övergripnde slutstsen, redn här, är tt s.k. horisontell mål riskerr tt ligg lågt, och därmed hmn under rdrn för såväl dem som driver progrmmet som den som utvärderr dem. Vi kn konstter tt frågn om de horisontell målen över huvud tget inte hr behndlts explicit i omkring hälften v de nlyserde utvärderingrn. I de övrig utvärderingrn hr en eller fler v de horisontell målen behndlts. Vnligst är tt frågn om jämställdhet lyfts v utvärderrn, därnäst frågn om miljö medn frågn om mångfld br lyfts i ett fåtl utvärderingr. I ungefär hälften v de instser där de horisontell målen hr utvärderts hr något v målen vrit en huvudfråg för instsen, dvs. instsens övergripnde mål hr vrit tt påverk något v de horisontell målen, t.ex. miljö, mångfld eller jämställdhet. För just mångfld och miljö gäller dett i nästn smtlig de fll där frågorn hr lyfts v utvärderingrn. För målet om jämställdhet gäller tt dett även lyfts i utvärderingr v instser där jämställdhet inte vrit ett huvudskligt mål, utn just ett horisontellt mål. I de fll där utvärderingrn behndlr något eller någr v de horisontell målen är bedömningrn v hur målen hr integrerts något blndde. Å en sidn är mn positiv i förhållnde till tt instsern hr lyft frågorn, å ndr sidn rikts iblnd också kritik mot tt målen kunde vrit tydligre uttryckt eller tydligre integrerde. 3.4 Utvärderingrns smlde syn på instserns strtegier Generellt kn vi konstter tt den här typen v strtegisk övervägnden inte stått centrlt i så särskilt mång v utvärderingrn. Dett kn delvis förklrs v tt beställren v utvärderingrn v olik skäl inte tryckt på denn del i utvärderingen, utn tt mn istället velt lägg fokus vid utvärderingen v exempelvis genomförndeprocess eller resultt och effekter. I någr v utvärderingrn kn mn n tt dess frågor hr vrit uppe i ndr smmnhng än i de nu nlyserde utvärderingrn och därför medvetet hr vlts bort här. I ndr fll verkr det snrre vr ett mindre medvetet vl v frågor tt koncentrer utvärderingen till. Vi hr här notert tt frågn om instserns reltion till tillväxtprogrmmet inte vrit en fråg för mer än cirk en tredjedel v utvärderingrn. I övrig fll hr mn ntingen inte nämnt frågn över huvud tget eller så hr mn br i llmänn ordlg reltert instsen ifråg till frågn om regionens tillväxt utn tt nämn tillväxtprogrmmet. I den övrig tredjedelen v utvärderingrn konstters i neutrl ordlg tt den utvärderde instsen är en del inom tillväxtprogrmmet. Frågn om instserns mållogik och målformulering hr dresserts i knppt 20 v utvärderingrn. I merprten v dess rikts viss kritik både mot hur målen hr byggts upp i instsen ifråg och mot hur mn hr vlt tt preciser målen. Men i merprten v utvärderingrn berörs inte frågn. Även här kn vi konstter tt dett delvis kn förklrs v tt utvärderingrn genomförts i ett skede där det inte hr bedömts relevnt tt diskuter och värder målen och ders formulering.
Slutligen noterr vi tt frågn om de horisontell målen eller de horisontell kriterierns integrering i instserns mål inte heller hr vrit en stor fråg för utvärderingrn. Här finns en viss oblns melln å en sidn jämställdhetsmålen och å ndr sidn målen för mångfld och miljö. I de senre fllen noters också tt dess frmför llt lyfts i utvärderingrn v instser där dess kn nses h utgjort övergripnde snrre än horisontell mål för instsern. Jämställdhet, däremot, lyfts i något högre grd just som ett horisontellt mål. Men den övergripnde slutstsen är ändå tt inget v de horisontell målen generellt sett hr vrit en viktig fråg för utvärderrn.
4 Utvärderingrns syn på instserns genomförnde 4.1 Finnsiärerns styrning Frågn om finnsiärerns styrning är egentligen tänkt tt berör i först hnd Västr Götlndsregionens styrning. Dett gör tt förhållndevis mång v de utvärderde instsern och bedömd utvärderingrn fller bort i dett smmnhng. Totlt hr drygt 25 utvärderingr ntingen inte behndlt Västr Götlndsregionen som finnsiär eller över huvud tget inte behndlt frågn om finnsiärerns styrning. I övrig dominerr synpunkten tt finnsiärens dvs. Västr Götlndsregionens styrning v instsern vrit otillräcklig, otydlig eller llt för svg. I en del fll hndlr dett om tt utvärderren menr tt finnsiären, dvs. Västr Götlndsregionen, vrit otydlig gentemot projektet om vrför mn finnsierr projektet ifråg och vilk krv och förväntningr mn ställer på det eller tt det hr sknts en kontinuerlig uppföljning v projektet från regionens sid för tt säkerställ tt genomförndet följer fttde beslut och intentioner. I ndr fll menr mn mer generellt tt instsern hr präglts v en bristnde eller osynlig styrning, och dett kn då även referer till exempelvis projektledningens sätt tt t sig n och led och styr projektet eller den projektägnde orgnistionens styrning v projektet. En fråg som lyfts i någr v utvärderingrn är bristen på smordning melln finnsiärern. Det fktum tt finnsiärern sinsemelln både hr olik mål och förväntningr och härigenom också ställer olik krv lyfts v utvärderrn frm som ett problem för projekten och dess ktörer. I någon enstk utvärdering nses styrningen och finnsiärens krv vr lltför hög och svår tt lev upp till. Kontigo bedömer det som tt det här hndlr om vd som v den instsnsvrige upplevs som lltför detljerde krv på instsens genomförnde och som i utvärderingen återges v utvärderren. En hndfull utvärderingr är explicit positiv till regionens styrning v projekten och lyfter härvidlg frm betydelsen v vd mn uppfttt som en viktig och br dilog melln finnsiären och ägren till instsen ifråg. I någr fll pekr mn också på en enkelhet i hntering och genomförnde v instsern. 4.2 Generell bedömningr v genomförndet I denn del vrierr utvärderrns omdömen i mycket hög grd. De flest utvärderingr pekr också både på positiv och negtiv spekter inom en och smm insts,
vrför det inte blir meningsfullt tt tl om övervägnde positiv eller övervägnde negtiv utvärderingr. Ser vi på det totl ntlet noterde spekter i utvärderingrn så dominerr ändå de kritisk kommentrern. Dett sk dock inte tolks som tt utvärderingrn ger ett underbetyg åt genomförndet utn kn lik väl tolks som tt det vr dett mn fnn nledning tt särskilt kommenter. Här förekommer i huvudsk två typer v negtiv observtioner kring genomförndet: Observtioner kring en llmänt bristnde orgnistion i instsern eller en bristnde kompetens hos instserns nsvrig Observtioner som rör bristnde systemtik i genomförndet. I det först fllet hndlr det om tt utvärderingrn hr observert brister i genomförndet, som utvärderren vill hänför till orgnistorisk eller kompetensmässig brister, i först hnd hos den projektnsvrig orgnistionen, i projektledningen eller i de grupper som gemensmt nsvrr för styrningen v instsen. I det ndr fllet menr vi tt det hndlr om en bristnde systemtik i genomförndet som kn t sig fler olik uttryck och också få olik typer v konsekvenser både för instsen som sådn men också för hur instsen och dess finnsiärer uppftts v intressenter och ktörer. Det kn i dett ndr fll t.ex. hndl om tt projekt eller instser v utvärderren bedömts h givits llt för stor frihetsgrder när det gäller tt formuler om sitt innehåll eller inriktning. Till en viss del återkommer spegelbilden v dett som en positiv spekt uttryckt som flexibel genomförndeorgnistion och flexibl finnsiärer i ndr utvärderingr. Det kn, i ndr fll, hndl om tt urvlet v deltgre inte fungert på ett sätt som utvärderren menr optimlt. Här lyfts exempelvis frm en tendens i viss projekt tt välj ut deltgre till ktiviteter utifrån vd som uppftts som bekvämt snrre än utifrån en mer stringent bedömning v vr de störst behoven eller den störst potentilen finns utifrån instsens mål. En vrint på denn kritik är tt utvärderren upplever tt det inte funnits någon trnsprens i hur deltgre vlts ut tt ingå in instsern. Ytterligre en vrint på ovn nämnd tem är tt utvärderingrn lyfte tt en viss insts inte hr kommit hel målgruppen till del i lik hög grd. En reltivt vnlig kommentr i fler utvärderingr är tt instsen ifråg inte nått ll delregioner eller tt den inte nått ll typer v individer eller orgnistioner i målgruppen. En speciell spekt v dett rör förmågn tt nå ut till företgen. Här är det reltivt mång utvärderingr som är kritisk och som menr tt instsern inte nått ut till eller vrit tillräckligt lyhörd för företgen, ders behov och önskemål. I fler fll finns dock också utvärderingr som pekr i stort sett på de omvänd förhållnden. Till exempel är mång utvärderre särskilt positiv till hur mn i dess projekt hr lyckts tt nå ut till företgen.
4.3 Frmgångsfktorer och orsker till svårigheter I stor utsträckning utgör dett en slgs slutstser som vilr på bsen v de diskussioner som vi lyft och redovist ovn. Vi fortsätter därför den uppdelning melln å en sidn orgnistionsspekter och å ndr sidn spekter som hr med genomförndets systemtik tt gör. Vi hr därefter vlt tt, med utgångspunkt i de olik utvärderingrn, bedöm vd mn ser som en frmgångsfktor för de utvärderde instsern och vd men uppfttr som ett hinder eller som en orsk till tt projektet eller instsen hmnr i olik typer v problem eller svårigheter. 4.3.1 Vikten v en enkel och tydlig orgnistion, kompetent och enggerde projektmedrbetre En enkel och tydlig orgnistion kn förstås ses som en självklrhet, men det är ändå vd som lyfts frm som en viktig frmgångsfktor i mång v de utvärderingr vi hr nlysert. Centrlt är tt de olik involverde prtern hr både en tydlig men också gemensm bild v vd som förvänts v dem i genomförndet. Omvänt blir oklr roller oft den vnligste fienden till väl genomförd projekt. Dett gäller knske frmför llt projekt som genomförs i smverkn melln fler olik finnsiärer och ndr intressenter. Ju fler ktörer som deltr i ett genomförnde, desto viktigre blir snnolikt tydligheten i rollern och rollerns fördelning. Skll mn tro utvärderingrn så är vidre projektledrn och projektpersonlen en helt centrl fktor för hur väl projektens genomförnde fungerr. Här lyfts två olik typer v egenskper hos dess frm, både den formell kompetensen men knske i minst lik stor grd också projektledrns och -medrbetrns enggemng frm. Dess två fktorer är de enskilt viktigste, enligt utvärderingrn, för om projektens genomförnde skll lycks eller inte. Omvänt, blir bksidn v dett ett stort beroende v projektledren och v en kunnig och enggerd projektpersonl i övrigt. I utvärderingrn frmträder dett som tt projektens genomförnde hr hmnt i svårigheter eller problem då projektledre eller ndr nyckelmedrbetre i projekten hr slutt. Tolkt som en kritisk fktor, eller orsk till problem, skulle mn kunn beskriv dett som tt utvärderingrn lyfter frm ett betydnde personberoende som ett potentiellt problem för projekten. Kontigo noterr också tt det snnolikt finns en koppling melln grden v tydlighet i orgnistionen och behovet v kompetent och enggerde ledre och medrbetre. Kopplingen skulle kunn se ut som tt ju tydligre orgnisert och riggt ett projekt är desto lättre blir det tt led och knske också tt t över om en tidigre projektledre skulle slut. Otydlig projekt blir därmed i högre grd beroende v en skicklig och enggerd projektledre och de blir också i högre grd sårbr för förändringr i personl och ledning. 4.3.2 Trnsprens och rättvis en ytterligre viktig frmgångsfktor Den ndr stor och viktig fktorn som utvärderingrn pekr ut som en frmgångsfktor skulle mn kunn kll för trnsprens och rättvis. Det är dett som vi ovn
tlt om som behov v tydlighet i urvl v deltgre och rättvis i hur mn hnterr olik delr v målgruppen. Fler v utvärderingrn lyfter frm dett som en centrl frmgångsfktor för genomförndet. Det hndlr här i hög grd om förtroendeskpnde och tt skp en legitimitet för finnsiären och genomförren v instsen. Problem i genomförndet tenderr enligt utvärderingrn tt uppstå t.ex. när mn ändrr i exempelvis målgruppens vgränsning eller kriteriern för tt välj ut deltgre under instsens genomförnde, eller när det inte är tydligt på vilk grunder stöd lämns till olik ktörer. Problem tenderr också tt uppstå när mn i en given insts väljer tt fokuser llt för mycket på en enskild ktör eller ett enskilt regionlt område. Tbell 4.1 Frmgångsfktorer och orsker till problem i genomförndet Frmgångsfktorer Orsk till problem Orgnistion Tydlig orgnistion och tydlig roller Oklr roller melln mång ktörer Kompetent projektledre Enggerd personl Projektledre som slutr (sårbrhet, personberoende) Systemtik Trnsprens och tydlighet i urvlsprocesser Ändrde villkor under genomförndet, llt för strkt fokus på viss i målgruppen Aktiv och relevnt uppföljning 4.4 De horisontell spekterns integrering i genomförndet Även i genomförndet synliggörs inte de horisontell kriterierns betydelse fullt ut i utvärderingrn. I närmre hälften v utvärderingsrpportern, cirk 20 st, kommenters inte hur de horisontell målen och kriteriern hr hnterts i genomförndet v instsern. I drygt hälften v utvärderingrn kommenters i vriernde utsträckning och detljeringsgrd hur mn i genomförndet v instsern hr hntert frågn om de horisontell målen och kriteriern. Det vi kn bedöm här är dock enbrt det mn fktiskt hr värdert och bedömt i utvärderingrn. För tt t ett exempel: en utvärdering kommenterr rbetet med tt integrer ett jämställdhetsperspektiv inom rmen för den utvärderde instsen och bedömer tt mn i instsen hr rbett ktivt med frågorn och med olik metoder lyckts väl tt integrer jämställdhetsperspektivet i genomförndet. Utvärderingen säger dock inget om mångfldsrbetet. I dett fll vet
vi inget om huruvid dett är ett uttryck för tt mn inom instsen inte hr rbett med denn fråg eller för tt utvärderren inte hr uppmärksmmt eller bedömt dett. Med ovnstående i bkhuvudet kn vi konstter tt mn som nämnts hr kommentert och värdert integrtionen v ett eller fler horisontell perspektiv i drygt hälften v utvärderingrn. I drygt tio v utvärderingrn konstters tt mn inom instsen hr rbett ktivt med (och i de flest fllen också lyckts väl) med tt integrer åtminstone något v perspektiven. Det vnligste är i dess fll tt det är frågn om jämställdhet som mn hr rbett mest ktivt med. I ett mindre ntl cirk 6 utvärderingr menr mn tt mn ktivt hr rbett med tt integrer fler v de horisontell perspektiven i genomförndet. I cirk 3 utvärderingr rikts explicit kritik mot tt mn inom rmen för instserns genomförnde hr förbisett någon eller någr v de horisontell spektern. 4.5 Utvärderingrns smlde syn på instserns genomförnde För det först kn vi konstter tt utvärderingrn lyfter frågn om behovet v en tydligre och mer närvrnde styrning från finnsiärerns sid, frmför llt då från Västr Götlndsregionens sid. Slutstsen här är tt regionen behöver bli tydligre när det gäller tt förmedl regionens skäl till tt genomför instser och tt i uppföljning och styrning bli bättre på tt styr mot målen. En nnn spekt är vd som upplevs som ett behov v tydligre smordning melln olik typer v finnsiärer. Även när det gäller genomförndet hr inte de horisontell målen eller spektern uppmärksmmts genomgående och systemtiskt i utvärderingrn. Där de hr uppmärksmmts kn vi konstter tt det finn stor vritioner i hur frågorn hr hnterts och i vilk v de horisontell målen som hr hnterts.
5 Utvärderingrns bedömning v resultt, måluppfyllelse och effekt När det gäller utvärderingrns syn på instserns uppnådd resultt, ders måluppfyllelse och eventuell effekter hr vi vlt tt lägg upp redovisningen något nnorlund än i de tidigre vsnitten. För tt ök utbytet v informtionen hr vi vlt tt lite grovt del in instsern i smmnlgt fem olik typer v instser: Instser för entreprenörskp och utveckling v befintlig företg eller kluster (1) Instser för utveckling v innovtioner, innovtionssystem (2) Instser med socilt och kulturellt innehåll (3) Större smmnhållnde progrm (4) Övrig instser (5) Nturligtvis är dett en grov indelning och vilk projekt som vi räknt till vilken ktegori frmgår v bilgn. Innn vi övergår till tt redovis instsern vr för sig kn det dock vr på sin plts tt något reflekter över begrepp och metoder generellt och i utvärderingrn. Det frmgår med stor tydlighet tt vritionen i metoder, nvänd begrepp och hur bedömningrn gjorts är stor utvärderingrn emelln. I utvärderingrn blnds oft begrepp som resultt, effekt, måluppfyllelse etc. och sinsemelln är nvändningen v begreppen oft helt olik. Dett försvårr förstås en smld bedömning v instserns resultt, måluppfyllelse, effekter och nytt. Kontigo hr därför vrit tvungen tt själv värder vd det egentligen är som hr utvärderts och vd utvärderingrn i dess fll säger. Den terminologi som vi kommer tt nvänd i dett kpitel är följnde: Resultt: Resultt är llt som en viss insts (ktivitetern i denn) leder till (på både kort och lång sikt). Måluppfyllelse: Är i den grd som de uppställd målen för instsen hr uppfyllts. Effekter: Är den del i måluppfyllelsen och/eller resultten som kn sägs h nåtts på grund v instsen. Nyttn: Är värdet v effekten minus kostndern för tt genomför instsen.
Dett betyder således tt: Resultt kn vr både positiv och negtiv Hel resulttet behöver inte vr en effekt v instsen Effekten kn både vr mindre och större än resulttet Att målet är uppnått innebär inte med utomtik tt instsen hft någon effekt En tydlig effekt behöver inte betyd tt instsen vrit lyckd (visr nytt) För tt stärk möjlighetern tt lär från mång olik utvärderingr vore det v stort värde om regionen som beställre v utvärderingr kunde tydliggör krven på hur begrepp som de ovn skll nvänds i utvärderingrn och knske till och med ställ krv på vilk metoder som krävs för olik typer v utvärderingr. 5.1 Instser för entreprenörskp och utveckling v befintlig företg eller kluster När det gäller utvärderingrn v dess instser så grundr sig dess nästn undntgslöst på två olik typer v metoder: Enkäter och/eller intervjuer riktde till målgruppen, där frågor ställs om hur mn hr uppfttt instsen, vilk resultt och effekter som denn hr lett till. Intervjuer med projektnsvrig som i sin tur hr fått bedöm instserns resultt och effekter I någr fll hr mn också försökt tt hämt in olik typer v registerdt för tt fktiskt observer förändringr i något v de mål mn hr ställt upp. Det är svårt tt dr generell slutstser men på en övergripnde nivå skulle mn ändå kunn hävd tt följnde två slutstser frmstår som tydligst: Instsern hr bidrgit till tt företgens kunskp och kompetens hr ökt, ders ffärsplner, strtegier etc. hr utvecklts. Mn kn generellt inte se tt dett resultt också hr omstts i fler ffärer, tillväxt i omsättning och ny jobb för företgen Sedn finns också betydnde skillnder melln olik typer v instser inom dett område. Det förefller som tt ju mer konkret och ffärsnär instsern är desto
nyttigre upplever målgruppen dem vr. Nätverk med ndr företg, styrelsenätverk och mer bstrkt instser kring t.ex. socilt nsvr upplevs som mindre värdefullt v målgruppen medn mer konkret och verksmhetsnär och företgsunik instser verkr upplevs mer värdefull. Horisontell mål verkr inte h stt någr vtryck i resultten från den här typen v instser. Fler utvärderingr påpekr tt resultten istället oft är begränsde till en del v målgruppen. Eller tt målgruppen förefller llt för snävt definierd. 5.2 Instser för utveckling v innovtioner, innovtionssystem När det gäller den här typen v instser förefller mång v utvärderingrn ligg reltivt tidigt i instserns genomförnde och ännu mer så i förhållnde till en tänkt logik kring instserns resultt och effekter. En mycket vnlig slutsts från utvärderingrn är därför tt det är llt för tidigt tt tl om resultt och effekter. Det ligger förstås också ett inbyggt mått v långsiktighet i den här typen v instser: vi kn förvänt oss resultt först på längre sikt. I fokus för de flest v dess utvärderingr står när det gäller resultt frågn om hur den ktuell forsknings- eller innovtionsmiljön hr utvecklts. För fler v de nlyserde utvärderingrn förefller de viktigste bedömningskriteriern här vr frågn om huruvid mn är på väg mot tt etbler en forsknings- och innovtionsmiljö i världsklss eller ej. Det är svårt tt dr någr mer bestämd slutstser om utvärderingrns resultt, men ett försiktigt försök till gemensm slutsts skulle knske kunn vr tt det br är någon enstk miljö som kommit så pss långt som tt det skulle beskrivs som tt målen är på väg tt uppnås. I mång fll noters tt olik typer v orgnistorisk svårigheter utgör hinder, men tt det ännu är tidigt tt vgör instsens resultt. I dess utvärderingr tls oftst väldigt lite om effektern v instsen, dvs. hur instsen ifråg kn sägs h en vgörnde betydelse för den utveckling som utvärderingrn observerr. De dominernde metodern inom denn typ v utvärderingr är intervjuer med en kombintion v ktörer och målgrupper, dvs. med dem som nsvrr för instsern och som verkr inom forsknings- och innovtionsmiljöern. 5.3 Instser med socilt och kulturellt innehåll Med denn rubrik mens instser som genomförs inom rmen för tillväxtprogrmmet, men som ändå rbetr med målgrupper inom det kulturell eller socil området. Här finns t.ex. instser riktde mot ett ökt entreprenörskp blnd personer som står utnför den ordinrie rbetsmrknden eller mot personer inom kultur och föreningslivet. Här finns även instser inom det som brukr klls för den socil ekonomin. En del v instsern syftr till tt stödj utvecklingen v orgnistionern inom dess sektorer och hr då orgnistionern som sådn som målgrupp.
De flest utvärderingrn v instsern inom dess områden är i grunden positiv till de utvärderde instsern. Mn menr i gnsk stor utsträckning tt instsern hr nått sin mål och tt målgruppern i hög grd uppger sig vr positiv till instsern. Det finns också en gnsk stor smstämmighet melln de olik utvärderingrn här i så motto tt de resultt mn främst ser är vd som skulle klls för mjuk resultt. Mn betonr resultt som tt instsern hr lett till ny och ökd kunskp, värdefull erfrenhetsutbyten med ndr individer och orgnistioner och på individnivån tt instsern vrit värdefull för individerns frmtid möjligheter. I den mån utvärderingrn här kommenterr de tillväxtmål t.ex. i termer v ny företg och ny rbetstillfällen som oft är kopplde till dess instser så är utvärderingrn lik smstämmig om tt dess inte hr infrits i någon större utsträckning inom rmen för instsern. För enskild individer kn dock instsern h hft stor betydelse. Det finns också en kritik i fler v utvärderingrn mot tt instserns resultt riskerr tt bli kortsiktig. Det finns ing meknismer som säkrr tt etblerde nätverk och vunn erfrenheter kn vidmkthålls över tiden. Inte heller här uppmärksmms i särskilt hög utsträckning de horisontell målen i utvärderingrn. I viss v dess instser är själv målet tt åstdkomm en förändring i något v de s.k. horisontell målen och då dressers förstås frågn. 5.4 Större smmnhållnde progrm Det är främst resultten från tre större progrm som hr utvärderts och där utvärderingrn hr nlyserts v oss: det rör de delregionl tillväxtprogrmmen i Skrborg och Fyrbodl och det regionl regionlfondsprogrmmet i Västsverige (fler olik rpporter). Mn kn också räkn det stor kpitlförsörjningsprojektet finnsiert v regionl fonden till denn ktegori. Ingen v dess utvärderingr ger någr mer smmnhålln bilder v instserns resultt. Endst en rpporten kring Fyrbodls delregionl tillväxtprogrm är en slutlig utvärderingsrpport. Övrig är hlvtids- eller delrpporteringr. I stor drg bekräftr rpportern dock den bild v resulttens vrition som tecknts ovn i dett kpitel. Med ndr ord: Ju mer konkret och företgsnär projekten förefller vr, desto större är den upplevd nyttn hos målgruppen. 5.5 Smld bild över instserns resultt, effekt och nytt Smmntget visr utvärderingrn på en splittrd bild v instserns resultt. Delvis kn dett vr ett resultt v en bristnde gemensm struktur när det gäller utvärderingrns syften och metoder. Generellt finns en kritik mot de genomförd instsern som hndlr om tt de delvis upplevs som llt för långt från målgrupperns behov, tt instsern hr svårt tt nå
målen vd gäller mer konkret och tillväxtorienterde mål och tt det finns en risk för tt mång instsers resultt inte är bestående till sin krktär. I den positiv vågskålen finns en bedömning hos utvärderrn om tt instsern hr ökt kunskpern och skpt ny nätverk och erfrenheter hos instserns målgrupper. I konkret företsnär projekt hr dett upplevts som särskilt värdefullt och likså i målgrupper som v olik skäl hmnt i olik typer v utnförskp. Med den stor spridningen i olik typer v instser och olik typer v utvärderingr är det vår slutsts tt det inte går tt gör en smld bedömning vre sig v instserns resultt, måluppfyllelse, effekter eller nytt. Rent generellt kn vi konstter tt det som utvärderingrn bedömer i dett vseende i mjoriteten v fllen hndlr om resultt och måluppfyllelse. De flest utvärderingr hr inte de metodologisk verktygen för tt utvärder instserns effekter och nytt.
6 Smmnfttnde bedömning v instsern Smmnfttningsvis kn vi konstter tt utvärderingrn ger en något splittrd bild v instsern. Dels är vritionen melln de olik typern v instsern så stor tt också utvärderingrn blir väldigt skiftnde till sin krktär och i förhållnde till den typ v slutstser de drr. Dels är utvärderingrns inriktning, metoder och kvlitet så pss vriernde i sig tt dett ytterligre försvårr för den som vill skp sig en smld bild v de olik instsern i tillväxtprogrmmet, ders genomförnde och ders resultt på bsen v de genomförd utvärderingrn. De frågor vi önskt få svr på hr delts in i tre områden strtegi, genomförnde och resultt. Vi hr kunnt konstter tt de strtegisk frågorn inte hr behndlts i ll utvärderingr, medn de flest utvärderingr hr behndlt åtminstone ntingen genomförndespekter eller resultten v instsern. Mång hr också behndlt både genomförnde och resultt. 6.1 Kopplingen melln enskild instser och regionens utvecklingsoch tillväxtstrtegi hr uppfttts som svg i fler v utvärderingrn De strtegisk frågorn lyfts frm som viktig i ett mindre ntl v de utvärderingr vi nlysert. Utvärderingrn är i dett vseende till övervägnde delen kritisk och menr tt målen för instsern inte vrit tillräckligt tydlig och tt det också skns en tydlig idé om vrför regionen hft ett intresse v tt delfinnsier dess instser. Mn kn nturligtvis hävd tt det är de söknde orgnistionern som själv hr tt vr tydlig med projektens syfte och mål, men utvärderrn lyfter här också frm behovet v en tydligre strtegisk styrning från finnsiärerns sid. Någr v utvärderingrn är också positiv till instserns strtegisk inriktning, dett uppfttr vi som tt utvärderingrn i dess fll främst hr bedömt den intern strtegin inom den enskild instsen snrre än kopplingen till tillväxtprogrmmet, eller tt instsen i sig hr bestått v ett mer överordnt progrm. Kontigos smlde bedömning blir här tt i de fll där utvärderingrn explicit hr kommentert den strtegisk kopplingen melln den utvärderde instsen och tillväxtprogrmmet så görs dett oftst utifrån vd mn uppfttt som en svg koppling melln de enskild instsern och ders mål och det regionl tillväxtprogrmmets övergripnde mål. 6.2 Genomförndeprocessern får blndde omdömen Den strtegisk otydligheten vspeglr sig också i en upplevd otydlighet i finnsiärerns styrning v instsen, särskilt då Västr Götlndsregionens. Fler utvärderingr
pekr på behovet v tt regionen själv följer upp eller säkerställer tt uppföljningen v instsern fungerr, utifrån ett regionlt perspektiv. Smordningen melln olik finnsiärers styrning lyfts också frm som ett förbättringsområde i fler utvärderingr. Sett till de enskild utvärderingrn så lyfter mer än hälften frm genomförndespekter som centrl för frmgång eller misslycknde. Som vists ovn är trnsprens och rättvis två fktorer som oft lyfts frm som viktig för tt skp trovärdighet och därmed också enggemng i processen. Det måste vr tydligt vem instsern vänder sig till och målgruppern får inte ändrs eller upplevs som godtycklig. Dett är en v de viktigste fktorern bkom ett öppet och effektivt genomförnde. De enskild utvärderingrn pekr i mång fll också väl fungernde processer. En ytterligre fktor som bidrr till tt skp br processer är ett inkludernde perspektiv, dvs. tt ll inbjuds medverk i processen ovsett om mn är en del i den målgrupp som kn få stöd eller inte. 6.3 Delvis god resultt, men llt för liten ffärsnytt och tillväxt När det gäller resultten frmträder en något splittrd bild, men den positiv sidn tenderr ändå tt väg över i vågskålen. Instsern förefller i mång fll h bidrgit till tt skp god resultt, för deltgnde individer och orgnistioner. De förefller h bidrgit till ny kunskp, ny nätverk och ett positivit erfrenhetsutbyte. Mest så i projekt med en tydlig konkret efterfrågn från frmför llt näringslivet. Däremot ger inte utvärderingrn något stöd för tt tl om tt instsern tydligt hr bidrgit till ökd tillväxt t.ex. i form v ny rbetstillfällen, ny företg eller ny ffärer för deltgnde företg. Skälen till dett kn vr dels tt utvärderingrn v olik nledningr inte klrr tt fång in dess typer v resultt eller tt instsern åtminstone inte i det reltivt kort tidsperspektivet hr skpt den typen v resultt. Snnolikt hndlr förklringen främst om det senre. Till sist kn vi konstter tt vi tyvärr inte får någon informtion från utvärderingrn när det gäller det konkret värdet v instsern: dvs. vilk de verklig effektern v instsern hr vrit (vd skulle h hänt om inte instsern genomförts), och hur står sig resultten (och effektern) i förhållnde till vd instsern hr kostt tt genomför.
7 Slutstser erfrenheter för ett revidert tillväxtprogrm Vilk slutstser kn vi då dr inför ett eventuellt revidert tillväxtprogrm på bsen v den här vrpporterde undersökningen? 7.1 Svårt tt på bsen v genomförd utvärderingr nå smlde slutstser Den först slutstsen är tt det är svårt tt på denn nivå och i dett vseende lär från genomförd utvärderingr. Två fktorer hr bidrgit till tt det är svårt tt dr tydlig slutstser från den metutvärdering vi genomfört inom rmen för dett uppdrg. För det först är det gemensmm rmverket i form v det regionl tillväxtprogrmmet lösligt smmnhållet och utn tydlig gemensmm mål eller ndr smmnhållnde strukturer. För det ndr är utvärderingrn v de enskild instsern också v en vitt skiftnde krktär. De hr ställt olik frågor, genomförts vid olik tidpunkter, hft olik fokus, förlitt sig på olik metoder och de förefller också h drgit olik slutstser inte br beroende på de observtioner de gjort inom rmen för undersökningrn utn också utifrån förutbestämd utgångspunkter. Kontigo menr tt dett smmntget minskr möjlighetern tt systemtiskt lär från de genomförd instsern och ders utvärderingr. 7.1.1 Tydlig och smmnhålln progrm stärker lärndemöjlighetern För tt en metutvärdering verkligen sk kunn besvr viktig frågor som vd slgs resultt instsern hr producert och vilk mål som hr uppfyllts krävs snnolikt tt det progrm som skll utvärders med en metutvärderingsmetod hr en tydligre struktur. Vi inser förstås problemtiken med hur tillväxtprogrm eller regionl utvecklingsprogrm är utformde och tt de i huvudsk genomförs genom de olik enskild instsern och progrmmen. Men vi tror smtidigt tt det är nödvändigt tt tydligre vis hur olik delr hänger smmn med vrndr, och tt det finns en tydlig målstruktur som hålls levnde genom hel rbetet med ett tillväxt- eller utvecklingsprogrm. Den bild som tonr frm i fler v utvärderingrn är tt det förvisso hr funnits mål om t.ex. ny rbetstillfällen eller ny företg som ett krv på instsern och tt dess följs upp v finnsiärern. Smtidigt kommer oft utvärderingrn frm till slutstsen tt instsern inte förmår eller kommer tt förmå tt leverer resultt i dess vseenden. Oft kombinerr utvärderingrn denn slutsts med tt konstter tt dess mål knske inte är de mest relevnt för tt mät projektens eller instserns frmgång.
Det kn förstås förhåll sig så tt just målen om ny rbetstillfällen och ny företg inte vrit de bäst målen för denn typ v instser. Problemet är då snrst tt målen inte hr erstts v någr ndr mer övergripnde, bättre, och enhetlig mål. Det är Kontigos rekommendtion tt ett progrm som tillväxtprogrmmet bör hålls smmn v någr tydlig, knske övergripnde, mål som ll instser hr tt förhåll sig till och som mn vet kommer tt följs upp, både i finnsiärerns uppföljning och i olik utvärderingr. 7.1.2 Mer homogen och bättre utvärderingr är en förutsättning för lärnde på systemnivån Med en tydligre och mer gemensm målbild för de olik instsern bör också möjlighetern tt ök krven på utvärderingrn förbättrs. Kontigo, som ju också hr svrt för fler v de nlyserde utvärderingrn, vill inte rikt kritik mot utvärderingrn i sig, men efterlyser mer gemensmm riktlinjer för hur utvärderingr v olik slg skll genomförs, vilk metoder som skll tillämps, vilken fokus utvärderingen skll h och knske också när det gäller hur mn skll tolk de resultt som frmkommer i utvärderingrn. Den guide som för närvrnde finns när det gäller utvärdering och lärnde i Västr Götlnd och som regionutvecklingssekretritet rbetr utifrån, bör kunn utveckls så tt tydligre och i viss utsträckning också högre krv på utvärderingrn kn ställs. Det kn i dess fll hndl om vilk krv mn sk ställ på en processutvärdering t.ex. i form v tt viss spekter i en genomförndeprocess lltid sk ingå i en utvärdering v densmm. Ännu viktigre bör dett vr när det gäller slututvärderingr och frågn om hur resultt, måluppfyllelse, effekt och nytt skll bedöms. Här bör någr enklre stndrdiserde beskrivningr v vd en slututvärdering sk innehåll kunn utveckls, dess bör också kunn ge exempel på vilk metoder som är tänkbr för tt utvärder t.ex. effekter och nytt. 7.2 Tillväxtprogrmmet utgör ett otydligt rmverk för instsern För tt få bättre utvärderingr krävs snnolikt också en ökd kvlitet i utformning och innehåll i fler v instsern. Det förefller nu som tt otydligheten i instserns mål och mållogik ändå hr vrit en fktor som begränst utvärderingrn. Här skll dock konstters tt det finns en betydnde vrition melln olik instser. Kontigo menr tt regionen skulle kunn fortsätt med tt utveckl modellen för lärnde genom tt tydliggör vilk krv mn kn ställ på de instser mn finnsierr genom tt de skll h tydlig och mätbr mål och tt instsens logisk struktur skll häng smmn väl. I figuren nedn åskådliggör vi schemtiskt vilk punkter som bör ingå i en beskrivning och nlys v instserns mållogik.