Blekinge Engineering Software Qualities

Blekinge Engineering Software Qualities Slututvärdering av KK-stiftelsens profilsatsning vid Blekinge Tekniska Högskola Ulrika Ekström Christina Johannesson Anders Sundin

Om KK-stiftelsen För att stärka Sveriges förmåga att skapa värde ska KK-stiftelsen bidra till att näringsliv, lärosäten och forskningsinstitut tillsammans utvecklar ny kunskap och kompetens. Vi är en aktiv finansiär som vill skapa möjligheter, förstärka positiva effekter och stödja risktagande. Sedan starten 1994 har vi satsat mer än sex miljarder kronor i över 1 900 projekt som handlar om utveckling av nya lärosäten och institut, kompetensutveckling i näringslivet, och lärande och IT. Titel: Blekinge Engineering Software Qualities. Slututvärdering av KK-stiftelsens profilsatsning vid Blekinge Tekniska Högskola Författare: Ulrika Ekström (huvudförfattare), Christina Johannesson och Anders Sundin Utgivare: KK-stiftelsen : KK-stiftelsen Datum: 2009 ISSN: 1652-5213 Diarienr: 2009/0040 I rapportserien publicerar KK-stiftelsen rapporter, förstudier och utvärderingar av våra program och projekt. De värderingar och slutsatser som redovisas är författarnas egna. Det innebär inte att KKstiftelsen tar ställning till framförda åsikter, bedömningar och resultat. KK-stiftelsens rapporter finns att beställa eller ladda ner på www.kks.se.

Förord KK-stiftelsen stödjer aktivt de nya universiteten och högskolorna att bygga upp långsiktigt stabila forskningsmiljöer på hög internationell nivå. Stödet gäller oberoende av vetenskapsområde. Ett krav för stöd är att forskningen har god vetenskaplig kvalitet, är relevant för näringslivet och finansierad till lika stor del av näringslivet. En del av stiftelsens stöd till forskning och samverkan med näringslivet är de s.k. profilsatsningarna. Avsikten är att bygga upp kvalitativt starka forskningsmiljöer i samproduktion där relationen mellan näringsliv och akademi fungerar så att forskningen sker kring en gemensam frågeställning, ett gemensamt genomförande och gemensamt handhavande av forskningsresultaten. Stiftelsen stödjer verksamheten under sex år. Förhoppningen är att det under den tiden etableras en verksamhet som kan få fortsatt finansiering från andra källor. Stiftelsen bidrar med maximalt 36 miljoner kronor till respektive profil, näringslivet med lika mycket. Stiftelsen har beviljat sammanlagt 396 miljoner kronor till elva forskningsprofiler 1 vid tre tillfällen. Se också www.kks.se. I april 2001 beslutade stiftelsen om stöd till följande forskningsprofiler som nu är slututvärderade BESQ Engineering Software Qualities (Blekinge Tekniska Högskola) AASS Tillämpade autonoma sensorsystem (Örebro universitet) NSE - Den nya tjänsteekonomin (Karlstads universitet) Syftet med slututvärderingen är att 1. ge programmet och forskningsprofilerna ett betyg på verksamheten 2. bidra till fortsatt verksamhetsutveckling för profilerna 3. öka förståelsen av grundläggande processer och händelser som kan användas främst i nya satsningar som stiftelsen initierar. Denna rapport som utförts av FBA Holding, Stockholm, är en slututvärdering av profilen BESQ Engineering Software Qualities vid Blekinge Tekniska Högskola. Utvärderingsansvarig Christina Ehneström 1 KK-stiftelsen har tidigare låtit slututvärdera tre och halvtidsutvärdera åtta forskningsprofiler. Dessutom finns metarapporer för de två tillfällen då utvärderingar hittills genomförts. Rapporterna finns på stiftelsens hemsida.

Innehållsförteckning 1 Executive summary... 9 2 Sammanfattning... 12 3 Inledning... 15 3.1 Bakgrund... 15 3.2 KK-stiftelsens profilsatsning... 15 3.3 Utvärderingens syfte... 17 3.4 Utvärderingsmodell... 17 3.4.1 Huvudmodell summativ och formativ utvärdering... 17 3.5 Utvärderingens genomförande... 20 3.5.1 Självvärdering... 20 3.5.2 Processutvärdering... 21 3.5.3 Telefonintervjuer... 21 3.5.4 Peer review... 21 4 Ingångsvärde för BESQ... 22 5 Planen... 23 5.1 Vision och mål... 23 5.2 Forskningsområden... 24 5.3 Personal och organisation... 24 5.4 Samarbetspartner och motfinansiering... 25 5.5 Information och kommunikation... 25 6 Utfallet... 27 6.1 Måluppfyllelse... 27 6.1.1 Forskning och högskolans profil... 27 6.1.2 Doktorandutbildning... 28 6.1.3 Delprojekten inom BESQ... 28 6.1.4 Akademiska nätverk... 29 6.1.5 Näringslivssamarbete... 29 6.1.6 Grundutbildning... 30 6.1.7 Information och kommunikation... 31 6.2 Stabilitet och långsiktighet... 31 6.2.1 Vision... 31 6.2.2 Personal och organisation... 31 6.2.3 BESQ RC... 32 7 En diskussion om resultat... 33 7.1 Resultat för akademin... 34 7.1.1 Tillgång till empiri... 34 7.1.2 Förädlad forskningsmetodologi... 35 7.1.3 Publiceringar och konferenser... 35 7.1.4 Ökad attraktionskraft... 36 7.1.5 En forskningsmiljö... 36

7.2 Resultat för näringslivet... 37 7.2.1 Dialog och mötesplats... 37 7.2.2 Arbetssätt... 37 7.2.3 Kommersiell nytta... 38 7.2.4 Arbetskraft... 39 8 Skillnad mellan plan och utfall... 40 8.1 Från produktfokus till balans mellan produkt och process... 40 8.2 Från flera små lokala samarbetspartner till några få stora... 41 8.3 Aktivt integrationsarbete... 41 8.4 Stort internationellt genomslag... 41 8.5 Breddat forskningsområde... 42 8.6 Från svenska till utländska studenter... 42 9 En diskussion om process... 43 9.1 IT-kraschen... 44 9.2 Halvtidsutvärderingen och efterarbetet... 44 9.2.1 Fler seniora forskare... 45 9.2.2 Gästforskarprogrammet... 45 9.2.3 Mentorprogrammet... 46 9.3 Integreringsarbete... 46 9.3.1 Integration av personer... 46 9.3.2 Integration av projekt... 46 9.4 Synlighet... 47 9.4.1 Informationsaktiviteter... 47 9.4.2 Publiceringar... 47 9.4.3 Disputationer... 47 9.5 Masterutbildningar... 48 9.6 BESQ RC... 48 9.7 Finansiering... 49 10 Hantering av kritiska faktorer... 50 10.1 Samarbetsklimat och ledarskapsförmågor... 50 10.2 Goda upparbetade kontakter med näringslivet... 50 10.3 Lättrörlig miljö... 51 10.4 Företagens mottagarförmåga... 51 10.5 Anpassning till företagens behov... 52 10.6 Gemensam förståelse... 52 11 Lärdomar... 54 11.1 Resultatöverföring... 54 11.2 Värdet av empiriska resultat... 55 11.3 Mjukare start rekryteringsprocess i flera led... 55 11.4 Integrera projekt eller arbeta mer i kluster... 56 11.5 Kontinuitet tydliggöra mål, strategi och fortsättning... 56 11.6 En reservplan... 57 11.7 Nå företagens ledning kommunikation till företag... 57

12 Framtida utmaningar... 58 12.1 Synliggöra forskningen och förädla resultatet... 58 12.2 Bredd och fokus... 58 12.3 Finansiell kris... 59 12.4 Studenter och forskare inom programvaruteknik... 59 12.5 Statlig forskningspolitik... 59 Bilaga A: BESQ Peer review report... 61

1 Executive summary Blekinge Engineering Software Qualities (BESQ) is a research profile at Blekinge Institute of Technology. The profile has received funding from the Knowledge Foundation (36 MSEK) between 2002 and 2008 in order to establish a qualitative research profile. According to the contract, the objective is to develop an academically competitive research environment of national relevance to industry which shall persist and grow stronger after the end of the financed six-year period. FBA has been commissioned to carry out the final evaluation of the BESQ profile. The evaluation is based on document analysis, interviews with researchers at the profile s programme management group, PhD students and industrial collaborators. The evaluation has also included a selfevaluation, a process evaluation and a peer review, with experts from Keele University, UK, the University of Oslo, Norway, Ericsson Software Research as well as the University of Lund. The purpose of the evaluation is threefold. To verify that the activities have been carried out as stated in the agreement between the profile management and the Knowledge Foundation. To analyse the profile s result and the working process that led to it. To give feedback on experiences, both to the profile and the Knowledge Foundation in order to contribute to the understanding of opportunities and limitations in developing a strong and coproducing research environment. The overall objective of BESQ has been to provide an understanding of and an improvement in various quality attributes. The research has focussed on four research areas: processes and methods for development and management, software architecture, performance and availability aspects, use orientation in software development. The research profile consists of people from the Department of Systems and Software Engineering (APS) and the Department of Interaction and System Design (AIS), both within the School of Engineering. The profile has also had a management group and a reference group with representatives from industry, other universities in Sweden and internationally. At the end of the funding period BESQ has: a good academic research level in line with the priorities of the Blekinge Institute of Technology a good reputation nationally as well as internationally with a wide academic network produced approximately 50 journal publications and over 100 conference publications completed 11 projects and nine PhD students have graduated collaborated closely with approximately 10 companies and has high industry relevance 9

had a considerable influence on the undergraduate level and introduced new Master s programmes doubled the number of senior researchers established BESQ Research Center to secure the future of the profile. The success of the profile is, to a large extent, a result of the well-performed management group with a strong leadership, academically, socially and administratively. The profile project has created results both from an academic and an industrial point of view. The main results for academia have been the access to empirical data, the improvement of the research methodology, all the publications and the opportunities to recruit researchers and PhD students. For industry, the main results have been the dialogue with academia, changes in work procedures due to research results, commercial results and new employees. Not all activities turned out as they were initially planned. For example, the research became more a balance between product and process rather than the initial product focus. Furthermore, the industry collaborators have been somewhat fewer and larger than planned. The cooperation with the industry has ended up being more close, bilateral projects and less work in project clusters. However, the project management has been working hard to strengthen the integration between both collaborators and projects. In addition, the profile has had a strong international breakthrough and the profile now has more international PhD students than Swedish. Finally, the researchers have gradually realised the need for closer connections with research in economy and management to be able to understand and influence organisational change. The profile period has contained events that have characterised and influenced BESQ s performance and outcome. The main critical incident was the ICT crash, which affected the profile initially and radically changed the opportunities for attracting co-financing as well as maintaining SMEs as collaborators. Another critical event was the mid-term evaluation and the actions taken due to the suggestions given. Finally, the establishment of the BESQ Research Center has been a critical factor in the continuation of the profile. A set of factors has been critical to the successful operation of BESQ. Such factors have been the initial good contact with industry, the fact that BESQ is a small and flexible environment, the collaborators capacity to take on the research cooperation, the capability of academia to adjust to the demands and need of the companies. There has been a mutual understanding between academia and industry throughout. The cooperation within the profile has also been good as well as the leadership. 10

The execution of the profile has resulted in the acquisition of knowledge about how to succeed in the development of a strong research environment, such as how to transfer results from academia to industry and vice versa, or the importance of being able to identify and see the value of empirical results. Another reflection is that it could have been advantageous if the profile had had a smoother start recruiting fewer PhD students and more senior researchers. It has also been learnt that a great deal of work is required on the integration of projects and people when working bilaterally with a few large companies. It could possibly have been advantageous to use a more clustered structure where industry and academia could have worked together based on joint interests and challenges. Furthermore, in order to be able to handle unforeseen events in the companies, such as re-organisation or liquidation, it would have been useful to have a plan B for the students. It is important that the management of participating companies has an understanding and approval of the collaboration projects. Finally, it is important to have a clear strategy on what the continuation of the profile will look like in order to be able to communicate to the funding institutions and collaborators how objectives will be reached. Possible challenges for BESQ could be the shortage of substantial and more long-term financial contributions in combination with the financial crisis. Another challenge is the shortage of students, which is both a financial issue, but also a determinant for recruiting PhD students. It should also be considered most important to put the profile and the research area on the political agenda, to handle the breadth and depth of the research area without losing focus and to make the research visible and communicable in a way that is understandable and leads to an increased interest in society, especially among students and financial institutions. 11

2 Sammanfattning Blekinge Engineering Sofware Qualities (BESQ) är en forskningsprofil vid Blekinge Tekniska Högskola. Profilen har fått stöd på 36 mkr från KKstiftelsen för åren 2002 2008. Avsikten med satsningen har varit att bygga upp kvalitativa, långsiktigt stabila forskningsmiljöer på en hög internationell nivå. FBA har fått i uppdrag att göra en slututvärdering av BESQ-profilen. Utvärderingen är baserad på dokumentstudier och intervjuer med profilens forskningsledning, forskare, doktorander och representanter från näringslivet. Utvärderingen har även omfattat en självvärdering, en processkartläggning samt en peer review, med experter från Keele University, UK, Oslo universitet i Norge, Ericsson Software Research samt Lunds universitet. Syftet med utvärderingen är trefaldigt: att verifiera att verksamheten inom profilerna har bedrivits på överenskommet sätt och visa vilka resultat som har åstadkommits (summativt/kontrollerande). att återföra erfarenheter som kan förbättra verksamheten och göra stiftelsens stöd mer relevant (formativt/lärande). att bidra till förståelse av hur kunskapsutveckling kan stärka svenskt näringslivs konkurrenskraft, och fördjupa kunskapen om möjligheter och begränsningar för stiftelsen att bidra till sådana processer (kunskapsutveckling). BESQ:s övergripande målsättning har varit att bidra med förståelse och förbättringsarbete med avseende på olika kvalitetsattribut. Forskningen har främst varit inriktad på fyra forskningsområden: metod och processförbättring, prestanda och tillgänglighet, programvaruarkitekturer och användarorientering. Forskningsprofilen BESQ har bestått av personer från avdelningen för programvarusystem (APS) och avdelningen för interaktion och systemdesign (AIS), vid sektionen för teknik. Profilen har haft en ledningsgrupp och även en referensgrupp, bestående av representanter för näringslivet och andra lärosäten, i Sverige och internationellt. BESQ har vid profilsatsningens slut en god vetenskaplig nivå och ligger helt i linje med högskolans prioriteringar ett högt anseende nationellt och internationellt och ett brett akademiskt nätverk producerat totalt 50 journalpublikationer och över 100 konferenspublikationer avslutat 11 delprojekt, och 9 doktorander har disputerat haft ett nära samarbete med ett tiotal företag och en hög näringslivsrelevans 12

haft ett betydande inflytande på grundutbildningen i form av bl.a. nya utbildningar dubblat antalet seniora forskare etablerat BESQ Research Center för att säkra profilens fortlevnad. En stor del av framgångarna beror på ett väl fungerande ledarskap, vetenskapligt, socialt och administrativt. Profilsatsningen har skapat resultat i både akademisk och kommersiell mening. De främsta resultaten för akademin har varit tillgången till empiri, att man har förädlat forskningsmetodologin, ett stort antal publikationer och att man kunnat rekrytera fler forskare och doktorander. För näringslivet har resultaten främst varit dialogen med akademin, förändringar i arbetssätt, rent kommersiell nytta och arbetskraft i form av anställda disputerade. I vissa avseenden skiljer sig planerna för profilen från utfallet. Forskningen var från början produktorienterad men utvecklades successivt till en balans mellan produkt och process. Vidare har samarbetsparterna varit något färre, och större, företag än man först avsåg. Samarbetet har inneburit en nära kontakt med ett fåtal företag, vilket har lett till fler bilaterala projekt och färre i klusterform. Projektledningen har därför arbetat aktivt för att stärka integreringen mellan projekten. Profilen har haft ett stort internationellt genomslag och har i dag fler utländska doktorander än svenska. Slutligen har forskningsområdet utvecklat en insikt om behovet av en närmare koppling till ekonomi och management. Profilprojektet har innehållit händelser som präglat BESQ genomförande och resultat. Den främsta kritiska händelsen var IT-kraschen i profilens initiala skede, som förändrade förutsättningarna för att få medfinansiering och för att få mindre företag som samarbetspartner. En viktig kritisk händelse var även halvtidsutvärderingen och profilledningens hantering av denna. Slutligen är etableringen av BESQ RC ett tydligt uttryck för profilens förmåga till fortlevnad. Det har funnits en rad avgörande faktorer för BESQ-profilens framgångsrika genomförande och hantering av kritiska händelser. Det gäller t.ex. den initialt goda kontakten med näringslivet, att BESQ är en liten och lättrörlig miljö, företagens mottagarförmåga och akademins förmåga att anpassa sig till företagens behov. Det har funnits en gemensam förståelse mellan akademin och näringslivet. Profilen har dessutom haft ett gott samarbetsklimat internt med mycket god ledarskapsförmåga. Uppbyggnaden av profilen har inneburit lärdomar att bära med sig inför framtida satsningar. Sådana lärdomar handlar om hur man överför resultat från akademin till näringslivet och tvärtom. En annan lärdom är betydelsen av att kunna definiera och se värdet av empiriska resultat. En annan reflektion är att det kunde ha varit mer fördelaktigt om profilen hade haft en mjukare start med en rekryteringsprocess i flera led och kanske redan från bör- 13

jan försökt rekrytera fler seniora forskare. Ytterligare en lärdom är att många bilaterala projekt kräver mycket integrationsaktiviteter för att forskningsmiljön ska få en sammanhållen styrka. För att öka förmågan att hantera oförutsedda händelser vad gäller företagens medverkan kan en reservplan för doktoranderna vara nödvändig. Vikten av att företagets ledning har förståelse och intresse för forskningen är en annan lärdom. Slutligen är det viktigt att ha en tydlig strategi för hur fortsättningen, efter de enskilda projekten, ska se ut. Detta för att finansiärer och samarbetspartner ska kunna vara införstådda med hur de bidrar till, och kan dra nytta av, profilen. Framtida utmaningar för BESQ kan vara dels bristen på större eller mer långsiktiga finansiella åtaganden i kombination med den finansiella kris som vi nu ser början av, dels bristen på studenter, som både är en ekonomisk fråga och avgörande för återväxten av doktorander. Aktuella utmaningar är att synliggöra forskningsområdet på den forskningspolitiska agendan kunna hantera bredd utan att tappa fokus skapa tydligare bilder av det vetenskapliga bidraget synliggöra och kommunicera forskningsresultaten på ett överskådligt och begripligt sätt för att skapa intresse, inte minst hos finansiärer. 14

3 Inledning 3.1 Bakgrund Blekinge Engineering Software Qualities (BESQ) är en forskningsprofil vid Blekinge Tekniska Högskola, sektionen för teknik. Profilen har fått stöd av KK-stiftelsen under perioden 2002 2008 inom ramen för den s.k. profilsatsningen. FBA har efter förfrågan från KK-stiftelsen fått i uppdrag att göra en slututvärdering av stiftelsens stöd till forskningsprofilen. I uppdraget har även ingått att göra en peer review, och slutsatserna av denna ingår i rapporten. Christina Johannesson har varit projektledare för utvärderingen och fungerat sammanhållande för utvärderingens olika moment: självvärdering, processkartläggning och peer review. Ulrika Ekström och Anders Sundin har tillsammans med Christina svarat för intervjuer, analyser och rapportarbete. 3.2 KK-stiftelsens profilsatsning En del av KK-stiftelsens stöd till forskning och samverkan med näringslivet vid de nya universiteten och högskolorna är de s.k. profilsatsningarna. Avsikten med satsningarna är att göra det möjligt att bygga upp kvalitativt starka, långsiktigt stabila forskningsmiljöer på en hög internationell nivå. Stödet gäller oberoende av vetenskapsområde, och profilerna behöver inte följa den traditionella ämnesindelningen. En profil innebär att lärosätena, tillsammans med flera företag, utvecklar en kvalificerad forskningsmiljö kring ett unikt forskningskoncept där lärosätet ska vara den ledande auktoriteten i landet. Det yttersta syftet är en långsiktig vitalisering och förstärkning av svenskt näringsliv. KK-stiftelsen har även i två omgångar (1997 och 1999) gett de nya universiteten och högskolorna möjligheten att genom s.k. plattformar skapa en bas inom områden som de bedömer är utvecklingsbara. Plattformarnas syfte var att utgöra grunden för ansökningar till KK-stiftelsen om stöd för att bygga upp forskningsprofiler. Ett krav för profilstöd är att forskningen har god vetenskaplig kvalitet med en redan från början internationellt konkurrenskraftig bas. Profilerna ska också vara relevanta för det svenska näringslivet, primärt i regionen, men allianser mellan en högskola och företag i andra delar av landet är också möjliga och önskvärda. Forskningen ska ha direkt relevans för företagens intäktsfinansierade verksamhet. Näringslivet ska ställa minst lika stora resurser till förfogande för profilen som KK-stiftelsen. Näringslivsrelevansen upprätthålls genom ett samarbete med näringslivet. Vidare ska profilen pas- 15

sa in i högskolans strategiska utveckling och därvid ha en koppling både till grundutbildningen och högskolans övriga forskningsöverbyggnad. För beslut om stöd till forskningsprofilen har följande kriterier haft särskild betydelse: vetenskaplig kvalitet och anknytning till uttalad profilering av högskolan forskningsprofilens nationella och internationella konkurrenssituation samarbete och samarbetsmöjligheter med universitet och andra högskolor inverkan på högskolans grundutbildning relevans för näringslivet kommersiella motiv för medverkande företag forskningsprofilens tillväxtpotential möjligheter för profilens fortlevnad efter det att stiftelsens stöd upphört informationsfrågornas hantering. Stiftelsen bidrar med maximalt 36 mnkr till varje profil och stödjer verksamheten under sex år. Näringslivet bidrar med minst lika mycket. Målet är att det under denna tid etableras en verksamhet som har möjlighet att få fortsatt finansiering från andra källor så att forskningsmiljön kan bestå och förstärkas efter utgången av det sexåriga avtalet med KK-stiftelsen. KKstiftelsen har som huvudprincip att en forskningsmiljö som får profilstöd inte samtidigt ska kunna få något annat stöd från stiftelsen för verksamhet inom profilen. Respektive lärosäte svarar för att forskningsprofilen genomförs i enlighet med projektplanen. Lärosätet svarar också för att avtal upprättas mellan akademin och de företag som ska delta i uppbyggnaden av profilen. En forskargrupp ska etableras med åtminstone sju aktiva medlemmar med forskare och forskarstuderande som kommit olika långt i sina karriärer. Detta för att skapa en god forskarmiljö. En referensgrupp på fem personer knyts till varje profil. Referensgruppen ska enligt avtal innehålla representanter för högskolan samt extern nationell och internationell expertis inom profilens forskningsområde. Gruppen ska sammanträda minst en gång per halvår. De bedömningskriterier som formulerades för ansökningstillfället har använts i den löpande uppföljningen, och profilerna har haft att redogöra för kriterierna i sina årsrapporter. Kriterierna användes även i halvtidsutvärderingen, som genomfördes 2005. Totalt har 12 forskningsmiljöer beviljats profilstöd sedan 1998, i tre ansökningsomgångar. Stöd har getts till de miljöer som uppfyllt stiftelsens 16

krav och som av en expertgrupp bedömts som internationellt konkurrenskraftiga. Det har således inte varit någon konkurrens mellan profilerna. 3.3 Utvärderingens syfte Enligt KK-stiftelsens utvärderingspolicy har utvärderingar av stiftelsens satsningar tre syften. Dessa gäller som en övergripande ram för slututvärderingen tillsammans med specifika frågor under varje syfte: summativt/kontrollerande syfte att verifiera att verksamheten inom profilerna bedrivits på överenskommet sätt och vilka resultat som har åstadkommits formativt/lärande syfte att återföra erfarenheter, såväl framgångar som misslyckanden, i syfte att bidra till förbättring av verksamheten och göra stiftelsens stöd mer relevant och effektivt kunskapsutvecklande syfte att bidra till förståelse av hur kunskapsutveckling kan stärka svenskt näringslivs konkurrenskraft, och fördjupa kunskapen om möjligheter och begränsningar för stiftelsen att bidra till sådana processer. I utvärderingen ingår även att bedöma kausalitet, d.v.s. om det finns ett samband mellan KK-stiftelsens stöd och de effekter som har uppnåtts, samt att bedöma om effekterna är relevanta i förhållande till de anspråk på resultat som stiftelsens stadgar anger, främst kombinationen av näringslivsrelevans och vetenskaplig eminens. Utvärderarnas bedömning omfattar både resultat och de processer och andra förutsättningar som har påverkat måluppfyllelsen. 3.4 Utvärderingsmodell Nedan följer en beskrivning av den utvärderingsmodell som har använts. Den består av en övergripande modell för summativ och formativ utvärdering. Modellen har dessutom två fördjupningar som syftar till förståelse och bedömning av de bärande temana i utvärderingen: resultat och process. 3.4.1 Huvudmodell summativ och formativ utvärdering Av modellen framgår att utvärderingen ska ha både en summativ (kontrollerande) och en formativ (lärande) inriktning, och omfatta resultat, förutsättningar och processer. I den summativa delen ingår också att bedöma om utfallet är relevant i förhållande till KK-stiftelsens resultatanspråk, medan det i den formativa delen ingår att bedöma om det finns samband (kausalitet) mellan utfall och KK-stiftelsens insatser. 17

Utvärderingen tar sin utgångspunkt i KK-stiftelsens stadgar, syftet med profilsatsningen samt de kriterier som har gällt i ansökan och kontrakt. Utvärderingen har också uppmärksammat profilens mognadsgrad och förhistoria, vilket kan ha betydelse för vilka resultat som är möjliga att uppnå. Med resultat avses det direkta utfallet (output), t.ex. doktorander, värdeskapande handling (outcome), t.ex. utvecklad kommersiell aktivitet, och effekter (impact), t.ex. ökad attraktivitet eller konkurrenskraft. Med process avses resursinsatser (pengar, infrastruktur, arbetstid etc.) och aktiviteter (utbildning, forskning, information etc.) inom ramen för profilen. Såväl förutsättningar som resultat och process kan härledas till dels lärosätet, dels näringslivet. RESULTAT (output, outcome, impact) Förutsättningar Kritiska faktorer Kritiska faktorer PROCESS (resurser, aktiviteter) Formativt Fig. 1 Generell modell för lärande i utvärderingar För att förstå och lära kring samspelet mellan resultat och process arbetar vi med begreppet kritiska faktorer, d.v.s. hinder eller nödvändiga faktorer för att nå ett visst resultat. Att identifiera dessa faktorer är en viktig del i lärandet och förståelsen för hur resultatet har nåtts eller kan nås. Fördjupning resultat Profilerna har att skapa resultat som är såväl vetenskapligt eminenta som näringslivsrelevanta. Vetenskaplig eminens sätter fokus på miljöns förmåga att attrahera kompetenser och akademiska nätverk samt leverera resultat av god vetenskaplig kvalitet. Näringslivsrelevans beskriver miljöns förmåga att skapa nytta för företag och näringsliv. Här blir det särskilt angeläget att fördjupa förståelsen av begreppet resultat, både i termer av form och innehåll, och över tid, för enskilda, grupper eller större nätverk. En ökad förståelse för resultatbegreppet är en viktig del i den summativa delen av utvärderingen. Det kan främja utvecklingen av en professionell samverkanskultur i högskolorna, och en ökad efterfrågan på forskningssamarbete från företagens sida. Resultaten i näringslivet respektive akademin har enligt vår modell en koppling till varandra i vertikalled, d.v.s. vi antar att samverkan mellan akademi och näringsliv är en förutsättning för att de ska uppstå. Resultaten föl- 18

jer även av varandra i horisontalled, både på näringslivssidan och på akademins sida, d.v.s. de är en förutsättning för varandra över tid. Resultaten följer troligen en viss logik, som dock kan vara olika för akademi och näringsliv. Sambanden och ömsesidigheten är en ytterligt kritisk faktor för att dels uppnå både vetenskaplig excellens och näringslivsrelevans, dels kunna bygga en långsiktigt stabil och konkurrenskraftig forskningsmiljö. Dessa samband mellan olika resultat i en pågående process illustreras med bilden nedan. Näringsliv Resultat 1 Resultat 2 Resultat 3 Resultat 4 Fördjupning process Identifiering av kritiska faktorer, d.v.s. hinder och förutsättningar för resultat, stödjer utvärderingens formativa/lärande syfte och möjligheterna att bedöma sambandet mellan process, inklusive KK-stiftelsens stöd, och resul- Forskningsmiljö Akademin Resultat 1 Resultat 2 Resultat 3 Resultat 4 Fig. 2 Modell över näringsliv och akademins resultat Som exempel kan tillgång till empiri för forskaren innebära en möjlighet till dialog, nya perspektiv och ökad förmåga till överblick för företaget. Det som för forskaren blir ett forskningsresultat, kan bli ett ramverk eller ett arbetssätt för företaget att använda i verksamhet och förändringsarbete. Om forskaren producerar meriterande publikationer och presenterar papers vid konferenser, kan det för företaget innebära publicitet i ansedda tidskrifter och i forum för samhällsdebatt, och på så sätt en utveckling av image. För forskningsmiljön innebär en examinerad student intäkter från universitetet, medan en disputerad forskare kan innebära ett viktigt tillskott i det seniora forskarkollegiet. För företagen innebär examinationen av studenter och forskare i sin tur möjligheter till rekrytering av kvalificerad arbetskraft. Utvärderingen har bedömt resultatet för både akademi och näringsliv. Syftet har varit att kunna beskriva hur resultat i olika faser samspelar och bygger en stark forskningsmiljö, som har förutsättningar att nå uthållighet genom positiv respons mellan vetenskaplig excellens och näringslivsrelevans. 19

tat. Insikt om kritiska faktorer skapar förutsättningar för att kunna forma mer generiska modeller och slutsatser kring utveckling av starka forskningsmiljöer och hur stödet till dessa kan och bör utformas. De kritiska faktorerna kan se olika ut beroende på i vilken fas FoU-miljön befinner sig: etablering, genomförande, mognad/uthållighet. De kan också vara av olika karaktär beroende på vilken aktör som genererar dem (doktorander, studenter, samhället etc.). Faktorerna kan relateras antingen till yttre händelser/processer, d.v.s. sådana som profilen har medverkat till eller som påverkats av omgivningen, eller till inre händelser/processer, d.v.s. sådana som genererats internt, inom lärosätet. Yttre händelser kan vara t.ex. konjunkturer och företagskonkurser, inrättande av nya forskningsprogram, studentbeteende samt rankningar i internationella tidskrifter eller utvärderingar. Inre händelser kan vara t.ex. att bli prioriterad vid tilldelning av fakultetsanslag, en ny utbildningsstrategi, omorganisation och kriterier för meritering. Yttre Inre Fig. 3 Modell för inre och yttre händelser/processer Utvärderingen har bedömt både inre och yttre händelser/processer och deras inverkan på resultatet. Syftet har varit att visa på hur en stark forskningsmiljö kan formas genom att tydliggöra invärld och omvärld, och hur dessa påverkar varandra. Det kan generera en strategi för ett hållbart resultat och en god handlingsförmåga. 3.5 Utvärderingens genomförande FBA genomförde utvärderingen under hösten 2008. Som underlag studerades relevant skriftligt material såsom ansökningar, beslut, avtal och annan dokumentation liksom projektplaner, verksamhetsplaner, årsrapporter och uppföljningar kring enskilda profiler, bl.a. halvtidsutvärderingen. 3.5.1 Självvärdering Profilen har, med stöd i en mall som FBA har utarbetat på grundval av kriterierna för ansökan, utfört en skriftlig självvärdering. Fokus har legat på profilens resultat inklusive näringslivsrelevans och näringslivsanvändning, internationell kvalitet och position. Fokus har också legat på profilens egna reflektioner över sin förmåga att hantera kritiska faktorer, hot och möjligheter. 20