Halvtidsutvärdering av KK-stiftelsens profilsatsning vid Blekinge tekniska högskola Inga Thoresson-Hallgren Marie-Louise Eriksson Erik Arnold
Inga Thoresson-Hallgren, Marie-Louise Eriksson, Erik Arnold De värderingar och slutsatser som redovisas är utvärderarnas egna.
Förord Frågan på vilket sätt och med vilka metoder vi kan befrämja en ökad kunskap i samhället är central för KK-stiftelsen. Om vi ser till stiftelsens uppdrag så som det formuleras i stiftelsens stadgar så har det en klart förnyande och strukturförändrande inriktning. Det övergripande syftet är att skapa ökad tillväxt och att stödja samverkan mellan näringsliv och högskola. För att stärka svensk forskning och öka kunskapsöverföringen mellan högskola och näringsliv stödjer KK-stiftelsen uppbyggande av profilerade forskningsmiljöer på hög internationell nivå vid nya universitet och högskolor. En förutsättning är att näringslivet aktivt engagerar sig i utvecklingen av den nya forskningsmiljön, bland annat genom att medfinansiera satsningen med minst 50 %. Ett av de verktyg som stiftelsen använt sig av i detta sammanhang är de s.k. profilsatsningarna. Syftet med profilsatsningarna är att göra det möjligt för de nya universiteten och högskolorna att i samarbete med näringslivet bygga upp sina egna profilerade forskningsmiljöer. Målet är att forskningen ska vara ledande i landet. Forskningsmiljöerna ska även vara internationellt konkurrenskraftiga, ha relevans för samhället och inom sina ämnen vara integrerade delar av svensk högre utbildning och forskning. KK-stiftelsens första profilsatsning, som beslutades 1997/98, omfattade tre forskningsmiljöer 1. KK-stiftelsen har bidragit med 36 miljoner kronor till vardera profil. Näringslivet har bidragit med minst lika stort belopp. Den nu föreliggande halvtidsutvärderingen som utförts av Faugert & Co Utvärdering AB, Stockholm (tillhörande Technopolisgruppen) behandlar Blekinge Engineering och är en forskningsprofil vid Blekinge tekniska högskola. Den ingår i stiftelsens andra profilsatsning 2, som beslutades 2000/01, och får stöd under tiden 2002 2008. Profilens huvudverksamheter är forskning och forskarutbildning. Av utvärderingen framgår bl a: Den vetenskapliga expertgranskningen visar att den forskning som bedrivs inom forskningsprofilen är av ett mycket högt värde i relation till de investerade pengarna. Gudrun Molander Utvärderingschef 1 Stiftelsens första profilsatsning omfattar profilerna Tillämpad signalbehandling, Blekinge tekniska högskola, Människa Teknik Miljö, Örebro universitet och Mälardalen Real-Time Research Centre vid Mälardalens högskola. 2 Stiftelsens andra profilsatsning omfattar profilerna Engineering Software Qualities (BESQ), vid Blekinge Tekniska Högskola, Tillämpade autonoma sensorsystem (AASS), vid Örebro universitet, Den nya tjänsteekonomin, vid Karlstads universitet och Industrial development for a sustainable society, vid Högskolan i Kalmar
Innehållsförteckning 1 Sammanfattning... 7 1.1 Kort sammanfattning... 7 1.2 Executive summary... 10 2 Inledning... 14 2.1 Bakgrund... 14 2.1.1 Uppdraget... 14 2.1.2 KK-stiftelsens profilsatsning... 14 2.1.3 Fakta om BESQ... 15 2.2 Uppläggningen av utvärderingen... 16 2.2.1 Halvtidsutvärderingens syften... 16 2.2.2 Utvärderingsaspekter... 16 2.2.3 Metod... 17 2.2.4 Genomfört arbete... 19 3 Om profilsatsningen BESQ... 20 3.1.1 Expertgruppens bedömning av BESQ:s ansökan... 20 3.1.2 Delprojekten inom BESQ... 21 3.1.3 Profilens ledning... 23 3.1.4 Informationsfrågornas hantering... 23 4 Sammanfattning av expertgranskningen... 27 5 Sammanfattning av tre fallstudier... 30 5.1 Två erfarenheter av samarbetet med Ericsson i Blekinge... 30 5.2 Erfarenheter av att ha två företag involverade i forskningsprojektet... 31 5.3 Erfarenheter av att studera tekniska system utifrån ett användarperspektiv... 31 6 Utvärdering ur sju aspekter... 33 6.1 Organisation och arbetsprocesser... 33 6.1.1 Forskningsprofilens vision, kortsiktiga och långsiktiga strategi... 34 6.1.2 Vetenskaplig och administrativ profilledning... 35 6.1.3 Forskningsprofilens organisationsstruktur... 35 6.2 Vetenskaplig produktion och forskarutbildning... 36 6.3 Samverkan med den egna högskolan... 37 6.4 Samverkan med näringslivet... 38 6.4.1 Relevans för näringslivet... 39 6.4.2 Kommersiella motiv för medverkande företag... 39 6.4.3 Kritiska faktorer för lyckad samverkan mellan högskolan och näringslivet... 40 6.4.4 Spridningseffekter av samverkan... 41 6.5 Anpassningen till företagens behov: konsultarbete eller vetenskaplig frihet?... 42
6.6 KK-stiftelsen samarbete och reglerna... 43 6.7 Framtiden efter profilperioden... 45 7 Slutsatser... 48 7.1 Sammanfattande iakttagelser och bedömningar... 48 7.2 Forskningsprofilens framtida utmaningar... 49 7.3 Våra rekommendationer till KK-stiftelsen... 52 Bilaga 1 Peer review... 53 Summary... 53 Background... 54 Profile-level review... 56 Project Performance... 59 What the Peers Scores Suggest... 59 Conclusions from the project-level evaluations... 61 Recommendations... 61 Bilaga 2 Fallstudier... 63 Fallstudie 1: Två erfarenheter av samarbetet med Ericsson i Blekinge... 63 Projektbeskrivningar... 63 Uppkomsten av samarbetet mellan BESQ och företaget... 64 Hur fungerar samarbetet?... 65 Vilka avtryck har samarbetena gjort på företaget?... 67 Förbättringsmöjligheter inom BESQ och framtida samarbeten med BESQ... 68 Fallstudie 2: Erfarenheter av att ha två företag involverade i forskningsprojektet... 69 Projektbeskrivning... 69 Uppkomsten av samarbetet mellan BESQ och företaget... 70 Hur fungerar samarbetet?... 71 Vilka avtryck har samarbetena gjort?... 73 Förbättringsmöjligheter... 73 Framtiden för BESQ... 74 Fallstudie 3: Erfarenheter av att studera tekniska system utifrån ett användarperspektiv... 74 Projektbeskrivning... 75 Uppkomsten av samarbetet mellan BESQ och företaget... 75 Hur fungerar samarbetet?... 76 Vilka avtryck har samarbetet gjort?... 76 Förbättringsmöjligheter och framtiden för BESQ... 77 Intervjulista... 78 BESQ... 78 Industrisamarbetspartners... 78
1 Sammanfattning 1.1 Kort sammanfattning Blekinge Engineering är en forskningsprofil vid Blekinge tekniska högskola som erhållit stöd från KK-stiftelsen för en s.k. forskningsprofil för sexårsperioden 2002 2008. Forskningsprofilens huvudverksamheter är forskning och forskarutbildning. Målet med BESQ är enligt avtalet mellan stiftelsen och Blekinge tekniska högskola att bygga upp en akademisk konkurrenskraft och en nationellt industrirelevant forskningsmiljö avseende BESQ, vilken skall bestå och förstärkas efter utgången av den sexårsperiod detta avtal omfattar. Forskningsprofilen består av personer från avdelningen för programvarusystem (APS) och avdelningen för interaktion och systemdesign (AIS), båda vid sektionen för teknik, Blekinge tekniska högskola. Avdelningen för programvarusystem står för 90 procent av den verksamheten som bedrivs inom BESQ medan avdelningen för interaktion och systemdesign står för de övriga 10 procenten. Sedan starten 2002 har forskningsprofilen startat totalt 14 forskningsprojekt, varav fyra stycken är avslutade (hösten 2005). BESQ inriktar sig på forskning inom området programvaruteknik. Huvudfokus ligger på programvarukvalitet. Den övergripande målsättningen med forskningsprofilen är att bidra med förståelse och förbättringsarbete med avseende på olika kvalitetsattribut. Faugert & Co Utvärdering har efter förfrågan från KK-stiftelsen tagit på sig uppdraget att göra en halvtidsutvärdering av stiftelsens stöd till forskningsprofilen BESQ. Utvärderingen är baserad på dokumentstudier och intervjuer med bland annat forskningsprofilens programledning, forskare och doktorander, samt industriella samarbetspartners. I uppdraget har även ingått att göra en vetenskaplig expertbedömning eller s.k. peer review. Den vetenskapliga expertbedömningen har utförts av tre experter från Tyskland, Irland och Storbritannien. Bedömningen baseras dels på en självvärdering genomförd i samband med halvtidsutvärderingen, publikationer producerade inom ramen för BESQ. Expertbedömningen genomfördes under ett endagsbesök på Blekinge tekniska högskola och BESQ. Generellt sett är expertgranskningens bedömning att BESQ:s prestationer hittills utgör en god grund för att man på ett bra sätt ska kunna använda ytterligare tre års finansiering från KK-stiftelsen och experterna rekommenderar KK-stiftelsen att fortsätta finansiera verksamheten under en andra treårsperiod. Den vetenskapliga expertgranskningen visar att den forskning som bedrivs inom forskningsprofilen är av ett mycket högt värde i relation till de investerade pengarna. Forskningsprofilen har utvecklat en kritisk massa, skapat sig ett gott anseende både i Sverige och utomlands, och uppvisar 7
goda publiceringsmeriter. Samtidigt noteras det att det goda anseendet förstärks av att BESQ:s programdirektör är en förstklassig forskare inom programvaruutvecklingsområdet. Expertgranskningen visar också på att BESQ har utvecklat ett nära samarbete med industrin. Därutöver noterar expertgranskning att BESQ även är välorganiserat och att referensgruppen är aktiv i utvecklingen av forskningsprofilen. Trots det generellt goda betyget menar expertgranskningen att forskningsprofilen i vissa avseende kan göra än bättre ifrån sig än vad den gör idag. Experterna anser att BESQ:s existerande vision är bra i generella termer, men att man behöver en mer långsiktig och framför allt en tydligare forskningsstrategi framöver, för att stärka konsolideringen av forskningsprofilens verksamhet. Vidare pekar experterna på behovet av en bredare spridning av forskningsresultaten i vetenskapliga tidskrifter, men framför allt i tidskrifter inriktade till industrifolk. Slutligen påvisar expertgranskningen att BESQ:s profilering i stort bygger på profilledarens starka position och breda nätverk inom fältet. Experterna anser det viktigt att övriga forskarna ökar deras synlighet för att minska forskningsprofilens beroende av en person. Expertgranskningen kommer fram till följande rekommendationer för BESQ:s fortsatta utveckling: Programdirektören har en stark internationell profil. Övriga seniora forskare behöver systematiskt höja sina profiler. BESQ:s övergripande vision är bra, men forskningsprofilens tekniska fokus samt dess marknadsinriktning behöver bli tydligare och fragmenteringen behöver reduceras allteftersom forskningsprofilen mognar. En högre komponent av grundforskning behövs, för att försäkra att forskningsprofilen fortsätter att vara före industrins behov, utan att för den delen överge den tillämpade inriktning som är nyckeln till forskningsprofilens framgång. Forskarna behöver publicera sig i de bäst ansedda vetenskapliga tidskrifter. Samtidigt betonas vikten av att forskarna publicerar sina forskningsresultat i tidskrifter inriktad på tillämpad/empirisk forskning och som läses av industrifolk. Baseras på våra intervjuer, dokumentstudier och den vetenskapliga bedömningen har vi utvärderat forskningsprofilens styrkor och svagheter utifrån följande sju aspekter: organisation och arbetsprocesser, vetenskaplig produktion och forskarutbildning, samverkan med den egna högskolan, samverkan med näringslivet, 8
anpassningen till företagens behov: konsultarbete eller vetenskaplig frihet, KK-stiftelsen samarbetet och reglerna, framtiden efter profilperioden. Vår samlade bild av BESQ är att forskningsprofilen på tre år har lyckats utveckla en organisation och arbetsmetoder som i huvudsak verkar för att skapa en profilerad forskning inom programvaruutveckling. Utifrån vår bedömning har ledningen av forskningsprofilen fungerat väl både när det gäller den administrativa och vetenskapliga ledningen. Samverkan med Blekinge tekniska högskola har framför allt innefattat arbetet med informationsspridning, vilket har också fungerat mycket bra. Utvärderingen visar också att BESQ har ett gott samarbete med näringslivet och forskningsprojekten har utarbetats i nära samverkan med de olika industriella samarbetsparterna. Enligt expertgranskningen karakteriseras forskningsprojekten av traditionella utvecklingsproblem hos företagen. Detta kan till viss del förklaras med KK-stiftelsens krav på motfinansiering och de svårigheter forskningsprofilen stötte på vid dess start när den skulle finna samarbetspartners i samma veva som IT-bubblan sprack. I linje med expertgranskningens slutsatser angående BESQ:s förbättringsmöjligheter visar vår utvärdering att forskningsprofilen behöver arbeta mer med dess vision och målsättningar för att skapa ett stöd för fortsatt utveckling och konsolidering. Detta är framför allt viktigt för att undvika att forskningsprofilen låter företagens mer kortsiktiga problem styra BESQ:s forskningsagendan. Vår bedömning visar också att detta arbete kan stärkas av en ökad integration inom BESQ. Forskningsprofilens nuvarande organisering av dess vetenskapliga verksamhet baseras på tre olika forskargrupper. Ytterligare samverkan mellan dessa grupper och inom BESQ i allmänhet kan bidra till att tydliggöra forskningsprofilens forskningsområde då den helhetssyn som integrationen ger också genererar nya forskningsfrågor. Slutligen för att säkra forskningsprofilens återväxt är det av vikt att forskningsprofilen fortsatt försöker bredda sin finansieringsportfölj dels för att kunna rekrytera ytterligare seniora forskare och dels för att kunna ägna sig mer åt grundforskning såsom rekommenderas av expertgranskningen. Mot denna bakgrund rekommenderar vi KK-stiftelsen följande när det gäller BESQ vid Blekinge tekniska högskola: Att fortsätta ge stöd till den aktuella profilen i enlighet med kontraktet. Att, i syfte att stödja Blekinge tekniska högskola i att möta de utmaningar som beskrivits i det föregående, noga följa utvecklingen på ett antal områden: tillskapandet av gemensamma övergripande och teoriutvecklande projekt, framtagandet av en gemensam plan för fortsatt verksamhet efter sexårsperiodens utgång tillsammans med samarbetspartners bland företagen, finansiering och tillsättande av seniorforskar- 9
tjänster för forskningsledning, aktiviteter för att söka anslag från andra forskningsfinansiärer efter sexårsperiodens utgång, motfinansieringen från näringslivet och högskolan läggs upp så att den främjar gemensamma, generiska, teoriutvecklande projekt som bidrar till att skapa internationellt konkurrenskraftiga forskningsprofiler. 1.2 Executive summary Blekinge Engineering has been allotted financial support from the Knowledge Foundation for the establishment of a so-called research profile. The support covers a six-year period between 2002 and 2008. The research profile s main activities are research and post-graduate education. The goal with BESQ is according to the contract between the Foundation and Blekinge Institute of Technology to build up an academically competitive and a nationally industry relevant research environment through BESQ, which shall persist and grow stronger after the end of the six-year period which this contract covers. The research profile consists of people from the Division of Software Systems and the Division of Interaction and System Design, both within the section for technology, Blekinge Institute of Technology. The division of Software Systems answers for 90 per cent of the research pursued within BESQ, whereas the Division of Interaction and System Design answers for the other 10 per cent. Since the start in 2002, the research profile has started in total 14 research projects, whereof four of them have been completed (autumn 2005). BESQ focuses on research within the area of software engineering. The main focus is on software quality. The overall goal with the research profile is to contribute with increased understanding and improvement with respect to various attributes of quality. Faugert & Co Evaluation has after a request from the Knowledge Foundation accepted the assignment to perform a half-time evaluation of the foundation s support to the research profile Blekinge Engineering Software Qualities. The evaluation is based on document analyses and interviews with among others the research profile s programme management, researchers and doctoral students, as well as industrial collaborators. The evaluation has also contented a scientific expert evaluation or a so-called Peer Review. The Peer Review has been pursued by three experts from Germany, Ireland and Great Britain. The evaluation is based on partly a self-evaluation performed in connection with the half-time evaluation, publications produced within the framework for BESQ. The Peer Review was performed during a one day visit at Blekinge Institute of Technology and BESQ. In general, the Peer Review s assessment of BESQ s performance so far is that it has established itself well and provides a good basis for continuing 10
work and use of three more years of financial support from the Knowledge Foundation and therefore the experts recommend the Knowledge Foundation to continue finance the research profile for a second three years period. The Peer Review shows that the research pursued within the research profile is a very high value in relation to the invested money. The research profile has developed a critical mass and a good reputation in both Sweden and abroad, and there is a good track record of publications. At the same time, it is noted that the good reputation is strengthened by the fact that the research profile s manager a top-notch researcher within the area of software engineering. The Peer Review also showed that BESQ has developed close cooperation with industry. In addition, the Peer Review observed that BESQ is also well organised and that the reference group is active in the development of the research profile. The Peer Review maintains that in spite of the generally good grading of the research profile there are still room for improvement in some respects. The experts argue that BESQ s prevalent vision is generally good, but that the research profile needs a more long-term and especially clearer research strategy in the future in order to strengthen the consolidation of the research profile s activity. Furthermore, the experts highlight the need of broader dissemination of the research results in scientific journals, and especially in journals directed to industry. Finally, the Peer Review observes that BESQ s profile in large builds on the manager s strong reputation and broad network within the field. The experts maintain that it is important for the profile s other researchers to increase their visibility in order to diminish the research profile s dependency on one person. The Peer Review put forward the following recommendations for BESQ s future development: The director has a strong international profile. Other faculty members need systematically to raise theirs The overall vision is good, but the technical and market focus needs to become clearer and the fragmentation needs to be reduced as the centre matures A higher component of more fundamental research is needed, to ensure the centre stays ahead of industry needs, without at the same time abandoning the practical approach that is key to the centre s success Authors needs to tackle higher-quality journals At the same time, there is a need consistently to appear in the more practically-oriented literature Based on our interviews, document analyses and the Peer Review we have evaluated the research profile s strengths and weakness in relation to the following seven aspects: 11
organisation and work processes, scientific production and post-graduate education, cooperation with the university, cooperation with industry, the adjustment to the firms needs: consultancy work or scientific freedom, the Knowledge Foundation the cooperation and rules The future of the profile after the period of financial support. Our overall view of BESQ is that the research profile has within three years succeeded in developing an organisation and work processes that largely supports the creation of focused research within the area of software engineering. Our assessment is that the management of the research profile has functioned well both in terms of administrative and scientific management. The cooperation with Blekinge Institute of Technology has mainly included the work with information dissemination, which has also worked well. The evaluation also shows that BESQ has developed close cooperation with industry and that the research projects have been outlined in cooperation with the various industrial partners. According to the Peer Review several of the research projects characteristically deal with traditional development problems within industry. To some extent, this can be explained by the KK Foundation s demand of co-financing from industry and the kind of difficulties that the research profile faced at the point of its start-up with finding collaboration partners as this coincide with the economic decline within the IT sector. Our evaluation shows that in line with the Peer Review s conclusion concerning the BESQ s improvement potentials, the research profile needs to work more with its visions and goals in order to create a support for the profile s future development and consolidation. This is especially important in order to avoid that the research profile will allow the industry s more shortterm problems steer BESQ s research agenda. Our evaluation also shows that this work can be strengthened by an increased integration within BESQ. The research profile s prevalent organisation of its scientific activities is based on three research groups. Further cooperation among these groups and within BESQ in general can contribute to clarify the research profile s research area as we can expect that the kind of the overall view that further integration will provide may also generate new research questions. Finally, in order to ensure the BESQ s continuous development it is essential that the research profile keeps trying to broaden its financial portfolio partly in order to be able to recruit new senior researchers and partly to be able focus more on generic research as it was recommended by the Peer Review. 12
Against this background we recommend the KK Foundation the following concerning BESQ at the Blekinge Institute of Technology: To continue financially support the research profile in accordance with the contract. With the aim to support Blekinge Institute of Technology to face those challenges that have been described above, to follow closely the development within a number of areas: the creation of common overarching as well as theory-developing projects; the creation of a common plan for the future activities after the end of the six years period of financial support together with the industrial collaborators; the financing and appointment of senior researcher positions for the management of the research; the research profile s attempts to apply for financial support from other financiers after the end of the six years period of support; and finally, that the arrangement of co-financing from the industry and the university is arranged in such a way that it will promote common, generic, theory-developing projects contributing to the creation of a internationally competitive research profile. 13
2 Inledning 2.1 Bakgrund 2.1.1 Uppdraget Blekinge Engineering är en forskningsprofil vid Blekinge tekniska högskola och sektionen för teknik. I forskningsprofilen ingår personer ifrån avdelningen för programvarusystem (APS) och avdelningen för interaktion och systemdesign (AIS). Forskningsprofilens huvudverksamheter är forskning och forskarutbildning. Faugert & Co Utvärdering har efter förfrågan från KK-stiftelsen tagit på sig uppdraget att göra en halvtidsutvärdering av stiftelsens stöd till forskningsprofilen. I uppdraget har även ingått att göra en vetenskaplig expertbedömning eller s.k. peer review, och slutsatserna av denna ingår i rapporten. Expertbedömningen redovisas i sin helhet i bilaga 1. Inga Thoresson-Hallgren, Faugert & Co Utvärdering har varit sammanhållande projektledare för hela utvärderingen, Erik Arnold, Technopolis Ltd. har varit sammanhållande för självvärdering och peer reviews och expert på utvärdering av forskningsmiljöer. Inga Thoresson-Hallgren har tillsammans med Marie-Louise Eriksson svarat för intervjuer, analyser och rapportarbete. 2.1.2 KK-stiftelsens profilsatsning KK-stiftelsen har till ändamål att bland annat finansiera forskning vid mindre och medelstora högskolor inom särskilda profilområden. Som ett led i denna verksamhet har KK-stiftelsen inbjudit de nya universiteten samt högskolor utan fasta forskningsresurser att hos stiftelsen ansöka om medel för uppbyggnad av forskningsmiljöer inom sådana områden. Stiftelsen har därvid angett att man är beredd att medverka till satsningar av sådan omfattning att de kan motivera väl kvalificerade forskare att förlägga sin verksamhet till en högskola som erhåller stiftelsens stöd. Av särskild betydelse för stiftelsens beslut om stöd till profilen var följande kriterier: Vetenskaplig kvalitet och knytning till uttalad profilering av högskolan Forskningsprofilens nationella och internationella konkurrenssituation Samarbete och samarbetsmöjligheter med universitet och andra högskolor Inverkan på högskolans grundutbildning Relevans för näringslivet Kommersiella motiv för medverkande företag Forskningsprofilens tillväxtpotential 14
Möjligheter för forskningsprofilens fortlevnad efter det att stiftelsens stöd har upphört Informationsfrågornas hantering En förutsättning för KK-stiftelsens engagemang i en profilsatsning är att näringslivets ekonomiska engagemang i satsningen är minst lika stort som stiftelsens. KK-stiftelsen anger vidare att en profilsatsning ska avse en sexårsperiod. Ekonomiskt stöd erhålls från stiftelsen för en treårsperiod (period 1), varefter utvärdering sker av extern expertis utsedd av KK-stiftelsen. Om utvärderingen föranleder det, äger KK-stiftelsen rätt att upphöra med sitt stöd, varvid högskolan eller universitetet har möjlighet att i enlighet med en i förväg uppgjord plan avveckla profilsatsningen. Om utvärderingen föranleder fortsatt stöd inleds period 2 som omfattar ytterligare tre år. KK-stiftelsen anslog medel till Blekinge tekniska högskola för en s.k. forskningsprofil för sexårsperioden 1 juli 2002 30 juni 2008. Det skedde efter en omfattande beredning och sakkunniggranskning. Det övergripande målet med KK-stiftelsens profilsatsning är enligt avtalet mellan stiftelsen och Blekinge tekniska högskola att bygga upp en akademisk konkurrenskraft och en nationellt industrirelevant forskningsmiljö avseende BESQ, vilken skall bestå och förstärkas efter utgången av den sexårsperiod detta avtal omfattar. 2.1.3 Fakta om BESQ Forskningsprofilen startades i juli 2002. Profilen består av personer från avdelningen för programvarusystem (APS) och avdelningen för interaktion och systemdesign (AIS), båda vid sektionen för teknik, Blekinge tekniska högskola. Avdelningen för programvarusystem står för 90 procent av den verksamheten som bedrivs inom BESQ medan avdelningen för interaktion och systemdesign står för de övriga 10 procenten. BESQ inriktar sig på forskning inom området programvaruteknik. Huvudfokus ligger på programvarukvalitet. Den övergripande målsättningen med forskningsprofilen är att bidra med förståelse och förbättringsarbete med avseende på olika kvalitetsattribut. Forskningsprofilen ska bidra med forskning i anslutning till förbättring av olika kvalitetsattribut och avvägningen mellan dem. Detta arbete inriktas på fyra huvudområden: metod- och processförbättring, prestanda och tillgänglighet, programvaruarkitekturer, och användarorientering (BESQ:s nyhetsbrev hösten 2005). 15
2.2 Uppläggningen av utvärderingen 2.2.1 Halvtidsutvärderingens syften Enligt KK-stiftelsens utvärderingspolicy har dess utvärderingar genomgående tre huvudsakliga syften: Kontroll av att verksamheten bedrivs enligt stiftelsens stadgar och ingångna avtal samt betygssättning av verksamhet och resultat Lärande genom återföring och analys av erfarenheter så att den utvärderade verksamheten kan utvecklas och förbättras Kunskaps- och kompetensutveckling innebärande bidrag till djupare förståelse av möjligheter och begränsningar hos stiftelsens stöd. Detta har varit utgångspunkten för denna utvärdering. Vi har också uppfattat att den syftar till: att verifiera att verksamheten inom profilen bedrivs i enlighet med avtal och avsikter, att bedöma förutsättningarna för att den kan leva kvar och fortsätta utvecklas efter sexårsperiodens slut, när det avtalsmässiga profilstödet från stiftelsen avslutas. Båda dessa syften tjänar till att ge stiftelsen beslutsunderlag och samtidigt stödja verksamheten inom profilen. I det förstnämnda ligger en verifiering av att stiftelsen bör fortsätta lämna stöd enligt det sexåriga avtalet. Det sistnämnda kan också uttryckas så att de har ett formativt syfte i förhållande till dem som ansvarar för profilen. 2.2.2 Utvärderingsaspekter Utvärderingarna sker från KK-stiftelsens perspektiv såsom ägare till de bidragsmedel som satsats i profilerna. Stiftelsens ändamål med profilsatsningarna kräver att de samtidigt utvärderas från fler intressenters utgångspunkter. Denna halvtidsutvärdering tar mot bakgrund av bland annat KKstiftelsens kriterier för stödet upp främst följande aspekter: Intern organisation och interna processer inom profilen ledarskap, arbetsorganisation, styrsystem, administration, personalresurser, arbetsformer m.m. inom profilen och former för att utveckla mångvetenskap. Vetenskaplig produktion och kvalitetssäkring hittills uppnådd kvalitetsbedömd output i form av examina och publikationer, möjligen patentansökningar i förekommande fall, samt interna system för löpande kvalitetssäkring av verksamheten. 16
Attraktionskraft på forskarstuderande, inkl. karriärer utanför akademin indikatorer på hur pass väl verksamheten etablerats och på dess nationella och internationella konkurrenssituation. Det gäller sådant som söktryck vid utlysning av forskartjänster m.m., karriärvägar inom och utom högskolan för de utexaminerade etc. Relationen till det egna universitetet/högskolan av stor vikt är om ledningen för högskolan engagerat sig tillräckligt genom att tillskjuta högskolans egna resurser av olika slag, om profilen ligger centralt i högskolans strategi och framtidsplanering, vilka åtaganden om tjänster högskolan gjort, hur samverkan med olika institutioner och fakulteter utvecklats, om profilen fått en lämplig plats i högskolans struktur, om en lämplig medverkan i den akademiska grundutbildningen etablerats etc. Samverkan och kontakter med andra lärosäten, inom och utom landet det är viktigt att bedöma om goda samarbetsrelationer upprättats med andra lärosäten när det gäller exempelvis doktorandhandledning, forskningssamarbete, gästforskare och lärare - och om profilen uppnått tillräcklig status i den akademiska världen. Interaktion med och stöd från näringslivet. Detta avser hur väl profilen marknadsförts bland berörda företag och vilken position som uppnåtts, uppnådd eller förväntad nytta för det regionala näringslivet, den position och det renommé profilen vunnit bland relevanta regionala aktörer samt det engagemang och de åtaganden om fortsatt samarbete efter sexårsperiodens slut som företagen är beredda till. Ytterst handlar det om relevansen för (det regionala) näringslivet, som ju förutsätts hälftenfinansiera verksamheten inom profilerna. Samverkan med och stöd från KK-stiftelsen en bedömning av hur samspelet med ägaren fungerat och om vilka lärdomar dels högskolan, dels stiftelsen själv kan dra. Framtidsplaner, inklusive attraktionsförmåga i relation till andra finansiärer då själva profilstödet är tidsbegränsat är det viktigt att i god tid bedöma hur profilens framtidsplanering ser ut, vilka kompletterande finansieringsformer som profilen har attraherat eller kan väntas attrahera, vilken förankring planerna har i högskoleledningen etc. 2.2.3 Metod En utgångspunkt för uppläggningen av utvärderingen har varit att kombinera ett antal källor för att kunna täcka alla de nämnda utvärderingsaspekterna. Befintlig dokumentation från profilen och KK-stiftelsen. Självvärderingsenkät från profilen. 17
Expertbedömning (peer review) genom ett blandat team av professorer i relevanta ämnen samt forskarkompetenta representanter för relevanta delar av näringslivet. Expertbedömningen fokuseras på främst de aspekter som har med den vetenskapliga produktionen och forskarutbildningen att göra. (Se bilaga 1.) Djupintervjuer inom universitetet och med omvärlden, främst andra lärosäten och företag. Som angetts ovan är målet med KK-stiftelsens profilsatsning BESQ enligt avtalet att bygga upp en akademisk konkurrenskraft och en nationellt industrirelevant forskningsmiljö avseende BESQ, vilken skall bestå och förstärkas efter utgången av den sexårsperiod detta avtal omfattar. Detta innebär att KK-stiftelsen har två mål för profilen. Dels handlar det om en kortsiktig satsning på en forskningsmiljö eller ett sammanhang (se vänligen kvadranten i matrisen nedan), och dels om ett långsiktigt perspektiv som syftar till att skapa bestående strukturer och processer. Mellan dessa två mål bör det vara en balans när det gäller projektportfölj och allmän inriktning, och detta har också varit en central utgångspunkt för våra bedömningar. Projektens innehåll Användarorientering Generalitet /kortsiktighet /långsiktighet Struktur/processer Organisation Problem/sammanhang Figur Projektportföljens sammansättning. Som de två kolumnerna antyder kan projektens innehåll (forskningsfrågorna) vara i olika grad inriktat på kortsiktigt användbara eller användningsorienterade frågor, respektive mer långsiktigt relevanta och generella frågor. Som de två raderna antyder kan projekten också i olika grad vara organiserade så att de främjar antingen uppbyggnad och underhåll av bestående strukturer och processer i forskningsmiljön eller så att de i första hand är inriktade på de specifika och lokala problemsammanhangen. 18
Då utvärderingen delvis har formativa syften har utvärderingsgruppen genomfört ett med KK-stiftelsen gemensamt inledande besök, och även varit närvarande vid expertgruppens besök. 2.2.4 Genomfört arbete Utvärderingsarbetet har utförts under september november 2005, och vi har besökt Blekinge tekniska högskola vid tre tillfällen (21 september samt 10 och 13 oktober). Utvärderingen består av två olika dataunderlag dels dokumentstudier och en intervjuserie (besöks- och telefonintervjuer) med BESQ:s ledning, forskare, doktorander, universitetsledningen och samarbetspartners, samt dels en expertbedömning (peer review, byggd på en självvärdering samt platsbesök den 13 oktober). Av dessa två delar har vi sedan gjort en syntes. Bortemot hälften av intervjuerna har skett genom besök direkt eller ansikte-mot-ansikte, resten per telefon. I en del fall har vi sedan återkommit till intervjupersonerna för kompletteringar och förtydliganden, muntligt och per e-post. Som allmän grund för våra bedömningar har vi haft de av KK-stiftelsen och forskningsprofilen formulerade mål och kriterier som nämnts ovan. Rapporten är disponerad enligt följande: I Kapitel 2 behandlar vi forskningsprofilen Blekinge Engineering Software Qualities (BESQ). Vi beskriver profilens karakteristika när det gäller forskningsmiljön(s etablering), ämnesfokus, omvärldskontakter m.m. Kapitel 3 sammanfattar den vetenskapliga expertgruppens granskning (peer review). I Kapitel 4 görs en kort sammanfattning av de tre fallstudier vi genomfört. Kapitel 5 redovisar utvärderingen ur sju aspekter. Dessa tar sin allmänna utgångspunkt i beskrivningen under rubriken Utvärderingsaspekter i avsnitt 1.2 ovan. Kapitel 6 innehåller en diskussion, samt slutsatser baserat på den redovisning som återfinns i kapitel 5. Diskussionen behandlar främst de utmaningar som BESQ behöver möta under resten av profilperioden, när det gäller långsiktig finansiering, intern struktur, strategisk framtidsplan samt systematisk uppföljning och utvärdering av samarbetsprojektens avtryck hos de samverkande företagen. I kapitel 7 ger vi några rekommendationer till KK-stiftelsen när det gäller deras stöd till BESQ under resten av stödperioden. Avslutningsvis finns det tre bilagor: Den vetenskapliga expertgruppens rapport, på engelska (bilaga 1) De tre fallstudier som utförts inom ramen för utvärderingen och som sammanfattas i kapitel 4. (bilaga 2) En förteckning över intervjupersonerna (bilaga 3) 19
3 Om profilsatsningen BESQ KK-stiftelsens mål med profilstödet är att stödja uppbyggnaden av profilerade forskningsmiljöer vid nya högskolor och universitet. I en profilsatsning utvecklar en högskola tillsammans med flera företag ett unikt forskningskoncept som är internationellt konkurrenskraftigt. Därefter byggs en kvalificerad forskningsmiljö upp kring detta koncept. Avsikten är att forskningen under en stödperiod om sex år ska etableras så väl att den kan leva vidare med annan finansiering. Forskningsprofilen ska passa in i högskolans utveckling och strategi. Den ska ha koppling både till högskolans grundutbildning och till dess forskning. 3 Mot bakgrund av dess riktlinjer lämnade BESQ och Blekinge tekniska högskola (BTH) in en ansökan i februari 2001 om medel för en forskningsprofil inom området Blekinge Engineering Software Qualities (programvarukvalitet). Forskningen ämnade fokusera på olika aspekter i utvecklingen av programvaruprodukter som t.ex. tillförlitlighet, kostnad och möjligheter att vidareutveckla det existerande systemet. Blekinge Engineering beviljades finansiellt stöd om 36 MSEK från KK-stiftelsens profilsatsningar. Stödet omfattar perioden 1 juli 2002 30 juni 2008. Enligt profilbeskrivningen på KK-stiftelsens hemsida så är den övergripande målsättningen med BESQ att bidra med förståelse och förbättringsarbete med avseende på olika kvalitetsattribut. Forskningsprofilen ska således bidra med forskning i anslutning till förbättring av olika kvalitetsattribut och avvägningen mellan dem. Forskning fokuserar fyra huvudområden: metod- och processförbättring, prestanda och tillgänglighet, programarkitekturer, samt användarorientering. 3.1.1 Expertgruppens bedömning av BESQ:s ansökan Vid ansökningsskedet bedömdes utvecklingspotentialen av BESQ av den internationella expertgruppen som mycket god ur flera synvinklar. Till att börja med ansågs BESQ fokusera på ett än så länge negligerat forskningsområde genom sitt fokus på the user interface and human aspects samt the idea of prioritizing expectations and building processes for tradeoffs that meet the priority expectations. Ytterligare exempel på styrkor var att forskargruppen framstod som fokuserad och väl samordnad, att gruppen leds av en högt ansedd forskare (Prof. Claes Wohlin), gruppens breda nationella och internationella nätverk och publiceringsmeriter, samt att utvecklingen av programvarukvalitet var en viktig komponent för ett större antal företag i regionen. Sammantaget ansågs dessa fördelar överväga nackdelen med att forskargruppen var ganska liten. Expertgruppen drog således slut- 3 http://www.kks.se/templates/program, 2005-11-18. 20
satsen att där fanns en potential för att forskningsprofilen skulle få en stor genomslagskraft ( a high impact ), samtidigt som man lyfte fram att högskolan borde koncentrera sig på att bevara och vidareutveckla ett starkt forskarteam. Enligt expertgruppen var det extra viktigt för forskargruppen att fokusera på sina forskningsprioriteringar så att profilens styrka inte urvattnades. 3.1.2 Delprojekten inom BESQ Inom ramen för BESQ har ett antal av delprojekt startas i form av doktorandprojekt. Antalet projekt har varierat över tid. Nedan ges en översikt över delprojekten (se tabell 2.1). Nr. Titel på projekt 1 Use orientation in the development mobile applications Samverkande företag UIQ Technology 2 Requirements management Ericsson (Blekinge) 3 Requirements engineering and system architecture 4 Requirements engineering management Ericsson (Blekinge) DanaherMotion Särö, ABB Automation Technology Products AB 5 Software productivity study Ericsson (Blekinge) 6 Software project management 7 Test driven development and early detection of faults Sigma Exallon Ericsson (Blekinge) 8 Faults versus lead-time UIQ Technology 9 Impact analysis of software architectures 10 Architectures for usable and flexible systems 11 Symmetric multiprocessing for distributed systems DanaherMotion Särö (and to some extent Volvo IT) Doktorand Projekttid Kari Rönkkö 2002 2005 Patrik Berander 2002 2006 Per Jönsson 2002 2007 Tony Gorschek 2002 2006 Piotr Tomaszewski Drazen Milicic (industridoktorand) Lars-Ola Damm (industridoktorand) Kennet Henningsson 2002 2007 2003 2005 2003 2007 2002 2005 Frans Mårtensson 2002 2006 Vodafone Jeanette Eriksson 2002 2007 Ericsson (Stockholm) Simon Kågeström 2002 2007 21
Nr. Titel på projekt Samverkande företag Doktorand Projekttid 12 Regulatory review and assessment of qualities in computerised safety systems 13 Preliminär titel: Estimation of quality and time based on measurements and predictions of defect density, complexity and related attributes Swedish Nuclear Power Inspectorate UIQ Technology Bo Liwång (industridoktorand) 2002 2004 Hanna Scott 2005 2010 14 Preliminär titel: Useroriented design and estimation for a creative software development process UIQ Technology Jeff Winter 2005 2010 Tabell 2.1 BESQ:s delprojekt Följande projekt har bytt namn under projekttiden: Projekt nummer 4 med titeln Requirements engineering management ändrades till Requirement engineering process evaluation and improvement i Project Plan 2004. Projekt nummer 12 med titeln Symmetric multiprocessing for distributed systems ändrades till Introducing multiprocessor support in TSP i Project Plan 2004. Följande projekt har avslutats: Projekt nummer 8 med titeln Faults versus lead-time, mars 2005 (resulterade i en lic.examen). Projekt nummer 6 med titeln Software project management, 2005. Projekt nummer 1 med titeln Use orientation in the development mobile applications, juni 2005 (resulterade i en doktorsexamen). Projekt nummer 12 med titeln Regulatory review and assessment of qualities in computerised safety systems, 2004. Anledningarna till varför delprojekten har avslutats skiftar. I vissa fall handlar det om att önskad examen har uppnåtts, i några fall har doktoranderna valt att avbryta sina studier för att istället börja alternativt fortsätta arbeta inom industrin. Följande projekt har ännu inte belastat BESQ: Projekt nummer 13 med den preliminära titeln Estimation of quality and time based on measurements and predictions of defect density, complexity and related attributes, startades 2005. Projekt nummer 14 med den preliminära titeln User-oriented design and estimation for a creative software development process, startades 2005. Projekt 13 och 14 är en fortsättning på projekt 8 och 1. 22
3.1.3 Profilens ledning Forskningsprofilen BESQ leds idag av en projektledning bestående av professor Claes Wohlin (projektledare), professor Lars Lundberg (vice projektledare och ansvarig för integrationsaktiviteter inom BESQ), lektor Michael Mattsson (ansvarig för företagskontakter) och Madeleine Pettersson (forskningssekreterare och informationsansvarig). Under hösten 2005 tillkom Kari Rönkkö i ledningsgruppen (disputerade i juni 2005 inom BESQ). När BESQ startades fanns ytterligare en forskare med i ledningsgruppen (Yvonne Dittrich) med bland annat ansvar för informationsfrågor (denna person har lämnat Blekinge tekniska högskola för en tjänst vid IT-universitet i Köpenhamn). Forskningssekreteraren har tagit över ansvaret för informationsspridningen. Till forskningsprofilen är en internationell referensgrupp knuten, i vilken såväl akademi som industri finns representerad. Referensgruppen är rådgivande och träffas två gånger om året. Referensgruppen anser att projektledningen har lyssnat på deras krav angående exempelvis ökad integration mellan delprojekten och att finna ytterligare finansiering vid sidan om profilstödet från KK-stiftelsen. Under de tre åren som profilen har varit verksam har ett personbyte skett. Arne Hedström, DanaherMotion Särö lämnade referensgruppen 2005 och ersattes av Niclas Adler, Stockholms handelshögskola. Den internationella referensgruppen består för tillfället av (november 2005): Lars Angelin, Ericsson AB (teknologie licentiat)(ordförande) Peter Molin, UIQ Technology (teknologie licentiat) Prof. Kristian Sandahl, Linköpings universitet Prof. Martin Shepperd, Bournemouth University, Storbritannien (fr.o.m. 1 september 2005, Brunel University) Docent Niclas Adler, Handelshögskolan i Stockholm 3.1.4 Informationsfrågornas hantering I avtalet med KK-stiftelsen så lyfts ett antal mål upp som viktiga beståndsdelar i informationsspridningen av resultat genererade inom BESQ. Exempel på dessa delmål är: spridning av resultat mellan delprojekten, kunskapsförmedling mellan BESQ och företagen som deltar i forskningsprofilen som samarbetspartners, kommunikation av resultat till företag som inte deltar i BESQ, spridning av resultat till samhället i allmänhet, 23
informationsspridning om BESQ:s resultat och verksamhet till andra enheter inom Blekinge tekniska högskola, och att därigenom bidra till utvecklingen av den vetenskapliga miljön vid högskolan och sektionen för teknik, publicering av forskningsresultaten nationellt och internationellt, deltagande i det internationella forskningssamhället genom att engagera sig som redaktörer eller delta i redaktionskommittéer, programkommittéer, och utvärderingskommittéer. Sammantaget lyfts tre huvudsakliga målgrupper fram för informationen: industrin (inklusive BESQ:s samarbetsföretag och andra företag inom IT industrin samt övriga företag som sysslar med programvaruutveckling), akademin (inklusive nationella och internationella forskare inom BESQ:s område, personal vid Blekinge tekniska högskola, doktorander och forskare aktiva inom BESQ) allmänheten (dvs. personer som inte har professionell kunskap om programvaruutveckling) Det konstateras att de olika grupperna nås via olika informationskanaler. BESQ:s informationsstrategi har utvecklats sedan starten. Under år 2003 och 2004 lades mycket energi ned på att skapa en informationsstruktur för att nå de olika målgrupperna. När det gäller den vetenskapliga spridningen har forskarna i BESQ publicerat sina resultat i vetenskapliga tidskrifter, böcker, agerat redaktörer, etc. såsom planerat. Enligt BESQ:s projektplan för 2005 har forskningsprofilen valt att nu koncentrera sig ytterligare på marknadsföringen och spridningen av information om BESQ. Ett steg i denna riktning har varit att genomföra en enkät riktad till BESQ:s samarbetsföretag samt ytterligare företag utanför forskningsprofilen (i augusti 2004). Avsikten med denna enkät var att undersöka om BESQ når ut med sin information till företag och om den sprids inom de företag som har valt att samarbeta med BESQ. Baserat på enkätens resultat framgick det att företagen efterfrågar fler djupgående beskrivningar av delprojekten på hemsidan, information om konkreta forskningsresultat, korshänvisningar mellan delprojekten och publicerade artiklar, samt motiveringar till hur delprojekten anknyter till BESQ:s huvudmål. Hemsida på internet BESQ har en egen hemsida med adressen www.bth.se/besq (adressen för hemsidan har förändrats sedan starten av BESQ pga. av en större omorganisering vid Blekinge tekniska högskola). Hemsidan nås via hemsidan för avdelningen för programvarusystem och dess lista över forskningsprojekt. På hemsidan finns forskningsprofilen presenterad i sin helhet, inklusive dess forskare, doktorander och deras delprojekt. Hemsidan inne- 24
håller även uppgifter om projektets publikationer, dess anknytningar till olika forskarnätverk, andra forskargrupper och universitet. Utöver dessa uppgifter finner man även information om referensgruppen, samarbetsföretag, pressmeddelanden, artiklar, m.m. Hemsidan har också ett fält som annonserar seminarier, möten och andra nyheter som står på BESQ:s agenda. KK-stiftelsens logotyp syns tydligt på samtliga av forskningsprofilens hemsidor. E-postlistor BESQ har fyra stycken e-postlistor vilka riktar sig till BESQ-gruppen internt, referensgruppen, BESQ:s industriella samarbetspartners, samt en allmän informationslista som riktar sig till personer ur alla målgrupper eller andra intressenter. Utöver sina e-postlistor direkt kopplade till BESQ så sprids även information om forskningsprofilens verksamhet via den nationella e-postlistan SESWEDEN. Pressmeddelanden, synlighet i medierna BESQ har genom sin informationsansvarig nu etablerat en god kontakt med Blekinge tekniska högskolas informationsavdelning centralt. Alla pressmeddelanden distribueras genom informationsavdelningen. Pressmeddelanden förekommer när nya intressanta resultat kan rapporteras, vilket sker till exempel vid BESQ:s årliga seminarium, licentiat- eller doktorsdisputationer. Nämnas kan också att BESQ har ökat sin synlighet i samband med att Prof. Claes Wohlin har fått olika utmärkelser, vilka har uppmärksammats i olika tidskrifter inom programvaruteknikområdet. BESQ har även blivit presenterat i radion. Utvecklingen av BESQ har även följts i den lokala medierapporteringen. Nyhetsbrev Planen för 2005 är att skicka ut ett nyhetsbrev i kvartalet. Detta nyhetsbrev kommer även att publiceras på BESQ:s hemsida. BESQ:s årliga seminarium, samt seminarier riktade till industrin Varje höst anordnar BESQ ett årligt seminarium i samband med referensgruppens höstmöte. Vid detta seminarium presenteras BESQ:s forskning för forskningsprofilens samarbetspartners och andra intressenter. BESQ har diskuterat möjligheten att utöka seminarieverksamheten riktad till industrin genom att anordna s.k. företagsunika workshopar, där utgångspunkten skulle vara det enskilda företagets problemställningar. Det som talar emot igångsättandet av denna typ av verksamhet är att den är mycket tidskrävande och att forskarna redan är överbelastade. Forskningsprofilens ledning tror inte heller att det är möjligt att överlämna ansvaret för verk- 25