RED19 - Förslag till utvärdering av forskning vid Göteborgs universitet

Transkript

1 FORSKNINGS- OCH INNOVATIONSKONTORET PM Datum: Reviderad Dnr: V 2016/433 Mottagare: Ledningsrådet Handläggare: Sigríður Beck & Emilia Rung RED19 - Förslag till utvärdering av forskning vid Göteborgs universitet Sammanfattning I följande dokument presenteras ett förslag på hur en ny forskningsutvärdering kan genomföras under år 2019 RED19. Förslaget förväntas presenteras för universitetsstyrelsen i juni Den föreslagna utvärderingen rekommenderas fokusera på forskningens förutsättningar och processer snarare än resultat, i enlighet med verksamhetens önskemål. Även om namnet på utvärderingen RED (Research Evaluation for Development) har behållits är det andra utgångspunkter som föreslås utvärderas än i RED10. 1 Utvärderingen föreslås utgå från relevant bakgrundsinformation (bibliometri, personaldata, ekonomidata, styrdokument), samt självvärdering. Utvärderingen görs av externa bedömare som utöver tillgång till bakgrundsmaterialet och självvärderingarna genomför platsbesök. Bedömarpanelen förväntas ge verksamhetsutvecklande rekommendationer. Utifrån dessa författas strategier och åtgärdsplaner på respektive ledningsnivå. Uppföljning av åtgärdplaner sker inom tre år. Utvärderingsobjekten föreslås bli institutioner, förutom i de fall där institutionerna på grund av storlek är uppdelade i olika avdelningar i dessa fall föreslås avdelningar och institution bli utvärderingsobjekt. Utöver självvärderingar på institutionsnivå föreslås även fakulteter och rektorsnivå göra självvärderingar med fokus på styrning och ledning i syfte att få fram kvalitetsförbättringar på samtliga nivåer. Verksamhetens organisation och forskningsmiljöer 1 Forsknings- och innovationskontoret 1 (25) Erik Dahlbergsgatan 11 B, plan 6, Box 100, Göteborg

2 inklusive tvärvetenskapliga miljöer, centrum och forskningsinfrastrukturer inkluderas i självvärderingarna. Förslaget har utarbetats av vicerektor Staffan Edén med stöd av forskningssamordnare Sigríður Beck och forskningsrådgivare Emilia Rung och bygger på 30 semistrukturerade intervjuer med rektor, dekaner, prefekter, fakultetsvalda fokusgrupper samt rektors forskarråd. Pågående diskussioner kring statsmaktens uppdrag till UKÄ att utarbeta ett system för kvalitetssäkring av forskning har beaktats, liksom pågående forskningsutvärdering vid Uppsala universitet (KoF17). Bakgrund Forskningen vid Göteborgs universitet ska genomgående hålla hög internationell klass. Det innebär att vi ska arbeta med kontinuerlig kvalitetsutveckling och att resultaten ska omsättas i åtgärder. 2 I enlighet med Vision2020 ska vi systematiskt utvärdera vår forskning. Universitetsledningen gav vicerektor för forskning i uppdrag att under 2016 inleda ett arbete för att ta fram ett förslag för en sådan utvärdering. 3 Förslaget ska så långt som möjligt bygga på kärnverksamhetens erfarenheter och önskemål och vara såväl kvalitetssäkrande som kvalitetsutvecklande. Göteborgs universitet har tidigare genomfört en övergripande utvärdering av forskning, Research Evaluation for Development of Research at the University of Gothenburg 2010, RED10, som analyserade forskning vid universitetet under åren Rapportens resultat låg i flera avseenden till grund för universitetets visionsarbete för kvalitetsdriven forskning. Utvärderingar en bakgrund Forskare och forskning har alltid utvärderats. Men på senare år har utvärderingar som styrmedel använts mer och mer inom den offentliga sektorn. Utvecklingen har bland annat kallats för en förvaltningspolitisk megatrend eller ett evalueringsmonster som aldrig får nog med mat. 4 Det talas närmast dagligen om ökade krav på effektivitet i samtliga offentliga verksamheter inklusive universitet och högskolor. Att en verksamhet ska utvärderas, särskilt en skattefinansierad sådan, är rimligt. Det som orsakar frustration är ofta den mängd utvärderingar som ska göras och den tid som det kräver, särskilt i relation till det faktum att 2 Vision 2020, 3 Pm Förslag om utredning inför framtida forskningsutvärdering. 4 Lindgren, Lena. Utvärderingsmonstret: kvalitets- och resultatmätning i den offentliga sektorn, 2006, s (25)

3 forskare överlag ägnar mycket tid åt att söka externa medel i stor konkurrens. 5 Just därför är det viktigt att en utvärdering utformas så att den säkrar kvalitet och bidrar till verksamhetsutveckling. Det har gått tio år sedan Uppsala universitet initierade en systematisk utvärdering av forskning vid hela lärosätet KoF07. 6 Utvärderingen var den första i sitt slag i Sverige. Ganska snart följde Lunds universitet efter med RQ08 och Göteborgs universitet med RED10. Sedan dess har utvecklingen fortsatt och flera lärosäten har utvärderat sin forskning antingen på hela lärosätet eller fakultetsvis. Syftet med utvärderingarna har hittills ofta handlat om att identifiera excellent forskning och skälet har varit att ge lärosätenas styrelser och rektorer hjälp att utforma strategier och allokera medel. En rapport från Riksbankens Jubileumsfond angående kvalitetsutvärderingar av forskning framtill idag menar att många av utvärderingarna inte lett till särskilt stora ändringar varken resursmässigt eller organisatoriskt. 7 RED10 låg dock till stor del bakom det visionsarbete som ledde framtill Vision2020. I flera länder har nationella forskningsutvärderingar införts. Den första nationella utvärderingen i Storbritannien skedde redan 1986 och har sedan fortsatt i varierande former och med olika ansvariga myndigheter. Det senaste utvärderingssystemet heter Research Evaluation Framework (REF) och hanterades 2014 av HEFCE, nästa utvärdering beräknas ske I Australien används Excellence in Research (ERA från 2008) som en utvärdering av samtliga universitet i Australien och Nederländerna använder sig av Standard Evaluation Protocol (SEP). Flertalet system har kritiserats i varierande grad och de används också för delvis olika ändamål vissa regeringar använder utvärderingens resultat för resurstilldelning och andra i ett mer generellt kvalitetssyfte där resultaten inte nödvändigtvis kopplas till särskilda resurser. En generell kritik har varit att de nationella utvärderingarna anses vara dyra och tidskrävande samt sakna hänsyn till olika vetenskapsområdens särskilda förutsättningar. 8 Vetenskapsrådet föreslog 2016 att även Sverige borde införa en nationell forskningsutvärdering (FOKUS) men förslaget saknade stöd bland de flesta lärosäten som 5 SUHF. Expertgruppen för kvalitetsfrågor bilaga, Ett otuktat utvärderingslandskap inom högre utbildning och forskning växer fram kan det leda till bättre kvalitet? Riksbankens Jubileumsfond rapport 2016:1 Pilotstudie av lärosätenas kvalitetsutvärderingar s Mer om olika nationella utvärderingar och problematiseringar av utvärderingar finns i LERU:s rapport från 2012: se även Viden i verdensklasse hvorfor klarer dansk forskning sig så godt? Danmark Forsknings- og Innovationspolitiske Råd, 2016, samt SUHF Expertgruppen för kvalitetsfrågor, slutrapport , bilaga: System för forskningsfinansiering och kvalitet en internationell kunskapsöversikt, 3 (25)

4 kritiserade den tilltänkta modellen för att vara alltför kostsam i relation till utkomsten samt bortse från lärosätenas autonomi och ansvar gällande kvalitetsfrågor. 9 Forskningspropositionen Kunskap i samverkan Det står nu klart att regeringen inte kommer att gå vidare med Vetenskapsrådets förslag om en nationell utvärdering av forskning (FOKUS) 10 utan har istället aviserat att UKÄ som redan har i uppgift att kvalitetssäkra högskoleutbildning i Sverige också ska ges uppgift att ansvara för kvalitetssäkring av forskning. Detta motiveras bland annat med att: Ett mer sammanhållet system för kvalitetssäkring, som inkluderar högskolans hela verksamhet, bedöms kunna bidra till ökad koppling mellan forskning och utbildning. 11 Vidare står att: Utvärdering och uppföljning är viktiga delar av regeringens och riksdagens styrning av forskningspolitiken i syfte att både kontrollera och verka kvalitetsdrivande. Regeringen ser ett behov av att utvärdering och uppföljning av forskningen utvecklas ytterligare för att kunna följa svensk forskning i förhållande till regeringens mål. 12 Göteborgs universitet som sedan Vision2020 har haft ett fokus på akademiskt kompletta miljöer bedömer detta som en positiv utveckling, förutsatt att universiteten själva ansvarar för utvärderingsmodellerna och att UKÄs uppgift blir att bedöma modellerna i sig med de krav på uppföljning och kvalitetsutveckling som finns. Forskningspropositionen fokuserar i hög grad på samverkan. Ett av de tre uppföljningsbara mål för tioårsperioden är att samverkan och samhällspåverkan ska öka. 13 Under 2017 kommer Vinnova att få ett nytt uppdrag att utvärdera lärosätenas samverkan, vilket kan utgöra ett förnyat underlag för fördelning av nya basanslagsmedel i avvaktan på ett nytt resurstilldelningssystem. En samverkansindikator föreslås i forskningspropositionen börja användas för fördelning av prestationsdelen inom basanslaget från och med Denna samverkansindikator kommer att ges samma vikt som de idag gällande kvalitetsindikatorerna: externa medel samt publikation och citeringar. Samtidigt kommer regeringen att tillsätta en utredning med uppdrag att lämna förslag till ett nytt system för styrning och resurstilldelning som på sikt också kommer att ändra förutsättningarna för finansiering SUHF Yttrande över rapporten "Research quality evaluation in Sweden - FOKUS", januari Forskningskvalitetsutvärdering i Sverige FOKUS, 2014, 11 Kunskap i samverkan, s Regeringens proposition 2016/ Kunskap i samverkan för samhällets utmaningar och stärkt konkurrenskraft, s Kunskap i samverkan, s. 20, jfr: Även tematiska utvärderingar av frågor med relevans för forskningen ex jämställdhet inom forskningen, villkor för unga forskare och samverkan med det omgivande samhället kan vara relevanta liksom uppföljning av regeringens mål och delmål för forskingpolitiken., s 65f. 14 Kunskap i samverkan, s. 23f, (25)

5 Genomförande och metod Under höstterminen 2016 genomfördes 30 semistrukturerade intervjuer med rektor, dekaner, prefekter, fakultetsvalda fokusgrupper samt rektors forskarråd (se bilaga för deltagare). Syftet med intervjuerna var att få fram verksamhetens idéer om hur en utvärdering bör utformas och genomföras samt vilka konsekvenser resultatet av en forskningsutvärdering ska ha. Intervjuerna leddes av vicerektor Staffan Edén och utfördes tillsammans med forskningssamordnare Sigríður Beck och forskningsrådgivare Emilia Rung. Tidigare vicerektor för kvalitet Bengt-Ove Boström och kvalitetssamordnare Malin Östling har konsulterats. Förutom intervjuer har även den pågående forskningsutvärderingen vid Uppsala universitet (KoF17) diskuterats med prorektor Anders Malmberg och förslaget har också diskuterats med rektors tidigare internationella rådgivare Iain Robinson. I samtliga intervjuer ställdes följande övergripande frågor: Vilka erfarenheter finns från RED10 och dess resultat? Vad saknades och vad tillfördes? Har resultaten använts i verksamheten och i så fall hur, och vilka långsiktiga resultat har det gett? Hur bör en kommande utvärdering utformas för att kunna vara kvalitetshöjande för forskningen och vilka moment bör finnas? Självvärdering, bibliometri, externa paneler, kvalitetsarbete och processer och/eller andra kriterier? Vilka konsekvenser bör en utvärdering ha? 5 (25)

6 Del 1 Sammanfattning av intervjuer Vilka erfarenheter finns från RED10 och dess resultat? Vad saknades och vad tillfördes? Samtliga intervjuer inleddes med frågan om hur RED10 upplevdes både vad gäller process och resultat. Av de intervjudeltagare som inte varit med om RED10 hade flertalet erfarenhet av andra liknande utvärderingar i eller utanför Sverige och bidrog med reflektioner från dessa. En majoritet ansåg att det var rätt att genomföra RED10. Det framkom också tydligt att det nu finns en betydligt större vana vid utvärderingar och jämförelser för t.ex. resursfördelning. När det gäller upplägget av RED10 var de flesta överens om att utvärderingsunderlaget och processen fungerade, dock med vissa undantag. Flera förvånades över att resultaten av bibliometrin inte fanns tillgängliga för de externa bedömarna. För den stora majoriteten intervjuade utgör idag bibliometri, trots sina problem och tillkortakommanden, ett självklart underlag för en utvärdering. Åtskilliga av de intervjuade påpekade vikten av väl sammansatta bedömningsgrupper med adekvat kunskap. Vissa upplevde att de externa bedömarna hade god förståelse för deras verksamhet, medan andra påpekade att några bedömare saknade kompetens och förståelse för (delar av) deras verksamhet. Många institutioner spänner över tämligen breda vetenskapliga områden vilket försvårade panelernas uppgift. Självvärderingarna och platsbesöken var överlag de inslag som upplevdes som mest värdefulla. Även om arbetet med självvärderingarna ansågs krävande så var det på många institutioner en grund till fördjupade diskussioner, ibland för första gången, om forskningsstrategier. Återkommande kritik rörande självvärderingarna var dels utrymmet som gavs för svaren, där stora institutioner ansåg sig ha fått för omfattande utrymme medan de små hade för litet. 15 Dessutom menade flera av de intervjuade att självvärderingarna inte hade tillräckligt tydliga frågor och att de därför kunde bli skrytdokument utan stöd i verkligheten. Inom såväl dekan- som prefektgruppen påpekade många att RED10 tog för liten hänsyn till den kontext institutionerna verkar inom. Ett exempel är stora undervisningsuppdrag som dels påverkar möjligheterna för befintliga medarbetare att bedriva forskning, dels svårigheten att rekrytera personer med forskningsfokus eftersom utbildningsuppdraget kräver insatser av medarbetarna. Ett annat exempel är de institutioner som är integrerade med Chalmers (Matematiska vetenskaper: Som att utvärdera vätemolekylerna i vatten ) eller de som bedriver stora delar av sin verksamhet tillsammans med Sahlgrenska universitetssjukhuset och 15 Detta berodde på att i RED10 fick mindre institutioner färre antal tecken till sitt förfogande än de större. 6 (25)

7 som därför inte kommer till sin rätt när man avgränsar utvärderingen till enbart verksamhet inom universitetet. En stor del av den kliniska forskningen utförs av personer anställda av sjukvårdshuvudmannen. Syfte och konsekvens Många menade att syftet med RED10 var oklart liksom eventuella konsekvenser efter utvärderingen. Detta skapade oro och frustration såväl under som efter arbetet. En kritik som återkom under intervjuerna var även avsaknaden av tydlig uppföljning efter RED10. Arbetsinsats RED10 krävde en stor arbetsinsats av ett flertal personer och många påpekade att det nu bör vara enklare att ta fram stora delar av underlaget för att minska arbetsbördan för kärnverksamheten. Flera dekaner och prefekter tyckte ändå att det var värt mödan, men vissa, framförallt från de största institutionerna, ansåg att RED10 tog allt för mycket tid i anspråk i relation till utfallet. I fokusgrupperna med forskare från de olika fakulteterna var erfarenheterna från RED10 mer blandade men även här ansåg flera att utvärderingen gav för liten valuta i relation till insatsen. Det var också tydligt att processen både upplevdes och genomfördes olika vid de olika fakulteterna, inte minst med avseende på hur djupgående processen hade varit på de olika institutionerna och hur många som involverats i arbetet. Tidpunkt Generellt sågs genomförandet av RED10 som en av flera delar i en kulturförändring som ägt rum de senaste åren. Denna ändring har bland annat resulterat i förändrade publiceringstraditioner och nya fördelningsmodeller för basanslag. Många av de förändringar som genomförts sedan RED10 skulle sannolikt ha skett ändå, men RED10 gav extra skjuts. För vissa fakulteter kom RED10 i samband med eller strax efter stora organisatoriska förändringar. Utbildningsvetenskapliga fakulteten var mitt i ett större förändringsarbete. Det rådde förvirring kring om RED10 skulle baseras på de gamla institutionerna, eftersom faktaunderlaget avsåg åren , eller de nya och deras strategier och visioner. Detta framgår också tydligt av bedömarnas rapporter. Har och i så fall hur har resultaten från Red10 använts i verksamheten och vilka långsiktiga resultat har det gett? De flesta dekanerna var överens om vikten av RED10. Resultatet från RED10 skapade legitimitet för strategiska avväganden och satsningar, och gav ett signalvärde som inledde en välbehövlig kulturändring. Dessutom gav det i vissa fall legitimitet åt att införa ett nytt fördelningssystem. Representanter främst från Sahlgrenska akademin menade dock att processen samt dess resultat varit verkningslösa i verksamheten. 7 (25)

8 Även bland prefekterna var det en klar majoritet som ansåg att RED10 varit värdefullt för dem i deras arbete och viktigt för verksamheten. Många ansåg att RED10 satte fingret på en del styrkor och svagheter vilket skapade legitimitet för strategiska avväganden och satsningar. En annan återkommande kommentar var att processen lyfte upp diskussioner om t.ex. forskningsstrategi, rekryteringar och publiceringsmönster på institutionerna vilket i sig gav ett mervärde. Bland de prefekter som ansåg att RED10 inte gett något större värde varierade anledningarna. Vissa angav att de valt att bortse från panelens omdöme och rekommendationer eftersom de inte överensstämde med deras egna åsikter. Andra ansåg att omdömena skapat en negativ stämning. Några såg RED10 som en dammsamlande produkt i bokhyllan. I fokusgrupperna var åsikterna mer blandade. Här återfanns en större andel personer som inte uppfattade att RED10 haft några effekter på deras institutioner, och som ansåg att utvärderingen var för arbetskrävande och dyr i relation till ett lågt utbyte. Särskilt tydligt var detta inom Sahlgrenska akademin. Flera av de yngre forskarna och de som anställts efter RED10 uttryckte förvåning över att de inte kände till RED10 och beklagade att inte mer hade hänt utifrån panelernas rekommendationer. ( Det är sex förlorade år ) Vissa ansåg att RED10 skapade en olycklig spänning mellan forskningsmiljöer som nämndes och forskningsmiljöer som inte nämndes. De flesta intervjuade i fokusgrupperna såg regelbundet återkommande utvärderingar som en självklarhet, inte minst eftersom verksamheten är skattefinansierad. Hur bör en kommande utvärdering utformas för att kunna vara kvalitetshöjande för forskningen och vilka moment bör finnas? Självvärdering, bibliometri, externa paneler, kvalitetsarbete och processer och/eller andra kriterier? Åsikterna om utformningen av en kommande utvärdering skiljde sig i detaljerna men var lika på en generell nivå framförallt när det gällde önskemål om att både syfte och konsekvenser av utvärderingen skulle vara tydligt och skarpt formulerade på förhand. Syfte Även om en överväldigande majoritet var enig om vikten av att syftet är klart formulerat så var det tämligen få som själva hade en klar uppfattning om vad syftet bör vara. Många ansåg att det är upp till Göteborgs universitet att definiera syftet och frånsa sig en egen åsikt i frågan. Av diskussionerna framkom dock att majoriteten vill att syftet ska vara kvalitetsutveckling snarare än rankning/betygsättning av olika delar av verksamheten. En kommande utvärdering bör göras för att lyssna och lära, inte för att tävla. 8 (25)

9 Flera grupper var intresserade av att utvärdera forskningens relation till Vision2020, alltså i relation till det kompletta uppdraget och de styrmodeller som finns för att uppnå de resultat som ledningen menar är eftersträvansvärda. Objekt för utvärdering Prefekterna och dekanerna såg oftast institutionerna som lämpliga objekt för utvärdering. Institutionerna skulle då även ta ansvar för de tvärande centrumbildningar som de är värdinstitution för. Ett undantag från detta är Sahlgrenska akademin som istället såg avdelningar/sektioner som lämpliga enheter för utvärderingen. I fokusgrupperna däremot gick åsikterna isär. Vissa ansåg att institutionerna är lämpliga enheter medan andra hellre skulle vilja utgå från forskningsämnen, forskningsmiljöer eller forskargrupper. Självvärdering De intervjuade var genomgående positivt inställda till självvärderingar. Prefekterna var den intervjugrupp som tydligast ville inkludera självvärderingar i en kommande utvärdering. Även om självvärdering ansågs tidskrävande var majoriteten överens om att det finns ett stort värde i att reflektera över och sätta på pränt såväl nuläge som framtida planer. Ett antal punkter lyftes som viktiga för processen med självvärderingar. Utvärderingsenheterna behöver gott om tid för att kunna göra ett gediget arbete och möjliggöra interna diskussioner så att självvärderingen som sådan kan ge mervärde. Frågorna/instruktionerna för självvärderingen ska vara fokuserade för att undvika skrytdokumentation, det är verksamhet som ska utvärderas, inte retorik. Utvärderingsenheterna ska ha tillgång till faktaunderlag (exempelvis publikationer och externa medel) där självvärderingen ger en extra dimension till data genom att enheterna verifierar eller reagerar på underlaget. För att uppnå bästa värde är det viktigt med trygghet. Institutionerna behöver kunna lyfta fram och reflektera över svagheter, förvissade om att de inte kommer att straffas utan att ha getts möjlighet att åtgärda bristande kvalitet. I samtalen om självvärdering blev det också tydligt att vissa institutioner arbetar mycket med handlings- och verksamhetsplaner som skulle kunna utgöra en grund, men det finns också många institutioner där HP/VP inte har en bärande roll i kvalitetsarbetet. Underlag (bibliometri, externa anslag, personaldata) Basfakta som bibliometri, externa anslag och personaldata sågs som en självklarhet. Genomgående förväntade sig alla att det är enklare att ta fram den typen av underlag från universitetets egna system nu än det var när RED10 genomfördes. Flera förespråkade att sådana underlag tas fram och sammanställs centralt, som underlag inför att institutionerna ska skriva sina självvärderingar. 9 (25)

10 Enkäter Möjligheten att använda en enkät för att hämta in information från alla anställda med forskning i sin tjänst diskuterades i flera intervjuer. Även om några var positiva till detta förfarande övervägde åsikten att enkäter inte är särskilt lämpade. Detta dels för att det är svårt att uppnå en hög svarsfrekvens, men också för att en enkät förutsätter att man vet vad man vill ha svar på och hur enkätresultaten ska omsättas till förbättringar i verksamheten. Istället förordades breda platsbesök. Paneler och platsbesök Närmast samtliga intervjuade var överens om att paneler med externa granskare och platsbesök behövs även om det innebär en stor kostnad. Forskningen och dess förutsättningar är komplexa och låter sig inte fångas enbart med hjälp av siffror, utan en kombination av kvantitativa data, självvärderingar och expertbedömningar är absolut nödvändigt. Det är av stor vikt att panelmedlemmarna utses noggrant och transparent. För att få kompetenta sakkunniga som ger utvärderingen legitimitet behöver universitetet avsätta ordentligt med tid och kraft för att hitta och kontakta identifierade sakkunniga. En annan återkommande åsikt var att instruktionerna till panelerna är avgörande. Forskarutbildning, utbildning och samverkan kompletta miljöer Med något enstaka undantag ansåg de intervjuade att forskningen behöver utvärderas i sin kontext. Detta dels eftersom universitetet sedan länge arbetar med kompletta akademiska miljöer (KAM), dels eftersom det inte går att bryta ut forskningen ur sitt sammanhang. Dessutom blir det allt tydligare att (den politiska) omvärlden förväntar sig effekter på/från både utbildning och samverkan. Å andra sidan vill man inte se en utvärdering som är allt för omfattande. Därför är de flesta överens om att utbildning (forskarutbildning och grundutbildning) liksom samverkan bör beröras i självärderingen för att sätta forskningen i sin kontext, men utan att stå i fokus. Jämförbarhet med RED10 Många ser RED10 som en självklar utgångspunkt för en kommande forskningsutvärdering. Däremot behöver en kommande utvärdering inte spegla hela RED10, istället förespråkade flera att man i självvärderingen reflekterar över utfallet i RED10 och vad som har hänt sedan dess. Framför allt är det viktigt att en kommande utvärdering ger en nulägesbild och därför borde inte för stort fokus ligga på RED10. Uppföljning Många vill se en planerad uppföljning av åtgärdsplaner efter 1-3 år. Uppföljningen ska säkra att åtgärder genomförs baserat på utvärderingens resultat. Om panelmedlemmar återvänder för en uppföljning utgör de ett bra bollplank för strategidiskussioner. 10 (25)

11 Kostnader Kostnaden för utvärderingen såväl i pengar som i arbetsinsatser blir lätt omfattande. Detta var en återkommande punkt under många av intervjuerna. Trots detta är det en klar majoritet som förespråkar självvärdering (arbetskrävande) och platsbesök av externa granskare (dyrt). Åsikten att så mycket underlag som möjligt ska tas fram centralt återkom vid ett flertal tillfällen. Vilka konsekvenser bör en utvärdering ha? Åsikterna om konsekvenser av en utvärdering gick isär, mycket beroende på olika uppfattningar om syftet med utvärderingen och vilka enheter som utvärderingen ska baseras på. I flera grupper diskuterades olika typer av konsekvenser utan att tydlig konsensus nåddes. Det som alla var överens om är att konsekvenserna måste vara tydligt uttalade innan utvärderingen påbörjas. Detta framför allt för att inte skapa onödig oro och frustration. Många påpekade också att det är viktigt att vara medveten om hur styrande en utvärdering är det vi mäter kommer vi att skapa. Det är också viktigt att tänka på vad vi vill bevara och förvalta, inte bara det som ska skapas. En övervägande del av de intervjuade förespråkade att konsekvenserna inte innefattar omfördelning av medel/ekonomiska incitament, vare sig till de som kommer väl ut eller de som har behov av förbättring. Man vill hellre se andra typer av stöd för att stärka verksamheterna. Många påpekade att verksamheterna måste ha en helhetssyn, inte minst på forskning i förhållande till utbildningsuppdraget. En viss verksamhet kan vara oerhört värdefull för universitetet ur andra aspekter än forskning vilket medför att utfallet i en utvärdering av forskning inte kan vara ensamt styrande. Bland de intervjuade forskarna fanns det några som ansåg att utvärderingens resultat ska användas för att få stöd för att avveckla svaga forskningsmiljöer, en åsikt som inte återspeglades bland prefekter eller dekaner. Eftersom de flesta var överens om att det huvudsakliga syftet bör vara en kvalitetshöjning ansåg de också att resultatet av utvärderingen bör vara goda råd inte betyg. Råden ska användas för att utveckla verksamheten och bör därför följas upp (1-2 år) för att säkerställa att de tas om hand. Utvärderingen bör användas för att driva fram kvalitet genom att ta fram en diagnos. Efter diagnosen får institutionerna/fakulteter en tid på sig att genomföra åtgärder som sedan följs upp. 11 (25)

12 Del 2 Förslag på utvärdering av forskning RED19 Att ett universitet ska utvärdera och följa upp sin verksamhet är givet. Men det är också givet att det inte får ha negativa konsekvenser för verksamheten i form av alltför stora arbetsinsatser som inte upplevs som meningsfulla. Syftet med en utvärdering ska därför vara klart och tydligt och dubbelarbete ska undvikas. Följande förslag bygger på ställningstagandet att en extern bedömning i form av kollegial granskning är den form som är bäst lämpad för RED19. Utvärderingen ska användas för verksamhetsutveckling och har i möjligaste mån utformats från verksamhetens behov och önskemål. Utvärderingens syfte föreslås vara att identifiera förutsättningar och strategier som möjliggör och skapar goda forskningsmiljöer. 16 Goda forskningsmiljöer kan se ut på olika sätt och det finns sannolikt inte en framgångsmodell för alla miljöer, därför ska utvärderingen ske utifrån de faktiska förutsättningar som finns. Kännetecken för en god forskningsmiljö vid Göteborgs universitet är att miljön har förutsättningar att genomföra framgångsrik forskning, att forskningen nyttiggörs och att forskningen interagerar med utbildning dvs. en strävan efter komplett akademisk miljö. Utvärderingsobjektet för de goda forskningsmiljöerna föreslås bli institution. Institutioner som är i en storleksordning där det ingår underenheter föreslås få avgöra på vilket sätt institutionen delas upp i lämpliga enheter men med övergripande ansvar från institutionen. Institutioner är också värdar för samtliga centrum och infrastrukturer och därmed fångas också tvärande verksamheter. Här föreslås också att fakultets- och rektorsnivå gör självvärderingar med fokus på ledning, styrning och kvalitetssäkring och att externa bedömare utvärderar ovannämnda utifrån dessa nyckelfaktorer. En extern panel föreslås göra platsbesök och intervjua olika personalkategorier vid institutionerna, doktorander, forskare, lärare och administratörer. Panelerna ska granska resultaten i relation till institutionens hela uppdrag, som inkluderar både utbildning och samverkan. På så vis kan samtliga nivåer dvs. universitetsstyrelsen, rektor, fakulteter och institutioner få en djupare förståelse för forskningens förutsättningar, och ges rekommendationer till fortsatta strategier och styrning. Rekommendationerna ges till varje enskild institution, samt fakulteter och rektor. 16 En god forskningsmiljö kan också förstås som en kreativ forskningsmiljö, exempelvis i betydelsen att det finns ett gott samarbete mellan forskare och god infrastruktur tillgänglig, en lagom intellektuellt irriterande miljö, och en viss flexibilitet i organisationen. Se vidare Jonsson, Kjell & Nordlund, Christer, Homo ludens på universitetet. Om förutsättningar för kreativa forskningsmiljöer, Kulturella perspektiv 2012:1 årg 21, s (25)

13 Panelens sammansättning Eftersom utvärderingens fokus ligger på process snarare än resultat bör paneldeltagarna ha bred kompetens inom varje ämne som finns representerat inom varje institution. En bedömargrupp inklusive en ordförande rekommenderas för varje fakultet som inom sig har överlappande bedömargrupper för varje enskild institution. Tre dagar för platsbesök per utvärderingsobjekt förutsätts. Ordföranden föreslås delta vid samtliga institutionsbesök inom varje fakultet. Bakgrundsmaterial gällande perioden /18 Personaldata Här ingår uppgifter om antal anställda, inklusive doktorander och antal handledare Uppgifterna tas med fördel fram av personalenheten i samråd med institutionens administration. Ekonomidata inklusive externa anslag Uppgifter om andel basanslag på utbildning och forskning samt andel externa medel. Här ingår både nationella och internationella anslag i en tidsserie. Data tas fram av ekonomienheten. Strategi och policydokument Här ingår styrdokument på olika nivåer, inklusive resursfördelningsmodell och andel forskning i tjänst samt eventuella övriga forskningsincitament. Materialet tas fram av varje institution/fakultet/centralt. Andra utvärderingar Här ingår andra utvärderingar av vikt för forskning, till exempel den aviserade ALFutvärderingen för Sahlgrenska akademins räkning, Handelshögskolans ackrediteringsutvärderingar samt UKÄs utvärderingar av vissa forskarutbildningsämnen. Publikationer Avdelningen Digitala tjänster vid UB har möjlighet att ta fram publikationer och analysera utifrån den norska modellen som redan används vid fem av universitetets fakulteter. 17 Den norska modellen mäter publiceringsaktivitet. Poäng för vetenskapliga publikationer ges baserat på publikationens kanal (förlag, tidskrift/serie eller webbplats) och publikationens form (artikel, kapitel, monografi). Det finns två nivåer i systemet där nivå 2 ger högre poäng än nivå Handelshögskolan, Humanistiska, Samhällsvetenskapliga, Utbildningsvetenskapliga och IT- fakulteterna använder det norska systemet. Konstnärliga fakulteten har en egen modell. Sahlgrenska akademin och Naturvetenskapliga fakulteten använder WoS / 13 (25)

14 Förslaget att utgå från den norska modellen och inte Web of Science (WoS) görs för att innefatta ämnesområden som inte är representerade i WoS och på rekommendation av Digitala tjänster. I tillägg kan de institutioner som så önskar också använda sig av WoS. I dessa fall kommer indikatorerna att vara fältnormerade citeringar och topp 10 publikationer. Självvärdering Självvärderingen är den del som är mest betungande för institutionerna i form av arbetsinsats men samtidigt den del som vid intervjuerna uppfattades som den mest konstruktiva och givande för just institutionerna och ett viktigt underlag för panelen. Självvärderingen föreslås ha två huvuddelar. I första delen ges en beskrivning och i den andra görs analysen. Förslag på upplägg av självvärdering på institutionsnivå (i kombination med avdelningsnivå i förekommande fall): Beskrivning (del 1) Beskrivning av hur självvärderingen har tagits fram och vilka som har arbetat med den Beskrivning av institutionen och dess organisation och ledning (inklusive centrumbildningar och eventuella infrastrukturer) Beskrivning av forskningsmiljöer Institutionens uppdrag och eventuellt särskilda förutsättningar Analys utifrån nyckelfaktorer (del 2) Baseras på ett antal nyckelfaktorer som var och en analyseras inom institutionen. Reflektionerna och analysen bör göras utifrån bakgrundsmaterialet. Ledning och styrning Reflektion över resursfördelningsmodell, incitamentsstruktur och meritering i relation till konsekvensneutralitet (exempelvis gällande kön, breddad rekrytering, andra faktorer) på institutionen. Reflektion över rekrytering och personalstrategier. Särskilt beakta framåtsträvande, jämställdhet, mobilitet och karriärstruktur. Strategier för finansiering på institutionsnivå. Publiceringsstrategier. Analys av resultatet från digitala tjänster och de eventuella strategier som finns. 14 (25)

15 Komplett akademisk miljö (KAM) Hur KAM säkras, både forskning i relation till undervisning och forskning i relation till samverkan. Reflektion över: Forskning i relation till utbildning. Forskning i relation till samverkan. Forskningssamarbeten och nätverk både inom Göteborgs universitet och med andra lärosäten nationellt och internationellt. Forskningsmiljö Reflektion över hur institutionen arbetar med feedback, jämställdhet, forskningsintegritet, kollegialitet, seminariekultur och transparens. Administrativt stöd. Reflektion över hur institutionen har utvecklat sin administration för att stötta högkvalitativ forskning. Kvalitetssäkring och uppföljning Utvärderingar och uppföljningar på institutionen. Reflektion över forskning och kvalitetssäkring och återkoppling till forskare. Generellt för nyckelfaktor ska institutionen därutöver reflektera över följande: Hur institutionen för närvarande arbetar med nyckelfaktorn för att bidra till en högkvalitativ forskning på jämställda villkor (konsekvensneutralitet) Svagheter och styrkor i den nuvarande metoden Förbättringspotential Behov av stöd Förslag på upplägg av självvärdering på fakultetsnivå respektive rektorsnivå: Inledning Beskrivning (del 1) Beskrivning av hur självvärderingen har tagits fram och vilka som har arbetat med den Beskrivning av fakulteten/rektorsnivån och dess organisation och ledning (inklusive centrumbildningar och eventuella infrastrukturer) Fakultetens uppdrag och eventuellt särskilda förutsättningar (gäller ej rektorsnivå) Analys utifrån nyckelfaktorer 15 (25)

16 Ledning och styrning Reflektion över resursfördelningsmodell, incitamentsstruktur och meritering i relation till konsekvensneutralitet (exempelvis gällande kön, breddad rekrytering, andra faktorer) på fakultets- respektive rektorsnivå. Administrativt stöd. Reflektion över hur fakulteten/rektorsnivån organiserat sin administration för att stötta högkvalitativ forskning. Kvalitetssäkring och uppföljning Utvärderingar, kvalitetssäkring och uppföljningar på fakultets-/rektorsnivå. För varje nyckelfaktor ska fakultets-/rektorsnivå reflektera över följande: Hur fakultets-/ rektorsnivå för närvarande arbetar med nyckelfaktorn för att bidra till en högkvalitativ forskning på jämställda villkor (konsekvensneutralitet) Svagheter och styrkor i den nuvarande metoden Förbättringspotential Behov av stöd Ordförandena för varje bedömarpanel samlas och utvärderar fakulteters respektive rektorsnivå. Konsekvenser Panelerna gör sina bedömningar och ger råd utifrån självvärderingarna, bakgrundsmaterialet och platsbesöken. Universitetsledning, fakultetsledningar och institutioner ges ett antal förslag till strategiska överväganden och kvalitetshöjande åtgärder inom specificerade fokusområden. Utifrån råd författas strategier och åtgärdsplaner på respektive ledningsnivå, ansvaret för att genomföra och bekosta åtgärder ligger alltså inom respektive utvärderingsobjekt. Utvärderingsobjekten presenterar en åtgärds- och handlingsplan med anledning av utvärderarnas förslag och idéer inom ett halvår efter att råd getts. Efter tre år ska åtgärdsplanerna och utfallet av dessa tas upp vid en särskild uppföljning. Framöver bör forskningsutvärderingar vara regelbundet återkommande, bland annat för att möta kraven från statsmakten, men också som ett givet inslag i vår egen kvalitetskontroll och verksamhetsutveckling, rimligen vart sjätte år eller inom ramen av sex år per utvärderingsobjekt (se bilaga 1 preliminär projektplan). 16 (25)

17 Bilaga 1 Preliminär projektplan RED19 Vid framtagandet av den preliminära projektplanen har erfarenheterna från RED10 19 liksom Chalmers projektdirektiv för en kommande forskningsutvärdering 20 beaktats. Förstudie 2016/2017 Förberedelse 2017 Bibliometri, ekonomioch personaldata vt 2018 Självvärderingar ht 2018 Peer review vt 2019 Rapport vt 2019 Åtgärdsplaner ht 2019 Uppföljning 2022 Projektledning / koordinering Projektets faser Aktiviteter Tid Förstudie och förankring Genomför intervjuer och omvärdsanalys Ta fram ett utkast till förslag Diskutera och förankra förslag Ta fram skiss till projektplan HT 2016 VT 2017 Förberedelser Etablera projektgrupp, styrgrupp, referensgrupp m.m. Ta fram projektplan Definiera utvärderingsobjekt (ffa SA) och gruppering av dessa Identifiera och boka sakkunniga, fastställa jävsregler Specificera bakgrundsdata och hur de tas fram Formulera självvärderingsfrågor och instruktioner Formulera instruktioner till sakkunniga Planera för överskådlig struktur av material till utvärderingsenheter och paneler Ta fram kommunikationsplan och webbsida Genomför regelbundna avstämningar med prefekter och administrativa chefer Genomför utbildnings-/informationsmöten för HT RED10 Final report on the project process Projektdirektiv. Chalmers utvärdering av forskning (C ) 17 (25)

18 Framtagande av bakgrundsinformation Självvärdering Peer review Rapport bedömare (parallellt med arbete med självvärderingar) Ta fram bibliometri Ta fram ekonomidata Ta fram personaldata Ta fram strategi- och policydokument Ta avstamp i bakgrundsinformationen och från RED10 Diskutera inom respektive utvärderingsobjekt Skriv självvärdering Material skickas till enskilda bedömare Genomför möte hela gruppen med sakkunniga för diskussioner Genomför platsbesök Skriv rapport Sammanställ panelernas rapporter Genomför remissrunda/tid för kommentarer/bemöta faktafel Färdigställ rapport, inklusive tryckning VT 2018 HT 2018 VT 2019 VT 2019 Åtgärdsplaner HT 2019 Uppföljning VT 2022 Projektorganisation Projektbeställare o Rektor Styrgrupp o GU:s ledning Projektägare o Prorektor/vicerektor för forskning/motsvarande Biträdande projektägare, % (kan även vara projektägare) o Frontperson med hög vetenskaplig erfarenhet Projektgrupp o Projektledare (1 eller 2 personer), %. Operativt genomförande, diskussionspartner, skribent. o Administrativt stöd till projektledare, 60 %. Stöd till projektteamet, administrativa uppgifter beroende av projektets skede. o Kommunikatör, 20 %. Referensgrupp o 1 person från varje fakultet samt 1-2 student-/doktorandrepresentanter 18 (25)

19 Resursgrupp (varierande omfattning, % per person under planeringsfas, upp till 100 % då bakgrundsdata tas fram) o Kvalitetssamordnare o 1 från digitala tjänster, UB o 1 från ekonomienheten o 1 från personalenheten o 1 från IT-enheten Budget: Utvärderingen beräknas i nuläget kosta ca 12 miljoner, där kostnaderna för externa bedömargrupper och panelbesök utgör den största utgiftsposten. 19 (25)

20 Bilaga 2 Intervjugrupper (totalt 30 intervjuer) Dekaner (med möjlighet till två extra personer). Totalt 8 intervjuer Prefekter. Prefekter intervjuades i gruppintervjuer med tre fyra prefekter per grupp. Totalt 12 intervjuer Fokusgrupper. Fakultetsledningarna ombads utse varsin fokusgrupp. Varje fokusgrupp bestod av max 8 personer. Totalt 8 grupper. Rektor Pam Fredman Rektors forskarråd Deltagare Dekangrupper: Humanistiska fakulteten: Dekan Margareta Hallberg och prodekan Mats Andrén Handelshögskolan: Dekan Per Cramér Konstnärliga fakulteten: Dekan Ingrid Elam, forskningsrådgivare Johan Öberg och professor Anders Hultqvist Sahlgrenska akademin: Dekan Olle Larkö, prodekan Eric Hanse och vicedekan Sven Enerbäck Naturvetenskapliga fakulteten: Dekan Elisabeth Ahlgren, vicedekan Deliang Chen och fakultetssekreterare Marie Emanuelsson IT-fakulteten: Dekan Jan Smith Utbildningsvetenskapliga fakulteten: Dekan Åke Ingerman Prefektgrupper Grupp 1 Gunnar Bergh, Institutionen för språk och litteraturer Agneta Holmäng, Institutionen för neurovetenskap och fysiologi Ulla Sätereie, Institutionen för journalistik, medier och kommunikation Grupp 2 Ian Milsom, Institutionen för kliniska vetenskaper Merritt Polk, Institutionen för globala studier, (kunde ej närvara) 20 (25)

21 Mick Wilson, Akademin Valand, (kunde ej närvara) Grupp 3 Cecilia Rosengren, Institutionen för litteratur, idéhistoria & religion Hans Carlsten, Institutionen för medicin Jonas Emanuelsson, Institutionen för didaktik och pedagogisk profession Grupp 4 Bernt Wennberg, Institutionen för matematiska vetenskaper Mats Björkin, Institutionen för kulturvetenskaper Björn Rombach, Förvaltningshögskolan Grupp 5 Olof Zaring, Institutionen för ekonomi och samhälle Anders Oldfors, Institutionen för biomedicin Johan Karlsson, Institutionen för data- och informationsteknik Grupp 6 Thomas Jäderlund, Högskolan för scen och musik (kunde ej närvara) Ingela Lundgren, Institutionen för vårdvetenskap och hälsa Fredrika Lagergren Wahlin, Institutionen för tillämpad informationsteknologi Grupp 7 Annika Ekestubbe, Institutionen för odontologi Göran Hilmersson, Institutionen för kemi och molekylärbiologi Fredrik Engström, Institutionen för filosofi, lingvistik och vetenskapsteori Cecilia Wallerstedt, Institutionen för pedagogik, kommunikation och lärande Grupp 8 Patrik Ström, Företagsekonomiska institutionen Bosse Lagerqvist, Institutionen för kulturvård Elisabeth Olin, Institutionen för socialt arbete 21 (25)

22 Claes Annerstedt, Institutionen för kost- och idrottsvetenskap Grupp 9 Henrik Aronsson, Institutionen för biologi och miljövetenskap Jesper Lundgren, Psykologiska institutionen Måns Söderbom, Institutionen för nationalekonomi med statistik Grupp 10 Mark Johnson, Institutionen för geovetenskaper Ulf Dalnäs, Högskolan för design och konsthantverk Mona Arfs, Institutionen för pedagogik och specialpedagogik Grupp 11 Helene Whittaker, Institutionen för historiska studier Per Hall, Institutionen för marina vetenskaper Mikael Gilljam, Statsvetenskapliga institutionen Grupp 12 Jan Carle, Institutionen för sociologi och arbetsvetenskap Mattias Goksör, Institutionen för fysik Lena Rogström, Institutionen för svenska språket Fokusgrupper: Humanistiska fakulteten Karin Westin Tikkanen, Institutionen för språk och litteraturer Göran Larsson, Institutionen för litteratur, idéhistoria och religion Lena Eriksson, Institutionen för filosofi, lingvistik och vetenskapsteori Lena Martinsson, Institutionen för kulturvetenskaper Christine Hansen, Institutionen för historiska studier 22 (25)

23 Niclas Hagen, Nätverket för medicinsk humaniora; Institutionen för filosofi, lingvistik och vetenskapsteori Naturvetenskapliga fakulteten Marija Cvijovic, Institutionen för matematiska vetenskaper Bo Hellsing, Institutionen för fysik Olle Häggström, Institutionen för matematiska vetenskaper Fredrik Lindberg, Institutionen för geovetenskaper Kui Liu, Institutionen för kemi och molekylärbiologi Anneli Palmsköld, Institutionen för kulturvård Anna Wåhlin, Institutionen för marina vetenskaper Göran Wallin, Institutionen för biologi och miljövetenskap Samhällsvetenskapliga fakulteten Göran Sundqvist, Institutionen för sociologi och arbetsvetenskap Isabell Schierenbeck, Institutionen för globala studier Mats Ekström, Institutionen för journalistik, medier och kommunikation Claudia Fahlke, Psykologiska institutionen (kunde ej närvara) Vicki Johansson, Förvaltningshögskolan Monika Djerf-Pierre, Institutionen för journalistik, medier och kommunikation Ulf Bjereld, Statsvetenskapliga institutionen Utbildningsvetenskapliga fakulteten Liss Kerstin Sylvén, Institutionen för pedagogik och specialpedagogik Pia Williams, Institutionen för pedagogik, kommunikation och lärande Elisabeth Öhrn, Institutionen för pedagogik och specialpedagogik 23 (25)

24 Oskar Lindwall, Institutionen för pedagogik, kommunikation och lärande Olof Franck, Institutionen för didaktik och pedagogisk profession Angelika Kullberg, Institutionen för didaktik och pedagogisk profession Christel Larsson, Institutionen för kost- och idrottsvetenskap Peter Korp, Institutionen för kost- och idrottsvetenskap Sahlgrenska akademin Martin Dahl, Institutionen för biomedicin Sean Bennet, Institutionen för medicin Axel Wolf, Institutionen för vårdvetenskap och hälsa Cecilia Bull, Institutionen för kliniska vetenskaper Marie Kalm, Institutionen för neurovetenskap och fysiologi Lars Fändriks, Institutionen för kliniska vetenskaper Annika Rosengren, Institutionen för medicin Fredrik Bäckhed, Institutionen för medicin Konstnärliga fakulteten Per Anders Nilsson, Högskolan för scen och musik Monica Lindgren, Högskolan för scen och musik Erling Björgvinsson, HDK Högskolan för design och konsthantverk Tyrone Martinsson, Akademin Valand Anna Frisk, Akademin Valand IT-fakulteten 24 (25)

25 Jan Ljungberg, Institutionen för tillämpad informationsteknologi Lisen Selander, Institutionen för tillämpad informationsteknologi (kunde ej närvara) Alexander Almér, Institutionen för tillämpad informationsteknologi Andreas Abel, Institutionen för data- och informationsteknik Arne Ranta, Institutionen för data- och informationsteknik Regina Hebic, Institutionen för data- och informationsteknik Handelshögskolan Maureen McKelvey, Institutionen för ekonomi och samhälle Sara Stendahl, Juridiska institutionen Stefan Sjögren, Företagsekonomiska institutionen Ola Olson, Institutionen för nationalekonomi med statistik (kunde ej närvara) Andreas Diedrich, Gothenburg Research Institute (GRI) Sara Lundqvist, Företagsekonomiska institutionen Michael Browne, Företagsekonomiska institutionen Randi Hjalmarsson, Institutionen för nationalekonomi med statistik Rektors forskarråd Ellen Lust, Åsa Mäkitalo (kunde ej närvara men lämnade skriftligt underlag), Arne Bigsten, Claes Ohlsson, Leif Klementsson Susanna Radovic, Bodil Karlsson (stud.repr) Pam Fredman (ordf), Staffan Edén (vice ordf), Ludde Edgren (sekr.) 25 (25)