2012-03-15 Dnr 2011-3100 Utbildningsdepartementet Doss 12 103 33 Stockholm REMISSYTTRANDE AVSEENDE RAPPORTEN PRESTATIONSBASERAD RESURSTILLDELNING FÖR UNIVERSITET OCH HÖGSKOLOR (U2011/7356/UH) Uppdraget gavs till utredaren i Utbildningsdepartementets PM 2010-06-30 : Utvärdering av forskningskvalitet som en grund för tilldelning av resurser till universitet och högskolor. Utredarens uppdrag har sin bakgrund i betänkandet Resurser för kvalitet (SOU 2007:81) och i forskningspropositionen Ett lyft för forskning och innovation (prop. 2008/09:50). I Resurser för kvalitet föreslogs en kombination av kvalitetsutvärderingar och indikatorer som grund för fördelning av statliga forskningsmedel till universitet och högskolor. Kvalitetsutvärderingar kom dock inte att ingå i propositionen och de efterföljande besluten. Mot den bakgrunden finns det anledning att inledningsvis citera ur PM:en där utredaren uppdrag preciseras. Utredaren ska, utgående från det nuvarande resurstilldelningssystemet för direkta anslag till universitet och högskolor för forskning och utbildning på forskarnivå, utreda och lämna förslag så att utvärderingar av kvaliteten i forskningen kan ingå som ett viktigt komplement till indikatorerna publiceringar och citeringar samt externa medel i systemet för resurstilldelning. I uppdraget ingår att det vid utvärderingar av kvaliteten i forskningen överväga hur hänsyn ska kunna tas till olika forskningsområdens förutsättningar. (sid. 247-248) Utredaren presenterar dock inte något förslag till hur utvärderingar av forskningens kvalitet ska kunna bli ett komplement till andra fördelningsgrunder och i den meningen är uppdraget inte fullföljt. Istället förs en argumentation om varför utvärdering av vetenskaplig kvalitet är olämpligt som komponent i ett resurstilldelningssystem. Vi finner det mycket anmärkningsvärt att utredaren därigenom inte gjort en allsidig belysning av frågan och att det därför inte finns något förslag att ta ställning till när det gäller det som är kärnan i uppdraget. Det som återstår är en rad andra förslag till grunder för fördelning av medel.
Vi behandlar förslagen nedan i den ordning de presenteras i kapitel 9, sid. 113-114. 1. Kollegial eller s.k. peer review-bedömning av forskningens kvalitet införs inte De grunder som anförs för att inte ge konkreta förslag är inte övertygande argumenterade och underbyggda. Den ekonomiska aspekten, det kostar att göra utvärderingar, är naturligtvis en realitet, men inte av en sådan tyngd att den kan vara avgörande. Utredaren har i sina resonemang antagit att utvärderingarna ska göras med fyra års intervall. Detta är antagligen för ofta. Man bör arbeta med minst fem års intervall eller kanske t.o.m. sex år. De beräknade 80 miljonerna för en total kollegial granskning blir utslaget på fem eller sex år är ett rimligt belopp. Utredaren borde ha arbetat med olika utvärderingsintervall och med modeller där inte alla vetenskapsområden utvärderas samtidigt Detta som exempel på att frågan om utvärdering är ytligt och ofullständigt behandlad. En djupare analys av peer review-metodiken skulle också ha kunnat resonera om hur relevans- och påverkansaspekter skulle ha kunnat vara en ytterligare dimension i den typen av kvalitetsgranskning. Därmed inte sagt att detta nödvändigtvis skulle byggas in i en peer review-bedömning, men borde övervägts i en grundligare analys. Ett annat skäl för att inte ge förslag om resursfördelning grundat på peerreview-utvärderingar är att de kan vara otillförlitliga, d.v.s. olika bedömare kan komma fram till olika värderingar och graderingar av ett och samma fenomen. Detta är sant men också trivialt. All vetenskaplig produktion ska underkastas granskning av kolleger på ett eller annat sätt. Bibliometriska analyser bygger på publikationer som granskats av sakkunniga kolleger. Som ofta påpekats ger bibliometriska analyser en skenbar precision eftersom det bakom varje publicerad och citerad artikel finns ett antal kolleger som vanligen haft olika bedömningar av grundmaterialet. En peer review-utvärdering låter förvisso detta faktum komma till uttryck men är principiellt inte mera besvärande än att bibliometri också är behäftad med variation i bedömningar, men dold efter publicering. Därtill bör noteras att också bibliometriska mått kan ge olika utfall. Det finns en uppenbar fördel med peer review-utvärdering som utredaren inte nämner, nämligen att alla forskningsområden kan bedömas på lika villkor av kolleger inom samma fält. Man slipper den diskussion som tar fasta på att t.ex. 2 (7)
humanistisk forskning har publiceringsvanor som inte lämpar sig för bibliometri. Den kollegiala bedömningen som modell avvisas också efter några enkla simuleringar av utfall med antagande om vissa betygssteg och storlek på forskningsområden. Detta är ett för svagt underlag för slutsatsen. Här behövs ytterligare underlag och exempelvis simuleringar som använder andra betygssteg. Utredaren förbiser en viktig effekt av kollegiala bedömningar, nämligen att de ger en grund för diskussion och argumentation om vetenskaplig kvalitet och resursfördelning. Den bibliometriska analysen blir aldrig en meningsfull samtalspartner. Den kollegiala bedömningen kan snarare bli ett korrektiv till bibliometriska analyser eftersom framstående forskare, oavsett forskningsfält, är väl medvetna om de taktiska manövrer bland forskare som bibliometri ger upphov till. De taktiska manövrerna stannar dock inte hos forskaran. I Science, 2012 publicerades en artikel som visar att tidskriftsredaktörer försöker påverka forskare som skickat in manuskript för granskning till att lägga till referenser som kommer från redaktörernas egna tidskrifter. Tidskriften får då högre citeringstal jämfört med om sådan påverkan inte skett. FAS vill således behålla bibliometri som en indikator, men vi menar att det finns flera goda skäl att ha en kompletterande kollegial utvärdering. Om en sådan görs vart femte eller sjätte år är också kostnaderna hanterbara. En särskild kvalitet hos peer review-utvärderingar är att de kan göra bedömningar av lovande och nya områden och ge underlag för strategiska vägval som bibliometriska studier knappast kan ge då de huvudsakligen speglar vad som redan är starka och etablerade områden. Peer review lämpar sig också väl för bedömning av tvärvetenskaplig forskning och de flesta stora forskningsutmaningar lämpar sig för tvärvetenskapliga ansatser. 2. Viktfaktorerna för externa medel görs dynamiska och bygger på data från SCB:s 12 forskningsområden Förslaget att ersätta nuvarande viktningar är rimligt. Det nuvarande systemet är mycket ungefärligt och inte klart relaterat till empiri om forskningsaktivitet. Det nya systemet skulle ha en närmare koppling mellan vikter och forskning. FAS är positivt till detta förslag, men det måste bearbetas vidare. Bland annat är SCB:s klassifikationer inte en rättvisande spegling av forskningspraktiken. 3 (7)
Arbetsvetenskap ligger t.ex. under en överrubrik som avser teknikforskning men finns inom flera andra områden. Generellt bör ett klassifikationssystem utvecklas som både ger rättvisa åt och främjar tvärvetenskaplig forskning. 3. Endast bidragsintäkter vunna i vetenskaplig konkurrens räknas som externa medel FAS tillstyrker detta förslag under förutsättning att uppdragsforskning ingår i samverkansindikatorn. 4. Vetenskaplig excellens belönas genom att medel från ERC och VR viktas högre än andra externa medel Utredaren förslår att beviljade bidrag från VR och ERC ska ges högre vikt i omfördelningsmodellen än bidrag från andra finansiärer. Grunden för detta förslag är påståendet att dessa medel vinns i främst nationell och europeisk konkurrens. Argumentet för att så skulle vara fallet är att dessa två finansiärer täcker samtliga ämnesområden. Det senare är sant, men av det följer inte med nödvändighet att medel fördelas efter hög konkurrens och excellens. Det avgörande är naturligtvis hur söktryck, beviljandegrad och granskningsprocedurer går till. Föreställningen att t.ex. VR:s samtliga bidrag skulle gå till forskning av högre kvalitet än FAS bidrag inom jämförbara områden återstår att visa. Hur ett specifikt områdesansvar, t.ex. FAS, i sig skulle leda till lägre vetenskaplig kvalitet är inte närmare preciserat av utredaren. Beträffande VR kan konstateras att det sedan 2001 ålegat VR att ansvara för en stor mängd områdesspecifika utlysningar. På vilket sätt sådana utlysningar ska rendera eventuellt lägre vikter än de icke-specifika utlysningarna inom VR är obesvarat. Beträffande kvalitetsgranskningen av fullständiga projekansökningar insända till FAS gäller att alltid en extern vetenskaplig granskare anlitas, medan VR inte regelmässigt har det förfarandet. En betydande stiftelse som finansiär av humanistisk-samhällsvetenskaplig forskning i vid mening är Riksbankens Jubileumsfond (RJ). Konkurrensen om dessa medel är utomordentligt hög och hypotesen att forskning som utförs med finansiering från RJ skulle hålla lägre vetenskaplig kvalitet än forskning finansierad av Ämnesrådet för humaniora och samhällsvetenskap vid VR återstår att pröva. Innan så skett är förslaget om olika viktning inte seriöst. 4 (7)
Svenska forskare kan också konkurrera om medel från t.ex. National Institutes of Health i U.S.A. och inte heller forskning finansierad på det sättet kan antas med automatik hålla lägre kvalitet än forskning finansierad av VR eller ERC. 5. En nationell databas, som utöver WoS, omfattar humaniora och samhällsvetenskap samt konstnärlig forskning byggs ut (SwePub) och formar tillsammans med WoS en integrerad forskningsdatabas för svensk forskning. Uppdraget utförs av KB i samverkan med VR och i nära dialog med lärosätena Utredaren föreslår att beträffande publikationer ska WoS överges till förmån för en nykonstruktion byggd på SwePub. Där registreras tidskriftsartiklar men också andra publikationsformer såsom böcker och bokkapitel. Detta förslag kan övervägas, men den uppenbara nackdelen, frånvaron av möjligheten att göra bibliometriska analyser är mycket påtaglig. Utredaren antyder att SwePub behöver utvecklas för att tillåta sådana analyser, men framför allt föreslås en kombination av impactpoäng och förhandlade vikter i de fall där publikationerna inte medger impactanalyser. Detta förslag är bristfälligt, dels därför att man tappar den internationella jämförelsemöjligheten, dels därför att utredaren föreslår att förhandlingen av vikter ska överlåtas till intresseorganisationen SUHF. Detta är ett besvärligt sätt att komma åt det som en kollegial bedömning åstadkommer på ett mycket grundligare vis. Denna fråga bör dock utredas vidare. 6. Konstnärlig forskning kan ännu inte ingå i systemet FAS instämmer i den bedömningen. 7. Publikationer från sjukhus och forskningsinstitut räknas inte in Vad utredaren tycker i denna fråga är oklart. På s. 113 anges att publikationer från sjukhus och forskningsinstitut inte ska ingå. I bilaga 2 förs däremot ett resonemang som tyder på att man i fall av samförfattarskap eller där författaren har dubbla tillhörigheter mellan universitet/högskola och sjukhus/institut skulle kunna hänföra en del av publikationen till respektive universitet/- högskola. Detta förefaller rimligt. FAS förespråkar alltså att det utvecklas en modell som gör det möjligt att hänföra delar av samförfattade publikationer, eller fall av delat huvudmannaskap, till berört universitet/högskola. 5 (7)
Det finns en skillnad mellan universitetssjukhus och övriga sjukhus. Vid universitetssjukhus har forskarna ofta en anknytning till sjukhuset. Dessa publikationer bör i sin helhet tillgodoräknas universitetet. FAS anser vidare att publikationer som produceras i samverkan mellan sjukvården och universitet bör ingå i fördelningsunderlaget, annars finns risk att den kliniska forskningen försvåras. Universitetssjukhusens publikationsproduktion är också svår att bryta ut från lärosätenas produktion då uppdelningen efter publikationens adress eller författarens anställningsform båda är tveksamma. 8. Samverkan premieras i proportion till intäkterna från uppdragsutbildning och uppdragsforskning Det är rimligt att medel från uppdragsutbildning och uppdragsforskning används som ett mått på samverkan när de inte längre ingår i externa medel som grund för omfördelning. Utredaren konstaterar dock att samverkan är mycket mera omfattande än vad som fångas in av uppdrag, men för inte det konstaterandet vidare till några förslag. 9. Ett pilotprojekt genomförs för att mäta samverkan genom att universitet och högskolor rapporterar en portfolio av fallstudier över forskningens externa påverkan Förslaget om ett pilotprojekt inom samverkansområdet är bra. Dock bör det göras mera förutsättningslöst och i det här skedet inte kopplat till några omfördelningsprocent. Detta pilotprojekt bör genomföras innan man inför uppdrag som indikator på samverkan så att samverkan kan ges ett mera nyanserat innehåll. Regionala forskningsinstitut finansierade av landsting och regioner står för viktiga insatser som representerar samverkan. Företag och offentlig sektor är t.ex. intressanta i en sådan fördjupad analys. 10. Omfördelningen av basresurser ska vart år omfatta 10 procent av föregående års basresurs Med nuvarande modell är omfördelningen mycket liten och FAS tillstyrker en modell som ger större omfördelning. Hur ofta omfördelning bör göras beror på hur en kombination av peer review och bibliometri utformas. Det mesta talar för att omfördelning inte görs varje år, men tillräckligt ofta för att förändringarna inte blir så stora att universitet och högskolor får svårigheter att hantera dem. 6 (7)
Sammanfattning Sammanfattningsvis avvisar FAS förslaget till prestationsbaserad resurstilldelning så som det nu föreligger. Förslaget är i flera avseenden bristfälligt argumenterat och konsekvenserna av förslagen otillräckligt belysta. De alternativ som diskuteras ges inte en allsidig och seriös belysning. Vissa delförslag verkar rimliga att utreda närmare men FAS avvisar att de införs enligt förslagen i rapporten. Det gäller punkterna 2 viktfaktorer, 3 bidragsintäkter, 5 en nationell databas, och punkterna 7-10 publikationer från sjukhus och forskningsinstitut, pilotprojekt, respektive omfördelningen av basresurser. FAS avvisar utredarens val att inte presentera någon modell för peer review, punkt 1. Den särskilda höga viktning av forskningsmedel som föreslås beträffande VR och ERC avvisas, punkt 4. Detta yttrande har utarbetats av representanter för FAS styrelse, professorerna Johan Fritzell, Kjell Torén och Annika Härenstam samt huvudsekreteraren vid FAS, Erland Hjelmquist. För Forskningsrådet för arbetsliv och socialvetenskap Erland Hjelmquist Referens Wilhite, A.W., & Fong, E.A. (2012) Coercive citation in academic publishing. Science, 335, 542-543. Kopia: Socialdepartementet 7 (7)