1 HUR SKA UTVÄRDERINGSRESULTATEN OMVANDLAS TILL RESURSER?

1 HUR SKA UTVÄRDERINGSRESULTATEN OMVANDLAS TILL RESURSER? Detta är ett utkast till ett kapitel i den utredning som ska lämnas in till regeringen 31 december som svar på regeringsuppdraget att lämna förslag på en modell för resursfördelning. Ytterligare information finns på Vetenskapsrådets hemsida, inklusive en power point-presentation av FOKUS: http://www.vr.se/omvetenskapsradet/regeringsuppdrag/regeringsuppdrag/modellforfordelningavforskningsresursertill larosaten.4.5a947f0d145b21c1709a7.html 1.1 Sammanfattning Vetenskapsrådet förutsätter att andelen som omfördelas av basanslaget uppgår till 20 procent som i dagens modell, och föreslår utifrån denna förutsättning följande: Att komponenterna viktas till 70:15:15 för vetenskaplig kvalitet, kvalitetsutvecklande faktorer och genomslag utanför akademin. För att kunna räkna om utvärderingens resultat till resurser används ett volymmått baserat på fördelning av basanslaget mellan forskningsområden inom lärosätet. Att modellen utformas så att omfattningen av omfördelningar av resurser mellan lärosäten inte blir alltför stora, men inte heller försumbara. Att omfördelning sker från lärosäten som ligger under snittet till de som ligger över snittet. För vetenskaplig kvalitet bör fördelningsmodellen kunna tillåta omfördelning mellan forskningsområden inom varje vetenskapsområde. Detta förutsätter kalibrering av betyg mellan paneler inom varje vetenskapsområde. Att betyg för vetenskaplig kvalitet i första hand ges i form av betygsprofiler på forskningsområdesnivå. Att betyg för kvalitetsutvecklande faktorer och genomslag utanför akademin ges i form av ett sammanvägt betyg för vardera komponent på vetenskapsområdesnivå. Att en icke-linjär viktning av betygen tillämpas då resursfördelningen beräknas. 1.2 Principer för resursfördelning I dag omfördelas 20 procent av basanslagen för forskning och forskarutbildning från regeringen till universitet och högskolor på basis av två kvalitetsindikatorer. Nya medel som tillförs fördelas också enligt modellen. 1 Vetenskapsrådet förutsätter tills vidare att denna andel fortsätter vara densamma. Beräkningarna som presenteras här utgår således från att 20 procent av basanslagen till lärosätena omfördelas med den föreslagna fördelningsnyckeln 70:15:15 för de tre komponenterna. Det innebär att av de totala basanslagen kommer 14 procent att kunna omfördelas på basis av vetenskaplig kvalitet och 3 procent vardera på basis av kvalitetsutvecklande faktorer och genomslag utanför akademin. 2 Vidare föreslås att ett lärosäte inte ska kunna 1 Den faktiska omfördelningen har varit relativt blygsam. Det lärosäte som förlorat mest medel har sammanlagt förlorat 14 miljoner kronor under perioden 2011 2013. Det lärosäte som tilldelats mest medel har tilldelats 6 miljoner kronor under samma period. Sammanlagt har 129 miljoner kronor faktiskt omfördelats sedan prestationsbaserad resurstilldelning infördes, dvs. under perioden 2010 2013. 2 I modellen föreslås att vetenskaplig kvalitet viktas till 70 procent av den andel av basanslaget som är prestationsbaserat, dvs. 70 % av 20 %, vilket är detsamma som 14 % av den prestationsbaserade andelen. Kvalitetsutvecklande faktorer och genomslag utanför akademin viktas till 15 % vardera av 20 %, dvs. 3 % vardera av den prestationsbaserade delen. 1

förlora mer än den procentandel som omfördelas, dvs. 20 procent. Däremot kan ett lärosäte vinna en större andel än 20 procent beroende på utvärderingens resultat. En övergripande princip är att omfördelning av medel mellan lärosäten endast ska bero på kvalitetsskillnader, dvs. om alla får samma betyg sker ingen omfördelning av medel. Vetenskapsrådets förslag innebär separata betyg för vetenskaplig kvalitet, respektive kvalitetsutvecklande faktorer och genomslag utanför akademin per lärosäte och område (forskningsområde för vetenskaplig kvalitet och vetenskapsområde för de andra två komponenterna). Utöver dessa övergripande principer, föreslås ett antal principer för resursfördelning som diskuteras nedan. 1.2.1 Betyg relateras till forskningsområdets relativa storlek vid lärosätet Basanslaget har olika betydelse inom olika vetenskapsområden i den meningen att basanslagets andel av den totala finansieringen varierar från område till område. Det finansierar ungefär 49, 36, 27, 46 respektive 61 procent av de totala driftskostnaderna för forskning inom naturvetenskap 3, teknik, medicin, samhällsvetenskap respektive humaniora, se bilaga 2. Tillgången till andra finansieringskällor påverkar också antalet forskare och doktorander som kan anställas och således antalet heltidsekvivalenter och publikationer. Vidare är laboratorievetenskaper betydligt dyrare i drift än merparten av forskningsområden inom H och S (psykologi, geografi och konst undantaget). Vetenskapsrådet föreslår att fördelningsnyckeln 70:15:15 styrs av två parametrar för varje lärosäte: ett resultatmått (dvs. betygen) som utgör den prestationsbaserade faktorn och ett volymmått som tar hänsyn till lärosätets storlek. Vad avses här med lärosätets storlek? Ett vanligt mått är antalet heltidsekvivalenter forskande personal eller volymen forskningsoutput. Ett annat volymmått kan också röra volym i termer av totala forskningsanslag. Dessa mått har dock sina begränsningar. Ett volymmått som enbart baseras på det totala antalet heltidsekvivalenter forskande personal eller volymen forskningsoutput skulle oundvikligen leda till en omfördelning av pengar mellan vetenskapsområden oavsett eventuella kvalitetsskillnader. Med ett sådant mått skulle man alltså i modellen kunna tjäna på att ha ett stort antal anställda, oavsett hur dessa har presterat. Det är inte heller rimligt att omfördela från områden som har mindre tillgång till annan finansiering, till områden som har en betydligt högre grad av extern finansiering. Vetenskapsrådet önskar inte per se premiera ett område som har mycket externfinansiering bara för att det har just detta. Ett dyrt område ska inte heller per automatik tilldelas mer pengar för att det är dyrt, utan för att forskningen inom området håller hög kvalitet. För att få en modell som endast omfördelar på grund av skillnader i kvalitet föreslås istället att betygen relateras till ett volymmått uttryckt som storleken på lärosätenas basanslag och hur dessa anslag fördelas per forskningsområde inom varje lärosäte. I bilaga 2 finns en preliminär sammanställning över fördelningen av basanslaget på nationell nivå som bygger på uppgifter som lärosätena rapporterar till SCB i en enkät. 4 Eftersom dessa SCB-data i dagsläget är så osäkra har vi dock i de simuleringar som följer använt enbart personalstatistik i form av heltidsekvivalenter (FTE) för att fördela anslagen på forskningsområden inom varje lärosäte. Vid en implementering av modellen bör kvalitetssäkrade och heltäckande uppgifter om basanslagets fördelning per forskningsområde användas. 3 Här räknas lantbruksvetenskap (forskningsområde O) till naturvetenskap (vetenskapsområde N). 4 Sammanställningen i bilaga 2 bygger på en enkätundersökning utförd av SCB som saknar rapportering från ett antal lärosäten och i vissa fall korrelerar dåligt med fördelningen av inrapporterade heltidsekvivalenter per område. I denna PM har vi därför gjort en uppskattning av hur basanslagen fördelas på olika områden för varje lärosäte genom att fördela på antalet heltidsekvivalenter samt inkludera viktning (faktorer) för varje vetenskapsområde eller forskningsområde som tar hänsyn till den varierande andel av den totala finansieringen som basanslaget utgör (utifrån fördelningen på total nationell nivå). 2

1.2.2 Omfördelning mellan forskningsområden men inte mellan vetenskapsområden Basanslaget är idag inte öronmärkt för olika vetenskaps- eller forskningsområden och FOKUS syftar inte heller till att återinföra en sådan indelning. Genom att låta lärosätena konkurrera enbart inom varje vetenskapsområde kan omfördelning mellan vetenskapsområden undvikas. I praktiken kan det dock bli omfördelningar även mellan vetenskapsområden eftersom det är lärosätet själv som fördelar sin del av basanslaget internt. Det är emellertid inget som FOKUS rår över och det är heller ingen skillnad mot dagens fördelningssystem rörande basanslaget. Vetenskapsrådet förordar inte en omfördelning mellan vetenskapsområden. Modellen ska värdera olika områden efter sin särart och därmed är det inte rimligt att jämföra vetenskaplig kvalitet eller genomslag utanför akademin mellan till exempel naturvetenskap och humaniora. Däremot föreslår Vetenskapsrådet att en omfördelning mellan forskningsområden inom ett vetenskapsområde tillåts när det gäller vetenskaplig kvalitet. I praktiken innebär det att fyra sex forskningsområden inom ett vetenskapsområde kan konkurrera med varandra (se bilaga 1 för den indelning som föreslås). Fördelen med att tillåta omfördelning mellan forskningsområden är att ett visst mått av konkurrens mellan forskningsområden införs, vilket Vetenskapsrådet tror är kvalitetsdrivande. Detta är också något som förekommer inom Vetenskapsrådets beredningsprocess i dag, där forskningsområdena i FOKUS kan översättas till Vetenskapsrådets beredningsgrupper, och vetenskapsområdena till ämnesråden. Det bör sägas att en eventuell omfördelning mellan forskningsområden inte är ett syfte i sig, utan en möjlighet att premiera särskilt starka enheter. Omfördelning av anslag mellan forskningsområden kan dock innebära en risk för att betygsinflation uppstår. En panel kan, medvetet eller omedvetet, vilja gynna ett område och därför sätta höga betyg. Av den anledningen blir betygskalibreringen mellan paneler särskilt viktig. I detta sammanhang innebär kalibreringen förenklat att sub-panelernas föreslagna betyg och betygsfördelning inom ett visst vetenskapsområde jämförs och att det då säkerställs att ett visst betyg har samma innebörd för de olika berörda sub-panelerna. Erfarenheter från såväl andra länders nationella utvärderingssystem som från Vetenskapsrådets egna beredningsprocesser visar att sådan kalibrering behövs för att säkerställa en rättvis och rättssäker betygssättning. Erfarenheterna talar också för att detta sker bäst i form av konsensusskapande fysiska möten genom samtal mellan personer som deltagit i de berörda panelernas arbete. Sammanfattningsvis förordar Vetenskapsrådet en resursfördelningsmodell som tillåter omfördelning mellan forskningsområden, men inte mellan vetenskapsområden, för komponenten vetenskaplig kvalitet. Även för komponenterna kvalitetsutvecklande faktorer och genomslag utanför akademin sker en eventuell omfördelning inom vetenskapsområdet mellan lärosätena. För att bedöma genomslag utanför akademin jämförs fallstudier inom till exempel samhällsvetenskap vid lärosäte A med fallstudier inom samhällsvetenskap vid lärosäte B osv. Omfördelningen sker från lärosäten som ligger under snittet till de som ligger över snittet. 1.2.3 Betyg: betygsprofiler och sammanvägt betyg Vetenskapsrådet föreslår att betyg för samtliga komponenter sätts av panelerna på en femgradig skala som går från 1 till 5 där 5 är högsta betyg. Tillämpningen av betygssättningen föreslås dock ske på olika sätt för komponenten vetenskaplig kvalitet respektive komponenterna kvalitetsutvecklande faktorer och genomslag utanför akademin. För bedömning av vetenskaplig kvalitet föreslås i första hand att panelerna sätter betyg på respektive utvärderingsenhets forskningsproduktion i form av betygsprofiler. Istället för att varje panel ger ett genomsnittligt betyg per utvärderad enhet, föreslås en betygsprofil för enheten där panelen anger hur stora procentuella andelar av enhetens forskningsproduktion som motsvarar varje betygssteg i skalan. Betygsprofilen för respektive enhet/forskningsområde ges på basis av en sammanvägd bedömning av det samlade underlag som står till sub-panelens förfogande (dvs. underlag som visar på enhetens spetsproduktion; underlag som visar på enhetens forskningskvalitet överlag; samt enhetens egen beskrivning av forskningskvaliteten). Det finns flera fördelar med betygsprofiler jämfört med att ge ett betyg per utvärderad enhet. Bland de främsta fördelarna är att man får en modell som dels ger större precision i betygssättningen, dels är mindre känslig för enskilda betyg. En annan fördel är att profiler ger en mer utförlig bild av kvaliteten på den utvärderade enhetens forskning. Om man använder sig av ett enda betyg kan exempelvis betyget 3 betyda att en 3

enhet har några riktigt bra forskningsprodukter, men också många sämre. Men betyg 3 kan också betyda att en enhet har en jämn och relativt hög kvalitet på sin forskningsproduktion. Detta åskådliggörs i figuren nedan som visar fiktiva betygsprofiler för två olika enheter där 5 är högsta betyg och 1 lägsta. Figur 1 Exempel på betygsprofiler för två olika enheter vid ett lärosäte där staplarna visar andelen av enhetens forskningsproduktion som fått ett visst betyg 1 5. 35% 30% 30% 25% 25% 20% 20% 15% 15% 10% 5% 10% 5% 0% 1 2 3 4 5 0% 1 2 3 4 5 Som synes har profilen till höger en mer ojämn kvalitet på sin forskningsproduktion. Med en betygsprofil blir alltså sådana skillnader visualiserade, både på nationell nivå då lärosäten jämförs inom samma vetenskapsområde, och på lärosätesnivå inom vetenskapsområdet i fråga. När panelerna levererat sina betygsprofiler, kan värdena viktas (se vidare avsnitt 1.2.4) och omräknas till ett aritmetiskt medelvärde. Detta medelbetyg (decimaltal) används sedan i algoritmen, vilket innebär större precision i samband med resursfördelningen. Betygsprofiler för bedömning av vetenskaplig kvalitet används i det brittiska Research Excellence Framework (REF) och i viss utsträckning även i det australiensiska Excellence for Research in Australia (ERA). Möjligheten att tillämpa betygprofiler i FOKUS behöver dock provas närmare i någon form av pilotstudie. Vi vill påpeka att föreliggande förslag till resursfördelningsmodell också är möjligt att tillämpa om genomsnittsbetyg skulle användas istället för betygsprofiler då förlorar man dock de fördelar med betygsprofiler som angivits ovan. För komponenterna kvalitetsutvecklande faktorer och genomslag utanför akademin är betygsprofiler mindre lämpliga att använda eftersom bedömningarna görs på en mer övergripande nivå (vetenskapsområdesnivå) och på basis av mer kvalitativt underlag. Huvudpanelerna föreslås istället sätta ett samlat genomsnittsbetyg för respektive vetenskapsområde, och det är dessa samlade snittbetyg som används i beräkningsalgoritmen för resursfördelning. 1.2.4 Betygen viktas Vetenskapsrådet föreslår alltså en femgradig betygsskala. Med en någorlunda linjär viktning skulle högsta betyg motsvara 5 och lägsta betyg 0 (exempelvis viktningen 5,4,3,2,0). Genom att vikta betygen kan man i resursfördelningsalgoritmen styra om modellen ska premiera högsta betyg ytterligare och straffa de med lägre betyg. En icke-linjär viktning används vid brittiska HEFCE:s resurstilldelning till engelska lärosäten på 4

basis av resultaten av HEFCE:s forskningsutvärderingar (viktningen 9,3,0,0,0). 5 En sådan ganska extrem viktning belönar den allra bästa forskningen genom en väldigt sned viktning mot toppbetygen som ökar exponentiellt. Det innebär att de som får betyget *2 eller lägre, inte får några pengar över huvudtaget. Det kan vara ett incitament för ett lärosäte att satsa mer på den allra bästa forskningen och att fokusera på smala forskningsområden där kvaliteten redan är hög. I Australiens ERA viktas också betygen, men något mindre extremt (viktningen 7,3,1,0,0). Målet med FOKUS är att vara kvalitetsdrivande genom att premiera prestation och kvalitet och att höja forskningens kvalitet överlag, inte enbart premiera excellens. Vetenskapsrådet föreslår därför tills vidare en relativt modest icke-linjär viktning på 6,4,3,2,0, där alltså betyg 5 översätts till 6, och betyg 1 till 0. Syftet är att ge lärosätena incitament att satsa på den bästa forskningen, samtidigt som lärosäten som håller en jämn och hög kvalitet också premieras. Genom att viktningen är mindre extrem än i exempelvis England och Australien dämpas samtidigt omfördelningseffekterna vilket framgår av de simuleringar som gjorts, se vidare nedan. Vid betygsprofiler sker viktningen av värdena i profilen innan det aritmetiska medelvärdet räknas ut. Lärosätets procentandel av produktionsvolymen vid varje skalsteg ingår också i beräkningen av viktningen. Vid genomsnittsbetyg, där ett enda betyg ges per vetenskapsområde för de respektive komponenterna kvalitetsutvecklande faktorer och genomslag utanför akademin, sker viktningen efter att betyget har satts. I avsnitt 1.3.1. simuleras effekterna av olika viktningar för betygsprofiler respektive sammanvägda betyg. 1.2.5 Sammanfattning principer Andelen av basanslaget som omfördelas uppgår till 20 procent som i dagens modell. För att kunna räkna om utvärderingens resultat till resurser används ett volymmått baserat på fördelning av basanslaget mellan forskningsområden inom lärosätet, detta för att minimera annan inverkan på omfördelningen än kvalitetsskillnader. Omfördelning av anslag kan, vad gäller den vetenskapliga kvaliteten, ske mellan forskningsområden inom ett vetenskapsområde, men inte mellan vetenskapsområden. Betyg ges i form av betygsprofiler för vetenskaplig kvalitet och som sammanvägt betyg för kvalitetsutvecklande faktorer och genomslag utanför akademin. En icke-linjär viktning av betygen tillämpas då resursfördelningen beräknas, förslagsvis 6,4,3,2,0. 1.3 Simuleringar De simuleringar som presenteras här ligger till grund för de ställningstaganden som gjorts i förslaget till resursfördelningsalgoritmen. I ett framtida FOKUS är det naturligtvis svårt att veta hur panelerna kommer att sätta sina betyg och om de kommer att hålla sig i mitten av betygsskalan eller använda hela skalan. Simuleringarna i tabellerna ska därför i huvudsak användas för att förstå hur valet av olika principer i algoritmen till exempel hur kraftigt betygen viktas kan påverka en framtida omfördelning på ett övergripande plan, inte som exakta förutsägelser om utfallet på detaljnivå. Vår utgångspunkt har dock varit att den algoritm som tas fram ska kunna hantera en stor betygsspridning utan att ge alltför kraftiga omfördelningar. 1.3.1 Simuleringar av utfall med olika viktning För vetenskaplig kvalitet har två olika metoder använts för att simulera panelernas betyg per forskningsområde: bibliometriska uppgifter på lärosätesnivå (fältnormerad medelcitering) och betyg på ansökningar till Vetenskapsrådet. För de flesta lärosäten och ämnen finns en korrelation mellan de två olika metoderna men spridningen i betygssteg är överlag mindre för de betyg som getts i beredningen jämfört med bibliometriska data. Detta har påverkat utfallet eftersom en större betygsspridning ger större svängningar. För att visa på 5 Sedan 2012 är viktningen 9,3,0,0,0, innan dess var viktningen 9,3,1,0,0. 5

skillnaderna har simuleringar gjorts dels för utfall om betygsprofiler används, dels för utfall om ett sammanvägt betyg ges. 1.3.1.1 Viktning av betyg för vetenskaplig kvalitet betygsprofiler Simuleringar har här endast kunnat göras med betyg från Vetenskapsrådets beredning. Eftersom betygsspridningen inte är så stor enligt simuleringarna många betyg ligger runt 3 och 4 (omräknat från Vetenskapsrådets sjugradiga skala) är omfördelningarna som synes i de två kolumnerna längst till höger ganska modesta jämfört med då medelciteringar använts (tabell 2). Hur stor spridningen i betygen kommer att bli i FOKUS kan vi inte sia om, men man kan anta att betygsspridningen kommer att vara större än i Vetenskapsrådets beredningsgrupper. I simuleringarna förklarar den modesta betygsspridningen varför det inte är någon skillnad mellan en mer linjär viktning (rad 1) och den icke-linjära viktning som Vetenskapsrådet föreslår (rad 2). Eftersom medelciteringar erfarenhetsmässigt innebär mer extrema betyg än betygen från Vetenskapsrådets beredning vilka innehåller få extremvärden talar allting för att omfördelningen i praktiken blir större då viktningen sätts till 6,4,3,2,0 (rad 2) än till den mer linjära 5,4,3,2,0 (rad 1). Det innebär att än mer uttalade viktningar, som de som används av HEFCE (rad 4) och australiensiska ERA (rad 3), troligtvis skulle medföra alltför stora omfördelningar. Rad 2 i tabell 1 kan lämpligen jämföras med rad 5 i tabell 2. Båda dessa bygger på simuleringar av betyg från Vetenskapsrådets beredning. I simuleringen med betygsprofiler (tabell 1) blir skillnaderna vad gäller vinst och förlust mer uttalade (1,9 % respektive 3,3 %) jämfört med simuleringarna med sammanvägt genomsnittsbetyg i tabell 2 (vinst max 1 % och förlust max 2,8 %). Detta beror på att betygsprofiler med den föreslagna viktningen premierar högre betyg och straffar låga betyg i högre grad än en modell som endast beräknas på sammanvägt genomsnittsbetyg. Input parametrar Scenario Betyg Volym Viktning Omf. tkr Omf. % basanslag Resultat Max förlust % Max vinst % 1 B.profil kr(fte) 5,4,3,2,0 36 100 0,2-3,3 1,9 2 B.profil kr(fte) 6,4,3,2,0 37 900 0,2-3,3 1,9 3 B.profil kr(fte) 7,3,1,0,0 118 380 0,8-7,3 4,4 4 B.profil kr(fte) 9,3,0,0,0 216 700 1,4-11,0 3,6 Tabell 1. Sammanfattning av simuleringar med olika viktning av betygsprofiler, där totalt 14 % (dvs. 70 % av 20 %) av totala basanlaget för FoFU omfördelas, dvs. c:a 2,2 miljarder kronor. 1.3.1.2 Viktning av betyg för vetenskaplig kvalitet sammanvägt betyg Simuleringar av utfall har också gjorts med sammanvägda betyg, dvs. då ett enda betyg har getts till en utvärderad enhet istället för en betygsprofil. Här har både bibliometriska data (raderna 1 4) och betyg från Vetenskapsrådets beredning (rad 5) kunnat användas. Modellen med sammanvägda betyg är känsligare för betygssättningen för enskilda forskningsområden och för lärosäten som endast deltar med ett mindre antal forskningsområden i utvärderingen. Om ett betyg för ett forskningsområde inom till exempel Karolinska institutet, som beräknas delta i fyra till fem forskningsområden, ändras upp eller ner ett steg innebär det stora skillnader för hur mycket medel som tilldelas universitetet. I tabellen nedan framgår att beräkningarna med en linjär viktning av betygen (rad 1) leder till omfördelningar mellan lärosätena på omiljonering +/- c:a 4 procent av det totala basanslaget för ett enskilt lärosäte. Om man däremot ändrar viktingen av betygen till något som i högre grad belönar toppkvalitet kommer det att generera stora omfördelningar. En icke-linjär viktning, som den i det brittiska REF (rad 4) eller den i det australiensiska ERA (rad 3), kommer att ge stora omfördelningar där flera lärosäten nollas, dvs. får en minskning på 14 procent, och några kan få höjningar uppåt 20 procent. 6

Input parametrar Scenario Betyg Volym Viktning Omf. tkr Omf. % basanslag Resultat Max förlust % Max vinst % 1 Mcit kr(fte) 5,4,3,2,0 87 200 0,6-4,1 3,6 2 Mcit kr(fte) 6,4,3,2,0 101 800 0,7-4,4 5,8 3 Mcit kr(fte) 7,3,1,0,0 266 600 1,7-10,2 13,9 4 Mcit kr(fte) 9,3,0,0,0 390 175 2,5-14,0 19,0 5 VR-BG kr(fte) 6,4,3,2,0 66 425 0,4-2,8 1,0 Tabell 2. Sammanfattning av simuleringar med olika viktning av genomsnittsbetyg, där totalt 14 % (dvs 70 % av 20 %) av totala basanlaget för FoFU omfördelas, dvs. c:a 2,2 miljarder kronor. Med den viktning som Vetenskapsrådet föreslår (rad 2) blir höjningen och sänkningen som mest 4 6 procent om genomsnittsbetyg används. Rad 5 visar en simulering gjord på betyg från Vetenskapsrådets beredning. Som framgår blir förluster och vinster mindre än om man använder sig av medelcitering som grund för simuleringen (rad 2). Med medelciteringar blir betygen som nämnts mer extrema och då blir också omfördelningarna större. Det är som sagt viktigt att understryka att vi inte vet vilka betyg framtida paneler i FOKUS skulle ge och att simuleringarna av den anledningen är osäkra. 1.3.1.3 Viktning av betyg för kvalitetsutvecklande faktorer och genomslag utanför akademin Eftersom inga realistiska betyg finns att tillgå presenteras inga simuleringar för dessa två komponenter. Panelerna föreslås alltså sätta ett sammanvägt betyg per komponent och per vetenskapsområde för varje lärosäte. Med sammanvägda betyg blir, som redan nämnts, utfallet för ett enskilt lärosäte än mer känsligt för enskilda betyg och för viktningen av betygen, särskilt för lärosäten som deltar med få forskningsområden. Vetenskapsrådet bedömer dock som sagt att betygsprofiler inte lämpar sig för komponenterna kvalitetsutvecklande faktorer och genomslag utanför akademin. Som mest kan ett lärosäte förlora sammanlagt sex procent för dessa komponenter. Hur stor vinsten kan bli beror förstås på utvärderingsresultaten, men också på hur betygen viktas. Samma viktning som för vetenskaplig kvalitet föreslås tills vidare, dvs. 6,4,3,2,0. En pilotstudie för att bättre kunna förutse effekterna av en sådan viktning bedöms som angelägen. 1.3.2 Slutsatser av simuleringarna De preliminära simuleringarna visar att modellen är känsligast för själva viktningen av betygen. Simuleringarna med betygsprofiler visar överlag inte på så stora omfördelningar. Det beror dels på att dessa simulerats med betyg från Vetenskapsrådets beredning som har en mindre betygsspridning på aggregerad lärosätesnivå jämfört med medelcitering. Det beror också på att betygsprofiler är mindre känsliga för enskilda betyg, vilket är en av anledningarna till att Vetenskapsrådet föreslår betygsprofiler för komponenten vetenskaplig kvalitet som väger tyngst med 70 procent. Vetenskapsrådet föreslår viktningen 6,4,3,2,0 som även kan hantera en större betygsspridning utan att få för alltför stor effekt på omfördelningen. Även om vi inte vet vilka betyg framtida paneler kommer att ge, kan man anta att betygsspridningen kommer att vara större än i Vetenskapsrådets beredningsgrupper. En sådan viktning bedöms som rimlig och bör kunna ge lärosätena incitament att satsa på den bästa forskningen, samtidigt som lärosäten som håller en jämn och hög kvalitet också premieras. Simuleringarna med sammanvägda betyg visar på stora skillnader mellan en mer linjär och de icke-linjära viktningarna. Enligt beräkningarna skulle med en linjär viktning (5,4,3,2,0) endast 3 4 procent av medlen för omfördelning faktiskt flyttas mellan lärosätena, vilket motsvarar runt 0,5 procent av basanslaget. Lärosätena som förlorar mest skulle kunna tappa upp till 5 procent av sitt anslag. Den mest extrema viktningen på 9,3,0,0,0 skulle dock leda till en omfördelning av runt 400 miljoner kronor vilket motsvarar 18 19 procent av medlen som kan omfördelas och minst 2,5 procent av det totala basanslaget. Lärosätet som förlorar mest skulle tappa 7

14 procent (dvs. maxbeloppet för vetenskaplig kvalitet) och några lärosäten skulle öka sina anslag reellt. Dessutom skulle man få en modell som är extremt känslig för enskilda betyg och där till exempel enstaka 5:or kan få väldigt stor effekt på omfördelningen. Inga simuleringar har genomförts för komponenterna kvalitetsutvecklande faktorer och genomslag utanför akademin eftersom inga realistiska underlag finns att tillgå. Avslutningsvis bedömer Vetenskapsrådet att pilotstudier är nödvändiga för att kunna visa vilka konsekvenserna av förslaget skulle kunna tänkas bli, det gäller kanske särskilt komponenterna kvalitetsutvecklande faktorer och genomslag utanför akademin som i sammanhanget är mindre prövade delar av forskningsutvärderingar. 8

Bilaga 1. Preliminär indelning i vetenskapsområden och forskningsområden Vetenskapsområde Forskningsområde A Matematik B Fysik N Naturvetenskap och lantbruksvetenskap C D Kemi Geovetenskap och miljövetenskap inkl. klimatforskning E O Biologi Lantbruksvetenskap T M S Teknik Medicin Samhällsvetenskap F G H I J K L M N P Q R S Kemiteknik, materialteknik, nanoteknik och teknisk mekanik Samhällsbyggnads- och naturresursteknik Datavetenskap, signaler och system och elektronik Bioteknik och medicinsk teknik Medicinska grundvetenskaper I Medicinska grundvetenskaper II Klinisk medicin I Klinisk medicin II Vård- och hälsovetenskap Psykologi Ekonomi inkl. ekonomisk och social geografi och industriell ekonomi Utbildningsvetenskap Sociologi, antropologi, etnologi, kulturstudier och genus H Humaniora och konstnärlig forskning T U V W X Statsvetenskap och juridik Historia och arkeologi Språk, litteratur och estetiska vetenskaper Filosofi, etik och religionsvetenskap Konstnärlig forskning 9

Bilaga 2 Fördelningen av basanslagets andel av totala driftskostnader per forskningsområde 6 6 SCB 10