FOKUS Forskningskvalitetsutvärdering i Sverige Redovisning av ett regeringsuppdrag SUHF Forskningsadministration i fokus, 9 okt 2015 Sara Monaco och Maud Quist
UoH intäkter för forskning och forskarutbildning 2013 Företag i Sverige Org. utan 4% vinstsyfte inkl. stift. 13% Utl. 2% Övrigt 1% Prestationsbas erat 10 % (20 % fr.o.m. 2014) EU 5% Kommuner och landsting 4% ALF-medel 4% Direkta anslag 40% Övriga statliga myndigheter 9% Forskningsråd 18% Totalt ca 36 miljarder kronor
UPPDRAG (14 mars 2013): Att i samråd med Forte, Formas och Vinnova utreda och lämna förslag till en modell för resursfördelning till universitet och högskolor som innefattar kollegial bedömning av forskningens kvalitet och relevans Göra det möjligt att fördela resurser på ett sådant sätt att det premierar kvalitet och prestation i forskning Bedömning av vetenskaplig kvalitet och av forskningens relevans och nytta för samhället Möjliggöra långsiktig planering på lärosätena Bör göras utifrån resp. forskningsområdes förutsättningar och områdesvis vart fjärde till sjätte år Kan innefatta indikatorer Ska redovisas 31 december 2014 Regeringsbeslut I:8 U2013/1700/F, 14 mars 2013 Forskningskvalitetsutvärdering i Sverige FOKUS
Vetenskapsrådets utgångspunkter Kvalitetsdrivande All bedömning görs av paneler Begriplig så enkel som möjligt Transparent Rättvis Inkludera alla forskningsområden Bred tolkning av relevans och samhällsnytta Balans mellan två principer: Resurseffektiv Informativ
Arbetsprocess Förstudie nov 2012 maj 2013 (rapport publicerad på vr.se) Löpande dialog och inhämtande av synpunkter inom och utom akademin Referensgrupper Avstämning med olika intressentgrupper och berörda myndigheter Hearings med universitet och högskolor (maj 2014) Rapporten levererades december 2014 Forskningskvalitetsutvärdering i Sverige FOKUS
Steg 1: Utvärderingsmodellen bedömningskomponenter och föreslagen viktning FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig/ konstnärlig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin All forskning utvärderas samtidigt vart sjätte år på sikt. Forskningskvalitetsutvärdering i Sverige FOKUS
Rapporterande enheter 5 vetenskapsområden NL T M S HK 24 forskningsområden A B C D E F B H I J K L M N O P Q R S T U V W X Bygger på SCB:s och UKÄ:s klassificeringssystem Hänsyn kommer att tas till tvärvetenskap Forskningskvalitetsutvärdering i Sverige FOKUS
Rapporterande enheter Forskningskvalitetsutvärdering i Sverige FOKUS
Insamling av underlag till panelerna Huvudprinciper: Minimera arbetsbördan för den enskilda forskaren Använda så mycket befintliga data som möjligt Uppgifter Ekonomi Ekonomi - externa bidrag Personal Doktorander Studenter Examina Publikationer Citeringar Fallstudier Egna beskrivningar Ansvarig (system) UKÄ/SCB VR (SweCRIS) UKÄ/SCB UKÄ UKÄ UKÄ KB (SwePub) VR (WoS data) UO* (Prisma) UO (Prisma) * Utförande organisation
Vad utvärderas? Forskningskvalitetsutvärdering i Sverige FOKUS
Panelstruktur Forskningsområdespaneler Huvudpaneler ca 400 panelmedlemmar ca 500 externa granskare Ordförandemöten Forskningskvalitetsutvärdering i Sverige FOKUS
Bakgrundsinformation till panelerna FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Egen beskrivning: forskningsprofil (t.ex. inriktning, tvärvetenskap) lärosätets vision och strategi organisation, ledning, styrning och rekrytering infrastruktur (tillgång till) Kvantitativa uppgifter: intäkter för forskning och forskarutbildning personalstatistik forskarutbildning publikationsprofiler Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Forskningskvalitetsutvärdering i Sverige FOKUS
Vetenskaplig/konstnärlig kvalitet FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Vikt: 70 %, baserat på kvalitet i forskningsproduktionen på nivå forskningsområde. Kriterier: nytänkande och originalitet, betydelse för forskningsområdet, samt vetenskaplig tillförlitlighet och stringens Panelernas omdömen omfattar toppresultat och kvalitet och potential överlag, dvs. spets och övergripande kvalitet. Inför betygssättning ska enhetens produktivitet beaktas, dvs. forskningsvolym i relation till personella och ekonomiska resurser. Resurseffektivitet ska premieras om två enheter uppvisar lika hög kvalitet. Forskningskvalitetsutvärdering i Sverige FOKUS
Vetenskaplig/konstnärlig kvalitet Underlag till panelerna FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Egen beskrivning För att bedöma spets : - sakkunniggranskning (dvs. läsning/motsv.) av verk inom alla forskningsområden, görs av samtliga paneler Alternativ för att bedöma övergripande kvalitet: - citeringsanalys - extern sakkunniggranskning Särskilda mekanismer för att redovisa och bedöma tvärvetenskaplig forskning Forskningskvalitetsutvärdering i Sverige FOKUS
Vetenskaplig/konstnärlig kvalitet Underlag till panelerna Urval av forskningsproduktionen över en sexårsperiod FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Spets: 5 % av forskningsproduktionen nomineras av lärosätena som spets och granskas av panelmedlemmarna gäller samtliga forskningsområden Övergripande kvalitet: Runt 50 % av resterande forskningsproduktion nomineras av lärosätena för att representera den övergripande produktionen, ett urval läses av paneln gäller forskningsområden utan citeringsanalys. En enhets totala vetenskapliga produktion.
Kvalitetsutvecklande faktorer FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Vikt:, bedömning på nivå vetenskapsområde Kriterier: potential för förnyelse och långsiktighet Kvalitetsutvecklande faktorer: Forskarutbildning och återväxt av nya forskare Samarbete och mobilitet inom akademin (internationellt + nationellt) Samverkan och mobilitet utanför akademin (internationellt + nationellt) Forskningens utbildningsanknytning Jämställdhet Forskningskvalitetsutvärdering i Sverige FOKUS
Kvalitetsutvecklande faktorer Underlag till panelerna FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Kvantitativa uppgifter om de kvalitetsutvecklande faktorerna Egen beskrivning vad har man uppnått och hur arbetar man strategiskt Forskningskvalitetsutvärdering i Sverige FOKUS
Forskningens genomslag utanför akademin FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Definition: en tillämpning av forskning för att åstadkomma sociala, ekonomiska, miljömässiga eller kulturella effekter ( impact ) Vikt:, bedömning på nivå vetenskapsområde Kriterier: räckvidd och betydelse Forskningskvalitetsutvärdering i Sverige FOKUS
Forskningens genomslag utanför akademin Underlag till panelerna FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Fallstudier Egen beskrivning av strategier och resurser för att arbeta med resultatspridning och samverkan med det omgivande samhället, främjande av forskningsresultatens användning utanför akademin Forskningskvalitetsutvärdering i Sverige FOKUS
Resultatet av utvärderingen för ett lärosäte - För vetenskaplig kvalitet: betygsprofiler per forskningsområde - För kvalitetsutvecklande faktorer och genomslag utanför akademin: ett sammanvägt betyg per vetenskapsområde - Betygsmotiveringar lämnas också av panelerna Forskningskvalitetsutvärdering i Sverige FOKUS
Steg 2: Hur omvandla resultat till resurser? Utgångspunkter för resurstilldelningen Andelen av basanslaget som prestationsbaseras uppgår till 20 procent. Viktning 70:15:15. Ingen omfördelning om alla har samma betyg. Ev. omfördelningar mellan lärosäten: inte för stora men inte heller försumbara. En inte helt linjär viktning av betygen (6,4,3,2,0). Forskningskvalitetsutvärdering i Sverige FOKUS
Konsekvensanalys: styrkor och möjligheter Kvalitetsdrivande Inkluderande modell alla forskningsområden Möjlighet identifiera pockets of excellence, framtida potential och genomslag Kartläggning av nationellt forskningsläge, möjlighet identifiera styrkeområden, se trender Underlätta strategiska beslut på olika nivåer Bättre forskningsstatistik, bättre uppföljningar och analyser Forskningskvalitetsutvärdering i Sverige FOKUS
Konsekvensanalys: svagheter och utmaningar Utmaning utvärdera tvärvetenskap och nya framväxande områden Högre kostnader (men fler fördelar) än dagens resurstilldelningsmodell Verkar konserverande? Forskarutbildning och utbildning riskerar att nedprioriteras av UoH?
Organisation Internationellt sett vanligast att den utförande organisationen är en fristående myndighet/motsvarande (t.ex. UK: HEFCE, IT: ANVUR, FR: AERES) Australien är undantaget Australian Research Council Vetenskapsrådets förslag är organisationsneutralt, men erforderlig kompetens finns för ett genomförande Två rådgivande organ bör skapas för att följa process och implementering
Fortsättning följer (kanske) TACK!
Preliminär kostnadsuppskattning Kostnader för en utvärderingsomgång Organisation Vad Kostnader Utförande organisation(er) UoH S:a utvärderingsomgång (6 år) Paneler, personal, insamling av data etc. Koordinering, inrapportering, nomineringar etc. ca 75 miljoner kronor ca 95 miljoner kronor ca 170 miljoner kronor* *Vilket motsvarar ca 0,2 procent av det totala basanslaget (eller ca 1 procent av den prestationsbaserade andelen av basanslaget) för en sexårsperiod. Uppbyggnadskostnader Organisation Vad Direkta kostnader Utförande organisation, KB, SCB och UKÄ UoH S:a uppbyggnad Datasystem, kvalitetssäkring, administration, kommunikation etc. Datasystem, rapporteringsrutiner etc. ca 20 miljoner kronor ca 45 miljoner kronor ca 65 miljoner kronor