Forskningskvalitetsutvärdering i Sverige Obs pågående arbete SUHF Forskningsfinansiering för administratörer 5 december 2014 Sara Monaco
UoH intäkter för forskning och forskarutbildning 2013 Företag i Sverige Org. utan 4% vinstsyfte inkl. stift. 13% Utl. 2% Övrigt 1% Prestationsbaserat EU 5% Kommuner och landsting 4% ALF-medel 4% Direkta anslag 40% Övriga statliga myndigheter 9% Forskningsråd 18%
UPPDRAG (14 mars 2013): Att i samråd med Forte, Formas och VINNOVA utreda och lämna förslag till en modell för resursfördelning till universitet och högskolor som innefattar kollegial bedömning av forskningens kvalitet och relevans Göra det möjligt att fördela resurser på ett sådant sätt att det premierar kvalitet och prestation i forskning Bedömning av vetenskaplig kvalitet och av forskningens relevans och nytta för samhället Möjliggöra långsiktig planering på lärosätena Bör göras utifrån resp. forskningsområdes förutsättningar och områdesvis vart fjärde till sjätte år Kan innefatta indikatorer Ska redovisas 31 december 2014 Regeringsbeslut I:8 U2013/1700/F, 14 mars 2013
Utvärderingsmodellen bedömningskomponenter och föreslagen viktning Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig/ konstnärlig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin All forskning utvärderas samtidigt vart sjätte år på sikt.
Rapporterande enheter 5 vetenskapsområden NL T M S HK 24 forskningsområden A B C D E F B H I J K L M N O P Q R S T U V W X Bygger på SCB:s och UKÄ:s klassificeringssystem Hänsyn kommer att tas till tvärvetenskap
Rapporterande enheter
Insamling av underlag till panelerna Huvudprinciper: Minimera arbetsbördan för den enskilda forskaren Använda så mycket befintliga data som möjligt Uppgifter Ekonomi Ekonomi - externa bidrag Personal Doktorander Studenter Examina Publikationer Citeringar Fallstudier Egna beskrivningar Ansvarig (system) UKÄ/SCB VR (SweCRIS) UKÄ/SCB UKÄ UKÄ UKÄ KB (SwePub) VR (WoS data) UO (Prisma) UO (Prisma)
Panelstruktur Ordförandemöten ca 400 panelmedlemmar ca 500 externa granskare
Bakgrundsinformation till panelerna Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Egen beskrivning: forskningsprofil (t.ex. inriktning, tvärvetenskap) lärosätets vision och strategi organisation, ledning, styrning och rekrytering infrastruktur (tillgång till) Kvantitativa uppgifter: intäkter för forskning och forskarutbildning personalstatistik forskarutbildning publikationsprofiler Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin
Vetenskaplig/konstnärlig kvalitet Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Vikt: 70 %, baserat på kvalitet i forskningsproduktionen på nivå forskningsområde. Kriterier: nytänkande och originalitet, betydelse för forskningsområdet, samt vetenskaplig tillförlitlighet och stringens. Panelernas omdömen omfattar toppresultat och kvalitet och potential överlag, dvs. spets och övergripande kvalitet. Inför betygssättning ska enhetens produktivitet beaktas, dvs. forskningsvolym i relation till personella och ekonomiska resurser. Resurseffektivitet ska premieras om två enheter uppvisar lika hög kvalitet.
Vetenskaplig/konstnärlig kvalitet Underlag till panelerna Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Egen beskrivning För att bedöma spets : - sakkunniggranskning (dvs. läsning/motsv.) av verk inom alla forskningsområden, görs av samtliga paneler Alternativ för att bedöma övergripande kvalitet: - citeringsanalys - extern sakkunniggranskning
Vetenskaplig/konstnärlig kvalitet Underlag till panelerna Urval av forskningsproduktionen över en sexårsperiod Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Spets: 5 % av forskningsproduktionen nomineras av lärosätena som spets och granskas av panelmedlemmarna gäller samtliga forskningsområden. Övergripande kvalitet: Runt 50 % av resterande forskningsproduktion nomineras av lärosätena för att representera den övergripande produktionen gäller forskningsområden utan citeringsanalys. En enhets totala vetenskapliga produktion Totalt nomineras drygt hälften av produktionen för dessa områden. Panelmedlemmarna använder publikationsprofilerna för att få en helhetsbild av den totala produktionen och de nominerade verken. En delmängd (ca 40 %) av de nominerade verken, väljs ut av panelmedlemmarna för bedömning av externa granskare.
Kvalitetsutvecklande faktorer Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Vikt:, bedömning på nivå vetenskapsområde Kriterier: potential för förnyelse och långsiktighet Kvalitetsutvecklande faktorer: Forskarutbildning och återväxt av nya forskare Samarbete och mobilitet inom akademin (internationellt + nationellt) Samverkan och mobilitet utanför akademin (internationellt + nationellt) Forskningens utbildningsanknytning Jämställdhet
Kvalitetsutvecklande faktorer Underlag till panelerna Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Kvantitativa uppgifter om de kvalitetsutvecklande faktorerna Korta motiveringar och kommentarer i relation till lärosätets övergripande strategier
Forskningens genomslag utanför akademin Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Definition: en tillämpning av forskning för att åstadkomma sociala, ekonomiska, miljömässiga eller kulturella effekter ( impact ) Vikt:, bedömning på nivå vetenskapsområde Kriterier: räckvidd och betydelse
Forskningens genomslag utanför akademin Underlag till panelerna Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Fallstudier, förslagsvis 2 per lägst 10 och högst 50 helårspersoner Egen beskrivning av strategier och resurser för att arbeta med resultatspridning och samverkan med det omgivande samhället, främjande av forskningsresultatens användning utanför akademin
Resultatet av utvärderingen för ett lärosäte - För vetenskaplig kvalitet: betygsprofiler per forskningsområde - För kvalitetsutvecklande faktorer och genomslag utanför akademin: ett sammanvägt betyg per vetenskapsområde - Betygsmotiveringar lämnas också av panelerna
Vad utvärderas?
Konsekvensanalys: styrkor och möjligheter Kvalitetsdrivande Inkluderande modell alla forskningsområden Möjlighet identifiera pockets of excellence, framtida potential och genomslag Kartläggning av nationellt forskningsläge, möjlighet identifiera styrkeområden, se trender Underlätta strategiska beslut på olika nivåer Bättre forskningsstatistik, bättre uppföljningar och analyser
Konsekvensanalys: svagheter och utmaningar Utmaning utvärdera tvärvetenskap och nya framväxande områden Högre kostnader (men fler fördelar) än dagens resurstilldelningsmodell Verkar konserverande? Forskarutbildning och utbildning riskerar att nedprioriteras av UoH? Fallstudier mindre prövad metod
Sammanfattningsvis föreslår Vetenskapsrådet att: remissbehandlas under 2015 Vetenskapsrådet och övriga berörda myndigheter under 2015 får i uppdrag att förbereda pilotstudier år 2016 pilotstudier med efterföljande analys och justeringar genomförs under 2016/2017 och att särskilda resurser avsätts för dessa samordningsmöjligheter med ALF respektive Vinnovas uppdrag utreds en första utvärderingsomgång genomförs under 2017/2018 implementeras successivt med en andra utvärderingsomgång 2021/2022 och därefter sexårscykler.
Tack! Mer information: www.vr.sewww.vr.se Kontakt: evaluation@vr.se