FOKUS Forskningskvalitetsutvärdering. Sverige. Redovisning av ett regeringsuppdrag. 19 december 2014

Transkript

1 FOKUS Forskningskvalitetsutvärdering i Sverige Redovisning av ett regeringsuppdrag 19 december 2014

2 UoH intäkter för forskning och forskarutbildning 2013 Företag i Sverige Org. utan 4% vinstsyfte inkl. stift. 13% Utl. 2% Övrigt 1% Prestationsbaserat 10 % (20 % fr.o.m. 2014) EU 5% Kommuner och landsting 4% ALF-medel 4% Direkta anslag 40% Övriga statliga myndigheter 9% Forskningsråd 18% Totalt ca 36 miljarder kronor

3 Bakgrund Tidigare utredningar kring prestationsbaserad resurstilldelning Resurser för kvalitet (SOU 2007:81), Dan Brändström Prestationsbaserad resurstilldelning av en del av basanslaget infördes 2009 Prestationsbaserad resurstilldelning för universitet och högskolor (2011, Anders Flodström) Forskningspropositionen 2012

4 UPPDRAG (14 mars 2013): Att i samråd med Forte, Formas och Vinnova utreda och lämna förslag till en modell för resursfördelning till universitet och högskolor som innefattar kollegial bedömning av forskningens kvalitet och relevans Göra det möjligt att fördela resurser på ett sådant sätt att det premierar kvalitet och prestation i forskning Bedömning av vetenskaplig kvalitet och av forskningens relevans och nytta för samhället Möjliggöra långsiktig planering på lärosätena Bör göras utifrån resp. forskningsområdes förutsättningar och områdesvis vart fjärde till sjätte år Kan innefatta indikatorer Ska redovisas 31 december 2014 Regeringsbeslut I:8 U2013/1700/F, 14 mars 2013

5 Vetenskapsrådets utgångspunkter Kvalitetsdrivande All bedömning görs av paneler Begriplig så enkel som möjligt Transparent Rättvis Inkludera alla forskningsområden Bred tolkning av relevans och samhällsnytta Balans mellan två principer: Resurseffektiv Informativ

6 Arbetsprocess Förstudie nov 2012 maj 2013 (rapport publicerad på vr.se) Löpande dialog och inhämtande av synpunkter inom och utom akademin Referensgrupper Avstämning med olika intressentgrupper och berörda myndigheter Hearings med universitet och högskolor (maj 2014)

7 Steg 1: Utvärderingsmodellen bedömningskomponenter och föreslagen viktning FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig/ konstnärlig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin All forskning utvärderas samtidigt vart sjätte år på sikt.

8 Rapporterande enheter 5 vetenskapsområden NL T M S HK 24 forskningsområden A B C D E F B H I J K L M N O P Q R S T U V W X Bygger på SCB:s och UKÄ:s klassificeringssystem Hänsyn kommer att tas till tvärvetenskap

9 Rapporterande enheter

10 Insamling av underlag till panelerna Huvudprinciper: Minimera arbetsbördan för den enskilda forskaren Använda så mycket befintliga data som möjligt Uppgifter Ekonomi Ekonomi - externa bidrag Personal Doktorander Studenter Examina Publikationer Citeringar Fallstudier Egna beskrivningar Ansvarig (system) UKÄ/SCB VR (SweCRIS) UKÄ/SCB UKÄ UKÄ UKÄ KB (SwePub) VR (WoS data) UO* (Prisma) UO (Prisma) * Utförande organisation

11 Panelstruktur Forskningsområdespaneler Huvudpaneler ca 400 panelmedlemmar ca 500 externa granskare Ordförandemöten

12 Bakgrundsinformation till panelerna FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Egen beskrivning: forskningsprofil (t.ex. inriktning, tvärvetenskap) lärosätets vision och strategi organisation, ledning, styrning och rekrytering infrastruktur (tillgång till) Kvantitativa uppgifter: intäkter för forskning och forskarutbildning personalstatistik forskarutbildning publikationsprofiler Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin

13 Vetenskaplig/konstnärlig kvalitet FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Vikt: 70 %, baserat på kvalitet i forskningsproduktionen på nivå forskningsområde. Kriterier: nytänkande och originalitet, betydelse för forskningsområdet, samt vetenskaplig tillförlitlighet och stringens Panelernas omdömen omfattar toppresultat och kvalitet och potential överlag, dvs. spets och övergripande kvalitet. Inför betygssättning ska enhetens produktivitet beaktas, dvs. forskningsvolym i relation till personella och ekonomiska resurser. Resurseffektivitet ska premieras om två enheter uppvisar lika hög kvalitet.

14 Vetenskaplig/konstnärlig kvalitet Underlag till panelerna FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Egen beskrivning För att bedöma spets : - sakkunniggranskning (dvs. läsning/motsv.) av verk inom alla forskningsområden, görs av samtliga paneler Alternativ för att bedöma övergripande kvalitet: - citeringsanalys - extern sakkunniggranskning Särskilda mekanismer för att redovisa och bedöma tvärvetenskaplig forskning

15 Vetenskaplig/konstnärlig kvalitet Underlag till panelerna Urval av forskningsproduktionen över en sexårsperiod FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Spets: 5 % av forskningsproduktionen nomineras av lärosätena som spets och granskas av panelmedlemmarna gäller samtliga forskningsområden Övergripande kvalitet: Runt 50 % av resterande forskningsproduktion nomineras av lärosätena för att representera den övergripande produktionen gäller forskningsområden utan citeringsanalys. En enhets totala vetenskapliga produktion Totalt nomineras drygt hälften av produktionen för dessa områden. Panelmedlemmarna använder publikationsprofilerna för att få en helhetsbild av den totala produktionen och de nominerade verken. En delmängd (ca 40 %) av de nominerade verken, väljs ut av panelmedlemmarna för bedömning av externa granskare.

16 Sammanfattning: forskningsområdespanelerna underlag och utvärdering Produktivitet (produktionsvolym i relation till personalvolym och finansiering) Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig/konstnärlig kvalitet Egen beskrivning - Forskningsprofil, t.ex. tvärvetenskap - Vision och strategi - Organisation, ledning och styrning - Infrastruktur Egen beskrivning - Forskningsfokus, t.ex. tvärvetenskap - Potential - Övrigt Nominerat urval ( spets ) 5 % av enhetens forskningsproduktion, granskas av panelerna Bedömningskriterier Nytänkande och originalitet Betydelse för forskningsområdet Vetenskaplig (motsv.) tillförlitlighet och stringens Panelens resultat Betygsprofil Kvantitativa uppgifter - Intäkter forskning och forskarutbildning - Personal - Forskarutbildning - Publikationsprofiler Citeringsanalys eller nominerat urval (ca 50 %), ( övergripande kvalitet ) granskas av panelerna (citeringsanalys) eller externa granskare (nominerat urval) Betygsmotivering

17 Kvalitetsutvecklande faktorer FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Vikt:, bedömning på nivå vetenskapsområde Kriterier: potential för förnyelse och långsiktighet Kvalitetsutvecklande faktorer: Forskarutbildning och återväxt av nya forskare Samarbete och mobilitet inom akademin (internationellt + nationellt) Samverkan och mobilitet utanför akademin (internationellt + nationellt) Forskningens utbildningsanknytning Jämställdhet

18 Kvalitetsutvecklande faktorer Underlag till panelerna FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Kvantitativa uppgifter om de kvalitetsutvecklande faktorerna Korta motiveringar och kommentarer i relation till lärosätets övergripande strategier

19 Forskningens genomslag utanför akademin FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Definition: en tillämpning av forskning för att åstadkomma sociala, ekonomiska, miljömässiga eller kulturella effekter ( impact ) Vikt:, bedömning på nivå vetenskapsområde Kriterier: räckvidd och betydelse

20 Forskningens genomslag utanför akademin Underlag till panelerna FOKUS Forskningskvalitetsutvärdering i Sverige Övergripande syfte: Kvalitetsdrivande och verka för att forskningen ska bidra till samhällets utveckling Bakgrundsinformation (betygssätts ej) 70 % Vetenskaplig kvalitet Kvalitetsutvecklande faktorer Genomslag utanför akademin Fallstudier, förslagsvis 2 per lägst 10 och högst 50 helårspersoner Egen beskrivning av strategier och resurser för att arbeta med resultatspridning och samverkan med det omgivande samhället, främjande av forskningsresultatens användning utanför akademin

21 Sammanfattning: vetenskapsområdespanelerna underlag och utvärdering Bedömningskriterier Potential för förnyelse och långsiktighet Panelens resultat: betyg och motivering Bedömningskriterier Räckvidd och betydelse Panelens resultat: betyg och motivering Bakgrundsinformation (betygssätts ej) Kvalitetsutvecklande faktorer Genomslag utanför akademin Egen beskrivning - Forskningsprofil, t.ex. tvärvetenskap - Vision och strategi - Organisation, ledning och styrning - Infrastruktur Kvantitativa uppgifter - Intäkter forskning & forskarutbildning - Personal - Forskarutbildning - Publikationsprofiler Kvantitativa uppgifter - Forskarutbildning och återväxt av unga forskare - Samarbete och mobilitet inom akademin (int+nat) - Samverkan och mobilitet utanför akademin (int+nat) - Forskningens utbildningsanknytn. - Jämställdhet Egen beskrivning - Resultat - Strategier - Dokumentation kring processer Fallstudier Exempel på aktiviteter: - Dialog och resultatspridning - Samverkan - Nya produkter och processer - Användning - Dokumenterade effekter Egen beskrivning - Strategier och resurser för resultatspridning och främjande av användning utanför akademin

22 Resultatet av utvärderingen för ett lärosäte - För vetenskaplig kvalitet: betygsprofiler per forskningsområde - För kvalitetsutvecklande faktorer och genomslag utanför akademin: ett sammanvägt betyg per vetenskapsområde - Betygsmotiveringar lämnas också av panelerna

23 Vad utvärderas?

24 Steg 2: Hur omvandla resultat till resurser? Utgångspunkter för resurstilldelningen Andelen av basanslaget som prestationsbaseras uppgår till 20 procent som i dagens modell. Viktning 70:15:15. Ingen omfördelning om alla har samma betyg. Ev. omfördelningar mellan lärosäten: inte för stora men inte heller försumbara. En inte helt linjär viktning av betygen (6,4,3,2,0).

25 Principer för beräkning av resurstilldelning Resursfördelningen beräknas utifrån två mått: betyg och ett kombinerat volymmått. Kombinerat volymmått: lärosätets andel av basanslaget, fördelat på forskningsområden i form av respektive områdes andel av lärosätets personal (forskande helårspersoner) En fördelningspoäng räknas fram genom att multiplicera betyg med det kombinerade volymmåttet. Lärosätena beslutar även fortsättningsvis om hur den totala summan av de prestationsbaserade medlen som tilldelas ett lärosäte fördelas internt.

26 Preliminär kostnadsuppskattning Kostnader för en utvärderingsomgång Organisation Vad Kostnader Utförande organisation(er) UoH S:a utvärderingsomgång (6 år) Paneler, personal, insamling av data etc. Koordinering, inrapportering, nomineringar etc. ca 75 miljoner kronor ca 95 miljoner kronor ca 170 miljoner kronor* *Vilket motsvarar ca 0,2 procent av det totala basanslaget (eller ca 1 procent av den prestationsbaserade andelen av basanslaget) för en sexårsperiod. Uppbyggnadskostnader Organisation Vad Direkta kostnader Utförande organisation, KB, SCB och UKÄ UoH S:a uppbyggnad Datasystem, kvalitetssäkring, administration, kommunikation etc. Datasystem, rapporteringsrutiner etc. ca 20 miljoner kronor ca 45 miljoner kronor ca 65 miljoner kronor

27 Konsekvensanalys: styrkor och möjligheter Kvalitetsdrivande Inkluderande modell alla forskningsområden Möjlighet identifiera pockets of excellence, framtida potential och genomslag Kartläggning av nationellt forskningsläge, möjlighet identifiera styrkeområden, se trender Underlätta strategiska beslut på olika nivåer Bättre forskningsstatistik, bättre uppföljningar och analyser

28 Konsekvensanalys: svagheter och utmaningar Utmaning utvärdera tvärvetenskap och nya framväxande områden Högre kostnader (men fler fördelar) än dagens resurstilldelningsmodell Verkar konserverande? Forskarutbildning och utbildning riskerar att nedprioriteras av UoH? Fallstudier mindre prövad metod

29 Tidsplan

30 Forts. tidsplan

31 Organisation Internationellt sett vanligast att den utförande organisationen är en fristående myndighet/motsvarande (t.ex. UK: HEFCE, IT: ANVUR, FR: AERES). Australien är undantaget Australian Research Council. Vetenskapsrådets förslag är organisationsneutralt, men erforderlig kompetens finns för ett genomförande. Två rådgivande organ bör skapas för att följa process och implementering.

32 Sammanfattningsvis föreslår Vetenskapsrådet att: FOKUS remissbehandlas under 2015 Vetenskapsrådet och övriga berörda myndigheter under 2015 får i uppdrag att förbereda pilotstudier pilotstudier med efterföljande analys och justeringar genomförs under 2016/2017 och att särskilda resurser avsätts för dessa samordningsmöjligheter med utvärdering av ALFmedel respektive Vinnovas uppdrag utreds en första utvärderingsomgång genomförs under 2017/2018 FOKUS implementeras med en andra utvärderingsomgång 2021/2022 och därefter sexårscykler.