Peer-review kontra bibliometri Korrelation mellan två utvärderingsmetoder Case studies från fyra svenska universitet Leif Eriksson Planeringsavdelningen Uppsala universitet
Bakgrund Utvärdering av forskning vid svenska universitet, började med Uppsala 2007 Två metoder - peer review, panelbesök - bibliometri, extern eller intern rapport Hur korrelerar dessa metoder?
Undersökta universitet KTH 2008 Uppsala universitet 2007 Lunds universitet 2008 Göteborgs universitet 2010 Gemensamt framåtblickande, back to future, panelerna har ej tillgång till bibliometrirapporterna (utom KTH)
Peer-review Problem Fokuserar på andra saker än kvalitet i forskningen Organisationsnivå. LU avviker från andra Betygssystemen olika, panelernas vilja att följa dessa Oklarheter i betygssättningen, dubbla betyg etc. Bibliometri Val av indikatorer, tidsintervall, org. nivå etc.
Metod Jämföra bibliometrisk indikator (kronindikator eller liknande) med panelernas betyg (omgjord till numerisk skala) Endast betyget för forskningskvalitet räknas Linjär regression Matrisanalys
KTH 39 institutioner Korrelation peer-review-ncsf 6 5 4 3 R=0,24 2 1 0 0,00 0,50 1,00 1,50 2,00 2,50
Uppsala universitet 26 institutioner Korrelation peer-review-cpp/cfsm 5 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 0 0,5 1 1,5 2 2,5 3 R=0,57
Lunds universitet 76 institutioner och underavd. Korrelation peer-review-cpp/fcsm 8 7 6 5 4 R=0,27 3 2 1 0 0,00 2,00 4,00 6,00 8,00 10,00 12,00 14,00
Göteborgs universitet 33 institutioner Peer-review 7 6 5 4 3 2 1 R=0,32 0 0 0,5 1 1,5 2 2,5 CPP/FSCm
Slutsatser Samtliga visar ett relativt svagt samband mellan högt betyg i peer-review och högt värde på kronindikator Högst i UU (0.57) lägre i övriga (0,24-0,32) Jämföra med Univ i Bergen (0.46) Färre enheter större samband
Matrisanalys Delar in peer-review betyg och bibliometrisk indikator i hög-låg skala Peer-review: World-leading, outstanding, internationally high, excellent anses som hög resten låg Bibliometri: >1.20 hög <1.20 låg Kan ge upplysningar om vilka slags forskningsgrupper som skiljer sig åt
KTH KTH NCSf Crown 2,40 NCSf Crown 1,20 0,00 World-leading Internationally high Nationally high Internationally recognised
Uppsala universitet UU CPP/FCSm 3,6 2,4 CPP/FCSm UU CPP/FCSm Linjär (UU CPP/FCSm) 1,2 0 World-leading Internationally high Nationally high
Lunds universitet LU 7,20 6,00 4,80 CPP/FCSm 3,60 2,40 1,20 0,00 0 10 20 30 40 50 60 70 80 Outstanding Excellent Very good Good Insufficent Poor
Göteborgs universitet GU CPP/FCSm 2,4 GU CPP/FCSm (minst 50P) Linjär (GU CPP/FCSm (minst CPP/FCSm 1,2 0 Outstanding Excellent Very good Good Insufficent
Peer-review kontra kronindikator High peer-review Crown indicator >1,20 57 High peer-review Crown indicator <1,20 32 Low peer-review Crown indicator >1,20 13 Low peer-review Crown indicator <1,20 36
Resultat 33 % (45 av 138) av de undersökta enheterna har annat resultat i peerreview omdömet jmf med bibliometri 70 % av dessa har högt betyg i peerreview medan kronindikator är < 1.20
Slutsatser Avvikelser finns inom samtliga vet. områden, någon övervikt för humaniora samt naturvetenskap Publicering utanför Web of Science, t ex informationsteknologi, humaniora Ej fokus på publicering, t ex tillämpad forskning eller grundforskning Andra förklaringar, beroendefaktorn
Slutsatser Varför låga betyg i peer-review när bibiometrivärdena är höga? Panelerna självständiga, ex KTH: två paneler ej imponerade över standarden i publicering trots höga värden Dålig publiceringsstrategi, ojämn kvalitet, publicerar i alltför lågt rankade tidskrifter etc.
Sammanfattning Viss korrelation mellan omdömen i peerreview och bibliometri Panelers betyg och bibliometrivärden stämmer i ca 70 % av fallen I de fall de ej överensstämmer tenderar peer-review att ligga högre än bibliometri (2/3 av fallen)
Sammanfattning Bibliometri och peer-review kompletterar varandra väl Bibliometri ett sätt att balansera peerreviewomdömena, drar uppmärksamhet till institutioner där resultaten varierar Bibliometri kan utvecklas för att bättre passa olika universitets strukturer