Peer-review kontra bibliometri

Transkript

1 Peer-review kontra bibliometri Korrelation mellan två utvärderingsmetoder Case studies från fyra svenska universitet Leif Eriksson Planeringsavdelningen Uppsala universitet

2 Bakgrund Utvärdering av forskning vid svenska universitet, började med Uppsala 2007 Två metoder - peer review, panelbesök - bibliometri, extern eller intern rapport Hur korrelerar dessa metoder?

3 Undersökta universitet KTH 2008 Uppsala universitet 2007 Lunds universitet 2008 Göteborgs universitet 2010 Gemensamt framåtblickande, back to future, panelerna har ej tillgång till bibliometrirapporterna (utom KTH)

4 Peer-review Problem Fokuserar på andra saker än kvalitet i forskningen Organisationsnivå. LU avviker från andra Betygssystemen olika, panelernas vilja att följa dessa Oklarheter i betygssättningen, dubbla betyg etc. Bibliometri Val av indikatorer, tidsintervall, org. nivå etc.

5 Metod Jämföra bibliometrisk indikator (kronindikator eller liknande) med panelernas betyg (omgjord till numerisk skala) Endast betyget för forskningskvalitet räknas Linjär regression Matrisanalys

6 KTH 39 institutioner Korrelation peer-review-ncsf R=0, ,00 0,50 1,00 1,50 2,00 2,50

7 Uppsala universitet 26 institutioner Korrelation peer-review-cpp/cfsm 5 4,5 4 3,5 3 2,5 2 1,5 1 0, ,5 1 1,5 2 2,5 3 R=0,57

8 Lunds universitet 76 institutioner och underavd. Korrelation peer-review-cpp/fcsm R=0, ,00 2,00 4,00 6,00 8,00 10,00 12,00 14,00

9 Göteborgs universitet 33 institutioner Peer-review R=0, ,5 1 1,5 2 2,5 CPP/FSCm

10 Slutsatser Samtliga visar ett relativt svagt samband mellan högt betyg i peer-review och högt värde på kronindikator Högst i UU (0.57) lägre i övriga (0,24-0,32) Jämföra med Univ i Bergen (0.46) Färre enheter större samband

11 Matrisanalys Delar in peer-review betyg och bibliometrisk indikator i hög-låg skala Peer-review: World-leading, outstanding, internationally high, excellent anses som hög resten låg Bibliometri: >1.20 hög <1.20 låg Kan ge upplysningar om vilka slags forskningsgrupper som skiljer sig åt

12 KTH KTH NCSf Crown 2,40 NCSf Crown 1,20 0,00 World-leading Internationally high Nationally high Internationally recognised

13 Uppsala universitet UU CPP/FCSm 3,6 2,4 CPP/FCSm UU CPP/FCSm Linjär (UU CPP/FCSm) 1,2 0 World-leading Internationally high Nationally high

14 Lunds universitet LU 7,20 6,00 4,80 CPP/FCSm 3,60 2,40 1,20 0, Outstanding Excellent Very good Good Insufficent Poor

15 Göteborgs universitet GU CPP/FCSm 2,4 GU CPP/FCSm (minst 50P) Linjär (GU CPP/FCSm (minst CPP/FCSm 1,2 0 Outstanding Excellent Very good Good Insufficent

16 Peer-review kontra kronindikator High peer-review Crown indicator >1,20 57 High peer-review Crown indicator <1,20 32 Low peer-review Crown indicator >1,20 13 Low peer-review Crown indicator <1,20 36

17 Resultat 33 % (45 av 138) av de undersökta enheterna har annat resultat i peerreview omdömet jmf med bibliometri 70 % av dessa har högt betyg i peerreview medan kronindikator är < 1.20

18 Slutsatser Avvikelser finns inom samtliga vet. områden, någon övervikt för humaniora samt naturvetenskap Publicering utanför Web of Science, t ex informationsteknologi, humaniora Ej fokus på publicering, t ex tillämpad forskning eller grundforskning Andra förklaringar, beroendefaktorn

19 Slutsatser Varför låga betyg i peer-review när bibiometrivärdena är höga? Panelerna självständiga, ex KTH: två paneler ej imponerade över standarden i publicering trots höga värden Dålig publiceringsstrategi, ojämn kvalitet, publicerar i alltför lågt rankade tidskrifter etc.

20 Sammanfattning Viss korrelation mellan omdömen i peerreview och bibliometri Panelers betyg och bibliometrivärden stämmer i ca 70 % av fallen I de fall de ej överensstämmer tenderar peer-review att ligga högre än bibliometri (2/3 av fallen)

21 Sammanfattning Bibliometri och peer-review kompletterar varandra väl Bibliometri ett sätt att balansera peerreviewomdömena, drar uppmärksamhet till institutioner där resultaten varierar Bibliometri kan utvecklas för att bättre passa olika universitets strukturer