Peer-review kontra bibliometri

Relevanta dokument
KoF 07. Quality and Renewal An Overall Evaluation of Research at Uppsala University

SKALPROBLEMET: Svenska publikationer och citeringar

PM GÖTEBORGS UNIVERSITET Avdelningen för analys och utvärdering Box 100, Göteborg

Ulf Sandström

UNIVERSITETSRANKINGEN FRÅN TIMES HIGHER EDUCATION 2013

Internationell Ranking vid Göteborgs Universitet

Slutsatser. Planering. Självvärdering. Planering

Hur fångar man kvalitet i högre utbildning?

Times-rankingen. Universitetsrankingen från Times Higher Education. Avdelningen för analys och utvärdering PM: 2010:02. Göteborgs universitet

Bibliometri för utvärdering av forskning

Kvalitet och förnyelse KoF17. Forskningsutvärdering vid Uppsala universitet

Vetenskapsrådets underlag för indikatorn vetenskaplig produktion och citeringar

Shanghai-listan. Göteborgs universitets placering på Academic Ranking of World Universities (ARWU). Indikatorer och konklusioner.

ANALYS AV ÅRSREDOVISNINGAR 2016

PM GÖTEBORGS UNIVERSITET Avdelningen för analys och utvärdering Box 100, Göteborg

PM GÖTEBORGS UNIVERSITET Analys och utvärdering Box 100, Göteborg

CHE ExcellenceRanking

Bibliometri för utvärdering av forskning

Bibliometri - inte bara räkna böcker

QS World University Rankings

Utlysning/Inbjudan att nominera till Wallenberg Academy Fellows

PUBLICERINGSRÅD FÖR DEN MEDICINSKA OCH HÄLSOVETENSKAPLIGA FAKULTETEN VID LINKÖPINGS UNIVERSITET OCH FÖR REGION ÖSTERGÖTLAND

78 procent av Umeå universitets granskade utbildningar är av hög kvalitet/mycket hög kvalitet

Lärosätenas indirekta kostnader SUHF-statistiken 2018

UNIVERSITETSRANKINGEN FRÅN QS 2013

Bibliometri för forskningsutvärdering

INTERN UPPFÖLJNING FÖR 2014

Riktlinjer för användning av bibliometri vid Vetenskapsrådet

En bibliometrisk jämförelse mellan LTU och vissa andra svenska och europeiska universitet.

SHANGHAIRANKNINGEN 2016

Times Higher Education World University Ranking 2015/2016

Vetenskaplig publicering funktioner, former och mätningar

Rekommendationer för användning av bibliometriska indikatorer i bedömning av enskilda forskares publikationer Dnr /

Bibliometri & publiceringsstrategiska knep SOLD. Viktor Öman, bibliotekarie viktor.oman@mdh.se

PM GÖTEBORGS UNIVERSITET Analys och utvärdering Box 100, Göteborg

Bibliometrisk samarbetsstudie av Stockholms universitet och andra svenska lärosäten,

Universitetsrankningar samt något om SU:s arbete med datainsamling till rankningarna. Per Ahlgren

UNIVERSITETSRANKNINGEN FRÅN TIMES HIGHER EDUCATION 2015

Jämförelser nordiska lärosäten

KAW:s huvudsakliga ändamål är att främja vetenskaplig forskning och undervisning eller studieverksamhet av landsgagnelig innebörd.

Yttrande om Prestationsbaserad resurstilldelning för universitet och högskolor"

Vetenskapsrådet. Missiv (U2009/4353/F) Carl Jacobsson. Utbildningsdepartementet Stockholm

I Generalla rekommendationer. II Panelrapporter III Bibliometrisk analys. RED10-processen

SwePub som källa för bibliometriska analyser

Bibliometrisk studie av naturoch samhällsvetenskapliga institutioner vid Stockholms universitet,

Referat från workshop om bibliometri inom humaniora, samhällsvetenskap och utbildningsvetenskap

Projekt nationell studentrekrytering

UNIVERSITETSRANKNINGEN FRÅN QS 2015

PM GÖTEBORGS UNIVERSITET September 2014 Analys och utvärdering Box 100, Göteborg

Om open access och nya publiceringsvägar

Svensk Nationell Datatjänst

Linnéstöd. Pär Omling. GD Vetenskapsrådet

Urank 2013 En analys av universitets- och högskolerankingen Urank.

UNIVERSITETSRANKNINGEN FRÅN TIMES HIGHER EDUCATION 2016

QS World University Rankings 2014/2015

UNIVERSITETSRANKNINGEN FRÅN QS 2017

SHANGHAIRANKNINGEN 2016

Informationsmöte Vetenskapsrådets utlysningar Maria Thuveson, avdelningen för forskningsfinansiering

SHANGHAIRANKNINGEN 2015

Högskolan som både myndighet och akademi. Daniel Gillberg Planeringsdirektör, Uppsala universitet

Riktlinjer för SLU:s karriärbidrag

NSÄA30, Svenska III inom ämneslärarprogrammet, årskurs 7 9, 30 hp

Universitetsledning och bibliometri

Forskningskvalitet, effektivitet och extern finansiering. Stephen Hwang

Stephen Hwang Högskolan i Halmstad Box Halmstad

Bibliotekens bibliometriarbete FREDRIK ÅSTRÖM LUNDS UNIVERSITETSBIBLIOTEK

BIMM34, Biomedicin: Biomedicinsk profession, 15 högskolepoäng Biomedicine:Biomedical Profession, 15 credits Avancerad nivå / Second Cycle

Förskollärarprogrammet Omdömesformulär angående studenternas tillämpade didaktiska och sociala lärarförmågor under VFU

Open access och innovation

Analys av årsredovisningen 2014

Förskollärarprogrammet Omdömesformulär angående studenternas tillämpade didaktiska och sociala lärarförmågor under VFU

Open access ett nationellt perspektiv

Prenumerera och publicera två sidor av samma mynt?

NATURVETENSKAPLIGA BEFORDRINGS_ PROFESSORERS PUBLICERINGSMERITER BIBLIOMETRIC CHARACTERISTICS OF PROMOTED AND RECRUITED PROFESSORS IN NATURAL SCIENCES

Publiceringsanalyser vid Vetenskapsrådets analysenhet

SHANGHAIRANKINGEN 2013

Ger proceedings papers en annan bild av högskolelandskapet? En undersökning med fokus på fältet Computer Science

SHANGHAIRANKINGEN 2011

Kandidatprogrammet i matematik

Studentens namn: Studentens personnummer: Ämne/område: Studentens mailadress:

Den nya publikationsekonomin

Miljöcertifiering av byggnader

Genus, produktivitet och samarbete

FORMATIV BEDÖMNING FÖR SKOLUTVECKLING: LIKVÄRDIG BEDÖMNING OCH REDSKAP FÖR LÄRANDE. Monica Liljeström Pedagogiska institutionen Umeå Universitet

Excellens i forskning och utbildning för en bättre värld

Övergång till forskarutbildning bland examinerade vid olika lärosäten

Fortsättning av en bibliometrisk studie för jämförelse mellan LTU och vissa andra europeiska universitet

Betyg i högre utbildning

PRESTATIONSBASERAD RESURSTILLDELNING FÖR UNIVERSITET OCH HÖGSKOLOR Promemoria

Bedömning av publikationskanaler i de norska och danska bibliometriska modellerna konsekvenser för humaniora och samhällsvetenskap

SUHF:s internationella kunskapsöversikt om forskningsfinansieringssystem

Dnr Utbildningsdepartementet

This is the accepted version of a paper presented at SWERAs konferens, 7-8 oktober, 2014, Växjö, Sweden.

Är du lönsam lille vän (och för vem)?! Operationaliseringen av samverkan och dess implikationer för humaniora!

SwePub Analys. Noden för publikationsdata i det svenska ekosystemet för forskningsinformation

Sveriges unga akademi 27 nov

Kort introduktion till bibliometri samt huvuddragen i den norska modellen. Per Ahlgren

Malmö högskolas yttrande angående FOKUS

Examina'onsformer. IPKL/Utbildningsrådet 7 juni När behöver examina/oner förändras? Och om de ska ändras, på vilka grunder?

Högskolans perspektiv på kvalitetskriterierna

Transkript:

Peer-review kontra bibliometri Korrelation mellan två utvärderingsmetoder Case studies från fyra svenska universitet Leif Eriksson Planeringsavdelningen Uppsala universitet

Bakgrund Utvärdering av forskning vid svenska universitet, började med Uppsala 2007 Två metoder - peer review, panelbesök - bibliometri, extern eller intern rapport Hur korrelerar dessa metoder?

Undersökta universitet KTH 2008 Uppsala universitet 2007 Lunds universitet 2008 Göteborgs universitet 2010 Gemensamt framåtblickande, back to future, panelerna har ej tillgång till bibliometrirapporterna (utom KTH)

Peer-review Problem Fokuserar på andra saker än kvalitet i forskningen Organisationsnivå. LU avviker från andra Betygssystemen olika, panelernas vilja att följa dessa Oklarheter i betygssättningen, dubbla betyg etc. Bibliometri Val av indikatorer, tidsintervall, org. nivå etc.

Metod Jämföra bibliometrisk indikator (kronindikator eller liknande) med panelernas betyg (omgjord till numerisk skala) Endast betyget för forskningskvalitet räknas Linjär regression Matrisanalys

KTH 39 institutioner Korrelation peer-review-ncsf 6 5 4 3 R=0,24 2 1 0 0,00 0,50 1,00 1,50 2,00 2,50

Uppsala universitet 26 institutioner Korrelation peer-review-cpp/cfsm 5 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 0 0,5 1 1,5 2 2,5 3 R=0,57

Lunds universitet 76 institutioner och underavd. Korrelation peer-review-cpp/fcsm 8 7 6 5 4 R=0,27 3 2 1 0 0,00 2,00 4,00 6,00 8,00 10,00 12,00 14,00

Göteborgs universitet 33 institutioner Peer-review 7 6 5 4 3 2 1 R=0,32 0 0 0,5 1 1,5 2 2,5 CPP/FSCm

Slutsatser Samtliga visar ett relativt svagt samband mellan högt betyg i peer-review och högt värde på kronindikator Högst i UU (0.57) lägre i övriga (0,24-0,32) Jämföra med Univ i Bergen (0.46) Färre enheter större samband

Matrisanalys Delar in peer-review betyg och bibliometrisk indikator i hög-låg skala Peer-review: World-leading, outstanding, internationally high, excellent anses som hög resten låg Bibliometri: >1.20 hög <1.20 låg Kan ge upplysningar om vilka slags forskningsgrupper som skiljer sig åt

KTH KTH NCSf Crown 2,40 NCSf Crown 1,20 0,00 World-leading Internationally high Nationally high Internationally recognised

Uppsala universitet UU CPP/FCSm 3,6 2,4 CPP/FCSm UU CPP/FCSm Linjär (UU CPP/FCSm) 1,2 0 World-leading Internationally high Nationally high

Lunds universitet LU 7,20 6,00 4,80 CPP/FCSm 3,60 2,40 1,20 0,00 0 10 20 30 40 50 60 70 80 Outstanding Excellent Very good Good Insufficent Poor

Göteborgs universitet GU CPP/FCSm 2,4 GU CPP/FCSm (minst 50P) Linjär (GU CPP/FCSm (minst CPP/FCSm 1,2 0 Outstanding Excellent Very good Good Insufficent

Peer-review kontra kronindikator High peer-review Crown indicator >1,20 57 High peer-review Crown indicator <1,20 32 Low peer-review Crown indicator >1,20 13 Low peer-review Crown indicator <1,20 36

Resultat 33 % (45 av 138) av de undersökta enheterna har annat resultat i peerreview omdömet jmf med bibliometri 70 % av dessa har högt betyg i peerreview medan kronindikator är < 1.20

Slutsatser Avvikelser finns inom samtliga vet. områden, någon övervikt för humaniora samt naturvetenskap Publicering utanför Web of Science, t ex informationsteknologi, humaniora Ej fokus på publicering, t ex tillämpad forskning eller grundforskning Andra förklaringar, beroendefaktorn

Slutsatser Varför låga betyg i peer-review när bibiometrivärdena är höga? Panelerna självständiga, ex KTH: två paneler ej imponerade över standarden i publicering trots höga värden Dålig publiceringsstrategi, ojämn kvalitet, publicerar i alltför lågt rankade tidskrifter etc.

Sammanfattning Viss korrelation mellan omdömen i peerreview och bibliometri Panelers betyg och bibliometrivärden stämmer i ca 70 % av fallen I de fall de ej överensstämmer tenderar peer-review att ligga högre än bibliometri (2/3 av fallen)

Sammanfattning Bibliometri och peer-review kompletterar varandra väl Bibliometri ett sätt att balansera peerreviewomdömena, drar uppmärksamhet till institutioner där resultaten varierar Bibliometri kan utvecklas för att bättre passa olika universitets strukturer