Bibliometri för forskningsutvärdering

Transkript

1 Bibliometri för forskningsutvärdering publikationer som prestationsmätare och kvalitetsmått Ulf Kronman Avdelningen för forskningspolitisk analys Vetenskapsrådet Linnéuniversitet

2 Föredragets delar Kort grundkurs i bibliometri Datakällor, metoder och indikatorer Medelsfördelning med bibliometri Regeringens indikator för fördelning av basmedel till de svenska universiteten Mäter bibliometri forskningskvalitet? Kritisk granskning Bibliometri och forskningspolitik Bibliometri som nyckeltal och incitament Open Access och bibliometri Motstridiga krav och signaler från Vetenskapsrådet?

3 Vetenskapsrådet ger stöd till grundläggande forskning av högsta vetenskapliga kvalitet inom alla vetenskapsområden Ur instruktion för Vetenskapsrådet

4 Vetenskapsrådets uppdrag Forskningskommunikation Tidskrifter, webbplatser och konferenser Forskningspolitiska analyser För regeringen och Vetenskapsrådet Bibliometri Finansiering av grundforskning Projekt, forskartjänster, infrastruktur 4,5 miljarder kr/år

5 Grundkurs i bibliometri

6 Bibliometri Statistiska analyser av publikationer Produktion Publikationer - hur många, vilka typer, per år, per forskare? Genomslag Citeringar blir publikationerna lästa och gör intryck? Samverkan Samförfattande och citeringsrelationer Dynamik Hur förändras mönster över tiden?

7 Datakällor för bibliometri Thomson Reuters (ISI) Web of Science tidskriftstitlar från 1960-talet Elsevier Scopus tidskrifter och konferensserier från 1996 Google Scholar Samlar in "allt på nätet" Även doktorsavhandlingar och rapporter Eget repositorium, DiVA & SwePub Bättre täckning fler dokumenttyper Verifierade data forskare och institution Inga citeringsdata ingen världsdata

8 Olika forskningsfält olika förutsättningar Skiftande publiceringskulturer Olika publikationstyper Varierande publiceringsfrekvens Olika citeringsmönster Olika täckningsgrad i datakällorna Medicin och naturvetenskap täcks bra Internationella tidskriftsartiklar Teknik täcks halvbra Artiklar, konferenser, rapporter Samhällsvetenskap och humaniora täcks dåligt Nationella tidskriftsartiklar, böcker, antologier

9 Olika områdens synlighet i Thomson ISI Tidskriftsartiklar Konferenstryck Rapporter Böcker Dataunderlag från norska Database for statistikk om høgre utdanning (DBH)

10 Citeringsbaserad bibliometri Bygger på antagandet att en citering speglar en publikations genomslag i forskningssamfundet Citerande/refererande Citerande/refererande B C Referens Citering Citerad A Citering Referens

11 Citeringar ojämnt fördelade

12 Citeringar i relation till publikationstyp och ålder

13 Citeringar i relation till ämne och ålder

14 Fältnormerad citeringsgrad Publiceringsår Fler citeringar ju fler år sedan publicering Dokumenttyp Översiktsartiklar får 2,5 gånger fler citeringar än originalartiklar Forskningsfält Cellbiologi 10 gånger fler citeringar än matematik Normering jämför lika med lika Samma år, dokumenttyp och forskningsfält Normerat världsmedelvärde = 1 Mer än 1 = större genomslag än världsgenomsnittet

15 Bibliometriska indikatorer exempel Antal publikationer (P) Ämnesområden, trender, samförfattande Citeringar (C) Fältnormerade (c f ) Tidskriftsnormerade (c j ) Tidskrifter Thomsons Journal Impact Factor (JIF) Tidskriftens citeringsgrad normerad mot fält (j f ) h-index h antal publikationer citerade minst h gånger

16 Visualiseringar av bibliometriska relationer

17 Fördelning av forskningsmedel med bibliometri

18 Forskningspropositionen nya miljarder kronor till svensk forskning Ny fördelningsmodell Baserad på Resursutredningens (RUT2) förslag 10% av lärosätenas basanslag konkurrensutsätts 5% fördelas baserat på externa anslag Sakkunniggranskade anslag från VR, FAS, Formas, Riksbankens jubileumsfond, näringslivet, m.fl. 5% fördelas baserat på publikationer och citeringar miljoner kr/år

19 Publiceringsindikator för medelsfördelning Produktion gånger genomslag Publikationer gånger citeringar Antal publikationer och citeringar justeras för olikheter i forskningsfälten Fältnormerade citeringar Konventionell metod för att jämföra olika forskningsfält finns Områdesjusterad publiceringsvolym Ny metod för att jämföra olika vetenskapsområden togs fram till resursutredningen (RUT) och forskningspropositionen All statistik baserad på Thomson Reuters index Science Citation Index, Social Science Citation Index, Arts and Humanities Citation Index ISI Conference Proceedings ingår inte i dataunderlaget

20 Regeringens uppdrag till Vetenskapsrådet att ta fram nödvändiga underlag för beräkning av indikatorn vetenskaplig produktion och citering... utveckla modellen för beräkning av indikatorn Vetenskapsrådet levererar underlag till Utbildningsdepartementet som sedan gör fördelningen

21 Grundläggande problemställningar Hur jämföra publiceringsvolym mellan olika vetenskapsområden? Olika publiceringskulturer ger olika synlighet i Thomson-databasen Olika genomsnittlig publikationsproduktivitet Olika kostnader för att producera en publikation Hur hantera områden med låg och ojämn synlighet i Thomson-databasen? Humaniora och samhällsvetenskap

22 Waring propositionens modell 1400 Antal forskare per producerat antal ar1klar 1200 Antal forskare Waringreferens = antal artiklar per forskare och år Antal producerade ar1klar

23 Problemet humaniora och samhällsvetenskap Lägga HumSam utanför modellen? Inget incitament till ökad publicering och citering Lägga HumSam inom modellen? Osäker mätning av publicering och citeringar Hur vi än gör Vi behöver komplettera med forskarregistrerat material SwePub.se

24 Arbetet med publiceringsindikatorn VR levererade ny modell "SEK per pek" Modellen baserade sig på kostnader per forskningsområde Undantog humaniora och samhällsvetenskap Föreslog utvidgning av datasetet med SwePub Vetenskapsrådet styrelse rekommenderade regeringen att vänta med implementering Regeringen uppdrog åt VR att räkna enligt forskningspropositionens modell Omräkning för 2010 med samma modell som användes i forskningspropositionen för budgetår 2009 Uppdrag att använda samma modell för budgetåren

25 Publiceringsindikatorns framtid Kan vi komplettera data med forskarregistrerat material från SwePub? Skapa ett system liknande de norska och danska? SUHF beställde utredning av möjligheterna att använda universitetens data via SwePub Översyn av kvalitetsindikatorerna i medelsfördelningen pågår Utredare tillsatt sommaren 2010 Reviderad modell till forskningspropositionen 2011?

26 Mäter bibliometri forskningskvalitet? - en kritisk granskning

27 Citeringarna är inte normalfördelade

28 Inneboende variabilitet i datamaterialet Gränsdragningar i datamängden skapar brus Konstruerade gränser mellan publiceringsår, tidskrifter, ämnesområden och även organisationer Forskarnas publicering och citering uppvisar en viss bibliometrisk "godtycklighet" på mikronivån Var publicerar de sig och varför? Vad/vem citerar de och varför? Vilka får vara med i författarlistan (och hur sorteras den)? Indata är komplext och genererar slumpmässiga variationer i citeringsdata Över hälften av citeringarna leder till publikationer utanför Thomsons index Thomson missar runt 6% av citeringarna inom sitt system

29 Studie av brus i indikatorer

30 Korrelation antal artiklar och brusnivå

31 Hur ska man använda bibliometri? Som statistiskt underlag till sakkunniga Som komplement till kunskap om ämnet och den bedömda organisationen Bibliometri fungerar bäst på makronivå En statistisk "genväg" till kvalitetsbedömning Peer review Bibliometri

32 Mäter bibliometri forskningskvalitet? Ja, om: Forskningen publicerar sig i internationella tidskrifter Impact (citeringar) = kvalitet Forskningen är "konventionell" Datamaterialet är stort (> 500 publikationer) Nej, om: Forskningen genererar böcker, rapporter, patent, debattartiklar och praktiska resultat Citeringar betyder något annat än impact Forskningen är ung, smal och paradigmbrytande Datamaterialet är litet (< 50 publikationer) Ej diagnostiskt: Bibliometri mäter inte frånvaro av kvalitet

33 Bibliometri och forskningspolitik

34 Varför bibliometrihausse? Globalisering konkurrens Global trend att satsa på forskning Forskningen kostar mycket numera Vad får vi för pengarna? Revisionssamhälle? Ny manegementkultur kräver mätbar uppföljning Få mätbara resultat av grundforskning Publikationer och citeringar är två av de få

35 Från medborgarlön till ackord Medelsfördelningsindikatorn: "ett litet toppsegel i en stor rigg" Fördelar 5% av statliga basmedlen för forskning Cirka 2% av totala forskningsmedel Statistisk indikator och incitament till förändring Inte sanning och rättvisa Bra att sätta fokus på publikationerna Tydliggör att det är forskarna som skapar universitetets output Ger incitament att få ordning på den svenska vetenskapliga publiceringen En ny utmaning för landets universitetsbibliotek

36 Bibliometri som nyckeltal och incitament Skilj på indikatorer och nyckeltal Indikatorer är approximativa och innehåller felmarginaler Nyckeltal förväntas vara exakta Skilj på utvärdering och incitament Utvärdering görs efteråt Incitament ges före Skilj makronivå och mikronivå Bibliometri arbetar bäst på makronivå Incitament fungerar bäst på mikronivå

37 Bibliometri och Open Access motstridiga krav och signaler?

38 Vetenskapsrådet och Open Access (OA) Beslut om krav på Open Access i Vetenskapsrådets styrelse hösten 2009 Krav på OA-publicering skrivs in i avtalen om projektmedel från år 2010 och framåt Publikationen ska finnas fritt tillgänglig på nätet senast sex månader efter publicering Gäller endast tidskriftsartiklar och konferensbidrag Monografier och bokkapitel är tills vidare undantagna Vetenskapsrådets motiv för Open Access Ökad tillgänglighet och användning av resultat från offentligt finansierad forskning Nödvändig omställning av det vetenskapliga publiceringssystemet?

39 Vägar till Open Access-publicering "Golden road" publicering i OA-tidskrift Kostar oftast pengar Kan finansieras med site-licens för universitetet "Open choice" hybridpublicering Att köpa öppen access till enskild publikation i traditionell, sluten tidskrift "Green road" parallellpublicering I repositorium (DiVA) eller på egen webbplats Oftast embargo 6 månader innan publicering tillåts Hänvisning till originalpublikationen i den kommersiella tidskriften

40 Motsättning mellan bibliometri och OA? Ingen motsättning mellan kvalitet och OA OA-tidskrifter har samma kvalitetsgranskning som traditionella tidskrifter Vissa OA-tidskrifter har höga impactfaktorer Många OA-tidskrifter finns med i Web of Science Öppen publicering ger ökad användning och ökad citering Publikationer i ArXiv citeras mer än dubbelt så mycket som inlåsta artiklar Bibliometri är konserverande Långsamt upptag i citeringsdatabaserna Låsningar vid traditionella publiceringsformer

41 Bibliometriindikatorn och Open Access Regeringens bibliometriindikator mäter citeringen till enskilda artiklar inte tidskrifter I teorin inget problem med Open Access Tidskriften måste finnas med i Thomson Reuters databas I praktiken fungerar begränsningen till Thomson Reuters databas som en broms för Open Access

42 Diskussionsbilder

43 Diskussion: Varför Open Access? Traditionell publicering ("toll access") förlegad affärsmodell Bygger på distribution av fysiska tidskrifter till prenumererande kunder Open Access mer i samklang med nätets teknik Enklare att ta betalt av ett fåtal författare än en stor mängd anonyma läsare Behovet av att bli granskad och publicerad är ofta större än behovet att läsa Peer review är en del av forskningsprocessen Publiceringen är meriterande Just nu omställningsproblem vid byte av affärsmodell Rädda förlag, konservativa forskare, tröga impactfaktorer och bibliometriska fördelningsmodeller bromsar processen