Bibliometri för utvärdering av forskning publikationer som prestationsmätare och kvalitetsmått Ulf Kronman Kungliga biblioteket Samordnare för OpenAccess.se och publiceringsfrågor Publiceringsseminarium vid Högskolan i Gävle 2013-02-12 Föredragets delar Kort grundkurs i bibliometri Datakällor, metoder och indikatorer Mäter bibliometri forskningskvalitet? Kritisk granskning Medelsfördelning med bibliometri Regeringens indikator för fördelning av medel till svenska lärosäten Bibliometri och forskningspolitik Bibliometri som nyckeltal och incitament Open access och bibliometri Oförenliga krav från universitet och forskningsfinansiärer?
Grundkurs i bibliometri Bibliometri = statistiska analyser av publikationer Produktion publikationer Hur många, per år, per forskare, per krona? Vilka typer av publikationer? Genomslag citeringar Blir publikationerna lästa och gör intryck i forskarsamfundet? Samverkan nätverk Samförfattande, ämnesrelationer och citeringsrelationer Dynamik Hur förändras ovanstående indikatorer över tiden?
Datakällor för bibliometri Thomson Reuters Web of Science (ISI) 12 000 tidskrifter Elsevier Scopus 18 000 tidskrifter och konferensserier Google Scholar Samlar in "allt på nätet" Även doktorsavhandlingar, böcker och rapporter Egen publikationsdatabas DiVA & SwePub Bättre täckning fler typer av dokument Verifierade data koppling forskare och institution Inga citeringsdata ingen världsdata Olika forskningsfält olika förutsättningar Skiftande publiceringskulturer Olika publikationstyper Varierande publiceringsfrekvens Olika citeringsmönster Olika täckningsgrad i datakällorna Medicin och naturvetenskap täcks bra Internationella tidskriftsartiklar Teknik täcks halvbra Tidskriftsartiklar, konferenser, rapporter Samhällsvetenskap och humaniora täcks dåligt Nationella tidskriftsartiklar, böcker, antologier
Olika områdens synlighet i Web of Science 100% Tidskriftsartiklar 90% 80% 70% 60% 50% Konferenstryck Rapporter Böcker 40% 30% 20% 10% 0% Kemi Biomedicin Fysik Medicin & farmakologi Biologi Matematik Teknik Odontologi Nationalekonomi Psykologi Dataunderlag från norska Database for statistikk om høgre utdanning (DBH) Övrig samhällsvetenskap Humaniora Citeringsbaserad bibliometri Bygger på antagandet att en citering speglar en publikations genomslag i forskningssamfundet Citerande/refererande B Citerande/refererande C Referens Citering Citerad A Citering Referens
Citeringar ojämnt fördelade http://www.syque.com/quality_tools/toolbook/variation/measuring_spread.htm Citeringar i relation till publikationstyp och ålder 45 Average citations related to age and document type 40 35 30 25 20 15 Review articles Original articles 10 5 0
Citeringar i relation till ämne och ålder Fältnormerad citeringsgrad ( crown ) Publiceringsår Fler citeringar ju fler år sedan publicering Dokumenttyp Översiktsartiklar får 2,5 gånger fler citeringar än originalartiklar Forskningsfält Cellbiologi 10 gånger fler citeringar än matematik Normering jämför lika med lika Samma år, dokumenttyp och forskningsfält Normerat världsmedelvärde = 1 Mer än 1 => större genomslag än världsgenomsnittet
Bibliometriska indikatorer exempel Publikationer (P) Citeringar (C) Fältnormerade (c f ) Tidskrifter Thomson Reuters Journal Impact Factor (JIF) Forskare h-index: h antal publikationer citerade minst h gånger Visualiseringar av bibliometriska relationer
Mäter bibliometri forskningskvalitet? en kritisk granskning Citeringarna är inte normalfördelade http://www.syque.com/quality_tools/toolbook/variation/measuring_spread.htm
Korrelation mellan antal artiklar och felmarginal 2.5 Confidence interval in relation to analysed number of publications 2 95% confidence interval 1.5 1 0.5 y = 2.06x - 0.41 R² = 0.96 0 1 10 100 1000 10000 Number of analysed publications (full count) Hur bör man använda bibliometri? Som statistiskt underlag till sakkunniga Som komplement till kunskap om ämnet och den bedömda organisationen Bibliometri fungerar bäst på makronivå En statistisk genväg till kvalitetsbedömning Peer review Bibliometri Länder Lärosäten Grupper Individer 1 10 100 1000 10000 100000 Publikationer per år
Mäter bibliometri forskningskvalitet? Ja, om: Forskningen publicerar sig i internationella tidskrifter Impact (citeringar) = kvalitet Forskningen är "konventionell" Datamaterialet är stort (> 500 publikationer) Nej, om: Forskningen genererar böcker, rapporter, patent, debattartiklar och praktiska resultat Citeringar betyder något annat än impact Forskningen är ung, smal och paradigmbrytande Datamaterialet är litet (< 50 publikationer) Ej diagnostiskt: Bibliometri mäter inte frånvaro av kvalitet Fördelning av forskningsmedel med bibliometri
Forskningspolitiska propositionen 2008 5 nya miljarder kronor till svensk forskning Ny modell för fördelning i konkurrens mellan lärosäten 10% av lärosätenas basanslag konkurrensutsätts 5% fördelas baserat på externa projektanslag 5% fördelas baserat på publikationer och citeringar Publiceringsindikator för medelsfördelning Produktion gånger genomslag Publikationer gånger citeringar Antal publikationer och citeringar justeras för olikheter i forskningsfälten Fältnormerade citeringar Konventionell metod för att jämföra olika forskningsfält finns Områdesjusterad publiceringsvolym Ny metod togs fram till forskningspropositionen All statistik baserad på Thomson Reuters databas
Grundläggande problemställningar Hur jämföra publiceringsvolym mellan olika vetenskapsområden? Hur Olika vi publiceringskulturer än gör ger olika synlighet i Vi Thomson-databasen behöver komplettera med forskarregistrerat Olika genomsnittlig material publikationsproduktivitet Hur hantera områden med mycket låg och ojämn synlighet i Thomson-databasen? Humaniora och samhällsvetenskap SwePub.se Web of Science + SwePub = sant? 100% 90% 80% 70% 60% SwePub-data 50% 40% 30% Web of Science-data 20% 10% 0% Kemi Biomedicin Fysik Medicin & farmakologi Biologi Matematik Teknik Odontologi Nationalekonomi Psykologi Övrig samhällsvetenskap Humaniora
VRs arbete med publiceringsindikatorn 2009 VR tog fram ny modell "SEK per pek" Föreslog utvidgning av datasetet med SwePub Vetenskapsrådet styrelse rekommenderade regeringen att vänta med implementering Regeringen uppdrog åt VR att räkna enligt forskningspropositionens modell Modellen redan använd för budgetår 2009 Samma modell för budgetåren 2010-2013 Forskningspropositionen 2012 Ny modell för fördelning av medel till lärosätena Baserad på sakkunniggranskning (RAE/REF) VR får uppdrag att utreda beräknas ta 3 år Nuvarande modellen används under tiden Fördelningen ökas från 10% till 20% år 2014 KB får uppdrag att utveckla SwePub för statistik tillsammans med VR Blir SwePub en del av den nya fördelningsmodellen? VR får uppdrag att utveckla SweCRIS Nationellt forskningsinformationssystem Publikationsdata från SwePub blir del av SweCRIS
Bibliometri och forskningspolitik ett diskussionsunderlag Varför bibliometrihausse? Globalt kunskapssamhälle Forskningen är kunskapssamhällets industri Dagens forskare är arbetare i kunskapsproduktionen Forskningen kostar mycket idag Vad får samhället tillbaks av investerade medel? CRIS Current Research Information Systems Få mätbara resultat av grundforskning Publikationer och citeringar är två av de få
En framväxande publikationsekonomi Bibliometrin blir del av forskningsutvärderingar Underlag för statistik över produktion och genomslag Publikationsmått används för medelstilldelning Både centralt av regeringen och lokalt av universitetsledningar och institutionsledningar Publikationsmått är en del av universitetsrankningar Används av studenter och forskare när de väljer universitet Publikationernas antal, citeringsgrad och inramning räknas inte deras innehåll Hur påverkar bibliometrin forskningen? Forskningen riskerar att bli mer inriktad på att producera publikationer än resultat Publikationer och citeringar blir valuta för att erhålla tjänster och finansiering Amatörbibliometrin gör värst skada Tidskrifternas impaktfaktorer säger ingenting om den enskilda publikationen Antal publikationer och citeringar kan inte jämföras rakt av mellan olika forskningsområden
Hur optimerar man sitt bibliometriska utfall? Skriv artiklar på engelska i internationella tidskrifter Kontrollera tidskriftens genomslag (JIF) Samarbeta och sampublicera Använd ett unikt och konsekvent författarnamn Ange tydliga organisationsanknytningar Publicera open access fritt tillgängligt för alla Öka synligheten - registrera publikationen i din organisations publikationsdatabas Bibliometri och open access motstridiga krav och signaler?
Vetenskapsrådet och Open Access (OA) Krav på open access-publicering i avtalen om projektmedel från år 2010 och framåt Publikationen ska finnas fritt tillgänglig på nätet senast sex månader efter publicering Gäller endast tidskriftsartiklar och konferensbidrag Monografier och bokkapitel är tills vidare undantagna Motsättning mellan bibliometri och OA? Ingen motsättning mellan kvalitet och OA OA-tidskrifter har samma kvalitetsgranskning som traditionella tidskrifter Vissa OA-tidskrifter har redan höga impactfaktorer Ett ökande antal OA-tidskrifter finns med i Web of Science Öppen publicering ger ökad användning och ökad citering Publikationer i ArXiv citeras mer än dubbelt så mycket som inlåsta artiklar Bibliometri är konserverande Långsamt upptag i citeringsdatabaserna Mått baserade på traditionella publiceringsformer
Bibliometriindikatorn och Open Access Regeringens publiceringsindikator mäter citeringen till enskilda artiklar inte tidskrifter I teorin inget problem med open access Tidskriften måste finnas med i Thomson Reuters databas I praktiken fungerar begränsningen till Thomson Reuters databas som en broms för open access Sammanfattning Mäter bibliometri forskningskvalitet? Använd av sakkunniga och med en hög aggregationsnivå Medelsfördelning med bibliometri För endimensionellt och trubbigt Bibliometri och forskningspolitik Forskningen som kunskapssamhällets industri Prestationsmätandet är här för att stanna Open access och bibliometri Nya mått på genomslag behöver utvecklas
Tack! Frågor? Diskussion! Kommentarer till: ulf.kronman [at] kb.se