Bibliometri för utvärdering av forskning

Transkript

1 Bibliometri för utvärdering av forskning publikationer som prestationsmätare och kvalitetsmått Ulf Kronman Kungliga biblioteket Samordnare för OpenAccess.se och publiceringsfrågor Publiceringsseminarium vid Högskolan i Gävle Föredragets delar Kort grundkurs i bibliometri Datakällor, metoder och indikatorer Medelsfördelning med bibliometri Regeringens indikator för fördelning av basmedel till de svenska lärosätena Mäter bibliometri forskningskvalitet? Kritisk granskning Bibliometri och forskningspolitik Bibliometri som nyckeltal och incitament

2 Grundkurs i bibliometri Bibliometri = statistiska analyser av publikationer Produktion publikationer Hur många, per år, per forskare, per krona? Vilka typer av publikationer? Genomslag citeringar Blir publikationerna lästa och gör intryck i forskarsamhället? Samverkan nätverk Samförfattande, ämnesrelationer och citeringsrelationer Dynamik Hur förändras ovanstående indikatorer över tiden?

3 Datakällor för bibliometri Thomson Reuters Web of Science tidskriftstitlar från 1960-talet (ISI) Elsevier Scopus tidskrifter och konferensserier från 1996 Google Scholar Samlar in "allt på nätet" Även doktorsavhandlingar och rapporter Egen publikationsdatabas DiVA & SwePub Bättre täckning fler dokumenttyper Verifierade data forskare och institution Inga citeringsdata ingen världsdata Olika forskningsfält olika förutsättningar Skiftande publiceringskulturer Olika publikationstyper Varierande publiceringsfrekvens Olika citeringsmönster Olika täckningsgrad i datakällorna Medicin och naturvetenskap täcks bra Internationella tidskriftsartiklar Teknik täcks halvbra Tidskriftsartiklar, konferenser, rapporter Samhällsvetenskap och humaniora täcks dåligt Nationella tidskriftsartiklar, böcker, antologier

4 Olika områdens synlighet i Web of Science 100% 90% Web of Science's täckning i Norge Tidskriftsartiklar 80% 70% 60% 50% Konferenstryck Rapporter Böcker 40% 30% 20% 10% 0% Kemi Biomedicin Fysik Medicin & farmakologi Biologi Matematik Teknik Odontologi Nationalekonomi Psykologi Dataunderlag från norska Database for statistikk om høgre utdanning (DBH) Övrig samhällsvetenskap Humaniora Citeringsbaserad bibliometri Bygger på antagandet att en citering speglar en publikations genomslag i forskningssamfundet Citerande/refererande B Citerande/refererande C Referens Citering Citerad A Citering Referens

5 Citeringar ojämnt fördelade Citeringar i relation till publikationstyp och ålder 45 Average citations related to age and document type Review articles Original articles

6 Citeringar i relation till ämne och ålder Fältnormerad citeringsgrad ( crown ) Publiceringsår Fler citeringar ju fler år sedan publicering Dokumenttyp Översiktsartiklar får 2,5 gånger fler citeringar än originalartiklar Forskningsfält Cellbiologi 10 gånger fler citeringar än matematik Normering jämför lika med lika Samma år, dokumenttyp och forskningsfält Normerat världsmedelvärde = 1 Mer än 1 => större genomslag än världsgenomsnittet

7 Bibliometriska indikatorer exempel Publikationer (P) Ämnesområden, trender, samförfattande Citeringar (C) Fältnormerade (c f ) Tidskrifter Thomson Reuters Journal Impact Factor (JIF) Forskare h-index: h antal publikationer citerade minst h gånger Visualiseringar av bibliometriska relationer

8 Fördelning av forskningsmedel med bibliometri Forskningspolitiska propositionen nya miljarder kronor till svensk forskning Ny fördelningsmodell Baserad på Resursutredningens (RUT2) förslag 10% av lärosätenas basanslag konkurrensutsätts 5% fördelas baserat på externa anslag Sakkunniggranskade anslag från VR, FAS, Formas, Riksbankens jubileumsfond, näringslivet, m.fl. 5% fördelas baserat på publikationer och citeringar Runt miljoner kr/år

9 Publiceringsindikator för medelsfördelning Produktion gånger genomslag Publikationer gånger citeringar Antal publikationer och citeringar justeras för olikheter i forskningsfälten Fältnormerade citeringar Konventionell metod för att jämföra olika forskningsfält finns Områdesjusterad publiceringsvolym Ny metod för att jämföra olika vetenskapsområden togs fram till resursutredningen och forskningspropositionen All statistik baserad på Thomson Reuters databas Grundläggande problemställningar Hur jämföra publiceringsvolym mellan olika vetenskapsområden? Olika publiceringskulturer ger olika synlighet i Hur vi än gör Thomson-databasen Vi behöver komplettera med Olika genomsnittlig publikationsproduktivitet forskarregistrerat material Olika kostnader för att producera en publikation Hur hantera områden med mycket SwePub.se låg och ojämn synlighet i Thomson-databasen? Humaniora och samhällsvetenskap

10 Web of Science + SwePub = sant? Web of Science's täckning i Norge 100% 90% 80% 70% 60% SwePub-data 50% 40% 30% Web of Science-data 20% 10% 0% Kemi Biomedicin Fysik Medicin & farmakologi Biologi Matematik Teknik Odontologi Nationalekonomi Psykologi Övrig samhällsvetenskap Humaniora Arbetet med publiceringsindikatorn 2009 VR levererade ny modell "SEK per pek" Modellen baserade sig på kostnader per forskningsområde Undantog humaniora och samhällsvetenskap Föreslog utvidgning av datasetet med SwePub Vetenskapsrådet styrelse rekommenderade regeringen att vänta med implementering Regeringen uppdrog åt VR att räkna enligt forskningspropositionens modell Uppdrag att använda samma modell för budgetåren

11 Publiceringsindikatorns framtid Kan vi komplettera data med forskarregistrerat material från SwePub? Skapa ett system liknande de norska och danska? SUHF har gjort utredning av möjligheterna att använda universitetens data via SwePub Översyn av kvalitetsindikatorerna i medelsfördelningen pågår Utredning levererade rapport hösten 2011 Reviderad modell till forskningspropositionen 2012? VR har fått i uppdrag att räkna med nuvarande modellen för BÅ 2012 och 2013 Utredning föreslår ny publiceringsindikator Nationell forskningsdatabas KB föreslås få resurser och uppdrag att bygga en forskningsdatabas baserad på SwePub Publikationsräkning med nivåer enligt norsk modell? Impact factor citeringsindikator VR föreslås bidra med citeringssiffror Sammanvägningen av publikationer och citeringar oklar Får VR/KB i uppdrag att utveckla en gemensam modell?

12 Mäter bibliometri forskningskvalitet? en kritisk granskning Citeringarna är inte normalfördelade

13 Korrelation antal artiklar och brusnivå 2.5 Confidence interval in relation to analysed number of publications 2 95% confidence interval y = 2.06x R² = Number of analysed publications (full count) Hur bör man använda bibliometri? Som statistiskt underlag till sakkunniga Som komplement till kunskap om ämnet och den bedömda organisationen Bibliometri fungerar bäst på makronivå En statistisk genväg till kvalitetsbedömning Peer review Bibliometri Länder Lärosäten Grupper Individer Publikationer per år

14 Mäter bibliometri forskningskvalitet? Ja, om: Forskningen publicerar sig i internationella tidskrifter Impact (citeringar) = kvalitet Forskningen är "konventionell" Datamaterialet är stort (> 500 publikationer) Nej, om: Forskningen genererar böcker, rapporter, patent, debattartiklar och praktiska resultat Citeringar betyder något annat än impact Forskningen är ung, smal och paradigmbrytande Datamaterialet är litet (< 50 publikationer) Ej diagnostiskt: Bibliometri mäter inte frånvaro av kvalitet Bibliometri och forskningspolitik ett diskussionsunderlag

15 Varför bibliometrihausse? Globalisering konkurrens Forskningen är kunskapssamhällets industri Forskningen kostar mycket idag Vad får samhället tillbaks av investerade medel? Få mätbara resultat av grundforskning Publikationer och citeringar är två av de få Från akademisk medborgarlön till ackord Ska vi fortsätta ha ett "akademiskt elfenbenstorn"? Många menar att det är bäst om forskarna får resurser utan att behöva ansöka om dem Men vilka ska då få denna säkra finansiering? Ska vi ha forskningshantverkare som fokuserar på kortsiktigt mätbara resultat? Hur går det med den långsiktiga grundforskningen om allt ska kunna följas upp i mätbara entiteter? Vad och hur ska vi mäta?

16 En framväxande publikationsekonomi Bibliometrin blir del av forskningsutvärderingar Underlag för statistik över produktion och genomslag Publikationsmått används för medelstilldelning Både centralt av regeringen och lokalt av universitetsledningar och institutionsledningar Publikationsmått är en del av universitetsrankningar Används av studenter och forskare när de väljer universitet Publikationernas antal, citeringsgrad och inramning räknas inte deras innehåll Hur påverkar bibliometrin forskningen? Forskningen riskerar att bli mer inriktad på att producera publikationer än resultat Publikationer och citeringar blir valuta för att erhålla tjänster och finansiering Amatörbibliometrin gör värst skada Tidskrifternas impaktfaktorer säger ingenting om den enskilda publikationen Antal publikationer och citeringar kan inte jämföras rakt av mellan olika forskningsområden

17 Hur optimerar man sitt bibliometriska utfall? Skriv artiklar på engelska i internationella tidskrifter Kontrollera tidskriftens genomslag (JIF) Samarbeta och sampublicera Använd ett unikt och konsekvent författarnamn Ange tydliga organisationsanknytningar Publicera open access fritt tillgängligt för alla Öka synligheten - registrera publikationen i din organisations publikationsdatabas Tack! Frågor? Diskussion? Kommentarer: ulf.kronman@kb.se