Bibliometri - inte bara räkna böcker Ulf Kronman Vetenskapsrådet Kungliga Tekniska Högskolan SUHF Forum för Bibliotekschefer 2008-10-22
nu även räkna pengar!
Varför bibliometrihausse? Globalisering konkurrens Studenter, forskare, renommé, resurser Systemskifte Mer forskare än pengar Revisionssamhälle Manegementkultur Publikationer och citeringar två av de få mätbara resultaten av forskning
Bibliometri = statistik på publikationer Produktion: Publikationer Hur många per år, per forskare, per krona, Vilka typer artiklar, avhandlingar, rapporter, böcker Genomslag: Citeringar Hur många per enhet, forskare, publikation, år Samverkan: Sampublicering och cocitering Samförfattande vilka skriver tillsammans? Vem citerar vem? Dynamik: Ämnessamband Vad citerar vad?
Olika forskningsfält olika förutsättningar Skiftande publiceringskulturer Publikationstyper Antal Citeringsmönster Olika täckningsgrad i datakällorna Medicin och naturvetenskap (artiklar) täcks bra Humaniora och samhällsvetenskap (böcker) täcks dåligt Normering = att jämföra lika med lika Fältnormering jämför med publikationer inom samma forskningsfält Normering kan också göras mot tidskrift, organisation, land, etc.
Fältnormerad citeringsgrad Publiceringsår Fler citeringar ju fler år sedan publicering Dokumenttyp Översiktsartiklar får 2,5 gånger fler citeringar än originalartiklar Forskningsfält Biomedicin 20 gånger fler citeringar än samhällsvetenskap Normerat världsmedelvärde = 1 Mer än 1 = större genomslag än genomsnittet
Citeringar i relation till publikationstyp och ålder Graph based on Karolinska Institutet world data acquired from Thomson, Inc.
Citeringar ojämnt fördelade
Fältnormerad citeringsgrad ingen standard! Alla med tillgång till världsdata räknar på olika sätt Redovisningar utan felmarginaler Skattad felmarginal i relation till antal publikationer i analysen Δ = 1.26 P 0.385
Nordisk sampublicering 1987-2007 1992 1997 2002 1987 2007
Citeringsanalys - författare Author co-citation (ACA) map in Information Science by Olle Persson, Dept Sociology, Umeå university, Sweden
Hur ska man använda bibliometri? Som statistiskt underlag till sakkunniga Som komplement till kunskap om ämnet och den bedömda organisationen Ensamt fungerar bibliometri bäst på makronivå Peer review Bibliometri Länder Grupper Lärosäten Individer 1 10 100 1000 10000 100000 Publikationer per år
Hur ska man inte använda bibliometri? På mikronivå Enskilda publikationer, individer eller små grupper Utan sakkunskap och sammanhang Endimensionella mått och rankinglistor Utan data Citeringsmätningar för humaniora/samhällsvetenskap För medelstilldelning? Reaktivt och konserverande Endimensionellt och manipulerbart Riskerar att ge oönskade styrande effekter
Datakällor för bibliometri Thomson ISI Web of Science standarden 9000 tidskrifter från 60-talet Elsevier Scopus nykomlingen 15000 tidskrifter och konferensserier från 1996 Google Scholar allt på nätet Även doktorsavhandlingar och rapporter Specialdatabaser Chemical abstracts, SPIRS, ArXiv, CiteSeer Eget repositorium Inga citeringsanalyser
Bibliometri en bild av verkligheten Förenkling Rankningslistor Bibliometriska indikatorer Komplexitet Fackgranskning (peer review)
Fältnormerad citeringsgrad med felmarginaler
Sampublicering författare och ämnen Jonas Lundberg, Karolinska Institutet
Bibliometriska modeller för fördelning av medel Nationell resurstilldelning med hjälp av publikationer en fråga i tiden Forum för bibliotekschefer 22 oktober 2008 Leif Eriksson Planeringsavdelningen Uppsala universitet
Bibliometriska modeller för fördelning av medel - 2000-talet, bibliometrins gyllene årtionde - Börjar användas som indikator för fördelning av forskningsmedel, både lokalt och nationellt ex. Australien, England (RAE), Norge, Danmark, Sverige - Görs på lärosätesnivå - Indikatorerna olika från land till land
Bibliometriska modeller för fördelning av medel Bakgrund Fördelningsinstrument bygger ofta på förlegade principer Strävan efter att hitta objektiva mått för fördelning Ofta parade med incitament om att höja kvaliten i forskningen, t ex när det gäller publicering Ex: Danmark - Basismidlerne til universiteterne er hidtil udmålt som sidste års bevilling og har ikke været gjort afhængig af kvalitetsmål England (RAE) - to develop robust quality indicators for all disciplines to underpin our selective funding approach
Bibliometriska modeller för fördelning av medel - England RAE (Research Assessment Exercise) startade 1986, görs vart 5:e år - Peer-review har använts samt viss bibliometri - För 2008 kommer bibliometriska indikatorer baserad på citeringsanalyser att användas, dock ej för humaniora-samhällsvetenskap - Australien har provat flera citeringsindikatorer - Belgien liknande bibliometrisk indikator har använts för att fördela medel mellan 6 flamländska universitet (början 2003)
Bibliometriska modeller för fördelning av medel - Norge har infört ett nytt fördelningssystem, innehåller en bibliometrisk indikator som som bygger på publiceringsverksamhet, - Fokuserar på publiceringskanaler (tidskrifter, bokförlag) i stället för citeringar - Danmark har infört denna modell, Finland och Island diskuterar modellen
Bibliometriska modeller för fördelning av medel Engelska modellen Citeringsanalyser Bygger på analyser av citeringar av enskilda artiklar. Jämförs med världsgenomsnittet inom samma ämnesområde Kritik: systemet missgynnar humaniorasamhällsvetenskap Tar endast hänsyn till artiklar, bortser från andra publiceringformer, täckningen dålig i ISI Web of Science för tidskrifter inom humsam
Bibliometriska modeller för fördelning av medel Norska modellen Analyserar publiceringskanaler - Tar även med monografier, kapitel i böcker, konferensbidrag - Förlag och tidskrifter nivåindelas, varje bidrag poängberäknas enligt ett viktningssystem - Kritik: tar ej hänsyn till impact hos enskilda artiklar (citeringar)
Bibliometriska modeller för fördelning av medel Svenska modellen - Utredning om forskningsfinansiering (RUT 2), forskningspropositionen - Föreslagen bibliometrisk indikator: Waringvärdet - Först räknas Waringreferensvärdet ut (ett uppskattat genomsnittligt värde för vad en forskarpopulation inom ett visst område producerar, baserad på produktionen ISIartiklar från nordiska universitet och högskolor) - Antalet artiklar i ISI divideras sedan med Waringreferensvärdet, ger ett produktionstal (Waringvärdet) - Ex. Waringreferensvärdet = 2; antalet producerade artiklar i ISI = 20. Då blir Waringvärdet = 20/2 = 10. - Produktionstalet multipliceras sedan med det färltnormaliserade citeringsvärdet = fördelningsmåttet
Bibliometriska modeller för Nuvarande andel % fördelning av medel Produktionstal (Waring) CPP/FCSm Waring* CPP/FCSm LU 14,33 4401 1,15 5059 15,22 UU 13,16 4115 1,23 5049 15,19 KI 11,17 3816 1,16 4438 13,35 GU 12,53 3140 1,09 3424 10,30 SU 8,30 2560 1,22 3119 9,38 KTH 4,74 2104 1,21 2551 7,67 SLU 6,70 2022 1,23 2496 7,51 CTH 4,46 1757 1,21 2126 6,39 UMU 9,21 1641 1,14 1871 5,63 LiU 5,88 1659 1,00 1663 5,00 LTU 2,25 467 0,96 447 1,35 HHS 0,57 240 1,16 279 0,84 ORU 1,81 207 1,04 215 0,65 KAU 1,55 219 0,96 211 0,63 MIU 1,76 189 0,96 182 0,55 VXU 1,59 113 1,05 119 0,36 Beräknad andel %
Bibliometriska modeller för fördelning av medel Svenska modellen - Flera remissvar påpekar att lärosäten med stor andel humaniora och samhällsvetenskap missgynnas - Forskningspropositionen föreslår viktning av olika vetenskapsområdena för att snedvridningen ska rättas till
Publiceringen inom samhällsvetenskaplig fakultet Den norska modellen Publiceringskanalerna undersöks, dvs. tidskrifter och förlag Publiceringskanalerna kategoriindelas Viktning sker efter publikationstyp och publiceringskanal Tidskriftsartiklar är en homogen kategori, svenska tidskrifter oftast ej nivåbedömda, lämnas utanför
Fördelningsmodell Samhällsvetenskaplig fakultet Forskarutbildningsresurs ca 50% Forskningsresurs ca 50% - lärarkårens kompetens (33%) - externa medel (33%) - publicering (33%) Total andel som fördelas på grundval av publicering ca 10% (1 publiceringspoäng ger ca 9000 kr/år)
Fördelningsmodell Samhällsvetenskaplig fakultet Institution Antal publ. 2003-06 Ek historia 281 Nivå 1 % Nivå 2 % Artiklar % Kapitel i bok % Bok % 77,7 22,3 10,9 34,9 54,2 Freds- o konflikt 216 22,3 77,7 47,3 25,6 27,1 Företagsekonom 411 84,1 15,9 26,3 23,7 50,0 Informationsvet 148 79,3 20,7 68,8 17,8 13,4 Kostvetenskap 88 84,7 15,3 59,7 9,7 30,6 Kulturgeografi 104 22,4 77,6 67,3 18,3 14,4 Nationalekonomi 256 29,1 70,9 91,9 5,4 2,7 Pedagogik 149 62,9 37,1 43,2 23,5 33,3 Psykologi 310 33,1 66,9 92,9 7,1 0,0 Sociologi 239 84,1 15,9 26,3 23,7 50,0 Statsvetenskap 246 61,6 38,4 38,1 19,9 42,0
Fördelningsmodell Samhällsvetenskaplig fakultet Andelar av forskningsresurserna Institution Poäng Fördelning Andel publicering krontal publicer Ek historia 80,4 750 139 7,3 Freds- o konflikt 62,6 584 064 3,5 Företagsekonom 115,3 1 075 759 10,5 Informationsvet 21,7 202 463 2,0 Kostvetenskap 25,1 234 135 2,3 Kulturgeografi 71,3 665 235 6,5 Nationalekonomi 195,5 1 824 033 17,8 Pedagogik 30,4 283 635 2,8 Psykologi 280,7 2 618 956 25,6 Sociologi 61,4 572 868 5,6 Statsvetenskap 152,3 1 420 973 13,9 Summa 1097 10 232 310 100,0
Fördelningsmodell Samhällsvetenskaplig fakultet Vinnare på indikatorn publicering Psykologi (hög output, hög andel artiklar, hög andel nivå 2) Nationalekonomi (hög output, hög andel artiklar, hög andel nivå 2) Statskunskap (stor andel böcker på nivå 2, gynnas av den norska modellen)
Bibliometristrategi och samarbete - hur går vi framåt? Håkan Carlsson Universitetsbiblioteket, Göteborgs universitet Arbetsgruppen för bibliometri, Forum för Bibliotekschefer, SUHF www.gu.se
Behov av bibliometrisk kompetens Externa stimulus -Rankning - Nationellt fördelningssystem Kvalitetsfokus Forskarhotell -> University Management Universitetskoordinerade satsningar Behov att förstå sin egen verksamhet -> Behov av lokal kompetens Bibliometriinventeringen: 24/36 spår ökat antal årsanställda med bibliometriska arbetsuppgifter www.gu.se
Är bibliometri en biblioteksfråga? Analyser kräver tillgång till publikationsdatabaser och externa index. Bibliotekariens förståelse av dokumenttyper, metadata och databaser är passande.? www.gu.se
Inventering av bibliometriverksamhet vid svenska lärosäten 13 lärosäten har idag organiserad bibliometrisk verksamhet: Chalmers tekniska högskola Göteborgs universitet Högskolan i Borås Karolinska Institutet Kungliga tekniska högskolan Linköpings universitet Lunds universitet Stockholms universitet Sveriges lantbruksuniversitet Umeå universitet Uppsala universitet Växjö universitet Örebro universitet www.gu.se
www.gu.se
Inventering av bibliometriverksamhet vid svenska lärosäten Vilken utbildning har de som utför de bibliometriska analyserna? 10 9 8 7 6 5 4 3 2 1 0 Forsk Biblio Annan Analytiker www.gu.se
Är bibliometri en biblioteksfråga? Biblioteken är en av de stora aktörerna på bibliometrifronten i Sverige. Bibliometri är en strategisk fråga i bibliotekens stöd till forskning. Forum har tagit ett stort ansvar i att samordna verksamheten. Arbetsgruppen har blivit hela SUHF:s bibliometrigrupp. www.gu.se
Vilka behov av samordning finns? Utbildning Endagarskurser Tredagarskurser Information om andra möjligheter Inventering Återkommande enkäter om bibliometriverksamheten Nätverk Metricsgruppen E-maillista Seminarier 2ggr/år kring aktuella tema Inköp Rådata Komplettering av publikationsdatabaser jfr KB www.gu.se
Frågor Ska biblioteken fortsätta att ta täten i bibliometriarbetet? Hur kan arbetet samordnas på bästa sätt? Finns det mer behov av stöd? Är SUHF rätt plattform? Medför bibliotekens ledande ställning också ett speciellt ansvar för arbetet nationellt och lokalt? www.gu.se