Bibliometri - inte bara räkna böcker

Transkript

1 Bibliometri - inte bara räkna böcker Ulf Kronman Vetenskapsrådet Kungliga Tekniska Högskolan SUHF Forum för Bibliotekschefer

2 nu även räkna pengar!

3 Varför bibliometrihausse? Globalisering konkurrens Studenter, forskare, renommé, resurser Systemskifte Mer forskare än pengar Revisionssamhälle Manegementkultur Publikationer och citeringar två av de få mätbara resultaten av forskning

4 Bibliometri = statistik på publikationer Produktion: Publikationer Hur många per år, per forskare, per krona, Vilka typer artiklar, avhandlingar, rapporter, böcker Genomslag: Citeringar Hur många per enhet, forskare, publikation, år Samverkan: Sampublicering och cocitering Samförfattande vilka skriver tillsammans? Vem citerar vem? Dynamik: Ämnessamband Vad citerar vad?

5 Olika forskningsfält olika förutsättningar Skiftande publiceringskulturer Publikationstyper Antal Citeringsmönster Olika täckningsgrad i datakällorna Medicin och naturvetenskap (artiklar) täcks bra Humaniora och samhällsvetenskap (böcker) täcks dåligt Normering = att jämföra lika med lika Fältnormering jämför med publikationer inom samma forskningsfält Normering kan också göras mot tidskrift, organisation, land, etc.

6 Fältnormerad citeringsgrad Publiceringsår Fler citeringar ju fler år sedan publicering Dokumenttyp Översiktsartiklar får 2,5 gånger fler citeringar än originalartiklar Forskningsfält Biomedicin 20 gånger fler citeringar än samhällsvetenskap Normerat världsmedelvärde = 1 Mer än 1 = större genomslag än genomsnittet

7 Citeringar i relation till publikationstyp och ålder Graph based on Karolinska Institutet world data acquired from Thomson, Inc.

8 Citeringar ojämnt fördelade

9 Fältnormerad citeringsgrad ingen standard! Alla med tillgång till världsdata räknar på olika sätt Redovisningar utan felmarginaler Skattad felmarginal i relation till antal publikationer i analysen Δ = 1.26 P 0.385

10 Nordisk sampublicering

11 Citeringsanalys - författare Author co-citation (ACA) map in Information Science by Olle Persson, Dept Sociology, Umeå university, Sweden

12 Hur ska man använda bibliometri? Som statistiskt underlag till sakkunniga Som komplement till kunskap om ämnet och den bedömda organisationen Ensamt fungerar bibliometri bäst på makronivå Peer review Bibliometri Länder Grupper Lärosäten Individer Publikationer per år

13 Hur ska man inte använda bibliometri? På mikronivå Enskilda publikationer, individer eller små grupper Utan sakkunskap och sammanhang Endimensionella mått och rankinglistor Utan data Citeringsmätningar för humaniora/samhällsvetenskap För medelstilldelning? Reaktivt och konserverande Endimensionellt och manipulerbart Riskerar att ge oönskade styrande effekter

14 Datakällor för bibliometri Thomson ISI Web of Science standarden 9000 tidskrifter från 60-talet Elsevier Scopus nykomlingen tidskrifter och konferensserier från 1996 Google Scholar allt på nätet Även doktorsavhandlingar och rapporter Specialdatabaser Chemical abstracts, SPIRS, ArXiv, CiteSeer Eget repositorium Inga citeringsanalyser

15 Bibliometri en bild av verkligheten Förenkling Rankningslistor Bibliometriska indikatorer Komplexitet Fackgranskning (peer review)

16 Fältnormerad citeringsgrad med felmarginaler

17 Sampublicering författare och ämnen Jonas Lundberg, Karolinska Institutet

18 Bibliometriska modeller för fördelning av medel Nationell resurstilldelning med hjälp av publikationer en fråga i tiden Forum för bibliotekschefer 22 oktober 2008 Leif Eriksson Planeringsavdelningen Uppsala universitet

19 Bibliometriska modeller för fördelning av medel talet, bibliometrins gyllene årtionde - Börjar användas som indikator för fördelning av forskningsmedel, både lokalt och nationellt ex. Australien, England (RAE), Norge, Danmark, Sverige - Görs på lärosätesnivå - Indikatorerna olika från land till land

20 Bibliometriska modeller för fördelning av medel Bakgrund Fördelningsinstrument bygger ofta på förlegade principer Strävan efter att hitta objektiva mått för fördelning Ofta parade med incitament om att höja kvaliten i forskningen, t ex när det gäller publicering Ex: Danmark - Basismidlerne til universiteterne er hidtil udmålt som sidste års bevilling og har ikke været gjort afhængig af kvalitetsmål England (RAE) - to develop robust quality indicators for all disciplines to underpin our selective funding approach

21 Bibliometriska modeller för fördelning av medel - England RAE (Research Assessment Exercise) startade 1986, görs vart 5:e år - Peer-review har använts samt viss bibliometri - För 2008 kommer bibliometriska indikatorer baserad på citeringsanalyser att användas, dock ej för humaniora-samhällsvetenskap - Australien har provat flera citeringsindikatorer - Belgien liknande bibliometrisk indikator har använts för att fördela medel mellan 6 flamländska universitet (början 2003)

22 Bibliometriska modeller för fördelning av medel - Norge har infört ett nytt fördelningssystem, innehåller en bibliometrisk indikator som som bygger på publiceringsverksamhet, - Fokuserar på publiceringskanaler (tidskrifter, bokförlag) i stället för citeringar - Danmark har infört denna modell, Finland och Island diskuterar modellen

23 Bibliometriska modeller för fördelning av medel Engelska modellen Citeringsanalyser Bygger på analyser av citeringar av enskilda artiklar. Jämförs med världsgenomsnittet inom samma ämnesområde Kritik: systemet missgynnar humaniorasamhällsvetenskap Tar endast hänsyn till artiklar, bortser från andra publiceringformer, täckningen dålig i ISI Web of Science för tidskrifter inom humsam

24 Bibliometriska modeller för fördelning av medel Norska modellen Analyserar publiceringskanaler - Tar även med monografier, kapitel i böcker, konferensbidrag - Förlag och tidskrifter nivåindelas, varje bidrag poängberäknas enligt ett viktningssystem - Kritik: tar ej hänsyn till impact hos enskilda artiklar (citeringar)

25 Bibliometriska modeller för fördelning av medel Svenska modellen - Utredning om forskningsfinansiering (RUT 2), forskningspropositionen - Föreslagen bibliometrisk indikator: Waringvärdet - Först räknas Waringreferensvärdet ut (ett uppskattat genomsnittligt värde för vad en forskarpopulation inom ett visst område producerar, baserad på produktionen ISIartiklar från nordiska universitet och högskolor) - Antalet artiklar i ISI divideras sedan med Waringreferensvärdet, ger ett produktionstal (Waringvärdet) - Ex. Waringreferensvärdet = 2; antalet producerade artiklar i ISI = 20. Då blir Waringvärdet = 20/2 = Produktionstalet multipliceras sedan med det färltnormaliserade citeringsvärdet = fördelningsmåttet

26 Bibliometriska modeller för Nuvarande andel % fördelning av medel Produktionstal (Waring) CPP/FCSm Waring* CPP/FCSm LU 14, , ,22 UU 13, , ,19 KI 11, , ,35 GU 12, , ,30 SU 8, , ,38 KTH 4, , ,67 SLU 6, , ,51 CTH 4, , ,39 UMU 9, , ,63 LiU 5, , ,00 LTU 2, , ,35 HHS 0, , ,84 ORU 1, , ,65 KAU 1, , ,63 MIU 1, , ,55 VXU 1, , ,36 Beräknad andel %

27 Bibliometriska modeller för fördelning av medel Svenska modellen - Flera remissvar påpekar att lärosäten med stor andel humaniora och samhällsvetenskap missgynnas - Forskningspropositionen föreslår viktning av olika vetenskapsområdena för att snedvridningen ska rättas till

28 Publiceringen inom samhällsvetenskaplig fakultet Den norska modellen Publiceringskanalerna undersöks, dvs. tidskrifter och förlag Publiceringskanalerna kategoriindelas Viktning sker efter publikationstyp och publiceringskanal Tidskriftsartiklar är en homogen kategori, svenska tidskrifter oftast ej nivåbedömda, lämnas utanför

29 Fördelningsmodell Samhällsvetenskaplig fakultet Forskarutbildningsresurs ca 50% Forskningsresurs ca 50% - lärarkårens kompetens (33%) - externa medel (33%) - publicering (33%) Total andel som fördelas på grundval av publicering ca 10% (1 publiceringspoäng ger ca 9000 kr/år)

30 Fördelningsmodell Samhällsvetenskaplig fakultet Institution Antal publ Ek historia 281 Nivå 1 % Nivå 2 % Artiklar % Kapitel i bok % Bok % 77,7 22,3 10,9 34,9 54,2 Freds- o konflikt ,3 77,7 47,3 25,6 27,1 Företagsekonom ,1 15,9 26,3 23,7 50,0 Informationsvet ,3 20,7 68,8 17,8 13,4 Kostvetenskap 88 84,7 15,3 59,7 9,7 30,6 Kulturgeografi ,4 77,6 67,3 18,3 14,4 Nationalekonomi ,1 70,9 91,9 5,4 2,7 Pedagogik ,9 37,1 43,2 23,5 33,3 Psykologi ,1 66,9 92,9 7,1 0,0 Sociologi ,1 15,9 26,3 23,7 50,0 Statsvetenskap ,6 38,4 38,1 19,9 42,0

31 Fördelningsmodell Samhällsvetenskaplig fakultet Andelar av forskningsresurserna Institution Poäng Fördelning Andel publicering krontal publicer Ek historia 80, ,3 Freds- o konflikt 62, ,5 Företagsekonom 115, ,5 Informationsvet 21, ,0 Kostvetenskap 25, ,3 Kulturgeografi 71, ,5 Nationalekonomi 195, ,8 Pedagogik 30, ,8 Psykologi 280, ,6 Sociologi 61, ,6 Statsvetenskap 152, ,9 Summa ,0

32 Fördelningsmodell Samhällsvetenskaplig fakultet Vinnare på indikatorn publicering Psykologi (hög output, hög andel artiklar, hög andel nivå 2) Nationalekonomi (hög output, hög andel artiklar, hög andel nivå 2) Statskunskap (stor andel böcker på nivå 2, gynnas av den norska modellen)

33 Bibliometristrategi och samarbete - hur går vi framåt? Håkan Carlsson Universitetsbiblioteket, Göteborgs universitet Arbetsgruppen för bibliometri, Forum för Bibliotekschefer, SUHF

34 Behov av bibliometrisk kompetens Externa stimulus -Rankning - Nationellt fördelningssystem Kvalitetsfokus Forskarhotell -> University Management Universitetskoordinerade satsningar Behov att förstå sin egen verksamhet -> Behov av lokal kompetens Bibliometriinventeringen: 24/36 spår ökat antal årsanställda med bibliometriska arbetsuppgifter

35 Är bibliometri en biblioteksfråga? Analyser kräver tillgång till publikationsdatabaser och externa index. Bibliotekariens förståelse av dokumenttyper, metadata och databaser är passande.?

36 Inventering av bibliometriverksamhet vid svenska lärosäten 13 lärosäten har idag organiserad bibliometrisk verksamhet: Chalmers tekniska högskola Göteborgs universitet Högskolan i Borås Karolinska Institutet Kungliga tekniska högskolan Linköpings universitet Lunds universitet Stockholms universitet Sveriges lantbruksuniversitet Umeå universitet Uppsala universitet Växjö universitet Örebro universitet

37

38 Inventering av bibliometriverksamhet vid svenska lärosäten Vilken utbildning har de som utför de bibliometriska analyserna? Forsk Biblio Annan Analytiker

39 Är bibliometri en biblioteksfråga? Biblioteken är en av de stora aktörerna på bibliometrifronten i Sverige. Bibliometri är en strategisk fråga i bibliotekens stöd till forskning. Forum har tagit ett stort ansvar i att samordna verksamheten. Arbetsgruppen har blivit hela SUHF:s bibliometrigrupp.

40 Vilka behov av samordning finns? Utbildning Endagarskurser Tredagarskurser Information om andra möjligheter Inventering Återkommande enkäter om bibliometriverksamheten Nätverk Metricsgruppen lista Seminarier 2ggr/år kring aktuella tema Inköp Rådata Komplettering av publikationsdatabaser jfr KB

41 Frågor Ska biblioteken fortsätta att ta täten i bibliometriarbetet? Hur kan arbetet samordnas på bästa sätt? Finns det mer behov av stöd? Är SUHF rätt plattform? Medför bibliotekens ledande ställning också ett speciellt ansvar för arbetet nationellt och lokalt?