Referat från workshop om bibliometri inom humaniora, samhällsvetenskap och utbildningsvetenskap

Relevanta dokument
SwePub som källa för bibliometriska analyser

En bibliometrisk jämförelse mellan LTU och vissa andra svenska och europeiska universitet.

Rekommendationer för användning av bibliometriska indikatorer i bedömning av enskilda forskares publikationer Dnr /

BESLUT 1(5) UFV 2011/134. Modell för fördelning av statsanslag från konsistoriet till områdesnämnderna vid Uppsala universitet

Kort introduktion till bibliometri samt huvuddragen i den norska modellen. Per Ahlgren

SwePub. Samlad ingång till och redovisning av svensk vetenskaplig publicering

Fortsättning av en bibliometrisk studie för jämförelse mellan LTU och vissa andra europeiska universitet

Vetenskapsrådets underlag för indikatorn vetenskaplig produktion och citeringar

20 frågor om bibliometri

Synliggör din forskning! Luleå universitetsbibliotek

Times-rankingen. Universitetsrankingen från Times Higher Education. Avdelningen för analys och utvärdering PM: 2010:02. Göteborgs universitet

Bibliometri för utvärdering av forskning

Bibliometri för forskningsutvärdering

UNIVERSITETSRANKNINGEN FRÅN QS 2015

Bibliometri för utvärdering av forskning

KoF 07. Quality and Renewal An Overall Evaluation of Research at Uppsala University

Publiceringsanalyser vid Vetenskapsrådets analysenhet

SwePub Analys. Noden för publikationsdata i det svenska ekosystemet för forskningsinformation

- nya möjligheter att göra forskningen tillgänglig. Vetenskaplig publicering och Open Access Karlstads universitet, 18 februari 2010

SHANGHAIRANKNINGEN 2016

Open access ett nationellt perspektiv

LUP = Mer pengar till forskning?

Innehåll. Källkritik och vetenskaplighet. Introduktion till UB

Peer-review kontra bibliometri

Redovisning från de bibliometriska arbetsgrupperna

This is the accepted version of a paper presented at SWERAs konferens, 7-8 oktober, 2014, Växjö, Sweden.

Shanghai-ranking (ARWU) 2015

Universitetsrankningar samt något om SU:s arbete med datainsamling till rankningarna. Per Ahlgren

Ulf Sandström

Inventering av bibliometrisk verksamhet vid svenska lärosäten

Nationella riktlinjer för öppen tillgång till vetenskaplig information

Shanghai-ranking (ARWU) 2016

Shanghai-listan. Göteborgs universitets placering på Academic Ranking of World Universities (ARWU). Indikatorer och konklusioner.

Resursfördelningsmodell för anslaget för forskning och forskarutbildning

Bibliotekens bibliometriarbete FREDRIK ÅSTRÖM LUNDS UNIVERSITETSBIBLIOTEK

Vetenskapsrådet. Missiv (U2009/4353/F) Carl Jacobsson. Utbildningsdepartementet Stockholm

Sök artiklar i databaser för Vård- och hälsovetenskap

Kvalitetsgranskning av examensarbeten referenser i examensarbeten på sjuksköterske- och lärarutbildningen

UNIVERSITETSRANKNINGEN FRÅN TIMES HIGHER EDUCATION 2015

Bibliometrisk analys av humanistiska institutioner vid Stockholms universitet, 2011

CHE ExcellenceRanking

PM GÖTEBORGS UNIVERSITET Avdelningen för analys och utvärdering Box 100, Göteborg

FÖREDRAGNINGS-PM 1 (5)

SKALPROBLEMET: Svenska publikationer och citeringar

Utvärdering Kvalitet och Nytta 2018 (KoN2018) Information och instruktioner till prefekter angående Units of Assessment (UoA)

Vanliga frågor för forskare

Biblioteket DiVA publikationsdatabas vid Röda Korsets Högskola

UNIVERSITETSRANKINGEN FRÅN TIMES HIGHER EDUCATION 2013

PM GÖTEBORGS UNIVERSITET Analys och utvärdering Box 100, Göteborg

Open APC Sweden. Nationell öppen databas över publicerings- kostnader för öppet tillgängliga artiklar

Aktivitetsrapport från Arbetsgruppen för Bibliometri

SHANGHAIRANKNINGEN 2016

Bibliometrisk studie av naturoch samhällsvetenskapliga institutioner vid Stockholms universitet,

Genus, produktivitet och samarbete

Bibliometrisk analys av humanistiska institutioner vid Stockholms universitet, 2010

QS World University Rankings

Slutrapport. Arbetsgruppen för Högskolans e-publicering. Till Forum för bibliotekschefer, Sveriges universitets- och högskoleförbund (SUHF)

Bibliometri i MER14. - hur, vad, varför? Per Nyström, bibliotekarie. per.nystrom@mdh.se. Viktor Öman, bibliotekarie. viktor.oman@mdh.

PM GÖTEBORGS UNIVERSITET Analys och utvärdering Box 100, Göteborg

Studentuppsatser/Examensarbeten registreras men fulltextpublicering sker frivilligt.

Open Access i Sverige

PUBLICERINGSRÅD FÖR DEN MEDICINSKA OCH HÄLSOVETENSKAPLIGA FAKULTETEN VID LINKÖPINGS UNIVERSITET OCH FÖR REGION ÖSTERGÖTLAND

Presentationen i korthet

SU publikationer och ESI klasser: citeringsgrad och andel högt citerade publikationer

PM GÖTEBORGS UNIVERSITET September 2014 Analys och utvärdering Box 100, Göteborg

Om open access och nya publiceringsvägar

Effekten av ho gskolesektorns forskningsfinansiering sedan 2009

UNIVERSITETSRANKNINGEN FRÅN TIMES HIGHER EDUCATION 2016

Bibliometri & publiceringsstrategiska knep SOLD. Viktor Öman, bibliotekarie viktor.oman@mdh.se

PM GÖTEBORGS UNIVERSITET Avdelningen för analys och utvärdering Box 100, Göteborg

Samarbetet inom forskningen ökar

Riktlinjer för fördelning av publiceringsincitament och forskningsanslag baserat på vetenskaplig publicering

Riktlinjer för användning av bibliometri vid Vetenskapsrådet

Informationssökning Liberal Arts LIB40 V17

kvalitetsgranskning, publicering och spridning av vetenskapliga böcker Maja Pelling och Lena Larsson Linnéuniversitetet

Publikationsstatistik för BTH

Vetenskaplig teori och metod II Att hitta vetenskapliga artiklar

Vetenskaplig publicering

Forskningsbiblioteken som aktörer i publiceringsfrågor

Bibliometrisk analys av humanistiska institutioner vid Stockholms universitet, 2012

UNIVERSITETSRANKNINGEN FRÅN TIMES HIGHER EDUCATION 2018

FOKUS Forskningskvalitetsutvärdering. Sverige. Obs pågående arbete. SUHF Forskningsfinansiering för administratörer 5 december 2014.

Universitetsledning och bibliometri

DSpace som system för årsredovisning av forskning. Linda Gustafsson Bibliotek och IT, Malmö högskola. Mötesplats Open Access april 2007

Vetenskapsrådets utvärderingspolicy

Policy för vetenskaplig publicering

Dnr Utbildningsdepartementet

UNIVERSITETSRANKNINGEN FRÅN QS 2017

Bibliometrisk analys av samhällsvetenskapliga institutioner/juridiska institutionen vid Stockholms universitet, 2011

Hur fångar man kvalitet i högre utbildning?

Svensk utbildningsvetenskaplig forskning: Om forskningskommunikation och publiceringsmönster vid tre lärosäten.

Bibliometrisk analys av naturvetenskapliga institutioner/stockholms Resilienscentrum vid Stockholms universitet, 2011

Skillnader i kursklassificering spelar en liten roll för lärosätenas möjligheter att nå sina takbelopp

Yttrande över Forskningskvalitetsutvärdering i Sverige - FOKUS

QS World University Rankings 2014/2015

Viktigt om informationssökning

Yttrande över remiss om prestationsbaserad resurstilldelning för universitet och högskolor

Impact factor. Citeringar och därmed förknippade problem

Vetenskaplig publicering funktioner, former och mätningar

Transkript:

Referat från workshop om bibliometri inom humaniora, samhällsvetenskap och utbildningsvetenskap av Jessica Rydén Den 19 december 2007 anordnade Vetenskapsrådet en workshop om bibliometri. Syftet var att diskutera hur man kan använda bibliometri för att studera publiceringsmönster och internationellt genomslag för forskning inom humaniora och samhällsvetenskap. Även frågor om hur man kan använda bibliometriska instrument för utvärdering togs upp. I ett forskningspolitiskt klimat som allt mer betonar kvalitetsstyrning går det inte att komma ifrån någon typ av bibliometrisk analys inom humaniora och samhällsvetenskap, poängterade Ulf P Lundgren, huvudsekreterare för Vetenskapsrådets utbildningsvetenskapliga kommitté, som inledde workshopen. Det är oerhört viktigt att vi själva äger frågan. Lotte Faurbæk från Forskning- og innovationsstyrelsen berättade sedan om arbetet med den bibliometriska forskningsindikator som är under utveckling i Danmark. Indikatorn ska tas i bruk år 2010 och kommer att ingå i en samlad finansieringsmodell som även omfattar utbildning och forskningskommunikation. Tanken är att runt fem procent av basmedlen till fakulteterna ska fördelas utifrån bibliometriska kvalitetskriterier. Indikatorn ska vara lätt att förstå samt väl förankrad i forskarvärlden, förklarade Lotte Faurbæk. Därför är ett stort antal forskare involverade i processen att fram indikatorn. Viktigt för legitimiteten är också att databasen präglas av öppenhet. Arbetet leds av en styrgrupp med direktören för Forsknings- og innovationsstyrelsen i spetsen. Under styrelsen finns ett ämnesutskott, ett tekniskt utskott och ett antal ämnesgrupper med sex till åtta forskare inom varje fält. Ämnesgrupperna ska bland annat nominera tidskrifter till auktoritetslistorna. Norge har varit en förebild i arbetet, men det finns inslag i den danska modellen som är annorlunda. Till exempel har vi i Danmark valt att dela in ämneslistorna i större och bredare områden än i Norge, sade Lotte Faurbaek. Hon avrundade med att lista de största utmaningarna i arbetet med att ta fram forskningsindikatorn: hur man ska hitta kvalitetsindikatorer som passar en generell modell, även humaniora och samhällsvetenskap, hur man ska behandla flerförfattarskap samt hur man ska kunna jämföra olika områden med olika publiceringstraditioner. Marianne Wikgren, forskningssekreterare vid Vetenskapsrådets avdelning för forskningsstöd, talade om utvecklingen av ERIH European Reference Index for the Humanities. ERIH är ett försök att ta fram en lättöverskådlig och jämförbar struktur för kvalitetsbedömning inom humaniora. Femton paneler har kvalitetsbedömt 12 000 tidskrifter, varav 6 000 valts ut för att ingå i databasen utifrån peer review-krav, förklarade Marianne Wikgren. Listor har sedan skickats till nationella forskningsfinansiärer för bedömning. Idag finns elva listor klara, bland annat för antropologi och arkeologi. Listorna är framtagna som en motvikt till ISI, som man anser är alltför centrerad på engelskspråkiga tidskrifter och USA som publiceringsland. De är kategoriserade i tre grupper: A) internationellt högt rankade, välciterade och väl spridda B) internationell standardnivå, gott rykte bland forskarna C) betydelsefulla på regional/lokal nivå. Kategoriseringen är ingen 1

rankning enligt ERIH, men används ändå på det sättet i till exempel Belgien, medan man i Estland ger artiklarna i alla ERIH-tidskrifter samma poäng. Att det finns god korrelation mellan ERIH:s kategorier och kvalitet, visar en studie från Australien där man kvalitetsrankat 18 000 tidskrifter (även utifrån bedömning av enskilda artiklar). Även Web of Science indikerar detta. Cirka 60 procent av A-tidskrifterna finns med där, medan endast runt 30 procent från B-kategorin och åtta procent från kategori C. Just nu pågår diskussionen om hur man kan utveckla ERIH till ett evalueringsinstrument. På ett möte i Granada resonerade ett fyrtiotal ERIH-medlemmar från 23 länder om detta Medlemmarna menade att en äkta kvalitetsutvärdering av tidskrifterna kräver att man går in på artikelnivå och gör en rankning, sade Marianne Wikgren. Man vill därför ha en artikeldatabas med möjlighet att göra ett artikelindex. Dessutom vill man ta fram en webbportal och koppla till nationella databaser först då får man ett europeiskt system för vetenskapliga tidskrifter inom humaniora. En av dem som är engagerade för att ta fram en svensk nationell databas för vetenskaplig publicering är Leif Eriksson, bibliotekarie vid Uppsala universitet. Idén är att koppla högskolornas lokala databaser till en gemensam webbportal, berättade han. Man ska kunna söka på samtliga vetenskapliga publikationer via Kungliga Bibliotekets söktjänst Libris. I projektet, kallat Swepub, ingår förutom KB universiteten i Linköping, Uppsala, Lund och Göteborg. Libris står för de tekniska lösningarna. Databasen bygger på självrapportering från forskarna och ska innehålla alla typer av vetenskapliga publikationer: artiklar i vetenskapliga tidskrifter, recensioner, debattinlägg med mera. ISSN-nummer ska vara obligatoriskt för tidskrifter, och det ska vara möjligt att länka till fulltexter. Vi kommer inte att ranka publikationer eller syssla med bibliometri, klargjorde Leif Eriksson. Däremot är det meningen att materialet i databasen enkelt ska kunna länkas till andra system för den som vill utföra bibliometriska analyser. Exempelvis hoppas man kunna möjliggöra citeringsanalyser genom att Vetenskapsrådet länkar till ISI-poster. Under våren slutförs intervjuer med universitetsledningar, forskare och handläggare vid Vetenskapsrådets analysavdelning med flera. Intervjuerna ska resultera i en kravspecifikation till Libris, och hösten 2009 ska databasen vara klar. Olle Persson, professor i sociologi, berättade om den modell för fördelning av fakultetsanslag som utvecklats vid Umeå universitet. Publiceringsdatabasen som används i Umeå bygger på OPUS/DIVA-konceptet. Man räknar enbart artiklar, böcker samt bokkapitel. Engelskspråkiga publikationer ges dubbel vikt, liksom en hel bok jämfört med ett bokkapitel eller en artikel. Man har även fraktionaliserade publiceringspoäng för publikationer med flera författare. Av de totala fakultetsmedlen på runt 70 miljoner är det tio procent som fördelas utifrån bibliometriska kriterier. Erfarenheterna är goda och visar också att exakt hur man viktar publikationer inte påverkar fördelningen i någon större omfattning, förklarade Olle Persson: Tar man bort "bokvikten" händer nästan ingenting, inte heller om man ger alla publikationer samma värde. Däremot ger fraktionaliseringen ett visst utslag, så att psykologiämnet (som ofta har flera författare till en artikel) kanske förlorar 100 000 kronor, enligt Olle Persson. Allt som allt påverkar fraktionaliseringen fördelningen med ungefär två miljoner kronor. 2

Naturligtvis kan några miljoner vara betydelsefullt för en fakultet, konstaterade Olle Persson, men sett till det totala anslaget, så tycker jag att detta visar att viktningen gör ganska liten skillnad för fakulteterna och inte skulle behöva orsaka så mycket bråk. Staffan Karlsson från Vetenskapsrådets avdelning för forskningspolitisk analys beskrev brister och förtjänster med bibliometriska analyser och Web of Science. Web of Science har ofta kritiserats utanför bibliometriska kretsar, konstaterade han, men i praktiken är den allt mer använd och tillmäts stor betydelse av flera centrala aktörer i forskarvärlden. Fram till nyligen hade Thomson Scientific (tidigare ISI) i stort sett världsmonopol på att ge underlag till bibliometriska studier. Den vanligaste kritiken angående bibliometri rör journal impact factor. Impactfixerade forskare snedvrider manusflödet, anser kritikerna. Få vill skicka manuskript till nya tidskrifter eller tidskrifter med låga impact siffror. Resultatet blir att vissa tidskrifter knappt för några manus, medan andra drunknar i dem. Impact factor är heller ingen bra indikator för att bedöma kvaliteten hos enskilda artiklar, förklarade Staffan Karlsson. Även om 25 procent av Natures artiklar är högciterade, så får samtidigt ungefär lika många artiklar få eller inga citeringar. Allt som publiceras i Nature är således inte jättebra. Citeringar behöver heller inte vara ett mått på kvalitet, eftersom alla citeringar inte är positiva. Exempelvis är den mest citerade artikeln en metodartikel av Lowry med en kvarts miljon citeringar, medan Watson och Cricks artikel om DNA-spiralen, vilket renderade dem ett nobelpris, endast har citerats 2 400 gånger. Mot denna kritik kan ställas otaliga analyser som visar att det överlag finns en positiv korrelation mellan peer review och citeringar, påpekade Staffan Karlsson: Sammanfattningsvis kan man säga att bibliometri är vanskligt att använda för bedömning av enskilda publikationer eller forskare, men kan fungera bra som ett komplement till peer review-bedömningar. För forskare inom humaniora är det ett problem att Web of Science endast innehåller internationella, engelskspråkiga tidskrifter. En titt i databasen visar att antalet svenska publikationer i humanistiska tidskrifter har minskat under de senaste åren och överlag är mycket få (mindre än en procent av samtliga svenska artiklar). Inom samhällsvetenskap är antalet publikationer betydligt fler. Sverige har med runt 500 artiklar om året ungefär dubbelt så många som övriga nordiska länder. Arne Jarrick, huvudsekreterare för Vetenskapsrådets ämnesråd för humaniora och samhällsvetenskap, gjorde några avslutande reflexioner. Mängden vetenskapliga publikationer gör att man måste ha någon form av indirekt kvalitetsbedömning, konstaterade han. I dag publiceras det kanske runt en och en halv miljon vetenskapliga texter om året. Även om impact inte är ett direkt mått på kvalitet, måste man anse att det ger en indikation på kvalitet och inte bara uppmärksamhet, ansåg han. Om dessutom peer review korrelerar väl med citeringar, så finns det ytterligare skäl att tro detta. Arne Jarrick påpekade att det finns utbudsindikatorer respektive efterfrågeindikatorer. Är det ett värde i sig att forskare är produktiva och citerade, frågade han sig? Ja, att mäta citeringar är demokratiskt i den mening att systemet är transparent och lätt att förstå. Dessutom speglar det vad många efterfrågar. Samtidigt inbjuder det forskare till att bli opportunister. Om produktivitet lönar sig finns en risk att man driver på överproduktionen ytterligare. 3

Att värdera vetenskap direkt är tidskrävande och i en mening odemokratiskt, eftersom det speglar vad en liten grupp anser och ofta bygger på ett urval. Ändå anser jag att man i högre grad än tidigare bör utvärdera det vetenskapliga värdet av de resultat som presenteras i vetenskapliga publikationer oberoende av om dessa texter efterfrågas eller inte, etc. Men sådana direkta metoder för att värdera vetenskap måste göras mer ekonomiska och målsökande. Nedan listas några av de frågor som togs upp för diskussion. Om utvecklingen av bibliometriska databaser En nationell eller internationell angelägenhet? Professor Elisabet Engdahl är ledamot av Vetenskapsrådets ämnesråd för humaniora och samhällsvetenskap samt ordförande för Nordiska publiceringsnämnden. Hon efterlyste mer nordiskt samarbete för att utveckla publikations- och citeringsdatabaser och verktyg som går att använda över gränserna. Även om det danska systemet i första hand ska användas för att mäta produktivitet och fördela resurser inom landet, precis som det norska, så bör man tänka på att de nationella databaserna kan användas för andra syften, till exempel som bibliografiska databaser, sökbara via Internet. Detta skulle bidra till att synliggöra nordisk forskning. Några deltagare pekade på att det finns stora fördelar även med lokala databaser. I Uppsala använder man den lokala databasen OPUS för att fördela fakultetsmedel inom medicin sedan tio år tillbaka, berättade Leif Eriksson. Umeå och Växjö är på väg att införa liknande system. Om dilemmat med klassificering av tidskrifter Hur ska man då klassificera tidskrifterna i en nationell databas? Inte genom att ta efter Thomsons ämnesklassificering, ansåg flertalet. Att sätta en ämnesetikett utifrån adress är knepigt, då olika centrumbildningar och ihopslagningar av institutioner blir allt vanligare På min institution finns exempelvis både feminister och historiker, sade Sverker Lindblad, professor i pedagogik vid Göteborgs universitet. Vi kan inte låta Thomson klassificera oss, utan vi inom fältet måste jobba empiriskt och själva ta fram kategorier för beskrivningar och analyser. Pröva att ämnesklassificera artiklar i olika tidskrifter, sade Arne Jarrick: Finns det ett starkt statistiskt samband mellan tidskriftens kategori och artiklarnas så är det väl ok att följa den modellen. Vetenskapsrådets analyschef Calle Jacobsson tyckte att man kunde avdramatisera det hela genom att se det som att forskare publicerar sig inom olika områden. Tekniker publicerar exempelvis hälften av sina artiklar i naturvetenskapliga tidskrifter. Medicinarna däremot är de mest ämnestrogna. Om bibliometri som kvalitetsmått Arne Jarrick pekade på problemen med att räkna produktionen årsvis som ett underlag för fördelning av anslag. Risken blir att de som har mer resurser publicerar mer, vilket i sin tur leder till att de får ännu mer resurser. 4

Bedömer man alla ämnen i samma pott kommer det att slå hårt mot humaniora och samhällsvetenskap, trodde Sverker Lindblad: Utgår man från en citeringsanalys, så får Chalmers en ökning på 15 procent av anslaget, medan Göteborgs universitet som har mycket humanoria och samhällsvetenskap, får en anslagsminskning med fem procent. Sverker Lindblad betonade att det är viktigt att komma ihåg att bibliometriska analyser bara beskriver forskningens yta. Man får hoppas att detta ytliga inte fördärvar frågan om vad som är god vetenskap, filosoferade han. Om bibliometri som styrmedel Forskarnas beteende kan påverkas när man inför ett system där bibliometriska analyser ligger till grund för anslagsfördelning. Detta var de flesta överens om. Huruvida denna styrning var bra eller inte rådde det dock delade meningar om. Arne Jarrick tyckte att Olle Persson givit motsägelsefulla uttalanden i sin analys av hur systemet i Umeå fungerat: Å ena sidan säger du att det inte spelar så stor roll för utfallet hur man mixtrar med indikatorer, å andra sidan säger du att systemet är bra just därför att små effekter är ett tillräckligt incitament för forskare att ändra sitt beteende, till exempel till att skriva mer på engelska. Det är olyckligt att så mycket av diskussionen fastnat i indikatorer, när det egentligen inte skulle behöva ha så stor inverkan på forskarnas beteende. Olle Persson replikerade att man väl kan ändra någons beteende utan att det har så stora ekonomiska konsekvenser. Håkan Carlsson såg en fara i att forskarna kanske väljer att gå ifrån sin vanliga publiceringsform för att få pengar. Kanske ska man ha en klase mått som mäter olika saker, resonerade han. Olle Persson höll inte med: Det här är forskningspolitik och vi gör så här för att vi vill styra forskningen åt ett visst håll, exempelvis premiera publicering på engelska för att få internationellt genomslag. 5