Referat från workshop om bibliometri inom humaniora, samhällsvetenskap och utbildningsvetenskap

Transkript

1 Referat från workshop om bibliometri inom humaniora, samhällsvetenskap och utbildningsvetenskap av Jessica Rydén Den 19 december 2007 anordnade Vetenskapsrådet en workshop om bibliometri. Syftet var att diskutera hur man kan använda bibliometri för att studera publiceringsmönster och internationellt genomslag för forskning inom humaniora och samhällsvetenskap. Även frågor om hur man kan använda bibliometriska instrument för utvärdering togs upp. I ett forskningspolitiskt klimat som allt mer betonar kvalitetsstyrning går det inte att komma ifrån någon typ av bibliometrisk analys inom humaniora och samhällsvetenskap, poängterade Ulf P Lundgren, huvudsekreterare för Vetenskapsrådets utbildningsvetenskapliga kommitté, som inledde workshopen. Det är oerhört viktigt att vi själva äger frågan. Lotte Faurbæk från Forskning- og innovationsstyrelsen berättade sedan om arbetet med den bibliometriska forskningsindikator som är under utveckling i Danmark. Indikatorn ska tas i bruk år 2010 och kommer att ingå i en samlad finansieringsmodell som även omfattar utbildning och forskningskommunikation. Tanken är att runt fem procent av basmedlen till fakulteterna ska fördelas utifrån bibliometriska kvalitetskriterier. Indikatorn ska vara lätt att förstå samt väl förankrad i forskarvärlden, förklarade Lotte Faurbæk. Därför är ett stort antal forskare involverade i processen att fram indikatorn. Viktigt för legitimiteten är också att databasen präglas av öppenhet. Arbetet leds av en styrgrupp med direktören för Forsknings- og innovationsstyrelsen i spetsen. Under styrelsen finns ett ämnesutskott, ett tekniskt utskott och ett antal ämnesgrupper med sex till åtta forskare inom varje fält. Ämnesgrupperna ska bland annat nominera tidskrifter till auktoritetslistorna. Norge har varit en förebild i arbetet, men det finns inslag i den danska modellen som är annorlunda. Till exempel har vi i Danmark valt att dela in ämneslistorna i större och bredare områden än i Norge, sade Lotte Faurbaek. Hon avrundade med att lista de största utmaningarna i arbetet med att ta fram forskningsindikatorn: hur man ska hitta kvalitetsindikatorer som passar en generell modell, även humaniora och samhällsvetenskap, hur man ska behandla flerförfattarskap samt hur man ska kunna jämföra olika områden med olika publiceringstraditioner. Marianne Wikgren, forskningssekreterare vid Vetenskapsrådets avdelning för forskningsstöd, talade om utvecklingen av ERIH European Reference Index for the Humanities. ERIH är ett försök att ta fram en lättöverskådlig och jämförbar struktur för kvalitetsbedömning inom humaniora. Femton paneler har kvalitetsbedömt tidskrifter, varav valts ut för att ingå i databasen utifrån peer review-krav, förklarade Marianne Wikgren. Listor har sedan skickats till nationella forskningsfinansiärer för bedömning. Idag finns elva listor klara, bland annat för antropologi och arkeologi. Listorna är framtagna som en motvikt till ISI, som man anser är alltför centrerad på engelskspråkiga tidskrifter och USA som publiceringsland. De är kategoriserade i tre grupper: A) internationellt högt rankade, välciterade och väl spridda B) internationell standardnivå, gott rykte bland forskarna C) betydelsefulla på regional/lokal nivå. Kategoriseringen är ingen 1

2 rankning enligt ERIH, men används ändå på det sättet i till exempel Belgien, medan man i Estland ger artiklarna i alla ERIH-tidskrifter samma poäng. Att det finns god korrelation mellan ERIH:s kategorier och kvalitet, visar en studie från Australien där man kvalitetsrankat tidskrifter (även utifrån bedömning av enskilda artiklar). Även Web of Science indikerar detta. Cirka 60 procent av A-tidskrifterna finns med där, medan endast runt 30 procent från B-kategorin och åtta procent från kategori C. Just nu pågår diskussionen om hur man kan utveckla ERIH till ett evalueringsinstrument. På ett möte i Granada resonerade ett fyrtiotal ERIH-medlemmar från 23 länder om detta Medlemmarna menade att en äkta kvalitetsutvärdering av tidskrifterna kräver att man går in på artikelnivå och gör en rankning, sade Marianne Wikgren. Man vill därför ha en artikeldatabas med möjlighet att göra ett artikelindex. Dessutom vill man ta fram en webbportal och koppla till nationella databaser först då får man ett europeiskt system för vetenskapliga tidskrifter inom humaniora. En av dem som är engagerade för att ta fram en svensk nationell databas för vetenskaplig publicering är Leif Eriksson, bibliotekarie vid Uppsala universitet. Idén är att koppla högskolornas lokala databaser till en gemensam webbportal, berättade han. Man ska kunna söka på samtliga vetenskapliga publikationer via Kungliga Bibliotekets söktjänst Libris. I projektet, kallat Swepub, ingår förutom KB universiteten i Linköping, Uppsala, Lund och Göteborg. Libris står för de tekniska lösningarna. Databasen bygger på självrapportering från forskarna och ska innehålla alla typer av vetenskapliga publikationer: artiklar i vetenskapliga tidskrifter, recensioner, debattinlägg med mera. ISSN-nummer ska vara obligatoriskt för tidskrifter, och det ska vara möjligt att länka till fulltexter. Vi kommer inte att ranka publikationer eller syssla med bibliometri, klargjorde Leif Eriksson. Däremot är det meningen att materialet i databasen enkelt ska kunna länkas till andra system för den som vill utföra bibliometriska analyser. Exempelvis hoppas man kunna möjliggöra citeringsanalyser genom att Vetenskapsrådet länkar till ISI-poster. Under våren slutförs intervjuer med universitetsledningar, forskare och handläggare vid Vetenskapsrådets analysavdelning med flera. Intervjuerna ska resultera i en kravspecifikation till Libris, och hösten 2009 ska databasen vara klar. Olle Persson, professor i sociologi, berättade om den modell för fördelning av fakultetsanslag som utvecklats vid Umeå universitet. Publiceringsdatabasen som används i Umeå bygger på OPUS/DIVA-konceptet. Man räknar enbart artiklar, böcker samt bokkapitel. Engelskspråkiga publikationer ges dubbel vikt, liksom en hel bok jämfört med ett bokkapitel eller en artikel. Man har även fraktionaliserade publiceringspoäng för publikationer med flera författare. Av de totala fakultetsmedlen på runt 70 miljoner är det tio procent som fördelas utifrån bibliometriska kriterier. Erfarenheterna är goda och visar också att exakt hur man viktar publikationer inte påverkar fördelningen i någon större omfattning, förklarade Olle Persson: Tar man bort "bokvikten" händer nästan ingenting, inte heller om man ger alla publikationer samma värde. Däremot ger fraktionaliseringen ett visst utslag, så att psykologiämnet (som ofta har flera författare till en artikel) kanske förlorar kronor, enligt Olle Persson. Allt som allt påverkar fraktionaliseringen fördelningen med ungefär två miljoner kronor. 2

3 Naturligtvis kan några miljoner vara betydelsefullt för en fakultet, konstaterade Olle Persson, men sett till det totala anslaget, så tycker jag att detta visar att viktningen gör ganska liten skillnad för fakulteterna och inte skulle behöva orsaka så mycket bråk. Staffan Karlsson från Vetenskapsrådets avdelning för forskningspolitisk analys beskrev brister och förtjänster med bibliometriska analyser och Web of Science. Web of Science har ofta kritiserats utanför bibliometriska kretsar, konstaterade han, men i praktiken är den allt mer använd och tillmäts stor betydelse av flera centrala aktörer i forskarvärlden. Fram till nyligen hade Thomson Scientific (tidigare ISI) i stort sett världsmonopol på att ge underlag till bibliometriska studier. Den vanligaste kritiken angående bibliometri rör journal impact factor. Impactfixerade forskare snedvrider manusflödet, anser kritikerna. Få vill skicka manuskript till nya tidskrifter eller tidskrifter med låga impact siffror. Resultatet blir att vissa tidskrifter knappt för några manus, medan andra drunknar i dem. Impact factor är heller ingen bra indikator för att bedöma kvaliteten hos enskilda artiklar, förklarade Staffan Karlsson. Även om 25 procent av Natures artiklar är högciterade, så får samtidigt ungefär lika många artiklar få eller inga citeringar. Allt som publiceras i Nature är således inte jättebra. Citeringar behöver heller inte vara ett mått på kvalitet, eftersom alla citeringar inte är positiva. Exempelvis är den mest citerade artikeln en metodartikel av Lowry med en kvarts miljon citeringar, medan Watson och Cricks artikel om DNA-spiralen, vilket renderade dem ett nobelpris, endast har citerats gånger. Mot denna kritik kan ställas otaliga analyser som visar att det överlag finns en positiv korrelation mellan peer review och citeringar, påpekade Staffan Karlsson: Sammanfattningsvis kan man säga att bibliometri är vanskligt att använda för bedömning av enskilda publikationer eller forskare, men kan fungera bra som ett komplement till peer review-bedömningar. För forskare inom humaniora är det ett problem att Web of Science endast innehåller internationella, engelskspråkiga tidskrifter. En titt i databasen visar att antalet svenska publikationer i humanistiska tidskrifter har minskat under de senaste åren och överlag är mycket få (mindre än en procent av samtliga svenska artiklar). Inom samhällsvetenskap är antalet publikationer betydligt fler. Sverige har med runt 500 artiklar om året ungefär dubbelt så många som övriga nordiska länder. Arne Jarrick, huvudsekreterare för Vetenskapsrådets ämnesråd för humaniora och samhällsvetenskap, gjorde några avslutande reflexioner. Mängden vetenskapliga publikationer gör att man måste ha någon form av indirekt kvalitetsbedömning, konstaterade han. I dag publiceras det kanske runt en och en halv miljon vetenskapliga texter om året. Även om impact inte är ett direkt mått på kvalitet, måste man anse att det ger en indikation på kvalitet och inte bara uppmärksamhet, ansåg han. Om dessutom peer review korrelerar väl med citeringar, så finns det ytterligare skäl att tro detta. Arne Jarrick påpekade att det finns utbudsindikatorer respektive efterfrågeindikatorer. Är det ett värde i sig att forskare är produktiva och citerade, frågade han sig? Ja, att mäta citeringar är demokratiskt i den mening att systemet är transparent och lätt att förstå. Dessutom speglar det vad många efterfrågar. Samtidigt inbjuder det forskare till att bli opportunister. Om produktivitet lönar sig finns en risk att man driver på överproduktionen ytterligare. 3

4 Att värdera vetenskap direkt är tidskrävande och i en mening odemokratiskt, eftersom det speglar vad en liten grupp anser och ofta bygger på ett urval. Ändå anser jag att man i högre grad än tidigare bör utvärdera det vetenskapliga värdet av de resultat som presenteras i vetenskapliga publikationer oberoende av om dessa texter efterfrågas eller inte, etc. Men sådana direkta metoder för att värdera vetenskap måste göras mer ekonomiska och målsökande. Nedan listas några av de frågor som togs upp för diskussion. Om utvecklingen av bibliometriska databaser En nationell eller internationell angelägenhet? Professor Elisabet Engdahl är ledamot av Vetenskapsrådets ämnesråd för humaniora och samhällsvetenskap samt ordförande för Nordiska publiceringsnämnden. Hon efterlyste mer nordiskt samarbete för att utveckla publikations- och citeringsdatabaser och verktyg som går att använda över gränserna. Även om det danska systemet i första hand ska användas för att mäta produktivitet och fördela resurser inom landet, precis som det norska, så bör man tänka på att de nationella databaserna kan användas för andra syften, till exempel som bibliografiska databaser, sökbara via Internet. Detta skulle bidra till att synliggöra nordisk forskning. Några deltagare pekade på att det finns stora fördelar även med lokala databaser. I Uppsala använder man den lokala databasen OPUS för att fördela fakultetsmedel inom medicin sedan tio år tillbaka, berättade Leif Eriksson. Umeå och Växjö är på väg att införa liknande system. Om dilemmat med klassificering av tidskrifter Hur ska man då klassificera tidskrifterna i en nationell databas? Inte genom att ta efter Thomsons ämnesklassificering, ansåg flertalet. Att sätta en ämnesetikett utifrån adress är knepigt, då olika centrumbildningar och ihopslagningar av institutioner blir allt vanligare På min institution finns exempelvis både feminister och historiker, sade Sverker Lindblad, professor i pedagogik vid Göteborgs universitet. Vi kan inte låta Thomson klassificera oss, utan vi inom fältet måste jobba empiriskt och själva ta fram kategorier för beskrivningar och analyser. Pröva att ämnesklassificera artiklar i olika tidskrifter, sade Arne Jarrick: Finns det ett starkt statistiskt samband mellan tidskriftens kategori och artiklarnas så är det väl ok att följa den modellen. Vetenskapsrådets analyschef Calle Jacobsson tyckte att man kunde avdramatisera det hela genom att se det som att forskare publicerar sig inom olika områden. Tekniker publicerar exempelvis hälften av sina artiklar i naturvetenskapliga tidskrifter. Medicinarna däremot är de mest ämnestrogna. Om bibliometri som kvalitetsmått Arne Jarrick pekade på problemen med att räkna produktionen årsvis som ett underlag för fördelning av anslag. Risken blir att de som har mer resurser publicerar mer, vilket i sin tur leder till att de får ännu mer resurser. 4

5 Bedömer man alla ämnen i samma pott kommer det att slå hårt mot humaniora och samhällsvetenskap, trodde Sverker Lindblad: Utgår man från en citeringsanalys, så får Chalmers en ökning på 15 procent av anslaget, medan Göteborgs universitet som har mycket humanoria och samhällsvetenskap, får en anslagsminskning med fem procent. Sverker Lindblad betonade att det är viktigt att komma ihåg att bibliometriska analyser bara beskriver forskningens yta. Man får hoppas att detta ytliga inte fördärvar frågan om vad som är god vetenskap, filosoferade han. Om bibliometri som styrmedel Forskarnas beteende kan påverkas när man inför ett system där bibliometriska analyser ligger till grund för anslagsfördelning. Detta var de flesta överens om. Huruvida denna styrning var bra eller inte rådde det dock delade meningar om. Arne Jarrick tyckte att Olle Persson givit motsägelsefulla uttalanden i sin analys av hur systemet i Umeå fungerat: Å ena sidan säger du att det inte spelar så stor roll för utfallet hur man mixtrar med indikatorer, å andra sidan säger du att systemet är bra just därför att små effekter är ett tillräckligt incitament för forskare att ändra sitt beteende, till exempel till att skriva mer på engelska. Det är olyckligt att så mycket av diskussionen fastnat i indikatorer, när det egentligen inte skulle behöva ha så stor inverkan på forskarnas beteende. Olle Persson replikerade att man väl kan ändra någons beteende utan att det har så stora ekonomiska konsekvenser. Håkan Carlsson såg en fara i att forskarna kanske väljer att gå ifrån sin vanliga publiceringsform för att få pengar. Kanske ska man ha en klase mått som mäter olika saker, resonerade han. Olle Persson höll inte med: Det här är forskningspolitik och vi gör så här för att vi vill styra forskningen åt ett visst håll, exempelvis premiera publicering på engelska för att få internationellt genomslag. 5