Bibliometri: Ett sa tt att ma ta vetenskap Innehåll Vad är bibliometri?... 2 Vad mäts... 2 Bibliometriska indikatorer... 2 Indikatorer för utfall... 2 Indikatorer för produktivitet... 3 Indikatorer för genomslag... 3 Indikationer för tidskriftsgenomslag... 4 Indikatorer för samarbeten... 5 Evaluering av lärosäten... 5 Citeringsanalys... 5 Citeringsdatabaser... 5 Referenser och citeringar... 6 Bibliografisk koppling och samcitering... 6 Bibliometriska kartor... 8 Begränsningar... 10 Källorna och deras täckning... 10 Kvaliteten på metadata... 12 Vad är en citering?... 12 Mängdens betydelse... 13 Referenser... 13
Vad är bibliometri? Bibliometri är en statistisk metod för att bland annat mäta exempelvis forskningsprestationer utifrån de publikationer som forskningen avsätter. Metoden har emellertid vidare användningsområden och kan exempelvis även användas i forskningssociologiskt syfte för att beskriva olika slag av nätverk eller för att visa hur olika begrepp sprids mellan ämnesområden. I det följande kommer dock i första hand evalueringsaspekten att belysas då det är genom den som den vanliga forskaren oftast kommer i kontakt med begreppet och syftet med denna text är att ge en övergripande orientering samt att förklara några grundläggande begrepp. Vad mäts Med hjälp av bibliometri kan, åtminstone i viss utsträckning, bland annat följande aspekter av vetenskaplig aktivitet mätas: Utfall. Det totala antalet publikationer som en viss enhet producerar. Produktivitet. Enhetens produktivitet mätt som det genomsnittliga antalet publikationer som enheten producerar per tillförd enhet i form av olika resurser, arbetstid eller pengar. Genomslag. Det genomsnittliga genomslaget (antalet erhållna citeringar) för de publikationer som enheten producerar. Tidskriftsgenomslag (Journal impact). Det genomsnittliga genomslaget för de tidskrifter i vilka enheten publicerar. Samarbete. Den grad i vilken enheten är involverad i vetenskapligt samarbete. Den enhet vars prestation mäts kan vara såväl den enskilda forskaren, en viss avdelning på en institution som institutioner eller hela länder. Med publikation avses alla slag av publiceringskanaler såsom artiklar, konferensbidrag, böcker osv. Bibliometriska indikatorer Nedan beskrivs ett urval av indikatorer som gör dessa dimensioner mätbara: Indikatorer för utfall För att skatta utfallet för en viss enhet mäter man det totala antalet publikationer enheten avsätter. Viktning av dokumentslag. Ett mer sofistikerat slag av mätning tar även, utifrån skattad arbetsinsats, hänsyn till de olika publikationskanaler (dokumentslag) som används olika, exempelvis genom att helaböcker vid en viktas på ett annat sätt än artiklar eller antologibidrag. Detta görs bland annat i den Norska modellen (se nedan). Fraktionering. Dessutom kan en enhets produktivitet mätas fullt eller fraktionerat. Full mätning innebär att varje publikation i vilka författare från enheten deltagit krediteras som 1,0. Fraktionerad mätning innebär att vid samförfattande enbart den proportionella andelen av enhetens bidrag krediteras. Om en publikation till exempel har två författarposter med adressen Chalmers och en med adressen MDH krediteras Chalmers för två tredjedelar av publikationen och MDH för en tredjedel.
Fältnormering är ytterligare en metod för att göra beräkningen mer sofistikerad, detta genom att hänsyn tas till skillnader i publiceringsfrekvens mellan ämnen. Metoden innebär att det genomsnittliga utfallet av forskning inom ett visst ämne sett ur ett globalt perspektiv bestäms till 1. Mot detta förväntade utfall relateras sedan den studerade enhetens verkliga utfall. Exempelvis får den enhet som avsatt 50 % fler publikationer än ämnets genomsnitt ett värde på 1,5. På så sätt kan produktionen jämföras från ämne till ämne. Fältnormering kan även användas för citeringar då citeringsgraden för en enhet på samma sätt normeras mot ett förväntat utfall baserat på världsgenomsnittet inom ämnet. Indikatorer för produktivitet Till skillnad från beräkningar av forskningens utfall beräknas produktivitet genom att utfall relateras till det som forskningen inom en viss enhet tillförts utifrån i form av arbetare (arbetstid) eller pengar. Indikatorer för genomslag Genomslag är ett begrepp som inom bibliometrin används för att beskriva den uppmärksamhet som en viss publikation har fått, något som kan jämföras med antalet gilla för ett visst facebookinlägg. Det vidare syftet med att mäta genomslag för en enhets är få en indikator på kvaliteten på dess produktion. Den indikator på genomslag som används är antalet erhållna citeringar. Vad en citering är och vad den kan sägas indikera diskuteras nedan. Antalet medelciteringar per publikation. En metod för att skatta genomslaget för en viss enhets forskning är att mäta det genomsnittliga antalet citeringar som dess publikationer fått: Ju större antal citeringar, desto större genomslag. Det normaliserade antalet medelciteringar per publikation. Mätningen av en enhets genomslag kan göras mer sofistikerad genom att dess erhållna citeringar fältnormeras. Andelen publikationer inom top10 %-tidskrifter. Ett annat sätt att skatta genomslag för en viss enhet är att studera andel av dess arbeten som publicerats i publikationskanaler som på olika sätt räknas som prestigefyllda. Indikatorn för andel publikationer inom top10 %-tidskrifter utgår från den rankning som görs i JCR från Thompson ISI och avser de 10 % av tidskrifter som inom ett visst ämnesområde fått mest citeringar. (Mer om denna och andra beräkningssätt för tidskriftsgenomslag nedan.) Istället för top10 % använd ibland top20 % eller top5 %. Det genomsnittliga fältnormerade tidskriftsgenomslaget eller MNJS (Mean Normalized Journal Score) för de tidskrifter i vilka en viss enhet publicerar sig. Istället för att beräkna andelen artiklar i top10 %- tidskrifter kan en enhets genomslag beräknas utifrån den genomsnittliga och fältnormerade citeringsgraden (se Journal Impact Factor nedan) hos de tidskrifter i vilka enheten publicerar sig. Andelen icke citerade artiklar. Den andel av enhetens publikationer som inom en viss tidsrymd inte har blivit citerade. Ju större detta värde är, desto lägre räknas enhetens genomslag. H-index. En indikator som ofta används för att exempelvis skatta en enskild forskares karriär, men som även används för tidskrifter eller lärosäten, är h-index. Enkelt uttryckt innebär h-index att en viss enhets publikationer ordnas i ett diagram vars ena axel anger antal citeringar och dess andra antal citeringar efter det antal citeringar som dessa har erhållit. H-index anger det största talet där antalet citeringar är större än lika med det nummer som publikationen har fått. Att en forskare har h-index fem innebär att hen har fem publikationer med minst fem citeringar. Se figur:
Indikationer för tidskriftsgenomslag För att skatta en tidskrifts genomslag finns två huvudsakliga metoder, dels att som nämnts ovan räkna det antal citeringar som en viss tidskrift erhåller, dels att genom expertbedömning eller kollegial konsensus avgöra dess relativa betydelse. En vanlig indikator för mätning av tidskriftsgenomslag baserat på antal erhållna citeringar är JIF (Journal Impact Factor). JIF mäter det genomsnittliga antalet citeringar som artiklarna i en viss tidskrift erhåller under ett visst tidspann. I Journal Citation Reports från Thompson ISI görs detta över antingen två eller fem år, något som ger antingen den två- eller femåriga impactfaktorn. Eftersom att citeringsmönster skiljer sig åt från ämnesområde till ämnesområde skall JIF inte användas för jämförelser av tidskrifter som klassificeras olika i databaser. am.ascb.org/dora/) Mer sofistikerade varianter för beräkning av impaktfaktorn viktar de citeringar en viss tidskrift erhållit efter den relativa betydelsen av de tidskrifter från vilka citeringarna kommer. Detta innebär att citeringar från en högciterad tidskrift viktas högre än citeringar från en mindre citerad. Ett verktyg som tillämpar detta är SCImago Journal & Country Rank som baseras på data från Scopus. I Eigenfactor görs viktning av citeringar efter en rankning som bygger på nätverksberäkningar liknande dem som Google använder för att sortera sina träfflistor. Detta innebär att, precis som i SCImago, citeringar från högciterade tidskrifter värderas högre än citeringar från lågciterade. I Eigenfactor görs dessutom en fältnormering. Listor över tidskrifter som blivit skattade genom kollegialt koncensus hittar man i Norska listan (Database for statistikk om høgre utdanning (DBH)) Publiseringskanaler. I denna lista är tidskrifter (och förlag) indelade i två nivåer där den högre nivå 2 utgörs av 20 % av det totala antalet tidskrifter. En likartad lista, för tidskrifter inom humaniora, är ERIH - European Reference Index for the Humanities.
Indikatorer för samarbeten Samarbeten hos en viss enhet kan mätas genom graden av samförfattarskap med andra enheter. Genom att även ta hänsyn till nation kan även graden av internationellt samarbete mätas. Evaluering av lärosäten Bibliometri har även kommit att bli ett viktigt verktyg för evaluering av lärosäten. Exempelvis fördelas den konkurrensutsatta delen av regeringens finansiering av svenska universitet och högskolor utifrån bibliometriska indikatorer. I dessa mätningar, som avser produktivitet (antalet publikationer) samt genomslag (antalet erhållna citeringar), används fältnormerat data från WoS. En nackdel med denna metod som ofta uppmärksammas är den dåliga täckning som WoS har för vissa ämnen (se nedan), en annan att den nästan helt och hållet baseras på tidskriftsartiklar. En alternativ metod är den s.k. Norska modellen som istället hämtar data direkt från publiceringsdatabaser där forskarna själv lagt in sina publikationer. I denna fördelningsmodell indelas publikationer i böcker, artiklar samt bokapitel, som alla ges olika höga poäng. I detta fall är det emellertid inte möjligt att mäta genomslag genom antalet erhållna citeringar, däremot har tidskrifter respektive förlag genom forskarkonsensus indelats i två nivåer. Genom att publicering i den högsta nivån ger högre poäng kan man alltså i viss mån mäta forskningens genomslag. Däremot görs ingen fältnormering av ämnen. Modellen bygger på den så kallade Norska listan. Leiden Ranking är en internationell ranking av världens 500 främsta universitet som är helt och hållet baserad på bibliometriska indikatorer och WoS-data. Citeringsanalys Citeringsdatabaser För mätning av antalet citeringar en viss publikation erhållit behöver man ha tillgång till en databas som även indexerar citeringar, så kallade citeringsdatabaser. Dessa mäter det antal citeringar en viss publikation erhåller från andra publikationer i samma databas. I första hand används Web of Science (WoS) från Thompson Reuter och Scopus från Elsevier. I andra hand kan även Google Scholar användas. För och nackdelar med dessa verktyg diskuteras nedan. Ovan har beräkningar av antalet citeringar som en viss enhet erhållit använts som redskap för att skatta dess genomslag. Ju fler citeringar som getts en viss enhet, desto högre skattas dess genomslag och i förlängningen även dess kvalitet. Men citeringsanalys kan även användas för att studera andra slag av kopplingar mellan dokument. Den grundläggande tanken bakom mätning av citeringar är att det mellan dokument som är sammanlänkade av citeringar finns kognitiva samband, eller som skaparen av WoS, Eugene Garfield, uttrycker det: Citations are the formal, explicit linkages between papers that have particular points in common (Garfield 1979:1). Utifrån detta antagande kan citeringar även användas för informationssökning: på samma sätt som man kan hitta publikationer som är relaterade till en viss publikation genom att studera dennes referenslista kan man via en citeringsdatabas också hitta publikationer som längre fram i tid har hänvisat till denna, publikationer som alltså antas ha något gemensamt med den första.
Citeringar kan dessutom användas för att kartlägga nätverk av olika enheter som även kan visualiseras i citeringskartor som kan skapas genom särskilda visualiseringsprogram (nedan). Referenser och citeringar Två grundläggande begrepp som är nyttiga att hålla isär är citeringar och referenser. Här avser referenser de publikationer som är upptagna i en viss publikations referenslista. Citeringar är istället något som en publikation, åtminstone potentiellt, erhåller över tid genom att andra publikationer refererar till denna. Bibliografisk koppling och samcitering Frånsett den direkta koppling som uppstår då en publikation citerar en annan finns även olika slag av kopplingar som bygger på citeringar men som istället är indirekta. Två sådana är bibliografisk koppling respektive samcitering (co-citering). Bibliografisk koppling uppstår då två av varandra oberoende publikationer (B & C) refererar till en gemensam tredje (A):
I detta fall uppstår alltså likheter mellan dokument som bygger på likheter i A & B:s referenslistor, ju fler publikationer som dessa har gemensamt, ju större antas likheten mellan dessa vara. I fall där två publikationer återfinns i en tredje publikations referenslista, alltså citeras av denna, sägs dessa vara sam-citerade: Här uppstår alltså en koppling mellan två dokument (A & B) genom att de förekommer samtidigt i en tredje publikations (C) referenslista, ju fler sådana fall som kan beläggas, desto starkare anses kopplingen mellan publikationerna A & B vara. Ett annat exempel på koppling är det som uppstår vid samförfattarskap mellan olika enheter.
Bibliometriska kartor Genom att skapa ett urval publikationer baserat på någon av dessa slag av kopplingar och köra detta genom ett visualiseringsprogram kan samband mellan olika enheter visualiseras. I bilden nedan (gjord av professor Olle Persson i Umeå) visas relationer mellan författare baserat på co-citering inom Library- and Information Science. Ju större cirkel som markerar en författare, desto fler citeringar har denna erhållit, ju närmare två enheter befinner sig och ju kraftigare linje som förbinder dem, desto tätare koppling. Här åskådliggöras tydligt hur området domineras av två skolbildningar mellan vilka endast en svag koppling finns.
Genom att mäta samförfattarskap kan en viss enhets, i detta fall MDH:s, samarbeten kartläggas. Storleken på punkterna motsvarar antalet samförfattarskap för respektive enhet (denna bild har gjorts med hjälp av gratisprogrammet VOSviewer från Cwts i Leiden). Genom att processa all data i WoS och visa hur citeringar går från och till olika ämnen kan en bild skapas som visar det vetenskapliga fältet som helhet, åtminstone som detta är representerat i WoS. Bilden är skapad av Eigenfactor http://www.eigenfactor.org/map/maps.php. Pilarnas riktning visar export respektive import av citeringar.
Begränsningar Varje metod har sina begränsningar, så även bibliometrin. För att rätt kunna bedöma ett resultat av en undersökning, vare sig man utför den eller själv blir utsatt, är det viktigt att känna till dessa. I det följande kommer några sådana, av såväl praktisk/teknisk som av konceptuell natur, att diskuteras. Källorna och deras täckning En viktig begränsning som man bör ha i åtanke har med källans täckning att göra. När exempelvis VR på regeringens uppdrag gör sin årliga beräkning av utfall hos svenska lärosäten omfattar undersökningen enbart den de av lärosätenas produktion som är indexerat i de tre tidskriftsdatabaser som ingår i WoS, övrig produktion kommer att vara osynligt. På samma sätt mäts genomslag mäts enbart genom citeringar som lärosätenas publikationer fått från andra publikationer i WoS. WoS utger sig även innehålla ett kvalitativt urval av tidskrifter där nya tidskrifter tas med i basen delvis grundat på hur många citeringar dessa fått från tidskrifter som redan finns i denna, men även kvalitativa kriterier bestämmer urvalet
http://thomsonreuters.com/products_services/science/free/essays/journal_selection_process/. WoS innehåller idag ca 12 000 tidskrifter, ett antal som ständigt utökas. Ett problem som emellertid uppstår då WoS används som en spegel av all vetenskaplig aktivitet, som exempelvis i den svenska regeringens mätningar, är att täckningen varierade stort från ämne till ämne. Den ämnesvisa andel av produktionen som man finner i WoS jämfört med det som man i Norge fann i lokala publikationsdatabaser 2005-2007 visas nedan (VR 2009:7): Även om en fältnormering utförs kommer det inom flera ämnen oundvikligt att vara en mycket liten andel av den totala produktionen som extrapoleras och resultatet därför riskerar att bli osäkert. Då WoS används som en källa för att mäta all vetenskaplig produktion ska man ha i minnet att WoS i första hand är en tidskriftsdatabas. Den del av publicering som äger rum i andra publiceringskanaler som monografier (böcker och bokkapitlel), rapporter och konferenstryck riskerar således att bli osynlig. WoS tillhandahåller emellertid två konferenstrycksdatabaser som dock inte används då VR gör sina mätningar för regeringens medelsfördelning. En ytterligare punkt är att WoS språkmässigt domineras av engelskan, något som innebär att den forskning som utför på lokala språk, något som kanske särskilt gäller humaniora, blir osynlig. Scopus som ges ut av Elsevier är betydligt yngre och härstammar från 2004. Den innehåller betydligt fler tidskrifter, ca 19 500. Här finns även en större andel Open Access-tidskrifter inkluderade samt även en rad Articles-in-Press, alltså sådant som ännu inte publicerats. Något diagram liknande det som ovan visade ämnestäckningen i WoS har vi inte men man brukar säga att Scopus täckning av
humaniora och samhällsvetenskap är bättre. Även Scopus ställer kvalitativa krav på sitt tidskriftsurval. En tredje citeringsdatabasen är Google Scholar. Medan de två ovan nämnda citeringsdatabaserna innehåller ett kvalitetssäkrat material är innehållet i Google Scholar automatiskt skördat från Internet. Därför är det svårt att säga något om databasens täckning och ännu mindre något om kvaliteten på de citeringar som räknas vilka kan komma från alla typer av källor, även studentuppsatser osv. Dessutom räknas de algoritmer som används som företagshemligheter. Detta sammantaget gör att Google Scholar mindre lämpar sig för seriösa bibliometriska beräkningar. Kvaliteten på metadata Men resultatet är också beroende av kvaliteten på det metadata som källan innehåller. Exempelvis är den data som lagras i WoS hämtad direkt ifrån de tidskrifter i vilka den publicerats. Detta gör att exempelvis namnformer kan förekomma i ett otal varianter och för att göra en rättvis beräkning behöver så många som möjligt av dessa användas. Gör vi en sökning på de två godkända namnformer som MDH:s forskare enligt Högskolans publiceringsinstruktioner (Address=(mälardalens högskola) OR Address=(malardalen university)) är ålagda att använda får vi enbart 1157 träffar. Använder vi istället denna sträng: ((m?lard* or hogs* v*ter*s or hogs* eskilstuna or univ eskilstuna or univ v*ster*s or mardalen or maladalen univ or malar univ or mrtc) same sweden not ( Uppsala Univ, Vasteras or djurdoktorn)), som är konstruerad för att fånga upp samtliga för oss kända namnvarianter, får vi istället 1370 träffar, alltså 213 fler. Ett annat problem har med författarnamnen att göra: hur många personer som ryms bakom de 6000 träffarna som vi får på en sökning på författarnamnet S. Smith vet vi inte. Därför är rådata från WoS i behov av tvättning för att kunna användas, något som bl.a. innebär homogenisering av namnförmer. Ur den synvinklen välkomnas de olika försök att införa system som istället för ett namn kopplar författaridentiteten till ett särskilt ID: Även täckningen av MDH:s forskning varierar mellan dessa databaser. En sökning i WoS med vår söksträng ger alltså 1370 träffar. Görs en sökning i Scopus affiliation search på Mälardalens högskola OR Malardalen University får vi istället 1621 träffar. En ytterligare svårighet med att använda författarnamn från publikationernas referenslistor är att felstavningar eller felläsningar kan leda till att citeringar blir osynliga. Vad är en citering? Begränsningarna ovan kan rubriceras praktiska, men det finns även begränsningar av konceptuell art som först och främst har att göra med frågan om hur en erhållen citering skall förstås. Antalet citeringar som en viss publikation har fått kan ses som ett nått på den uppmärksamhet som den har rönt. Ofta ses denna uppmärksamhet som ett direkt mått på genomslaget hos en viss enhets forskning som i förlängningen ses som ett mått på kvaliteten på forskningen hos denna enhet. Emellertid finns en rad olika anledningar till citeringar som gör att sambandet mellan uppmärksamhet och kvalitet inte är helt tydligt. Exempel på anledningar till citering som skaparen av WoS, Eugene Garfield (1965:85), har identifierat listas nedan: Paying homage to pioneers. Giving credit for related work (homage to peers) Identifying methodology, equipment, etc.
Providing background reading Correcting one's own work Correcting the work of others Criticizing previous work Substantiating claims Alerting to forthcoming work Providing leads to poorly disseminated, poorly indexed, or uncited work. Authenticating data and classes of facts - physical constants, etc. Identifying original publications in which an idea or concept was discussed. Identifying original publications or other work describing an eponymic concept or term... Disclaiming work or ideas of others (negative claims) Disputing priority claims of others (negative homage) Som framgår finns en rad anledningar till citeringar som inte har med kvalitet att göra. (Fenomenet självciteringar, alltså citeringar av egna publikationer nämns inte ovan men ses ofta som en felkälla som emellertid kan filtreras bort i WoS och SCOPUS.) Frågan om enskilda citeringars validitet diskuterats ständigt bland bibliometriker. Emellertid tyder fortsatta citeringsanalyser på att det trots allt föreligger något slag av konsensus inom fältet; vad man tycks mena är att det trots allt, i det långa loppet, och genom användandet av stora datamängder, the biases and deficiencies of individual citers are repaired to a tolerable degree by the combined activity of the many White (2001, s. 102). Mängdens betydelse Ett allmänt vedertaget faktum är också att bibliometri fungerar bättre ju större mängder data som används, något som även gäller den studerade enheten där studiet av stora populationer ger mer trovärdiga resultat än studiet av enstaka individer (Moed 2005:225). Vetenskapsrådet nämner exempelvis statistik över svenska lärosåten över en fyraårsperiod som relativt säker, men att även denna relativt stora tidsperiod ändå kan ge ett osäkert resultat då det gäller små lärosäten (VR 2009:5). Referenser de Bellis, Nicola ((2009) Bibliometrics and citation analysis: from Science Citations Index to Cybermetrics Bibliometrisk indikator som underlag för medelsfördelning: Svar på uppdrag enligt regeringsbeslut U2009/322/F (2009-01-29) till Vetenskapsrådet. 2009-05-27. URL: http://www.vr.se/download/18.72e6b52e1211cd0bba8800010145/bibliometrisk_indikator. pdf GLÄNZEL (2003) BIBLIOMETRICS AS A RESEARCH FIELD : A course on theory and application of bibliometric indicators Http://www.cin.ufpe.br/~ajhol/futuro/references/01%23_Bibliometrics_Module_KUL_BIBLI OMETRICS%20AS%20A%20RESEARCH%20FIELD.pdf Moed, H.F. (2005). Citation analysis in research evaluation. Dordrecht: Springer.
Garfield, G. (1965). Can citation indexing be automated? In Statistical Association Methods for Mechanized Documentation. Symposium Proceedings, Washington, 1964. (National Bureau of Standards Miscellaneous. Publication. 269, ed by Mary E. Stevens, et al., p. 189-192). Also available on the Internet: http://165.123.33.33/eugene_garfield/essays/v1p084y1962-73.pdf Kronman, Ulf (2013) Managing your assets in the publication economy, Confero, vol 1, nr 1, 91-128 http://www.confero.ep.liu.se/issues/2013/v1/i1/130117/ Seglen, P. O. (1996). Bruk av siteringer og tidsskriftimpaktfaktor til forskningsevaluering. Biblioteksarbejde, #. 48, 27-34. Seglen, P. O. (1997) Why the impact factor of journals should not be used for evaluating research, BMJ 1997;314:497 (15 Febrary) http://www.bmj.com/cgi/content/full/314/7079/497 Smith, L. (1981). Citation Analysis. Library Trends, 30, 83-106. VOSviewer http://www.vosviewer.com/