Jämförelse mellan Scopus och Web of Science för utvärdering av KTH:s publicering

Transkript

1 Jämförelse mellan och Web of Science för utvärdering av KTH:s publicering Peter Sjögårde, KTH, ECE-Skolan, Enheten för publiceringens infrastruktur Sammanfattning av resultat och har jämförts för publikationer affilierade till KTH publicerade indexerar fler konferensproceedings och täcker därför en högre andel av KTH:s publikationer, men de publikationer som täcks utöver tenderar att vara lågt citerade. Citeringsanalyser av antal citeringar påverkas i ganska låg utsträckning om skulle användas istället för för att analysera KTH som helhet. Vidare är medelantalet citeringar per publikation högre i än i. För de forskningsområden som i hög utsträckning publicerar sig i konferensproceedings är täckningsgraden i regel högre i än i. Det gäller de UoA som i RAE212 ingick i panelerna 2 Information & Communication Systems, 6 Electronics & Photonics, 8 Industrial Technology & Management och 13 Computer Science & Mediated Communications. Även antalet citeringar är i regel fler, mätt både som totalt antal och citeringar per publikation för UoA i dessa paneler. Den fältnormerade citeringsgraden är högre i (1,6) än i (1,45) för KTH-affilierade publikationer. Eftersom utöver de publikationer som finns i Web of Science täcker lågciterade KTH-publikationer beror troligen den högre siffran på att indexerar fler lågciterade källor, i vilka KTH i relativt låg utsträckning publicerar artiklar i. Detta orsakar sänkta normvärdena och därmed en högre citeringsgrad och ger därför inte nödvändigtvis en bättre bild av KTH:s genomslag. Bakgrund Idag används grunddata från för utvärdering av KTH:s forskning i bland annat RAE, den årliga indikatorrapporten och för beräkning av budgetindikatorn. Syftet med denna rapport är att utreda huruvida skulle ge en mer rättvisande bild av KTH:s publicering och genomslag.

2 Databasens täckning är en viktig aspekt för utvärderingen av forskning. En större täckning av lärosätets publikationer betyder dock inte nödvändigtvis att KTH skulle få högre värden i bibliometriska analyser eller att databasen per se lämpar sig bättre för bibliometriska analyser. Hur lämplig databasen är för bibliometriska analyser beror på vad den täcker och vad det är man vill mäta. Antalet publikationer skulle förvisso bli större om en större del av publiceringen täcks av databasen som används, men inkluderandet av lågciterade publikationer skulle ge sämre medelvärden för mått som citeringar per publikation och påverkar även ämnesnormering. Hur den fältnormerade citeringsgraden påverkas är mer osäkert eftersom normvärdena påverkas då antalet publikationer utökas i en databas. Utökas databasen med lågciterade publikationer sänks fältnormen och högciterade publikationer får då högre värden. Det blir även lättare att nå högre percentiler, att exempel vara bland de tio procent mest citerade publikationerna inom en ämneskategori. Den skeva fördelningen av citeringar till publikationer är en aspekt som orsakar instabilitet då fältnormerad citeringsgrad beräknas. Om lågciterade källor adderas till datamängden tenderar det att ytterligare förstärka skevheten i fördelningen och därmed orsaka än mer instabila värden, vilket kan leda till att publikationer med få citeringar ändå kan få mycket höga fältnormerade värden. Vidare är kvalitet av det material som databasen innehåller av stor vikt för kvaliteten av bibliometriska analyser. Kvalitetsaspekten har tidigare setts över på KTH då valdes som primär databas för bibliometriska analyser. Utvärderingen av kvaliteten är inte det primära syftet i denna rapport men kommer även den att kommenteras. är den databas som mest frekvent används globalt för bibliometriska analyser. För att bibliometriska analyser ska vara jämförbara är användandet av samma databas som används i de analyser som KTH ingår i eller vill jämföra sig med en förutsättning, dock är bibliometriska analyser ofta svåra att jämföra eftersom metodmässiga skillnader kan orsaka skillnader i resultaten. Analys av antal citeringar och antal publikationer Analys utfördes för KTH som helhet och för de Unit of Assessment som ingick i RAE212. Publikationer söktes ut i april 213 från och från genom sökning på affiliering. Söksträngen var snarlik men anpassad till respektive databas för att ge största möjliga jämförbarhet mellan resultaten. Söksträng : (AF-ID("The Royal Institute of Technology KTH" 6214)) OR ((AFFIL(kth) OR AFFIL(roy* AND inst* AND tech*) OR AFFIL(alfven) OR AFFIL(kung* AND tek* AND hog*) OR AFFIL(kgl AND tek* AND hog*) OR AFFIL(roy* AND tech* AND univ*) AND AFFILCOUNTRY(sweden))) Söksträng : 2

3 Count of Citations in AD=(KTH OR Roy* inst* tech* OR alfven OR kung* tek* hog* OR kgl tek* hog* OR roy* tech* univ*) AND AD=Sweden För undersökningen per UoA matchades posterna till DiVA baserat på antingen identifierare eller en kombination av titel och andra bibliografiska uppgifter. Något färre av posterna i kunde matchas i jämförelse med poster från, 83 procent jämfört med 96 procent. Skillnaden bör tas i beaktande då resultaten studeras. Sannolikt beror den på att registrering skett systematiskt från medan -poster som inte finns i måste registreras av forskarna själva. En treårsperiod, , valdes för att få tillräckligt många publikationer för att resultatet skall kunna anses vara robust. Analysen avgränsades till artiklar, review-artiklar och konferensbidrag. Jämförelser gjordes dels av antalet publikationer och dels av citeringar. Citeringar mellan databaser är i regel svårt att jämföra eftersom täckningen inte är densamma. Dock visade sig citeringarna mellan databaserna korrelera i mycket hög grad vilket underlättar jämförelsen, särskilt på en aggregerad nivå. Fokus i jämförelsen låg på att utröna hur databaserna skiljer sig från varandra, framförallt om högciterade publikationer saknas i någon av databaserna. Figur 1: Correlation between citations in and, Count of Citations in 1.1 Resultat för KTH som helhet Sökningarna resulterade i 7933 publikationer i och 693 publikationer i Web of Science. Det råder inga tvivel om att indexerar fler av KTH:s publikationer (Figur 2). Den relativt stora skillnaden ligger i indexering av konferenspublikationer där indexerade 158 sådana publikationer år 211 medan det i endast återfanns 3

4 31. Tittar man på artiklar däremot så återfanns något fler indexerade i än i för 211, dock förekommer vissa skillnader av hur publikationer klassificeras i databaserna. Figur 2: Antal publikationer per år, Article Conference Paper Review Web of Science Stor täckning av publikationer är dock inte alltid till fördel för bibliometriska analyser. Vid fältnormering sänker inkluderandet av publikationer i perifera kanaler normvärden. En gränsdragning av vilka kanaler som skall finnas med i databasen är därför av vikt, där täckningen vägs mot kanalernas genomslag. Att databasen täcker de mest centrala kanalerna och de publikationer som fått många citeringar är av betydelse. Även antalet publikationer med citeringar är högre i än i. Däremot är skillnaderna mellan databaserna mindre i detta avseende ( Figur 3). I fanns 175 citerade publikationer 211 med KTH-adress och i Web of Science 1455 stycken. Tittar man på andelen publikationer som hittills fått citeringar är denna betydligt högre i än i, 68 procent respektive 59 procent för 211 (Figur 4). Vidare visade en manuell koll av samtliga publikationer som har över 4 citeringar i att ingen av dessa saknades i. Skillnaden mellan det totala antalet citeringar är inte så stor med tanke på att indexerar fler publikationer och dessutom samlar in citeringar från fler källor (Figur 5). Trots att det återfanns 3 procent fler KTH-publikationer i är skillnaden vad gäller citeringar endast 1 procent. I får publikationerna i genomsnitt fler citeringar (7,2) än i (6,1) trots att täcker fler indexerade källor vilket ger ett högre antal möjliga citeringar (Figur 6). 4

5 Figur 3: Antal citerade publikationer, Cited publications Cited publications Cited publications Figur 4: Andel publikationer med citeringar, % 8% 7% 6% 5% 4% 3% 2% 1% %

6 Count of Citations Citeringar Figur 5: Totalt antal citeringar, Figur 6: Citeringar per publikation, Total Tittar man på hur citeringarna fördelar sig mellan publikationerna är det tydligt att de publikationer som täcker utöver i regel får få citeringar (Figur 7). täcker betydligt fler ociterade publikationer än. Detta leder till 6

7 Publikationer slutsatsen att det som indexeras i utöver det som finns i är källor som är tämligen lågt citerade. Detta är en tydlig indikation på att de kanaler som finns i Web of Science är av en genomsnittligt högre kvalitet än de som finns i. Figur 7: Antal publikationer kategoriserade efter antal citeringar, >2 Citeringar För att jämföra antalet citeringar till en och samma publikation mellan databaserna behöver dessa kunna identifieras. Digital object identifier (DOI) är en global identifierar som används för forskningspublikationer och som gör detta möjligt. Alla poster i och har inte ett DOI-nummer, men en majoritet av posterna har ett sådant nummer. Om man kopplar posterna som har en identifierare (DOI) i databaserna ser man att publikationer som finns i båda databaserna får något fler citeringar i än i Web of Science, dvs. samma publikation får fler citeringar i än i. Dock är denna skillnad ganska liten. För de publikationer som inte har någon identifierare är fördelningen av dessa kategoriserade utifrån antal citeringar likartad i och Web of Science (Figur 8). De publikationer som har identifierare men som endast återfinns i en av de två databaserna skiljer sig dock markant åt. Av dessa är ett stort antal lågciterade i. Detta förhållande gör det än mer tydligt att det som registreras i utöver det som finns i till största del är lågciterade publikationer som påverkar det totala antalet citeringar i låg utsträckning. Figur 8: Publikationer med identifierare (DOI), kategoriserade efter antalet citeringar i och i,

8 >2 Antal publikationer Ingen identifierare Endast i en databas I båda databaserna Antal citeringar 8

9 Resultat per Unit of Assessment i RAE212 För 15 st UoA är antalet publikationer i mer än 2 procent fler än i (Figur 9). Det gäller tekniska forskningsområden inom bland annat datavetenskap, informationsteknik och elektronik, men också samhällsorienterade ämnen såsom hälsa, stadsplanering, industriell ekonomi och management. För samtliga, med undantag för Urban Planning and the Built Environment, är också det totala antalet citeringar fler i än i (Figur 11) Mediated Communications, 6.3 Embedded Electronics and Computer Systems, 13.1 Theoretical Computer Science har samtliga över tre gånger så många citeringar i som i. Dessa tre UoA har även fler citeringar per publikation i. De publikationer som inte kunnat matchas till DiVA och som fanns i med KTH-adress har färre citeringar per publikationer än de som matchades. Därför kan man anta att det finns en skevhet i materialet då forskare i högre utsträckning har registrerat sina bästa publikationer. 1 Antalet citeringar per publikation skulle förmodligen bli något lägre i om samtliga publikationer var registrerade i DiVA (vilket har gjorts från publiceringsår 212 och framåt). Med detta i åtanke kan det dock konstateras att några UoA skulle få både fler publikationer, ett högre totalt antal citeringar och fler citeringar per publikation om används istället för. Det rör främst de UoA som i RAE212 ingick i panelerna 2 Information & Communication Systems, 6 Electronics & Photonics, 8 Industrial Technology & Management och 13 Computer Science & Mediated Communications, dvs. delar av skolorna ICT, ITM, STH, CSC och EES. 1 Det kan även vara en konsekvens av att publikationer i stor utsträckning har registrerats i DiVA retroaktivt i samband med RAE212 av de forskare som då var anställda. DiVA täcker därmed troligtvis framförallt dessa forskares publikationer men saknar övriga KTH-affilierade publikationer för publikationsår längre bak i tiden. 9

10 1,1 1,2 1,3 1,4 2,1 2,2 3,1 3,2 4,1 4,2 4,3 4,4 5,1 5,2 5,3 5,4 6,1 6,2 6,3 7,1 7,2 7,3 7,4 8,1 8,2 8,3 8,4 9,1 9,2 9,3 9,4 9,5 1,1 1,2 1,3 1,4 11,1 11,2 11,3 12,1 12,2 12,3 12,4 12,5 13,1 13,2 13,3 Antal publikationer Figur 9: Antal publikationer i och per Unit of Assessment, Unit of Assessment Figur 1: Täckningsgrad av KTH-affilierade konferensbidrag och artiklar i och jämfört med DiVA per Unit of Assessment,

11 1,1 1,2 1,3 1,4 2,1 2,2 3,1 3,2 4,1 4,2 4,3 4,4 5,1 5,2 5,3 5,4 6,1 6,2 6,3 7,1 7,2 7,3 7,4 8,1 8,2 8,3 8,4 9,1 9,2 9,3 9,4 9,5 1,1 1,2 1,3 1,4 11,1 11,2 11,3 12,1 12,2 12,3 12,4 12,5 13,1 13,2 13,3 1% 9% 8% 7% 6% 5% 4% 3% 2% 1% % Figur 11: Antal citeringar i och Web of Sceince per Unit of Assessment, UoA 11

12 1,1 1,2 1,3 1,4 2,1 2,2 3,1 3,2 4,1 4,2 4,3 4,4 5,1 5,2 5,3 5,4 6,1 6,2 6,3 7,1 7,2 7,3 7,4 8,1 8,2 8,3 8,4 9,1 9,2 9,3 9,4 9,5 1,1 1,2 1,3 1,4 11,1 11,2 11,3 12,1 12,2 12,3 12,4 12,5 13,1 13,2 13,3 Antal citeringar UoA Figur 12: Antal citeringar per publikation i och per Unit of Assessment,

13 ,1 1,2 1,3 1,4 2,1 2,2 3,1 3,2 4,1 4,2 4,3 4,4 5,1 5,2 5,3 5,4 6,1 6,2 6,3 7,1 7,2 7,3 7,4 8,1 8,2 8,3 8,4 9,1 9,2 9,3 9,4 9,5 1,1 1,2 1,3 1,4 11,1 11,2 11,3 12,1 12,2 12,3 12,4 12,5 13,1 13,2 13,3 Antal citeringar per publikation UoA

14 Fältnormerad data För att kunna jämföra fältnormerad data beställdes indikatorer från Science-Metrix i Kanada. Science-Metrix klassar tidskrifter i och i ämnesklasser i tre nivåer: (1) bred nivå omfattande 6 domäner, (2) mellannivå omfattande 15 ämnesklasser och (3) minsta nivå omfattande 176 underklasser. Nivå 1 och 2 är av intresse för denna undersökning. Nivå 3 är alltför finindelad och innehåller därmed alltför få publikationer för att ge robusta resultat och kommer därför inte beaktas. Fördelen med att använda Science-Metrix indelning av ämnesklasser är att samma klasser används för beräkningen av den fältnormerade citeringsgraden i både och vilket förbättrar möjligheten att jämföra resultaten i de båda databaserna. För att göra resultaten så robusta och jämförbara som möjligt har den fältnormerade citeringsgraden, Average Relative Citation count (ARC), beräknats med ett fast citeringsfönster om 3 år, för publiceringsåren 29 och 21. Fältnormerad citeringsgrad Värdet för den fältnormerade citeringsgraden är högre för 1,6 än i 1,45. Detta kan ha flera orsaker. Det kan bero på att indexerar fler lågciterade källor och därmed sänker referensvärdena. Om KTH i låg utsträckning publicerar i dessa kanaler höjs den fältnormerade citeringsgraden. Det kan också bero på att fler högciterade publikationer från KTH kan räknas med i då databasen har bättre täckning av KTH:s publicering. Dock har analysen av antalet citeringar ovan visat att det totala antalet citeringar skiljer sig i förhållandevis låg utsträckning och att antalet citeringar per publikation är högre i än i. Figur 8 visar att de KTH-affilierade publikationer som finns i men inte i, i regel är lågt citerade. Detta stärker tesen om att det generellt sett är lägre referensvärden i som orsakar en höjning av det fältnormerade värdet. Störst skillnad för den fältnormerade citeringsgraden av de ämneskategorier som KTH frekvent publicerar inom ser vi inom de tillämpade vetenskaperna, särskilt inom Enabling & Strategic Technologies och Engineering. Inom dessa ämnen skiljer sig även antalet publikationer. Noterbart är också att den fältnormerade citeringsgraden är något lägre i än i för ämneskategorin Information & Communication Technologies som innehåller betydligt fler KTH-publikationer i än i. Då lågciterade källor läggs till vid beräkning av normerad citeringsstatistik ökar en redan skev fördelning av citeringar till publikationer. Detta orsakar en högre grad av instabilitet i beräkningen. Att fler publikationer ingår i beräkningen ger därför inte per se en mer rättvisande bild av KTH:s publicering. CWTS har i sin ranking tagit ett steg i riktning mot att utesluta källor av dessa anledningar. De har infört en beräkning av fältnormerad citeringsgrad 14 (19)

15 där källor som inte är på engelska och inte har ett internationellt fokus uteslutits. 2 Om skulle användas för citerings-beräkningar på KTH finns en risk att den större täckningen av lågciterade källor skulle ge instabila värden. Dessa konsekvenser skulle i så fall behöva utredas. Ett första steg skulle vara att utreda hur inkludering av konferensindex i Web of Science påverkar fältnormerad statistik. Troligtvis är påverkan av denna inkludering likartad till sin natur som att beräkna fältnormerad citeringsgrad i istället för. Tabell 1: Fältnormerad citeringsgrad, Average Relative Citation count (ARC), i Web of Science och, beräknat med 3-årigt citeringsfönster, Number of papers ARC Number of papers ARC Domain / Field / Subfield FULL ARC3 n_arc3 FULL ARC3 n_arc3 TOTAL (Whole Database) Natural Sciences Biology Chemistry Earth & Environmental Sciences Mathematics & Statistics Physics & Astronomy Applied Sciences Agriculture, Fisheries & Forestry Built Environment & Design Enabling & Strategic Technologies Engineering Information & Communication Technologies Health Sciences Biomedical Research Clinical Medicine Citeringsstatistiken i rankingen går att få både för som helhet (konferensindex exkluderat) och med nämnda källor exkluderade. Exkludering är förvalt. 15 (19)

16 Psychology & Cognitive Sciences Public Health & Health Services Economic & Social Sciences Economics & Business Social Sciences Arts & Humanities Communication & Textual Studies Historical Studies Philosophy & Theology Visual & Performing Arts General General Arts, Humanities & Social Sciences General Science & Technology UNCLASSIFIED 53 n.c. n.c. 92 n.c. n.c. Kommentarer kring kvalitet i databaserna Denna undersökning har inte specifikt tittat på kvalitet av data i de två databaserna. Det har alltså inte gjorts någon systematisk undersökning av datakvaliteten, dock har kvalitativa aspekter uppmärksammats då anomalier i data förekommit. I har fel i konferensposter påträffats. Det gäller framförallt adresser som saknas i dessa. Dock har inga fel påträffats i övriga index. I data från har dubbletter, felaktiga adresser samt ett fall av felaktigt DOI-nummer förekommit. Detta väcker frågetecken kring datakvaliteten i. En annan kvalitetsaspekt är det innehåll som databasen täcker. täcker huvudsakligen de viktigaste, mest citerade internationella peer review-granskade kanalerna. täcker kanaler utöver dessa, vilka många förefaller vara lågt citerade. Flera relativt högciterade publikationer som återvunnits från genom adressökningen saknade en KTH-adress i. För flera av dessa visade det sig att delar av adressfältet som fanns med i ursprungsartikeln saknades i. täcker data från 1996, medan täcker publikationer från 19 och framåt. I är möjligheterna att beräkna exempelvis H-index eller andra mått som baseras på en forskares hela karriär mer begränsade än i. 16 (19)

17 Adressinformationen är av stor vikt för analyser, dels för att undersöka olika aspekter av samförfattarskap och dels för att söka ut publikationer. Adressinformationen i är strukturerad till en mindre grad än den i då lärosätenas namn kan återfinnas på olika platser i adressfältet. 2 Slutsats är i dag standard för bibliometriska analyser men har kommit att användas mer och utmanat den monopolställning som tidigare haft. Det finns fortfarande frågetecken kring kvaliteten i som behöver utredas om databasen övervägs för citeringsanalyser på KTH. Även hur väl ämnesindelningen i lämpar sig för normering bör man i sådana fall titta närmare på. Analysen visar att täcker fler konferensproceedings och därmed fler av KTH:s konferenspublikationer. Det innebär även att innehåller fler referenser vilket ger ett högre antal möjliga citeringar för de publikationer som finns i databasen. För de ämnesområden som primärt publicerar artiklar och får sina citeringar från andra artiklar har denna skillnad liten påverkan på bibliometriska indikatorer. Däremot gör det en betydande skillnad för de forskningsområden som publicerar sig i hög grad i konferensproceedings och som även får sina citeringar från dessa. Om skulle användas för bibliometriska analyser vid KTH skulle antalet publikationer visserligen bli fler men det skulle inte ge så stor påverkan på antalet citeringar för KTH som helhet. Antal publikationer räknas primärt i DiVA varför antalet i sig inte är av någon större vikt. Vidare skulle medelantalet citeringar per publikation sjunka. tycks ha god täckning av de mest citerade kanalerna i världen. Det utökade antalet kanaler som täcker är citerade i lägre grad. Detta talar för att trots allt täcker de kanaler som har störst betydelse för bibliometriska analyser för KTH som helhet. Den stora täckningen av lågciterade källor i skapar troligen en högre grad av instabilitet då fältnormerad data beräknas. Vilka konsekvenser detta får är oklart. Web of Science är mer beprövat för fältnormerad statistik och används av flera tunga aktörer, däribland CWTS i Leiden och THE World University Rankning. För panelerna 2 Information & Communication Systems, 6 Electronics & Photonics, 8 Industrial Technology & Management och 13 Computer Science & Mediated Communications skulle användandet av ge en högre täckningsgrad och fler citeringar (även för några UoA i andra paneler). 17 (19)

18 Referenser What Does Cover? SciVerse. Accessed April 25, 213. URL: Thomson Reuters Science. Accessed April 25, 213. URL: 18 (19)

19 List of Units of Assessments in KTH RAE Mathematics Mathematical Statistics Optimization and Systems Theory Numerical Analysis Information Processing, Networking and Control Communication - Services and Infrastructures Experimental Physics Theoretical Physics Applied Physics and Medical Imaging Medical Technology Materials Physics Optics and Photonics Nuclear Power Safety, Reactor Physics & Reactor Technology Electrical Power Engineering Fusion and Space Plasma Physics Energy Transformation Microsystems Technology (MEMS) Integrated Devices & Circuits Embedded Electronics and Computer Systems Vehicle Engineering Solid Mechanics Fluid Mechanics Mechanics-Biomechanics Industrial Product Development Production Engineering Health (Ergonomics; Health & Building) Industrial Economics and Management Chemistry Chemical Engineering Fiber and Polymer Technology Theoretical Chemistry Materials Science and Engineering Medical Biotechnology Industrial Biotechnology Proteomics Materials Biotechnology Civil and Architectural Engineering Land and Water Resources Transport Science Architecture Real Estate and Construction Management Philosophy and History of Technology Urban Planning and the Built Environment Industrial Ecology Theoretical Computer Science Applied Computer Science Mediated Communications 19 (19)