Jämförelse mellan Scopus och Web of Science för utvärdering av KTH:s publicering

Relevanta dokument
Projektrapport Fördjupande studie av KTH:s publikationskultur med högre citering som mål

SU publikationer och ESI klasser: citeringsgrad och andel högt citerade publikationer

Vetenskapsrådets underlag för indikatorn vetenskaplig produktion och citeringar

Bibliometriskt underlag för medelsfördelning

Policy för vetenskaplig publicering

PM GÖTEBORGS UNIVERSITET Avdelningen för analys och utvärdering Box 100, Göteborg

Presentationen försöker besvara dessa frågor med hjälp av Incites, framförallt med den nya versionen av Incites

KoF 07. Quality and Renewal An Overall Evaluation of Research at Uppsala University

Shanghai-ranking (ARWU) 2016

Shanghai-ranking (ARWU) 2015

Vetenskaplig publicering funktioner, former och mätningar

SHANGHAIRANKNINGEN 2016

UNIVERSITETSRANKNINGEN FRÅN QS 2017

UNIVERSITETSRANKNINGEN FRÅN QS 2015

Indikatorn source normalized impact per paper i relation till den norska modellen

Rekommendationer för användning av bibliometriska indikatorer i bedömning av enskilda forskares publikationer Dnr /

Fortsättning av en bibliometrisk studie för jämförelse mellan LTU och vissa andra europeiska universitet

Ger proceedings papers en annan bild av högskolelandskapet? En undersökning med fokus på fältet Computer Science

KOMMENTARER TILL INDIKATORRAPPORTEN

UNIVERSITETSRANKINGEN FRÅN TIMES HIGHER EDUCATION 2013

Vetenskapsrådet. Missiv (U2009/4353/F) Carl Jacobsson. Utbildningsdepartementet Stockholm

Universitetsrankningar samt något om SU:s arbete med datainsamling till rankningarna. Per Ahlgren

PM GÖTEBORGS UNIVERSITET September 2014 Analys och utvärdering Box 100, Göteborg

Indikatorrapport. Bilaga med uppdelning per skola Indikatorrapport. Helår tema genomströmning. Tertial 2 tema nybörjare.

PM GÖTEBORGS UNIVERSITET Analys och utvärdering Box 100, Göteborg

UNIVERSITETSRANKNINGEN FRÅN TIMES HIGHER EDUCATION 2015

SwePub som källa för bibliometriska analyser

Bibliometrisk studie av naturoch samhällsvetenskapliga institutioner vid Stockholms universitet,

Indikatorrapport. Bilaga med uppdelning per skola Indikatorrapport. Helår tema genomströmning. Tertial 2 tema nybörjare.

Jämförelse mellan Google Scholar, Scopus och Web of Science En fallstudie av en Unit of Assessment i RAE2012

(-07) (-93) Högskoleexamen. Science X X X X. /Filosofie. Science * X. /Filosofie

Bibliometrisk benchmarking av KTH KTH jämfört med 20 tekniska universitet i världen

LEIDEN-RANKINGEN En analys av universitetsrankingen från CWTS, med fokus på Göteborgs universitet

PM GÖTEBORGS UNIVERSITET Analys och utvärdering Box 100, Göteborg

(-07) (-93) Högskole- Arkeologi Archaeology Filosofie Arts X X X X Biblioteks- och

UNIVERSITETSRANKNINGEN FRÅN TIMES HIGHER EDUCATION 2018

UNIVERSITETSRANKINGEN FRÅN QS 2013

UNIVERSITETSRANKNINGEN FRÅN TIMES HIGHER EDUCATION 2016

affärsjuridik Commercial and Tax Law affärsjuridik Commercial and Tax Law affärsjuridik Laws (LL.M) with a Major in Commercial and Tax Law

En bibliometrisk jämförelse mellan LTU och vissa andra svenska och europeiska universitet.

PM GÖTEBORGS UNIVERSITET Avdelningen för analys och utvärdering Box 100, Göteborg

Beslutas att fastställa särskild behörighet för masterprogram enligt handling.

SHANGHAIRANKINGEN 2013

Kort introduktion till bibliometri samt huvuddragen i den norska modellen. Per Ahlgren

Bibliometrisk talangjakt En metod för att identifiera nydisputerade forskare som kan antas ha lovande framtidsutsikter

Bilaga 1, Huvudområden för generella examina vid Mälardalens högskola Senast reviderad

Open Access på Chalmers. SFIS höstkonferens 2012

1 Särskild behörighet Masterprogram (Till Studiehandboken 2017) Dnr LiU

Citeringsstudie av natur och samhällsvetenskapliga institutioner vid Stockholms universitet,

Ulf Sandström (version ) Beredningsorganisationens effekter på citeringsgrad och tvärvetenskap

Bibliometri för utvärdering av forskning

Examensrätt. Library and Information Science Filosofie Arts X X X X

(-07) (-93) Högskoleexamen. Biblioteks- och informationsvetenskap. Library and Information Science Filosofie Arts X X X X

Bibliometri & publiceringsstrategiska knep SOLD. Viktor Öman, bibliotekarie viktor.oman@mdh.se

Så jobbar vi för forskningsmedel till energieffektiva byggnader i EU. E2B2s årskonferens 29 jan 2015 Johan Skarendahl, Kristina Mjörnell

Benchmarking ranking Per-Anders Östling

QS World University Rankings 2014/2015

Publikationsstatistik för BTH

Indikatorrapport. BILAGA MED UPPDELNING PER SKOLA Period:

Utvärdering Kvalitet och Nytta 2018 (KoN2018) Information och instruktioner till prefekter angående Units of Assessment (UoA)

Synliggör din forskning! Luleå universitetsbibliotek

Riktlinjer för användning av bibliometri vid Vetenskapsrådet

Genus, produktivitet och samarbete

Publikationsstatistik för BTH

Indikatorrapport Indikatorrapport. Helår tema genomströmning. Tertial 2 tema nybörjare. Indikatorrapport. Halvår tema jämställdhet

SHANGHAIRANKNINGEN 2016

Bibliotekens bibliometriarbete FREDRIK ÅSTRÖM LUNDS UNIVERSITETSBIBLIOTEK

Bibliometri för utvärdering av forskning

Indikatorrapport. Period:

GÖTEBORGS UNIVERSITET I THOMSON REUTERS ANSEENDEMÄTNINGAR

Ulf Sandström

FÖREDRAGNINGS-PM 1 (5)

Lathund till Web of Science

SHANGHAIRANKNINGEN 2015

Bibliometri för forskningsutvärdering

Bibliometriska analyser

STATISTISKT UNDERLAG BIBLIOMETRI BIBLIOMETRI. Dataunderlag - bibliometri

Information inför årskurs 4 och val av masterprogram

Resultatet av universitetsrankingen från Times Higher Education 2010

Open Access-publicering vid svenska lärosäten - en kartläggning 2011

Registrera konferenspublikationer i DiVA

STUDIEPLAN FÖR CIVILINGENJÖRSPROGRAMMET I ENERGISYSTEM, 2016/2017 Teknisk-naturvetenskapliga fakulteten TEKNAT 2015/47

Genomsnittlig normerad citeringsgrad och Top 5% för 20 naturvetenskapliga institutioner vid Stockholms universitet

Teknisk utveckling, A.I. och arbetsmarknaden

Indikatorrapport Indikatorrapport. Helår tema genomströmning. Tertial 2 tema nybörjare. Indikatorrapport. Halvår tema jämställdhet

Citeringsstudie av natur- och samhällsvetenskapliga institutioner vid Stockholms universitet,

Lathund till Web of Science

SKALPROBLEMET: Svenska publikationer och citeringar

Bibliometri i MER14. - hur, vad, varför? Per Nyström, bibliotekarie. per.nystrom@mdh.se. Viktor Öman, bibliotekarie. viktor.oman@mdh.

FORSKNINGENS FRAMTID! SVENSK VETENSKAPLIG PRODUKTION OCH PUBLICERINGSMÖNSTER I ETT INTERNATIONELLT PERSPEKTIV

RAPPORT HUR HAMNADE VI HÄR? En analys av Göteborgs universitets resultat i internationella rankningar

Times-rankingen. Universitetsrankingen från Times Higher Education. Avdelningen för analys och utvärdering PM: 2010:02. Göteborgs universitet

Högre utbildning och forskning i Brasilien

20 frågor om bibliometri

Internationell Ranking vid Göteborgs Universitet

Universitetsrankning

Shanghai-listan. Göteborgs universitets placering på Academic Ranking of World Universities (ARWU). Indikatorer och konklusioner.

Samarbetet inom forskningen ökar

Vad säger forskningen om högskolepedagogik? Lars Geschwind

Benchmarking EPFL, ETH, MIT, TU Delft, TUM, DTU, KTH, Waterloo, Pohang (POSTECH) och Politecnico di Milano Per-Anders Östling

Transkript:

Jämförelse mellan och Web of Science för utvärdering av KTH:s publicering Peter Sjögårde, 214-3-4 KTH, ECE-Skolan, Enheten för publiceringens infrastruktur Sammanfattning av resultat och har jämförts för publikationer affilierade till KTH publicerade 29-211. indexerar fler konferensproceedings och täcker därför en högre andel av KTH:s publikationer, men de publikationer som täcks utöver tenderar att vara lågt citerade. Citeringsanalyser av antal citeringar påverkas i ganska låg utsträckning om skulle användas istället för för att analysera KTH som helhet. Vidare är medelantalet citeringar per publikation högre i än i. För de forskningsområden som i hög utsträckning publicerar sig i konferensproceedings är täckningsgraden i regel högre i än i. Det gäller de UoA som i RAE212 ingick i panelerna 2 Information & Communication Systems, 6 Electronics & Photonics, 8 Industrial Technology & Management och 13 Computer Science & Mediated Communications. Även antalet citeringar är i regel fler, mätt både som totalt antal och citeringar per publikation för UoA i dessa paneler. Den fältnormerade citeringsgraden är högre i (1,6) än i (1,45) för KTH-affilierade publikationer. Eftersom utöver de publikationer som finns i Web of Science täcker lågciterade KTH-publikationer beror troligen den högre siffran på att indexerar fler lågciterade källor, i vilka KTH i relativt låg utsträckning publicerar artiklar i. Detta orsakar sänkta normvärdena och därmed en högre citeringsgrad och ger därför inte nödvändigtvis en bättre bild av KTH:s genomslag. Bakgrund Idag används grunddata från för utvärdering av KTH:s forskning i bland annat RAE, den årliga indikatorrapporten och för beräkning av budgetindikatorn. Syftet med denna rapport är att utreda huruvida skulle ge en mer rättvisande bild av KTH:s publicering och genomslag.

Databasens täckning är en viktig aspekt för utvärderingen av forskning. En större täckning av lärosätets publikationer betyder dock inte nödvändigtvis att KTH skulle få högre värden i bibliometriska analyser eller att databasen per se lämpar sig bättre för bibliometriska analyser. Hur lämplig databasen är för bibliometriska analyser beror på vad den täcker och vad det är man vill mäta. Antalet publikationer skulle förvisso bli större om en större del av publiceringen täcks av databasen som används, men inkluderandet av lågciterade publikationer skulle ge sämre medelvärden för mått som citeringar per publikation och påverkar även ämnesnormering. Hur den fältnormerade citeringsgraden påverkas är mer osäkert eftersom normvärdena påverkas då antalet publikationer utökas i en databas. Utökas databasen med lågciterade publikationer sänks fältnormen och högciterade publikationer får då högre värden. Det blir även lättare att nå högre percentiler, att exempel vara bland de tio procent mest citerade publikationerna inom en ämneskategori. Den skeva fördelningen av citeringar till publikationer är en aspekt som orsakar instabilitet då fältnormerad citeringsgrad beräknas. Om lågciterade källor adderas till datamängden tenderar det att ytterligare förstärka skevheten i fördelningen och därmed orsaka än mer instabila värden, vilket kan leda till att publikationer med få citeringar ändå kan få mycket höga fältnormerade värden. Vidare är kvalitet av det material som databasen innehåller av stor vikt för kvaliteten av bibliometriska analyser. Kvalitetsaspekten har tidigare setts över på KTH då valdes som primär databas för bibliometriska analyser. Utvärderingen av kvaliteten är inte det primära syftet i denna rapport men kommer även den att kommenteras. är den databas som mest frekvent används globalt för bibliometriska analyser. För att bibliometriska analyser ska vara jämförbara är användandet av samma databas som används i de analyser som KTH ingår i eller vill jämföra sig med en förutsättning, dock är bibliometriska analyser ofta svåra att jämföra eftersom metodmässiga skillnader kan orsaka skillnader i resultaten. Analys av antal citeringar och antal publikationer Analys utfördes för KTH som helhet och för de Unit of Assessment som ingick i RAE212. Publikationer söktes ut i april 213 från och från genom sökning på affiliering. Söksträngen var snarlik men anpassad till respektive databas för att ge största möjliga jämförbarhet mellan resultaten. Söksträng : (AF-ID("The Royal Institute of Technology KTH" 6214)) OR ((AFFIL(kth) OR AFFIL(roy* AND inst* AND tech*) OR AFFIL(alfven) OR AFFIL(kung* AND tek* AND hog*) OR AFFIL(kgl AND tek* AND hog*) OR AFFIL(roy* AND tech* AND univ*) AND AFFILCOUNTRY(sweden))) Söksträng : 2

Count of Citations in AD=(KTH OR Roy* inst* tech* OR alfven OR kung* tek* hog* OR kgl tek* hog* OR roy* tech* univ*) AND AD=Sweden För undersökningen per UoA matchades posterna till DiVA baserat på antingen identifierare eller en kombination av titel och andra bibliografiska uppgifter. Något färre av posterna i kunde matchas i jämförelse med poster från, 83 procent jämfört med 96 procent. Skillnaden bör tas i beaktande då resultaten studeras. Sannolikt beror den på att registrering skett systematiskt från medan -poster som inte finns i måste registreras av forskarna själva. En treårsperiod, 29-211, valdes för att få tillräckligt många publikationer för att resultatet skall kunna anses vara robust. Analysen avgränsades till artiklar, review-artiklar och konferensbidrag. Jämförelser gjordes dels av antalet publikationer och dels av citeringar. Citeringar mellan databaser är i regel svårt att jämföra eftersom täckningen inte är densamma. Dock visade sig citeringarna mellan databaserna korrelera i mycket hög grad vilket underlättar jämförelsen, särskilt på en aggregerad nivå. Fokus i jämförelsen låg på att utröna hur databaserna skiljer sig från varandra, framförallt om högciterade publikationer saknas i någon av databaserna. Figur 1: Correlation between citations in and, 29-211 1 9 8 7 6 5 4 3 2 1 2 4 6 8 1 12 Count of Citations in 1.1 Resultat för KTH som helhet Sökningarna resulterade i 7933 publikationer i och 693 publikationer i Web of Science. Det råder inga tvivel om att indexerar fler av KTH:s publikationer (Figur 2). Den relativt stora skillnaden ligger i indexering av konferenspublikationer där indexerade 158 sådana publikationer år 211 medan det i endast återfanns 3

31. Tittar man på artiklar däremot så återfanns något fler indexerade i än i för 211, dock förekommer vissa skillnader av hur publikationer klassificeras i databaserna. Figur 2: Antal publikationer per år, 29-211 2 18 16 14 12 1 8 6 4 2 29 21 211 29 21 211 29 21 211 Article Conference Paper Review Web of Science Stor täckning av publikationer är dock inte alltid till fördel för bibliometriska analyser. Vid fältnormering sänker inkluderandet av publikationer i perifera kanaler normvärden. En gränsdragning av vilka kanaler som skall finnas med i databasen är därför av vikt, där täckningen vägs mot kanalernas genomslag. Att databasen täcker de mest centrala kanalerna och de publikationer som fått många citeringar är av betydelse. Även antalet publikationer med citeringar är högre i än i. Däremot är skillnaderna mellan databaserna mindre i detta avseende ( Figur 3). I fanns 175 citerade publikationer 211 med KTH-adress och i Web of Science 1455 stycken. Tittar man på andelen publikationer som hittills fått citeringar är denna betydligt högre i än i, 68 procent respektive 59 procent för 211 (Figur 4). Vidare visade en manuell koll av samtliga publikationer som har över 4 citeringar i att ingen av dessa saknades i. Skillnaden mellan det totala antalet citeringar är inte så stor med tanke på att indexerar fler publikationer och dessutom samlar in citeringar från fler källor (Figur 5). Trots att det återfanns 3 procent fler KTH-publikationer i är skillnaden vad gäller citeringar endast 1 procent. I får publikationerna i genomsnitt fler citeringar (7,2) än i (6,1) trots att täcker fler indexerade källor vilket ger ett högre antal möjliga citeringar (Figur 6). 4

Figur 3: Antal citerade publikationer, 29-211. 2 18 16 14 12 1 8 6 4 2 Cited publications Cited publications Cited publications 29 21 211 Figur 4: Andel publikationer med citeringar, 29-211. 9% 8% 7% 6% 5% 4% 3% 2% 1% % 29 21 211 5

Count of Citations Citeringar Figur 5: Totalt antal citeringar, 29-211. 25 2 15 1 5 29 21 211 Figur 6: Citeringar per publikation, 29-211. 8 7 6 5 4 3 2 1 Total Tittar man på hur citeringarna fördelar sig mellan publikationerna är det tydligt att de publikationer som täcker utöver i regel får få citeringar (Figur 7). täcker betydligt fler ociterade publikationer än. Detta leder till 6

Publikationer slutsatsen att det som indexeras i utöver det som finns i är källor som är tämligen lågt citerade. Detta är en tydlig indikation på att de kanaler som finns i Web of Science är av en genomsnittligt högre kvalitet än de som finns i. Figur 7: Antal publikationer kategoriserade efter antal citeringar, 29-211 3 25 2 15 1 5 1 2 3-5 6-1 11-5 51-2 >2 Citeringar För att jämföra antalet citeringar till en och samma publikation mellan databaserna behöver dessa kunna identifieras. Digital object identifier (DOI) är en global identifierar som används för forskningspublikationer och som gör detta möjligt. Alla poster i och har inte ett DOI-nummer, men en majoritet av posterna har ett sådant nummer. Om man kopplar posterna som har en identifierare (DOI) i databaserna ser man att publikationer som finns i båda databaserna får något fler citeringar i än i Web of Science, dvs. samma publikation får fler citeringar i än i. Dock är denna skillnad ganska liten. För de publikationer som inte har någon identifierare är fördelningen av dessa kategoriserade utifrån antal citeringar likartad i och Web of Science (Figur 8). De publikationer som har identifierare men som endast återfinns i en av de två databaserna skiljer sig dock markant åt. Av dessa är ett stort antal lågciterade i. Detta förhållande gör det än mer tydligt att det som registreras i utöver det som finns i till största del är lågciterade publikationer som påverkar det totala antalet citeringar i låg utsträckning. Figur 8: Publikationer med identifierare (DOI), kategoriserade efter antalet citeringar i och i, 29-211. 7

1 2 3-5 11-5 6-1 51-2 1 2 3-5 11-5 6-1 51-2 1 2 3-5 11-5 6-1 51-2 >2 Antal publikationer 14 12 1 8 6 4 2 Ingen identifierare Endast i en databas I båda databaserna Antal citeringar 8

Resultat per Unit of Assessment i RAE212 För 15 st UoA är antalet publikationer i mer än 2 procent fler än i (Figur 9). Det gäller tekniska forskningsområden inom bland annat datavetenskap, informationsteknik och elektronik, men också samhällsorienterade ämnen såsom hälsa, stadsplanering, industriell ekonomi och management. För samtliga, med undantag för Urban Planning and the Built Environment, är också det totala antalet citeringar fler i än i (Figur 11). 13.3 Mediated Communications, 6.3 Embedded Electronics and Computer Systems, 13.1 Theoretical Computer Science har samtliga över tre gånger så många citeringar i som i. Dessa tre UoA har även fler citeringar per publikation i. De publikationer som inte kunnat matchas till DiVA och som fanns i med KTH-adress har färre citeringar per publikationer än de som matchades. Därför kan man anta att det finns en skevhet i materialet då forskare i högre utsträckning har registrerat sina bästa publikationer. 1 Antalet citeringar per publikation skulle förmodligen bli något lägre i om samtliga publikationer var registrerade i DiVA (vilket har gjorts från publiceringsår 212 och framåt). Med detta i åtanke kan det dock konstateras att några UoA skulle få både fler publikationer, ett högre totalt antal citeringar och fler citeringar per publikation om används istället för. Det rör främst de UoA som i RAE212 ingick i panelerna 2 Information & Communication Systems, 6 Electronics & Photonics, 8 Industrial Technology & Management och 13 Computer Science & Mediated Communications, dvs. delar av skolorna ICT, ITM, STH, CSC och EES. 1 Det kan även vara en konsekvens av att publikationer i stor utsträckning har registrerats i DiVA retroaktivt i samband med RAE212 av de forskare som då var anställda. DiVA täcker därmed troligtvis framförallt dessa forskares publikationer men saknar övriga KTH-affilierade publikationer för publikationsår längre bak i tiden. 9

1,1 1,2 1,3 1,4 2,1 2,2 3,1 3,2 4,1 4,2 4,3 4,4 5,1 5,2 5,3 5,4 6,1 6,2 6,3 7,1 7,2 7,3 7,4 8,1 8,2 8,3 8,4 9,1 9,2 9,3 9,4 9,5 1,1 1,2 1,3 1,4 11,1 11,2 11,3 12,1 12,2 12,3 12,4 12,5 13,1 13,2 13,3 Antal publikationer Figur 9: Antal publikationer i och per Unit of Assessment, 29-211. 7 6 5 4 3 2 1 Unit of Assessment Figur 1: Täckningsgrad av KTH-affilierade konferensbidrag och artiklar i och jämfört med DiVA per Unit of Assessment, 29-211. 1

1,1 1,2 1,3 1,4 2,1 2,2 3,1 3,2 4,1 4,2 4,3 4,4 5,1 5,2 5,3 5,4 6,1 6,2 6,3 7,1 7,2 7,3 7,4 8,1 8,2 8,3 8,4 9,1 9,2 9,3 9,4 9,5 1,1 1,2 1,3 1,4 11,1 11,2 11,3 12,1 12,2 12,3 12,4 12,5 13,1 13,2 13,3 1% 9% 8% 7% 6% 5% 4% 3% 2% 1% % Figur 11: Antal citeringar i och Web of Sceince per Unit of Assessment, 29-211. UoA 11

1,1 1,2 1,3 1,4 2,1 2,2 3,1 3,2 4,1 4,2 4,3 4,4 5,1 5,2 5,3 5,4 6,1 6,2 6,3 7,1 7,2 7,3 7,4 8,1 8,2 8,3 8,4 9,1 9,2 9,3 9,4 9,5 1,1 1,2 1,3 1,4 11,1 11,2 11,3 12,1 12,2 12,3 12,4 12,5 13,1 13,2 13,3 Antal citeringar 12 1 8 6 4 2 UoA Figur 12: Antal citeringar per publikation i och per Unit of Assessment, 29-211. 12

13 5 1 15 2 25 3 35 4 45 1,1 1,2 1,3 1,4 2,1 2,2 3,1 3,2 4,1 4,2 4,3 4,4 5,1 5,2 5,3 5,4 6,1 6,2 6,3 7,1 7,2 7,3 7,4 8,1 8,2 8,3 8,4 9,1 9,2 9,3 9,4 9,5 1,1 1,2 1,3 1,4 11,1 11,2 11,3 12,1 12,2 12,3 12,4 12,5 13,1 13,2 13,3 Antal citeringar per publikation UoA

Fältnormerad data För att kunna jämföra fältnormerad data beställdes indikatorer från Science-Metrix i Kanada. Science-Metrix klassar tidskrifter i och i ämnesklasser i tre nivåer: (1) bred nivå omfattande 6 domäner, (2) mellannivå omfattande 15 ämnesklasser och (3) minsta nivå omfattande 176 underklasser. Nivå 1 och 2 är av intresse för denna undersökning. Nivå 3 är alltför finindelad och innehåller därmed alltför få publikationer för att ge robusta resultat och kommer därför inte beaktas. Fördelen med att använda Science-Metrix indelning av ämnesklasser är att samma klasser används för beräkningen av den fältnormerade citeringsgraden i både och vilket förbättrar möjligheten att jämföra resultaten i de båda databaserna. För att göra resultaten så robusta och jämförbara som möjligt har den fältnormerade citeringsgraden, Average Relative Citation count (ARC), beräknats med ett fast citeringsfönster om 3 år, för publiceringsåren 29 och 21. Fältnormerad citeringsgrad Värdet för den fältnormerade citeringsgraden är högre för 1,6 än i 1,45. Detta kan ha flera orsaker. Det kan bero på att indexerar fler lågciterade källor och därmed sänker referensvärdena. Om KTH i låg utsträckning publicerar i dessa kanaler höjs den fältnormerade citeringsgraden. Det kan också bero på att fler högciterade publikationer från KTH kan räknas med i då databasen har bättre täckning av KTH:s publicering. Dock har analysen av antalet citeringar ovan visat att det totala antalet citeringar skiljer sig i förhållandevis låg utsträckning och att antalet citeringar per publikation är högre i än i. Figur 8 visar att de KTH-affilierade publikationer som finns i men inte i, i regel är lågt citerade. Detta stärker tesen om att det generellt sett är lägre referensvärden i som orsakar en höjning av det fältnormerade värdet. Störst skillnad för den fältnormerade citeringsgraden av de ämneskategorier som KTH frekvent publicerar inom ser vi inom de tillämpade vetenskaperna, särskilt inom Enabling & Strategic Technologies och Engineering. Inom dessa ämnen skiljer sig även antalet publikationer. Noterbart är också att den fältnormerade citeringsgraden är något lägre i än i för ämneskategorin Information & Communication Technologies som innehåller betydligt fler KTH-publikationer i än i. Då lågciterade källor läggs till vid beräkning av normerad citeringsstatistik ökar en redan skev fördelning av citeringar till publikationer. Detta orsakar en högre grad av instabilitet i beräkningen. Att fler publikationer ingår i beräkningen ger därför inte per se en mer rättvisande bild av KTH:s publicering. CWTS har i sin ranking tagit ett steg i riktning mot att utesluta källor av dessa anledningar. De har infört en beräkning av fältnormerad citeringsgrad 14 (19)

där källor som inte är på engelska och inte har ett internationellt fokus uteslutits. 2 Om skulle användas för citerings-beräkningar på KTH finns en risk att den större täckningen av lågciterade källor skulle ge instabila värden. Dessa konsekvenser skulle i så fall behöva utredas. Ett första steg skulle vara att utreda hur inkludering av konferensindex i Web of Science påverkar fältnormerad statistik. Troligtvis är påverkan av denna inkludering likartad till sin natur som att beräkna fältnormerad citeringsgrad i istället för. Tabell 1: Fältnormerad citeringsgrad, Average Relative Citation count (ARC), i Web of Science och, beräknat med 3-årigt citeringsfönster, 29-21. Number of papers ARC Number of papers ARC Domain / Field / Subfield FULL ARC3 n_arc3 FULL ARC3 n_arc3 TOTAL (Whole Database) 7 675 1.6 4 767 5 84 1.45 3 27 Natural Sciences 2 86 1.72 1 852 2 543 1.6 1 643 Biology 5 1.96 33 46 1.44 31 Chemistry 582 1.96 38 569 1.87 372 Earth & Environmental Sciences 212.94 14 181.84 118 Mathematics & Statistics 211 1.5 153 214 1.8 14 Physics & Astronomy 1 751 1.82 1 146 1 533 1.66 982 Applied Sciences 3 528 1.46 2 49 1 795 1.2 1 163 Agriculture, Fisheries & Forestry 59 1.64 4 54 1.22 37 Built Environment & Design 124 1.12 93 73.97 55 Enabling & Strategic Technologies 1 175 1.39 777 792 1.16 496 Engineering 1 69 1.65 725 617 1.15 43 Information & Communication Technologies 1 11 1.39 774 259 1.51 172 Health Sciences 456 1.43 279 392 1.32 241 Biomedical Research 139 1.3 86 146 1.28 92 Clinical Medicine 23 1.48 118 173 1.38 13 2 Citeringsstatistiken i rankingen går att få både för som helhet (konferensindex exkluderat) och med nämnda källor exkluderade. Exkludering är förvalt. 15 (19)

Psychology & Cognitive Sciences 39 2.71 18 27 1.91 17 Public Health & Health Services 75 1.9 57 46.91 29 Economic & Social Sciences 214 1.82 134 131 1.68 76 Economics & Business 162 2. 18 12 1.85 6 Social Sciences 52 1.8 26 29 1.5 16 Arts & Humanities 52 1.15 37 47 1.58 34 Communication & Textual Studies 15 1.39 1 8 2.75 6 Historical Studies 7.43 4 8.75 4 Philosophy & Theology 29.95 22 28 1.2 21 Visual & Performing Arts 1 6.27 1 3 2.94 3 General 89 4.1 56 84 2.51 5 General Arts, Humanities & Social Sciences 7 1.97 1 7 1.77 1 General Science & Technology 82 4.5 55 77 2.53 49 UNCLASSIFIED 53 n.c. n.c. 92 n.c. n.c. Kommentarer kring kvalitet i databaserna Denna undersökning har inte specifikt tittat på kvalitet av data i de två databaserna. Det har alltså inte gjorts någon systematisk undersökning av datakvaliteten, dock har kvalitativa aspekter uppmärksammats då anomalier i data förekommit. I har fel i konferensposter påträffats. Det gäller framförallt adresser som saknas i dessa. Dock har inga fel påträffats i övriga index. I data från har dubbletter, felaktiga adresser samt ett fall av felaktigt DOI-nummer förekommit. Detta väcker frågetecken kring datakvaliteten i. En annan kvalitetsaspekt är det innehåll som databasen täcker. täcker huvudsakligen de viktigaste, mest citerade internationella peer review-granskade kanalerna. täcker kanaler utöver dessa, vilka många förefaller vara lågt citerade. Flera relativt högciterade publikationer som återvunnits från genom adressökningen saknade en KTH-adress i. För flera av dessa visade det sig att delar av adressfältet som fanns med i ursprungsartikeln saknades i. täcker data från 1996, medan täcker publikationer från 19 och framåt. I är möjligheterna att beräkna exempelvis H-index eller andra mått som baseras på en forskares hela karriär mer begränsade än i. 16 (19)

Adressinformationen är av stor vikt för analyser, dels för att undersöka olika aspekter av samförfattarskap och dels för att söka ut publikationer. Adressinformationen i är strukturerad till en mindre grad än den i då lärosätenas namn kan återfinnas på olika platser i adressfältet. 2 Slutsats är i dag standard för bibliometriska analyser men har kommit att användas mer och utmanat den monopolställning som tidigare haft. Det finns fortfarande frågetecken kring kvaliteten i som behöver utredas om databasen övervägs för citeringsanalyser på KTH. Även hur väl ämnesindelningen i lämpar sig för normering bör man i sådana fall titta närmare på. Analysen visar att täcker fler konferensproceedings och därmed fler av KTH:s konferenspublikationer. Det innebär även att innehåller fler referenser vilket ger ett högre antal möjliga citeringar för de publikationer som finns i databasen. För de ämnesområden som primärt publicerar artiklar och får sina citeringar från andra artiklar har denna skillnad liten påverkan på bibliometriska indikatorer. Däremot gör det en betydande skillnad för de forskningsområden som publicerar sig i hög grad i konferensproceedings och som även får sina citeringar från dessa. Om skulle användas för bibliometriska analyser vid KTH skulle antalet publikationer visserligen bli fler men det skulle inte ge så stor påverkan på antalet citeringar för KTH som helhet. Antal publikationer räknas primärt i DiVA varför antalet i sig inte är av någon större vikt. Vidare skulle medelantalet citeringar per publikation sjunka. tycks ha god täckning av de mest citerade kanalerna i världen. Det utökade antalet kanaler som täcker är citerade i lägre grad. Detta talar för att trots allt täcker de kanaler som har störst betydelse för bibliometriska analyser för KTH som helhet. Den stora täckningen av lågciterade källor i skapar troligen en högre grad av instabilitet då fältnormerad data beräknas. Vilka konsekvenser detta får är oklart. Web of Science är mer beprövat för fältnormerad statistik och används av flera tunga aktörer, däribland CWTS i Leiden och THE World University Rankning. För panelerna 2 Information & Communication Systems, 6 Electronics & Photonics, 8 Industrial Technology & Management och 13 Computer Science & Mediated Communications skulle användandet av ge en högre täckningsgrad och fler citeringar (även för några UoA i andra paneler). 17 (19)

Referenser What Does Cover? SciVerse. Accessed April 25, 213. URL:http://www.info.sciverse.com/scopus/scopus-in-detail/facts Thomson Reuters Science. Accessed April 25, 213. URL:http://thomsonreuters.com/products_services/science/science_products/az/web_of_science/ 18 (19)

List of Units of Assessments in KTH RAE212 1.1 - Mathematics 1.2 - Mathematical Statistics 1.3 - Optimization and Systems Theory 1.4 - Numerical Analysis 2.1 - Information Processing, Networking and Control 2.2 - Communication - Services and Infrastructures 3.1 - Experimental Physics 3.2 - Theoretical Physics 4.1 - Applied Physics and Medical Imaging 4.2 - Medical Technology 4.3 - Materials Physics 4.4 - Optics and Photonics 5.1 - Nuclear Power Safety, Reactor Physics & Reactor Technology 5.2 - Electrical Power Engineering 5.3 - Fusion and Space Plasma Physics 5.4 - Energy Transformation 6.1 - Microsystems Technology (MEMS) 6.2 - Integrated Devices & Circuits 6.3 - Embedded Electronics and Computer Systems 7.1 - Vehicle Engineering 7.2 - Solid Mechanics 7.3 - Fluid Mechanics 7.4 - Mechanics-Biomechanics 8.1 - Industrial Product Development 8.2 - Production Engineering 8.3 - Health (Ergonomics; Health & Building) 8.4 - Industrial Economics and Management 9.1 - Chemistry 9.2 - Chemical Engineering 9.3 - Fiber and Polymer Technology 9.4 - Theoretical Chemistry 9.5 - Materials Science and Engineering 1.1 - Medical Biotechnology 1.2 - Industrial Biotechnology 1.3 - Proteomics 1.4 - Materials Biotechnology 11.1 - Civil and Architectural Engineering 11.2 - Land and Water Resources 11.3 - Transport Science 12.1 - Architecture 12.2 - Real Estate and Construction Management 12.3 - Philosophy and History of Technology 12.4 - Urban Planning and the Built Environment 12.5 - Industrial Ecology 13.1 - Theoretical Computer Science 13.2 - Applied Computer Science 13.3 - Mediated Communications 19 (19)