En bibliometrisk jämförelse mellan LTU och vissa andra svenska och europeiska universitet. Terje Höiseth, överbibliotekarie, LTU. Bibliometri har de senaste åren fått en allt större uppmärksamhet inom den nordisk universitets- och högskolevärlden. Detta nyvakna intresse för en disciplin som tidigare enbart intresserade biblioteksvärlden och enstaka forskara inom informationsvetenskaperna (i Sverige exempelvis Olle Persson (http://www8.umu.se/soc/personal/persson_olle.htm) i Umeå) skyldes i stor grad att statsmakterna den senare tiden har letat kvantitativa mått för att automatfördela vissa delar av forskningsanslagen. I Norge och Danmark har man valt samma modell där man premierar publicering direkt med olik vikt på vissa tidskrifter, konferenser och böcker, medan man i Sverige även tar in citeringar i en ganska komplicerat algoritmisk analys. Effekten av fördelningsbeslutet kommer självklart att bli ett ökat intresse för publicering och även ett behov för att veta hur det egna universitetet står sig i förhållande till jämförbara institutioner. Som ett litet bidrag till detta har jag gjort en mycket begränsat studie där jag jämför tillgängliga siffror för 6 olika universitet i Sverige och Europa. Källan för undersökningen är Scopus (http://www.scopus.com/scopus/home.url ) som förutom själva publiceringsinformationen även innehåller möjligheter för citeringsanalyser. Det finns i princip två kommersiella källor för citeringsanalyser på marknaden idag, förutom Scopus finns även Web of Science (http://isiknowledge.com/wos) med anor tillbaka till 1961. Ett gratis alternativ är Google Scholar, men det finns fortfarande en del brister och frågetecken om sökmöjligheter och urval som gör att det för tillfället känns tryggare att använda någon av de kommersiella databaserna. Ingen av de två källorna ger någon som helst fullständighet i publiceringen på universitetet eller högskolan. De tester vi har gjort visar att Scopus är bättre för LTU än Web of Science, det är en större andel av LTUs totala publicering som återfinns i Scopus än i WoS. Den totala bilden finns enbart i universitetets lokala repository (för LTU PURE), och det är här grunden för fördelning av forskningsmedel skiljer sig markant mellan Norge-Danmark och Sverige. I våra grannländer bygger fördelningen på analyser av inrapporteringar från de lokala repositories, medan man i Sverige litar på en kommersiell aktör (WoS). Här gynnas främst medicin och till viss del naturvetenskap, medan nästan alla andra områden missgynnas. För LTUs del innebär fokuseringen på WoS självklart en nackdel. Tittar man på LTU-publikationer i Scopus, WoS och jämför med vad som är lagt in i PURE begränsat till Peer-rewied artikel och peer-rewied konferensbidrag får vi följande intressanta tabell:
Scopus WoS PURE 2000 242 208 507 2001 232 225 469 2002 226 229 498 2003 300 242 576 2004 288 228 573 2005 308 231 694 2006 357 238 711 2007 380 299 730 2008 379 274 741 Tabell 1. Jämförelse Scopus WoS. En förklaring till den stora skillnaden mellan källorna de senaste åren kan vara att WoS inte tar med konferensbidrag, något som för vissa områden är ytterst central vetenskaplig kommunikation. Vad vi kan observera och som är värre, är att drygt hälften av de kvalitetsgranskade publikationerna från LTU varje år inte kommer med i de två ända citeringsdatabaser som finns kommersiellt tillgängliga och som till dels kommer att läggas till grund för fördelning av forskningsmedel. I nuläget har jag inte tillgång till siffror för KTH och Chalmers när det gäller motsvarande förhållanden, men en naturlig fortsättning av denna undersökning är självklart att titta närmare på detta. Antal publikationer. Antal publikationer som publiceras på ett lärosäte är självklart i stor grad beroende av antal forskare som är aktive på platsen, men även mixen av ämnen har stor betydelse. Det finns olika publiceringstraditioner mellan vetenskapsområden, och även inom ämnen kan det existera stora skillnader grundat på ämnets karaktär. Jag har valt att förutom LTU, Chalmers och KTH ta med Hamburg-Harburg, Delft och L Aquila i denna studie. När det gäller antal publikationer per år från varje lärosäte ser utfallet ut på detta sätt: LTU CTH KTH Delft Hamburg L'Aquila 2000 242 1219 1259 1428 144 508 2001 232 1059 1233 1422 215 500 2002 226 1123 1161 1539 165 515 2003 300 1318 1389 1741 213 673 2004 288 1434 1602 2229 215 726 2005 308 1480 1731 2493 330 673 2006 357 1447 1942 2496 301 701 2007 380 1326 1969 2721 324 718 2008 379 1189 1724 2512 291 719 Tabell 2. Antal publikationer.
De mest anmärkningsvärde med denna tabell är egentligen att Chalmers inte har ökat sitt publicerande alls under tidsperioden, medan för LTU noterar vi en ökning på väl 50% och Hamburg på 100, men båda från ganska låga nivåer. Delft har en mycket stor ökning (75%) och verkar vara ett universitet i växt. Det vore självklart intressant att titta på antal publikationer producerat på lärosätet i förhållande till antal anställda forskare/lärare, men det finns en del svårigheter med detta om man vill göra rättvisa jämförelser. För det första måste man rensa båda bland anställda och bland publikationerna för att få något så när samma sammansättning av ämnen på alla ställen. Exempelvis har LTU en del humaniora och samhällsvetenskap som inte finns på Chalmers och KTH, dessutom är det ett ganska stort arbete att ta fram uppgifter om detta, speciellt för de utländska universiteten. För att ge en liten fingervisning hur det kan se ut har jag tagit fram siffror på anställda i SCBs statistik för 2007 når det gäller forskande och undervisande personal vid LTU, CTH och KTH. Här kan man se att LTU har en betydande större andel adjunkter än övriga, något som ger utslag på produktionen av vetenskapliga artiklar. Jämförelsen ser i alla fall för 2007 ut så här: 2007 Antal anställda Publ/anställd LTU 603 0,63 CTH 749 1,59 KTH 1200 1,64 Tabell 3 Publikationer per anställd. Om vi räknar bort adjunkterna i dessa siffror kommer LTU ut med 1,07 publikationer per anställd, CTH med 1,77, medan KTH har 2,05. Något bättre men inte alls bra jämfört med våra konkurrenter. Citeringar. Citeringsanalyser är sedan 1960-talet en metod som används för att försöka kvantifiera kvalitet på forskningsartiklar. Dess fler citeringar en artikel får, dess högre kvalitet var teorin. Mannen bak tillkomsten av citeringsindexen var Eugene Garfield (http://www.garfield.library.upenn.edu/) som grundade ISI, Institute for Scientific Information som började ge ut Web of Science, och som är en av de stora namnen inom denna bransch.
Indexen har använts olika genom åren, bland annat vid anställningsförfaranden vid speciellt amerikanska universitet. Nu är det alltså aktuellt igen, denna gången för att fördela forskningsanslag till svenska universitet och högskolor. Mängden citeringar har självklart ett samband med antal publikationer, och för våra universitet ser det ut så här: LTU CTH KTH Delft Hamburg L'Aquila 2000 2175 16806 15810 21291 1370 7545 2001 2538 12153 16608 19773 1595 5696 2002 2644 12255 13133 15277 1490 4804 2003 2348 13163 13828 19890 1565 7624 2004 1310 9199 11123 15631 1595 5636 2005 1235 6728 7374 12286 1579 3776 2006 739 4777 5884 7994 816 2939 2007 493 2073 3254 4405 323 1455 2008 84 478 542 854 65 303 Tabell 4. Totalt antal citeringar per 900301 Tabellen ger alltså antal citeringar totalt fram till nu av artiklar som är publicerade rubricerade år. Det mest anmärkningsvärda med denna tabell är inte att de stora universiteten med många publicerade artiklar har många citeringar, men att det tar 7-8 år för en artikel når sin citeringspeak. Lägg därtill att många artiklar kan vara nästan 3 år gamla för de publiceras, så förstår man att för många vetenskapsområden fungerar inte den traditionella publiceringsformen särskilt väl som kommunikationsverktyg. Tabell 4 ger absoluta siffror på antal citeringar, men om vi nu tittar på antal citeringar per artikel, hur ser det då ut? Alltså finns det någon signifikant skillnad mellan att citera ett paper från Delft kontra ett motsvarande från LTU? Detta ser ut så här: LTU CTH KTH Delft Hamburg L'Aquila 2000 8,99 13,79 12,56 14,91 9,51 14,85 2001 10,94 11,48 13,47 13,91 7,42 11,39 2002 11,70 10,91 11,31 9,93 9,03 9,33 2003 7,83 9,99 9,96 11,42 7,35 11,33 2004 4,55 6,41 6,94 7,01 7,42 7,76 2005 4,01 4,55 4,26 4,93 4,78 5,61 2006 2,07 3,30 3,03 3,20 2,71 4,19 2007 1,30 1,56 1,65 1,62 1,00 2,03 2008 0,22 0,40 0,31 0,34 0,22 0,42 Tabell5. Citeringar per artikel.
Citeringar per artikel 16,00 14,00 12,00 10,00 8,00 6,00 4,00 LTU CTH KTH Delft Hamburg L'Aquila 2,00 0,00 2000 2001 2002 2003 2004 2005 2006 2007 2008 Det man kan observera här, bort sätt från den vanliga tidsmässiga eftersläpningen, är att det inte finns något klart mönster i att störst är bäst. Det finns till och med år där LTU ligger på första platsen i denna högst speciella rankning. Konklusionen är att när det först kommer en publikation från ett mindre universitet är chansen för att bli citerat nästan lika stor för denna som för en artikel från ett stort universitet. Jag gör uppmärksam på att antal citeringar i undersökningen inte är korrigerat för självciteringar. Detta är möjligt att göra, men i och med att Scopus har begränsningar på hur många requests av denna typ man får göra per dag skulle det ta flera veckor att genomföra detta. I en ny version av undersökningen kan man eventuellt korrigera för detta. H-index. H-index har blivit ett allmänt accepterat mått på hur bra en forskare är på sin publicering. Definitionen av H-index är ganska enkel: En forskare har en H-index h om h av hans N publikationer är citerat minst h gånger och resterande N-h publikationer är citerat mindre än h gånger var. En forskare med index h har alltså publicerat h antal papers som var och en har citerats minst h gånger. Det man kan säga om H-indexen som mått är att den båda avspeglar kvantitet (fler publiceringar ökar chansen för högre H-index) och om antal citeringar avspeglar kvalitet också kan sägas bli ett mått på detta. En översikt över H-index för våra jämförbara universitet ger följande tabell:
LTU CTH KTH Delft Hamburg L'Aquila 2000 21 59 49 58 19 41 2001 23 47 49 58 20 34 2002 23 44 47 51 19 32 2003 23 47 43 58 19 39 2004 17 38 39 45 20 31 2005 15 31 28 41 18 24 2006 10 24 22 28 12 24 2007 8 15 17 22 8 14 2008 4 7 6 8 3 6 Tabell 6. H-index. Tabellen innehåller inga stora överraskningar. I och med att det ligger i H-indexens definition att big is beautiful har självklart de största institutionerna högst H-index, och vi ser också här tydlig tidsfaktorns betydelse. Publikationer efter 2004 har en snabbt sjunkande H-index. H-index är alltså inget bra mått att använda när man ska undersöka universitet och högskolors totala produktion över tid, då ett lite universitet aldrig kan uppnå en så hög H-index som ett stort. För de enskilda forskarna går det självklart att jämföra H-index, speciellt om de är verksamma inom samma forskningsområde och har ungefär samma längd på sin forskarkarriär. Men som med alla försök på att hitta objektiva mått på att mäta kvalitet i forskning måste detta användas på ett ganska kritiskt sätt. Som konklusion kan man utifrån de siffror som är tillgängliga se att LTU har en lägre publiceringsgrad än i alla fall KTH och CTH. För övriga europeiska universitet är det svårt att dra den konklusionen, då jag i denna omgång inte har relaterat deras siffror till antal forskare/lärare. Benegenheten att citera artiklar från LTU är inte signifikant lägre än övriga, vissa år är den faktisk högre. Ett sätt att öka antal citeringar är att göra sin publikation tillgänglig i full text på nätet. Flera undersökningar som exempelvis Norris (2008)( https://dspace.lboro.ac.uk/dspace-jspui/handle/2134/4089) avhandling från Loughborough University visar en tydlig tendens att artiklar fritt tillgängliga i full text tenderar att citeras oftare än artiklar som enbart är tillgängliga via bibliotekens licensavtal. De flesta förlag tillåter nu parallell publicering av tidskriftsartiklar på universitetets domän, och regler för detta finns tillgängliga här (http://www.sherpa.ac.uk/romeo/ ). Bibliometri är ingen exakt vetenskap. Ibland är det som att jämföra äpplen och päron, speciellt när man lyfter upp jämförelser på universitetsnivå. Resultaten får därför hanteras med försiktighet. Det finns nu uppenbara risker för att vi kommer att få se en större grad av taktisk publicerande, det gäller att öka antal publiceringar (skriva fler artiklar utifrån samma projekt) och vara mer uppmärksam på att publicera sig i tidskrifter som förtecknas i de store index-publikationerna. Som jag tidigare har påpekat ökar citeringsgraden om vi ser till att fulltexten är fritt tillgänglig på webben!