Strategiska miljöer vid Hälsouniversitetet : publicerings- och citeringsanalys del 2

Transkript

1 Strategiska miljöer vid Hälsouniversitetet : publicerings- och citeringsanalys del Ulf Sandström maj 8 Nyheter i 8 års rapport:. Publiceringar fram till och med 6 med citeringar fram till och med 7.. Ett tvåårigt citeringsfönster tillämpas för analyser över tid. 3. Förbättrade citeringskopplingar. 4. Självciteringar är borttagna. 5. Forskare utanför HU har exkluderats. 6. Forskare som tilldelats medel från satsningarna ingår i en särskild analys. Hälsouniversitetets strategiska satsning inleddes 4 och forskarna har således haft tre år med dessa forskningsbidrag. Det tar tid att sätta igång forskningsprogram: andra forskningsuppgifter skall avslutas, nya eller nygamla samarbeten skall startas, praktisk planering skall genomföras, doktorander rekryteras, personal fördelas etc. Därför uppstår time lags innan effekterna kan avläsas. Citeringsanalys är med nödvändighet tillbakablickande. Minst år måste förflyta innan det är möjligt att med hjälp av citeringar indikera hur en forskargrupp står sig i relation till andra forskargrupper. Att redan nu utvärdera den strategiska satsningen ställer vissa krav på toleransnivåerna. Här presenteras en inledande studie av hur grupperna har positionerat sig. Det är information som kan föras till grupperna och bli en del av underlaget för framtida undersökningar. Vi får under alla omständigheter en uppfattning om tendenser och riktningar. Flera grupper har en trendmässig ökning av antalet publikationsandelar. Ingen av grupperna gör riktigt bra resultat mätt med citeringsdata. Undantaget är MiM-gruppen som uppnår en nivå om 4 procent bättre än internationellt genomsnitt. Övriga ligger vid genomsnittet eller väsentligt under denna nivå. 5

2 Inledning Fem grupperingar vid Hälsouniversitetet i Linköping (LiU HU) fick 4 bidrag till en s.k. strategisk satsning. Satsningen var tvärvetenskaplig, man eftersträvade synergieffekter inom universitetet (även utanför HU), och medel gavs därför till de grupperingar som redan hade stöd av externa forskningsfinansiärer. Förutom de fem grupperingar som undersöks här finns ansökningar från ytterligare sju grupperingar. Av dessa har tre valts ut (av HUkansliet) för jämförelser med avseende på utvecklingen före och efter satsningen. Poängen med denna undersökning är således att med hjälp av bibliometriska metoder undersöka grupperingarnas produktion före och efter den strategiska satsningen. Metodiska överväganden Övergripande kan sägas att de bibliometriska metoder som används i denna undersökning grovt taget följer den modell för citeringsanalys som finns beskriven i rapporten Resurser för citeringar (Sandström & Sandström 8). Undersökningen har genomförts i följande moment. Inledningsvis har forskarnas publiceringar identifierats och hämtats från Web of Science (WoS). Uppdraget har varit att dels redovisa utvecklingen för alla HUforskare som fanns med på de ursprungliga ansökningarna, dels att analysera utvecklingen endast för de HU-forskare som på ett eller annat sätt har finansierats (mottagit forskningsmedel) av satsningen. Administration samt ersättningar för kurser (kursansvar) har inte tagits med. Mestparten av medlen har finansierat doktorandtjänster eller motsvarande. Doktorandernas resultat i form av artiklar krediteras i första hand handledare/forskningsledare inom den strategiska satsningen. Undersökningen bygger således på förutsättningen att handledare och doktorand publicerar gemensamma artiklar. Denna norm är, som bekant, inte områdesneutral. Inom humanistisk och samhällsvetenskaplig forskning är i stället normen att doktorandens självständighet skall premieras vilket bl a medför att doktoranden publicerar i eget namn utan formellt samförfattarskap med handledaren. Detta bör vi ta hänsyn till när vi bedömer resultaten av undersökningarna. Föreliggande rapport består, som redan understrukits, av två undersökningar. I den ena undersökningen har antalet personer begränsats till dem som mottagit forskningsmedel eller som varit huvudhandledare för doktorander inom grupperingen. Denna grupp benämns kärngruppen. I den andra ingår alla personer som ingick i ansökan och som har fortsatt publiceringsverksamhet under perioden.

3 Tabell. HU-anställda i kärnundersökningen. CIRC MiM Diabetes CMIV Hälsa Alehagen U Ek, AC Arnqvist, H Borga, M Ekberg, K Andersson, R Kratz, G Faresjo, M Carlsson, GA Hass, U Bengtsson, T Uvdal, K Ludvigsson, J Ebbers, T Honkasalo, M Dahlström U Aspenberg, P Nystrom, F Engstrom, M Levin, LÅ Grenegård, M Skogh, T Stralfors, P Janerot-Sjoberg, B Nordlund, A Hammarström S Lindahl, T Timpka, T Knutsson, H Sjögren, E Janzon, M Bengtsson, T Vaarala, O Länne, T Svenaeus, F Jonasson, L Westermark, G Lundberg, P Kristenson, M Li, W Lindahl, T Länne, T Persson, K Ramstrom, S Stromberg A Swahn, E Persson, A Ragnehed, M Rydell, J Smedby, O Wrangsjö, A Whiss, P Anm: Markerade namn förekommer i flera grupper. Namn vid tek-fak ingår inte i citeringsberäkningarna. Doktorander ingår ej. Citeringsfönster och fältnormalisering I korthet kan nämnas att citeringsvärden beräknas för citeringsbara dokument i Web of Science, dvs. articles, reviews and letters, under perioden Citeringsanalysen arbetar i första hand med ett öppet citeringsfönster när hela perioden studeras. Det innebär att citeringar mäts fram till och med 7. I analyserna över tid arbetar vi med ett tvåårigt citeringsfönster enligt figur. En artikel från januari får ett fullt citeringsfönster under perioden 3, medan en artikel från december får något kortare fönster. Artiklar från 5 får i snitt,5 års citeringsfönster men en artikel från 6 har ett fönster på mellan - år. I undersökningen ingår artiklar fram till och med 6. Detta är fortfarande en allvarlig begränsning med hänsyn till att satsningen påbörjades så sent först 4. Normalt räknar vi med minst två års eftersläpning i form av publiceringsrutiner och eftersom en stor del av satsningarna gått till forskarutbildning bör det kunna uppstå än längre eftersläpningar.

4 Figur. Modell med öppet citeringsfönster, år på x-axeln, citeringar på y-axeln. Fältnormalisering innebär att en artikel publicerad i en tidskrift jämförs med artiklar inom det område som artikeln tillhör. Ett område bestäms av hur de tidskrifter som Thomson/ISI indexerar har klassificerats. Thomson/ISI indexerar årligen ett stort antal tidskrifter och serier, och dessa är klassade i närmare 5 tidskriftsklasser. Klassningen är överlappande så att varje tidskrift kan tillhöra flera klasser. Thomson/ISI-databasen har ett försteg framför andra databaser eftersom det finns ett över tiden stabilt system som delar in tidskrifterna i olika tidskriftsklasser och på så sätt gör det möjligt att normalisera (jämföra äpplen med päron) över skilda forskningsfält. Därigenom är det också möjligt att få rättvisande och jämförbara värden för lärosäten trots att de har helt olika profiler. Leidengruppens indikator för fältnormalisering (CPP/FCS) beräknas enligt följande: där c är antalet erhållna citat och µ f är medelvärdet för tidskriftsklassen (FCS). Genom denna beräkningsmodell utförs normaliseringen på aggregerad nivå, t.ex. forskargrupps- eller universitetsnivå. I våra beräkningar har vi emellertid valt att justera beräkningen något genom att utföra normaliseringen på artikelnivå. Beräkningsformeln blir då: Fältnormalisering föreslogs av Budapestgruppen redan vid slutet av 98-talet (se Schubert, Glänzel, Braun 988), jfr Braun, Glänzel, Schubert (99) samt Glänzel (996). Se van Raan (4, 6). Leiden är ett holländskt universitet där en bibliometrigrupp, under ledning av Anthony van Raan, är verksam. Jfr Moed (5) för en läroboksmässig framställning.

5 Skillnaden är att vårt beräkningssätt behandlar alla artiklar lika, medan Leidengruppen ger högre vikt till publiceringar inom tidskriftsklasser med höga referensvärden. 3 För ett universitet som publicerar såväl inom fysik som inom ekonomi blir konsekvensen av Leidengruppens metod att citeringsvärdet i hög grad kommer att bero på fysikernas publikationer. Med vår beräkningsmodell väger ekonomernas publikationer lika tungt som fysikernas, och kommer att påverka slutresultatet i samma mån. Enligt vårt förmenande ger detta ett mer rättvisande resultat. Trots att vår beräkning skiljer sig lite från Leidengruppens har vi valt att flera fall benämna den på samma sätt. Beteckningen CPP/FCS är dock något missvisande när vår beräkning används. I denna rapport kommer vi därför att använda beteckningen NCS f (Field Normalised Citation Score) för vår fältnormaliserade citeringsgrad. Citeringskopplingar Databasen Web of Science består av artiklar och deras referenslistor. I den mån man kan etablera en koppling mellan referenserna och de artiklar som de refererar till har man en citeringskoppling. För att skapa denna koppling arbetar Thomson/ISI med en algoritm som är förhållandevis konservativ. Tanken är sannolikt att man så långt det är möjligt skall undvika att felaktiga kopplingar skapas. Samtidigt är det uppenbart för den som arbetat med databasen att det förekommer felskrivningar, felstavningar, utelämnad information och missuppfattade artikeldata. Konsekvensen är att det saknas kopplingar mellan en rad dokument. Beräkningar säger att det saknas ungefär 8 procent. 4 Det vanligaste felet är att en citerad sida anges i stället för en artikels startsida. Detta står för närmare hälften av upptäckta fel. Vanligt är också att tidskriftens namn återges inkorrekt och att sidhänvisningarna fallerar på ett eller annat sätt. Dessa fel borde vara möjliga att åtgärda med en något mer generös algoritm. Vi har för beräkningarna i denna rapport arbetat fram citeringskopplingar som bygger på en bearbetning av de missade kopplingarna. För det första genom att korrigera tidskriftstitlar i referenserna, för det andra genom att korrigera för övriga fel genom en mindre konservativ och mer tillåtande algoritm. Fraktionalisering Med fraktionalisering menar vi här uppdelning på adress. Om en artikel är resultatet av samarbete mellan två universitet tilldelas de halva artikeln vardera. När citeringsgraden sedan beräknas viktas universitetets artiklar 3 Jfr Lundberg (6), s. III:3. Jfr Visser et al (7). 4 Enligt Moed & Vriens (989) samt Moed & van Leeuwen (995). Moed () sammanfattar frågan. Jfr Birger Larsens konferensbidrag på Köpenhamnskonferensen september 7. < (835).

6 efter dess fraktion. 5 Således blir utfallet att artiklar med färre samarbetspartners väger tyngre än artiklar som är resultatet av många samarbeten. Innebörden är att samarbetsartiklar kommer att väga mindre vid beräkningen av citeringsgrad. 6 Självciteringar Självciteringar kan definieras på olika sätt. Vanliga definitioner är samförekomst av författare, första författare alternativt lärosäte i den citerande och citerade publikationen. I denna rapport följer vi ansatsen att eliminera citeringar där förste författaren överensstämmer mellan citerad och citerande artikel. Om samma författare finns på övriga positioner i författarlistan räknas det inte som en självcitering. Denna begränsade metod används av ett skäl: med hela författarlistan blir risken stor att många citeringar felaktigt tas bort. På universitetsnivå bör det vara tillräckligt att använda denna strategi för att upptäcka eventuella tendenser till självciteringsbeteende. Den norske bibliometrikern Dag W Aksnes, som 5 disputerade på en avhandling om självciteringar, menar att det finns skäl att ha en smalare definition av självcitering, e.g. counting first-author self-citations only, 7 med hänvisning till att samarbetsfrekvenserna inom forskningen är så höga att självciteringarna överskattas. Vi har följt den rekommendationen i föreliggande rapport. Antal publikationer (P) Antal publikationer registrerade i Thomson/ISI-databasen. Citeringar per publikation (CPP) Antalet genomsnittliga citeringar per publikation Fältnormaliserad citeringsgrad () Antalet genomsnittliga citeringar per publikation normaliserat i förhållande till världsgenomsnittet för aktuella tidskriftsklasser (Thomson/ISI:s subject category ). Standard Citation Score (SCSf) Antalet genomsnittliga citeringar per publikation normaliserat i förhållande till världsgenomsnittet för aktuella tidskriftsklasser med hänsyn taget till standardavvikelsen. Top 5 % Andelen publikationer som citerats lika mycket eller mer än den 95:e percentilen av världsproduktionen i aktuella tidskriftsklasser. Andel självciteringar (Scit) Andel av det totala antalet citeringar som utgör självciteringar. Summan av publikationernas fältnormaliserade citeringsgrad. 5 Denna metod presenterades ursprungligen i Sandström (5). 6 Jfr VR Rapport 3:6, s Aksnes DW (3) A macro study of self-citations, Scientometrics 56():35 46.

7 Ett antal tidskrifter i databasen saknar klassificering. Det finns framförallt ett problem med serials som Thomson sällan har haft möjlighet att klassificera eftersom många av dessa kan innehålla artiklar från flera olika fält beroende av vilken konferens som varit aktuell. Ett exempel är ANNALS OF THE NEW YORK ACADEMY OF SCIENCES som Thomson klassar som Multidisciplinary, men varje nummer (årgång) av denna Serial kan särklassas manuellt. Detta har gjorts med Linköpingsdatabasen för att i möjligaste mån få en rättvisande klassning av artiklar. Detsamma gäller andra Serials särskilt inom Computer Science och Materials Science. Dessa serials har fått klassificering i vår databas. Flera av grupperingarna samarbetar med såväl IFM som ISY och dessa samarbeten kommer med i materialet som effekter på HU-forskarnas artiklar. Vi redovisar således endast HU:s forskare, inte forskare vid teknisk eller annan fakultet (förutom Hälsa och samhälle). Detta kan göras eftersom analysmetodiken utgår från författarfraktionaliserade data. Principen för fraktionalisering är att varje författare tilldelas en andel av artikeln och samarbeten med andra forskare, vid HU eller utanför, påverkar naturligtvis andelen av en artikel och andel av dess citeringsgrad, men metoden gör oss oberoende av med vem eller vilka dessa samarbeten sker. Viktigt är att inte inrangera för många forskare i respektive strategisk satsning. Resultatredovisning för hela perioden I tabell och 3 redovisas de viktigaste indikatorerna. Den första delen av tabellen (rad 5) ger uppgifter för dem som har mottagit medel eller utgör kärnan av forskningsprogrammet. Rad 6 ger motsvarande uppgifter för dem som enligt ansökan ingår i programmet men som inte mottagit särskilda medel (benämns namn_ ). Observera att endast HUforskare ingår. Rad 3 rapporterar uppgifter för de tre referensprogram vilka inte erhöll medel. Observera att i tabellerna och 3 tillämpas ett öppet citeringsfönster.

8 Tabell. Antal publikationer och andra mått per gruppering. Gruppering FullCount Frac First P * Last P AUm IntColl CIRC 3 7, ,5,3 CMIV 59 44, ,9,4 Diabetes 345 7, ,3,3 Hälsa 43 8,3 3 3,4, MiM 7 56, ,8, CIRC_ 439 3, ,8,4 CMIV_ 9 5, ,3,6 Diabetes_ 7 39, ,, Hälsa_ 49 93, ,,4 MiM_ 5 4, 4 3 4,9,3 Arnesson , ,5,4 Magnusson 64 89, ,4,4 Söderkvist 79 67, ,6,3 Totalt , ,,4 Anm: Totalsiffran dubbelräknar[*inklusive enskilda artiklar] Tabell 3 ger de grundläggande citeringsmåtten per gruppering. NCSj är det tidskriftsnormaliserade måttet med, som internationellt medel. Endast MiM-gruppen ligger väl över medel. NJCS (normaliserad tidskriftskvot) ger en indikation om positionen för de tidskrifter gruppen publicerat, hur bra är de i förhållande till fältet i sin helhet? Tabell 3. Citeringsgrad med olika mått per gruppering Gruppering NCSj NJCS SCSf Top 5% Scit Sum CIRC,9,9,9 -,4 7,% 5,8% 64,8 CMIV,96,88 -,4 6,4% 5,6% 39, Diabetes,99,86,79 -,6,7% 5,7% 84, Hälsa,65,84,6 -,,9%,%,9 MiM,7,4,37 5,7% 6,4% 69,4 CIRC_,9,97,94, 9,7% 5,4% 5, CMIV_,4,94,97, 4,% 5,8% 4,6 Diabetes_,7,9,7 -,,% 7,% 7,9 Hälsa_,,98,,6 9,5% 8,9% 93,4 MiM_,6,77,88,5 4,% 8,4%,4 Arnesson,98,,,9 9,3% 5,% 55,5 Magnusson,96,93,88,3 9,6% 4,9% 67, Söderkvist,9,3,99,5 8,% 4,% 66,9 Totalt,97,95,93,3 8,5% 5,6% 94,4

9 ger det sammanvägda måttet i relation till fältet, dvs. det vi bibliometriker brukar benämna crown indicator. MiM är den gupp som har högsta värdena. SCSf är en variant av fältmåttet som försöker ta hänsyn till citeringarnas skevhet och spridning. Avsikten är att öka jämförbarheten mellan områden. Vi ser att det inte förefaller finnas några större problem i detta avseende. Förändringarna är små och få. Top5%-indikatorn ger dock en klar fördel för Diabetesgruppen. Dessa har således en förhållandevis stor andel artiklar i toppskiktet, men också en stor produktion som inte märks på samma sätt. Scit är självciteringar och där förefaller den lilla produktionen från Hälsogruppen ha en högre frekvens referenser till egna arbeten. Resultatredovisning över tid I 7 års rapport redovisades utvecklingen över tid med ett öppet citeringsfönster. Denna metod är inte helt adekvat om man vill ha ett stabilt mått över förändringar över tid. Det är mer ändamålsenligt att i så fall arbeta med ett avgränsat citeringsfönster, t ex ett -årigt. I nedanstående figur visas utvecklingen för de personer som haft medel från den strategiska satsningen (kallas kärngruppen) med ett fast citeringsfönster. Tydligt är att så gott som samtliga satsningar innebär en väsentlig ökning av antalet författarandelar (integer counting). Detta kan förklaras med att det mesta av resurserna har gått till doktorander och eftersom handledarna medverkar så ökar produktionen. Här syns tydligt att MiM-gruppen gör successivt bättre resultat såväl i antal papers (författarandelar) som i fältnormaliserad citeringsgrad. I figur 3 visas samma sak men för alla HU-forskare som ingick i ansökan. I denna visas även våra referensansökningar. I det fallet kan sägas att resultaten än så länge inte ger något tydligt övergripande positivt resultat från satsningen. Ökat antal författarandelar ser ut att medföra sjunkande citeringsgrad. Den starka fokuseringen på doktorandarbeten kan möjligen förklara det lägre citeringsutfallet. Det klart lysande undantaget är MiM-gruppen.

10 Figur. Papers (antal författarandelar) och fältnormaliserad citeringsgrad () för kärnguppen. 4, 35, 3, 5,, 5,, 5,, ,4,,,8,6,4,, 3, 5,, 5,, 5,, ,4,,,8,6,4,, CIRC IC CMIV IC 3, 5,,4,, 8,,4,, 5,, 5,,,8,6,4, 6, 4,,,,8,6,4,,,,, MiM IC HÄLSA IC 7, 6, 5, 4, 3,,,, ,4,,,8,6,4,, Diabetes IC Anm: Glidande treårsmedelvärden. (t.ex. inkluderar )

11 Figur 3. Papers (antal författarandelar) samt fältnormaliserad citeringsgrad för samtliga HU-forskare per gruppering (glidande) ,5 4, CIRC IC Diabetes IC Peterson IC, Söderkvist IC, ,5, MiM IC CMIV IC , ,5 Magnusson IC Hälsa IC