Bibliometri i MER14 - hur, vad, varför? 1 Per Nyström, bibliotekarie per.nystrom@mdh.se Viktor Öman, bibliotekarie viktor.oman@mdh.se
Innehåll Bakgrund... 3 Vad kan mätas med bibliometri?... 3 MER14... 3 Rekommenderade indikatorer & källor... 4 Förslag 1... 4 Metaindikatorer: täckningsgrad... 4 Indikatorer för produktivitet:... 5 Indikatorer för kvalitet... 5 Indikatorer för samarbeten... 6 Förslag 2... 7 Förslag 1 och 2 en jämförelse... 7 Bilaga 1: Källor... 9 DiVA... 9 WoS och CWTS/KI... 10 Norska modellen/norska listan... 11 Övriga källor: Scopus och Google Scholar... 12 Bilaga 2: Hur väl täcker Web of Science och norska listan MDH:s publikationer?... 13 Absolut täckning... 13 Relativ täckning... 14 Vad betyder en låg täckning?... 15 Bilaga 3: Publikationsslag och innehållstyper i DiVA & WoS... 18 DiVA... 18 WoS... 19 Bilaga 4: Viktning av publikationsslag... 20 Referenser... 21 2
Bakgrund I den här texten går vi först helt kort igenom vad, vilka dimensioner, av vetenskaplig produktion som man kan mäta med bibliometri. Denna genomgång med diskussionerna i Bilaga 1 & 2 utmynnar i två förslag på hur den bibliometriska analysen i MER14 ska se ut, ett huvudförslag och ett alternativt. Bilaga 1 innehåller en allmän diskussion om vilka olika datakällor som kan användas för att försöka fånga dessa dimensioner, om vilka aspekter som är möjliga att uttala sig baserat på vilken datakälla och om vilka problem det finns med källornas datakvalitet. Bilaga 2 innehåller den pilotstudie som vi genomfört för att uppskatta MDH:s täckning i dessa källor. Bilaga 3 innehåller förslag på vilka publikationsslag som undersökningen ska omfatta. Bilaga 4, slutligen, innehåller ett förslag på hur olika publikationsslag ska viktas i undersökningen. Vad kan mätas med bibliometri? Bibliometri är en statistisk metod som används för att mäta exempelvis forskningsprestationer utifrån de publikationer som en enhet avsätter. Nedan har vi listat de dimensioner av vetenskaplig prestation som den bibliometriska analysen i MER14 kan bidra till att belysa: 1. Produktivitet. "Hur flitiga har forskarna varit?" Kan mätas med absoluta mått (antal publikationer per enhet) eller olika former av normerade mått (t.ex. genomsnittligt antal publikationer per författare i enheten). 2. Kvalitet. "Vilken akademisk kvalitet håller forskningen?" Kvalitet är lika svårmätt som svårdefinierat; istället tar man ofta sikte på något som (i alla fall i utvärderingssammanhang) kanske mer är att betrakta som surrogat för att kvalitetsmått: a. Genomslag. Mäts vanligen genom citeringar. En citering innebär att en forskare tycker att en viss publikation är viktig nog att omnämna, något som dock inte nödvändigtvis innebär detsamma som att hen anser att publikationen håller hög kvalitet. b. Prestige. Man tittar på hur framstående de kanaler forskarna publicerar i är. För tidskrifter kan man se till genomsnittligt genomslag (journal impact) för de titlar där en enhet publiceras sig. En annan variant är den så kallade "norska modellen", där anseende hos publikationsserier och förlag bestäms genom en kollegial konsensusprocess. 3. Samarbete. "I vilken utsträckning och med vem samarbetar forskarna?" Mäts genom angivna medförfattare och i förekommande fall genom upplysningar om organisationstillhörighet. MER14 Det övergripande syftet med MER14 är att utvärdera högskolans forskning för att därigenom identifiera tänkbara styrkeområden inför kommande strategiperioder. Undersökningen kommer därför att ha en framåtblickande karaktär. Därför kommer enbart forskare anställda vid MDH vid årsskiftet 2013/14 att medräknas. Genom undersökningens framåtriktade karaktär kommer forskarnas hela produktion under den tidsrymd som undersökningen omfattar att tas med i beräkningen, även sådan som utförts vid andra lärosäten än MDH. Genom att den aktuella forskargruppens tidigare prestationer kartläggs kan den bibliometriska studien inom MER14, utifrån dessa dimensioner, hjälpa till att förutse dess framtida. Utifrån dessa forskares aktuella organisatoriska hemvist på MDH kan de bibliometriska indikatorerna på så sätt förhoppningsvis bidra till att tänkbara styrkeområden identifieras. 3
Man bör dock hålla i åtanke att de flesta bibliometriska analyser, i synnerhet de som är av utvärderande karaktär, främst är inriktade på att mäta något man kanske kan kalla för inomvetenskaplig prestation, hur väl den undersökte enheten presterat ur en rent akademisk synvinkel. Det innebär att andra viktiga aspekter av en forskargärning, som till exempel forskningens samhällspåverkan, för det mesta faller utanför ramen för analysen. Rekommenderade indikatorer & källor I korthet kan diskussionen i Bilaga 1 & 2 sammanfattas så här: DiVA har överlägset bäst täckning men saknar citeringsdata och lider av bristande datakvalitet som måste åtgärdas. Med bearbetad WoS citeringsdata från CWTS/KI kan man jämföra kvalitet/genomslag över ämnen men databasens täckningsgrad varierar väldigt för olika ämnen och kan befaras vara oacceptabelt låg för vissa av MDH:s inriktningar. Norska listan erbjuder ett alternativt mått på kvalitet som baserar sig på publikationskanalernas skattade prestige. Listan har dessutom överlag bättre täckning än WoS. Alternativa citeringsdatabaser kan möjligen ha något bättre täckning än WoS men tillåter inga mer sofistikerade beräkningar. Baserat på dessa förutsättningar presenterar vi här två förslag på vilka indikatorer som ska användas för att mäta de olika dimensionerna, och vilka datakällor vi anser att man ska basera mätningen på. Förslag 1 är det vi förordar, och förslag 2 är det alternativ vi föreslår om förslag 1 förkastas i sin helhet. I slutet av det här avsnittet, under rubriken Förslag 1 och 2- en jämförelse, har vi även lagt in en tabell som på ett mer överskådligt sätt visar vilka indikatorer och datakällor de båda förslagen innebär. Förslag 1 Vårt första förslag följer en slags smörgåsbordsprincip: Vi har valt ut de i vårt tycke mest relevanta indikatorerna, baserade på data från såväl DiVA som bearbetad WoS-data från CWTS/KI och norska listan. I praktiken kommer detta att innebära att en kombination mellan en in-house -analys och antingen en beställd undersökning från CWTS i Leiden eller en som baseras på beställda data från KI 1. Inbyggt i detta förslag är dock medvetenheten om de två stora problem som det innebär: det arbete som fordras för att komplettera och kvalitetssäkra DiVA samt den dåliga täckning av WoS-data som för några av inriktningarna gör denna källa mycket osäker. Metaindikatorer: täckningsgrad Eftersom täckningsgraden är relativt låg både i WoS och norska listan även för en del av de andra inriktningarna, föreslår vi att presentationen av utfallet för varje enhet inleds med tabeller där de 1 Vi har för dåligt insyn i frågan om CWTS:s och KI:s respektive databaser för att ta ställning till vilken av dessa alternativ som är att föredra. Vårt förslag är därför att kontakta bägge för mer information. 4
olika källornas täckningsgrad uppges. Vi föreslår också att varje indikator tydligt märks upp med vilken källa den baseras på (ungefär såsom vi gjort nedan efter varje förslag på indikator inom parentes). På så sätt blir det lätt för läsaren att själv bilda sig en uppfattning om hur tillförlitliga de olika indikatorerna är. Följande indikatorer föreslås: Täckning i CWTS/KI mot DiVA (PPwos/diva) avser antal publikationer, täckningsgrad (DiVA, CWTS/KI). Täckning i Norska listan mot DiVA (PPn/diva) avser antal publikationer, täckningsgrad (DiVA, norska listan). Indikatorer för produktivitet: För att beräkna respektive forskningsinriktnings produktivitet under perioden förordar vi att som källa använda DiVA rakt igenom, då denna ger den avgjort bästa täckningen. Vi rekommenderar följande indikatorer: Antal publikationer (P) avser antal publikationer per enhet under en viss period (DiVA). Antal publikationer per forskare (P/f) avser enhetens totala produktion dividerat med antalet forskare (DiVA). Antal publikationsandelar per forskare (Pa/f) avser ett mer sofistikerat sätt att mäta produktiviteten där hänsyn tas till medförfattande och den skiftande arbetsinsats som olika publikationsslag kräver: Publikationsandel är ett mått som innebär att varje författare vid samförfattande erhåller 1 dividerat med det hela antalet författare till publikationen, sk. fraktionerad mätning (DiVA). Antal publikationsandelar per forskare, viktat för publikationsslag (vpa/f) är samma indikator som ovan men viktat efter publikationsslag. Detta innebär att olika slags publikationer, beroende på förväntad arbetsinsats, krediteras olika. Exempel på hur viktningen skulle kunna se ut finns i Bilaga 4, tabell 6 (DiVA). Värt att notera här är också att vi inte har möjlighet att fältnormera produktivitetsindikatorerna, alltså ta hänsyn till att den förväntade arbetsinsatsen för att producera en publikation kan skilja sig åt mellan olika ämnen. En modell för sådana beräkningar finns visserligen inbakad i den svenska modellen för fördelning av statliga forskningsmedel, men den gäller WoS-data och lär dessutom vara så komplicerad att inte ens VR lyckats återskapa den. Indikatorer för kvalitet Vi rekommenderar att kvalitet beräknas på två sätt, dels genom en enhets direkta genomslag utifrån det antal citeringar som dess publikationer erhållit, dels genom prestigen och genomslaget hos de kanaler i vilka enheten publicerar sig. 5
Genomslag För att beräkna genomslag på ett sätt som gör det möjligt att jämföra mellan ämnesområden krävs bearbetad WoS-data från CWTS eller KI, något som alltså innebär att beräkningen grundas på enbart en (ibland ganska liten) del av den hela produktionen. Trots att detta rekommenderar vi ändå att indikatorer för genomslag skall beaktas i MER14 då genomslag är ett talande mått som de flesta bibliometriska undersökningar använder sig av. Genomslag förordar vi att mäts på två sätt: Genomsnittlig normalciteringsgrad (MNCS) avser citeringsdata som normeras efter den genomsnittliga (förväntade) citeringsgraden inom varje fält som sätts till 1. Om enhetens erhållna citeringar överskrider 1 ligger den alltså över världsgenomsnittet, om den ligger under förhåller det sig tvärt om (CWTS/KI). Andel publikationer som tillhör de 20% mest citerade (PPtop20%) avser den andel av enhetens forskning som tillhör de. ex 5, 10 eller 20 %, mest citerade inom sitt fält (CWTS/KI). Prestige Prestige beräknas dels genom publikationernas genomsnittliga normalciteringsgrad, dels genom andelen publikationer i nivå 2 i Norska modellen : Mean normalized journal score (MNJS) avser den fältnormerade citeringsgraden på de tidskrifter där enheten publicerar. Om måttet är högre än 1 publicerar enheten i genomsnitt i tidskrifter som har ett högre, fältnormerat, genomslag än genomsnittet (CWTS/KI). Andel nivå 2 (PPn2) avser andel publikationer i nivå 2 i den Norska listan. Eftersom denna nivå ska omfatta 20% av de publikationer som ges ut, indikerar ett högre procentandel än 20% mer prestigefull publicering (Norska listan). Indikatorer för samarbeten I teorin skulle DiVA kunna användas som källa för samtliga samarbetsindikatorer. Emellertid saknas uppgifter om medförfattares organisationstillhörighet i så hög utsträckning att vi i nuläget bedömer det mer realistiskt att enbart använda denna källa för att mäta graden av samförfattande. Uppgifter om samförfattande med andra organisationer och länder baseras i vårt förslag därför istället på bearbetad WoS-data från CWTS/KI. Andelen publikationer med delat författarskap (PP collab) avser andelen publikationer som forskare har skrivit tillsammans med andra forskare (DIVA). Andelen publikationer med delat författarskap mellan organisationer (PP org collab) avser andelen publikationer där andra organisationer än MDH förekommer i adressfälten. (CWTS/KI). Andelen publikationer med delat författarskap mellan länder (PP int collab) avser andelen publikationer där andra länder än MDH förekommer i adressfälten, med andra ord den mätta enhetens internationella samarbeten (CWTS/KI). Här har vi alltså genomgående valt att titta på andelen publikationer som tillkommit genom någon form av samarbete. En annan möjlighet är att titta på genomsnitt, t.ex. genomsnittligt antal 6
organisationer per publikation. Vi har dock undvikit den typen av mått eftersom det blir väldigt känsligt för enstaka artiklar med stort antal författare. Visualiseringar Enheternas samarbetsrelationer med andra organisationer och andra länder är dessutom möjliga att presentera grafiskt genom att använda programmet VOS-viewer från CWTS. Här kan vi använda oss av hela WoS, alltså inkludera även konferensdelarna. Förslag 2 Förslag 2 innebär att enbart WoS-data används, och att CWTS i Leiden ombeds stå för hela analysen. Fördelen med detta är att det stora arbetet med kompletterande DiVA-registrering och -översyn inte behöver genomföras. Det skulle dock ändå krävas att de forskare som inte har sin fullständiga produktion registrerad i DiVA lämnar in kompletterande publikationslistor, något som även det kan kräva en del arbete enligt vad lärosätesutvärderingar visat. En annan sak som talar för en renodlad WoS-undersökning är att förfarandet skulle stämma överens med hur svensk forskning för närvarande utvärderas vid statlig medelsfördelning. Eftersom förslag 2 innebär att CWTS får ansvaret för hela analysen är det förstås också rimligt att vara lyhörda för vilka indikatorer de anser vara lämpliga att ta med i undersökningen. Utgångspunkten bör dock vara att i princip titta på i stort sett samma saker som i förslag 1, men att ersätta DiVA-baserad data med WoS-baserad data. Den stora nackdelen med att bara se till WoS-publiklationer är emellertid att stora delar av enheternas produktion inte kommer att belysas. I vissa fall skulle analysen baseras på så få publikationer eller en så liten andel av den sammanlagda produktionen att risken är stor för att data blir missvisande, se resonemangen i Bilaga 1 & 2. Förslag 1 och 2 en jämförelse Förslag 1 respektive 2 skulle innebära att följande indikatorer och datakällor används: Tabell 1: Indikatorer och källor, förslag 1 & 2 Indikator Mätt dimension Datakälla, förslag 1 Datakälla, förslag 2 (PPwos/diva) Täckning i CWTS/KI mot DiVA Källornas täckning DiVA, CWTS/KI DiVA, CWTS (PPn/diva) Täckning i Norska listan mot DiVA Källornas täckning DiVA, Utgår norska listan (P) Antal publikationer Produktivitet DiVA CWTS (P/f) Antal publikationer per forskare Produktivitet DiVA CWTS (Pa/f) Antal publikationsandelar per forskare Produktivitet DiVA CWTS (vpa/f) Antal publikationsandelar per forskare, Produktivitet DiVA Utgår viktat för publikationsslag (MNCS) Genomsnittlig normalciteringsgrad Kvalitet, genomslag CWTS/KI CWTS (PPtop20%) Andel publikationer som tillhör de 20% mest citerade Kvalitet, genomslag CWTS/KI CWTS 7
(MNJS) Mean normalized journal score Kvalitet, prestige CWTS/KI CWTS (PPn2) Andel publikationer i Norska listan nivå 2 Kvalitet, prestige Norska Utgår listan (PP collab) Andelen publikationer med delat Samarbeten DiVA CWTS författarskap (PP org collab) Andelen publikationer med delat Samarbeten CWTS/KI CWTS författarskap mellan organisationer (PP int collab) Andelen publikationer med delat författarskap mellan länder Samarbeten CWTS/KI CWTS 8
Bilaga 1: Källor Hur väl man lyckas fånga de ovan listade dimensionerna beror till stor del på vilket underlag man har. Här följer en kort genomgång av de vanligaste källorna för bibliometriska undersökningar och deras respektive möjligheter och begränsningar. DiVA I MDH:s lokala del av publiceringsdatabasen DiVA (nedan bara DiVA ) finns, eller ska finnas, uppgifter om samtliga publikationer som författare publicerat i egenskap av MDH-anställd. Detta gör den till en lämplig källa för att mäta produktivitet. Däremot saknas uppgifter om citeringar i DiVA, något som gör att den inte kan användas till att mäta genomslag. I kombination med norska listan (se nedan) kan man dock ta fram ett mått på hur prestigefulla de kanaler forskarna publicerar sig i anses vara. Uppgifter om organisationstillhörighet för medförfattare saknas för det mesta, varför det skulle kräva stort arbete att mäta den aspekten av samarbete baserat på DiVA-data (men att ta fram uppgifter om t.ex. graden av samförfattande går däremot bra). Att DiVA innehåller alla MDH-publikationer skulle kunna anses ha en baksida: Om man bara vill mäta just vetenskaplig prestation kan icke-vetenskapliga publikationer betraktas som brus. Man kan alltså fundera på om hela DiVA lämpar sig för den här typen av analyser, eller om vissa slag av publikationer bör uteslutas (se Bilaga 3). Den stora svårigheten med att använda DiVA vid en bibliometrisk utvärdering är annars att publikationerna inte primärt registrerats för det syftet utan för att synliggöra MDH:s forskning, vilket gör att uppgifterna många gånger är bristfälliga. Framför allt är avsaknaden av unika författaridentifikatorer ett stort problem. En bibliometrisk undersökning skulle väsentligt underlättas om varje författare skaffade sig ett ORCID-id och att varje bibliografisk post kompletterades med detta. För att DiVA ska kunna användas i MER14 krävs dessutom att samtliga forskare registrerar hela sin produktion för given period, alltså även sådant de publicerat som anställda vid andra lärosäten eller organisationer. Minimikravet för att vi ska kunna göra en analys baserad på DiVA-data är att databasens aktuella innehåll kompletteras. För att analysen ska bli tillförlitlig måste data även kvalitetssäkras. Man behöver även ta ställning till om analysen ska gälla hela DiVA eller om vissa sorters publikationer ska uteslutas (för diskussion och förslag angående publikationsslag se bilaga 3). Vår bedömning är alltså att det skulle krävas ett omfattande arbete för att få tillräcklig fason på DiVAdatat för att den ska kunna ligga till grund för en tillförlitlig bibliometrisk analys. Biblioteket kan naturligtvis vara behjälplig i den processen, men det yttersta ansvaret bör ligga på forskningsinriktningarna själva. Det kompletterande registreringsarbetet är till stor del rutinmässigt, och vi tror att det skulle kunna vara både tidsbesparande och positivt för datakvalitén om en amanuens engagerades för detta (även om forskarna förstås ändå måste utföra en del av arbetet själva). Ett heltäckande, väldordnat DiVA med unika författarindikatorer skulle även förenkla och förbättra framtida bibliometriska analyser, vilket kan vara till nytta för forskningsinriktningarna i det egna arbetet med utvärdering och marknadsföring. 9
WoS och CWTS/KI Web of science (WoS) är en ämnesövergripande databas som indexerar främst engelskspråkiga tidskrifter och konferensrapporter (proceedings) som anses utgöra kärnan inom sina respektive områden. Det är den databas som kommit att bli standardkälla för bibliometriska undersökningar som mäter genomslag, eftersom den även indexerar de citeringar publikationerna erhåller (från andra publikationer i databasen). Enklare normerade mått på genomslag, som antal citeringar per forskare, går att ta fram direkt ur WoS. Mer sofistikerade beräkningar som tar hänsyn till faktorer som ämnesområde, artikeltyp och artikelns ålder kräver dock att man även har tillgång till jämförelsedata. CWTS i Leiden tillhandahåller analyser baserad på sådana s.k. fältnormerad data, som dessutom tvättats genom att exempelvis namnformer har homogeniserats. Även Karolinska Institutet har en liknande databas. Varken CWTS:s eller KI:s databas innehåller konferensdelarna av WoS, utan de innehåller endast uppgifter om tidskriftsartiklar inom naturvetenskap (science), samhällsvetenskap och humaniora. Den begränsade täckningen är det stora bekymret med WoS. Inom många ämnesområden utgör både bok- och konferenspublicering en betydelsefull del av den vetenskapliga produktionen.. Vetenskapsrådet har jämfört innehållet i den nationella forskningsdatabasen i Norge med innehållet i WoS och kommit fram till att WoS täcker olika ämnen olika väl (Vetenskapsrådet, 2009, s. 7): Diagram 1: WoS-täckning för olika ämnesområden (Norge) 10
Det stora problemet med att använda WoS-data är alltså den dåliga täckningsgraden. En i bibliometriska sammanhang vanlig tumregel för minimimängd är p>50 (Lehmann, Jackson, & Lautrup, 2008, s. 384). Detta innebär att analyser på forskningsmiljönivå är endast meningsfulla om dessa mindre enheter kommer över 50 stycken publikationer i CWTS:s eller KI:s databaser. Därför föreslår vi att man för IPR:s del utesluter de indikatorer som baseras på bearbetad WoS-data från CWTS/KI, såvida det inte skulle visa sig att man kan hitta betydligt fler än de 14 WoS-publikationer vi identifierade i vår kartläggning (se Bilaga 2, Tabell 2). Man bör även fundera över vilket värde WoSbaserade indikatorer egentligen har för IS om de inte baseras på mer än ca 5% av inriktningens totala produktion. En strikt tillämpning på CWTS rekommendation på en täckningsgrad om minst 40%, under vilken man förordar no citation analysis at all (CWTS, 2007, s. 53), skulle dock innebära att enbart data rörande HV betraktas (se Bilaga 2, Tabell 3). Även för WoS måste ett beslut tas om vilka publikationsslag som är aktuella att titta på (se Bilaga 3). Eftersom antalet publikationer för vissa inriktningar i vår skattning visat sig vara väldigt lågt bör man även överväga att utöka det tidsspann man tittar på, så att det omfattar minst fem år. En utvärdering som enbart ser till åren 2009-2013 skulle bara kunna räkna citeringar till publikationer från 2012 och bakåt. Vårt förslag är därför att även räkna med år 2008 vid en eventuell citeringsanalys. Indikatorer/analyser baserade på WoS riskerar alltså att bli intetsägande eller i värsta fall missvisande för vissa forskningsinriktningar. Samtidigt är det den enda databas där genomslag för publikationer och tidskrifter kan mätas på ett sätt som möjliggör jämförelser mellan olika ämnesområden. I nuläget är WoS också den bästa källan för samarbetsindikatorer. Detta gör att vi trots allt rekommenderar att WoS-data används för MER14. Norska modellen/norska listan En alternativ bibliometrisk utvärderingsmodell används för fördelning av statliga forskningsanslag i Norge (vanligen kallad norska modellen ). Denna modell baseras på ett register ( norska listan ) över de publikationskanaler (tidskrifter, konferensserier, bokförlag, webbsidor) som ger utdelning i modellen. För att en publikationskanal ska upptas på listan krävs att den uppfyller modellens krav på vetenskaplighet, bl.a. att man använder sig av peer review samt att inte har en utgivning som koncentrerar sig till författare från en och samma organisation. De kanaler som av norska ämnesråd bedömts utgöra de mest framstående inom sitt område placeras i en egen kategori, nivå 2, som ger högre utdelning. Utgivare på nivå 2 ska stå för ungefär en femtedel av alla publikationer inom området. Modellen presenteras närmare i rapporten Vekt på forskning (Universitets- og høgskolerådet, 2004). I kombination med DiVA kan norska listan användas för att ge ett mått på hur prestigefulla de kanaler MDH:s forskare publicerar i anses vara. Fördelen med norska listan jämfört med WoS är att även svenska publikationer, böcker och bokkapitel och i viss mån även konferenspublicering blir medräknade. Den skattade täckningen blir högre för samtliga inriktningar, även om den är långt ifrån heltäckande. Störst blir skillnaden för INAS och UV. Den norska modellen innehåller också en viktning av publikationsslag som kan vara vägledande om man vill ta fram en produktivitetsindikator som tar hänsyn till att vissa typer av publikationer förmodligen är mer arbetskrävande att producera än andra. 11
Till nackdelarna med analyser enligt den norska listan hör att uppdelningen i normala och prestigefulla publiceringskanaler kan upplevas som grovhuggen. Det är också viktigt att vara medveten om att den norska modellen även innehåller krav på den enskilda publikationen (den ska bland annat presentere ny innsikt" (Universitets- og høgskolerådet, 2004 s. 17)) som är svåra att applicera på DiVA-data eftersom publikationerna inte registrerats med de norska definitionerna av vetenskaplighet i åtanke. Inriktningarnas täckning i norska listan är genomgående bättre än i WoS men tangerar i ett fall (MERO) p>50 och överskrider enbart i ett fall den av CWTS rekommenderade täckningen på 40% (se Bilaga 2). Övriga källor: Scopus och Google Scholar Scopus är den främsta konkurrenten till WoS på citeringsdatabasmarknaden. Generellt brukar den sägas ha bättre täckning än WoS framför allt beträffande teknikområdet. Avsaknaden av jämförelsedata gör dock att vi i Scopus, till skillnad från i CWTS:s och KI:s WoS-baserade databaser, bara kan få fram ganska grova, icke-normaliserade mått på genomslag. Google Scholar är den akademiska varianten av Google som innehåller citeringsdata för såväl tidskrifter och konferensrapporter som för böcker, vilket gör det till en av få källor för dem som vill titta på genomslag för flera olika dokumenttyper. Den låga datakvalitén och den bristande öppenheten kring databasens kriterier för vad som inkluderas gör dock att man normalt undviker Google Scholar i bibliometriska utvärderingar. 12
Bilaga 2: Hur väl täcker Web of Science och norska listan MDH:s publikationer? I följande kartläggning har vi försökt att uppskatta hur stort antal och hur stor procentandel av de olika forskningsinriktningarnas publikationer som skulle medräknas med vid en bibliometrisk analys baserad på bearbetad WoS-data från CWTS/KI respektive den så kallade norska modellen. Skattningen baseras på publikationsdata ur DiVA för åren 2008-2012, som vi matchat mot den personallista UFO använt för att beräkna medelsfördelning till de olika forskningsinriktningarna. I WoS har vi enbart sett till de delar som CWTS och KI använder till sina databaser; vi har alltså inte tittat på konferensdelarna. Den källa som vi hänvisar till som WoS i den här kartläggningen motsvarar i stort sett den källa vi kallar för CWTS/KI ovan. Kartläggningen visar, i stort sett, vad själva inriktningarna åstadkommit, inte hur de forskare som nu är knutna till inriktningen publicerat. Trots det anser vi att detta är bästa möjliga skattningsunderlag, i brist på fullständiga publikationslistor från nuvarande forskare. Man bör alltså hålla i åtanke att de siffror som presenteras här kan väntas överensstämma med de data som kommer att ligga till grund för MER14 bara i den mån publiceringsaktiviteten hos tillkomna forskare kan antas vara likvärdig med bortfallna forskares. En annan potentiell felkälla i materialet är bristen på unika identifikatorer, både för författarna och för publikationerna vid utsökning i WoS. Vi har till stor del fått förlita oss på textsträngar (namn, titlar o.s.v.), vilket alltid innebär en viss risk för att publikationer har medräknats med fast de inte borde, och en betydligt större risk för att publikationer inte har räknas med fast de borde. I DiVA-underlaget har vi över 300 publikationer där minst en av författarnas inriktningstillhörighet var okänd. I ungefär hälften av dessa fall kunde ingen av författarna knytas till någon inriktning. För WoS är det knappa 100 publikationer med minst en författare av okänd tillhörighet, och av dessa var 35 publikationer helt herrelösa. En fristående sökning på olika varianter av Mälardalens högskola tyder också på att det kan finnas ett i det här sammanhanget inte helt obetydligt antal publikationer som helt enkelt inte registrerats i DiVA och därför inte räknas med här. På det hela taget bör alltså siffrorna nedan tolkas som en försiktig uppskattning. Alla publikationsslag har räknats med; det bör diskuteras om så ska göras även framöver. En publikation har tillräknats en forskningsinriktning om minst en person från denna inriktning står med som författare till den. Publikationer där personer från fler än en forskningsinriktning samarbetet har alltså räknats mer än en gång. Absolut täckning För att den bibliometriska analysen ska bli stabil krävs att den baseras på ett tillräckligt stort antal publikationer. 50 brukar anges som minimigräns, men helst bör betydligt fler publikationer än så ingå. För en forskningsinriktning där en enskild publikation utgör uppemot 2% av den totala publikationsmängden kan det få stora konsekvenser för utfallet om bara någon enstaka publikation inte registrerats i DiVA, eller av andra anledningar inte kommer med i analysen. Ju färre publikationer desto viktigare blir alltså arbetet med att se till att uppgifterna i DiVA är korrekta och heltäckande! Baserat på nuvarande DiVA-data för 2008-2012 ser siffrorna ut på följande sätt: 13
Tabell 2: Antal publikationer i DiVA, WoS och norska listan DiVA, samtliga publikationer DiVA, vetenskapliga publikationer WoS Norska listan HV 449 418 183 231 INAS 423 393 66 133 IPR 296 288 14 51 IS 971 963 57 146 MERO 407 395 141 152 UV 539 465 91 168 Samtliga 3085 2922 552 881 IPR har betydligt färre än 50 publikationer i WoS, och ligger på gränsen även om man använder den mer inkluderande norska modellen. INAS och IS har inte heller någon större marginal till 50-strecket i WoS. Notera att dessa siffror gäller en femårsperiod, 2008-2012. En analys av citeringar i WoS kan dock inte innefatta publikationer från året innan, eftersom man måste räkna med en viss fördröjning innan publikationerna indexeras i databasen, och förstås en ännu längre fördröjning innan citerande publikationer publiceras och indexeras. Relativ täckning En annan indikator på hur pass värdefull information de olika anlysmetoderna kan ge är hur stor andel av publikationerna de inkluderar. Här har vi tittat på täckningsgrad dels mot hela DiVA, dels mot de DiVA-publikationer som kategoriserats som vetenskapliga (för en kort diskussion om denna kategorisering, se bilaga 3). Täckningsgraden varierar ganska kraftigt mellan de olika inriktningarna: Tabell 3: Täckningsgrad i WoS och norska listan efter inriktning Täckning WoS, samtliga publikationer Täckning WoS, vetenskapliga publikationer Täckning norska listan, samtliga publikationer Täckning norska listan, vetenskapliga publikationer HV 40,8% 43,8% 51,4% 55,3% INAS 15,6% 16,8% 31,4% 33,8% IPR 4,7% 4,9% 17,2% 17,7% IS 5,9% 5,9% 15,0% 15,2% MERO 34,6% 35,7% 37,3% 38,5% UV 16,9% 19,6% 31,2% 36,1% Samtliga 17,9% 18,9% 28,6% 30,2% 14
Diagram 2: Täckningsgrad i WoS och norska listan efter inriktning 60,0% 50,0% 40,0% 30,0% 20,0% Täckning WoS, vetenskapliga publikationer Täckning norska listan, vetenskapliga publikationer 10,0% 0,0% HV INAS IPR IS MERO UV För framför IPR och IS är det en förhållandevis liten andel av den vetenskapliga produktionen som faktiskt hamnar under lupp vid analys av norsk modell, och en förvinnande liten andel vid citeringsanalys i WoS. För MERO är täckningen fullt godtagbar både i WoS och norska listan, medan det för både INAS och UV ser betydligt bättre ut i norska listan. HS har god täckning i såväl WoS som norska listan, men man får hålla i åtanke att deras siffror skulle kunna dölja inbördes olikheter i täckningsgrad eftersom inriktningen innefattar såväl de i dessa sammanhang tacksamma områden som vård och medicin som mindre bibliometrivänliga samhällsvetenskapliga ämnen. Vad betyder en låg täckning? Varken WoS eller norska listan är menade att vara heltäckande, i bägge fallen finns det kvalitetsbetonade kriterier för vad som inkluderas. Att en forskningsinriktning har låg täckningsgrad i någon av dessa källor kan alltså delvis bero på att man i hög grad publicerar i kanaler som inte uppfyller dessa kriterier. Exempelvis är det inte ovanligt att MDH-forskare publicerar i högskolans egna publikationsserier, något som inte ger utdelning i norska modellen eftersom man inte vill premiera publicering i lokala kanaler. En annan, mer bekymmersam förklaring till den dåliga täckningen av vissa ämnen i WoS är att denna i första hand är en tidskriftdatabas medan en stor del av vetenskaplig produktion publiceras även i andra kanaler. Av de olika dokumenttyper som WoS skiljer mellan utgörs 64 % av artiklar, 11 % av meeting abstract, 7 % av bok recensioner samt 4 % av brev (Kronman, Gunnarsson, & Karlsson, 2010, s. 23). Diagrammet nedan visar fördelningen mellan publikationsslag hos publikationerna i DiVA 2008-2012: 15
Diagram 3: Publikationsslag i DiVA 2% 2% 1% Publikationsslag Konferensbidrag Artikel i tidskrift 12% 6% 5% 41% Kapitel i bok, del av antologi Rapport Andra publikationsslag 31% Licentiatavhandling, sammanläggning Bok Doktorsavhandling, sammanläggning Bryter man ner detta på de olika inriktningarna ser man dessutom att mönstren också skiljer mycket mellan dessa: Diagram 4: Publikationsslag i DiVA efter inriktning 1200 Konferensbidrag 1000 Artikel i tidskrift 800 600 400 200 0 HV INAS IPR IS MERO UV Kapitel i bok, del av antologi Rapport Andra publikationsslag Licentiatavhandling, sammanläggning Bok Doktorsavhandling, sammanläggning Här ser man t.ex. att IS; den inriktning som har den största produktionen och den sämsta procentuella täckningen i såväl WoS som i norska listan, till största del publicerar i konferenser en 16
publikationsform som är viktig för teknikämnena men som alltså inte täcks av de WoS-delar som CWTS/KI använder. Även vad gäller norska listan är konferensrapporterna något av ett sorgebarn, inte minst som man i Norge enbart räknar med de konferenser som utges i serier. HV, inriktningen med bästa WoS-täckningen, har å andra sidan en i högre grad artikelinriktad produktion. 17
Bilaga 3: Publikationsslag och innehållstyper i DiVA & WoS Såväl DiVA som WoS innehåller publikationer av en rad olika slag. En fråga som varje bibliometrisk undersökning därför måste ställa sig är vilka av dessa som skall tas med. DiVA Listan nedan innehåller samtliga publikationsslag i DiVA. Vi föreslår att man, enligt gängse praxis, utesluter publikationer som antingen är opublicerade eller där MDH-anställd inte bidragit som författare (rödmarkerade). Tabell 4: Publikationsslag i DiVA Artikel i tidskrift Artikel, forskningöversikt Artikel, recension Bok Doktorsavhandling, monografi Doktorsavhandling, sammanläggning Kapitel i bok, del av antologi Konferensbidrag Licentiatavhandling, monografi Licentiatavhandling, sammanläggning Manuskript Manuskript (preprint) Proceedings (redaktörskap) Rapport Samlingsverk (redaktörskap) Övrigt I DiVA anges även vilken typ av innehåll en publikation har. Varken citeringsanalyser baserade på WoS eller analyser enligt norska modellen gör anspråk på att mäta något annat än vetenskaplig publiceringsaktivitet. I princip vore det därför rimligt att för MER 14 bara titta på de publikationer där författaren angett att publikationens innehåll är just vetenskapligt, d.v.s. publikationer som lagt in i någon av kategorierna Refereegranskat och Övrigt vetenskapligt. I praktiken är dock detta problematiskt, dels eftersom DiVA saknar en definition av vad de här kategorierna egentligen betyder, dels eftersom publikationer från databasen MRTC överförs med Refereegranskat som defaultinställning. Vi föreslår ändå att publikationer med innehåll Övrigt utesluts, men bara under förutsättning att kategoriseringen ses över under hösten, särskilt för inriktningar som är anslutna till MRTC. Annars anser vi att samtliga innehållstyper bör räknas med. Tabell 5: Innehållstyper i DiVA Refereegranskat Övrigt vetenskapligt Övrig (populärvetenskap, debatt, mm) 18
WoS Då det gäller beräkningar baserade på WoS-data rekommenderar vi att dessa görs enligt gängse CWTS-skick, d.v.s. att enbart beakta typerna article, letter och review. Ett undantag från denna rekommendation är att i de uttag från WoS som ligger till grund för bibliometriska kartor över de olika inriktningarnas sammarbeten (där vi även rekommenderar att proceedingdelarna används) beakta alla publikationsslag. 19
Bilaga 4: Viktning av publikationsslag När man mäter produktivitet i antal publikationer bortser man från att det kan förväntas kräva olika stor arbetsinsats att producera olika publikationsslag. Det är alltså ett ofördelaktigt mått exempelvis för områden som i hög utsträckning publicerar monografier. Såväl den norska modellen som MDH:s interna medelfördelning tar hänsyn till detta genom att vikta olika publikationsslag olika högt. En begränsning med en viktad indikator är att den, till skillnad från övriga föreslagna produktivitetsindikatorer, inte kan läsas "för sig själv", utan den kan bara användas inom ramarna för MER14 för att jämföra de olika inriktningarnas produktivitet. Dessutom går det förstås inte att komma ifrån att viktningen blir mer eller mindre godtycklig. Nedan presenteras såväl MDH:s som den norska modellens viktning av publikationsslag, samt ett exempel på hur en viktning skulle kunna se ut i MER14. X indikerar att publikationstypen inte räknas med. Rödmarkerade publikationsslag är uteslutna från MER14 enligt förslag ovan. Tabell 6: Viktningsmodeller för publikationsslag MDH:s interna medelsfördelning Norska modellen (nivå 1) Artikel i tidskrift 2 1 2 Artikel, forskningöversikt 2 1 2 Artikel, recension 2 X 1 Bok 4 5 4 Doktorsavhandling, monografi X X 4 Doktorsavhandling, sammanläggning X X 1 Kapitel i bok, del av antologi 2 0,7 2 Konferensbidrag 1 1 1 Licentiatavhandling, monografi X X 3 Licentiatavhandling, sammanläggning X X 1 Manuskript X X X Manuskript (preprint) X X X Proceedings (redaktörskap) X X X Rapport X X 2 Samlingsverk (redaktörskap) X X X Övrigt?? 1 Tänkbar viktning för MER14 20
Referenser CWTS. (2007). Scoping study on the use of bibliometric analysis to measure the quality of research in UK higher education institutions. Report to HEFCE by the Leiden group. November 2007. Kronman, U., Gunnarsson, M., & Karlsson, S. (2010). The bibliomtric database at the Swedish Research Council - contents, methods and indicators. Lehmann, S., Jackson, A., & Lautrup, B. (2008). A quantitative analysis of indicators of scientific performance. Scientometrics, 76(2), 369-390. Universitets- og høgskolerådet, (2004). Vekt på forskning. Nytt system for dokumentasjon av vitenskapelig publisering. Instilling fra faglig og teknisk utvalg till UHR.. Oslo: Universitets- og høgskolerådet. Vetenskapsrådet. (2009). Bibliometrisk indikator som underlag för medelsfördelning, from http://www.vr.se/download/18.72e6b52e1211cd0bba8800010145/bibliometrisk_indikator. pdf 21