30 oktober 2007 Version 2.1 MALMÖ HÖGSKOLA 2000-2006/07 RESULTAT FRÅN BIBLIOMETRISKA UNDERSÖKNINGAR DOCENT ULF SANDSTRÖM Denna rapport innehåller tre publiceringsundersökningar med fokus på Malmö högskola: 1) en undersökning av internationella publiceringar i tidskrifter med refereeförfarande. Särskild analys görs av tidskrifts- och fältnormaliserad citeringsgrad, d v s artiklarnas citeringar jämförs med andra artiklar inom samma forskningsfält. 2) en undersökning av antalet publiceringar i nationella kanaler för publicering, svenska tidskrifter, böcker och rapporter (ArtikelSök och Librisdatabasen). 3) en undersökning av hur publiceringarna har uppmärksammats. Metodiken för undersökningarna har lagts i bilaga 1. Den som önskar fördjupa sig i bibliometrisk metod och de särskilda överväganden som ligger bakom undersökningarna hänvisas till denna bilaga. MALMÖ HÖGSKOLA FORSKARE OCH LÄRARE Malmö högskola består av sex områden och har ett tjugotal forskningsmiljöer. Våren 2007 fanns drygt 250 anställda inom personalkategorier med forskningsmöjligheter, dvs. professorer (inkl. befordrade), lektorer, forskare och forskarassistenter. Det är de personalkategorier som ingår i forskningsrådens elektorsförsamlingar. Denna undersökning gör anspråk på att beskriva brain power vid Malmö högskola för de forskare som varit on campus under 2007. Undersökningens syfte är således att beskriva och analysera Malmö högskolas publiceringsverksamhet som den ser ut med dagens personaluppsättning. Analyserna har med nödvändighet ett tillbakablickande perspektiv till följd av ledtider för publiceringar. För att få stabilitet i analyserna krävs material från en relativt lång tidsperiod. Undersökningsperioden har därför avgränsats till åren 2000 2006/07. Personer vid Malmö högskola har bibliometriskt identifierats utifrån namn och adress. I tveksamma fall har uppföljningar gjorts via Internet och telefon. Även om det inte går att utesluta att artiklar som inte borde vara med har införlivats i analysen bedöms det i så fall endast innebära marginella fel.
2 TABELL 1. MAH: FORSKANDE PERSONAL PER OMRÅDE, ANSTÄLLNINGSÅR OCH KÖN område <2000 2000 2001 2002 2003 2004 2005 2006 Totalt Kvinnor Män HS 22 2 2 8 7 5 1 7 54 31 23 IMER 10 4 5 6 6 2 1 1 35 13 22 K 3 9 3 2 2 1 1 18 7 11 LUT 40 5 3 6 6 4 2 9 75 34 41 OD 33 3 2 1 2 41 22 19 TS 22 6 5 3 2 2 3 43 12 31 Totalt 136 23 15 27 23 13 6 23 266 119 147 Personalförteckningen upptar de som hade anställning våren 2007. I tabell 1 kan vi följa hur den undersökta personalen har förändrats över tid med avseende på nyrekryteringar. Under åren 2002 2003 sker en ökning liksom under 2006. Detta gör att vi kan förvänta ett ökat antal artiklar under perioden. Tydligt är att det finns markanta skillnader mellan enheterna vid Malmö högskola. Medan OD, som från början var en etablerad verksamhet och alltså inte nyrekryterat i samma utsträckning, har andra enheter mellan 50 och 70 procent ny forskande personal. INDIKATORER PÅ FORSKNINGENS KVALITET Synlighet i internationella vetenskapliga tidskrifter är ett vanligt mått på forskningens kvalitet. Databasen Web of Science kan utnyttjas för citeringsanalys med metoder som gör att ämnen ställs på likvärdig basis förutsatt att deras publiceringskultur innefattar internationella vetenskapliga tidskrifter. Ekonomer jämförs med andra ekonomer och odontologer med andra odontologer i en s k fältnormaliserad citeringsanalys. 1 För många svenska samhällsvetenskapliga och humanistiska forskare är det inte en självklarhet att söka till den internationella publiceringsmarknaden. Monografier och antologier på svenska är ofta deras främsta publiceringskanal. Därför är det nödvändigt att komplettera ISI-databasens uppgifter med svenska databaser som ArtikelSök och Libris. Problemet med dessa databaser är att vi då inte kan utföra citeringsanalyser. Citeringar är en indikator och inte ett perfekt mått även om de exakta siffrorna ibland kan lura oss till att tro det. I den internationella, bibliometriska diskussionen råder dock samstämmighet kring att relativa citeringsindex, särskilt de som utnyttjar alla tidskriftsklasser och 1 Se bilaga 1 för utvidgad diskussion kring metodiken för fältnormalisering.
3 fältnormaliserade data, är förhållandevis tillförlitliga mått. En förutsättning är att det ingår tillräckligt stort antal artiklar (bör helst vara större än tio artiklar per enhet). 2 Bibliometriska undersökningar är ett av flera möjliga sätt att belysa och bedöma forskande enheters produktivitet och forskningskvalitet. De ger en information som bör kompletteras med andra bedömningar, framförallt kan avancerade undersökningar fungera väl som underlag till expertutlåtanden (peer review). Tabell 2 ger antalet publiceringar (full count) under perioden 2000 2006. TABELL 2. MALMÖ HÖGSKOLA: ARTIKLAR FULL COUNT PER OMRÅDE 2000 2001 2002 2003 2004 2005 2006 HS 14 18 15 16 26 32 27 IMER 1 2 6 3 2 K_3 1 1 1 2 LUT 4 5 6 5 4 7 7 OD 39 37 37 44 41 46 51 TS 5 8 8 17 16 9 15 Summa 63 68 68 84 94 99 102 Anm: Artiklar är articles, reviews, letters i Thomson Scientific Web of Science I tabell 3 ges de viktigaste kvalitetsmåtten. De tre första kolumnerna visar antal artiklar med tre olika sätt att mäta: 1) antal full count, dvs unika artiklar per område, 2) antal integer counting, dvs varje författare räknas om det är minst två som samförfattat från ett område, 3) antal fraktionaliserade artiklar, dvs. Varje författares andel av en artikel uppdelat efter antalet författare per artikel. Dessutom visar tabellen de två centrala citeringsmåtten: tidskrifts- och fältnormaliserad citeringsgrad. 3 2 Se Moed (2005), jfr van Raan (2004, 2005, 2006). 3 Metodiken bakom denna undersökning presenteras i bilaga 1. Färre artiklar än 10 ger ej stabila resultat.
4 TABELL 3. MALMÖ HÖGSKOLA 2000-2006: TIDSKRIFTS OCH FÄLTNORMALISERAD FORSKNINGSKVALITET. Område Antal FC Antal IC SumFRAC CPP/JCSm JCS/FCS CPP/FCSm HS 100 104 27,6 1,01 0,89 0,91 IMER 14 14 9,8 0,84 0,74 0,74 K_3 5 5 2,5 LUT 26 26 9,2 0,82 0,95 0,73 OD 229 336 95,0 0,90 0,77 0,75 TS 66 69 29,1 0,28 1,32 0,48 Totalt 440 554 173,2 0,81 0,89 0,73 Tabellen visar artiklar i internationella vetenskapliga tidskrifter indexerade av Thomson/ISI. Alla kolumner utom Antal Full count visar personfraktionaliserade värden. Full Count är antal unika artiklar. CPP/JCSm är tidskriftsnormaliserad citeringsgrad, JCS/FCS är tidskrift genom fält och CPP/FCSm är fältnormaliserad citeringsgrad. CPP/FCSm brukar benämnas crown indicator. Internationellt genomsnitt ligger vid 1,0. I tabell 3 ingår följande kategorier av dokument: articles, letters och reviews. Citeringsfönstret är öppet fram till och med maj 2007. En artikel från 2000 jämförs med andra artiklar från 2000 och hur de har citerats fram till och med maj 2007. I kolumn CPP/JCSm ges tidskriftsnormaliserade värden för respektive enhet. Denna indikator visar att i de tidskrifter där forskarna publicerar får HS och OD normal utväxling jämfört med internationella kolleger som publicerar i samma tidskrifter, men det är stor variation mellan områden. Världsgenomsnittet är 1 och Malmö högskola ligger under detta medel. Det tyder på att högskolans forskare får mindre uppmärksamhet på sina artiklar än vad som är genomsnittligt i de tidskrifter där de publicerar sig. Nämnas kan att svenska universitet ligger 15 procent över världsgenomsnittet (1,15). Kolumnen benämnd JCS/FCS ger ett direkt svar på frågan om huruvida enheten tenderar att arbeta mot hög- eller lågciterade tidskrifter. Flera av områdena har något lägre än internationellt genomsnitt. Detta kan förklaras av att man tenderar att arbeta mot nordiska tidskrifter, t.ex. har Swedish Dental Journal en markant lägre citeringsgrad än andra tidskrifter inom området Dentistry. För TS-området framkommer en låg citeringsgrad trots att man publicerar i högt rankade tidskrifter. För att eliminera tillfälliga skillnader mellan tidskrifter och forskningsfält använder vi ett mått kallat crown indicator, dvs kolumnen benämnd CPP/FCSm. 4 För detta mått använder vi ett referensvärde som gäller tidskriftsklassen i sin helhet (är ungefär detsamma som ämnesområdet). Det faktiska antalet citeringar som genererats av artiklar från Malmö högskolan sätts i relation till medelantalet citeringar inom respektive ämnesområde. Resultatet 4 van Raan (2004).
5 antyder att HS har den bästa kvoten, vilket i stor utsträckning är en effekt av att de används, citeras, i de tidskrifter de arbetar mot. HS är således den mest effektiva enheten på Malmö högskola i detta avseende. De publicerar i tidskrifter där de uppmärksammas av läsarna och söker sig inte till tidskrifter med hög impact factor, utan till de tidskrifter där de har sina närmaste (citerande) kolleger. Forskningen vid Malmö högskola kan brytas ned i ett antal forskningsmiljöer. Kategoriseringen följer uppgifter som kommer från personalregistret och det bör understrykas att många forskare, enligt registret, inte tillhör någon miljö. 5 Här nedan i tabell 4 presenteras analysen utifrån dessa grupperingar: TABELL 4. CITERINGSGRAD PER FORSKNINGSMILJÖ 2000 2006 forskningsmiljö Antal IC SumFRAC CPP/JCSm JCS/FCS CPP/FCSm orofaciala funktions 62 22,3 1,02 0,78 0,80 diagnostik prediktion 61 16,8 0,71 0,69 0,51 biomed labvet/tek 59 13,4 1,01 1,10 0,99 oral folkhälsa 58 16,8 0,72 0,77 0,62 oral ekosystem gränsytor 51 13,8 0,99 0,91 0,80 biomaterial o rekonstr tandv 49 12,4 1,21 0,95 1,09 tillämpad matematik 31 16,4 0,25 1,14 0,27 natvet diadaktik 20 6,5 0,79 1,07 0,86 omvårdnad 19 5,7 0,69 0,68 0,58 imer 10 7,8 0,84 0,75 0,86 odont professionsforskn 10 2,2 0,46 0,82 0,34 socialt arbete 8 3,9 interaktionsdesign 5 2,5 pedagogik 2 0,7 materialvetenskap 1 0,3 urbana studier 1 0,3 historia 1 0,5 Totalt 448 142,3 0,82 0,88 0,71 I tabellen ingår endast de forskare som tillhör forskningsmiljö. Antal IC är Integer Counting, dvs en artikel kan förekomma flera ggr beroende av samarbeten inom/mellan grupperingen. Anm: Tabellen ger citeringsgrad för de forskningsmiljöer som har minst tio IC under perioden. Det bör understrykas att tabellen bör läsas som en karakterisering av hur det har varit, inte hur det kommer att vara. Med analysen får miljöerna en möjlighet till benchmarking mot sina 5 Personalförteckningen skulle kunna uppdateras och en ny körning genomföras. Färre än 30 % av personalens är tilldelad forskningsmiljö.
6 internationella kolleger. Utifrån den här informationen kan man korrigera sitt publiceringsbeteende om så skulle behövas. Eller få ett kvitto på att man har en tillfredsställande publiceringsprofil. INTERNATIONALISERING Hur många av forskarna är aktiva på den internationella publiceringsmarknaden? Ungefär en tredjedel av personalstyrkan har minst en artikel i internationella vetenskapliga tidskrifter (här definierat som ISI-tidskrifter) under perioden 2000-2006 (se tabell 5). Inom naturvetenskapliga och medicinska ämnen är merparten av forskarna aktiva på den internationella publiceringsmarknaden. En stor grupp forskare, framförallt inom samhällsvetenskapliga områden, deltar inte regelbundet i den internationella vetenskapliga diskussionen. De skriver istället för en svensk publik. Just av detta skäl är det viktigt att belysa deras forskningsproduktion med hjälp av nationella databaser. TABELL 5. ANTAL PERSONAL 2007 OCH AKTIVA PÅ INTERNATIONELLA PUBLICERINGSMARKNADEN (ISI) 2000 2006. Område Antal forskare Därav ISI Procent ISI av total HS 54 22 40,7 IMER 35 6 11,1 K TRE 18 4 7,4 LUT 75 7 13,0 OD 41 38 70,4 TS 43 17 31,5 Totalt 266 94 35,3 JÄMSTÄLLDHET I FORSKNINGEN En liten utvikning mot en jämställdhetspolitisk aspekt kan vara värdefull i sammanhanget. Malmö högskola har 266 lärare och forskare. Dessa fördelar sig på 45 procent kvinnor och 55 procent män. När det gäller internationella publiceringar i vetenskapliga tidskrifter är förhållandena ytterligare ännu något skevare. Drygt 30 procent av de fraktionaliserade artiklarna kommer från kvinnliga forskare. Det förklaras i stor utsträckning av hur män och kvinnor är fördelade över ämnen (horisontell arbetsfördelning), dvs. ämnen som tenderar att publicera i internationella tidskrifter domineras av män och vice versa. Förekommer systematiska skillnader mellan kvinnor och män med avseende på de normaliserade indikatorerna? Finner vi att kvinnor har sämre prestationer indikerar detta rimligen vissa
7 jämställdhetsproblem inom Malmö högskola. De kan ta sig uttryck i form av kvinnor och män behandlas olika inom forskargrupperingarna, att bra forskare oavsett kön inte släpps fram eller den grupp som är överrepresenterad inte ger utrymme åt de underrepresenterade. Resultatet av analysen framgår av tabell 6. TABELL 6. MÄN OCH KVINNOR: TIDSKRIFTS- OCH FÄLTNORMALISERADE VÄRDEN 2000 2006. område Antal IC SumFRAC CPP/JCSm JCS/FCS CPP/FCSm Kvinnor 216 64,5 0,82 0,78 0,68 Män 338 108,7 0,79 0,99 0,74 Totalt 554 173,2 0,80 0,91 0,72 Analysen antyder att de kvinnliga forskarna generellt sett har tidskriftsnormaliserad citeringsgrad helt i paritet med eller något bättre än männen. Detta är faktiskt ett förväntat resultat, vilket överensstämmer med tidigare undersökningar (Xie & Shauman 1998, Sandström & Hällsten 2007). Kvinnliga forskare har färre artiklar, generellt har de en lägre produktivitet per forskare, men med detta följer av allt att döma en betydligt större noggrannhet med publiceringarna. I det här fallet innebär det också en tendens att publicera i tidskrifter med lägre citeringsgrad (t ex de nordiska). Med avseende på kvoten JCS/FCS är det tydliga skillnader mellan män och kvinnor. Detta ger utslag i CPP/FCSm, skillnaden är sex procentenheter, men det är inte tillräckligt för att vi skall dra slutsatsen är det är skillnader mellan dessa grupper. Åtminstone finns inte anledning att dra slutsatser som pekar mot skillnader i jämställdhetspolitisk mening. En tolkning vore att vi kan utesluta diskriminering i form av att de bästa kvinnorna inte skulle släppas fram. Däremot kan vi inte utesluta att diskrimineringen tar sig uttryck i relativt sett fler kvinnor hindras från publicera eller att självselektionsmekanismer gör dem mindre benägna att pröva sig på den internationella publiceringsmarknaden. En handlingsrekommendation vore att kvinnliga forskare borde uppmuntras att söka sig till sina respektive forskningsfälts lite bättre tidskrifter. Möjligen skulle deras synlighet kunna ökas med sådana åtgärder. Sannolikt är detta en rekommendation som gäller stora grupper inom Malmö högskola. Kom dock ihåg att det inte implicerar att ISI:s Impact Factor skall läggas till grund för Malmös publiceringsstrategi. Istället för att stirra blint på Impact bör forskarna söka sig till de tidskrifter där deras närmaste internationella kolleger publicerar sig.
8 SAMTLIGA PUBLICERINGSKANALER Såvida alla vetenskapliga publiceringar från respektive gruppering skall fångas upp måste ISIdatabasen kompletteras med nationella databaser. I det här fallet kan vi tillföra uppgifter om publiceringar (ederade volymer, böcker, kapitel i bok och rapporter) via databasen Libris samt artiklar i svenska tidskrifter och dagstidningar via databasen ArtikelSök. Resultatet framgår av tabell 7. TABELL 7. MALMÖ HÖGSKOLA: PRODUKTION PER OMRÅDE OCH PUBLICERINGSKANAL 2000 2007 (MAJ) område P Art Red Bok Kap Rapp Summa Pers HS 27,6 52 6 13 15 37 150,6 54 IMER 9,8 83 2 17 14 42 167,8 35 K 3 2,5 53 3 6 8 19 91,5 18 LUT 9,2 164 11 19 30 137 370,2 75 OD 95,0 35 1 4 135,0 41 TS 29,1 11 1 7 5 4 57,1 43 Totalt 173,2 398 24 62 72 243 972,2 266 Anm: P=ISI-publiceringar (frac); Art=Artiklar (källa ArtikelSök); Red=ederade volymer; Bok=böcker; Kap=kapitel i bok, Rapp=rapporter (källa Libris). Kolumn Pers anger antal personal (2007). Redan en okulär besiktning av materialet visar att det finns avsevärda skillnader mellan publiceringar från Malmös olika områden. Medan OD, HS och TS i större utsträckning publicerar i internationella kanaler är IMER, K TRE och LUT nästan uteslutande inriktade på nationella publiceringskanaler. För att närma oss en rättvisande bild av publiceringarna gör vi för det första en viktning av olika typer av publiceringar. Viktningsproceduren har genomförts i tabell 8 som visar publiceringar från samtliga publiceringskanaler. Resultatet följer den poängberäkning som redovisas i bilaga 1, se tabell B. 6 Viktningen i tabell 8 leder till nya summatal och sätter vi detta i relation till antalet personal får vi en antydan om produktiviteten per person. Frågan är personalen fördelas på undervisning och forskning? Här skiljer det sig sannolikt mellan områden. Tyvärr kan vi inte 6 Se även Sandström & Sandström: A Metrics for Academic Science applied to Australian Universities (2007) för en diskussion av produktivitetsproblematiken (www.forskningspolitik.se/studier.asp). Där föreslår vi ett delvis annat sätt att tackla denna frågeställning. Poängen är att det går att mäta produktion på ett fältjusterat sätt så länge vi håller oss till ISI-databasen.
9 genomföra en viktning av personalen eftersom såväl andelen forskning som status (professor, lektor eller forskarassistent) saknas i det uttag ur personalregistret som ställts till förfogande. Kvoten i kolumnen längst till höger anger publiceringspoäng per personal. IMER, K TRE, LUT och OD ligger på i stort samma nivå. TABELL 8. MALMÖ HÖGSKOLA: VIKTAD PRODUKTION PER OMRÅDE 2000-2007 vikt 3 1 2 6 2 1 område P Art Red Bok Kap Rapp Summa Pers kvot HS 82,7 52 12 78 30 37 292 54 5,4 IMER 29,5 83 4 102 28 42 288 35 8,2 K TRE 7,5 53 6 36 16 19 138 18 7,6 LUT 27,5 164 22 114 60 137 525 75 7,0 OD 284,9 35 2 0 0 4 326 41 7,9 TS 87,4 11 2 42 10 4 156 43 3,6 Totalt 519,5 398 48 372 144 243 1724 266 6,5 Anm: P=ISI-publiceringar; Art=Artiklar i ArtikelSök; Red=ederade volymer; Bok=böcker; Kap=kapitel i bok, Rapp=rapporter (källa Libris). Kolumn Pers anger antal personal (2007). Kvotkolumnen avser summapoäng dividerat med personal. Det kan tänkas att de låga kvoterna för HS och TS förklaras av personalsammansättningen, t ex om de har flera nyanställda, flera forskare/forskarassistenter eller fler som lägger merparten av sin tid på undervisning. Eftersom vi har uppgift om antalet år som personalen varit vid Malmö högskola, kan vi ta hänsyn till detta i en produktivitetsberäkning. I tabell 9 visas en analys som viktar enligt tidigare men som också tar hänsyn till tidsfaktorn. Vi vet sedan tidigare, vilket framgick av tabell 1, att HS och TS har stora andelar av personalen som tillkommit sedan år 2000. Mönstret från tidigare förändras i stort sett inte; de enda nämnbara förändringarna är att LUT förlorar något och att OD vinner något. Detta var förvisso oväntat, men förklaras av hur produktiviteten fördelar sig mellan ny och gammal personal.
10 TABELL 9. MALMÖ HÖGSKOLA: VIKTAD PRODUKTION PER ANSTÄLLNINGSÅR vikt 3 1 2 6 2 1 P sv_art red bok kap rapp Summa HS 1,12 0,65 0,22 0,98 0,44 0,38 3,80 IMER 0,63 1,58 0,10 2,11 0,50 0,94 5,85 K 3 0,41 2,41 0,32 1,71 0,41 0,78 6,05 LUT 0,38 1,54 0,17 0,80 0,48 1,30 4,66 OD 8,10 0,65 0,05 0,00 0,00 0,06 8,86 TS 1,87 0,21 0,03 0,72 0,19 0,07 3,08 Totalt 2,00 1,07 0,14 0,93 0,35 0,64 5,13 Anm: I tabellen tas hänsyn till anställningstiden vid Malmö högskola. UPPMÄRKSAMMAS FORSKNINGEN? Web of Science är ett sätt att mäta den uppmärksamhet som artiklar får av forskarsamhället. Citeringsanalyser svarar grovt taget på frågan: Hur användbart är detta för andra forskare? I databasen finns citeringar till artiklar i de indexerade tidskrifterna (det vi kallar source ), men som vi vet finns det många andra publiceringskanaler: tidskrifter som inte indexeras av ISI, böcker och rapporter. I WoS-databasen kan vi också få fram citeringar till dessa (kallas nonsource ). Genom en särskild sökning i ett gränssnitt som kallas CitedRefs går det att ta fram dessa citeringar. Tyvärr är det inte möjligt att urskilja adress till non-source-materialet så i det här fallet, liksom andra sätt att söka efter uppmärksamhet, är det frågan om att beskriva brain power. I Cited Refs anges enbart första författarnamnet på det dokument som citeras, vilket gör finns vi bör vara försiktiga med att dra slutsatser av detta material. En annan källa till citeringar är Google Scholar som i många fall är bredare i sin täckning än ISI. Det går t ex att se hänvisningar till rapporter. Dessutom använder vi intervjuer med forskare och recensioner av böcker från ArtikelSök som en källa till uppmärksamhet. Liksom tidigare sätter vi den uppnådda uppmärksamheten i relation till antalet personal och beroende av antalet tjänsteår vid Malmö högskola. Dessutom gör vi en normalisering per uppmärksamhetskälla (annars skulle Google väga alltför tungt), men det är självklart endast en normalisering inom Malmö högskola. Resultatet, som visas i tabell 10, avviker något från produktivitetsanalysen i föregående avsnitt. IMER förs upp till toppositionen klart före K TRE, HS och OD. Teknik och samhälle får alltför få citeringspoäng i Google för att komma upp i nivå med de andra enheterna.
11 TABELL 10. MALMÖ HÖGSKOLA: UPPMÄRKSAMHETPOÄNG PER OMRÅDE 2000-2007 citedrefs goggschol asokupp summa HS 0,80 1,50 1,11 3,41 IMER 2,20 1,03 1,21 4,44 K 3 1,89 1,31 0,24 3,44 LUT 0,21 0,73 1,48 2,43 OD 1,26 1,08 0,51 2,85 TS 1,03 0,62 0,64 2,29 Totalt 1 1 1 3 Anm: tabellen visar normaliserade värden per källa till uppmärksamhet Avslutningsvis gör vi motsvarande analys som i tabell 10 för forskningsmiljöerna (se tabell 11). Nu kan vi visa värden för fler miljöer. Som synes är det stor variation mellan miljöerna. Vid sidan av biomedicinen (en författare har fått många citat) är det miljöer som Idrottsvetenskap och IMER som förtjänar att hållas fram. Vidare bör nämnas att biomaterial och rekonstruktiv tandvård, tillämpad matematik och oral folkhälsa får stor uppmärksamhet mätt med dessa metoder. TABELL 11. MALMÖ HÖGSKOLA: UPPMÄRKSAMHETPOÄNG PER FORSKNINGSMILJÖ 2000-2007 citref scholar asokupp summa Biomaterial och rekonstruktiv tandvård 1,59 2,31 1,02 4,92 Biomedicinsk laboratorievetenskap/teknologi 0,00 8,02 0,00 8,02 Det orala ekosystemet med inriktning mot gränsyto 0,93 1,87 0,00 2,80 Diagnostik och prediktion 1,79 0,84 1,06 3,68 Historiska studier 1,39 0,40 2,55 4,35 Idrottsvetenskap 0,05 1,21 5,43 6,70 IMER 3,13 1,33 1,55 6,01 Interaktionsdesign 1,67 2,25 0,34 4,26 Kultur, språk och medier 0,75 0,41 0,55 1,72 Materialvetenskap 0,45 0,00 0,00 0,45 Naturvetenskapernas, matematikens och teknikens 0,00 0,41 0,17 0,57 Odontologisk professionsforskning 1,19 0,76 0,00 1,95 Omvårdnad (+folkhälsovetenskap) 2,30 0,92 1,09 4,31 Oral folkhälsa, profession och förhållningssätt 2,65 0,96 1,13 4,74 Orofaciala funktionsstörningar och smärta 1,59 1,17 0,42 3,19 Pedagogik 0,04 1,24 1,10 2,38 Socialt arbete 1,20 0,69 2,03 3,91 Tillämpad matematik 3,62 0,97 0,21 4,81 Urbana studier 0,38 0,30 0,32 1,00 Anm: tabellen visar normaliserade värden per källa till uppmärksamhet.
12 AVSLUTANDE KOMMENTAR Det vilar en air av exakthet hos de beräkningsmetoder som används för bibliometriska studier. Läsaren bör inte låta lura sig: rapporten är inget annat än ett försök att tentativt beskriva och analysera publiceringsmönster hos personalen vid Malmö högskola. Ett viktigt resultat är att olika metoder ger skilda resultat. Jämför till exempel tabell 4 och tabell 11. Undersökningen entydiga resultat är att Malmö högskola kan öka sin synlighet både på den internationella och nationella publiceringsmarknaden. Frågor om var forskare skall publicera för att få ökad synlighet bör diskuteras inom forskargrupperna. Vilka publiceringskanaler skall prioriteras i framtiden, vilka ger den bästa utväxlingen? En ökad medvetenhet om olika tidskrifters räckvidd och betydelse kan vara ett sätt för att förbättra publiceringsverksamheten. BILAGA 1. METODIK FÖR BIBLIOMETRISKA UNDERSÖKNINGAR Drygt 9,000 tidskrifter och conference proceedings indexeras årligen av Thomson/ISI och görs tillgängliga i Internetdatabasen Web of Science. Indexering innebär att artiklarna registreras med fullständiga bibliografiska data. Det gör att citeringar till artiklar kan följas, mätas och vägas. För att bedöma en forskargrupp, en institution eller ett universitets kvalitet i forskningen är den uppnådda citeringsgraden det mest tillförlitliga måttet. I den internationella diskussionen råder samstämmighet på den punkten: Henk Moeds lärobok Citation Analysis in Research Evaluation (2005) är ett auktoritativt exempel. Databasen WoS Internet ger information om faktiska citeringar vid en given tidpunkt. Alternativt kan förväntad impact (Impact Factor-IF som hämtas från Journal Citation Reports) användas. Det är forskningsekonomiskt tilltalande, men ger ett betydligt sämre informationsvärde. IF beräknas med ett kort citeringsfönster (1 år) och tidskrifter gynnas om de har en stor andel citeringsbart material utöver vad som är artiklar eller översiktsartiklar. Studier av internationella publiceringar blir mer rättvisande om hänsyn tas till att citeringsfrekvenser skiljer sig mellan olika forskningsområden. Dessa skillnader beror på flera förhållanden: antalet tidskrifter inom området, antalet referenser per artikel, tidskrifternas utgivningstakt och citeringstraditioner inom området. De ovan nämnda IF togs ursprungligen fram av Institute for Scientific Information (ISI) för att påvisa dessa skillnader mellan olika forskningsområden. För att göra rättvisa jämförelser över olika områden behövs referensvärden per tidskriftskategori. Citeringar per publikation (CPP) kan då relateras till referensvärden och ge
13 underlag för ett relativt citeringsindex. Referensvärdet kan vara genomsnittet för världen, genomsnittet för ett antal EU-länder eller någon annan vald avgränsning (Moed 2005). 7 Huruvida faktiska citeringsvärden är bra eller dåliga beror alltså på jämförelsematerialet. En indikator ger värden om citeringarna i förhållande till den tidskrift där artikeln är publicerad. Den genomsnittliga citeringsfrekvensen (med öppet citeringsfönster) relaterad till tidskrifterna kallar vi Journal Citation Score (JCS). Kvoten mellan CPP och JCS uttrycker hur ofta en artikel från ett givet år citeras jämfört med en genomsnittlig artikel från samma år i den aktuella tidskriften. CPP/JCS ger ett mått på hur artikeln citerats jämfört med en genomsnittlig artikel i den aktuella tidskriften. Måttet kan även byggas ut till ett genomsnitt för det specifika set av tidskrifter som enheten arbetat med (detta kallar vi JCSm). Informationen CPP/JCS ger oss en bild av hur väl en enhet presterar i relation till de tidskrifter i vilka man valt att (eller kunnat) publicera sig. En enhet som arbetar mot tidskrifter med lägre impact kan då ha lättare att få en bra kvot, medan en enhet med en högre ambitionsnivå lätt kan få ett sämre kvotvärde. För att korrigera för används ett specifikt mått som benämns Field Citation Score (FCS). Med detta mått får vi ett referensvärde som baseras på samtliga tidskrifter inom en kategori av tidskrifter. Om enheten har satsat på (relativt sett) lågciterade tidskrifter kommer man alltså att få en hög CPP/JCSm men en låg CPP/FCSm. Måttens karaktär av jämförelser med en internationell referensnivå gör att ett värde över 1 innebär att enheten ligger över genomsnittet och ett värde mellan 0 och 1 innebär att enheten ligger under världsgenomsnittet. Den internationellt standardiserade indikatorn CPP/FCSm brukar benämnas crown indicator. Med denna indikator kan man genast se huruvida prestationerna hos ett universitet eller en forskargrupp ligger signifikant sämre (värden < 0,5), under (värden 0,5 0,8), omkring (0,8 1,2), över (1,2 1,5) eller mycket över (>1,5) den genomsnittliga standarden för de fält där man är verksamma. Kvoten JCSm/FCSm ger en indikation om huruvida de tidskrifter i vilka forskarna publicerar sina artiklar ligger över eller under genomsnittet för det fält som tidskrifterna tillhör. TABELL A. EXEMPEL PÅ TIDSKRIFTSKLASSER Tidskriftens namn ANNALS OF OCCUPATIONAL HYGIENE ERGONOMICS Tidskriftsklasser (subject category) Public, Environmental & Occupational Health; Toxicology (2 klasser) Engineering, Industrial; Psychology, Applied; Ergonomics; Psychology (4 klasser) 7 Se även Sandström (2005) för en genomgång av citeringsanalysernas metodik.
14 Referensvärden skapas per år och per typ av dokument (articles, letters and reviews) samt utifrån den klassificering av tidskrifter som ISI tillämpar. Referensvärden skapas utifrån de tidskriftsklasser som varje tidskrift tillhör. I tabell A ges två exempel. Den första tidskriften har två klasser, den andra har tilldelats fyra. Vid beräkning av referensvärden ges den första tidskriften ½ värde från vardera av klasserna och i det andra fallet ¼ av varje klass. Systemet för beräkning av FCS-värden har således en hög precision. Visserligen är Thomson/ISI:s klassificering inte fri från invändningar, men den mycket väl genomförd. HUR RÄKNAS ARTIKLAR? Det finns många termer som används i samband med redovisningar av bibliometriska data. Av det skälet kan det vara bra att beskriva de olika termernas betydelse mera exakt. Här används dessa på följande sätt: FC Full Count Antalet unika artiklar per enhet IC Integer Count Alla artiklar av författare från enheten räknas som heltal Frac Fraktionaliserat Artiklar uppdelade per författare och per artikel TABELL B. GRUNDDATA FÖR ARTIKELRÄKNING ID Authors Urval Az Frac ID.101 1, 2 1 A 0,50 ID.101 1, 2 2 A 0,50 ID.102 3,4, 5, 6 3 B 0,25 ID.102 3, 4, 5, 6 4 B 0,25 ID.103 7, 8 7 C 0,50 ID.104 9, 10, 11 9 C 0,33 ID.104 9, 10, 11 10 B 0,33 I tabell B visas ett tänkt exempel med fyra artiklar med vardera två, tre och fyra författare. IDnumret används för att bestämma antalet unika artiklar (Full Count) vilket i det här fallet är fyra, men eftersom vi räknar FC per enhet blir det i det här fallet fem artiklar. Integer Counting (IC) innebär att alla författares bidrag räknas som heltal och av de fyra unika artiklarna blir det således sju IC. Räknat med fraktionalisering (se förklaring nedan), uppdelat per författare och artikel, blir antalet artiklar, som synes, betydligt färre.
15 TABELL C. SAMMANRÄKNING AV DATA FRÅN TABELL B Enhet Antal FC Antal IC SumFRAC A 1 2 1,00 B 2 3 0,83 C 2 2 0,83 Total 5 7 2,66 FRAKTIONALISERING Fraktionalisering innebär att varje författares tilldelas andelar av en publicering beroende av hur många man samarbetat med för att framställa artikeln. Är det två författare ges var och en ½ artikel, är det tre författare får varje författare 1/3-dels artikel osv. 8 Sådan fraktionalisering ligger till grund för beräkningen av alla artikelvärden i denna rapport. FORMEL FÖR BERÄKNING EN ENSKILD ARTIKELS CPP/FCSM-VÄRDE VID MULTI-ASSIGNATION c = antalet citat för publikationen f x = FCS-värdet för det x:e ämnesområdet tillhörande publikationen x = antal ämnesområden tillhörande publikationen ( c / f ) + ( c / f 2 ) + ( c / f3 ) CPP / FCSm = x 1 ( c / f CPP/FCSm-värdet för publikationen i relation till varje enskilt ämnesområde beräknas för sig och adderas sedan ihop. Därefter delas detta med antalet ämnesområden. x ) 8 When whole counts are used, the data should be read as the number of papers in which a particular unit occurs. This procedure leads to double counting. We can avoid the double counting by dividing the number of papers into fractions according to the number of units that have produced them, that is, by using fractional counts. The sum of all fractions will be equal to the actual number of papers in the data set. This allows us to measure the percentage of all papers that has been produced by a particular unit. If a paper is co-produced by two or more units from different countries and has been cited by ten other articles, each of the two units will get half of an article and five citations. The difference between whole and fractional counts for a given unit is a measure of the degree of collaboration. For example, if the whole count gives an institution 100 papers and the fractional count 50 papers, we can say that the difference is the effect of collaboration. from O. Persson et. al. A bibliometric study of Finnish science (2000), VTT working papers. (www.vtt.fi/ttr/pdf/wp48.pdf).
16 FORMEL FÖR BERÄKNING AV CPP/FCSM MED FÖRFATTARFRAKTIONALISERING f x = den x:e artikelns CPP/FCSm-värde n x = antalet författare för den x:e artikeln x = antal publikationer CPP / FCSm = f 1 / n + 1 f / n 1/ n + 1/ n 1 2 2 2 + f 3 / n + 1/ n 3 3 f x 1/ n / n x x Varje publikations CPP/FCSm-värde beräknas enskilt och divideras sedan med antalet författare. Dessa värden adderas därefter och divideras med summan av publikationsandelarna. DATABASINFORMATION Föreliggande analys använder Internet Web of Science och bygger på artiklarnas citeringsdata från deras publicering fram till maj 2007(öppet citeringsfönster). Fördelarna med dessa relativa citeringsindex är flera: För det första, det uppstår inga skalfördelar. I raka citeringsanalyser blir det automatiskt en fördel att ha många publiceringar långt tillbaka i tiden. Med den här analysmodellen kommer unga forskare att behandlas på samma sätt som äldre. Ytterligare en fördel är att vi kan gå långt fram i tiden i stort sett kan vi med nuvarande data (maj 2007) få citeringar som är stabila fram till och med år 2005. LIBRIS OCH ARTIKELSÖK NATIONELLA PUBLICERINGAR En svaghet med vanliga publiceringsanalyser baserade på internationella databaser är att de inte gör rättvisa åt merparten av den svenska samhällsvetenskapliga och humanistiska forskningen. Flera av de forskningsområden som är aktuella inom Malmö högskola har andra publiceringsformer än dem som indexeras av Thomson/ISI. För att kunna följa och analysera den forskningen behövs en kompletterande strategi. 9 Det kan göras genom att följande tre källor kompletterar artiklar i vetenskapliga tidskrifter: 1) Cited refs i Thomson/ISI-databasen (Web of Science Online). 2) Libris (Kungliga Biblioteket Online-databas) 9 En modell för att genomföra sådana analyser finns delvis utvecklad i Sandström (2000, ursprungligen del av Sandström et al 1995, se www.forskningspolitik.se). Där ges de teoretiska grunderna för modellen som i korta drag innebär att alla publicerade forskningsresultat från humanistisk och samhällsvetenskapliga forskning oavsett var och hur de är publicerade kan införlivas i analysen.
17 3) ArtikelSök (Bibliotekstjänst Online databas) Punkt 1 ger information om hur forskares böcker, antologibidrag och rapporter citerats i internationella tidskrifter. När de ingår artiklarnas referenslistor kan de analyseras. Vi skiljer mellan source material och non-source material: det förra är citeringar till indexerade artiklar, det senare är citeringar till allt annat material. Detta är en ofta förbisedd informationskälla. Punkt 2 ger information om forskarnas artiklar i de viktigaste svenska tidskrifterna som publicerar vetenskapliga texter. Utöver detta ger punkt 2 även information om svenska forskares publiceringar i form av böcker (svenska och utländska), antologibidrag (i viss utsträckning även internationella antologier) och rapporter (endast nationella). Saknas gör till viss del tidskrifter som inte indexeras av ISI. En undersökning av samhällsvetenskapliga och humanistiska forskare i Linköping, visar att vi kan sluta oss till att det är ytterst få artiklar som missas på detta sätt (möjligen en handfull på knappt 300 forskare). Avsaknaden av samtliga kapitel i bok, dvs antologibidrag är däremot ett mer svårhanterat problem. Betydelsen av antologier skiljer sig mellan discipliner. En del humanistiska forskare, de som vänder sig till en större allmänhet, använder gärna sådana publiceringsformer, detta är också fallet för samhällsvetare som skriver för en bredare allmänhet. Studier av Linköpingsforskarna antyder att det i snitt fattas cirka 8 publiceringspoäng för en normalforskare, dvs motsvarande en hel bok och ett antologikapitel. Ett annat material som är svårt att bibliografiskt samla in är kategorin conference proceedings, en publiceringsform som används flitigt av datavetenskapliga forskare (inkl tillämpad matematik). ISI-databasens täckning av proceedings har förbättrats väsentligt under senare år, men problemet är att det saknas en glasklar terminologi på området. Vad som räknas till kategorin proceedings kunde göras tydligare, t ex genom att man noga skiljer mellan konferenser med som har peer review och de som inte har, konferenser som trycker proceedings inför konferenserna och de konferenser där man endast presenterar. Många datavetares CV blandar dessa skilda kategorier på ett sätt som knappast underlättar bibliometrikernas arbete. Universitet och högskolor bör vara noga med att skilja mellan olika kategorier av publiceringar i sina interna databaser. Web of Science innehåller inte alla tidskrifter på publiceringsmarknaden, beräkningar säger att ungefär en tredjedel av alla tillgängliga vetenskapliga och reviewade tidskrifter finns med. Två tredjedelar ligger alltså utanför men det är till viss del möjligt att fånga upp hur de tidskrifterna uppmärksammas genom att utnyttja funktionen Cited Refs.
18 Vad skall ingå i en outputanalys? Här finns flera olika modeller att ta ställning till. Det har framkommit olika index till följd av att man i flera länder har startat prestationsrelaterade fakultetsbidrag, t.ex. i Australien och Norge. I debatten förekommer ett stort antal variabler förutom artiklar och böcker: honors, awards and prizes, election learned academies etc., conferences, service to journals, visiting fellowship. Det är dock inte rimligt att väga in olika typer av tjänstgöring och liknande i output. Möjligen kan sådant fungera som indikatorer på uppnådd excellence. De är inte output utan är snarare att betrakta som en del av input. Akademisk status ligger redan till grund för tjänstetitel och det vore märkligt att räkna in titeln som en del av output. Med denna motivering föreslås att output begränsas till att avse publicerade resultat. Det bör understrykas att resultaten naturligtvis bör vara forskningsinriktade. Hobbymässigt författande av bok- och skivrecensioner, kåserier, betraktelser, skönlitteratur etc. ingår inte i den output som mäts i detta sammanhang. Nedanstående tabell D anger de olika typer av publiceringar, deras viktning och källa. Viktningen bygger på den metodik friktionsmodellen som författaren föreslagit ( Sandström 2000). Till detta har lagts ett u-index, dels i form av uppmärksamhet uppnådd i internationella tidskrifter (tre olika källor), dels nationella tryckta massmedia (artikelsök). Viktningen är en fråga som kan diskuteras, ändras och justeras. Känslighetsanalyser på institutionsnivå visar att det är nödvändigt att ändra vikterna ganska ordentligt för att det skall få effekt på hur institutionerna förhåller sig till varandra. I det följande görs en kort beskrivning av respektive indikator. TABELL D. MODELL FÖR VIKTNING AV PUBLICERINGAR OCH CITERINGAR. nr Dokumenttyp Poäng Källa 1 artiklar i WoS 3 isi 2 source citations 1 isi 3 non-source cited refs 1 isi 4 google scholar 1 www 5 artsök egna artiklar 1 artikelsök 6 art sök uppmärksamhet 2 artikelsök 7 libris red antologi 2 libris 8 libris monografi 6 libris 9 kapitel i bok 2 libris + CV 10 rapporter 1 libris 1. Artiklar, letters och reviews i Web of Science. 2. Source Citations. Helt enkelt citeringar mellan artiklar i Web of Science.
19 3. Non-source Cited refs. Via Web of Science går det att få fram antalet citeringar till material som inte är indexerat av Thomson/ISI (böcker, antologibidrag, tidskrifter som inte ingår i databasen, rapporter etc). 4. Google Scholar. Sedan en tid har Google en tjänst som kallas Google Scholar. Där går det att söka på t ex författarnamn och få uppgifter om hur rapporter, patent och artiklar är citerade. Merparten av materialet överlappar Source (nr 6). 5. ArtikelSök. Förtecknar ungefär 500 svenska tidskrifter och ett femtontal svenska dagstidningar. Av detta material är endast en bråkdel att beteckna som vetenskapliga publiceringskanaler. 6. Uppmärksamhetspoäng (ArtikelSök). Avser intervjuer med och recensioner av verk som författats av forskare/lärare som ingår i undersökningen. 7. Antologiredaktörsarbete. Att ställa samman antologier för ett forskningsprojekt eller för att samla forskarinlägg till en gemensam frågeställning är en viktig del av svensk forskningspublicering. Redaktörskap är normalt sett förknippat med ett omfattande arbete. 8. Monografier (böcker). Återfinns via Librisdatabasen. För att dokumentet ifråga skall räknas som bok skall det vara utgivet på ett från universitetet, i princip, fristående förlag. Det gör att egna bokserier räknas som rapporter eller bokliknande produkter utgivna av myndigheter inte räknas som monografier som publiceringskanal. 9. Uppsats i antologi (kapitel i bok). Dessa förekommer i Librisdatabasen. Ett problem är att indexeringen inte är systematisk när det gäller denna kategori. I en del fall uppfattas böcker som antologier (uppsatser i böcker) trots att de har en enda författare, i en del fall indexeras inte antologierna. Det är sällsynt att antologier från internationella förlag indexeras av Libris. Här finns alltså två källor till underrepresentation: a) antologibidrag på svenska, b) antologibidrag på engelska (eller annat språk). 10. Rapporter. Periodika i form av rapportserier, ofta s.k. grå rapporter, finns indexerade av Libris förutsatt att de har tilldelats ISSN-nummer. Dokument som är publicerade av myndigheter och organisationer klassas i de flesta fall som rapporter. Det bör understrykas att nationella publiceringar, av mestadels pragmatiska skäl, inte har fraktionaliserats: alla författare har tillgodoräknats publiceringarna, dvs. rapporter och böcker etc. räknas flera gånger. Denna metod brukar kallas integer counting (heltalsräkning) i bibliometriska handbokslitteraturen. 10 10 Se Moed 2005, s. 274.
20 BIBLIOMETRISK IDENTIFIERING När bibliometriker skall undersöka ett lärosäte brukar de använda två strategier. En vanlig metod är att utgå från en lista med institutets alla publiceringar och matcha den mot ISIdatabasen. Metoden är osäker eftersom det finns många sätt att missuppfatta hur tidskrifters namn skall stavas. Ett annat problem är att forskarnas egna listor ofta innehåller felaktiga titlar m.m. När vi arbetar med ett förhållandevis litet antal publiceringar är den metoden inte särskilt användbar. Inte heller den andra strategin är att föredra. Den utgår från att alla artiklar har en adress och genom att söka fram alla artiklar med rätt adress har materialet identifierats. Metoden är inte tillförlitlig på grund av det finns ett antal tidskrifter som inte uppger författarnas adress. En alternativ metod, som har tillämpats i föreliggande undersökning, är att varje forskare har identifierats online i Web of Science. För att kunna använda den metoden är det önskvärt att ha tillgång till data i form av CV och publikationslista från alla forskare. Det ger ett mycket säkert underlag och reducerar fel till följd av att stavning, namnbyten m.m. I fallet Malmö högskola har det av tidsskäl inte varit möjligt att samla in dessa CV-underlag. Analysen har i stället genomförts med hjälp av uppgifter om respektive forskare/lärare från högskolornas hemsidor och publikationsdatabaser på Internet. Undersökningens täckningsgrad för de valda publikationstyperna är inte fullständig, men kontroller mot andra källor (publikationsdatabaser) visar god överensstämmelse. Självfallet finns ett antal uppsatser i internationella antologier eller rapporter samt ett antal artiklar i internationella vetenskapliga tidskrifter som inte indexeras av Web of Science. Ett litet fåtal författare med vanliga namn har inte varit möjliga att identifiera, men det är frågan om enstaka namn och högst ett namn per institution.
21 REFERENSER Moed HF (2005) Citation Analysis in Research Evaluation. Dordrecht: Springer Verlag. Persson O et. al. (2000) A Bibliometric Study of Finnish Science, VTT working papers. van Raan, AFJ (1996) Advanced bibliometric methods as quantitative core of peer review based evaluation and foresight exercises. Scientometrics, 36(3):397 420 van Raan, AFJ (2004) Measuring Science: Capita Selecta of Current Main Issues, Handbook of Quantitative Science and Technology Research: The use of publication and patent statistics in studies of S&T systems. Dordrecht/Boston/London: Kluwer Academic Publishers 2004, pp.19-50 van Raan, AFJ (2005a) Measurement of central aspects of scientific research, Measurement, 3(1), 1 19 van Raan, AFJ. (2005b) Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods, Scientometrics, 62, 133 143 van Raan, AFJ (2006) Statistical Properties of Bibliometric Indicators: Research Group Indicator Distributions and Correlations, Journal of the American Society for Information Science and Technology, 57, (3): 408-430. Sandström, U (2000) Utvärdering av forskningens produktivitet och kvalitet med hjälp av friktionsmodellen. (tillgänglig på www.forskningspolitik.se/studier.asp) Sandström, U (2005) Toolbox for bibliometric analysis and visualisation of research groups. (tillgänglig på www.forskningspolitik.se/studier.asp) Sandström U & Hällsten M (2007) Gender, Funding Diversity and Quality of Research. Paper pre-sented at the ISSI conference in Madrid June 25 28, 2007. Sandström U & Sandström: A Metrics for Academic Science applied to Australian Universities (2007) (Tillgänglig på www.forskningspolitik.se/studier.asp) Xie Y & Shauman KA (1998) Sex differences in research productivity: New evidence about an old puzzle, American Sociological Review 63 (6): 847-870.