Bibliometrisk indikator som underlag för medelsfördelning

Storlek: px
Starta visningen från sidan:

Download "Bibliometrisk indikator som underlag för medelsfördelning"

Transkript

1 Bibliometrisk indikator som underlag för medelsfördelning Svar på uppdrag enligt regeringsbeslut U2009/322/F ( ) till Vetenskapsrådet

2

3 Bibliometrisk indikator som underlag för medelsfördelning Svar på uppdrag enligt regeringsbeslut U2009/322/F ( ) till Vetenskapsrådet

4

5 Diarienummer Handläggare Carl Jacobsson Vetenskapsrådet Utbildningsdepartementet Stockholm VETENSKAPSRÄDET SWEDISH RESEARCH COUNCIL Postadress/Postal address SE Stockholm Sweden Besöksadress/Visiting address Klarabergsviadukten 82 Tel: +46(0) Fax:+46(0) Missiv Enligt regeringsbeslut U2009/322/F ( ) har Vetenskapsrådet i uppdrag att ta fram underlag för beräkning av indikatorn vetenskaplig produktion och citering. Underlaget ska användas för tilldelning av en viss del av resurserna for budgetåret 2010 avseende forskning och utbildning på forskarnivå vid statliga universitet och högskolor. Arbetet med uppdraget har utförts vid avdelningen för forskningspolitisk analys vid Vetenskapsrådet. En referensgrupp, bestående av fem personer nominerade av SUHF, en person från vardera VINNOVA och Högskoleverket, samt tre personer från Vetenskapsrådet, har samlats vid två tillfällen. Vetenskapsrådets strategiska ledningsgrupp diskuterade regeringsuppdraget Ärendet behandlades av Vetenskapsrådets styrelse Ur styrelseprotokollet: Styrelsen ansåg att den föreliggande modellen för att fördela direkta statsanslag utifrån vetenskaplig produktion och citering har större kvaliteter än förslaget i forskningspropositionen. Materialet är dock framtaget under stor tidspress, och ett antal centrala faktorer har ännu inte blivit tillräckligt belysta. Styrelsen ansåg att betydelsen av hur huvudförfattarskapet på en artikel påverkar fördelningen ska utredas. Även konsek\>ensanalyser av vilka effekter indikatorn kan få på längre sikt bör genomföras. Styrelsen beslutade att: rekommendera regeringen att inte fördela direkta statsanslag för forskning utifrån indikatorn vetenskaplig produktion och citering _/&- 20/0, Vetenskapsrådet ska fortsätta arbeta med att förbättra indikatorn i enlighet med den av styrelsen diskuterade inriktningen. Vetenskapsrådet lämnar härmed sin redovisning av uppdraget. Redovisningen består av detta missiv, en rapport som beskriver den föreslagna modellen och dess utgångspunkter, samt ett statistiskt underlag för beräkning av indikatorn vetenskaplig produktion och citeringar. Beslut i detta ärende har fattats av generaldirektör Pär Omling i närvaro av avdelningschefer Leif Eriksson, efter föredragning av avdelningschef Carl Jacobsson. Org. nr/vat No vetenskapsradet@vr.se Pär Omling ^ \ Generaldirektör Carl Jac/Sbsson Chef för avdelningen för forskningspolitisk analys

6

7 Bibliometrisk indikator för vetenskaplig produktion och kvalitet Regeringen har infört indikatorer för externa medel samt för vetenskaplig produktion och citeringar för att fördela medel till landets lärosäten. Regeringen anför som skäl till att använda just indikatorerna externa medel respektive vetenskaplig produktion och citeringar att dessa tydligast kan kopplas till vetenskaplig kvalitet och [det är dessa] som har fått störst acceptans hos remissinstanserna (Prop. 2008/09:50, sid 55). Publicerings- och citeringsstatistik används allt oftare vid nationella och internationella jämförelser och utvärderingar av forskningens volym och kvalitet. En lång rad exempel på detta finns i (Moed 2005). Användningen av bibliometri för utvärderingar är omdiskuterad. Antalet citeringar som görs till ett vetenskapligt arbete kan ses som ett mått på den uppmärksamhet som arbetet får bland andra forskare. Ofta tolkas uppmärksamheten i sin tur som ett mått på publikationens kvalitet eller genomslag. Bibliometrisk forskning visar att det, trots skiftande orsaker till att ett arbete citeras, finns ett klart samband mellan antalet citeringar och forskares uppfattning om publikationers kvalitet. 1 Sambandet mellan antalet citeringar och kvalitet är dock inte självklart. Det finns många olika skäl till varför ett arbete citeras, av vilka en del inte alls är relaterade till kvalitet. 2 En invändning mot att använda citeringar som ett kvalitetsmått är att citeringen kan vara negativa, dvs. att skälet till att ett arbete citeras snarare är att det har brister än att det är av hög kvalitet. Bibliometriska studier har funnit att andelen negativa citeringar generellt uppgår till högst cirka 10 % av alla citeringar. 3 För stora datamaterial kan de negativa citeringarna antas vara jämt fördelade och påverkar därför inte jämförelser. Inflytelserika bibliometriska forskare har poängterat vikten av att bibliometri används med försiktighet och med kunskap om metodikens brister och problem. 4 Bibliometrisk statistik anses dock vara en mer robust kvalitetsindikator på aggregerade nivåer när medelvärden är baserade på ett stort antal publikationer. 5 Statistik över svenska lärosätens publikationer sett över en fyraårsperiod är ett sådant exempel. 6 Bibliometriska analyser som utförs vid Vetenskapsrådet baseras på Science Citation Index Expanded, Social Science Citation Index och Arts and Humanities Citation Index, vilka alla tillhandahålls av Thomson Reuters. Dessa produkter kallas här gemensamt ISI-databasen och motsvarar innehållet i Thomson Reuters tjänst Web of Science. För närvarande täcker ISIdatabasen drygt vetenskapliga tidskrifter men inga monografier eller antologier. Årligen adderas drygt 1 miljon publikationer av typerna originalartiklar och översiktsartiklar. Sverige bidrog under 2008 med 1,3 % (cirka ) av dessa. 7 1 (Aksnes 2006); se (Wallin 2005:266) för en kritisk diskussion om detta. 2 Se t.ex. (Kotiaho 1999), (Case & Higgins 2000). 3 (Moed 2005:84); (Case och Higgins 2000). 4 Se t.ex. (van Raan 2004) och (Moed 2005). 5 (Moed 2005:225), (van Raan 2005:135) 6 För de minsta lärosätena blir statistiken osäker även när den baseras på en fyraårsperiod. 7 Adressfraktionerat, se Appendix A. 5

8 Bibliometrisk indikator för vetenskaplig produktion och kvalitet Den bibliometriska modellen i Resursutredningen Den bibliometriska komponenten av medelsfördelningen för 2009 som regeringen använde i forskningspropositionen hösten 2008 baserades på ett underlag framtaget med den bibliometriska fördelningsmodell som presenterades i rapporten Resurser för citeringar från Högskoleverket (HSV). Den var en modifierad version av den modell som presenterades i resursutredningen (RUT2). 8 Båda modellerna baserades på information hämtad ur ISIdatabasen, ofta kallad Web of Science. I detta avsnitt beskrivs modellen övergripande. Modellens grundläggande idé är att för varje lärosäte beräkna antalet normalciterade publikationer inom varje ämnesområde. Antalet divideras sedan med respektive områdes waringreferensvärde, som är en statistisk uppskattning av det genomsnittliga antalet publikationer per forskare för området. Detta resulterar i det aktuella lärosätets områdesnormerade antal normalproducerande forskare inom respektive område. Summan av dessa antal för alla områden är lärosätets bibliometripoäng. Medlen i den bibliometriska modellen fördelas sedan i relation till lärosätenas bibliometripoäng. Modellen är alltså i princip tämligen enkel, men innehåller en del svårigheter. En stor del av dessa svårigheter härrör från det faktum att olika ämnesområden har olika traditioner vad gäller publikationsformer, publikationskanaler och citeringar. Inom ett visst ämne kan det typiska vara att varje forskare publicerar tre-fyra artiklar per år, och i varje artikel citeras ett tjugotal andra artiklar. Inom ett annat ämne kan det typiska vara att varje forskare publicerar en artikel vartannat år och i den citerar tio andra artiklar. För att kunna jämföra lärosäten som har olika stora andelar av sin forskning inom de olika ämnesområdena krävs någon form av ämnesnormering. Vad gäller citeringstraditioner kan en sådan normering ske genom fältnormering, vilket är en etablerad metod som utnyttjar den ämnesklassificering av tidskrifter som finns i ISIdatabasen. Varje publikation jämförs med alla andra publikationer av samma typ som publicerats inom samma fält (ämne) samma år. En publikation citerad 50 % mer än världsgenomsnittet för fältet kommer då att motsvara 1,5 normalciterade publikationer. (Se Appendix A för en detaljerad beskrivning av hur detta beräknas.) Ämnesnormeringen av produktiviteten är mer komplicerad, och diskuteras i följande avsnitt. Beräkning av waringvärdet En central del av RUT2/HSV-modellen är beräkningen av waringreferensvärdet, alltså en statistisk uppskattning av hur många publikationer en genomsnittlig forskare skriver under en given tidsperiod i ett visst ämnesområde. Grundproblemet ligger i att ISI-databasen givetvis bara innehåller information om forskare som publicerat sig under den aktuella perioden. Inom några ämnen är detta i stort sett samma sak som de aktiva forskarna i ämnet, men i andra fält finns det betydligt fler forskare. Detta beror dels på att forskning inom vissa ämnen genererar fler artiklar än forskning i andra ämnen, men också på att ISI-databasen täcker forskningen i olika ämnen olika väl. 8 Nedan refereras därför till HSV- respektive RUT2-rapporterna/modellerna. 6

9 Bibliometrisk indikator för vetenskaplig produktion och kvalitet Figur 1: Andel av publikationerna som ingår i ISI-databasen, för olika ämnesområden. Data från den norska nationella publikationsdatabasen, % 90% 80% 70% 60% 50% 40% 30% 20% 10% Web of Science's täckning i Norge 0% Kemi Biomedicin Fysik Medicin & farmakologi Biologi Matematik Teknik Odontologi Nationalekonomi Psykologi Övrig samhällsvetenskap Humaniora I Norge finns sedan några år en nationell databas av hög kvalitet med information om samtliga norska forskningspublikationer. Figur 1 ovan visar andelen ISI-publikationer i den norska publikationsdatabasen inom olika ämnesområden. Svensk och norsk forskning kan antas vara lika varandra i detta avseende. Som figuren visar täcker ISI-databasen forskning inom kemi och biomedicin mycket väl (ca 95 %), medan täckningen av teknisk och matematisk forskning är lägre. För humaniora och merparten av samhällsvetenskap är täckningen mycket låg. Antalet forskare som är synliga i ISI är alltså inte samma sak som antalet aktiva forskare. I RUT2 och HSV-rapporten beräknas det totala antalet forskare inom varje ämnesområde genom att anta att antalet publikationer per forskare följer en sannolikhetsfördelning av waringtyp. Uppskattningen av genomsnittligt antal publikationer inom området kallas för waringreferensvärdet för området.waringfördelningen introducerades av Irwin (1963) för användning inom medicinsk och biologisk statistik, och togs upp igen på 1980-talet av Wolfgang Glänzel och András Schubert m.fl. 9. Schubert & Glänzel (1984) argumenterar för att fördelningen kan användas för att uppskatta antalet forskare utifrån uppgifter om de forskare som publicerat under en given tidsperiod. Dessa arbeten visade att metoden fungerade tämligen väl i populationer av storleksordningen Sveriges eller en amerikansk delstats alla forskare. I RUT2 och HSV-rapporten var aggregationsnivån enskilda ämnesområden i Norden; 23 områden i RUT2 och 34 områden i HSV-rapporten. 9 (Schubert & Glänzel 1984), (Telcs et al 1985), (Schubert & Telcs 1986), (Schubert & Telcs 1989) och (Braun et al 1990). 7

10 Bibliometrisk indikator för vetenskaplig produktion och kvalitet Vetenskapsrådets analyser har givit för handen att detta resulterar i alltför små populationer för att resultaten ska bli stabila. En utgångspunkt i bedömningen av användbarheten för den skattade medelproduktiviteten har varit att variationen bör vara liten mellan två på varandra följande fyraårsperioder för respektive ämne. I Vetenskapsrådets analyser uppnåddes en mindre variation när antalet ämnesområden minskades till 14. Huruvida de framräknade waringreferensvärdena faktiskt är valida, dvs. om det beräknade antalet forskare inom de olika ämnena stämmer, är svårt att svara på. Samma pris för all forskning I den modell som föreslås i RUT2 och HSV-rapporten fördelas pengar efter hur många normalproducerande forskare ett lärosäte har. I detta finns ett implicit antagande om att all sorts forskning kostar lika mycket per forskare, oavsett hur mycket utrustning, resor och databearbetning, etc. som hör till forskningen. Det finns inte mycket som talar för att det skulle förhålla sig på det viset. Externa medel Olika ämnesområden har olika stor andel externa medel 10 för forskning. Det är de totala forskningsresurserna och inte bara basanslagen som är relaterat till antalet producerade publikationer. Figur 2: Andel externa medel för olika ämnesområden. Från SCB:s statistik för % 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Figur 2 ovan visar hur andelen basanslag varierar mellan olika ämnesområden. Vi ser att andelen externa medel inom teknik är nästan dubbelt så stor som inom humaniora. 10 Här definierat som driftsmedel som ej är basanslag. 8

11 Bibliometrisk indikator för vetenskaplig produktion och kvalitet RUT2/HSV-modellen tar inte hänsyn till denna sneda fördelning av externa medel. Effekten blir att de lärosäten och ämnen som har en stor andel externa medel gynnas av den bibliometriska indikatorn i RUT2/HSV-modellen. Regeringen införde faktorer för att kompensera för denna effekt. Genom att Vetenskapsrådets modell jämför med de totala driftskostnaderna för FoU försvinner effekten och någon kompensation med faktorer behövs inte. Humaniora och samhällsvetenskap Att fördela medel till humaniora och samhällsvetenskap med en bibliometrisk fördelningsmodell baserad på publikationer och citeringar i ISI-databasen är problematiskt ur flera perspektiv: De inomvetenskapliga prestigepublikationerna inom humaniora och samhällsvetenskap finns ofta inte i de internationella tidskrifter som täcks av ISI-databasen. I stor utsträckning utgörs prestigepublikationerna av monografier utgivna av internationellt välkända förlag. Antalet svenska internationella tidskriftspublikationer i ISI-databasen inom humaniora är lågt; ca 100 per år 11. På lärosätesnivå ligger volymen på ca 20 humaniorapublikationer per år eller mindre. Andelen publikationer inom humaniora som finns i ISI-databasen är låg, i Norge 5 % (jämfört med mer än 80 % andel i naturvetenskap och medicin). Det finns också stora skillnader mellan olika områden inom humaniora. Detta gör det mycket osäkert att uttala sig om läget för hela humanioraområdet utgående från citeringar i ISI-databasen. Andelen publikationer inom samhällsvetenskap som finns i ISI-databasen är högre än inom humaniora, men det beror till största delen på att nationalekonomi och psykologi har ca 50 % täckning. Utanför dessa två ämnen är täckningsgraden ca 15 %. 12 Detta gör det mycket osäkert att uttala sig om läget för hela det samhällsvetenskapliga området utgående från citeringar i ISI-databasen. I RUT2- och HSV-modellerna användes en normering för att kompensera det låga antalet publikationer i ISI-databasen inom humaniora och samhällsvetenskap. Denna normering hanterar jämförelsen mellan ämnesområdena som helhet, dvs. mellan humaniora-samhällsvetenskap och de andra ämnesområdena. Normeringen åtgärdar dock inte det faktum att de publikationer och citeringar som syns i ISI-databasen inte på ett rättvisande sätt avspeglar den egentliga produktionen och genomslaget av forskningen inom humaniora och samhällsvetenskap vid landets lärosäten, utanför ekonomi- och psykologiämnena. Att ett lärosäte får högre citeringssiffror än ett annat i ISI-databasen inom samhällsvetenskap och humaniora behöver inte bero på faktiska skillnader i publikationsvolym och citeringar för lärosätenas forskning, utan kan bero på skillnader i forskningsinriktning. De ämnesfaktorer som användes vid beräkningen av 2009 års basanslag kan inte komma till rätta med detta problem. Problemen med att utvärdera humanistisk och samhällsvetenskaplig forskning utifrån ISIdatabasen diskuteras i större detalj i Appendix B. 11 Adressfraktionerat, se Appendix A. 12 Hälften av databasens samhällsvetenskapliga publikationer är i ekonomi eller psykologi. 9

12 Bibliometrisk indikator för vetenskaplig produktion och kvalitet En svensk nationell publikationsdatabas av liknande slag som den norska är under uppbyggnad i projektet SwePub, och efter erforderlig vidareutveckling kan denna i framtiden användas som grund för en bibliometrisk medelsfördelning för de aktuella ämnena; se nedan. Universitetssjukhusen I RUT2- och HSV-rapporterna togs inga publikationer från universitetssjukhusen med i modellen. Att exkludera dem innebär att cirka 14 % av universitetens och universitetssjukhusens totala publikationsmängd ignoreras. Antalet medicinska publikationer från universitetssjukhusen och motsvarande universitet har historiskt varierat på ett sätt som antyder en viss godtycklighet i om universitet eller universitetssjukhuset används som adress. Att inkludera universitetssjukhusen i modellen skulle stabilisera fördelningen med avseende på den variation som finns vad gäller hur forskare vid universitetssjukhusen anger sin adress. Vetenskapsrådets modell För att i så hög grad som möjligt komma till rätta med de problem i RUT2/HSV-modellen som pekats ut ovan skiljer sig Vetenskapsrådets modell från RUT2/HSV-modellen på ett antal punkter. Dessa beskrivs översiktligt i detta avsnitt; detaljer ges i Appendix A. Den grundläggande principen är densamma, nämligen att antalet citeringar mäts för varje lärosäte och att skillnaderna i citeringstradition mellan olika ämnen kompenseras genom en s.k. fältnormering mot världsgenomsnittet för varje ämnesfält. Man måste också hantera skillnaden i produktion mellan olika ämnesområden, och Vetenskapsrådet har där en helt annan områdesnormering än den som används i forskningspropositionen. Istället för att med waringmetoden uppskatta antalet publikationer per forskare används SCB:s ekonomistatistik för att uppskatta driftskostnaden per normalciterad ISI-publikation för varje ämnesområde. Med hjälp av detta beräknas sedan för varje lärosäte hur stor summa det aktuella lärosätets normalciterade publikationer inom varje område motsvarar. Summan av dessa är lärosätets bibliometripoäng. Lärosätenas andel av den totala mängden bibliometripoäng kan sedan jämföras med deras andel av de totala driftskostnaderna för FoU. Genom att på detta sätt relatera lärosätenas bibliometripoäng till deras driftskostnader för FoU undviks problemet med den ojämna fördelningen av externa medel mellan olika ämnen; se avsnittet om externa medel nedan, samt Appendix A. Driftskostnader för FoU per ISI-publikation Driftskostnader för FoU per ISI-publikation för ett givet ämne beräknas som de totala driftskostnader för FoU som lärosätena redovisat för ämnet dividerat med det totala antalet normalciterade publikationer 13 inom ämnet. En svårighet i detta är att ämnesindelningen i ISIdatabasen skiljer sig markant från ämnesindelningen i den statistik som lärosätena rapporterar till SCB. Vetenskapsrådet har därför översatt både ISI-ämnen och SCB-ämnen till ett system med nio stora ämnesområden, här kallat makro9, vilket utgör grunden för beräkningen av driftskostnader för FoU per ISI-publikation. Ytterligare omräkningar görs för att kompensera för att det inom vissa ämnesområden är vanligt att driftskostnader som rapporteras inom ett område resulterar i forskning som publiceras inom även andra områden. En detaljerad beskrivning av detta ges i Appendix A. 13 Vilket är detsamma som antalet fältnormerade citeringar. 10

13 Bibliometrisk indikator för vetenskaplig produktion och kvalitet Tabell 1: Driftskostnader för FoU per ISI-publikation. För driftskostnaderna har medelvärdet för åren 2001, 2003 och 2005 använts. För publikationerna har medelvärdet från använts. Biologi Fysik Geovetenskap Humaniora Kemi Matematik Medicin Samhällsvetenskap Teknik Driftskostnader för FoU, MSEK/år Antal normalciterade publikationer/år Driftskostnader per ISI-publikation, MSEK 1,56 1,19 1,60 10,80 1,18 1,34 1,10 4,36 2,35 Driftskostnader för FoU per ISI-publikation är inte en kostnad i vardaglig bemärkelse, eftersom det skulle antyda att lärosätena inte använder sina driftsmedel till något annat än att producera ISI-publikationer, vilket inte är fallet. Detta blir extra tydligt för humanioraämnena, för vilka endast en bråkdel av publikationerna registreras i ISI-databasen, och för vilka driftskostnader per ISI-publikation därför blir mångdubbelt högre än för andra ämnen. I mer vardaglig bemärkelse är kostnaden för en ISI-publikation troligen inte högre i humaniora än i de flesta andra ämnen. Eftersläpning I SCB-statistiken över driftskostnader för FoU anges de medel som förbrukats respektive år. Det är rimligt att anta att medel som förbrukats ett visst år leder till publikationer något senare och citeringar ännu senare. Driftskostnaderna för FoU ett visst år bör därför rimligen ställas i relation till citeringar 2-4 år efteråt. Vetenskapsrådet har därför använt citeringsstatistik för åren och ekonomisk statistik för åren Lärosätenas olika andel externa medel Lärosätets bibliometripoäng bör ställas i relation till lärosätets totala driftskostnader för FoU, eftersom forskningens omfattning rimligen styrs av de totala resurserna. Andelen externa medel varierar betydligt mellan olika ämnesområden; de utgjorde 2003 cirka 38 % inom humaniora och cirka 65 % inom teknikvetenskap, medan övriga områdens andel var runt 50 % (ALF-medlen är då inkluderade inom medicin). I RUT2/HSV-modellen användes emellertid jämförelsetalet direkt för fördelningen av lärosätenas direkta statsanslag för forskning, vilket ger en stor fördel för teknik respektive nackdel för humaniora. I den fördelning som användes i forskningspropositionen avseende 2009 års medel kompenserades denna effekt med faktorer. Någon beskrivning av hur dessa faktorer tagits fram finns dock inte i propositionen. I Vetenskapsrådets modell bildas kvoten mellan lärosätets andel av de totala bibliometripoängen och lärosätets andel av de totala driftskostnaderna för FoU. Om denna kvot för ett lärosäte är större än 1 innebär det att bibliometriindikatorn ger ett positivt resultat för lärosätet och vice versa. Det naturliga är att multiplicera den del (ca 1/20) av lärosätets direkta statsanslag för forskning som ska påverkas av bibliometriindikatorn med denna kvot, 14 SCB:s statistik över driftskostnader för FoU finns endast för vartannat år. 11

14 Bibliometrisk indikator för vetenskaplig produktion och kvalitet dvs. om kvoten är 1,06 blir det en ökning med 6 % av de medel som ska fördelas, och om kvoten är 0,93 blir det en minskning med 7 % av de medel som ska fördelas. Hur stor ökningen respektive minskningen är beror naturligtvis på storleken på lärosätets direkta statsanslag för forskning (vilket, som nämnts ovan, utgör olika stora andelar av de totala driftskostnaderna för FoU vid olika lärosäten). Ett sådant förfarande ger lärosätena incitament att öka produktionen av publikationer och genomslaget av dessa (mätt som antalet citeringar). Utlyftning av humaniora och samhällsvetenskap Som beskrivet ovan bör humaniora och samhällsvetenskap hanteras på ett annat sätt än övriga ämnesområden i fördelningsmodellen, dvs. medlen för dessa ämnen bör lyftas ut före beräkningarna avseende ISI-publikationer och -citeringar för att sedan läggas tillbaka i modellen igen så att slutresultatet blir att humaniora och samhällsvetenskap inte påverkar lärosätets utfall i modellen vare sig positivt eller negativt. En detaljerad beskrivning av hur detta görs ges i Appendix A. På längre sikt bör humaniora och samhällsvetenskap inkluderas i den bibliometriska fördelningsmodellen. En kommande nationell publikationsdatabas över all vetenskaplig publicering (SwePub) kan, inom några år, skapa förutsättningar för en kvalitetspremiering inom detta område; se vidare nedan. Vetenskapsrådet föreslår att HS-området bryts ut på ovanstående sätt. För fullständighetens skull lämnar Vetenskapsrådet ett andrahandsförslag där HS-området behandlas på samma sätt som övriga områden. 15 Universitetssjukhus och ALF-medel Som nämnts ovan är det problematiskt att utelämna universitetssjukhusens publikationer från modellen, dels för att det verkar finnas en viss godtycklighet i om universitet eller universitetssjukhuset används som adress, dels för att gränsen mellan universitetssjukhus och universitet är svår att dra i ISI-databasen. I Vetenskapsrådets beräkningar har sålunda universitetssjukhusens publikationer inkluderats och tillskrivits respektive universitet. Vidare har ALF-medlen räknats in som en del av dessa universitets driftskostnader för FoU. Modellens egenskaper och utvecklingsmöjligheter Den modell som Vetenskapsrådet nu använt har ett antal egenskaper som bör poängteras. En första egenskap är att i praktiken belönas antalet citeringar snarare än antalet publikationer. En publikation som inte får några citeringar alls ökar inte lärosätets andel av indikatormedlen, och en publikation med dubbelt så många citeringar som fältgenomsnittet bidrar med dubbelt så mycket som en publikation med lika många citeringar som fältgenomsnittet. Eftersom driftskostnader per ISI-publikation beräknas nationellt har modellen också egenskapen att konkurrensen mellan lärosätena inte sker mellan de stora ämnesområdena 16, annat än i mycket begränsad omfattning. Att jämföra forskningskvalitet mellan så skilda 15 I andrahandsförslaget används, liksom i RUT2/HSV-modellen, en ren volymspremiering för humaniora, dvs. antalet citeringar ignoreras. 16 Dvs. makro9-områden. 12

15 Bibliometrisk indikator för vetenskaplig produktion och kvalitet discipliner som t.ex. geologi och onkologi är mycket problematiskt och blir inte mindre problematisk genom att det sker indirekt, genom bibliometri. Att jämföra forskning inom de stora ämnesområdena är förvisso inte oproblematiskt (t.ex. är skillnaderna mellan de två medicinämnena medicinsk kemi och vårdvetenskap betydande), men så länge jämförelsen sker på lärosätesnivå kan den dock betraktas som rimlig. En tredje egenskap är att inom de stora ämnesområdena jämförs forskningen med hela världen 17. Ämnen som vid en internationell jämförelse står sig väl citeringsmässigt får större vikt i lärosätets bibliometripoäng än ämnen som vid en internationell jämförelse står sig dåligt citeringsmässigt, förutsatt att båda ämnen hör hemma inom samma stora ämnesområde. Tvärvetenskapliga discipliner som t.ex. utbildningsvetenskap får ingen särskild hantering i modellen. ISI-databasens ämnesklasser (256 st.) sätts på tidskrifter, inte artiklar, och en och samma tidskrift kan ges upp till sju ämnesklasser. Fältnormeringen för citeringar tar hänsyn till detta, och artiklar i tvärvetenskapliga tidskrifter jämförs därför med artiklar i alla de ämnen forskningen berör. En annan dimension är att modellen inte tar i beaktande kostnaden för internationella infrastrukturinvesteringar, eftersom bara driftskostnader vid lärosätena beaktas. Beräkningen av driftskostnaden per ISI-publikation kan och bör utvecklas vidare, framförallt vad gäller matchningen mellan ISI:s och SCB:s ämnesklasser. Det arbetet bör inbegripa diskussioner med ansvariga vid lärosätena för inrapportering till SCB, och med SCB själva, för att uppnå bättre förståelse av innehållet i ämnesklasserna och av driftskostnadsrapporteringen. Arbetet bör också inbegripa studier av publiceringsmönster för forskare inom olika ämnesområden. När en nationell publikationsdatabas kommer till stånd, genom SwePub eller på annat sätt, kan denna eventuellt också användas för att förbättra beräkningen av driftskostnaden per ISI-publikation. För humaniora och samhällsvetenskap bör en bibliometrisk indikator som bygger på ett mycket bredare underlag än bara ISI-databasen tas fram snarast. En nationell publikationsdatabas, där lärosätena rapporterar in sina vetenskapliga publikationer, kan utgöra grund för en sådan indikator genom att publikationsformer och -kanaler ges olika vikt beroende på deras prestige inom respektive ämne. Ett system av det slaget används sedan några år i Norge 18. Vid Kungliga biblioteket pågår idag projektet SwePub som syftar till att skapa en publikationsdatabas genom att samla de lokala publikationsdatabaser som finns vid landets lärosäten. Genom ett mer komplett deltagande av landets lärosäten och genom en harmoniering av de system för ämnesindelning och publikationstyper som används skulle denna databas kunna utvecklas till en nationell publikationsdatabas av så hög kvalitet att den kan ge underlag till medelsfördelning. Detta arbete bör påskyndas, och för det krävs ett tydligt, centralt initiativ. Arbetet med en heltäckande nationell publikationsdatabas av hög kvalitet, samt utvecklingen av en bibliometrisk modell utifrån denna databas, bör påbörjas snarast. Konferensartiklar (conference proceedings) utgör en viktig del av flera ämnens publikationer. Detta gäller i hög grad forskning inom teknikvetenskap. Den version av ISI-databasen som Vetenskapsrådet för närvarande förfogar över innehåller inte information om konferensartiklar annat än i mycket begränsad omfattning. Både Thomson Reuters, som äger och 17 Detta gäller inte för humaniora och samhällsvetenskap, som lyfts ur modellen. 18 Vekt på forskning, Universitets- og høgskolerådet, sentrale_dokumenter 13

16 Bibliometrisk indikator för vetenskaplig produktion och kvalitet utvecklar ISI-databasen, och Elsevier, som äger och utvecklar den konkurrerande citeringsdatabasen Scopus, tillhandahåller information om konferensartiklar. Dataunderlaget för indikatorberäkningarna kan därför komma att utökas till att täcka även konferensartiklar. Den bibliometriska indikator som nu börjat användas utgör tillsammans med indikatorn för externa medel ett nytt sätt att fördela medel till landets lärosäten. Det är också förhållandevis stora medel som ska fördelas, i storleksordningen en halv miljard kronor per indikator. Det finns en risk att systemet leder till oönskade effekter. Av dessa skäl är det viktigt att såväl den bibliometriska indikatorn som indikatorn för externa medel utvärderas grundligt efter ett antal år, både vad gäller förändrade publiceringsmönster och omfördelning av medel. De två indikatorerna belyser olika aspekter av forskning och ett lärosäte kan lyckas väl i den ena indikatorn och mindre väl i den andra. Underlag för fördelning 2010 Här presenteras resultaten av Vetenskapsrådets beräkningar enligt den modell som presenterats ovan. I huvudalternativet är publikationer och driftskostnader för humaniora och samhällsvetenskap exkluderade från beräkningen och i reservalternativet är de inkluderade. 14

17 Bibliometrisk indikator för vetenskaplig produktion och kvalitet Huvudalternativ: ISI-data för humaniora och samhällsvetenskap exkluderat Lärosäte Bibliometripoäng Driftskostnader för FoU Bibliometrisk indikator 19 Uppsala universitet ,11 Lunds universitet ,15 Göteborgs universitet ,11 Stockholms universitet ,24 Umeå universitet ,97 Linköpings universitet ,96 Karolinska institutet ,97 Kungliga tekniska högskolan ,01 Chalmers tekniska högskola ,93 Luleå tekniska universitet ,49 Sveriges lantbruksuniversitet ,69 Karlstads universitet ,84 Mittuniversitetet ,72 Växjö universitet ,70 Örebro universitet ,13 Blekinge tekniska högskola ,58 Högskolan i Jönköping ,99 Högskolan i Kalmar ,98 Malmö högskola ,82 Mälardalens högskola ,65 Högskolan i Borås ,11 Högskolan Dalarna ,71 Högskolan på Gotland ,16 Högskolan i Gävle ,64 Högskolan i Halmstad ,75 Högskolan i Kristianstad ,16 Högskolan i Skövde ,75 Högskolan Väst ,44 Södertörns högskola ,82 Summa I de fall där den bibliometriska indikatorn inte överrensstämmer exakt med kvoten från de i tabellen redovisade bibliometripoängen och driftskostnaderna beror detta på att de senare är avrundade värden. 15

18 Bibliometrisk indikator för vetenskaplig produktion och kvalitet Reservalternativ: ISI-data för humaniora och samhällsvetenskap inkluderat Lärosäte Bibliometripoäng Driftskostnader för FoU Bibliometrisk indikator 20 Uppsala universitet ,14 Lunds universitet ,18 Göteborgs universitet ,08 Stockholms universitet ,27 Umeå universitet ,85 Linköpings universitet ,98 Karolinska institutet ,06 Kungliga tekniska högskolan ,09 Chalmers tekniska högskola ,99 Luleå tekniska universitet ,51 Sveriges lantbruksuniversitet ,72 Karlstads universitet ,44 Mittuniversitetet ,45 Växjö universitet ,47 Örebro universitet ,97 Blekinge tekniska högskola ,51 Högskolan i Jönköping ,76 Högskolan i Kalmar ,99 Malmö högskola ,59 Mälardalens högskola ,59 Högskolan i Borås ,75 Högskolan Dalarna ,52 Högskolan på Gotland ,51 Högskolan i Gävle ,51 Högskolan i Halmstad ,44 Högskolan i Kristianstad ,51 Högskolan i Skövde ,46 Högskolan Väst ,41 Södertörns högskola ,36 Summa I de fall där den bibliometriska indikatorn inte överrensstämmer exakt med kvoten från de i tabellen redovisade bibliometripoängen och driftskostnaderna beror detta på att de senare är avrundade värden. 16

19 Bibliometrisk indikator för vetenskaplig produktion och kvalitet Referenser Aksnes D.W. (2006). Citation rates and perceptions of scientific contribution. I Journal of the American Society for Information Science and Technology. 57: Braun, T.; Glänzel, W. & Schubert, A. (1990). Publication productivity - from frequencydistributions to scientometric indicators. Journal of Information Science 16(1): Case D.O. & Higgins, G.M. (2000). How can we investigare citation behavior? A study of reasons for citing literature in communication. I Journal of the American Society for Information Science. 51: Irwin, J.O. (1963) The place of mathematics in medical and biological statistics. Journal of the Royal Statistical Society A, 126(1):1-45. Kotiaho, J.S. (1999). Papers vanish in the mis-citation black hole. I Nature 398: 19. Moed, H.F. (2005). Citation analysis in research evaluation. Dordrecht: Springer. van Raan, A.J.F. (2005). Fatal attraction: conceptual and methodological problems in the ranking of universities by bibliometric methods. I Scientometrics 62: Regeringens proposition (Prop. 2008/09:50) Ett lyft för forskning och innovation. Schubert, A. & Glänzel, W. (1984). A dynamic look at a class of skew distributions. A model with scientometric applications. Scientometrics 6(3): Schubert, A. & Telcs, A. (1986). Publication potential an indicator of scientific strength for cross-national. Scientometrics 9(5-6): Schubert, A. & Telcs, A. (1989). Estimation of the publication potential in 50 United-States states an in the District-of-Columbia based on the frequency-distribution of scientific productivity. Journal of the American Society for Information Science 40(4): Telcs, A.; Glänzel, W. & Schubert, A. (1985). Characterization and statistical test using truncated expectations for a class of skew distributions. Mathematical Social Sciences 10: ). Vetenskapsrådet (2006). Hur mycket citeras svenska publikationer? Vetenskapsrådets rapportserie 13:2006. Wallin J.A Bibliometric methods: pitfalls and possibilities. I Basic & Clinical Pharmacology and Toxicology 97: Young, N.S; Ioannidis, J.P.A. & Al-Ubaydli, O. (2008) Why Current Publication Practices May Distort Science. I Public Library of Science Medicine, October 2008, Volum 5, Issue 10, e2001:

20 Appendix A Citerings- och kostnadsnormerad bibliometrisk indikator som underlag för fördelning av konkurrensutsatta basanslag till svenska universitet och högskolor Avdelningen för forskningspolitisk analys Vetenskapsrådet Sammanfattning Bibliometriindikatorn som beskrivs här är avsedd som underlag för fördelning av en konkurrensutsatt del av basanslagen till svenska universitet och högskolor. Modellen bygger på fyra huvudmoment: en fältnormering där varje publikation klassificeras inom ett eller flera av 256 ämnesfält och dess citeringar sätts i relation till världsmedelvärdet inom fältet eller fälten i fråga en områdesnormering för att ta hänsyn till skillnader i genomsnittliga driftskostnaden per ISI-publikation mellan 9 olika ämnesområden (här kallade makro9-områden). Kostnaden baseras på den statistik över driftskostnader för FoU som SCB beräknar från lärosätenas inrapporterade uppgifter en summering av fält- och områdesnormerade publikationer/citeringar till en bibliometrisk poäng för varje lärosäte lärosätets andel av summan av de bibliometriska poängen för alla lärosäten sätts i relation till lärosätets andel av summan av alla lärosätens driftskostnader för FoU. Denna kvot är den slutliga bibliometriska indikatorn. Med denna normeringsmetod begränsas konkurrensen till lärosätenas publicering inom respektive makro9-ämnesområde. Modellen tar också hänsyn till att externa medel bidrar till ett lärosätes kapacitet att producera publikationer. 2 Huvudmoment i modellen I detta avsnitt presenteras de övergripande momenten i modellen. För detaljerad beskrivning av beräkningen av driftskostnaden per normalciterad ISI-publikation 1 som ligger till grund för modellens kostnadsnormering hänvisas till avsnitt 3. Huvudförslaget (där HS-området lyfts ut) och andrahandsmodellen (där alla ämnen ingår i den bibliometriska fördelningen) beskrivs nedan parallellt. Modellen där HS-området lyfts ut beskrivs huvudsakligen i avsnitt 4. 1 Som datakälla för beräkningarna används Vetenskapsrådets kopia av Thomson Reuters ISI-databas (innehållande Science Citation Index Expanded, Social Science Citation Index och Arts and Humanities Citation Index). Databasen motsvarar innehållet i Thomson Reuters tjänst Web of Science. Databasen benämns här ISIdatabasen och publikationsposterna i den benämns ISI-publikationer. A:1

21 Appendix A Citerings- och kostnadsnormerad bibliometrisk indikator 2.1 Driftskostnad per ISI-publikation inom 9 makroområden (makro9) Den områdesnormerade genomsnittliga driftskostnaden, K(m), för en normalciterad 2 ISIpublikation (motsvarar ett fältnormerat citat) inom ett makro9-område m beräknas enligt detaljbeskrivning i avsnitt 3. Se bilaga 5.2 för definition av områdena i makro9. Resultatet blir en tabell över driftskostnaden per normalciterad ISI-publikation K(m) inom 9 makroområden Modell med samtliga ämnen Modell med HS-området utlyft Biologi Fysik Geovet. Humaniora Kemi Matematik Medicin Samh.vet. Teknik Diagram 1. Kostnad per normalciterad svensk publikation i ISI-databasen inom makro9- områden (medelvärde av driftskostnader för FoU 2001, 2003 och 2005 enligt SCB; enhet miljoner SEK/normalciterad publikation). Blå (mörka) staplar visar beräknad kostnad om alla ämnesområden inkluderas, gula (ljusgrå) staplar visar kostnad för övriga områden om humaniora (H) och samhällsvetenskap (S) läggs utanför modellen. Vita inramade staplar visar en genomsnittskostnad att användas för publikationer som publiceras inom H och S av forskare från andra ämnesområden om H och S hanteras vid sidan om modellen, se avsnitt 4 för en beskrivning av detta förfarande. 2.2 Bibliometriska poäng för respektive lärosäte Den bibliometriska poängen V(l) för ett lärosäte beräknas genom att summera de adressfraktionerade 3 publikationernas 4 fältfraktioner 5 multiplicerade med områdeskostnaden 2 För publikationer inom området humaniora sätts den fältnormerade citeringsgraden till 1 på grund av för litet dataunderlag för beräkning av fältnormerad citeringsgrad 3 Adressfraktionering beskrivs i bilaga Endast publikationer av Thomson ISI klassade som typerna originalartikel (article), brev (letter) och översiktsartikel (review) används som underlag för beräkning av indikatorn 5 En publikation kan klassificeras i flera olika ämnesfält. Då en publikation delas mellan ämnesfält kallas delarna fältfraktioner. Fältfraktionering och grunderna för denna beskrivs i bilaga 5.5. A:2

22 Appendix A Citerings- och kostnadsnormerad bibliometrisk indikator K(m) och antal citeringar C dividerade med fältnormen 6 µ f för respektive fältfraktion i enligt följande formel: Där: summeringen utförs över lärosätets fältfraktioner (i) av publikationer under mätperioden V(l) = lärosätets bibliometriska poäng r(l,i) = lärosätets (l) adressfraktion för fältfraktion i C(i) = antal citeringar för fältfraktion i µ f (i) = fältnorm för fältfraktion i 7 K(m(i)) = makro9-områdets (m(i)) driftskostnad per ISI-publikation för fältfraktion i Y = antal år i mätperioden Beräkningen av lärosätenas bibliometriska poäng baserar sig på publikationer från de fyra åren närmast föregående beräkningsåret, som i detta fall är Beräkningsåret i sin tur är året före det avsedda budgetåret (här används publiceringar från åren , beräkningsåret är 2009 och avsett budgetår är 2010). Slutligen divideras den bibliometriska poängen med antal år i mätperioden för att åstadkomma ett årsmedelvärde. 2.3 Lärosätenas andel av den totala bibliometriska poängen Varje lärosätes andel v(l) av lärosätenas samlade bibliometriska poäng beräknas genom att summera de bibliometriska poängen för alla lärosäten och dividera respektive lärosätes bibliometriska poäng med summan. 2.4 Lärosätenas andel av driftskostnader för FoU SCB-statistik för respektive lärosätes driftskostnader för FoU (inklusive externa medel och ALF-medel) 8 för valt jämförelseår används som underlag för beräkning av driftskostnader. Här har vi valt ett medelvärde för åren 2001, 2003 och ; se bilaga 5.1 för en diskussion om citeringseftersläpning. Vi benämner här lärosätenas redovisade driftskostnader för FoU D(l), där l betecknar respektive lärosäte. Respektive lärosätes andel, d(l), av de totala driftskostnaderna för FoU beräknas genom att summera driftskostnaderna för FoU för alla lärosäten som berörs av indikatorn och dividera respektive lärosätes driftskostnader för FoU med summan. 2.5 Lärosätenas bibliometriska indikator Varje lärosätes bibliometriska indikator beräknas genom att dividera lärosätets andel av den bibliometriska poängen v(l) med dess andel av driftskostnaderna för FoU d(l): (1) 6 Vetenskapsrådets metod för beräkning av den fältnormerade citeringsgraden beskrivs kortfattat i bilaga Genomsnittligt antal citeringar för publikationer av samma publikationstyp, inom samma fält och samma publiceringsår som den studerade artikeln. 8 Navigering: Hitta statistik -> Statistikdatabasen -> Välj via ämnesområde / Utbildning & forskning -> Forskning och utveckling inom universitets- och högskolesektorn / Driftkostnader för FoU inom högskolesektorn efter ämne och lärosäte 9 För högskolan på Gotland saknas driftsmedelstatistik för 2005, dessa har istället uppskattats genom medelvärdet för 2003 och A:3

23 Appendix A Citerings- och kostnadsnormerad bibliometrisk indikator Resultatet blir en tabell över lärosätenas bibliometriska indikatorer som kan användas som underlag för tilldelning av nya basanslag. En bibliometrisk indikator större än 1 ger ökad andel av de bibliometribaserade basanslagen medan en bibliometrisk indikator lägre än 1 ger en minskad andel av dessa anslag. 2.6 Bibliometribaserade basanslag per lärosäte Den slutliga fördelningen av den bibliometribaserade andelen av basanslag till lärosätena bör göras genom att 5 % av de tilltänkta basanslagen för kommande budgetår till respektive lärosäte lyfts av och justeras efter den bibliometriska indikatorn för lärosätet i fråga. Ett lärosäte med en bibliometrisk indikator större än 1 kommer således att få bibliometribaserade medel motsvarande mer än 5 % av sitt basanslag och ett lärosäte med en indikator mindre än 1 kommer att få bibliometribaserade medel motsvarande mindre än 5 % av basanslaget 10. (2) 3 Driftskostnad per normalciterad ISI-publikation inom respektive makro9-område I detta avsnitt beräknas den genomsnittliga driftskostnaden per ISI-publikation för ett givet makro9-område, som används i huvudmoment 2.2. Vi betecknar den med K(m), där m är makroområdet. Det bör noteras att den områdeskostnad som beräknas här inte ska tolkas som någon faktisk kostnad för en svensk vetenskaplig publikation. Det antal publikationer som används för att beräkna genomsnittskostnaden per ISI-publikation för ett område är ju baserade på den andel av områdets publikationer som syns i ISI-databasen, vilken för områdena humaniora och samhällsvetenskap utgör liten andel av de faktiska publikationerna. Därav den höga bibliometriska normeringskostnaden för publikationer inom dessa områden. 3.1 Beräkna driftskostnaderna för FoU för varje makro9-ämne Här konstrueras en matris som visar relationen mellan driftskostnader för FoU 11 per makro9- område, D(m), och antal normalciterade ISI-publikationer, P(m), inom respektive makro9- område Gruppera ämnesklasser från SCBs 3-nivå till i 9 ämnesklasser i makro9 SCBs ämnesklasser 12 som använts för redovisning av lärosätenas driftskostnader för FoU grupperas till makro9-områden. Se bilaga 5.2 för en översikt över matchning av SCBs ämnesklasser mot makro9. 10 Då summan av de beräknade tilldelningarna av bibliometribaserade basanslag eventuellt inte summerar exakt till 5 % av de totala basanslagen kan det komma att behövas en mindre skaljustering för att få summan att stämma. 11 SCB samlar in uppgifter om intäkter för forskning och forskarutbildning från de olika lärosätena. Dessa uppgifter räknar SCB om i två beräkningssteg. Det första steget exkluderar avskrivningar och det andra steget exkluderar forskarutbildningens utbildningsmoment. Det resultat som SCB kommer fram till benämns intäkter (driftskostnader) för FoU och publiceras fördelat på lärosäte och 3-sifferämne. Vi använder i denna PM den förenklade benämningen driftskostnader för FoU 12 Också kallade för nationella forskningsämnen. Vi har utgått från den så kallade 3-siffernivån. A:4

24 Appendix A Citerings- och kostnadsnormerad bibliometrisk indikator Områdesgruppera lärosätenas adresser enligt makro9 De svenska lärosätenas adresser grupperas i adressområden enligt makro9 genom en manuell klassning baserat på informationen i de adresser som författarna angivit i publikationerna. Drygt 90 % av alla adresser till de aktuella lärosätena har klassats på detta sätt. En stor del av de återstående publikationerna har adresser som antingen inte ger någon ämnesidentifierare (t.ex. enbart lärosätets namn) eller ett institutionsnamn som omfattar flera makro9-ämnen. För beräkningarna där humaniora och samhällsvetenskap lyfts ut ur fördelningsmodellen (se avsnitt 4.1) behövs ett makro9-ämne till samtliga adresser. De adresser som inte klassats enligt kriterierna ovan har givits ett område utifrån ämnesklassningen av den tidskrift där artikeln är publicerad Gruppera publikationsinformation från ISI-databasen enligt makro9 Tidskrifterna i ISI-databasen är tilldelade en eller flera av 256 ämnesklasser. Vetenskapsrådet har grupperat dessa tidskriftsämnen till 9 makroområden för att åstadkomma en matchning mellan SCBs ämnesklasser för driftskostnaderna och ISIs ämnesklasser för tidskrifterna. Grupperingarna av ISI-ämnesklasserna i makro9-områden finns redovisade i bilaga Beräkna fördelningen av adressområdenas citeringar över publikationsområden Fördelningen av normalciterade publikationer (fältnormerade citeringar) 13 från de olika adressområdena från avsnitt över de olika publikationsområdena från avsnitt beräknas. Detta ger en uppgift om hur stor andel biologipublikationer, fysikpublikationer, kemipublikationer osv. de olika adressområdena har. Detta antas vara den fördelning av driftskostnader för FoU som forskarna placerade inom olika adressområden lagt på olika publikationsområden. Resultatet blir en matris med relationer mellan adressområden och publikationsområden, båda enligt makro9, som visar hur adressområdenas publikationer fördelar sig över publikationsområdena. Denna uppgift används sedan för att omföra driftskostnader för FoU från adressområden till driftskostnader för FoU för publikationsområden. 13 För publikationer inom området humaniora sätts den fältnormerade citeringsgraden till 1 på grund av för litet dataunderlag för beräkning av normerad citeringsgrad. 14 Genomgående används adressfraktionering när publikationer och citeringar tilldelas till ett lärosäte och fältfraktionering när de tilldelas ett område. Se bilaga 5.5 för definition och beskrivning av dessa tekniker. 15 Med antal publikationer avses här genomgående antal normalciterade publikationer, vilket beräkningstekniskt är likvärdigt med antal fältnormerade citeringar. A:5

25 Appendix A Citerings- och kostnadsnormerad bibliometrisk indikator Adressområde Publikationsområde Biologi Fysik Geovet. Humaniora Kemi Matematik Medicin Samh.vet. Teknik Biologi 59,5% 1,0% 5,1% 0,0% 1,5% 0,3% 23,7% 1,8% 7,1% Fysik 0,5% 65,0% 1,1% 0,0% 12,2% 0,3% 3,3% 0,1% 17,5% Geovetenskap 14,7% 1,4% 63,6% 0,3% 0,9% 0,0% 0,8% 0,8% 17,4% Humaniora 1,2% 0,6% 1,3% 64,8% 0,1% 0,2% 6,0% 15,0% 10,9% Kemi 1,6% 14,3% 1,2% 0,0% 57,7% 0,5% 11,0% 0,2% 13,4% Matematik 2,8% 7,8% 0,2% 0,2% 0,4% 72,5% 4,0% 0,5% 11,7% Medicin 2,7% 1,4% 0,2% 0,1% 2,1% 0,1% 89,5% 2,0% 2,1% Samhällsvetenskap 1,4% 1,2% 0,5% 3,3% 0,1% 1,5% 21,8% 59,2% 10,9% Teknik 2,2% 16,0% 1,5% 0,3% 15,5% 1,9% 7,4% 2,1% 53,2% Tabell 1. Matris över fördelningen av adressområdenas publikationer över publikationsområden Omför driftkostnader för FoU från adressområden till publikationsområden Uppgifter om driftskostnader för FoU (här har ett medelvärde för åren 2001, 2003 och 2005 använts) för respektive makro9-område hämtas från SCB-statistik. Med hjälp av matrisen över relationerna mellan adressområdena och publikationsområdena kan driftskostnader för FoU omföras från adressområden till publikationsområden. Fördela driftskostnaderna på de olika makro9-områdena enligt fördelningen i matrisen från föregående steg. Resultatet blir en ny matris med driftskostnader för FoU per adress/publikationsområde. Summan i matrisen visar driftskostnader för FoU per makro9-område för publikationerna, D(m). Adressområde M SEK /år Fördelat över publikationsområden Totalt Biologi Fysik Geovet Hum Kemi Matematik Medicin Samh.- vet Teknik Andel låst Biologi ,1 Fysik ,1 Geovetenskap ,1 Humaniora ,9 Kemi Matematik ,3 Medicin ,1 Samh.vet ,7 Teknik ,4 Totalt MSEK/år D(m) Tabell 2. Driftskostnader för FoU (MSEK) omförda från adressområde till publikationsområde. A:6

26 Appendix A Citerings- och kostnadsnormerad bibliometrisk indikator Vid fördelningen av driftsmedel för FoU från adressområden till publikationsområden med matrisen i tabell 2 måste man ta hänsyn till att de varierande täckningsgraderna 16 i ISIdatabasen för de olika områdena ger oss en något skev bild av hur de olika adressområdenas publicering fördelar sig. Eftersom synligheten är större för samhällsvetenskap än för humaniora ser det till exempel ut som om humanistiska forskare lägger en stor del av sitt arbete på att publicera sig inom samhällsvetenskap och konsekvensen skulle bli att driftskostnader för FoU flyttas från humaniora till samhällsvetenskap. På samma sätt skulle pengar flyttas från samhällsvetenskap till medicin endast för att den medicinskt relaterade samhällsvetenskapliga forskningen är mycket mer synlig i ISI-databasen än den övriga samhällsvetenskapliga forskningen. Därför används här områdenas skattade täckningsgrad som en modererande faktor vid fördelningen från adressområden till publikationsområden. Modereringen görs genom att anta att driftskostnader för FoU för publikationer som inte syns i ISI-databasen stannar inom det ämnesområde som ges av organisationsadressen, medan den andel som syns i databasen omfördelas enligt det mönster som beräknades under punkt För till exempel samhällsvetenskap med en synlighetsgrad om 30 % innebär detta att 70 % av medlen stannar inom samhällsvetenskap innan omfördelningen görs på kvarvarande 30 %. Andelen medel som har låsts vid respektive adressområde finns redovisat i kolumnen längst till höger, Andel låst, i tabellen. 3.2 Driftskostnaden per normalciterad ISI-publikation inom respektive makro9-område Efter att driftskostnaden för FoU per publikationsområde har beräknats kan driftskostnaden per normalciterad ISI-publikation beräknas genom att dividera med antal normalciterade svenska publikationer i respektive område Beräkna antalet normalciterade ISI-publikationer inom respektive makro9-område Antal normalciterade svenska publikationer per år i ISI-databasen inom varje makro9-område summeras, se tabell 3. Vi betecknar denna summa per område som P(m). Beräkningen görs genom att den svenska andelen, baserat på adressfraktionering, av varje publikation multipliceras med publikationens fältnormerade citeringsgrad. En publikation citerad 50 % mer än världsgenomsnittet för fältet kommer då att motsvara 1,5 normalciterade ISI-publikationer Beräkna kostnad per ISI-publikation för varje makro9-område Den genomsnittliga driftskostnaden per normalciterad ISI-publikation ges av: där m betecknar makro9-området. (3) 16 Täckningsgrad i ISI-databasen är beräknad baserad på uppgifter från norska Database for statistikk om høgre utdanning (DBH). A:7

27 Appendix A Citerings- och kostnadsnormerad bibliometrisk indikator Totalt Biologi Fysik Geovet Hum Kemi Matematik Medicin Samh.vet Teknik Summa MSEK D(m) Antal norm.cit. publ. P(m) MSEK /publ K(m) 1,60 1,56 1,19 1,60 10,80 1,18 1,34 1,10 4,36 2,35 Tabell 3. Driftskostnad i MSEK per svensk normalciterad ISI-publikation i respektive makro9-område. Första raden i tabellen är identisk med sista raden från tabell 2. 4 Hantering av områdena humaniora och samhällsvetenskap vid sidan om de bibliometriska beräkningarna Att fördela forskningsmedel till områdena humaniora och samhällsvetenskap på basis av statistik från ISI-databasen är vanskligt beroende på den låga och ojämna täckningen av den vetenskapliga publiceringen från dessa discipliner. Dessutom är internationella tidskrifter ofta inte det forum där prestigepublikationer inom dessa områden normalt förekommer. Därför förelås här en metod för att hantera dessa områden utanför de bibliometriska beräkningarna, medan övriga områden hanteras inom modellen enligt vad som beskrivits ovan. Metoden bygger på att driftskostnaderna för FoU för humaniora och samhällsvetenskap lyfts av och hålls vid sidan om den bibliometriska omfördelningen, för att sedan återföras till lärosätena i samband med slutberäkningen av den bibliometriska indikatorn. 4.1 Driftskostnad per normalciterad ISI-publikation I princip är beräkningarna i detta steg de samma som beskrivits för modellen inkluderande alla ämnesområden under avsnitt ovan, men med följande ändringar: I steg ignoreras alla publikationer med adresser som områdesklassats som humaniora eller samhällsvetenskap. I steg undantas driftskostnader för FoU som adressområdesklassats som humaniora eller samhällsvetenskap i SCBs statistik från omfördelningen. I samma steg undantas alla publikationer i tidskrifter som områdesklassats som humaniora eller samhällsvetenskap. I steg sätts K(m) för återstående publikationer inom humaniora och samhällsvetenskap till medelvärdet av publiceringskostnaden för alla svenska publikationer. Detta gäller alltså de publikationer inom publikationsområdena humaniora och samhällsvetenskap som producerats av forskare från andra adressområden. Efter att beräkningarna i 3.1 och 3.2 är genomförda med publikationer inom humaniora och samhällsvetenskap undantagna erhålls en driftskostnad per ISI-publikation som skiljer sig något från den där alla ämnesområden ingår i modellen. A:8

28 Appendix A Citerings- och kostnadsnormerad bibliometrisk indikator Biologi Fysik Geovet. Humaniora Kemi Matematik Medicin Samh.vet. Teknik Medelvärde MSEK /publ K -hs(m) 1,56 1,18 1,59 1,18 1,33 1,09 2,37 1,35 Tabell 4. Driftskostnad i MSEK per normalciterad ISI-publikation, K -hs (m) om humaniora och samhällsvetenskap hanteras vid sidan om modellen. Humaniora och samhällsvetenskap sätts till medelvärdet. 4.2 Reservera lärosätenas driftskostnader för FoU för humaniora och samhällsvetenskap till slutberäkningen Lyft ut varje lärosätes driftskostnader för FoU för humaniora och samhällsvetenskap, D hs (l) och reservera dessa för att läggas till efter att den bibliometriska poängen för lärosätet är beräknat för de övriga områdena. 4.3 Beräkna bibliometriska poäng för återstående områdens publikationer I steg 2.2 i den ordinarie beräkningen ignoreras publikationer med adresser klassade som humaniora eller samhällsvetenskap och värdet av lärosätets citeringsmängd beräknas på följande sätt: där summeringen utförs över lärosätets fältfraktioner, i, av publikationer under mätperioden, exklusive de publikationer som producerats av enheter inom humaniora och samhällsvetenskap V -hs (l) = lärosätets Bibliometriska poäng under mätperioden, exklusive områdena humaniora och samhällsvetenskap r(l,i) = lärosätets (l) adressfraktion för fältfraktion i c f (i) = fältnormerad citeringsgrad för fältfraktion i µ f (i) = fältnorm för fältfraktion i 17 K -hs (m(i)) = makro9-områdets (m(i)) driftskostnad per ISI-publikation för fältfraktion i enligt tabell 4 Y = antal år i mätperioden 4.4 Beräkna lärosätenas totala bibliometriska poäng genom att addera bibliometriska poäng och reserverade driftsmedel för FoU Lärosätenas totala bibliometriska poäng beräknas genom att addera bibliometriska poäng och reserverade driftsmedel för FoU för humaniora och samhällsvetenskap: där (4) (5) 17 Genomsnittligt antal citeringar för publikationer av samma publikationstyp, inom samma fält och samma publiceringsår som den studerade artikeln. A:9

29 Appendix A Citerings- och kostnadsnormerad bibliometrisk indikator V (l) = lärosätets totala bibliometriska indikator, beräknad med humaniora och samhällsvetenskap i separat hantering V -hs (l) = lärosätets bibliometriska poäng, exklusive humaniora och samhällsvetenskap D hs (l) = lärosätets driftsmedel för FoU för humaniora och samhällsvetenskap 4.5 Slutberäkningen av den bibliometriska indikatorn (där humaniora och samhällsvetenskap behandlats separat) Efter att den bibliometriska poängen med separat hantering av humaniora och samhällsvetenskap, V (l), har räknats ut kan den slutliga bibliometriska indikatorn beräknas i enlighet med modellen för samtliga områden beskriven i stegen 2.3, 2.4 och 2.5: 2.3 beräkna lärosätets andel av den totala bibliometriska poängen, v (l) 2.4 beräkna lärosätets andel av driftskostnaderna för FoU, d(l) 2.5 division av andelen bibliometriska poäng med andelen driftskostnader för FoU ger den bibliometriska indikatorn E (l) Vi får en tabell med lärosätenas bibliometriska indikatorer med humaniora och samhällsvetenskap utbrutet, E (l). Denna är avsedd som ett underlag för fördelning av bibliometribaserade basanslag enligt beskrivningen i avsnitt Bilagor 5.1 Citeringseftersläpning Driftskostnader för FoU som läggs på forskning vid ett lärosäte ett givet år resulterar normalt inte i publiceringar och citeringar till lärosätet samma år, utan vanligen några år senare. Det är därför lämpligt att använda ekonomisk statistik som är några år äldre än citeringsstatistiken, förslagsvis tre år. Den senaste beräkningsbara fyraårsperioden för citeringar är Vi har valt att jämföra dessa med ett medelvärde för ekonomistatistiken för åren 2001, 2003 och (inför budgetåret 2010). Vid beräkning av den bibliometriska indikatorn för budgetår 2011 används lämpligen ett medelvärde av redovisningsåren 2003 och 2005 för att representera jämförelseåret För budgetåret 2012 kan sedan åter ett medelvärde över de tre åren 2003, 2005 och 2007 användas för att representera jämförelseåret Makro9 En av de metodologiska utmaningarna med den presenterade modellen är att skapa en koppling mellan den ämnesgruppering som finns i ekonomistatistiken och den som finns i publikationsdatabasen. Den använda makro9-grupperingen är en kompromiss mellan en detaljerad områdesvikt (med många ämnen) och en robust ämnesmässig koppling mellan ekonomistatistik och de ämnen som används i publikationsdatabasen. Aggregeringen av ämnen i ekonomistatistiken till makro9 ämnen redovisas i bilaga 5.3 och aggregeringen av publikationsdatabasens 256 ämnesklasser till makro9-ämnen i bilaga Driftkostnadsstatistik för FoU redovisas bara vartannat år. A:10

30 Appendix A Citerings- och kostnadsnormerad bibliometrisk indikator 5.3 Matchning av SCBs ämnesklasser till makro9-områden Makro9-område SCB-ämne Biologi animalieproduktion Biologi biologi Biologi vatten i natur och samhälle Biologi veterinärmedicin Biologi växtproduktion Fysik fysik Geovetenskap geovetenskap Geovetenskap markvetenskap Humaniora estetiska ämnen Humaniora historisk-filosofiska ämnen Humaniora kommunikation mellan människor Humaniora kulturarv och kulturproduktion Humaniora religionsvetenskap/teologi Humaniora språkvetenskap Humaniora övr. humaniora och religionsvetenskap Kemi kemi Matematik matematik Medicin ej ämnesuppdelade ALF-medel Medicin farmaci Medicin fysiologi och farmakologi Medicin hälso- och sjukvård i samhället Medicin idrott Medicin kirurgi Medicin medicin Medicin medicinsk kemi 19 Medicin mikrobiologi Medicin morfologi Medicin odontologi Medicin psykiatri Medicin socialmedicin Medicin vårdvetenskap Medicin äldre och åldrande Medicin övrig medicin Samhällsvetenskap barn Samhällsvetenskap ekonomi Samhällsvetenskap etnicitet Samhällsvetenskap genus 19 SCBs forskningsämne på 3-siffernivån, 186 kemi, är här benämnt medicinsk kemi för att tydliggöra att det är en underavdelning till forskningsämne medicin på 2-siffernivån. A:11

31 Appendix A Citerings- och kostnadsnormerad bibliometrisk indikator Samhällsvetenskap Samhällsvetenskap Samhällsvetenskap Samhällsvetenskap Samhällsvetenskap Samhällsvetenskap Samhällsvetenskap Teknik Teknik Teknik Teknik Teknik Teknik Samhällsvetenskap Teknik Teknik Teknik Teknik Teknik Teknik Övrigt Övrigt hushålls- och kostvetenskap rättsvetenskap/juridik socialvetenskap statistik, data- och systemvetenskap teknik och social förändring övrig samhällsvetenskap areell ekonomi areell teknik bioteknik elektroteknik, elektronik och fotonik industriell teknik och ekonomi informationsteknik kemiteknik landskapsplanering produktforskning samhällsbyggnadsteknik och arkitektur teknisk fysik teknisk materielvetenskap teknisk mekanik övrig ämnesfördelad teknikvetenskap ej ämnesuppdelat utom ALF-medel övriga ämnen 5.4 Matchning av ISI-klasser till makro9-områden Makro9-område Biologi Fysik Geovetenskap Humaniora Kemi Matematik Thomson ämnesklasser Agriculture, Dairy & Animal Science; Agriculture, Multidisciplinary; Agronomy; Biodiversity Conservation; Biology; Biology, Miscellaneous; Developmental Biology; Ecology; Entomology; Evolutionary Biology; Fisheries; Forestry; Horticulture; Limnology; Marine & Freshwater Biology; Mathematical & Computational Biology; Mycology; Ornithology; Plant Sciences; Reproductive Biology; Veterinary Sciences; Zoology; Acoustics; Astronomy & Astrophysics; Biophysics; Nuclear Science & Technology; Optics; Physics, Applied; Physics, Atomic, Molecular & Chemical; Physics, Condensed Matter; Physics, Fluids & Plasmas; Physics, Mathematical; Physics, Multidisciplinary; Physics, Nuclear; Physics, Particles & Fields; Thermodynamics; Geochemistry & Geophysics; Geography, Physical; Geology; Geosciences, Multidisciplinary; Meteorology & Atmospheric Sciences; Mineralogy; Oceanography; Paleontology; Soil Science; ; Archaeology; Architecture; Art; Asian Studies; Classics; Communication; Ethics; Film, Radio, Television; Folklore; History; History & Philosophy of Science; History of Social Sciences; Humanities, Multidisciplinary; Language & Linguistics; Linguistics; Literary Reviews; Literary Theory & Criticism; Literature; Literature, Romance; Literature, Slavic; Medieval & Renaissance Studies; Music; Philosophy; Religion; Theater; Chemistry, Analytical; Chemistry, Applied; Chemistry, Inorganic & Nuclear; Chemistry, Multidisciplinary; Chemistry, Organic; Chemistry, Physical; Crystallography; Electrochemistry; Polymer Science; Spectroscopy; Mathematics; Mathematics, Applied; Mathematics, Interdisciplinary Applications; A:12

32 Appendix A Citerings- och kostnadsnormerad bibliometrisk indikator Statistics & Probability; Medicin Samhällsvetenskap Teknik Allergy; Anatomy & Morphology; Andrology; Anesthesiology; Biochemical Research Methods; Biochemistry & Molecular Biology; Biotechnology & Applied Microbiology; Cardiac & Cardiovascular System; Cell Biology; Chemistry, Medicinal; Clinical Neurology; Critical Care Medicine; Dentistry, Oral Surgery & Medicine; Dermatology; Emergency Medicine; Endocrinology & Metabolism; Gastroenterology & Hepatology; Genetics & Heredity; Geriatrics & Gerontology; Gerontology; Health Care Sciences & Services; Hematology; Immunology; Infectious Diseases; Integrative & Complementary Medicine; Medical Ethics; Medical Informatics; Medical Laboratory Technology; Medicine, General & Internal; Medicine, Legal; Medicine, Research & Experimental; Microbiology; Microscopy; Neuroimaging; Neurosciences; Nursing; Nutrition & Dietetics; Obstetrics & Gynecology; Oncology; Ophthalmology; Orthopedics; Otorhinolaryngology; Parasitiology; Pathology; Pediatrics; Peripheral Vascular Disease; Pharmacology & Pharmacy; Physiology; Psychiatry; Psychology, Clinical; Public, Environmental & Occupational Health; Radiology, Nuclear Medicine & Medical Imaging; Rehabilitation; Respiratory System; Rheumatology; Sport Sciences; Substance Abuse; Surgery; Toxicology; Transplantation; Tropical Medicine; Urology & Nephrology; Virology; Anthropology; Area Studies; Behavioral Sciences; Business; Business, Finance; Criminology & Penology; Demography; Economics; Education & Educational Research; Education, Scientific Disciplines; Education, Special; Environmental Studies; Ethnic Studies; Family Studies; Geography; Health Policy & Services; Hospitality, Leisure, Sport & Tourism; Industrial Relations & Labor; International Relations; Law; Management; Planning & Development; Political Science; Politics & Policy; Psychology; Psychology, Applied; Psychology, Biological; Psychology, Developmental; Psychology, Educational; Psychology, Experimental; Psychology, Mathematical; Psychology, Multidisciplinary; Psychology, Psychoanalysis; Psychology, Social; Public Administration; Social Issues; Social Sciences, Biomedical; Social Sciences, Interdisciplinary; Social Sciences, Mathematical Methods; Social Work; Sociology; Urban Studies; Women's Studies; Agricultural Economics & Policy; Agricultural Engineering; Automation & Control Systems; Computer Science, Artificial Intelligence; Computer Science, Cybernetics; Computer Science, Hardware & Architecture; Computer Science, Information Systems; Computer Science, Interdisciplinary Applications; Computer Science, Software Engineering; Computer Science, Theory & Methods; Construction & Building Technology; Energy & Fuels; Engineering, Aerospace; Engineering, Biomedical; Engineering, Chemical; Engineering, Civil; Engineering, Electrical & Electronic; Engineering, Environmental; Engineering, Geological; Engineering, Industrial; Engineering, Manufacturing; Engineering, Marine; Engineering, Mechanical; Engineering, Multidisciplinary; Engineering, Ocean; Engineering, Petroleum; Ergonomics; Food Science & Technology; Imaging Science & Photographic Technology; Information Science & Library Science; Instruments & Instrumentation; Materials Science, Biomaterials; Materials Science, Ceramics; Materials Science, Characterization, Testing; Materials Science, Coatings & Films; Materials Science, Composites; Materials Science, Multidisciplinary; Materials Science, Paper & Wood; Materials Science, Textiles; Mechanics; Metallurgy & Metallurgical Engineering; Metallurgy & Mining; Mining & Mineral Processing; Nanoscience & Nanotechnology; Operations Research & Management Science; Remote Sensing; Robotics; Telecommunications; Transportation; Transportation Science & Technology; 5.5 Adress- och fältfraktionering Vid beräkning av antal publikationer använder Vetenskapsrådet genomgående så kallad adressfraktionering. Adressfraktioneringen innebär att ett lärosäte tillgodoräknas den andel av en publikation som motsvarar dess andel av författar- och särtrycksadresserna i publikationen. Om till exempel ett A:13

33 Appendix A Citerings- och kostnadsnormerad bibliometrisk indikator lärosätes forskare står för 2 av totalt 5 adresser kommer det att tillgodoräknas 40 % av publikationen. För de fältnormerade citeringarna till en publikation innebär adressfraktioneringen att värdet på dessa även fraktioneras i motsvarande grad. En publikation med fältnormerad citeringsgrad 1,5 kommer att motsvara 1,5 normalciterade publikationer, men om lärosätets adressandel är 40 % kommer publikationen att motsvara 1,5*0,4 = 0,6 fältnormerade citeringar eller normalciterade publikationer för lärosätet i fråga. För artiklar publicerade i tidskrifter som av Thomson ISI är klassificerade i flera ämnesfält används även så kallad fältfraktionering vid beräkning av det den bibliometriska poängen. Fältfraktioneringen innebär att en publikation delas upp i en fraktion för varje ämnesklass och den fältnormerade citeringsgraden beräknas för respektive fältfraktion var för sig. Om de olika fältfraktionerna är placerade i olika makro9-områden kommer de olika fraktionerna att representera olika publiceringskostnader K(m). Genom att summera samtliga fältfraktioner av ett lärosätes adressfraktioner av publikationer kommer fältnormeringen för citeringsgrad och områdesnormeringen för publiceringskostnad att kunna utföras i en och samma process i formlerna (1) och (4). 5.6 Fältnormerad citeringsgrad Då citeringstraditionerna varierar inom olika forskningsfält betraktas det inte som rättvisande att jämföra citeringstalen för publikationer från olika fält utan att införa någon form av korrektion för olikheterna mellan forskningsfälten. En publikations ålder och dess dokumenttyp påverkar också den genomsnittliga citeringsfrekvensen. Översiktsartiklar citeras i genomsnitt 2,5 gånger mer än originalartiklar och en publikation samlar i genomsnitt på sig fler citeringar ju äldre den blir. För att korrigera för dessa olika faktorer använder bibliometriska studier ofta en metod som benämns fältnormering, vilket innebär att varje publikations citeringar bedöms i förhållande till genomsnittligt antal citeringar för publikationer av samma publikationstyp, samma publiceringsår och inom samma forskningsfält. Som bas för indelningen i forskningsfält används som regel de 256 olika ämnesområden som Thomson ISI klassificerar sina tidskrifter efter. Då en tidskrift kan vara klassificerad inom flera fält kan en publikation komma att delas upp i flera fältfraktioner och erhålla en fältnormerad citeringsgrad för vart och ett av ämnesfälten. Publikationen erhåller då som resultat av fältfraktioneringen en fältnormerad citeringsgrad som är ett medelvärde av normeringsvärdet från de olika fälten. Exempel: En originalartikel om medicinsk pedagogik är publicerad i en tidskrift som av Thomson ISI är klassificerad inom fälten Medicine, General & Internal och Education, Scientific Disciplines. Publikationen har erhållit 10 citeringar, exklusive självciteringar. Fältnormen inom ämnet Medicine, General & Internal är 5 citeringar för publikationer av denna typ och ålder. Fältnormen inom Education, Scientific Disciplines för samma publikationstyp och ålder är 2 citeringar. Publikationens fraktioner i de olika ämnesområdena kommer då att erhålla en fältnormerad citeringsgrad om 10/5 = 2 inom Medicine, General & Internal och en citeringsgrad om 10/2 = 5 inom området Education, Scientific Disciplines. Den fältnormerade citeringsgraden för publikationen blir då medelvärdet av de normerade citeringsgraderna för de två fältfraktionerna för publikationen i fråga, i detta fall (2+5)/2 = 3,5. När en fältnormering av antalet citeringar till en publikation har genomförts kommer en normalciterad publikation att få värdet 1, vilket innebär att publikationen beräkningsmässigt A:14

34 Appendix A Citerings- och kostnadsnormerad bibliometrisk indikator blir liktydig med ett fältnormerat citat, varför denna beteckning ibland används i beskrivningen av indikatorn. En publikation citerad 50 % mer än genomsnittet i sitt fält kommer på samma vis att motsvara 1,5 normalciterade publikationer, vilket beräkningsmässigt är lika med 1,5 fältnormerade citat. För citeringsberäkningarna i den här beskrivna bibliometriska indikatorn har ett så kallat öppet citeringsfönster använts, vilket innebär att alla citeringar till en publikation från dess publiceringsdatum fram till analysdatum räknas in i beräkningen. Vetenskapsrådets metod för beräkning av fältnormerad citeringsgrad innebär att så kallade självciteringar tas bort från både den bedömda publikationen och referensgrupperna. Som självcitering räknas en referens från en publikation där något av namnen i författarlistan ingår i den publikation som citeras. A:15

35 Appendix B Svårigheter med bibliometriska utvärderingar av humaniora och samhällsvetenskap Avdelningen för forskningspolitisk analys Vetenskapsrådet I kritiken av bibliometriska utvärderingar av forskning är det två argument som är särskilt relevanta inom humaniora och samhällsvetenskap: 1. Sambandet mellan å ena sidan vetenskapliga publikationer och citeringar och å andra sidan forskningsvolym och -kvalitet är svagt. 2. ISI-databasen (Web of Science) mäter inte de vetenskapliga publikationerna och citeringarna på ett tillfredsställande sätt. Det första argumentet gäller strängt taget inte bara humaniora och samhällsvetenskap. Exempel på allmän kritik av citeringsräkning ges i (MacRoberts & MacRoberts 1996) och (Hargens 2000), där författarna pekar på att citeringar används till mycket annat än till att ge uppmärksamhet åt den forskning man bygger vidare på. Problemet är dock accentuerat inom humaniora och samhällsvetenskap, vilket visas av bland annat Hurt (1987) och Hargens (2000), som båda pekar på att användningen av den citerade litteraturen skiljer sig åt mellan olika ämnesområden. Inom områden som humaniora och samhällsvetenskap används referenser i stor utsträckning för att ge ett sammanhang för den forskning som ska presenteras. Referenslistorna till dessa arbeten kan då karaktäriseras som orienterande och domineras av grundläggande och äldre arbeten. Inom andra områden som naturvetenskap och teknik, vilka karaktäriseras av en högre publiceringsfrekvens och en mer omfattande litteratur, används referenserna framför allt till att beskriva forskningsfronten inom området och är därför nyare. Inom humaniora och samhällsvetenskap utgör också en ibland stor del av referenserna redovisningar av vilket källmaterial som ligger till grund för den forskning som publikationen behandlar. Sammantaget leder detta till slutsatsen att det första argumentet innebär en allvarligare kritik mot bibliometri som utvärderingsinstrument för stora delar av humaniora och samhällsvetenskap än för naturvetenskap, teknikvetenskap och medicin. Det svagare sambandet mellan publikationer/citeringar och forskningens volym/kvalitet innebär att ett incitamentssystem som direkt belönar det ena beteendet (att producera många publikationer som får många citeringar) i syfte att påverka det andra beteendet (att producera mycket forskning av hög kvalitet) får problem. Den vanligt förekommande skepsisen mot just detta samband bland forskarna inom humaniora och samhällsvetenskap (se t.ex. Myrdal 2008; Nordin 2008; Royal Society 2009) förstärker effekterna av det problemet. Forskare som är följsamma mot belöningssystemet kan då komma att inte i första hand försöka öka och förbättra forskningen, utan att i stället försöka hitta andra vägar för att höja sina publikations- och citeringssiffror. Det andra argumentet gäller humaniora och samhällsvetenskap i högre grad än andra ämnesområden på grund av de kriterier som används för vad som ska inkluderas i ISIdatabasen. Nedan diskuteras dessa kriterier med fokus på de effekter det får för humaniora och samhällsvetenskap. B:1

36 Appendix B Svårigheter med bibliometriska utvärderingar av humaniora och samhällsvetenskap ISI-databasens kriterier Något förenklat kan Thomson Reuters kriterier för vilka publikationer som ska inkluderas i ISI-databasen beskrivas med fyra ord: de bästa, internationella, vetenskapliga tidskrifterna 1. Alla dessa fyra kriterier är problematiska när det gäller humaniora och samhällsvetenskap. Att begränsa sig till tidskrifter innebär att andra former för spridning av forskningsresultat, som monografier, antologier, vetenskapliga utgåvor, artiklar i dagspress, populärvetenskapliga artiklar, läromedel och rapporter exkluderas. Detta påverkar vissa ämnen mer än andra, vilket kan illustreras med bilder från en studie gjord vid Uppsala universitet: 2 Figur 1: Fördelning av publikationsformer för olika ämnen. Från Uppsala universitets studie Quality and renewal Se för en utförligare beskrivning av Thomson Reuters urvalsprocess. 2 (Uppsala universitet 2007) B:2

Publicera! Svenska forskningsbiblioteks arbete med publiceringsfrågor. Helena Francke på uppdrag av Svensk Biblioteksförening 2013

Publicera! Svenska forskningsbiblioteks arbete med publiceringsfrågor. Helena Francke på uppdrag av Svensk Biblioteksförening 2013 Publicera! Svenska forskningsbiblioteks arbete med publiceringsfrågor Helena Francke på uppdrag av Svensk Biblioteksförening 2013 World Trade Center Box 70380 107 24 Stockholm Tel: 08-545 132 30 info@biblioteksforeningen.org

Läs mer

2014:27. Forskningsanslagen ur ett jämställdhetsperspektiv

2014:27. Forskningsanslagen ur ett jämställdhetsperspektiv 2014:27 Forskningsanslagen ur ett jämställdhetsperspektiv MISSIV DATUM DIARIENR 2014-12-01 2013/257-5 ERT DATUM ER BETECKNING 2013-11-14 U2013/6713/JÄM Regeringen Utbildningsdepartementet 103 33 Stockholm

Läs mer

Rörligheten mellan svenska lärosäten bland professorer, lektorer och adjunkter

Rörligheten mellan svenska lärosäten bland professorer, lektorer och adjunkter Statistisk analys Per Gillström Analysavdelningen 08-563 085 16 per.gillstrom@hsv.se www.hsv.se 2011-12-09 2012/1 Rörligheten mellan svenska lärosäten bland professorer, lektorer och adjunkter I analysen

Läs mer

Open access vid svenska lärosäten - en enkätundersökning. Aina Svensson, OpenAccess.se Nationell samverkan, Kungliga biblioteket

Open access vid svenska lärosäten - en enkätundersökning. Aina Svensson, OpenAccess.se Nationell samverkan, Kungliga biblioteket Open access vid svenska lärosäten - en enkätundersökning Aina Svensson, OpenAccess.se Nationell samverkan, Kungliga biblioteket September 2011 Följande rapport är en sammanställning av resultat från en

Läs mer

Vad krävs i praktiken för att bli docent?

Vad krävs i praktiken för att bli docent? Vad krävs i praktiken för att bli docent? nr 3 2012 årgång 40 För att nå framgång i den akademiska världen och på ett lyckosamt sätt konkurrera om begränsade resurser är det rationellt för den enskilde

Läs mer

Andra året med studieavgifter lärosätenas erfarenheter

Andra året med studieavgifter lärosätenas erfarenheter Rapport 2012:26 R Andra året med studieavgifter lärosätenas erfarenheter www.hsv.se Rapport 2012:26 R Andra året med studieavgifter lärosätenas erfarenheter Högskoleverket Luntmakargatan 13 Box 7851,

Läs mer

Förslag till Nationella riktlinjer för öppen tillgång till vetenskaplig information

Förslag till Nationella riktlinjer för öppen tillgång till vetenskaplig information Förslag till Nationella riktlinjer för öppen tillgång till vetenskaplig information VETENSKAPSRÅDETS RAPPORTER 2015 FÖRSLAG TILL NATIONELLA RIKTLINJER FÖR ÖPPEN TILLGÅNG TILL VETENSKAPLIG INFORMATION VETENSKAPSRÅDET

Läs mer

riksrevisionen granskar: statens insatser på skolområdet Statens dimensionering av lärarutbildningen utbildas rätt antal lärare?

riksrevisionen granskar: statens insatser på skolområdet Statens dimensionering av lärarutbildningen utbildas rätt antal lärare? riksrevisionen granskar: statens insatser på skolområdet Statens dimensionering av lärarutbildningen utbildas rätt antal lärare? rir 2014:18 Riksrevisionen är en myndighet under riksdagen med uppgift att

Läs mer

Kommer jag att få jobb? En undersökning av arbetsmarknadsrelaterad information om högskoleutbildningar

Kommer jag att få jobb? En undersökning av arbetsmarknadsrelaterad information om högskoleutbildningar En undersökning av arbetsmarknadsrelaterad information om högskoleutbildningar Innehåll Sammanfattning 3 1 Inledning 5 1.1 Motiv 5 1.2 Syfte 6 2 Genomförande 7 2.1 Första delen att söka information om

Läs mer

Ett lyft för den som vill

Ett lyft för den som vill 2010:12 Ett lyft för den som vill Utvärdering av den statliga satsningen på fortbildning av lärare MISSIV DATUM DIARIENR 2010-05-24 2008/23-5 ERT DATUM ER BETECKNING 2008-01-24 U2008/450/S Regeringen Utbildningsdepartementet

Läs mer

Fler till start och fler i mål Sverige behöver fler högskoleutbildade #6/14

Fler till start och fler i mål Sverige behöver fler högskoleutbildade #6/14 TCO granskar Fler till start och fler i mål Sverige behöver fler högskoleutbildade #6/14 En rapport om betydelsen av den högre utbildningens dimensionering för Sveriges ekonomi. 2014-06-17 Författare German

Läs mer

Nulägesbeskrivning av det statliga tandvårdsstödet. Rapportering av regeringsuppdrag

Nulägesbeskrivning av det statliga tandvårdsstödet. Rapportering av regeringsuppdrag Nulägesbeskrivning av det statliga tandvårdsstödet Rapportering av regeringsuppdrag 2 (50) Citera gärna Tandvårds- och läkemedelsförmånsverkets rapporter men glöm inte att uppge källa: Rapportens namn,

Läs mer

Disciplinära åtgärder mot studenter

Disciplinära åtgärder mot studenter Rapport 2011:10 R Disciplinära åtgärder mot studenter Innehåller även disciplinärenden vid högskolor och universitet 2010 www.hsv.se Rapport 2011:10 R Disciplinära åtgärder mot studenter Innehåller även

Läs mer

Satsningen på Nationella Kvalitetsregister

Satsningen på Nationella Kvalitetsregister PM 2013:1 Satsningen på Nationella Kvalitetsregister Tidiga iakttagelser av läget i satsningen 2013 Vårdanalys PM-serie Myndigheten för vårdanalys produkter redovisas i olika serier. Vårdanalys analyser,

Läs mer

Implementering av artikel 7 i energieffektiviseringsdirektivet

Implementering av artikel 7 i energieffektiviseringsdirektivet Implementering av artikel 7 i energieffektiviseringsdirektivet - Energimyndighetens beräkningar och förslag ER 2013:04 Böcker och rapporter utgivna av Statens energimyndighet kan beställas via www.energimyndigheten.se

Läs mer

Rapport 2008:40 R. Rankning av universitet och högskolor som studentinformation?

Rapport 2008:40 R. Rankning av universitet och högskolor som studentinformation? Rapport 2008:40 R Rankning av universitet och högskolor som studentinformation? Högskoleverket Luntmakargatan 13 Box 7851, 103 99 Stockholm tfn 08-563 085 00 fax 08-563 085 50 e-post hsv@hsv.se www.hsv.se

Läs mer

Nya aktörer inom arbetsmarknadspolitiken

Nya aktörer inom arbetsmarknadspolitiken Nya aktörer inom arbetsmarknadspolitiken Hur väl lyckas de och till vilken kostnad? Forskningsrapport 2014/4 Jonas Karlsson, Ryszard Szulkin, Clara Lindblom & Magnus Bygren Nya aktörer inom arbetsmarknadspolitiken:

Läs mer

Kan samverkan mätas? Om indikatorer för bedömning av KK-stiftelsens satsningar. Arbetsrapport 2001 2 LILLEMOR KIM, ROBERT OHLSSON & ULF SANDSTRÖM

Kan samverkan mätas? Om indikatorer för bedömning av KK-stiftelsens satsningar. Arbetsrapport 2001 2 LILLEMOR KIM, ROBERT OHLSSON & ULF SANDSTRÖM Arbetsrapport 2001 2 Kan samverkan mätas? Om indikatorer för bedömning av KK-stiftelsens satsningar LILLEMOR KIM, ROBERT OHLSSON & ULF SANDSTRÖM EN FÖRSTUDIE INOM PROJEKTET KUNSKAPSSAMHÄLLETS PRODUKTIONSMILJÖER

Läs mer

Rapport 2009:33 R. Kartläggning av utbildning inom entreprenörskap och innovation

Rapport 2009:33 R. Kartläggning av utbildning inom entreprenörskap och innovation Rapport 2009:33 R Kartläggning av utbildning inom entreprenörskap och innovation Högskoleverket Luntmakargatan 13 Box 7851, 103 99 Stockholm tfn 08-563 085 00 fax 08-563 085 50 e-post hsv@hsv.se www.hsv.se

Läs mer

FÖR SVENSK FRAMGÅNG INOM FORSKNING OCH INNOVATION 2013 2016

FÖR SVENSK FRAMGÅNG INOM FORSKNING OCH INNOVATION 2013 2016 FÖR SVENSK FRAMGÅNG INOM FORSKNING OCH INNOVATION 2013 2016 FÖR SVENSK FRAMGÅNG INOM FORSKNING OCH INNOVATION 2013 2016 Underlag till forsknings- och innovationsproposition från Vetenskapsrådet, VINNOVA,

Läs mer

Mätningar för bättre styrning

Mätningar för bättre styrning att synliggöra och hantera variation för styrning och förbättring av offentlig verksamhet Sekretariatsrapport Innovationsrådet Stockholm 2013 INNOVATIONSRÅDET Rapporten finns att ladda ned gratis på Innovationsrådets

Läs mer

HUR NÅR MAN EN ÖKAD PROFESSIONELL NYTTA FRÅN FORSKNINGEN OCH ANDRA KUNSKAPSBASERADE ORGANISATIONER?

HUR NÅR MAN EN ÖKAD PROFESSIONELL NYTTA FRÅN FORSKNINGEN OCH ANDRA KUNSKAPSBASERADE ORGANISATIONER? HUR NÅR MAN EN ÖKAD PROFESSIONELL NYTTA FRÅN FORSKNINGEN OCH ANDRA KUNSKAPSBASERADE ORGANISATIONER? Ett studie inom IVAs projekt Agenda för forskning KUNGL. INGENJÖRSVETENSKAPSAKADEMIEN (IVA) är en fristående

Läs mer

Vad säger den officiella lönestatistiken om löneskillnaden mellan kvinnor och män 2013?

Vad säger den officiella lönestatistiken om löneskillnaden mellan kvinnor och män 2013? Vad säger den officiella lönestatistiken om löneskillnaden mellan kvinnor och män 2013? Swedish National Mediation Office Vad säger den officiella lönestatistiken om löneskillnaden mellan kvinnor och

Läs mer

Vad säger den officiella lönestatistiken om löneskillnaden mellan kvinnor och män 2011?

Vad säger den officiella lönestatistiken om löneskillnaden mellan kvinnor och män 2011? Vad säger den officiella lönestatistiken om löneskillnaden mellan kvinnor och män 2011? Vad säger den officiella lönestatistiken om löneskillnaden mellan kvinnor och män 2011? 2 Medlingsinstitutet Medlingsinstitutet

Läs mer

Behov av bostadsbyggande

Behov av bostadsbyggande RAPPORT 2015:18 Behov av bostadsbyggande Teori och metod samt en analys av behovet av bostäder till 2025 Behov av bostadsbyggande Teori och metod samt en analys av behovet av bostäder till 2025 Titel:

Läs mer

#10. Robert Gidehag och Henrik Öhman. Använd kraften! Vägar till ett större arbetsutbud

#10. Robert Gidehag och Henrik Öhman. Använd kraften! Vägar till ett större arbetsutbud #10 Robert Gidehag och Henrik Öhman Använd kraften! Vägar till ett större arbetsutbud Författaren och Reforminstitutet 2002 Omslag: Ulrica Croneborg Illustration: Ulrica Croneborg Sättning: Ateljé Typsnittet

Läs mer

Fackförbundet ST HUR MÅR DOKTORANDEN? - en rapport från Fackförbundet ST, SFS och TCO om forskarstuderandes psykosociala arbetsmiljö

Fackförbundet ST HUR MÅR DOKTORANDEN? - en rapport från Fackförbundet ST, SFS och TCO om forskarstuderandes psykosociala arbetsmiljö Fackförbundet ST HUR MÅR DOKTORANDEN? - en rapport från Fackförbundet ST, SFS och TCO om forskarstuderandes psykosociala arbetsmiljö ST 2012. Produktion: Fackförbundet STs Kommunikationsenhet. Fackförbundet

Läs mer

Vad avgör företagens FoU-investeringar?

Vad avgör företagens FoU-investeringar? Vad avgör företagens FoU-investeringar? 1 2 Innehåll Förord...5 Sammanfattning... 7 Håller företagens forskning och utveckling på att försvinna från Sverige?... 10 Svag tillväxt av FoU i Sverige...10 Färre

Läs mer

Om behovet av ingenjörer

Om behovet av ingenjörer PM Om behovet av ingenjörer Arbetslivsanknytning, utbud och efterfrågan samt genomströmning för högskolans ingenjörsutbildningar Box 1419, 111 84 Stockholm, Besöksadress Malmskillnadsgatan 48, Tel 08-613

Läs mer

Teknik gör det osynliga synligt

Teknik gör det osynliga synligt Kvalitetsgranskning Rapport 2014:04 Teknik gör det osynliga synligt Om kvaliteten i grundskolans teknikundervisning Skolinspektionens rapport 2014:04 Diarienummer 2013:1536 Stockholm 2014 Foto: Monica

Läs mer