Bibliometri som ett stöd för verksamhetsutveckling

Transkript

1 Bibliometri som ett stöd för verksamhetsutveckling Catharina Rehn, Karolinska Institutets universitetsbibliotek Björn Forslöw, Karolinska Institutet, Ledningskansliet Metrics Certain data included herein are derived from the Web of Science prepared by THOMSON REUTERS, Inc. (Thomson ), Philadelphia, Pennsylvania, USA: Copyright THOMSON REUTERS All rights reserved. The MeSH Headings used in some of these analyses were from MEDLINE /PubMed, a database of the U.S. National Library of Medicine. NLM represents that its data were formulated with a reasonable standard of care. Except for this representation, NLM makes no representation or warranties, expressed or implied. This includes, but is not limited to, any implied warranty of merchantability or fitness for a particular purpose, with respect to the NLM data, and NLM specifically disclaims any such warranties and representations.

2 Bibliometrins uppdrag och policy bereds av styrgruppen och beslutas av ledningen Universitetsbiblioteket Ledningskansli Forskarstyrelse Universitetsledning Forskarutbildning Styrgrupp Bibliometri Stockholms läns landsting Institutioner/ grupper/ individuella forskare

3 Karolinska Institutets bibliometridatabas Web of Science 20 miljoner publikationer 400 miljoner citeringar PubMed MeSH-termer Verifiering SQL-databas KI + SLL Analyser Web Sökning

4 Vem beställer bibliometriska analyser och vad används de till? Forskar -grupp Ämne Universitet/ Institution Institutionsledningarnas egna verksamhetsuppföljningar Underlag till utvärderare, t.ex. ERA 2010 Underlag till ansökningar, t.ex. de strategiska forskningsanslagen Jämförelseanalyser med andra universitet Sampubliceringsanalyser med andra universitet Inventering av forskningsområden Resursfördelning inom KI/SLL till institutioner/kliniker

5 Vem på Karolinska Institutet publicerar tillsammans med Kina? At least 3 KI-China copublications are needed for an author/organization to be shown. The connection between an author/an organization needs to be att least two publications to be shown. An author/organization needs at least one conection of this strength to be shown.

6 Inom vilka områden sampublicerar KI med Kina? MeSH-headings and organizations in this picture need at least 5 occurences in KI-China copublications to be shown. The connection between an author/an organization needs to be att least two publications to be shown. A MeSH-heading/organization needs at least one connection of this strength to be shown.

7 Total sum of Average Citation Score (ΣCf) (Europe only) Total sum of average citation score Indexed in PubMed and WoS European universities only Sum Cf UCL Oxford Imperial Karolinska Cambridge Helsinki Copenhagen Heidelberg Edinburgh Leiden

8 Två strategiska projekt där bibliometri utgör hörnstenar Karta över Karolinska Institutets samarbeten Initiativtagare: Internationella strategigruppen Beredning: Ledningskansliet och universitetsbiblioteket Utförare: Universitetsbiblioteket Framtagande, genomförande och uppföljning av 2009 års resursfördelningsmodell för Karolinska Institutet Initiativtagare: Styrelsen för forskning Beredning: Bibliometristyrgruppen Utförare: Ledningskansliet och Universitetsbiblioteket

9 Kartläggning av Karolinska Institutets samarbeten inom forskning och utbildning Hur värdera förfrågningar om samarbete? Vilka samarbetsparter vill vi prioritera i framtiden? Organisation X Organisation Y? Karolinska Institutet??? Organisation Z Organisation YZ Reaktivt Formaliserad analys Proaktivt Komplex analys Strategiska beslut

10 Insamling av information och utveckling av visuellt gränssnitt Universitetsbiblioteket gör en bibliometrisk analys av Karolinska Institutets sampublikationer inklusive adresstvättning och indelning i världsdelar Utbildningsavdelningen gör en export av pågående avtal Bibliometridatabasen Publikationer från hela världen med samtliga författares adresser. Särskild identifiering av KI-publikationer. Utbildningsdatabasen Information om pågående centrala avtal för utbildning Samlad översikt Klickbar karta med underliggande data Forsknings- och forskarutbildningsvdelningen listar aktiva avtal Förteckning över centrala forskningsavtal Källa: Forsknings- och forskarutbildningsavdelningen

11 Världen Hem/Världen - Europa - Asien - Oceanien - Afrika - Sydamerika - Nordamerika (exkl USA) - USA (inkl delstater) Certain data included herein are derived from the Web of Science prepared by THOMSON REUTERS, Inc. (Thomson ), Philadelphia, Pennsylvania, USA: Copyright THOMSON REUTERS All rights reserved. Karolinska Institutet September 2010

12 Europa Austria Greece Poland Citeringsindikatorer Belgium Hungary Portugal Bulgaria Iceland Romania Czech Republic Ireland Russia Denmark Italy Slovenia Estonia Latvia Spain Finland Lithuania Switzerland Sampublikationer France Malta Turkey Germany Netherlands Great Britain Norway Hem/Världen - Europa - Asien - Oceanien - Afrika - Sydamerika - Nordamerika (exkl USA) - USA (inkl delstater) Certain data included herein are derived from the Web of Science prepared by THOMSON REUTERS, Inc. (Thomson ), Philadelphia, Pennsylvania, USA: Copyright THOMSON REUTERS All rights reserved. Karolinska Institutet September 2010

13 Bibliometrisk översikt Europa Blå bubblor är KI:s Europa-sampublikationer vita bubblor är sampublikationer med resten av världen Certain data included herein are derived from the Web of Science prepared by THOMSON REUTERS, Inc. (Thomson ), Philadelphia, Pennsylvania, USA: Copyright THOMSON REUTERS All rights reserved. Karolinska Institutet September 2010

14 Antal KI-sampublikationer co-publications by - country Europa 2000 Europe Länder på X-axeln Articles and Reviews , 3 copublications or more Certain data included herein are derived from the Web of Science prepared by THOMSON REUTERS, Inc. (Thomson ), Philadelphia, Pennsylvania, USA: Copyright THOMSON REUTERS All rights reserved. Karolinska Institutet September 2010

15 Sampublikationer med KI Universitet 516 Universitet 139 Universitet 137 Universitet 106 Universitet 104 Universitet 86 Universitet 76 Universitet 75 Universitet 61 Universitet 50 Universitet 46 Universitet 32 Universitet 21 Universitet 20 Universitet 18 Universitet 18 Universitet 17 Universitet 16 Universitet 16 Universitet 14 Universitet 14 Universitet 12 Universitet 12 Finland Avtal med Universitet/Institut KI-verksamhet Utbytesprogram /Avtal Aktivitet Universitet Arbetsterapeut Erasmus 6 Universitet Sjukgymnast Erasmus 6 Universitet Arbetsterapeut NordPlus 6 Universitet Sjuksköterska NordPlus 4 Universitet Läkare Erasmus 4 Universitet Tandläkare Erasmus 5 Universitet MoU forskning Universitet Logoped NordPlus 6 Universitet Läkare NordPlus 2 Universitet Joint PhD programme Universitet Arbetsterapeut Erasmus 6 Universitet Sjuksköterska Erasmus 6 Universitet Tandhygienist Erasmus 6 Universitet Arbetsterapeut NordPlus 6 Universitet Sjuksköterska NordPlus 6 Universitet Folkhälsovetenskap Erasmus 2 Universitet Läkare Erasmus 2 Universitet Toxikolog Erasmus 2 Universitet Läkare NordPlus 2 Universitet Sjuksköterska Erasmus 6 Universitet Sjuksköterska NordPlus 6 Universitet Logoped Erasmus 6 Universitet Läkare NordPlus 2 Universitet Sjuksköterska NordPlus 3 Universitet Läkare Erasmus 2 Universitet Tandläkare Erasmus 2 Universitet Logoped NordPlus 6 Universitet Läkare NordPlus 2 Universitet Logoped NordPlus 6 Certain data included herein are derived from the Web of Science prepared by THOMSON REUTERS, Inc. (Thomson ), Philadelphia, Pennsylvania, USA: Copyright THOMSON REUTERS All rights reserved. Karolinska Institutet September 2010

16 Två strategiska projekt där bibliometri utgör hörnstenar Karta över Karolinska Institutets samarbeten Initiativtagare: Internationella strategigruppen Beredning: Ledningskansliet och universitetsbiblioteket Utförare: Universitetsbiblioteket Framtagande, genomförande och uppföljning av 2009 års resursfördelningsmodell för Karolinska Institutet Initiativtagare: Styrelsen för forskning Beredning: Bibliometristyrgruppen Utförare: Ledningskansliet och Universitetsbiblioteket

17 Utvecklings- och förankringsprocess vid införande av bibliometri i intern resursfördelning på institutionsnivå Forskarstyrelse och Forsknings -strategisk kommitté Bibliometri styrgrupp (Modellutveckling/ simulering) Universitetsledning Prefekter Open hearings Campus Metod- och styrdokument Ledningskansli och Bibliometri -styrgrupp (utfallsanalyser/ simulering) Återkoppling

18 Indikatorer på olika nivåer måste harmoniseras för att undvika suboptimering Ett fåtal möjliga indikatorer som styrmedel Det som lönar sig för universiteten skall gynna Sverige Nationell fördelning Det som lönar sig för institutionen skall gynna universitetet Fördelning inom KI Fördelning inom KI Fördelning inom KI Det som lönar sig för forskaren skall gynna institutionen Incitament för forskare/ forskargrupper Incitament för forskare/ forskargrupper Incitament för forskare/ forskargrupper Ett brett spektrum av aspekter och incitament

19 Vid val av bibliometriska indikatorer inom Karolinska Institutet togs flera faktorer i beaktande Vald inriktning (strategiskt riktiga incitament) Komplementära: Faktorer som balanserar upp olika perspektiv är nödvändigt för att undvika ofrivillig styrning mot "oversmartness" gällande enskild eller dominerande faktor Publicering i tidskrifter med hög impact skall premieras Publikationer med många citeringar skall premieras Publikationer utan citeringar skall inte premieras En stor produktion med välciterade publikationer skall premieras högre jämfört med en låg produktion med lika välciterade publikationer Incitamenten ovan skall vara relevanta både för högpresterande och lågpresterande forskare/institutioner Nödvändiga egenskaper för samtliga mätkriterier: Hög reliabilitet, validitet och generaliserbarhet

20 Bibliometrins vikt i den övergripande modellen för resursfördelning Ny resursfördelningsmodell inom Karolinska Institutet (2009) och SLL (2010) Bibliometri 40% Övriga kriterier 60%

21 Den bibliometriska komponenten (40%) i Karolinska Institutets fördelning av direkta medel till institutioner/kliniker Tidskriftskvalitet Summa JIF (50%) (Kvalitets- och kvantitetsberoende, ej fältnormerad) Artikelkvalitet Summa C (20%) (Kvalitets- och kvantitetsberoende, ej fältnormerad) Cf (30%) (Kvalitetsberoende, Kvantitetsoberoende, fältnormerad) Summa/aggregerad Andel/Medelvärde Fältnormerad

22 Tillämpning i tre steg Simuleringar av utfall Genomförande Uppföljning och utvärdering Björn Forslöw & Catharina Rehn 9 mars

23 Bibliometrimodellen i praktisk tillämpning Certain data included herein are derived from the Web of Science prepared by THOMSON REUTERS, Inc. (Thomson ), Philadelphia, Pennsylvania, USA: Copyright THOMSON REUTERS All rights reserved.

24 Simulerad fördelningsnyckel baserad på 40% bibliometri (Övriga 60 % utgörs av externa bidrag och examina) SummaC, SummaJIF, Cf * *Aktivitetsprocent för Cf är beräknat utifrån avvikelser från världsmedelvärdet 1

25 Andel av aktivitetsfördelade medel Andel 7,0% av aktivitetsprocent 2009 & ,0% 9,0% 8,0% 7,0% 6,0% 5,0% Differensen mellan de två gröna staplarna illustrerar effekten av införandet av bibliometri i resursfördelningsmodellen Differensen mellan de två blå staplarna illustrerar effekterna av andra förändringar i aktivitetsberäkningen än bibliometri. År 2009 fick institutionen drygt 6% av aktivitetsfördelade medel enligt den tidigare resursfördelningsmodellen. Den sammanlagda summan av alla institutioners andelar uppgår för varje serie till 100% 6,0% 5,0% 4,0% Om bibliometri, som enda förändring, hade införts med vikten 40% redan 2009 hade institutionen fått drygt 5.5% istället. 4,0% 3,0% 3,0% År 2010 fanns det mer medel att fördela, men andelen medel blev densamma om man hade den tidigare modellen + 40% bibliometri 2,0% 1,0% 2,0% Men även andra ändringar i modellen gjordes 2010 vilket ledde till att institutionen slutligen fick knappt 6%. 0,0% 1,0% Aktivitet års modell + 40% bibliometri 2010 års pengar enl 2009 års modell + bibliometri Aktivitet ,0%

26 Hur stor roll spelade aktivitetsmåtten? 35 Aktivitetspengar per PEK Aktivitetspengar per PEK 2010

27 Rollerna i bibliometriarbetet skiftar från uppdrag till uppdrag Universitetsbiblioteket Ledningskansli Forskarstyrelse Universitetsledning Forskarutbildning Styrgrupp Bibliometri Stockholms läns landsting Institutioner/ grupper/ individuella forskare

28

29