Bibliometri som ett stöd för verksamhetsutveckling Catharina Rehn, Karolinska Institutets universitetsbibliotek Björn Forslöw, Karolinska Institutet, Ledningskansliet Metrics 101207 Certain data included herein are derived from the Web of Science prepared by THOMSON REUTERS, Inc. (Thomson ), Philadelphia, Pennsylvania, USA: Copyright THOMSON REUTERS 2010. All rights reserved. The MeSH Headings used in some of these analyses were from MEDLINE /PubMed, a database of the U.S. National Library of Medicine. NLM represents that its data were formulated with a reasonable standard of care. Except for this representation, NLM makes no representation or warranties, expressed or implied. This includes, but is not limited to, any implied warranty of merchantability or fitness for a particular purpose, with respect to the NLM data, and NLM specifically disclaims any such warranties and representations.
Bibliometrins uppdrag och policy bereds av styrgruppen och beslutas av ledningen Universitetsbiblioteket Ledningskansli Forskarstyrelse Universitetsledning Forskarutbildning Styrgrupp Bibliometri Stockholms läns landsting Institutioner/ grupper/ individuella forskare
Karolinska Institutets bibliometridatabas Web of Science 20 miljoner publikationer 400 miljoner citeringar PubMed MeSH-termer Verifiering SQL-databas KI + SLL Analyser Web Sökning
Vem beställer bibliometriska analyser och vad används de till? Forskar -grupp Ämne Universitet/ Institution Institutionsledningarnas egna verksamhetsuppföljningar Underlag till utvärderare, t.ex. ERA 2010 Underlag till ansökningar, t.ex. de strategiska forskningsanslagen Jämförelseanalyser med andra universitet Sampubliceringsanalyser med andra universitet Inventering av forskningsområden Resursfördelning inom KI/SLL till institutioner/kliniker
Vem på Karolinska Institutet publicerar tillsammans med Kina? At least 3 KI-China copublications are needed for an author/organization to be shown. The connection between an author/an organization needs to be att least two publications to be shown. An author/organization needs at least one conection of this strength to be shown.
Inom vilka områden sampublicerar KI med Kina? MeSH-headings and organizations in this picture need at least 5 occurences in KI-China copublications to be shown. The connection between an author/an organization needs to be att least two publications to be shown. A MeSH-heading/organization needs at least one connection of this strength to be shown.
23093 21844 19182 17866 16858 29764 33714 32858 39688 69923 Total sum of Average Citation Score (ΣCf) (Europe only) 80000 Total sum of average citation score 2000-2007 Indexed in PubMed and WoS European universities only 60000 Sum Cf 40000 20000 0 UCL Oxford Imperial Karolinska Cambridge Helsinki Copenhagen Heidelberg Edinburgh Leiden
Två strategiska projekt där bibliometri utgör hörnstenar Karta över Karolinska Institutets samarbeten Initiativtagare: Internationella strategigruppen Beredning: Ledningskansliet och universitetsbiblioteket Utförare: Universitetsbiblioteket Framtagande, genomförande och uppföljning av 2009 års resursfördelningsmodell för Karolinska Institutet Initiativtagare: Styrelsen för forskning Beredning: Bibliometristyrgruppen Utförare: Ledningskansliet och Universitetsbiblioteket
Kartläggning av Karolinska Institutets samarbeten inom forskning och utbildning Hur värdera förfrågningar om samarbete? Vilka samarbetsparter vill vi prioritera i framtiden? Organisation X Organisation Y? Karolinska Institutet??? Organisation Z Organisation YZ Reaktivt Formaliserad analys Proaktivt Komplex analys Strategiska beslut
Insamling av information och utveckling av visuellt gränssnitt Universitetsbiblioteket gör en bibliometrisk analys av Karolinska Institutets sampublikationer 2005-2009 inklusive adresstvättning och indelning i världsdelar Utbildningsavdelningen gör en export av pågående avtal Bibliometridatabasen Publikationer från hela världen med samtliga författares adresser. Särskild identifiering av KI-publikationer. Utbildningsdatabasen Information om pågående centrala avtal för utbildning Samlad översikt Klickbar karta med underliggande data Forsknings- och forskarutbildningsvdelningen listar aktiva avtal Förteckning över centrala forskningsavtal Källa: Forsknings- och forskarutbildningsavdelningen
Världen Hem/Världen - Europa - Asien - Oceanien - Afrika - Sydamerika - Nordamerika (exkl USA) - USA (inkl delstater) Certain data included herein are derived from the Web of Science prepared by THOMSON REUTERS, Inc. (Thomson ), Philadelphia, Pennsylvania, USA: Copyright THOMSON REUTERS 2010. All rights reserved. Karolinska Institutet September 2010
Europa Austria Greece Poland Citeringsindikatorer Belgium Hungary Portugal Bulgaria Iceland Romania Czech Republic Ireland Russia Denmark Italy Slovenia Estonia Latvia Spain Finland Lithuania Switzerland Sampublikationer France Malta Turkey Germany Netherlands Great Britain Norway Hem/Världen - Europa - Asien - Oceanien - Afrika - Sydamerika - Nordamerika (exkl USA) - USA (inkl delstater) Certain data included herein are derived from the Web of Science prepared by THOMSON REUTERS, Inc. (Thomson ), Philadelphia, Pennsylvania, USA: Copyright THOMSON REUTERS 2010. All rights reserved. Karolinska Institutet September 2010
Bibliometrisk översikt Europa Blå bubblor är KI:s Europa-sampublikationer vita bubblor är sampublikationer med resten av världen Certain data included herein are derived from the Web of Science prepared by THOMSON REUTERS, Inc. (Thomson ), Philadelphia, Pennsylvania, USA: Copyright THOMSON REUTERS 2010. All rights reserved. Karolinska Institutet September 2010
Antal KI-sampublikationer co-publications by - country Europa 2000 Europe 1800 1600 1400 1200 1000 800 600 400 200 0 Länder på X-axeln Articles and Reviews 2005-2009, 3 copublications or more Certain data included herein are derived from the Web of Science prepared by THOMSON REUTERS, Inc. (Thomson ), Philadelphia, Pennsylvania, USA: Copyright THOMSON REUTERS 2010. All rights reserved. Karolinska Institutet September 2010
Sampublikationer med KI 2005-2009 Universitet 516 Universitet 139 Universitet 137 Universitet 106 Universitet 104 Universitet 86 Universitet 76 Universitet 75 Universitet 61 Universitet 50 Universitet 46 Universitet 32 Universitet 21 Universitet 20 Universitet 18 Universitet 18 Universitet 17 Universitet 16 Universitet 16 Universitet 14 Universitet 14 Universitet 12 Universitet 12 Finland Avtal med Universitet/Institut KI-verksamhet Utbytesprogram /Avtal Aktivitet Universitet Arbetsterapeut Erasmus 6 Universitet Sjukgymnast Erasmus 6 Universitet Arbetsterapeut NordPlus 6 Universitet Sjuksköterska NordPlus 4 Universitet Läkare Erasmus 4 Universitet Tandläkare Erasmus 5 Universitet MoU forskning Universitet Logoped NordPlus 6 Universitet Läkare NordPlus 2 Universitet Joint PhD programme Universitet Arbetsterapeut Erasmus 6 Universitet Sjuksköterska Erasmus 6 Universitet Tandhygienist Erasmus 6 Universitet Arbetsterapeut NordPlus 6 Universitet Sjuksköterska NordPlus 6 Universitet Folkhälsovetenskap Erasmus 2 Universitet Läkare Erasmus 2 Universitet Toxikolog Erasmus 2 Universitet Läkare NordPlus 2 Universitet Sjuksköterska Erasmus 6 Universitet Sjuksköterska NordPlus 6 Universitet Logoped Erasmus 6 Universitet Läkare NordPlus 2 Universitet Sjuksköterska NordPlus 3 Universitet Läkare Erasmus 2 Universitet Tandläkare Erasmus 2 Universitet Logoped NordPlus 6 Universitet Läkare NordPlus 2 Universitet Logoped NordPlus 6 Certain data included herein are derived from the Web of Science prepared by THOMSON REUTERS, Inc. (Thomson ), Philadelphia, Pennsylvania, USA: Copyright THOMSON REUTERS 2010. All rights reserved. Karolinska Institutet September 2010
Två strategiska projekt där bibliometri utgör hörnstenar Karta över Karolinska Institutets samarbeten Initiativtagare: Internationella strategigruppen Beredning: Ledningskansliet och universitetsbiblioteket Utförare: Universitetsbiblioteket Framtagande, genomförande och uppföljning av 2009 års resursfördelningsmodell för Karolinska Institutet Initiativtagare: Styrelsen för forskning Beredning: Bibliometristyrgruppen Utförare: Ledningskansliet och Universitetsbiblioteket
Utvecklings- och förankringsprocess vid införande av bibliometri i intern resursfördelning på institutionsnivå Forskarstyrelse och Forsknings -strategisk kommitté Bibliometri styrgrupp (Modellutveckling/ simulering) Universitetsledning Prefekter Open hearings Campus Metod- och styrdokument Ledningskansli och Bibliometri -styrgrupp (utfallsanalyser/ simulering) Återkoppling
Indikatorer på olika nivåer måste harmoniseras för att undvika suboptimering Ett fåtal möjliga indikatorer som styrmedel Det som lönar sig för universiteten skall gynna Sverige Nationell fördelning Det som lönar sig för institutionen skall gynna universitetet Fördelning inom KI Fördelning inom KI Fördelning inom KI Det som lönar sig för forskaren skall gynna institutionen Incitament för forskare/ forskargrupper Incitament för forskare/ forskargrupper Incitament för forskare/ forskargrupper Ett brett spektrum av aspekter och incitament
Vid val av bibliometriska indikatorer inom Karolinska Institutet togs flera faktorer i beaktande Vald inriktning (strategiskt riktiga incitament) Komplementära: Faktorer som balanserar upp olika perspektiv är nödvändigt för att undvika ofrivillig styrning mot "oversmartness" gällande enskild eller dominerande faktor Publicering i tidskrifter med hög impact skall premieras Publikationer med många citeringar skall premieras Publikationer utan citeringar skall inte premieras En stor produktion med välciterade publikationer skall premieras högre jämfört med en låg produktion med lika välciterade publikationer Incitamenten ovan skall vara relevanta både för högpresterande och lågpresterande forskare/institutioner Nödvändiga egenskaper för samtliga mätkriterier: Hög reliabilitet, validitet och generaliserbarhet
Bibliometrins vikt i den övergripande modellen för resursfördelning Ny resursfördelningsmodell inom Karolinska Institutet (2009) och SLL (2010) Bibliometri 40% Övriga kriterier 60%
Den bibliometriska komponenten (40%) i Karolinska Institutets fördelning av direkta medel till institutioner/kliniker Tidskriftskvalitet Summa JIF (50%) (Kvalitets- och kvantitetsberoende, ej fältnormerad) Artikelkvalitet Summa C (20%) (Kvalitets- och kvantitetsberoende, ej fältnormerad) Cf (30%) (Kvalitetsberoende, Kvantitetsoberoende, fältnormerad) Summa/aggregerad Andel/Medelvärde Fältnormerad
Tillämpning i tre steg Simuleringar av utfall Genomförande Uppföljning och utvärdering Björn Forslöw & Catharina Rehn 9 mars 2010 22
Bibliometrimodellen i praktisk tillämpning Certain data included herein are derived from the Web of Science prepared by THOMSON REUTERS, Inc. (Thomson ), Philadelphia, Pennsylvania, USA: Copyright THOMSON REUTERS 2010. All rights reserved.
Simulerad fördelningsnyckel baserad på 40% bibliometri (Övriga 60 % utgörs av externa bidrag och examina) SummaC, SummaJIF, Cf * *Aktivitetsprocent för Cf är beräknat utifrån avvikelser från världsmedelvärdet 1
Andel av aktivitetsfördelade medel Andel 7,0% av aktivitetsprocent 2009 & 2010 10,0% 9,0% 8,0% 7,0% 6,0% 5,0% Differensen mellan de två gröna staplarna illustrerar effekten av införandet av bibliometri i resursfördelningsmodellen Differensen mellan de två blå staplarna illustrerar effekterna av andra förändringar i aktivitetsberäkningen än bibliometri. År 2009 fick institutionen drygt 6% av aktivitetsfördelade medel enligt den tidigare resursfördelningsmodellen. Den sammanlagda summan av alla institutioners andelar uppgår för varje serie till 100% 6,0% 5,0% 4,0% Om bibliometri, som enda förändring, hade införts med vikten 40% redan 2009 hade institutionen fått drygt 5.5% istället. 4,0% 3,0% 3,0% År 2010 fanns det mer medel att fördela, men andelen medel blev densamma om man hade den tidigare modellen + 40% bibliometri 2,0% 1,0% 2,0% Men även andra ändringar i modellen gjordes 2010 vilket ledde till att institutionen slutligen fick knappt 6%. 0,0% 1,0% Aktivitet 2009 2009 års modell + 40% bibliometri 2010 års pengar enl 2009 års modell + bibliometri Aktivitet 2010 0,0%
Hur stor roll spelade aktivitetsmåtten? 35 Aktivitetspengar per PEK 2010 30 25 20 15 10 5 0 Aktivitetspengar per PEK 2010
Rollerna i bibliometriarbetet skiftar från uppdrag till uppdrag Universitetsbiblioteket Ledningskansli Forskarstyrelse Universitetsledning Forskarutbildning Styrgrupp Bibliometri Stockholms läns landsting Institutioner/ grupper/ individuella forskare
http://ki.se/bibliometri