Analysstöd för statistik över användandet av elektroniska resurser - Slutrapport

Analysstöd för statistik över användandet av elektroniska resurser - Slutrapport

Innehållsförteckning Inledning...3 Bakgrund...3 Syfte...3 Mål...4 Metod...4 Nulägesanalys och omvärldsbevakning...4 Utformning av verktyg...4 Slutseminarium...5 Avslutning...6 Bilagor...7 Bilaga 1: Årscykel... 8 Bilaga 2: Fallgropar... 9 Bilaga 3: Omvärldsbevakning, referenslista...11 Verktyg Följande verktyg är en del av rapporten och kan hämtas separat på KB:s webbsida: www.kb.se KPI e-tidskrifter - KPI - Instruktion - Fältbeskrivning KPI databaser - KPI - Instruktion - Fältbeskrivning KPI e-böcker - KPI - Instruktion - Fältbeskrivning Citeringsanalys - Instruktion - Excel, Web of Science-titlar med mall för ISSN-matchning - Kommentar till Excel 2

Inledning Karolinska Institutet, Universitetsbiblioteket och Stockholms universitetsbibliotek har under 2011 genomfört projektet Analysstöd för statistik över användandet av elektroniska resurser. Projektgruppen har bestått av: Karin Perols (projektledare, KIB) Cecilia Heyman (SUB, t.o.m. juni) Karin Jacobson (KIB, t.o.m. augusti) Agne Larsson (KIB) Birgit Parding (SUB) Per Swedberg (SUB, fr.o.m. juni) Henrik Åkerfelt (projektsekreterare, KIB, fr.o.m. september) Bakgrund Sveriges universitets- och högskolebibliotek köper e-resurser för i snitt 70 % av sin budget, många för en större andel än så. Via standardiserade format som COUNTER får de statistik för antalet sökningar och nedladdningar av fulltext från e-tidskrifter, e-böcker och databaser. Även om statistikens utformning är standardiserad och även automatiserad insamling numera är möjlig från de leverantörer som stöder SUSHI, finns för lite tid och kunskap till utvärdering av densamma. Syfte Det är strategiskt viktigt för universitets- och högskolebiblioteken att analysera sin användning av elektroniska resurser och utvärdera deras betydelse för lärosätets forskning. Hitintills har eventuella budgetneddragningar påverkat personalresurser i större utsträckning än mediainköp. Att få hjälp med stödfunktioner för att kunna utvärdera sina lokala avtal och deltagandet i de nationella blir därför allt viktigare, och behovet av riktlinjer och hjälpmedel ökar i betydelse. I framtiden är det sannolikt att de stora och ämnesövergripande tidskriftspaket som idag erbjuds av leverantörerna kommer att ersättas med mindre ämnesinriktade paket, vilket kan komma att förändra arbetsflöden, förvärvsbeslut och analys av användningsstatistiken. Biblioteken behöver verktyg för att kunna bedöma om, och visa att, de spenderar sitt förvärv på rätt resurser. Målgruppen för detta projekt har därför varit samtliga s.k. samverkansbibliotek. En enkät som genomfördes av licensgruppen inom Nationell samverkan inför påbörjande av förhandlingarna med Elsevier visar att analys av statistiken var nästan obefintlig. 3

Mål Vi har med projektet velat möjliggöra för universitets- och högskolebiblioteken att på ett effektivare och enklare sätt analysera sin användningsstatistik och därmed få ett bättre underlag för motivation i budgetäskanden samt för beslut gällande förvärv av e-resurser. För att åstadkomma detta har vi haft två delmål: - Finna en mall för hur arbetsflödet under ett år ser ut - hur och när arbetar man med vad - för att få ett bra underlag och grund för analys. - Åstadkomma riktlinjer samt verktyg inkluderande förslag på användbara indikatorer, som universitetsoch högskolebiblioteken kan använda som hjälp i sitt analysarbete. Metod Vi genomförde en nulägesanalys för att fånga upp vad som påverkar biblioteken internt och externt, för att ha det som grund för analys av arbetsflödet. Avsikten var att arbeta fram en mall som fungerar att använda för alla bibliotek. Denna nulägesanalys innehöll också en omvärldsbevakning utanför Sverige för att se hur man arbetar kring dessa frågor. Projektgruppen har sedan arbetat fram riktlinjer samt metoder för att arbeta med analyser ute på biblioteken. Nulägesanalys och omvärldsbevakning Vi gjorde en litteratursökning och samlade in referenser på artiklar som vi sedan delade upp mellan oss i projektgruppen, läste och sammanställde. Vid genomgången av artiklarna visade det sig att de flesta som utvärderat e-resurser och skrivit artiklar om det använt sig av någon form av kalkylblad där kostnad/användning ansetts som ett viktigt mått men att det inte går att förlita sig på enbart det. Andra faktorer som föreslås att ta hänsyn till är olika publiceringsmönster för olika ämnen och vilka tidskrifter som citeras och publiceras i på ens lärosäte. Utformning av verktyg Utifrån omvärldsbevakningen drog vi slutsatsen att vi ville göra ett verktyg i Excel, som är ett program de flesta har tillgång till, för utvärdering av nedladdning, pris, valutaförändringar etc. samt en instruktion till hur man kan göra en bibliometrisk analys av citeringar inom sitt lärosäte. Vid utformningen av Excelverktyget har vi hämtat inspiration från f.f.a. Newcastle University Library som arbetat med KPI (Key Performance Indicators) i många år. Även Selena Kilicks presentation Evaluating the Big Deal: what metrics matter på statistikseminariet KB anordnade i maj 2011 var klargörande liksom Angela Conyers kapitel Usage statistics and online behaviour i UKSG:s The e-resources management handbook. Vi skapade tre olika Excelformulär beroende på typ av e-resurs, en vardera för databaser, e-böcker och e-tidskrifter. Vi har automatiserat inhämtning av data till formulären så långt det var möjligt beroende på vad Excel kan hantera och hur konsekvent standardrapporter förekommer för de olika e- 4

resurstyperna. Utrymme för flerårsrapportering finns i formulären vilket ger möjlighet att studera förändringar över tid och att identifiera trender. Vi dokumenterade arbetsflödet med användningsstatistik över året och satte samman det i en årscykel. För att tillgodose behovet att analysera lärosätets publiceringsmönster och citeringar skapades instruktionen för hur man kan göra en bibliometrisk analys. Citeringsanalyser som redskap för att utvärdera bibliotekens tidskriftsbestånd är långtifrån något nytt, åtskilliga stora universitet har låtit bibliometriker utvärdera tidskriftstillgången på universitetet. Men hittills har den här typen av analys krävt tillgång till resurser som inte alla bibliotek har. Projektgruppen har tagit fram en Instruktion som gör att vilken bibliotekarie som helst kan utföra analysen på egen hand bara hen får lite tid. En citeringsanalys enligt denna modell visar vilka tidskrifter som använts av forskare. Den kan användas som ett komplement till användningsstatistik över antalet nedladdade artiklar, som ger vägledning över hur användningen av tidskrifterna ser ut men vi vet inte om det är forskare eller studenter som laddat ner artiklarna. Vi kan inte avgöra syftet med nedladdningen, dvs. om det är för forskning eller om det är för något annat, så som granskning, studier, intresse eller undervisning. En forskare som i en artikel citerar en tidigare artikel ur en tidskrift, har bevisligen inte bara klickat på artikeln utan verkligen haft användning av den i sitt eget arbete. Grundantagandet är: citerade tidskrifter = använda tidskrifter. Dessa tidskrifter vill vi att forskarna tillgång till och vi är beredda att betala för det. Mindre använda tidskrifter kan behöva utsättas för granskning i syfte att spara pengar. Slutseminarium Som en del i projektet anordnades ett heldagsseminarium. Seminariet hölls den 8 februari på Stockholms Universitet. Förmiddagen ägnades åt en presentation av projektet och en genomgång av de praktiska verktyg för analys av e-resurser som projektgruppen tagit fram; KPI;er och en bibliometrisk analys. Förmiddagens programpunkt riktade sig främst till de på biblioteken som samlar in och analyserar e-resursstatistik. Eftermiddagens program bestod i ett föredrag av Dr Angela Conyers från Evidence Base, Research and Evaluation, Birmingham City University som berörde nyttan av användningsstatistik och en genomgång av JISCs webbaserade analysverktyg Journal Usage Statistics Portal (JUSP). En paneldiskussion där 3 bibliotekschefer: Wilhelm Widmark, Christer Björklund samt Karin Grönvall diskuterade frågor om statistik och utvärdering ur ett ledningsperspektiv avslutade dagen. Eftermiddagens program riktade sig även till bibliotekschefer. Seminariet var välbesökt, ca 70 deltagare, även om få bibliotekschefer anmält sig, och kursutvärderingen visade att en stor del av besökarna funnit innehållet meningsfullt och intressant. 5

Avslutning Projektet avslutades i och med att slutrapporten lämnades in. Samtliga verktyg, riktlinjer, manualer etc. kommer att göras tillgängliga via KB:s webbsidor. Då vår förhoppning är att de praktiska verktygen och riktlinjerna används är det fritt att ladda ner, använda, modifiera och bygga ut dessa. För att säkerställa återanvändning och att eventuella modifikationer kommer biblioteken till godo har vi valt att licensiera verktygen under en Creative Commons Attribution ShareAlike 3.0 licens. Intressant har också varit att ta del av JISCs arbete med Journals Usage Statistics Portal JUSP. Ansatsen är imponerande och resultaten har nu börjat redovisas. Det hade varit intressant att se om något liknande kan göras för det svenska BIBSAM-konsortiet. Dock har detta fallit utanför ramen för projektet. Resultaten som vi nu ser av JISC:s projekt är så pass uppmuntrande att vi skulle vilja ge en rekommendation till KB att utröna vilka möjligheter som föreligger i Sverige för ett liknande projekt, antingen drivet av KB eller som projekt med medel från KB. 6

Bilagor -Bilaga 1: Årscykel - Bilaga 2: Fallgropar - Bilaga 3: Omvärldsbevakning, referenslista 7

Bilaga 1: Årscykel 8

Bilaga 2: Fallgropar Allt arbete med statistik innehåller problem som man måste ta ställning till. Underlaget behöver granskas så att inte rena felaktigheter kommer att ligga till grund för analysen. Nedan är ett antal fallgropar beskrivna utifrån årscykeln. 1. Insamlingsskedet Är filen korrekt enligt Counter? Felformateringar kan förekomma som måste rättas till innan man kan använda dem. Uppenbart felaktiga siffror p g a ändringar av bibliotekets webbplats / söksätt. Som exempel kan nämnas SUB som från slutet av 2011 samsöker i flera Ebsco-databaser direkt från webbsidan. Detta har påverkat såväl antalet sökning i Ebscos databaser som antalet nedladdade artiklar enligt JR 1. 2. Bearbetning analysskedet Flera avtal eller egna prenumerationer i en och samma JR 1-fil. Ex.: Elsevier ScienceDirect där avtalen för Freedom Collection, Titles excluded from FC 2011, Cell Press och ev. lokala prenumerationer ingår i samma JR 1-fil, förutom arkivanvändningen. All användning som härrör från dessa olika avtal måste separeras och tas bort innan beräkningar görs för respektive avtal. Vilka titlar ingår i avtalet? Titellistor innehåller ofta endast senaste titeln. Om man använder dessa titellistor som underlag för att fastställa vilka titlar som ska ingå i analysen kan man missa en hel del användning som egentligen ingår i avtalet. Open access, ska användningen ur open access-tidskrifter tas bort? Det kan vara mycket svårt att veta vilka titlar, som ska tas bort ur filen, om man bestämmer sig för det då en tidskrift kan vara helt open access eller endast ett urval artiklar eller årgångar. Användning som hör till arkiv. I en del fall saknas fortfarande JR 1a-rapport och då finns inget sätt att fastslå hur stor användningen är löpande avtalet resp. det inköpta arkivet. Plattformens utformning: i vissa fall visas alltid en artikel i HTML-format även om man sedan laddar ner den som PDF. Användningen drivs då artificiellt upp. Som exempel kan ScienceDirect och Nature nämnas. Det går alltså inte att direkt jämföra användningsstatistiken mellan plattformar. Vad beror avvikande mönster på? Det kan beror på otillåten nedladdning men även klassvis användning i undervisning, som driver upp användningen under en kortare period. Vilka och hur många årgångar ingår i avtalet? Är alla typer av artiklar likvärdiga? Exempel korta nyhetsartiklar o Nature och Science jämfört med forskningsartiklar (research articles). Hur beräknar man FTEer? Ska universitetets FTEer alltid vara den kompletta för hela universitetet eller ska man använda FTEer enligt avtalets prismodell alternativ avtalets ämnesinriktning? 9

3. Kostnader Skillnader i valutakursen kan påverka kostnaden/nedladdning, se KPIerna Indirekta kostnader som personal och systemkostnader. De ingår inte i KPIerna men är viktiga för helhetsanalysen. Sammanfattning: Analyser även med välgjorda KPIer måste kompletteras med information om ev. avvikande mönster, begränsat antal år som ingår i avtalet, hög proportion html-nedladdningar, eventuella open access-tidskrifter, andra kostnader förknippade med förvärvande och tillhandahållande av elektroniska resurser. 10

Bilaga 3: Omvärldsbevakning, referenslista 1. Usage statistics for Big Deals: supporting library decision-making. 2008. p. 193-9. 2. As I See It! -- Impact Factors and Usage Factors: Testing Alternative Metrics. Against the Grain. 2009;21(6):74-6. 3. Bannerman IAN. The use and abuse of usage measures. Serials. 2008;21(2):93-7. 4. Beals N, Lesher M. Managing Electronic Resource Statistics. Serials Librarian. 2010;58(1-4):219-23. 5. Boukacem-Zeghmouri C, SchÖPfel J. On the usage of e-journals in French universities. Serials. 2008;21(2):121-6. 6. Bucknell T, Taylor-Roe J, al. e. Usage Statistics for Decision Making. Serials. 2011;24(1):17-20. 7. Dean CE, de Jager K. Statistics for electronic resources. South African Journal of Library & Information Science. 2009;75(1):76-85. 8. Fei X. Implementation of an electronic resource assessment system in an academic library. Program: Electronic Library & Information Systems. 2010;44(4):374-92. 9. Fleming-May RA, Grogg JE. Chapter 4: Practitioner Responses on the Collection and Use of Usage Statistics. Library Technology Reports. 2010;46(6):28-34. 10. Fleming-May RA, Grogg JE. Chapter 5: Appendix: Survey: Electronic Resources Usage Statistics. Library Technology Reports. 2010;46(6):35-. 11. Flemming-May RA, Grogg JE. TECHNOLOGY: Dispatches from the Field. Measuring E-Resource Use. American Libraries. 2010;41(9):22-. 12. Franklin B, Plum T. Assessing the Value and Impact of Digital Content. Journal of Library Administration. 2008;48(1):41-57. 13. Gedye R, Rowland F. Usage factors. Serials. 2009;22(3):233-4. 14. Kidd T. Electronic journal usage statistics in practice. 2002. p. 11-7. 15. King D. What is the Next Trend in Usage Statistics in Libraries? Journal of Electronic Resources Librarianship. 2009;21(1):4-14. 16. Kinman V. E-Metrics and Library Assessment in Action. Journal of Electronic Resources Librarianship. 2009;21(1):15-36. 11

17. Kyrillidou M, Plum T, Thompson B. Evaluating Usage and Impact of Networked Electronic Resources through Point-of-Use Surveys: A MINES for Libraries Study. Serials Librarian. 2010;59(2):159-83. 18. Matlak J. What Drives Usage. Journal of Electronic Resources Librarianship. 2010;22(3/4):144-65. 19. Noh Y. A Study on Developing Evaluation Criteria for Electronic Resources in Evaluation Indicators of Libraries. The Journal of Academic Librarianship. 2010;36(1):41-52. 20. Pringle J. What impact? Whose value? Citation metrics in a work-flow perspective. Serials. 2007;20(3):192-8. 21. Sanville T. Do Economic Factors Really Matter in the Assessment and Retention of Electronic Resources Licensed at the Library Consortium Level? Collection Management. 2008;33(1/2):1-18. 22. Schufreider B, Romaine S, editors. Making Sense of your Usage Statistics. 2008/06//. 23. Scigliano M. Measuring the Use of Networked Electronic Journals in an Academic Library Consortium: Moving beyond MINES for Libraries in Ontario Scholars Portal. Serials Review. 2010;36(2):72-8. 24. Shepard PT. Journal Usage Factor a promising new metric. Serials. 2011;24(1):64-8. 25. Taylor-Roe J, Spencer C. A librarian's view of usage metrics: through a glass darkly? Serials. 2005;18(2):124-31. 26. Tenopir C. Measuring the Value of the Academic Library: Return on Investment and Other Value Measures. Serials Librarian. 2010;58(1-4):39-48. 27. Tucker C. Benchmarking Usage Statistics in Collection Management Decisions for Serials. Journal of Electronic Resources Librarianship. 2009;21(1):48-61. 28. Wilde M. Local Journal Utilization Report: Supporting Data for Collection Decisions. Collection Management. 2010;35(2):102-7. 29. Wood EH. Measuring Journal Usage: Add a Survey to the Statistics? Journal of Electronic Resources in Medical Libraries. 2006;3(1):57-61. 12