Utvärdering av SAFARI

Transkript

1 Utvärdering av SAFARI ett nationellt Internetbaserat forskningsinformationssystem Carl Jacobsson Sara Billfalk 1

2 Utvärdering av SAFARI ett nationellt Internetbaserat forskningsinformationssystem Vetenskapsrådet (The Swedish Research Council) Stockholm Vetenskapsrådet ISBN Omslag: ORD&FORM AB, Uppsala 2002 Produktion: ORD&FORM AB, Uppsala

3 Innehållsförteckning UTVÄRDERING AV SAFARI Inledning... 5 Syfte... 5 Frågeställningar och metoder... 5 Bakgrund... 6 Fungerar SAFARI tillfredställande?... 8 Producenternas synpunkter... 8 Användarnas synpunkter... 9 Ämnesmässiga synpunkter Används SAFARI? Hur mycket kostar SAFARI? Överväganden och förslag Ett alternativ till SAFARI Bilagor Beskrivning av SAFARI SAFARI:s tillkomst och utveckling a Högskoleverkets marknadsföringsinsatser Producenternas synpunkter a Frågeformulär enkät till SAFARI:s kontaktpersoner b Frågeformulär enkät till forskare Användarnas synpunkter webbenkät Funktionalitetstest Användarstatistik

4 SAFARI:s startsida 4

5 Inledning Som en följd av den s.k. IT-propositionen (prop. 1995/96:125) fick Högskoleverket i november 1996 regeringens uppdrag att utforma ett nationellt Internetbaserat forsknings informations system. Systemet skulle tas i bruk senast vid utgången av 1998 och regeringen anförde bland annat följande: Utgångspunkten vid utformningen av systemet skall vara att allmänhet, skolor och andra utbildningsinstitutioner har intresse av att såväl orientera sig allmänt om forskning som att finna vägar att skaffa specifik information om olika forskningsområden. I slutet av 1998 rapporterade Högskoleverket till regeringen att ett enhetligt söksystem för universitetens och högskolornas forskningsinformation hade skapats. Systemet fick namnet SAFARI (Spridning Av Forskningsinformation till Allmänheten över Internet). Den 1 januari 2001 bildades Vetenskapsrådet och fick bland annat ett natio nellt ansvar för forsk nings information. Vetenskapsrådet övertog då också SAFARI från Högskoleverket och fick samtidigt regeringens uppdrag att göra en utvärdering av systemet. Inom Vetenskapsrådet gavs utvärderingsuppdraget till analys- och strategi avdelningen. Arbetet har utförts av Carl Jacobsson och Sara Billfalk. Elizabeth Lundberg och Ulf Heyman har givit värdefulla bidrag. Syfte Utvärderingen av SAFARI avser att ge Vetenskapsrådet och dess informationsavdelning ett underlag för beslut om SAFARI:s framtid inom Vetenskapsrådets utbud av Internetbaserad forsknings information. Frågeställningar och metoder Denna utvärdering utgår från att SAFARI:s huvudsyfte är att föra ut forskningsinformation till en bred allmänhet. För att kunna värdera detta system, särskilt i förhållande till andra informations metoder, bör följande tre frågor besvaras: fungerar systemet (för användarna, men också för informationsproducen t- erna )? används systemet? hur mycket kostar systemet? 5

6 Svaren på dessa frågor bör ge underlag för beslut om systemets framtid och utveckling. En fjärde fråga blir naturligtvis aktuell: vad finns det för alternativ? Flera olika metoder har använts i avsikt att besvara den första frågan. In formations producenternas synpunkter har inhämtats genom en hearing med och en enkät till SAFARI:s kontaktpersoner vid universitet och högskolor. Vidare har en enkät sänts till ett antal forskare som lägger in information i syst emet. En webbenkät har använts för att få synpunkter från användarna. Ett funktionalitetstest har utförts av ett undersökningsföretag det intervjuade elever från gymnasiets tredje årskurs, samhällsvetenskaplig linje. Eleverna har också kommenterat ämnesinnehållet i SAFARI. Slutligen har några ämnesexperter fått belysa SAFARI från ämnesmässig synpunkt, med särskild hänsyn tagen till målgruppen allmänhet/skola. Statistik över besöken på SAFARI:s hemsida har inhämtats för att ge svar på i vilken utsträckning systemet används. Den ovan nämnda webbenkäten ger också viss information i frågan. Högskoleverket har lämnat en redovisning av verkets kostnader för SAFARI. De stora kostnaderna för systemet finns dock vid universitet och högskolor. Kontakt personerna för SAFARI har i en enkät fått ge en uppskattning av lärosätenas kostnader. Vid hearingen med kontaktpersonerna för SAFARI diskuterades också andra alternativ. Hearingen liksom resultaten av de olika undersökningarna har diskuterats inom analys- och strategiavdelningen. Rapporten presenterar slutligen ett förslag om en så kallad portal 1 för forskningsinformation som ett alternativ till SAFARI. Bakgrund Regeringen gav följande riktlinjer för forskningsinformationssystemet i uppdraget till Högskoleverket i november Utgångspunkten vid utformningen av systemet skall vara att allmänhet, skolor och andra utbildningsinstitutioner har intresse av att såväl orientera sig allmänt om forskning som att finna vägar att skaffa specifik information om olika forskningsområden. Därför skall information tillhandahållas på olika detaljnivåer som är av - passad både för allmänheten och för utbildningsväsendet i vid mening. 1 6 Port till Internet

7 Mot denna bakgrund skall en samordning skapas för att säkerställa att IT-baserad forskningsinformation till allmänheten och utbildningsväsendet blir nationellt heltäckande i väsentliga avseenden. Ett enhetligt söksystem som sammankopplar olika myndigheters information bör skapas och viss ny information produceras. Informationen bör vara strukturerad så att olika detaljnivåer kan svara mot olika målgruppers behov. Utöver de nämnda typerna av utåtriktad information från forskningsvärlden till allmänheten och utbildningsväsendet finns behov av annan information som kan riktas till bl.a. företag. Det kan bl.a. gälla vilka forskare som kan lämna upplysningar om sin eller andras forskning. Forskningsinformationssystemet bör därför utformas på så sätt att det även kan utgöra en inkörsport för informationshämtning från företag. En förutsättning skulle vidare vara att varje universitet och högskola (eller mynd ighet som utför forskning) svarar för att information om dess forskning finns tillgänglig. Systemet skulle vara i drift senast vid utgången av Högskoleverket kunde i slutet av 1998 rapportera ( Ett system för forskningsinformation på Internet, Högskoleverkets rapportserie 1998:35) att ett enhetligt söksystem, SAFARI, som sammankopplar universitetens och högskolornas forskningsinformation, hade utvecklats. SAFARI bygger på att universiteten och högskolorna lägger ut forskningsinformation på Internet och märker den med metadata på ett sätt som Högskoleverket bestämt; metadata kan liknas vid bibliotekens katalogkort. SAFARI:s sökrobot letar bara upp de hemsidor vid lärosätena som märkts med metadata. Genom markering i metadata riktas varje sida i SAFARI mot någon av fyra angivna målgrupper. Tre av dessa allmänhet/skola, högskolestuderande res pektive näringslivet kan sägas ha ingått i regeringens uppdrag. Högskoleverket lade till en fjärde målgrupp forskarsamhället med avsikten att den framtida nyttan för den egna gruppen skulle motivera forskare att bidra med information. Högskoleverket gjorde dock inte någon närmare behovsundersökning med avseende på någon av de angivna målgrupperna. I Högskoleverkets rapport framhölls att uppdraget fullgjorts, med undantaget att forsknings informationen inte kunde anses nationellt heltäckande eftersom lärosätena inte i tillräcklig utsträckning hade lagt in information i systemet. Samtliga universitet och högskolor förutom tre mindre högskolor och de konstnärliga högskolorna deltar i dag i SAFARI, om än i varierande grad. Dessutom deltar några andra myndigheter, t.ex. SMHI 2, Rymdstyrelsen och 2 Sveriges meterologiska och hydrologiska institut 7

8 Arbetslivsinstitutet. De 38 deltagande myndigheterna/motsvarande kallas för enkelhetens skull universitet och högskolor eller lärosäten i det följande. Totalt finns i dag cirka sidor (dokument) sökbara i systemet, vilket är drygt tre gånger fler sidor än vid starten i december Flest sidor, 7 482, är riktade till målgruppen forskarsamhället. Målgruppen högskolestuderande har sidor, allmänhet/skola har sidor och näringslivet har sidor (vissa sidor räknas till mer än en målgrupp). För en närmare beskrivning av SAFARI och dess tillkomst se bilagorna 1 och 2. Fungerar SAFARI tillfredsställande? Frågan hur SAFARI fungerar har undersökts ur informationsproducenternas, användarnas respektive ämnesmässig synvinkel. Några underfrågor har då kommit fram, nämligen: Är det lätt att lägga in information i systemet? Är det lätt att hitta information i SAFARI? Är informationen som hittas i SAFARI begriplig och väl anpassad för målgruppen? Är SAFARI:s sökfunktioner lätta att använda? Är informationen heltäckande? Är informationen representativ för svensk forskning? Resultaten av dessa undersökningar pekar på att SAFARI har ett antal brister. Producenternas synpunkter Varje universitet och högskola har fått utse en person med uppgift att fungera som kontakt mellan lärosätet och Högskoleverket, numera Vetenskapsrådet. Dessa kontaktpersoner, som bör ha en initierad bild av hur systemet fungerar på lärosätena, har lämnat synpunkter dels vid en hearing i september 2001, dels genom en särskild enkät. Kontaktpersoner från 32 av de 38 lärosäten, som verkligen har lagt in information i systemet, deltog i hearingen och/eller besvarade enkäten. Kontaktpersonerna fick också lämna namn på forskare som lägger in material i SAFARI. Dessa forskare fick en särskild enkät. Av 39 tillfrågade forskare svarade 20 på enkäten. Kontaktpersonerna pekade på att målgrupperna är alltför många och otydligt avgränsade samt att informationen i alltför liten utsträckning är lättbegriplig och intressant för en bred allmänhet. De ansåg vidare att det populärvetenskapliga innehållet måste öka i omfattning. I dag är innehållet i SAFARI långt ifrån heltäckande och inte heller representativt för forskningen vid lärosätena. Ett stort problem, som framhölls både av kontaktpersoner och av forskare, är att hitta bra sätt att få fram mer populär vetenskapligt material. Det finns knap- 8

9 past något incitament för en forskare att ägna sig åt att skriva populärt och att göra materialet tillgängligt i SAFARI. Det skulle också ta avsevärda resurser från andra verksamheter, men det är å andra sidan mycket kostsamt att i större omfattning kommersiellt beställa populär vetenskapliga texter. Som tidigare nämnts är informationen i SAFARI strukturerad genom att varje sida (dokument) som läggs in i systemet är försedd med så kallad metadata där bland annat den tänkta målgruppen framgår. Cirka hälften av svaren från kontaktpersoner och forskare vid de lärosäten som använder SAFARI:s verktyg för metadatamärkning pekar på att verktyget upplevs som ett hinder. Inläggning av information i systemet verkar fungera bättre vid de universitet och hög skolor som har en lokal forsknings databas som är kompatibel med SAFARI, så att metadatamärkningen sker automatiskt. Nackdelen med en lokal databas med automatisk märkning är att ämnesområdet ofta anges med en sämre noggrannhet, vilket försämrar sökresultaten. Även om flera stora lärosäten har sådana lokala databaser, har en majoritet av lärosätena inte det, t.ex. varken Stockholms universitet eller Linköpings universitet. För en närmare beskrivning av hearingen och resultaten av enkäterna, se bilaga 3. Användarnas synpunkter Synpunkter från SAFARI:s användare inhämtades genom en webbenkät, som låg ute på SAFARI:s startsida under en månad hösten 2001 och som fick 254 svar. En webbenkät lider självfallet av att urvalet är okontrollerat. Det är dock svårt att finna ett realistiskt alternativ eftersom långt mindre än en procent av allmänheten använder SAFARI. Andra sätt att nå så pass många SAFARIanvändare skulle vara orimligt dyra. Webbenkätens resultat ger ganska otydlig information. För alla frågor gäller att ungefär hälften av de svarande valde omdömet mitt i skalan mellan mycket bra och mycket dåligt. Den typiska svarande tyckte alltså inte att SAFARI fungerar vare sig bra eller dåligt som informationskälla. Den typiska svarande tyckte inte heller att det är vare sig lätt eller svårt att hitta informationen som söks. Däremot finns en tendens åt det positiva hållet i svaren om innehållet presenteras på ett förståeligt sätt, om det är lätt eller svårt att orientera sig i SAFARI respektive om SAFARI:s sökmotor fungerar bra eller dåligt. Svaren gav således en mer positiv bild av SAFARI:s innehåll än vad omdömena från kontaktpersonerna respektive ämnesexperterna gav. Det är intressant att konstatera att 57 % av de svarande besökte SAFARI för första gången, medan endast 13 % använde SAFARI mer än en gång i månaden. Om svaren är representativa för SAFARI:s användare kan slutsatsen dras efter- 9

10 som antalet besökare dessutom inte verkar öka, se nedan att en mycket stor andel av besökarna, cirka 90 %, inte återvänder till SAFARI. Det bör noteras att uppskattningen påverkas av förhållandet att den person som besöker SAFARI varje månad bör ha sett webbenkäten under den månad då den låg ute, medan det ju är mindre sannolikt att den som gör färre besök per år var inne på SAFARI just den månaden. Gruppen högskolestuderande bland de svarande var dubbelt så stor (42 %) som gruppen allmänhet/skola (21 %). Målgruppen forskarsamhället utgjorde 17 % och näringslivet 9 % medan annat utgjorde 11 %. Om denna fördelning är representativ för SAFARI:s besökare utgör gruppen all män - het/skola bara en femtedel av besökarna. En närmare beskrivning av webbenkäten finns i bilaga 4. Ett funktionalitetstest av SAFARI genomfördes av undersökningsföretaget Orange Interactive Research. Respondenter var ett antal elever i gymnasiets tredje årskurs, samhällsvetenskaplig linje, vid en skola i Södertälje. Tre individuella användbarhetstester utfördes framför dator. Dessutom genom fördes två gruppdiskussioner där eleverna före diskussionen hade gått in på SAFARI. De elever som deltog i funktionalitetstestet hade svårigheter att hitta den information de sökte i SAFARI. Det blev till exempel stora skillnader i sökresult - at beroende på hur man gick till väga. Eleverna verkade hitta lättare på universitetens hemsidor. Ämnesträdet i SAFARI under skolsidan var också begränsat användbart för eleverna. Trädet består av ett antal ämnesnamn som strömmar mot betraktaren. Klickar man på ett ämnesnamn får man en ny ström av namn på delämnen, vilka dock i sin tur inte är klickbara. Eleverna ansåg att trädet var oöverskådligt och att det inte gav mycket information. De önskade sig klickbara ord där det går att läsa vad ämnet handlar om. Det behövdes mer information på en nivå som var begriplig för dem. De ansåg till exempel att informationen under för skolor snarare var avsedd för lärare än för elever. Eleverna och undersökningsföretaget gav en mängd övriga synpunkter på hur funktiona li teten kan förbättras och hur instruktionerna kan förtydligas. Undersöknings företaget framhöll att SAFARI måste förbättras på en rad punkt er för att bli ett intressant verktyg för målgruppen allmänhet/skola. En närmare beskrivning av funktionalitetstestet finns i bilaga 5. Ämnesmässiga synpunkter I syfte att få en bild av hur väl innehållet i SAFARI speglar de vetenskapliga ämnesområdena kontaktades fyra ämnesexperter i Vetenskapsrådets närhet. De tillfrågades inom sina respektive områden om informationen i SAFARI på ett rättvisande sätt speglar ämnesområdet, om informationen är korrekt från veten- 10

11 skaplig synpunkt och hur väl informationen är avpassad till den primära målgruppen allmänhet/skola. Ämnesexperterna tyckte inte att informationen var representativ för sina re - spektive områden utan ansåg att det fanns stora luckor. Informationen fick antas vara korrekt eftersom den producerats vid lärosätena medan en kontroll skulle kräva ett mycket stort arbete. Ämnesexperterna framhöll vidare att SAFARI inte är väl anpassad för allmänhet/skola. Det är svårt att hitta information för den som inte är förtrogen med den akademiska världen och mycket av information - en är också svårbegriplig för målgruppen allmänhet/skola. En ämnesexpert framhöll följande: Det är nog inte så lätt att direkt skaffa sig en uppfattning om vad vetenskapsområdet är utifrån SAFARI:s hemsida. Det borde finnas någon inledning och korta definitioner om vad de olika ämnesområdena står för när man t.ex. söker ämnesvis. Informationen är svår att sortera och greppa när allt möjligt kommer blandat i bokstavsordning. Jag kan ju sortera och hitta det jag vill ha ut, men om man vänder sig till allmänhet och skola kanske det blir lite förvirrande. Används SAFARI? Statistik över antalet besök på SAFARI hämtades in från NetLab det företag som har hand om SAFARI:s webbserver. Antalet besök på SAFARI:s startsida finns till exempel registrerat sedan starten hösten 1998 t.o.m. augusti Startsidan fick besök år 1999 vilket ökade till år Under perioden januari till augusti 2001 registrerades besök, vilket är samma nivå som motsvarande period år Efter en ökning vid starten verkar antalet besök ha planat ut. Antalet användare under ett år är svårare att uppskatta, eftersom många be - söker SAFARI flera gånger under året. En uppskattning med utgångspunkt i ovan nämnda webbenkät att varje användare i snitt gör två besök per år ger resultatet att SAFARI har cirka användare under ett år. Webbenkäten indikerar vidare att endast cirka av dessa användare gör mer än ett besök på SAFARI. Om man i stället skulle uppskatta att varje användare i snitt gör fyra besök per år får man fram att SAFARI har cirka användare per år, varav troligen endast cirka gör mer än ett besök. Oavsett vilken uppskattning man väljer, kan man konstatera att SAFARI används i liten utsträckning. Användarstatistiken är således inte helt lätt att tolka, men en jämförelse kan göras mellan antalet besök på SAFARI:s startsida och antalet besök på start- 11

12 sidorna för forskning vid universiteten. Under perioden september till och med november 2000 hade SAFARI:s startsida besök medan, under samma månader år 2001, startsidan för forskning vid Stockholms universitet hade besök och motsvarande sida vid Linköpings universitet hade Antalet besök på SAFARI, som är en nationell forskningsinformationstjänst, var således mindre än en femtedel av antalet besök på motsvarande sida vid Stockholms universitet. Om svaren på webbenkäten är representativa för SAFARI:s användare är det bara cirka 10 % av besökarna under året som går in på SAFARI mer än en enda gång och bara cirka 2 % som går in mer än en gång i månaden. Vidare är det då bara 21 % som tillhör gruppen allmänhet/skola, medan 42 % är studenter, 17 % är forskare och 9 % tillhör näringslivet. De forskare som går in på SAFARI kan också misstänkas oftare göra det i syfte att kontrollera informationen om ämnet/institutionen än i syfte att få forsknings information för egen del. Av de cirka användarna under året, som ges av den första uppskattningen ovan, skulle med webbenkätens fördelning bara cirka 800 personer tillhöra gruppen allmänhet/skola och gå in på SAFARI mer än en gång. Högskoleverket har marknadsfört SAFARI genom ett antal insatser. Vid introduktionen i slutet av 1998 gav verkets pressmeddelande upphov till art iklar i flera dagstidningar och i flertalet personaltidningar vid universitet och högskolor. Vetenskapsradion hade också ett inslag. Högskoleverket har presenterat SAFARI vid några olika mässor och konferenser, inom Populär vetenskapens vecka och vid Matematikbiennalen. Vidare har verket producerat två foldrar och gjort ett e-postutskick till gymnasieskolor i skoldatanätet. En beskrivning av användarstatistiken finns i bilaga 6, medan marknadsföringen beskrivs i bilaga 2a. Hur mycket kostar SAFARI? De totala kostnaderna för SAFARI är mycket svåra att uppskatta. På nationell central nivå anger Högskoleverket en kostnad om cirka 2 miljoner kronor per år. För att försöka få en uppfattning om kostnaderna vid högskolorna tillfrågades kontaktpersonerna för SAFARI vid universitet och högskolor. Kontaktpersoner från tolv lärosäten svarade och dessa svar indikerar att kostnaden centralt på lärosätet ligger mellan och kronor per år. Räknar man med 25 lärosäten är denna kostnad således cirka 2 miljoner kronor per år. Då det gäller kostnaderna på institutionerna, saknar vi på det hela taget data och det är dessutom oklart om arbete med sidor i SAFARI bör räknas som en 12

13 kostnad eller betraktas som en del av den normala verksamheten. I den mån man vill jämföra kostnaden för SAFARI med andra alternativ bör man dock se till hela kostnaden, eftersom ett annat system skulle kunna innebära en minskning av forskarnas insatser och därmed ge vinster som bör tas med i en jämförelse. Kostnaden för att uppdatera och förnya systemets innehåll kan mycket grovt skattas genom att anta att varje sida bör ses över kontinuerligt och att detta tar en viss tid. Ett rimligt antagande kan vara att översyn bör ske vart tredje år och att översynen tar 3 timmar per sida. Av SAFARI:s sidor kan dock hälften anses vara statiska, varför en grov uppskattning av uppdateringstiden skulle bli arbetstimmar per år. Till detta skall läggas produktion av nya sidor, som om nya sidor produceras årligen och produktionstiden är tio timmar, skulle innebära ytterligare arbetstimmar. En forskartimme kostar ungefär 420 kronor kringkostnader antas motsvara normalt overhead varför den totala kostnaden för institutionerna kan skattas till 12 miljoner kronor. Tar man med ovan nämnda kostnader för Högskoleverket och centralt på lärosätena hamnar den totala kostnaden på 16 miljoner kronor per år. Självklart är den presenterade kalkylen mycket osäker. En total kostnad mellan 10 och 20 miljoner kronor per år förefaller dock vara en rimlig utgångspunkt för en jämförelse med andra lösningar. Överväganden och förslag Det är naturligtvis en tilltalande tanke att på nationell nivå ge en bred allmänhet tillgång till universitetens och högskolornas samlade Internetbaserade utbud av forskningsinformation. Utvärderingen visar dock att SAFARI från flera olika synpunkter inte fungerar tillfredsställande, att systemet inte används i särskilt stor utsträckning och att det är tämligen kostsamt. Vid överväganden om SAFARI:s framtid finns det goda skäl för att koncentrera sig på endast gruppen allmänhet/skola. Målgruppen forskarsamhället är knappast intressant, eftersom forskarna har egna, för dem helt överlägsna internationella informations kanaler, till exempel Medline 3. Det finns knappast skäl för en forskare att begränsa sig till information om bara svensk forskning. Storföretagen och de kunskapsintensiva företagen använder säker- 3 Publikationsdatabas för medicinsk forskning tillgänglig över Internet 13

14 ligen samma kanaler som forskarna. Ett antal kontaktpersoner för SAFARI föreslog också vid ovan nämnda hearing en övergång till en enda målgrupp, allmänhet/skola, och därmed en inriktning mot populärvetenskap. Svårigheten att få fram en tillräcklig mängd populärvetenskapliga texter och beskrivningar av olika ämnen, så att SAFARI blir någorlunda heltäckande, kan knappast övervinnas utan mycket stora insatser. Att kommersiellt beställa popul - ärvetenskapligt material i stor omfattning skulle vara mycket dyrbart och metoden att genom olika instruktioner och krav få forskarna att producera material i stor omfattning och av god kvalitet torde vara utsiktslös. Dessutom, om man med stora insatser trots allt skulle få fram en någorlunda heltäckande bild av svensk forskning, skulle materialet ändå inte ge en heltäckande kunskapsbild, eftersom svensk forskning bara utgör cirka en procent av all forskning. Målgruppen allmänhet/skola torde också vara mer betjänt av populärvetenskapliga översikter och först i andra hand ha intresse av beskrivningar av pågående svenska forskningsprojekt. Det ligger i sakens natur att en centralt bestämd metadata märkning inte kan fungera tillfredsställande överallt i ett decentraliserat högskole system. I dag fungerar de lokala databaserna som är anslutna till SAFARI bra för dem som lägger in information i systemet men ger ett dåligt sökresultat. Vid de lärosäten där SAFARI:s verktyg för metadatamärkning används får man ett bättre sökresultat, men inläggningen av information är mer komplicerad. De uppskattningar som gjorts ovan av antalet personer som besöker SAFARI per år, , respektive av den totala kostnaden för systemet, miljoner kronor per år, är grova och kan självfallet ha avsevärda fel. Inte desto mindre ger storleksordningen på kostnaden för en person som besöker SAFARI, kronor per år, anledning till eftertanke. Mycket troligt är det bara en liten minoritet som gör mer än ett besök på SAFARI. Dessutom tillhör troligen bara en mindre del av användarna den primära målgruppen allmänhet/skola. En mer extrem kostnad får man ifall man gör ovan nämnda bedömningar att bara 800 personer per år från allmänhet/skola går in på SAFARI mer än en gång och att systemet kostar cirka 16 miljoner kronor per år. Då kostar varje sådan person kronor per år. De problem med funktionaliteten som undersökningsföretaget Orange Interactive Research påpekar kan möjligen bemästras med en rimlig utvecklingsinsats, men övriga brister som nämns ovan torde i stort sett kvarstå. Marknadsföringen av SAFARI har kanske inte varit så omfattande, men har också försvårats av systemets brister. Det ringa och stagnerande antalet besök indikerar att den som en gång besöker SAFARI inte blir uppmuntrad att återvända. 14

15 Det är därför naturligt att tänka på andra lösningar än SAFARI, i syfte att få en lägre kostnad och/eller ett bättre resultat. Ett alternativ till SAFARI Från flera håll, till exempel från Vetenskapsrådets informations avdelning och vid hearingen med kontaktpersonerna för SAFARI, har det förts fram förslag om en så kallad portal för forskning, som också skulle innehålla riklig och väl strukturerad populär veten skaplig information. Denna modell har diskuterats inom analys- och strategiavdelningen. I det följande skisseras ett portal alternativ till SAFARI. Grundstrukturen är en portal med följande innehåll: överskådliga presentationer av och länkar till lärosätenas forskningssidor, ett ämnesträd 4 med populärvetenskapliga beskrivningar, en söktjänst, utan krav på metadatamärkning, för de hemsidor som ingår i portalen. Inledningsvis kan det finnas en länk till SAFARI, ifall detta system inte skulle läggas ner. Det är lämpligt att även ha en internationell utblick: länkar till populärvetenskapliga sajter i utlandet. Därutöver kan naturligtvis andra tjänster ingå i portalen, exempelvis: länkar till populärvetenskapliga publikationer, t.ex. Forskning och Framsteg, en populärvetenskaplig bokhandel, länkar till avhandlingar etcetera, länkar till olika forskningsdatabaser, till exempel Medline,. En sådan portal, lämpligen inkluderad i webbplatsen skulle ha flera fördelar jämfört med SAFARI-systemet. Genom att gå över till en portal undviker man att kräva en gemensam strukt - ur på lärosätenas hemsidor, vilket implicit följer av SAFARI:s krav på metadatamärkning. Det borde därför bli betydligt billigare, både för administration av systemet och för forskartid att lägga in material. Ett överskådligt ämnesträd med populärvetenskapligt innehåll torde vara mycket lämpat för den primära målgruppen allmänhet/skola. Ett praktiskt 4 Ämnesområdena är ordnade som ett träd där ämnena förgrenar sig till delämnen. 15

16 och arbetsbesparande sätt att ta fram ett sådant träd är att använda den väl in - arbetade strukturen i Nationalencyklopedin, som också har en populärvetenskaplig text för varje ämnesområde och delområde. Nationalencyklopedin skulle alltså enligt detta förslag stå för både trädets struktur och texterna i trädet. En intressant lösning skulle också vara att erbjuda lärosätena att få länkar till egna hemsidor inlagda under de olika ämnena i trädet. Villkoret skulle då vara att lärosätets presentation håller en tillräckligt god populärvetenskaplig nivå, det vill säga är tillräckligt begriplig. Detta skulle dels ge en strukturerad information om ämnena vid de olika lärosätena, dels ge ett incitament för lärosätena att ta fram populärvetenskapligt material. Kostnaden för att få Nationalencyklopedin att lägga ut en del av sitt mater i - al på nätet, och därmed göra det gratis tillgängligt för alla, är inte känd och behöver självfallet undersökas. Det kan dock hävdas att Nationalencyklopedin skulle få en mycket effektiv reklam för att sälja hela verket. Ett alternativ till att använda Nationalencyklopedin (eller något annat uppslagsverk) är att Vetenskapsrådet låter göra ett eget ämnesträd. Detta torde dock bli mycket kostsamt och skulle innebära att man duplicerar ett arbete som redan är gjort på annat håll. Nationalencyklopedin har ett väl inarbetat system för att uppdatera sin information, och det skulle vara dyrt att göra motsvarande uppdateringar i ett träd i Vetenskapsrådets egen regi. Nationalencyklopedin skulle också kunna erbjuda alla lärosäten att länka in ämnesträdet i de egna hemsidorna. Länkarna skulle då kunna begränsas till sådana som går till det egna lärosätet. Detta skulle ge en bra populärvetenskaplig struktur och information vid varje lärosäte och ge ytterligare reklam för Nationalencyklopedin. Analys- och strategiavdelningens bedömning är att den skisserade portalen skulle vara betydligt mer attraktiv och kostnadseffektiv än dagens SAFARI och ge många mervärden. Den skulle vara en lätthanterlig ingång till universitet och högskolor med mera den skulle innehålla ett heltäckande ämnesträd och god populärvetenskaplig information. Innan mer kostsamma åtgärder beslutas är det dock nödvändigt att en ingående analys görs av allmänhetens och skolans behov av Internetbaserad forskningsinformation, särskilt med hänsyn till de andra söktjänster och informationssidor som finns i dag. En portal som utvecklats efter en sådan analys måste sedan introduceras med hjälp av effektiv marknadsföring. En självklar förutsättning är då att portalen är så användbar och funktionell att den säljer sig själv när den intresserade användaren väl hittar dit. Även en portal av ovan skisserat slag kan dock komma att lida av alltför låga besökssiffror. Detta får bli en fråga för framtida utvärderingar. 16

17 Bilagor 17

18 SAFARI:s startsida för skolor 18

19 Bilaga 1 Beskrivning av SAFARI UTVÄRDERING AV SAFARI SAFARI ( ) är ett Internetbaserat forskningsinformationssystem som består av en söktjänst för forskningsinformation vid universitet, högskolor och vissa forskningsansvariga myndigheter och organisationer. Syftet med tjänsten är att den ska vara ett verktyg för att enkelt finna information om svensk offentlig forskning, oavsett var forskningen bedrivs. På uppdrag av regeringen utvecklade Högskoleverket SAFARI i samverkan med universitet och högskol - or under åren Verket hade hand om systemet fram till årsskiftet 2000/01 då Vetenskapsrådet tog över ansvaret. SAFARI bygger på att de deltagande myndigheterna/motsvarande lägger in information om sin forskning. Enligt Högskoleverkets instruktioner ska dessa lägga in all information som kan kategoriseras som forskningsinformation. De dokument som lagts in i SAFARI ska spegla den forskning som bedrivs. Högskoleverket har i arbetsdokumentet Dags att deklarera (Högskoleverket, 1998) angett några exempel på vad som bör ses som forskningsinformation, bl.a. institutionsbeskrivningar, vetenskapliga artiklar, avhandlingar och personalpresentationer. Den centrala myndighetens (Högskoleverket, numera Vetenskapsrådet) främsta roll är att samordna systemet. Detta innebär bl.a. att formulera tydliga mål och strategier, fastställa diverse standarder och regler, sköta den tekniska utvecklingen och driften av systemet, följa och påverka utvecklingen i EU så att informationen om svensk forskning ska kunna bli synlig även inom EU samt informera om systemet och dess utveckling. Ansvaret för kvalitetssäkring av informationen ligger hos myndigheterna/motsvarande, som alltså ska att se till att informationen håller en viss kvalitet och är uppdaterad. Varje deltagande myndighet/motsvarande har fått utse en kontaktperson för SAFARI, som ska fungera som en informationskanal mellan myndigheten/ motsvarande och den centrala myndigheten. I dag har 53 myndigheter/motsvarande, varav 31 universitet och högskolor, tillstånd att lägga in information om sin forskning i SAFARI. Förutom högskolor ingår vissa andra forskningsutförande myndigheter, forskningsfinansiärer och vissa stiftelser. 19

20 De följande har i varierande utsträckning gjort dokument sökbara i SAFARI: Arbetslivsinstitutet Linköpings universitet Blekinge tekniska högskola Luleå tekniska universitet Chalmers tekniska högskola Lunds universitet FAS tidigare SFR och delar av Lärarhögskolan i Stockholm RALF 5 Malmö högskola FORMAS tidigare BFR och SJFR Mitthögskolan samt delar av NV och FRN 6 Mälardalens högskola Göteborgs universitet Polarforskningssekretariatet Handelshögskolan i Stockholm Rymdstyrelsen Högskolan Kristianstad Stockholms universitet Högskolan i Skövde Sveriges provnings- och forskningsinstitut Högskolan i Borås Högskolan i Gävle Sveriges lantbruksuniversitet Högskolan i Halmstad Sveriges meteorologiska och hydrologiska institut Högskolan i Jönköping Högskolan i Kalmar Södertörns högskola Institutet för rymdfysik Totalförsvarets forskningsinstitut Karlstads universitet Umeå universitet Karolinska institutet Uppsala universitet Kungl. Tekniska högskolan Växjö universitet Kungl. Vetenskapsakademin Örebro universitet Följande 15 myndigheter/motsvarande kan delta i SAFARI men har inte gjort några dokument sökbara: Flygtekniska försöksanstalten Högskolan i Dalarna Högskolan i Trollhättan/Uddevalla Högskolan på Gotland Konkurrensverket Naturvårdsverket Riksantikvarieämbetet Statens geotekniska institut 5 Forskningsrådet för arbetsliv och socialvetenskap, Socialvetenskapliga forskningsrådet resp. Rådet för arbetslivsforskning 6 Forskningsrådet för miljö, areella näringar och samhällsbyggande, Byggforskningsrådet, Skogs- och jordbrukets forskningsråd, Naturvårdsverket resp. Forskningsrådsnämnden 20 7 Verket för innovationssystem, Kommunikations forsknings beredningen resp. Närings- och teknikutvecklingsverket Statens kulturråd Statens Veterinärmedicinska Anstalt Stiftelsen för Strategisk Forskning Sveriges geologiska undersökning VINNOVA tidigare KFB och delar av RALF och NUTEK 7 Väg- och transportforskningsinstitutet Vägverket

21 Totalt finns i dag ca sökbara sidor (dvs. dokument) i systemet inlagda av 38 myndigheter/motsvarande, varav 28 är universitet och högskolor. Detta kan jämföras med december 1998, då ca sidor från 29 myndigheter/ motsvarande var sökbara i SAFARI. Universiteten och högskolorna står för den helt övervägande delen av sidorna. För enkelhetens skull betecknas i det följande samtliga deltagande myndigheter/motsvarande med universitet och högskolor eller lärosäten. I enlighet med regeringens uppdrag vänder sig SAFARI till målgrupperna allmänhet/skola, högskolestuderande och näringslivet. Högskoleverket har på eget initiativ lagt till målgruppen forskarsamhället, med motiveringen att forskarna själva måste se en framtida nytta med systemet för att känna sig motiverade att bidra med information om sin forskning. Enligt Högskoleverkets rekommendationer ska helst bara en målgrupp anges för varje dokument, men två målgrupper kan också godtas. I dagsläget är flest sidor riktade till målgruppen forskarsamhället (7 482). Därefter kommer målgrupperna högskolestuderande (5 565), allmänhet/ skola (4 061) och näringslivet (1 173). Luleå tekniska universitet, Karolinska institutet, Lunds universitet, Handelshögskolan i Stockholm, Uppsala universitet, Chalmers tekniska högskola och Göteborgs universitet står för flest sidor, medan universiteten i Uppsala, Lund, Göteborg och Umeå har flest sidor riktade till målgruppen allmänhet/skola. Varje sida i SAFARI måste märkas på ett sätt som Högskoleverket definierat. Denna märkning kallas för metadata och kan liknas vid bibliotekens katalogkort. Sidan förses med uppgifter såsom författare, utgivare, år, ämnesområde och målgrupp som ligger dolda i dokumentet. SAFARI:s sökrobot letar enbart upp information som märkts med metadata på universitetens och högskolornas servrar. Kraven på metadata följer ett internationellt format, Dublin Core 8, som bedömts kunna bli internationell standard. Universiteten och högskolorna kan välja mellan olika sätt att göra sin information tillgänglig i SAFARI. De kan märka dokument med hjälp av ett registreringsverktyg, som Högskoleverket tagit fram, eller sätta upp en egen lokal databas där forskare kan logga in sig. En majoritet av lärosätena använder Högskoleverkets registreringsverktyg, men flera, till exempel universiteten i Uppsala, Göteborg och Umeå, har en lokal databas. Lunds universitet använder ett tredje sätt, nämligen att ta fram en särskild profil för sin lokala databas efter specifikation från Högskoleverket. 8 Se 21

22 I söktjänsten kan besökaren antingen direkt skriva in sökord eller klicka sig fram i en ämneskatalog, som är baserad på ett klassifikationssystem, CERIF (Common European Research Information Format), framtaget av EU. Varje träff i träfflistan presenteras med en titel, en kort beskrivning av innehållet samt vilket lärosäte som har lagt in informationen. Titeln är klickbar och själva dokumentet ligger sedan på lärosätets server. 22

23 Bilaga 2 SAFARI:s tillkomst och utveckling UTVÄRDERING AV SAFARI I den s.k. IT-propositionen, Åtgärder för att bredda och utveckla användningen av informationsteknik (prop. 1995/96:125), lade regeringen fram förslag till mål för en övergripande nationell IT-strategi och ett handlingsprogram för att bredda och utveckla användningen av informationsteknik. I propositionen behandlades bl.a. frågan om ett Internetbaserat forskningsinformationssystem. Som en följd av propositionen gav regeringen i november 1996 Högskoleverket i uppdrag att ge allmänhet och utbildningsväsende tillgång till lämpligt utformad forskningsinformation (regeringsbeslut, ). I uppdraget påpekade regeringen att den avsåg att senare bestämma om rätten för Högskoleverket att meddela föreskrifter om forskningsinformations systemet. Uppdraget preciserades på följande sätt: Utgångspunkten vid utformningen av systemet skall vara att allmänhet, skolor och andra utbildningsinstitutioner har intresse av att såväl orientera sig allmänt om forskning som att finna vägar att skaffa specifik information om olika forskningsområden. Därför skall information tillhandahållas på olika detaljnivåer som är av - passad både för allmänheten och för utbildningsväsendet i vid mening. Mot denna bakgrund skall en samordning skapas för att säkerställa att IT-baserad forskningsinformation till allmänheten och utbildningsväsendet blir nationellt heltäckande i väsentliga avseenden. Ett enhetligt söksystem som sammankopplar olika myndigheters information bör skapas och viss ny information produceras. Informationen bör vara strukturerad så att olika detaljnivåer kan svara mot olika målgruppers behov. Utöver de nämnda typerna av utåtriktad information från forskningsvärlden till allmänheten och utbildningsväsendet finns behov av annan information som kan riktas till bl.a. företag. Det kan bl.a. gälla vilka forskare som kan lämna upplysningar om sin eller andras forskning. Forskningsinformationssystemet bör därför utformas på så sätt att det även kan utgöra en inkörsport för informationshämtning från företag. Högskoleverket får disponera 2 miljoner kronor för utveckling av forsk ningsinformations system. Utvecklingsarbetet bör bedrivas så att informationssystemet är i drift senast vid utgången av år (Bilaga till regeringsbeslut , nr 4, s. 3.) 23

24 Regeringen gav även universitet och högskolor m.fl. i uppdrag att göra sin information om forskning tillgänglig för allmänheten på Internet. I övrigt skall förutsättningen vara att varje universitet och högskola eller myndighet som utför forskning skall, oavsett hur forskningen är finansierad, svara för att inform - ation om dess forskning om inte särskilda skäl föreligger finnas tillgänglig. (Bilaga till regeringsbeslut , nr 4, s. 3.) Högskoleverkets förslag till nationellt forskningsinformationssystem Högskoleverket lade våren 1997 fram ett förslag (Martin Sparr, ) om ett nationellt system för forskningsinformation på Internet. Till grund för förslaget låg studier av tidigare projekt i och utanför Norden samt diskussioner med representanter för främst universitet och högskolor, såväl forskare som informatörer, administratörer och datatekniker. Förslaget behandlade systemets olika potentiella användare samt vilka som skulle bidra med vilken typ av information. Dessutom beskrevs hur projektet skulle genomföras rent praktiskt samt vem som skulle ansvara för vad. För slaget innehöll inga tekniska detaljer utan skulle ses som en ram för hur projektet skulle läggas upp och utvecklas. Förslaget bestod av två delprojekt. Det första delprojektet var att skapa en gemensam katalog på Internet för alla hemsidor vid svenska universitet och högskolor som beskriver pågående forskning. Enligt Högskoleverket var det varje universitets och högskolas skyldighet att se till att det under första hälften av 1998 fanns fullgod Internetburen dokumentation i lämplig omfattning registrerad i den nationella katalogen. Det andra delprojektet syftade till att skapa ett mer komplett forskningsinformationssystem som byggde på en aggregering av distribuerade databaser. Varje universitet och högskola skulle ansvara för att information om bland annat forskningsresultat, projekt och experter fanns tillgängliga i det nationella systemet. Enligt Högskoleverket kunde detta göras antingen genom att universiteten och högskolorna utvecklade egna lokala databaser som kommunicerade med det nationella forskningsinformationssystemet eller genom att universitetet/ högskolan lade in information direkt i det nationella systemet. Högskoleverkets målsättning var att det hösten 1998 skulle finnas en fungerande organisation vid varje universitet och högskola för informationsförsörjning till det nationella systemet. I förslaget betonades att den kvalitativa aspekten i ett nationellt system för forskningsinformation var central. Innehållet skulle enligt Högskoleverket vara 24

25 tillförlitligt, begripligt för den tilltänkta gruppen, aktuellt och lätt att hitta samt ha tillfredsställande täckningsgrad. Dessutom skulle sökningen gå snabbt. Enligt förslaget skulle Högskoleverket bl.a. ansvara för samordning, för system gemensamma frågor och för marknadsföring, medan universiteten och högskolorna skulle ansvara för att forskningsinformation från fakulteter, institutioner och forskare blev tillgänglig i SAFARI. I universitetens och högskolornas ansvar ingick även att vidta interna organisatoriska åtgärder för att kunna försörja det nationella systemet med information från forskarna. De skulle dessutom anpassa den egna databasen till den nationella så att innehållet kunde bli sökbart i systemet. Synpunkter från universitet och högskolor Högskoleverket skickade ut förslaget på remiss till universitet och högskolor. I en PM redovisade verket en sammanställning av remissvaren. Flertalet remissinstanser ställde sig positiva till ett nationellt system för forskningsinformation på Internet. Majoriteten (17 st.) var mycket positiva till förslaget i sin helhet, tre stycken var positiva till delprojekt 1 men kritiska till delprojekt 2. Sex lärosäten avstod från att framföra synpunkter. Ett lärosäte var skeptiskt till förhoppningen att få forskare att rutinmässigt lägga in information i systemet eftersom styrmedel saknades. Två lärosäten uttryckte oro för att Högskoleverkets förslag skulle resultera i ett komplicerat och tungrott centralstyrt system. Flertalet universitet och högskolor påpekade att tidsplanen inte var realistisk. Några lärosäten hade synpunkter på informationsurvalet. Ett lärosäte framhöll att all forskning inte lämpade sig för popularisering. Ett annat påpekade att det många gånger var svårt att beskriva forskning på en nivå så att alla förstår, inte minst inom det tekniska området. Samma lärosäte påpekade också att många forskare saknar vana att skriva för målgruppen allmänhet/skola och att alltför svåra texter blir mer avskräckande än intresseväckande. Flera lärosäten menade att det behövdes redaktionell bearbetning av de texter som läggs in i systemet, inte minst lokalt. Ett par remissvar förespråkade en central redaktion för att göra den centrala hemsidan lockande och spännande och för att åstadkomma någonting mer än en passiv Internetkatalog. Remissvaren efterfrågade vidare utförliga och klara riktlinjer från Högskoleverket. Önskemål framfördes om teknisk hjälp kring gränssnittsproblem och liknande men också om skyndsam behandling av standarder (benämningar, databasstruktur, grafisk form etc.). Lärosätena ville dessutom ha klarhet i frågan hur forskare ska kunna påverkas att bidra med information. 25

26 Högskoleverkets kommentarer till remissvaren I ovannämnda PM gav verket också kommentarer till remissvaren. Högskoleverket ansåg att remissvaren innehöll många värdefulla synpunkter och konstaterade att många universitet och högskolor ställt sig positiva till projektets ambitioner. Högskoleverket kommenterade däremot inte närmare de problem som togs upp i remissvaren. I promemorian presenterade Högskoleverket även planerna för det fortsatta arbetet med forskningsinformationssystemet. Verket framhöll att planerna fortgår såsom presenterade i remissen medan ingenting nämndes om några modifieringar av förslaget. Högskoleverket skickade under våren 1998 ut ett arbetsdokument, Dags att deklarera, till lärosätena. Dokumentet bestod av två delar. Den ena delen vände sig i första hand till de personer som konkret arbetade med frågor som rörde forskningsinformation till olika målgrupper via Internet, t.ex. informatör er, administratörer, bibliotekarier och systemansvariga. Denna del syftade till att ge en bild av SAFARI och vad som förväntades av varje deltagande uni versitet/ högskola. Den andra delen behandlade hanteringen av forskningsinformation i stort och var avsedd som ett stöd för lärosätena i arbetet med att organisera system för forskningsinformation eller att se över de befintliga systemen. Högskoleverkets rapport till regeringen I slutet av 1998 överlämnade Högskoleverket rapporten Ett system för forskningsinformation på Internet (Högskoleverkets rapportserie, 1998:35) till rege ringen. Resultatet av regeringsuppdraget presenterades och verket anförde att uppdraget fullföljts genom att ett enhetligt söksystem som sammankopplar olika myndigheters information hade skapats (SAFARI Spridning Av Forskningsinformation till Allmänheten över Internet). Informationen i systemet var strukturerad så att olika detaljnivåer svarade mot olika målgruppers behov. Verket påpekade dock att målet, att IT-baserad forskningsinformation skulle vara nationellt heltäckande i väsentliga avseenden, inte hade uppnåtts. Samtidigt framhöll Högskoleverket att det inte är lätt att säga när ett system är nationellt täckande. Enligt verkets mening hade alltför många lärosäten inte lagt in forskningsinformation i SAFARI, vilket gjorde att informationen inte var representativ för den forskning som bedrevs i Sverige. Högskoleverket ansåg att lärosätena inte tagit sitt fulla ansvar för att uppfylla regeringens uppdrag. Högskoleverket konstaterade att uppdraget omfattade två olika problemområden: dels att samordna ett forskningsinformationssystem, dels att påverka utformandet av informationsinnehållet. Det senare måste dock i första hand 26

27 vara ett ansvar för universiteten och högskolorna. I rapporten redovisades universitetens och högskolornas synpunkter på det färdiga systemet. Lärosätena efterfrågade tydligare instruktioner kring hanteringen av SAFARI. Ett flertal tyckte att det var svårt att lägga in information i systemet trots Högskoleverkets instruktioner. Från flera håll påpekades att registreringsverktyget för metadatamärkning av information var besvärligt och att formuläret måste förenklas. Synpunkter framfördes även på sökroboten som inte verkade hitta alla märkta sidor. Två lärosäten framhöll att Högskoleverket inte tydligt formulerat vilka målgrupper som skulle prioriteras. I rapporten redovisade Högskoleverket även några gymnasielärares och -elevers syn på systemet. Gymnasielärarna hade fått en personlig demonstration av systemet för att kunna pröva det i undervisningen. De var i stort sett positiva och tyckte att SAFARI var ett intressant verktyg. Gymnasieeleverna tyckte att det avancerade sökgränssnittet var krångligt att använda och att de olika momenten var otillräckligt beskrivna. Den ämnesvisa bläddringsfunktionen var besvärlig att klicka runt i. Vidare gav ämnesinnehållet i SAFARI inte tillräcklig information om forskarnas resultat. Eleverna påpekade också att det fanns många områden där de fick få träffar. De ansåg slutligen att det borde finnas en mer anpassad skolsida på SAFARI:s hemsida. Högskoleverket påpekade i rapporten att det återstod mycket arbete med SAFARI, såväl för lärosätena som för Högskoleverket för att få fler användare som upplever önskad nytta med systemet. Högskoleverkets fortsatta arbete med SAFARI Högskoleverket tilldelades ytterligare ca 2 miljoner kronor från regeringen för att fortsätta utveckla SAFARI under Vidare gav regeringen Högskoleverket i uppdrag att i budgetunderlaget för år 2000 redovisa förslag till hur SAFARI skulle kunna bli permanent. Under perioden lät Högskoleverket göra en del förbättringar av SAFARI 9. Söktjänstens gränssnitt och avancerade sökfunktion sågs över och förbättrades i avsikt att motsvara producenternas och användarnas behov. Den förbättrade avancerade sökfunktionen har dock inte installerats. Högskoleverket lät också utvärdera registreringsverktyget för märkning av metadata. Utvärderingen visade att verktyget uppfattades som svåranvänt och klassificeringssystemet CERIF innehöll för få ämnesnivåer. För att underlätta användningen av registreringsverktyget gjorde Högskoleverket insatser för att 9 Källa: intervju med Malin Winbladh, projektledare för SAFARI vid Högskoleverket