KB:s expertgrupp för utvärdering och kvalitetsutveckling 2012-09-06 kl. 8.30 15.45 Lokal: KB/Karlavägen Albion Ordförande: Maria Törnfeldt, Gävle stadsbibliotek Sekreterare:, KB Närvarande: Cathrine Berggren, Mittuniversitetets bibliotek Krister Hansson, Regionbibliotek Stockholm Gunnel Olsson, Folkbiblioteken i Lund Marie Källberg, Karolinska universitetssjukhusets bibliotek Viveka Norström Hallberg, Talboks- och punktskriftsbiblioteket Anna Nyströmer, SCB:s bibliotek Angela Zetterlund, Linnéuniversitetet, B&I Håkan Carlsson, Göteborgs universitetsbibliotek Katarina Kristoffersson, Arvika Bibliotek Cecilia Natvig, Uppsala universitetsbibliotek Cecilia Ranemo, KB Tore Torngren, Lunds universitetsbibliotek, 7 1 Ordförande hälsar välkommen, fastställande av dagordningen 2 Utse vice ordförande Expertgrupperna har möjlighet att utse vice ordförande (se handboken s. 8). Ordförande och sekreteraren önskar tillsätta en vice ordförande. Cathrine Berggren är föreslagen och är villig att ta på sig uppdraget. 1
Cathrine Berggren utses av gruppen, ett litet arbetsutskott bildas där ordförande, vice ordförande och sekreteraren ingår. Ordförande och vice ordförande är tacksamma för förslag på arbetsformen för arbetsutskottet. 3 Projektutlysningen kort info om datum och arbetsformer 25/9: KB sammanträder och fördelar ansökningarna 28/9 14/11: Expertgruppen läser och diskuterar 15/11: Textförslag till beslut lämnas från expertgruppen till KB:s samordnare Christine Wallén (tidigare Lindmark) 26/11 Prioriteringsmöte KB Ca 1/12 Beslut 4 Intern kommunikation, kort avstämning Hur fungerar det med Google gruppen? Vissa av deltagarna har problem med aviseringar, det kommer ingen e- postavisering när nya inlägg skrivs i gruppen. Alla ombeds kontrollera sina inställningar. Man kan svara direkt via e-post, det är inte nödvändigt att logga in på själva webbsidan. Som komplement till gruppen beslöts att även skapen en Google docs mapp som delas ut till alla. Där lägger vi arbetsmaterial och laddar upp dokument som alla behöver ha tillgång till. EA ansvarar för att skapa mappen. (2012-09-07 mappen skapad) 5 Redovisning av utvalda utvärderingar Bibliotek och lärande Bibliotek och beslutsprocess Allmänt, en bra utvärdering Varje deltagare har valt en eller flera utvärderingar att presentera utifrån följande frågeställningar: 1. Vilket spår passar utvärderingen i (de tre ovan)? 2. Lyfter fram något som är intressant för oss i utvärderingen 3. Om du har valt det allmänna spåret varför är utvärderingen intressant för oss? 2
Viveka Norström Hallberg TPB: TPB har genomfört några användarundersökningar de senaste åren, bland annat en enkät till högskolestudenterna. Krister Hansson Regionbibliotek Stockholm: Generellt görs väldigt få utvärderingar, och då oftast kopplade till KuR projekt, eftersom de har varit den största bidragsgivaren. Biblioteket, boken och den långa svansen : rapport och utvärdering, 2012 Långa svansen var ett projekt som bedrevs vid SSB och som utvärderats i rapporten Biblioteket, Boken och den långa svansen. Regionbiblioteket, som var projektägare, utvärderade projektet. Spår: Bibliotek o lärande En utvärdering som tar upp svårigheter under projekttiden är Rinkebybiblioteket adopterar en författare där samverkansproblemen beskrivs. Ett annat sätt att göra en lärande utvärdering är Skolans bibliotek där Malin Ögland reflekterar över skolbiblioteket. Genom Malins reflektioner lyfts olika områden upp till granskning. Verktyg: Ögland, Malin: Mäta och väga http://regionbiblioteket.se/publicerat/mata-och-vaga-om-statistik-ocheffektivitet-pa-folkbibliotek/ Ett steg till: en metodbok för biblioteksutveckling. Aleman m.fl. http://regionbiblioteket.se/publicerat/ett-steg-till-en-metodbok-forbiblioteksutveckling/ Gunnel Olsson, Folkbiblioteken Lund: Meröppet i Veberöd Det är en utvärdering med flera delar. Kvantitativt: en enkät besvarad av slumpvis utvalda personer. Kvalitativt: djupintervjuer. Utvärderingen har gett ett fylligt material. 3
Marie Källberg, Karolinska universitetssjukhusets bibliotek Inom sjukhusbiblioteken har det inte gjorts utvärderingar i någon större utsträckning. En stor enkätundersökning gjordes på Sahlgrenska. Södersjukhuset har gjort en modifierad fokusgruppsstudie. I övrigt små trevande enkäter. Barbro Thomas har gjort en undersökning av vad är ett sjukhus bibliotek i dag? En kartläggning och utvärdering. Man kallar det för en förstudie, och den innehåller intervjuer och konklusioner. Cecilia Natvig, UUB: Start HT 2011, en systematisk utvärdering och förbättringar av servicen i dialog med användarna. Lokaler, skyltning, öppettider, bemötande etc. fysiskt och virtuellt har varit i blickfånget. UUB diskuterar utformandet av egen utformad enkät i kombination med fokusgrupper, alternativt använda LibQUAL. I delmålet ingår även ett separat avsnitt med fokus på internt bemötande. Uppföljningen knyter an till service och bemötande. Det är ett stort jobb, men innehåller samtidigt en mängd mindre undersökningar. Allt fokuserar på slutanvändarnas behov av biblioteket. Vid undersökningen på BMC fick studenterna visade olika färgade lappar som svar på frågor istället för mentometerknappar. Det blev uppskattat och genomförandet är snabbt och enkelt! Ekonomikums bibliotek var pilot bibliotek för en undersökning av vilka frågor som ställs i disken. Frågorna som ställs i disken noteras på ett protokoll och man räknar pinnar. Undersökningen är enkelt, det tar inte mycket tid. Det blir tydligt resultat, lätt att följa. Undersökningen kan ligga till grund för samtal om personalens komptetens. Det har också skapat positiv stämning inom personalen, man ser att man behövs i informationsdisken! 4
Uppföljningen placeras i båda kategorierna, bibliotek och beslutsprocess och lärande. Håkan Carlsson GUB: Presenterar en rapport från GUB, kategoriseras som verksamhetsutveckling och beslutsfattande. Målet: är att göra rätt saker och göra det bättre. GUB följer ett årligt hjul för kvalitetsarbetet. I december/januari samlas information in, man gör en gör en uppföljning av alla team. Teamen gör utvärderingarna som leder fram till nya handlingsplaner. En större användarundersökning görs i LibQUAL (publicerad) kvantitativa data från enkäten jämförs år för år Rapporten beskriver de på de centrala delarna av resultaten. Förra årets tema var frågor. Frågorna taggades i ärendehanteringssystemet, och kunde grupperas. Denna gång handlar det om frågorna i diskarna. Man noterar klockslag etc. GUB utvärdera den egna verksamheten i små sjok, och implementera förändringar direkt. Man har också börjat med projektutvärderingar i form av smårapporter, halvfärdiga för att bereda plats för fler kommentarer. LibQUAL omfattar 30 frågor och 90 svarsalternativ. Frågorna skickades ut till 30 000 studenter, alla med lånekort, svarsfrekvensen blev 10-15 %. LibQUAL görs var tredje år, nästa omgång blir 2013. Kanske gör man en egen modell nästa gång, det ger inte så mycket att ange lägsta och högsta nivåerna. Man måste ge LibQUAL ganska mycket information inför undersökningen, data som sedan kastas och kommer inte med i rapporten. Rapporten behöver efterbehandlas, det är åtskilliga årsverken på insidan 5
Katarina Kristoffersson Arvika bibliotek: Annette Johansson och Anders Karlsson: Utvärdering av Länsbibliotek Värmlands regionala biblioteksplan 2007-2010, oktober 2010 När arbetet med en ny regional biblioteksplan skulle göras i Värmland initierades en utvärdering av den föregående. Utvärderingen gjordes 2010 och köptes av konsulterna Annette Johansson och Anders Karlsson. Utvärderingen utgår från den skrivna planen och följt upp utfallet genom workshops. Man ville även lyft fram negativa aspekter, och konsulterna lämnar råd inför nästa plan. Är de regionala målen möjliga att uppnå? Man har även gjort enkätundersökningar som personalen utfört. Utvärderingen undersöker uppfattningar och upplevelser, en ekonomisk analys och sammanfattande analys. Lärande En utvärdering måste vara läsbar även utan förkunskaper, utredarna har lyckats med det. Som författare bör man tänka på språket. Värmland har också uppskattat att hon även blickar framåt. Stora fördela att ha en utomstående som utvärderar. Kategoriseras som beslutsprocess. I KUB projektet, ett kompetensutvecklingsprojekt som just nu bedrivs är utvärderingen redan upphandlad innan projektet startat. Cathrine Berggren, Mittuniversitetets bibliotek: Kvalitetsindex vid Mittuniversitetets bibliotek http://www.bib.miun.se/ombiblioteket/verksamhet/kvalitetsindex/ Kvalitetsindex: har gjorts sedan 2008, det är beställt från rektor och hör till beslutsprocessen. När kvalitetsindexet skapades utgick man från lärosätets verksamhetsplan och valde de olika indikatorerna för biblioteket. Referensfrågona minskar, medan många frågor i disken. Inför verksamhetsdialog med rektor och inför biblioteksrådsmöten analyseras resultatet i indexet och en sammanfattning presenteras som tar upp varför vi nått vissa mål 6
och inte andra samt en möjlig utvecklingspotential vad gäller stödet till lärosätet. Utvärdering och beslutsprocess e-val: en utvärdering som görs vartannat år vid MIUN:s UB som bygger på enkätverktyget e-val (webbgränssnitt) där vi har ca 14 frågor som riktar sig till studenter och lika många som riktar sig till anställda. En del frågor är desamma så att vi kan jämföra vad lärare vid en institution anser om studenternas kunskaper i informationssökning och vad studenterna vid samma institution anser om sina kunskaper i informationssökning. En viktig fråga som väcker intresse från institutionerna när vi presenterar resultatet. Resultatet från enkäten har också används i diskussion med fastighetsavdelningen för att få till en bättre studiemiljö i bibliotekslokalen. Några av resultaten på frågorna används i UB:s kvalitetsindex. Mittuniversitetets enkät till studenter och till anställda som genomförs vart annat år. Genom den utvärderas dels ev. satsningar som gjorts utifrån önskemål som framkom i förra enkäten, dels utvärderas hur lärare ser på vissa frågor jämfört med hur deras studenter ser på samma frågor. Resultatet har bl.a. använts i diskussioner med Campusservice (fastighetsavd) för att få till bättre studiemiljö i bibliotekslokalerna. allmänna utvärderingar Luleå universitetsbibliotek, som via lärplattformen Fronter låter studenterna utvärdera kurser i informationssökning Umeå universitetsbibliotek, som i några utbildning deltar i lärarmöten inför en kurs och efter en kurs där biblioteket deltar med utbildning i informationssökning. Lärande Anna Nyströmer SCB: Det finns inte så många utvärderingar från specialbiblioteken. Ofta ställs frågan: Uppfyller man sina mål? 7
Uppföljning görs vanligen när man ska förändra sin verksamhet och ofta när det handlar om att skära ner eller lägga ner verksamheten, i samband med krav att spara resurser: Green, Tracey: Riksbankens bibliotek i framtiden. 2011. Beslutsprocess Biblioteket fanns i en undanskymd lokal, fick minskade resurser. Två externa konsluter anlitades som utvärderade. Det hölls workshops på alla enheter på myndigheten, man mötte både användare o ickeanvändare. Tydliga resultat framkom om hur verksamheten skulle förändras, man vill inrikta sig på två spår: hjälp att själva söka information, e-publikationer och nätbaserade tjänster. Biblioteket fick en till stora delar ny verksamhet. Lund-Moberg, Åsa: Review of NAI library. 2009. Beslutsprocess Nordiska Afrikainstitutet 2009. Hela institutet behövde bli mer konstandseffektivt. Man genomförde intervjuer, enkäter och jämförelser med liknande institut. Alla verksamhetens områden gicks igenom och nerskärningar i detaljnivå blev resultatet. Konkret ledde det till beslut för ny verksamhet. Beslutsprocesser. Nyström, Viveca: Naturvårdsverkets bibliotek. Nyttovärdering 2007-2008. Beslutsprocess Naturvårdsverket genomförde 2007-08 en stor nyttovärdering som innehåller många olika delar. Man ville se till att man arbetar på effektivt sätt, uppfyller sina mål och blir synliga i organisationen. Viveka Nyström anlitades som konsult, och undersökningen omfattade tre delar: kund- och processkartläggning samt en kostnadsanalys som gjorde tillsammans med ekonomiavdelningen. Man identifierade fem områden att jobba vidare med. Biblioteket var initiativtagare till utvärderingen. allmän Maria Törnfeldt, Gävle stadsbibliotek: 8
Läskonster : en utvärdering av projektets effekter på arbetet med lässtimulans. 2011 http://testblogg25.files.wordpress.com/2011/01/lc3a4skonstereffektutvc3a4rdering-april-2011.pdf Lärande Läskonster (2007-2009) Ett stort projekt med 79 deltagare på 58 olika bibliotek. Utvärderats på lite olika sätt bl.a. med en effektutvärdering. Man avsåg att förnya och fräscha upp läsfrämjandearbetet, få kompetensutveckling, skapa platser som kunde fungera som litteraturhus. En konsult utvärderade1,5 år efter projektavslut genom en effektutvärdering. Projektet hade en kollektiv projektledning som följdes upp genom en reflekterande självutvärdering Projektet fick många mål uppfyllda, men inte alla. Lässtimulans för barn är ett resurstungt och personalintensiv område men få uppföljningar finns på effekterna. Projektet Läskonster utvärderades också med avseende på resultaten. Detta samt effektutvärderingen har presenterats i två rapporter. Möjligen kan de båda rapporterna vara intressanta för oss, eftersom utvärderingarna presenteras i dem. Läskonster : nya former för lässtimulans. Slutrapport från projektet Läskonster. 2010 http://testblogg25.files.wordpress.com/2011/01/laskonster_rapport_low_res1.p df Litteraturhus: rum för läskonster. Slutrapport 2 från projektet Läskonster. 2011. ISBN 978-91-979032-1-9 http://testblogg25.files.wordpress.com/2011/01/lc3a4skonster_2_webb.pdf Metoden: deltagarnas upplevelser mättes, frågorna riktades mot personalen med en enkät som fick hög svarsfrekvens. Enkäten kompletterades med telefonintervjuer. Läskonster fick 2 miljoner i statsbidrag, vilket var ca 20 % av hela omslutningen av dessa lades ca 300 000 kr på utvärderingen. Det var ett medvetet val att lägg huvuddelen av resurserna till projektaktiviteterna. 9
2009 gjordes en utvärdering av länsbibliotek Uppsala Landstinget bytte politisk styrning och genomförden en hård genomlysning av alla verksamheter. Frågställningar som finns det vinster av en ny driftsform av länsbiblioteket? Man genomförde en kollegialgranskning med en panel med 5 personer samt en organisationskonsult som höll i det. Fokusgrupper och minienkäter till alla länsbibliotek i Sverige var några av delarna. Rapporten överlämnades vid ett seminarium, där expertpanelen redovisade sina iakttagelser och reflektioner. Expertpanelens rekommendation blev att inte ändra driftsformen. Bra sätta att göra det på, bättre än att ta in en konsult som skulle beskriva nuläget. Kategori: Allmän inspirationskälla Redovisningarna avslutades och mötet övergick till att diskutera Hur går vi vidare? Hur analyserar vi det här? Vi behöver en beskrivning av vad vi menar med utvärdering, Helst bör det leda fram till en skrift/berättelse Så här utvärderar vi bibliotek i Sverige. En skrift kan bli normativ, men ger också ett gemensamt språk Gruppen bör vara lyhörda och succesivt att bygga upp en gemensam strategi. Gruppen menar att det är klokt att inte definiera så stort arbete nu i början, det är bra att vänta lite med vad slutmålet blir. Fortsätter och samla in exempel på uppföljningar och utvärderingar, vi bör försöka täcka så många olika som möjlig och skapa en exempelsamling. Förslag på hur en exempelsamling kan göras tillgänglig: i bloggen för biblioteksstatistik, i en wiki (liknande idébiblioteket http://www.idebiblioteket.se/ ) 10
Systematiserat lärande, skulle också kunna skapa en lista på utvärderare och mallar för man gör beställningen, hur man formulerar ett utvärderingsuppdrag. Genom att klarlägga begreppen kan beställarkompetensen kan ökas. Expertgruppen bör bygga en egen bank, det kan bli svårt att ta emot insamlat material och svårt om gruppen förväntas kommentera i en större utsträckning. Mål: skapa en kunskapsbank genom att sammanställa exempel och tillföra etiketter som motsvarar de grupperingar vi tycker oss se. Mål: att skapa kompetensutveckling och mera resonemang om utvärdering och uppföljning samt olika metoder. Under nästa möte bör vi gå vidare med att definiera vad det är för utvärderingar/uppföljningar som finns, utifrån det vi själva samlat in. Sammanställa och ordna under rubriker. Skicka ut underlaget i våra respektive nätverk och fråga om det finns fler kategorier. Vad vill uppdragsgivaren ha för utvärderingar? Inom expertgruppen kan vi också dela beställningsunderlag, dessa bör inte spridas utanför gruppen. Två-tre personer kan börja på ett embryo till text, 2-3 sidor, beskriva vad vi menar när vi pratar om utvärdering. Övriga får reagera på texten. Ca halva dagen på nästa möte bör ägnas detta. Angela börjar under september/oktober. Verktyg och metoder, inventera, dvs. samla in föreskrivande texter och modeller. Ett första utkast till etiketter/metadata: Vad: Benämning: Typ av utvärdering: Modell: Metodik: Kvalitet på utvärderingen: 11
Relevans: Resursåtgång: Insatsen i förhållande till utfallet: Utvärderare: intern, extern 6 Information Nytt från KB Elisabet berättar om KB:s och länsbibliotekens samarbete om uppföljningen av biblioteksplaner och om den kvalitetsmodell man använder sig av. 7 Tore Torngren, ordförande i den tidigare expertgruppen för statistik presenterar rapporten Mot en ny biblioteksstatistik" Tore T presentaterar textdelen och slogan från den förra gruppen: Statistik är mer än statistik Slogan från den förra gruppen. Arbetet med statistik är processer som ständigt pågår, behoven förändras under tiden Föregångare till Mot en ny biblioteksstatik : På osäker grund SUHF grupp SB grupp Dikt eller verklighet? Mäta och väga Expertgruppen för statistik formulerade fyra konkreta mål att arbeta efter: 1. Revision av målen 2. Översyn av statistiken 3. Nationell samordning av biblioteksstatistik 4. Utveckling av tekniska system 12
Expertgruppen borde kanske ha tittat mer på målen för statistik. Statistik behövs på flera olika nivåer: internationellt, nationellt, regionalt och lokalt, det behövs som jämförelser, uppföljning av planer och verksamheter och som verktyg i den egna verksamhetsutvecklingen. Att KB fått det nationella ansvaret för biblioteksstatistiken har underlättat att arbeta med frågorna. Att statistik också samlas in från alla typer av bibliotek har också skapat bättre förutsättningar för arbetet med statistiken. Ett projekt med en gemensam teknisk plattform har drivits under regionbibliotek Skåne (Kristianstad) och avslutas vid jul. De olika biblioteken har använt en gemensam blankett och mata in data i ett system som bygger på SharePoint. Det är ett försök i liten skala. Högskolebiblioteket, sjukhusbiblioteket, folkbiblioteken, skolbibliotek, gymnasiebibliotek i Kristianstad deltar. Översyn av statistikenkäten påbörjades. Med hjälp av fem referensgrupper inhämtades mer input på statistiken. Grupperna började arbeta våren 2011, och gav förslag på förändringar på den befintliga enkäten. Expertgruppen för statistik enades om att en enkät med filter blir den bästa lösningen. Vissa av kategorierna blir helt jämförbara, t.ex. personal, ekonomi etc. Bredd och begränsningar: statistiken visar inte den verksamhet som finns oundvikligen blir det fler frågor. ROS styr hur många frågor som kan ställas, hur mycket tid det får ta. De gemensamma frågorna skulle kunna vara skelettet till den officiella statistiken. KB får ta emot expertgruppens förslag. Det är ingen komplett enkät, den innehåller endast numeriska data. En enkät skulle också kunna innehålla uppgifter om organisation, planer, bibliotekssystem etc. 13
Cecilia Ranemo inflikar att nyckeln ligger i outputen, om bara de obligatoriska uppgifterna fylls i, kommer de intressanta diagrammen att var tomma. Genom en förbättrad output kommer incitament för att besvara de krångligare frågorna, när man ser vilka diagram man kan få. Organisation: hur förhåller man sig till de bibliotek som har sammanslagen funktion, integrerade skolbibliotek som exempel eller samarbeten mellan flera kommuner som delar system och samlingar med varandra. Systemen ska kunna leverera bättre statistik och inte klumpsummor. Masterenkäten innehåller 8 avdelningar: 1. Bestånd, tillväxt, gallring 2. Andra resurser 3. Användare 4. Användning av bestånd och andra resurser 5. Tillgänglighet 6. Aktiviteter 7. Personal 8. Ekonomi Statistikgruppen överlämnar följande punkter för fortsatt arbete Definitioner Instruktioner Indikatorer Digitala tjänster Tekniskt stöd Maskinimporterad data Ansvar och äganderätt av statistiken som samlas in är en knäckfråga. Viktigt att få tillgång till sin egen statistik för att skapa intresset att arbeta vidare med det insamlade materialet. Relevans och användbarhet, kopplingen mellan användningen, kommer den in i rätt nivå? Frågar Angela Z. 14
Tore T: det handlar att sprida en kultur av uppföljning, att använda statistiken i rätt sammanhang. Superenkäten väcker många tankar och frågor. Ordförande tackar Tore för en gedigen presentation. 8 Library Assessment Seminar and LibQUAL Share Fair i Lund 20/9 Håkan, Cecilia N, Elisabet, Maria åker dit. Expertgruppen får några minuter att presentera sig. 9 Övrigt Budskap till nationella referensgruppen: Uppföljning/utvärdering är viktigt eftersom mycket arbetstid läggs ner på uppföljning Det är en del av verksamhetsutveckling, och behövs för att gå vidare Ett sätt att visa sin verksamhet, att kommunicera med sin huvudman Uppföljning/utvärdering har många möjliga användningsområden: o ut ledningssynpunkt för beslut, o komptensutvecklande, lärande, fördjupad förståelse för ett sakområde, o kommunikation med andra, andra professioner, andra beslutsarenor kunna jämför sig med andra. o tillfredsställa behovet av att kunna prata med varandra, förstå vad vi menar med utvärdering, utfall, effekter, o kunna se helheter i biblioteksvärlden, vad är det vi gör? Vad uppfattar de som angelägna områden? Vilka beslutsprocesser är särskilt viktiga? Vilka är de största 15
bristerna i dagens uppföljningsarbete? Är det komptensens, metoder eller konsekvenserna? Det är ett problem som funnits länge, varför används inte uppföljning i större utsträckning? Kommunikationen brister, kopplingen mellan budget och planer. Det är också kulturfrågor, biblioteksplaner, kvalitetssystem varför har vi dem? För att någon annan har sagt att vi ska ha det? Eller för att vi har nytta av dem? Tänka i det stora, mycket av det vi pratar om nu är verktygen. Medan kvaliteten ligger mera i tankarna. Allt för övergripande mål i planerna och man förmår inte att bryta ner och göra konkreta mål som höjer kvaliteten. Först om det finns prioriterade mål kan man göra något kvalitetshöjande. Bryt ner visionerna till mätbara mål. Knyter också an till frågan: Vad vill uppdragsgivaren ha för utvärderingar? Kommunal biblioteksplan är politiskt dokument, men politiker ska inte bestämma HUR man gör det, utan VAD. Biblioteksplanen spänner ofta över flera olika verksamheter, olika huvudmän påverkar, behöver bryta ner biblioteksplanen till effektmål, inte glömma de olika verksamheterna. Sekreteraren kommer att hålla en kort presentation för Nationella referensgruppen och hämtar material från ovanstående material. Andra expertgrupper: Närliggande grupper identifieras som: Expertgruppen för komptensutveckling och forskningsanknytning Expertgruppen för utbildning och lärande Ett förslag framställdes att hålla ett tvådagarsmöte i vår, där en del är gemensam med båda dessa grupper. Verksamhetsplanen Klar att lägga ut på kb.se Omvärldsbevakning 16
EA gör ett dokument med förslag för omvärldsbevakning 10 Mötet avslutades Ordförande tackade för engagemanget 17