Att åstadkomma förändring med hjälp av utvärdering

Transkript

1 Att åstadkomma förändring med hjälp av utvärdering Gullvor Elf, Cecilia Gärdén, Margareta Lundberg Rodin & Karen Nowé Hedvall Akademin för bibliotek, information, pedagogik och IT Högskolan i Borås

2 Sammanfattning Syftet med studien har varit att studera hur utvärderingar systematiskt kan användas i utvecklings- och förändringsarbete vid svenska bibliotek. Genom studier av fyra olika projekt under de senaste åren har följande forskningsfrågor besvarats: 1. Vilka uppfattningar om utvärderingar finns bland biblioteksföreträdare? 2. Vilken vikt tillmäts dessa utvärderingar jämfört med andra informationskällor? 3. Hur används utvärderingar i bibliotekspraktiken? 4. Hur kan man på nationell, regional och lokal nivå arbeta för att relevanta erfarenheter från biblioteksprojekt på bästa sätt tas tillvara för att utveckla verksamheten? Totalt arton personer vid mindre och större bibliotek har intervjuats om projekten: Folkbiblioteken som kulturhus, region Skåne Läskonster och Litteraturhus, Sandviken Digidel, lokalt projekt, Falköping Hur gör jag? En utmanande 7-stegskur för medvetet bemötande på bibliotek, Stockholm, Karolinska Institutets Universitetsbibliotek För att analysera materialet har utvärderingsforskning om definitioner och användning av utvärderingar använts. Med hjälp av Henry och Marks (2003) och Mark och Henrys (2004) ramverk för att identifiera en utvärderings möjliga effekter och hur dessa effekter samspelar på olika sätt, har vi beskrivit hur projektutvärderingar använts inom de studerade fallen. Med stöd i Höjlunds (2014) institutionella teori och Pattons (2008) teorier om hur en utvärderings process och resultat påverkar användning, har de studerade bibliotekens förhållningssätt till utvärdering som praktik jämförts. Resultaten visar att många av respondenterna hos de studerade biblioteken främst definierar utvärderingar som skriftliga rapporter av en avslutad verksamhet av ganska stor omfattning som genomförts av extern utvärderare. Samtidigt menar respondenter i alla fyra projekten att det egentligen är processen, där deltagare kan lära sig att reflektera systematiskt, som har mest effekt över tid. De utvärderingarna där externa utvärderare främst kommunicerade sina resultat i form av en slutrapport har inte lett till användning i någon större utsträckning. Detta bekräftar tidigare utvärderingsforskning. 2

3 I materialet framkommer endast några enstaka exempel på hur en utvärdering har lett till en förändring av verksamheten. Inom två av de undersökta projekten finns det dock ett tydligt samband mellan att en utvärderings resultat diskuteras och att ett projekt startas eller fortsätter. Flera respondenter beskriver hur utvärderingsresultat lett till mer kunskap, förändrade attityder eller större eller mindre förändringar i den egna verksamheten. Dessutom finns det flera exempel i samtliga studier av hur utvärderingar lett till individuell eller gemensam reflektion och inspiration, nya färdigheter och förankring i bibliotekens och projektens nätverk. Detta är exempel på generella påverkansprocesser som inte alltid visar sig i verksamhetsutveckling, men som i gynnsamma situationer kan leda till sådan utveckling. Vissa former av utvärdering, som till exempel verksamhetsnära interna utvärderingar, leder oftare till ny kunskap eller ett förändrat agerande, medan andra utvärderingsdokument, som exempelvis deskriptiva slutrapporter, oftare används för extern informationsspridning. Huruvida utvärderingar kommer till användning i organisationen beror bland annat på skillnader i hur starkt externt tryck projektet och biblioteksmedarbetarna upplever att det finns att utvärdera på ett visst sätt, i ledningens förhållningssätt till utvärdering samt i hur vana medarbetare eller ledare är att arbeta med utvärderingar för att utveckla verksamheten. Här finns en stor spridning bland de studerade fallen. Gemensamt är dock att det inte i något fall finns en tydlig och stark förväntan från nationell nivå på att projekten ska genomföra utvärderingar i syfte att dra lärdomar av dem. Antingen är utvärderingar lågt prioriterade eller så passar kraven på slutrapporteringen inte för att utveckla verksamhetens mål och arbetssätt. På regional nivå och vid de större biblioteken är ledningen och medarbetarna ofta mer vana än vid mindre bibliotek att betrakta utvärderingar som ett verktyg för lärande och att arbeta med att sprida kunskaper. Mer sällan har man explicit uttalade konkreta mål på en operationell nivå som utvärderingen ska hjälpa organisationen att uppnå. Därför stannar användningen av utvärderingar oftast vid lärande snarare än att föranleda förändringar i verksamheten. Några av de slutsatser som dras i rapporten är: På nationell nivå bör aktörer tydligare prioritera utvärderingsinsatser när de tilldelar medel samt ställa tydligare krav på att utvärderingen planeras så att den leder till lärande och utveckling. På regional nivå bör biblioteken fortsätta att vidareutveckla kompetens i hur de kan planera en utvärderingsinsats för att nå ställda mål. Dessutom bör de systematiskt stödja och utbilda chefer och medarbetare vid lokala bibliotek i hur de planerar, utför och använder sig av projektutvärderingar och andra utvärderingar på ett sätt som bidrar till kvalitativ utveckling. Beställare av en utvärdering på lokal nivå bör explicit planera utvärderingen tillsammans med utvärderaren. Biblioteks- eller projektledning bör klart och tydligt förmedla de externa och interna krav som föranleder ett systematiskt arbete med att genomföra och använda utvärderingar som verktyg. 3

4 Biblioteksledningen bör analysera de behov av och beredskap för utvärdering som biblioteket har och utifrån dessa planera på vilket sätt man kan involvera medarbetarna aktivt i själva utvärderingsprocessen. Bibliotek på lokal nivå kan bli bättre på att samspela med den regionala nivån och att själva uttrycka vad det är de behöver ha mer kunskap om för att kunna arbeta verksamhetsutvecklande med stöd av utvärderingar. Vår studie visar samtidigt att flera av de undersökta biblioteken redan idag arbetar på ett genomtänkt och systematiskt sätt med att utvärdera verksamheten och att utvärderingar inspirerar, motiverar och leder till eftertanke och nya färdigheter hos individer och grupper, vilket banar väg för utveckling. 4

5 Innehållsförteckning Sammanfattning Inledning om forskningsprojektet Forskningsfrågor Teoretiskt ramverk Hur används utvärderingar?....7 Varför används utvärderingar? Metod och material Val av projekt Kortfattade projektbeskrivningar Datainsamling Analys Resultat och diskussion Uppfattningar om utvärderingar Användning av utvärderingar...22 Aspekter som gynnar och missgynnar användning Slutsatser.34 Käll- och litteraturförteckning..38 Bilagor Bilaga 1. Informationsbrev.. 44 Bilaga 2. Intervjumall 45 5

6 1. Inledning om forskningsprojektet Landets bibliotek, oavsett målgrupp och huvudsaklig verksamhet, arbetar kontinuerligt med förändrings- och utvecklingsarbete i såväl den dagliga verksamheten som i projekt. En viktig aspekt i detta arbete är hur ledning tillsammans med medarbetare förmår att ta tillvara både egna erfarenheter och dokumenterade resultat, samt forskning om liknande förändrings- och utvecklingsarbeten i omvärlden. Mot bakgrund av stora omvärldsförändringar och ideologiska skiften i olika organisationers styrning är det särskilt intressant att undersöka hur ledningen hanterar ständiga förändringar som berör organisationsstrukturer, professionens utveckling och arbetsformer. Detta kan upplevas som påfrestande för medarbetare och ledning, vilket bland annat forskning om hur organisationer hanterar förändringsarbete vittnar (se Piderit, 2000; Burke, 2011). Det finns flera goda skäl att närmare studera information kring de ledningsbeslut som planerade verksamhetsförändring bygger på, samt hur utvärderingsresultat mer systematiskt kan användas i utvecklings- och förändrings- arbete. Tidigare forskning har identifierat brister gällande dokumentation i samband med utvärdering och utvecklingsarbete (Gärdén, Michnik och Nowé Hedvall, 2010). Bidragsgivande organisationer inom biblioteksområdet har ofta krävt en rapport av de projekt som beviljats projektmedel, men det har ofta saknats direktiv för vad rapporteringen ska innehålla. Insända utvärderingarna har ofta varit deskriptiva rapporter av vad som har genomförts inom projekten. Detta har inneburit att erfarenheter och kunskaper som har uppnåtts i olika utvecklingsprojekt i många fall har gått förlorade och potentiella samband har inte analyserats och utvärderats i ett vidare perspektiv. I denna rapport studerar vi hur fyra olika projekt har förhållit sig till och arbetat med utvärderingar för att bättre förstå hur utvärderingar mer systematiskt kan användas i utvecklings- och förändringsarbete vid svenska bibliotek. I vår studie har vi haft ambitionen att, utifrån en svensk kontext och utifrån ett antal utvalda biblioteksrelaterade utvecklingsprojekt, skapa fördjupad kunskap om detta fenomen. Studien är genomförd med stöd av projektmedel från Kungliga biblioteket Forskargruppen har bestått av Karen Nowé Hedvall (projektledare), Cecilia Gärdén, Margareta Lundberg Rodin och Gullvor Elf. 2. Forskningsfrågor Inom projektet har vi studerat hur genomförda utvärderingar används i samband med verksamheters fortsatta utvecklings- och förändringsprocesser. Vi har undersökt hur information från utvärderingar används för att skapa bättre förutsättningar att uppnå mål i projekt och verksamheter. Det är vår förhoppning att fördjupad kunskap om dessa frågor kan bidra till att underlätta och stödja bibliotekssektorns framtida 6

7 utvecklings- och utvärderingsarbete. Forskargruppens ambition är vidare att underlätta planering av utvärderingsinsatser för chefer och medarbetare vid bibliotek på regional och lokal nivå, samt, inte minst, att bidra till bidragsgivande organisationers arbete med utvärderingsresultat i samband med verksamhetsutveckling. Den övergripande forskningsfrågan är: Hur används resultat av biblioteksrelaterade utvärderingar för verksamhetsutveckling av övergripande och mer praktisk karaktär i större och mindre biblioteksorganisationer? Närmare bestämt undersöks: 1. Vilka uppfattningar om utvärderingar finns bland biblioteksföreträdare? 2. Vilken vikt tillmäts dessa utvärderingar jämfört med andra informationskällor? 3. Hur används utvärderingar i bibliotekspraktiken? 4. Hur kan man på nationell, regional och lokal nivå arbeta för att relevanta erfarenheter från biblioteksprojekt på bästa sätt tas tillvara för att utveckla verksamheten? 3. Teoretiskt ramverk I detta kapitel presenterar vi tidigare forskning om definitioner och användning av utvärderingar. Med stöd i aktuell utvärderingsforskning skapar vi ett ramverk för att identifiera de olika sätt projektutvärderingar kan användas på inom biblioteksverksamheten. Vi presenterar dessutom en institutionell teori som vi använder för att analysera hur biblioteksorganisationernas egenheter och kontext samspelar med hur de genomför och använder utvärderingar. Hur används utvärderingar? I ett paper av Berggren et al. (2013) definierar KB:s expertgrupp utvärdering som en avgränsad systematisk undersökning, eller modell för detta, av redan genomförd verksamhet, dess genomförande, prestationer eller utfall. Till begreppet hör också den dokumentation som finns i form av fysiska och elektroniska dokument, där resultaten presenteras(muntligt) och skriftligt. (s. 4). Vi utgår från expertgruppens förståelse av begreppet men inkluderar även systematiska undersökningar av pågående verksamhet i definitionen, såsom är fallet med den typ av utvärdering som kallas följeforskning (Gärdén & Nowé Hedvall, 2013, s. 4). Nyttan av utvärderingar har sedan länge varit en central fråga för både utvärderare och utvärderingsteoretiker. I ett brett perspektiv kan användning av utvärdering definieras som the application of evaluation processes, products, or findings to produce an effect (Johnson et al. 2009, s. 378). Fram till början av 2000-talet har man inom forskningsfältet fokuserat på att dela in användningen av utvärderingar i olika 7

8 användningstyper. Traditionellt delas de ofta in i instrumentell, konceptuell och symbolisk användning. Den första kategorin hänvisar till tillfällen då någon part har haft direkt nytta av utvärderingen, exempelvis som ett underlag för ett beslut. Konceptuell användning hänvisar till en mindre direkt nytta av utvärderingsresultatet, då exempelvis enskilda individer eller grupper drar lärdomar från utvärderingen. Den symboliska användningen definieras som det faktum att förekomsten av utvärdering har ett egenvärde, exempelvis för att tillfredsställa bidragsgivare (Johnson et al. 2009, se även Mark & Henry, 2004). I slutet av 1900-talet lade flera forskare till begreppet processanvändning. Patton (2008) definierar det som den förändring i attityd och beteende som uppstår när individer som är engagerade i utvärderingsprocessen lär sig ett förändringsarbete, baserat snarare på utvärderingsprocessen än på utvärderingens resultat. Kirkhart (2000) argumenterar senare för bruket av termen utvärderingars inflytande (evaluation influence) istället för utvärderingars användning, detta för att kunna fånga inte bara den tänkta användningen utan även mer flyktiga efemära och oplanerade effekter av en utvärdering. Hennes resonemang har tagits upp av forskare som Henry and Mark (2003) och Mark och Henry (2004). I denna rapport kommer vi att använda oss både av begreppen användning och inflytande beroende på att vi vill betona både planerade och konkreta användningsområden och mer oplanerade effekter som kan vara svårare att visa upp. Utvärderingsforskarna Gary T. Henry och Melvin M. Mark har i två artiklar från 2003 och 2004 utvecklat ett ramverk i syfte att definiera olika typer av inflytande som utvärderingar kan tänkas ha över tid på individuell, mellanmänsklig och kollektiv nivå. De identifierar fyra olika nivåer av påverkan: generella påverkansprocesser, kognitiva eller affektiva påverkansprocesser, motiverande påverkansprocesser samt processer som påverkar beteenden. För att ge exempel på hur utvärderingar kan påverka individer, grupper eller organisationer hämtar de exempel för varje nivå ur den breda samhällsvetenskapliga forskningen. Henry och Mark menar att varje utvärdering skulle kunna, och förmodligen också kommer att, resultera i flera av ramverkets olika alternativa processer och nivåer. Så kan en individuell effekt, som exempelvis en attitydförändring hos en enskild medarbetare, leda till effekter på mellanmänsklig nivå, såsom påverkan av andra individer och grupper. Det kan i sin tur ytterst leda till ett kollektivt lärande för hela organisationen. Ett sådant händelseförlopp kan därmed resultera i kännbara förändringar även om den ursprungliga utvärderingen inte har haft en direkt påverkan på hela organisationen. På detta sätt, menar forskarna, kan resultaten av utvärderingarna vara löst sammanlänkade i olika mer eller mindre tydliga kedjereaktioner. Mark och Henry (2004) menar att den första effekten av en utvärdering förmodligen kommer att vara någon typ av vad de benämner generell påverkan. De beskriver generella påverkansprocesser som processer eller effekter som inte själva leder till synbara resultat, men som kan vara katalysatorer för de effekter som en utvärderare eftersträvar, såsom förändringar i attityder, ny kunskap eller verksamheter. Exempelvis kan en utvärdering av en ny metod för att främja läs- och skrivkunnighet föranleda och 8

9 inspirera en enskild bibliotekarie att reflektera och fördjupa sig i olika metoder för främjande av läs- och skrivkunnighet, eller att en bibliotekarie som deltar i en utvärdering lär sig hur man formulerar frågor i en enkät. Ingen av dessa effekter är särskilt synlig som användning av en utvärdering, och de leder heller inte nödvändigtvis till ett förändrat förhållningssätt eller agerande som kommer att märkas i verksamheten. Men att fundera och reflektera över metoder för läs- och skrivkunnighet skulle kunna föranleda att bibliotekschefen så småningom blir motiverad att delta i en konferens i ämnet, vilket i sin tur kan leda till ett senare beslut om att starta en ny verksamhet. På samma sätt kan tidigare nämnda bibliotekarie, som tillskansat sig kunskaper om hur enkäter utformas bidra till att den egna enheten väljer att utvärdera någon verksamhet med hjälp av enkäter eftersom tröskeln för att våga utforma enkäter har blivit lägre. Att kartlägga inom vilka processer en utvärdering har påverkat individer och grupper, och hur en effekt kan ha lett till en ytterligare påverkan, kallar Henry & Mark för mapping pathways of influence. De menar att en sådan kartläggning bidrar till en mer detaljerad beskrivning av utvärderingars påverkan än den som kan erhållas genom den traditionella indelningen: instrumentell, konceptuell och symbolisk användning (Henry & Mark, 2003). Kartläggningen kan också leda till djupare förståelse för varför och under vilka omständigheter förväntade effekter av en utvärdering uteblir. Ytterst argumenterar de för att både beställaren och utföraren av en utvärdering inte bara planerar vilka effekter man eftersträvar och på vilka nivåer, men också vägen dit, på samma sätt som man idag planerar hur projektmålen ska uppnås. Vi har använt deras teoretiska ramverk för att förstå om och hur till synes små former av utvärderingars inflytande så småningom kan leda vidare till en mer tydlig användning. Ramverket är tänkt att kunna omfatta alla möjliga användningsområden av alla typer av utvärdering, där både breda utredningar av samhällsfrågor och granskningar av enskilda aktiviteter och projekt i en verksamhet kan ingå. Inte alla processer är lika relevanta för vårt studieområde och vi har därför anpassat de ursprungliga exemplen till de former av utvärderingars användning och påverkan som kan vara relevanta för vår empiri. Slutligen har vi kommit fram till ramverk för att analysera hur utvärderingars resultat och processer kan påverka individer, grupper och organisationer (se figur 1). 9

10 Process Analysnivå Individ Mellanmänsklig Organisation Allmän påverkan systematisk reflektion och analys, bli medveten, förvärva färdighet, inspiration rättfärdiga, övertala, eldsjäl, liten grupp som driver på förändring symbolisk användning, bilda koalitioner, överväga policy, förbereda förändring, förankring, göra andra medvetna Kognitiv/ känslomässig påverkan uppmärksamma, attitydförändring, lära lokala deskriptiva normer, "så här borde vi göra", lära i grupp sätta agendan för org, söka mer information/kunskap (som förberedning till förändring) Motiverande påverkan ändra personliga mål och förhoppningar motivera andra, påtryckningar förändra "motivationsstrukturen", stimulansåtgärder Beteende agerar på nya sätt, gör nya saker nya samarbeten, nya sätt att samarbeta, nya sätt för gruppen att arbeta på ändrad riktning på verksamheten, ändrad policy, ändrade styrdokument, kunskapsdelning spridning Figur 1 Ramverk för att beskriva användning eller påverkan av utvärderingar på olika nivåer. (Efter A model of alternative mechanisms that may mediate evaluation influence, Mark & Henry 2004, s. 41.) Under analysen har vi fokuserat på att hitta horisontella rörelser (pathways) från individnivå till grupp- eller organisationsnivå samt vertikala och diagonala rörelser från allmänna påverkansprocesser till kognitiva, känslomässiga eller motiverande effekter och till förändringar i beteenden hos individer och grupper. Med utgångspunkt i empirin har vi ytterligare förfinat och anpassat ramverket ovan, vilket vi kommer att presentera senare i rapporten. Medan det kan vara både svårt och irrelevant att inplacera varje upplevd påverkan eller användning i ett enda fält i figuren, har vi funnit att detta fokus på rörelser leder till en större förståelse av hur en utvärderings aspekter och en individs position i organisationen samspelar med utvärderingens slutliga användningsområden. 10

11 Varför används utvärderingar? När utvärderare och utvärderingsforskare diskuterar hur de kan förbättra användningen av utvärderingar finns ett naturligt fokus på utvärderingars egenart och utvärderingars specifika processer. Michael Patton, en framträdande forskare inom området, myntade begreppet utilization-focused evaluation (Patton 2008) för att sammanfatta vad man kommit fram till. Centrala faktorer när det gäller utvärderingsprocessen är enligt Patton de involverade intressenternas och aktörernas engagemang, hur resultatet av utvärderingen har kommunicerats samt huruvida utvärderingens resultat finns tillgängligt när beslut kopplade till den utvärderade verksamheten fattas. Intressenter och aktörer kan vara finansiärer, politiker eller användare. Ett starkt engagemang från denna grupp genom hela processen har visat sig att avsevärt påverka användandet av resultatet. Ju oftare utvärderaren kan kommunicera med intressenterna, helst i form av direktkommunikation, ju mer kommer resultaten att upplevas som användbara. På grund av tids- och resursbrist har de flesta utvärderare inte möjlighet att genomföra utvärderingen utifrån dessa perspektiv, visar Vanlandingham (2011). Avgörande faktorer som berör utvärderingens resultat (till exempel en slutrapport) som påverkar användandet är den nivå av skärpa, klarhet och logik som kan identifieras i utvärderingens formgivning, möjligheten till praktisk tillämpning samt om resultatet upplevs som relevant och tillförlitligt. En anpassning av utvärderingsmetoden till den förväntade användningen och de tilltänkta användarna påverkar också användandet av utvärderingen positivt (Patton 2008, s.140f.). Men utvärderingars påverkan och nyttoaspekter är också beroende av förutsättningar vid den organisationen som tänkt använda utvärderingen. De amerikanska forskarna Eckerd och Moulton påvisade 2010 i en studie om hur ideella organisationer använder sig av utvärderingar att organisationer inte alltid har friheten att välja metod för utvärderingar som passar de egna arbetssätten. Mycket tyder på att organisationer främst väljer metoder som ger legitimitet i förhållande till externa intressenter och först som ett andra val används resultatet av utvärderingen för internt arbete om de kan. Även Henry and Mark (2003) tillstår att alla led i det som ingår i de mer eller mindre tydliga kedjereaktioner som beskrivits ovan är avhängiga av ett större organisatoriskt sammanhang. Individens attitydförändring kan till exempel i vissa gynnsamma situationer leda till förändringar i en organisations verksamhet, men har inte samma förutsättningar i en organisation som befinner sig i tider av nedskärningar och omorganisation. I denna studie kommer vi att bygga vidare på Höjlund (2014) för att förstå varför organisationer använder sig av utvärderingar. Höjlund (2014) tar sin utgångspunkt i institutionell teori och konstaterar att utvärderingen som praxis har blivit institutionaliserad i många organisationer som en effekt av att organisationen söker legitimitet för sin verksamhet. Han hänvisar till DiMaggio and Powells (1983) diskussion av varför och hur organisationer tvingas anpassa sin praxis till andra 11

12 organisationer i samma fält ( isomorfism ) och till Brunssons (2002) uppdelning av organisationer i idealtyperna handlande organisation och politisk organisation för att förklara varför och hur organisationer anammar en specifik utvärderingspraxis. Höjlund (2014) utgår från fyra idealtyper av hur en organisation anammar utvärderingspraktiken, som sammanfattas i följande figur (figur 2). Högt externt tryck Lågt externt tryck Lågt intern benägenhet att utvärdera Påtvingat anammande av utvärderingspraxis (coercive adoption) Normativt anammande av utvärderingspraxis (normative adoption) Hög intern benägenhet att utvärdera Efterliknande anammande av utvärderingspraxis (mimetic adoption) Självmant anammande av utvärderingspraxis (voluntary adoption) Figur 2 Idealtyper av hur organisationer anammar utvärderingspraktiker. (Efter Höjlund, 2014, figur 2, Four extreme positions, s. 36.) Det externa trycket att anamma en särskild utvärderingspraxis genom att både genomföra utvärderingar och använda sig av resultaten märks bland annat i de krav en bidragsgivare, en ägare eller ett samhälle ställer på en organisation att utvärdera sin verksamhet. Det externa trycket upplevs som högt om organisationen är beroende av bidragsgivaren eller de andra parter som ställer krav för sin överlevnad och lägre om så inte är fallet. Den interna benägenheten att utvärdera beror bland annat på hur väl organisationens eller projektens mål lämpar sig att utvärderas och på i vilken grad organisationens medarbetare är vana att genomföra, diskutera och använda sig av utvärderingar. En handlande organisation som har som mål att leverera produkter och tjänster och där kvalitet och effektivitet relativt enkelt låter sig mätas har troligen en hög intern benägenhet att genomföra utvärderingar och att använda deras resultat för att göra verksamheten mer effektiv, medan en politisk organisation med breda och vaga mål oftast varken ser en möjlighet att utvärdera måluppfyllelse på ett meningsfullt sätt eller har en vana av att arbeta med utvärderingar. Inom en och samma organisation kan det finnas delar som påminner om handlande organisationer (ofta de mer operativa nivåerna) och delar som påminner om politiska organisationer (ofta på högre ledningsnivå). Som många andra organisationer agerar bibliotek som politiska organisationer i vissa avseenden och som handlande organisationer i andra avseenden (se Nowé Hedvall, 2011). Organisationer som är beroende av till exempel bidragsgivare eller politiska aktörer som ställer krav på att de genomför och använder utvärderingar på ett visst sätt, men som varken ser en egen nytta i att utvärdera sin verksamhet eller har upparbetat en vana att arbeta på detta viset, kommer att genomföra utvärderingar för att tillfredsställa de externa kraven men inte så ofta använda dem i sin verksamhet. Detta kallar Höjlund för ett påtvingat anammande av utvärderingspraxis. Organisationer där det externa trycket likaså är högt men där man dessutom har en tradition av att arbeta med 12

13 utvärderingar och ser en egen nytta med dem kommer att se till att det finns formella strukturer som godtas av bidragsgivaren, men man kommer dessutom att anpassa eller utöka utvärderingsformerna så att man kan lära sig av dem. Troligen inspireras man i detta av hur andra organisationer i samma fält arbetar med utvärderingar. Höjlund kallar denna idealtyp för ett efterliknande (mimetiskt) anammande av utvärderingspraxis. Om det endast finns ett lågt externt tryck för att genomföra och använda sig av utvärderingar kan organisationer ändå välja att genomföra en eller annan utvärdering. Handlande organisationer och andra organisationer där man har en vana av att utveckla och effektivisera den egna verksamheten kommer då att självmant anamma utvärderingar som de helt och hållet utformar efter verksamhetens behov. Organisationer som har en lägre benägenhet av att utvärdera kan ändå ibland genomföra utvärderingar och då påverkas de troligen av en enskild eldsjäl i ledningen eller på fältet. Om organisationen inte har upparbetat en vana att arbeta med utvärderingar kommer användningen troligen att vara låg eller icke-befintlig, varnar Höjlund (2014). Vi kommer att använda oss av Höjlunds idealtyper både för att tolka våra resultat och för att diskutera hur biblioteksfältet i Sverige kan arbeta för att öka användningen av de utvärderingar som genomförs. 4. Metod och material I Sverige är det som vi tidigare skrivit mycket vanligt att genomföra verksamhetsutveckling av bibliotek i projektform. Varje år genomförs en stor mängd projekt på lokal, regional och nationell nivå. Att genomföra analyser av biblioteks-projekt i efterhand, retrospektivt, är inte enkelt. Ofta saknas dokumentation av projekten, eller så är den mycket summarisk. I en genomgång av 283 projekt-beskrivningar mellan åren 2005 och 2009 visar Gärdén, Michnik och Nowé Hedvall att projektansökningar och projektbeskrivningar i många fall är ganska knapphändiga och direkt inriktade mot åtgärder och beskrivningar av vad som ska göras, snarare än analys och reflektion (2010). Tidigare studier (bland andra Holmgren & Flodin 1996) har visat att bibliotek i många fall fokuserar på faserna planering och genomförande, på bekostnad av faserna analys och utvärdering. En möjlig förklaring till bristen på dokumentation och utvärdering är den slutsats som Zetterlund (2004) drar i sin avhandling: att det saknas förutsättningar för utvärderingar i praktiken. Det innebär att det trots en uppsjö av svenska biblioteksprojekt inte finns så många projekt att analysera i efterhand genom fördjupade dokumentstudier. I detta forskningsprojekt har vi därför valt en kvalitativ ansats där vi fokuserar på några projekt på djupet, snarare än en kartläggning och analys av en stor mängd projekt. Val av projekt I studiens inledande skede gjorde vi en genomgång av en stor mängd svenska biblioteksprojekt för att få en fördjupad bild av projektlandskapet under de senaste 13

14 åren. Genom att ta del av projektdokumentation tillgänglig via olika webbplatser gjorde vi en matris där vi beskrev projekten efter bibliotekets namn, typ av bibliotek, storlek på biblioteket, projektfokus, bidragsgivare, utvärderare, tillgänglig projektdokumentation, samverkan, projekttid samt utmärkande drag för projektet. Under urvalsdiskussionen fördes också samtal med Kungliga biblioteket och ett regionbibliotek. Utifrån genomgången arbetade vi fram ett antal urvalskriterier. Dessa innebar att biblioteken under skulle ha slutfört ett utvecklingsprojekt som de hade utvärderat och dokumenterat i någon form. Utvärderingarna kunde ha initierats av bibliotekets ledning, av externa beställare (exempelvis kommunen), eller av en tredje part (exempelvis studentarbeten). Utvärderingarna kunde vara gjorda av interna eller externa utvärderare, vara slutrapporter eller processutvärderingar. Vi eftersträvade att inkludera flera bibliotekstyper i vårt urval samt att inkludera både mindre och större organisationer. Utifrån kriterierna valdes fyra olika projekt ut: Folkbiblioteken som kulturhus Läskonster och Litteraturhus Digidel-projektet Hur gör jag? En utmanande 7-stegskur för medvetet bemötande på bibliotek De processer vi valde att studera representerar både stora organisationer, med komplex struktur och många beslutsnivåer, och mindre organisationer med dess mer begränsade förutsättningar. Två av projekten är delar av större rikstäckande satsningar, som genomfördes på kommunal nivå, vilket innebär att de dels ingick i den stora organisationens komplexa struktur med flera organisationsnivåer och utmaningar, dels befann sig i den mindre, lokala, organisationens miljö. Vi beslöt att varje forskare skulle genomföra datainsamling om var sitt projekt, för att främja fördjupad förståelse för varje de olika projektens förutsättningar och kontext. Personer som deltagit i projekten, såsom projektledare, projektägare eller styrgrupp, kontaktades med ett informationsbrev som beskrev forskningsprojektet, förfrågan om medverkan och detaljer kring fortsatt kontakt (se bilaga 1). Samtliga kontaktade projekt var positiva till att delta i studien. Kortfattade projektbeskrivningar Här presenteras de utvalda projekten kortfattat. I källförteckningen finns hänvisningar till dokument som mer detaljerat beskriver projekten. Folkbiblioteken som kulturhus - Region Skåne Region Skånes kulturnämnd lyfte i Regional kulturplan för Skåne fram att en utveckling av biblioteksverksamheten i riktning mot kulturhus är ett sätt för folkbiblioteken att förstärka sin roll i lokalsamhället och att bättre samspela med en omvärld i ständig förändring. Projektet Folkbiblioteken som kulturhus eftersträvar ökat 14

15 samspel mellan folkbiblioteken och andra aktörer i lokalsamhället, ett bredare utbud och att biblioteken i högre utsträckning blir mötesplatser för olika former av kulturella aktiviteter. Under projektets gång har man utlyst medel för att folkbiblioteken skall initiera och bedriva folkbiblioteken enligt kulturhus-tanken. De ansökningar som beviljats är av skild karaktär men innehåller alla på samverkan med det omgivande lokalsamhället. Projektet bedrivs med medel från Statens kulturråd samt från Region Skåne. Projektägare är Region Skåne med bidragsstöd från Statens Kulturråd och Kulturnämnden i Skåne Län. I vår studie har vi begränsat oss till aktiviteter i en större och en mindre kommun samt att studera övergripande projektorganisation. Hur gör jag? En utmanande 7-stegskur för medvetet bemötande på bibliotek Stockholm Under 2011 genomförde Karolinska Institutets Universitetsbibliotek tillsammans med Stockholms universitetsbibliotek och Stockholms stadsbibliotek ett projekt kring kompetensutveckling i bemötande. Syftet med projektet var att utforma, genomföra, utvärdera och sprida ett antal konkreta, användbara redskap för aktivt bemötandearbete i vardagen. Under projektet genomförde biblioteken en så kallad 7-stegskur, som bland annat bestod av veckans utmaning, bemötandeblogg, inspirationsföreläsningar, diskussionsklubbar och kollegial observation. I vår studie har vi koncentrerat oss på den del av projektet som genomfördes av Karolinska Institutets bibliotek (KIB). Läskonster och Litteraturhus Gävleborgs län/sandviken Projektet Läskonster pågick mellan 2008 och Projektägarna, Länsbibliotek i Mellansverige (LIM), beskriver i projektbeskrivningen sin vision om att skapa centra för nya kreativa former av lässtimulans. Förebilden var bland annat LesArt i Berlin (LesArt 2014). De litterära centra som förväntades skapas kunde ta sig fysiska, digitala, mobila eller nätverksbaserade uttryck. Flera yrkesgrupper samverkade och prövade olika former för upplevelser genom ordet och berättelsen som utgångspunkt. Projektet ville pröva nya former för bibliotekens lässtimulans. Målgruppen för projektet har i första hand varit bibliotekspersonal som arbetar med barn och unga i Mellansverige. Läskonster ( ) satsade främst på kompetensutbildande insatser för denna målgrupp men projekttiden var för kort för att uppfylla målet om att skapa bestående litteraturhus. Därför fortsatte man arbetet med detta mål även efter projektet. I vår studie har vi fokuserat på att studera projektet med mål att åstadkomma ett litteraturhus i Sandvikens kommun (Gävleborgs län). Den 5 april 2014 invigdes litteraturhuset Trampolin. Digidel-projektet Falköping Den rikstäckande kampanjen Digidel har haft som mål att verka för en ökad digital delaktighet i Sverige med ambitionen att alla ska våga, vilja och kunna ta del av Internet. Kampanjens övergripande mål var att med gemensamma krafter få ytterligare minst svenskar att börja använda Internet innan utgången av år 2013 samt att 15

16 öka kompetensen hos de som behöver djupare kunskaper om Internet vilket ses som en viktig grund för ett demokratiskt samhällsengagemang. Kampanjens motto handlade bland annat om att digital delaktighet är ett krav för en väl fungerade demokrati, att alla invånare i Sverige ska ha möjlighet att vara digitalt delaktiga, att kunskap om hur man gör är viktig för digital delaktighet och att digital delaktighet är en angelägenhet för alla i samhället (Digidel 2014). Kampanjen arbetade på nationell och regional nivå. I vår studie har vi koncentrerat oss på en deltagande kommun - Falköping. I Västra Götalands slutrapport (Wockatz & Hellström 2013) beskrivs projektet i Falköping där projektledarna intervjuas och beskriver arbetet före och under projektet främst utifrån ett demokratiperspektiv. Datainsamling I studien genomfördes intervjuer med företrädare för ledning och ett antal medarbetare. Som förberedelse inför intervjuerna studerade vi de dokument som fanns tillgängliga kring respektive projekt, samt utformade intervjufrågorna med inspiration från teorier om utvärdering, vilka vi har redogjort för tidigare i rapporten. Utifrån detta formulerade vi en gemensam intervjumall (se bilaga 2). Varje intervju inleddes med en beskrivning av forskningsprojektet, samt en beskrivning av hur vi avsåg att hantera forskningsetiska frågor. Alla som har intervjuats har fått läsa rapporten. Totalt har arton personer intervjuats. Vissa intervjuer har gjorts enskilt och andra i par. De flesta intervjuer har genomförts på de intervjuades arbetsplatser, men några intervjuer har genomförts via telefon eller med hjälp av Adobe Connect. De flesta av intervjuerna pågick ungefär en timme. Samtliga intervjuer spelades in och transkriberades i sin helhet 1. Alla intervjuer finns beskrivna i källförteckningen. Utöver intervjumaterialet har vi tagit del av dokument som på olika sätt berör projekten. Det handlar om projektens interna och externa utvärderingar, politiska beslut, rapporter, styrdokument, ansökningshandlingar, artiklar, konferensrapporter, medarbetares loggböcker och självvärderingar. De flesta av de dokument som analyserats inom forskningsprojektet har funnits tillgängliga via olika webbplatser. I några fall har vi tagit del av dokument på plats vid intervjutillfällena. I datainsamlingen har vi därmed läst ett stort antal dokument och de dokument som getts särskilt vikt vid analysen finns förtecknade i källförteckningen. Analys av materialet I analysen av det insamlade materialet har vi arbetat med dels analys av de enskilda projekten, dels med jämförelser mellan de olika projekten för att kunna identifiera likheter och skillnader och se mönster och avvikelser. Intervjuer och dokument har analyserats vid ett flertal gemensamma analysmöten. Under analysen skapades analys- 1 En intervju utgjorde bakgrundsinformation kring urval för ett av projekten och spelades därmed inte in. 16

17 verktyg som utgår från tidigare forskning och teoretiska modeller kring användning och nyttiggörande av utvärderingar. Processen om hur analysverktyget utarbetats beskrivs mer detaljerat i avsnittet om teoretiskt ramverk. Eftersom upplägget av studien är kvalitativt leder resultaten inte till kvantitativa generaliseringar kring skillnader mellan större och mindre enheter. I kvalitativa studier är det istället de teoretiska resonemangen och analysen som är avgörande för resultatens generaliserbarhet. Vi har kopplat våra resultat till aktuell forskning om användning av utvärderingar för att öka den analytiska generaliserbarheten. För att kunna föra teoretiska resonemang är det viktigt att få fram ett rikt empiriskt material, vilket vi har åstadkommit genom att studera både stora organisationers mer komplexa struktur och mindre organisationers särskilda förutsättningar. 5. Resultat och diskussion I detta kapitel kommer vi att besvara våra tre första frågeställningar som handlar om vilka uppfattningar som finns om utvärderingar bland biblioteksföreträdare, vilken vikt dessa utvärderingar tillmäts jämfört med andra informationskällor och hur utvärderingar egentligen används i bibliotekspraktiken. Vi har valt att redovisa varje projekt för sig inledningsvis för att tydligt visa på skillnader i uppfattningar och definitioner. Det handlar inte endast om skillnader mellan de olika projekten, utan även inom varje projekt kommer olika förståelse för utvärderingens karaktär till uttryck. Uppfattningar om utvärderingar I detta avsnitt diskuterar vi vad de intervjuade biblioteksföreträdarna uppfattar som en utvärdering samt vilken vikt de tillmäter olika typer av utvärderingar jämfört med andra informationskällor. Utvärderingen av projektet Folkbiblioteket som kulturhus genomfördes i form av följeforskning och var inriktad på att följa hur tre olika folkbibliotek tagit sig an och arbetat med projektet. Utvärderingen syftade till att fungera som inspiration, stöd och utgångspunkt för andra liknande projekt. I rapporten Att dela en helhetsbild lyfts frågan om utvärderingens art på flera ställen. Författaren skriver Det är därför inte frågan om en traditionell projektutvärdering utan i stället ett sätt att samla in och sprida kunskap som vunnits i projektgenomförandet och som kan vara användbar för fler. I rapporten kommer arbetet vidare att sättas in i ett större sammanhang genom att inte enbart beskriva projekten utan även problematisera dem. (Rivano Eckerdal 2013, s. 1). I rapporten står vidare att Det arbete som gjorts i följeforskningen är inte en utvärdering av projekten. Det har inte varit en fråga om att mäta om och på vilka sätt målen för projekten nåtts och därmed värdera projektens resultat som slutprodukter. (Rivano Eckerdal 2013, s. 8). I rapporten uppfattas således utvärdering på ett 17

18 traditionellt vis som något som handlar om mätning och måluppfyllelse och författaren menar i detta fall att följeforskning är något helt annat än utvärdering. Flera av de personer som var involverade i projektet lyfter fram styrkan med den följeforskande ansatsen. Intervjuerna visar en vidare uppfattning av vad en utvärdering kan vara än ovanstående, då de faktiskt uppfattar följeforskning som en slags utvärdering. Att använda sig av följeforskare innebar att deltagarna fick en utomstående blick som tittade på projekten medan de pågick och att biblioteken reflekterade i sitt utvecklingsarbete på ett sätt som aldrig hade skett annars (Intervju chef Kultur Skåne, 2014). Utvärderingen, både som process och produkt, innebar också att projektet fick verktyg för att utbyta erfarenheter, fundera tillsammans, hjälpa varandra, se hur olika projekt hänger ihop, hur projektet förhåller sig till ordinarie verksamhet, hålla igång en diskussion och synliggörande (Intervju med funktionsansvarig för den regionala biblioteksverksamheten, 2014). Utvärderingar uppfattas inte som bara som något som görs genom tillbakablickar, utan också som något som är viktigt för utveckling. Den funktionsansvariga för den regionala biblioteksverksamheten menar att utvärderingar handlar om mer än att leverera lösningar eller svar. Att hitta sätt att ställa frågor är minst lika viktigt. Ibland pratar man om utvärderingar som svaret på allt, men det är viktigare att de ger verktyg för att kunna ställa frågor (Intervju 2014). Även chefen för Kultur Skåne framhåller vikten av utvärderingens koppling både till pågående och framtida verksamhet så att den inte bara är retrospektiv. Ett exempel på hur denna idé kan omsättas i handling är att när regionen fördelar pengar så bör skriftlig och muntlig utvärdering och återkoppling ske, till och med vara ett krav, därför att genom dialog så utvecklas man (Intervju chef Kultur Skåne, 2014.) Ytterligare en positiv aspekt av den följeforskande ansatsen var att den gav en teoretisk inramning som gett ett mervärde. (Intervju med funktionsansvarig för den regionala biblioteksverksamheten, 2014). Sammantaget uppfattas en god utvärdering som något som genererar frågor och dialog, synliggör och höjer blicken, ger verktyg, är framåtsyftande och ger en teoretisk inramning av aktörer inom projektet. Den modell man valt för utvärderingen, följeforskningen, svarade mycket väl mot önskvärda kriterier. I sammanhanget är det intressant att den anslagsgivande myndigheten gör en helt annan bedömning av vikten och betydelsen av utvärdering. Kulturrådet beviljade medel för att några folkbibliotek skulle få arbeta med kulturhusidén, medan de inte beviljade medel för uppföljningsoch utvärdering. För att få det till stånd togs istället pengar från egen budget (Intervju chef Kultur Skåne, 2014). Kultur Skåne beviljas medel för de delar som rör praktiska studier och ett pilotprojekt kring film och rörlig bild på folkbiblioteken i syfte att utveckla biblioteken som kulturhus. Kulturrådet bedömer att projektet kan utveckla metoder för att stärka den kulturella infrastrukturen och öka tillgängligheten till kultur. Kulturrådet har inte prioriterat medel till den del av ansökan som rör utvärdering och utveckling av biblioteksplaner. (Kulturrådet 2012, Dnr KUR 2012/951). Prioriteringen från den nationella aktören var därmed inriktad på handling istället för reflektion. 18

19 I projektet Hur gör jag? vid Karolinska Institutet kan utvärdering sägas förekomma på flera nivåer: 1) En tidigare utvärdering var en starkt bidragande orsak till att projektet kom till stånd. 2) Projektet utvärderade kontinuerligt olika redskap för att arbeta med bemötande. 3) Utvärdering av själva projektet. Detta skedde inte av extern utvärderare och inte medvetet systematiskt, men projektet är väldokumenterat med rapporter där reflektion över resultaten samt spridning av resultaten beskrivs utförligt. Under intervjuer med chefer och projektledare och i dokumentation framkommer att man arbetat aktivt med dessa tre nivåer, om än inte uttalat och medvetet. Definition av utvärdering och dess status är inte helt tydlig i projektet och intervjuerna visar att det finns en tyst förståelse för vad en utvärdering är eller kan vara. Varken chefer eller projektledare minns att de egentligen har diskuterat olika utvärderingsmodeller eller genrer. Även i detta projekt framkommer en motstridighet i synen på utvärdering, men här är det samma personer som ger uttryck för olika uppfattningar. Å ena sidan bör en utvärdering vara gjord av någon extern person som skrivit en slutrapport för att vara på riktigt, å andra sidan framhålls kontinuerlig reflektion i vardagen som mycket mer betydelsefullt (Intervju chefer, 2014). Intervjuerna visar att det finns en idealbild av utvärdering som man gärna vill arbeta efter, samtidigt som det finns en medvetenhet om att den så kallade ideala utvärderingen inte fungerar så bra i praktiken. Människor inom vår sektor är generellt väldigt intresserade av att mäta, men många mått och siffror inom biblioteks- organisationer är inte intressanta, eftersom de inte kontextualiseras tillräckligt (Intervju chefer, 2014). I projektrapporten Hur gör jag? skriver författarna att I vilken mån bibliotekens kundbemötande verkligen blivit bättre är givetvis svårt att utvärdera (Dahlbäck et al s. 25) och de intervjuande cheferna menar att det är svårt att avgöra vad det egentligen är som ska utvärderas (Intervju chefer, 2014). I intervjun med cheferna diskuterades den långsiktiga effekten av utvärderingar och de menar att även om inte alla i biblioteket deltog i alla stegen som ingick i projektet, så är det svårt att se att projektet har gått obemärkt förbi någon. Om man har ett klimat där man exempelvis diskuterar medarbetarnas ansvar så tar man medvetet eller omedvetet in erfarenhet från genomförda projekt, vare sig de är utvärderade eller inte. Det viktiga är att integrera projektet i de vardagliga aktiviteterna och arbeta processorienterat. Att hela tiden ställa frågan varför kan vara viktigare än en specifik utvärdering (Intervju chefer, 2014). Cheferna har emellertid noterat att studentmedarbetarna (som arbetar på kvällar och helger och inte varit delaktiga i projektet på samma sätt) inte har samma förståelse för bemötande som resten av personalen i informationsdisken. Projektledaren menar att både processen och resultaten är värdefulla (Intervju projektledare, 2014). Det länsöverskridande projektet Läskonster utvärderades i två omgångar av en extern utvärderare. Den första utvärderingen genomfördes under projektets gång och både utvärderaren och en av konsulenterna som var med och drev projektet minns att man diskuterade både datainsamlingsmetoder och utformningen av slutrapporten 19

20 grundligt. I huvudsak grundades den externa utvärderingen på enkäter och intervjuer med projektdeltagare och projektledning och återkopplades genom en skriftlig utvärdering, men det har också funnits några fysiska möten mellan utvärderaren, projektledningen och projektdeltagare. Den andra utvärderingen, som kallades för en effektutvärdering, gjordes drygt ett år efter att själva projektet avslutats. Den intervjuade konsulenten minns att syftet med den skulle vara att se hur mycket som finns kvar efter ett år (Intervju konsulent, 2014). I denna utvärdering använder utvärderaren sig av en enkät till alla som varit deltagare i projektet och som liknar den första utvärderingens enkäter. Också denna utvärdering kommuniceras främst i form av en skriftlig rapport. Båda skriftliga utvärderingarna används som underlag av konsulenterna för att skapa egna slutrapporter. Det är dessa slutrapporter som sedan distribuerades både till projektdeltagare och till andra intressenter, medan de rapporter som författats av den externa utvärderaren endast verkar ha använts av de länskonsulenter som utgjorde projektledningen. Slutrapporterna utgör en blandning av berättelser om de projekt som har ingått i det stora Läskonsterprojektet och av de delar av de externa utvärderingarna som handlar om måluppfyllelse. Upplägget med att skapa slutrapporterna var klart redan från projektets början menar konsulenten, och syftet var att attrahera läsare, och att det skulle bli en lite attraktiv rapport med lite färg och såhär, för att man skulle kunna använda den som uppslagsbok när man ville titta på olika saker (Intervju konsulent, 2014). Alla respondenter hänvisar främst till dessa två slutrapporter när de självmant talar om utvärderingar av Läskonster. Den externa utvärderingen nämns spontant endast av den konsulent som har varit med och drivit projektet men även hon pratar mest om slutrapporterna. Slutrapporten ses som en bland många andra källor som kan inspirera till utveckling, som studiebesök, seminarier, kontakter med forskare, utbildare och till exempel designers (Intervju bibliotekschef, 2014). Det lokala Litteraturhusprojektet som vi har studerat och som blev till som en följd av Läskonstprojektet har också själv genomfört interna utvärderingar på lokal nivå, både en något större under arbetet med projektet och systematiska sammanställningar och dokumentation av enskilda aktiviteters framgång. De ses av Litteraturhusprojektets projektledning mer som ett internt arbetsmaterial och särskiljs från de externa utvärderingarna och rapporterna: Jag vågar inte heller säga att det är en sån här, det är ju ingen allmän utvärdering utan man utvärderar ju för oss att ta till oss för att vi ska [utvecklas] (Intervju projektledare, 2014). Både chefen och verksamhetsutvecklaren planerar att fortsätta arbeta på ett systematiskt vis med att anknyta till forskning och med att utvärdera de egna projekten. Verksamhetsutvecklaren ger ett exempel på hur detta är tänkt att fungera: oftast är det ju så att man har väldigt mycket kraft i början, man formulerar målen och sådär. [...] och sen så lägger man väldigt mycket kraft på att genomföra projektet. Och sen kan man känna såhär ja men det var kul och det blev bra och det var lyckat för det kom barn eller vad det nu kan vara. Men sen så lämnar man ju oftast det för man går vidare till nästa projekt, och det är väl där vi vill vara kvar litegrann och gräva litegrann i men vad lärde de sig, vad blev bra? Och vad var 20