Att åstadkomma förändring med hjälp av utvärdering En fallstudie av hur bibliotek använder sig av projektutvärderingar Karen Nowé Hedvall, Margareta Lundberg Rodin, Cecilia Gärdén, Gullvor Elf, Högskolan i Borås med medel från Kungliga Biblioteket
Övergripande forskningsfråga: Hur används biblioteksrelaterade utvärderingar för att utveckla verksamheten?. Vilka uppfattningar om utvärderingar finns bland biblioteksföreträdare? Vilken vikt tillmäts dessa utvärderingar jämfört med andra informationskällor? Hur används utvärderingar i bibliotekspraktiken? Hur kan man på nationell, regional och lokal nivå arbetare för att relevanta erfarenheter från biblioteksprojekt tas tillvara för att utveckla verksamheten?
Vad är en utvärdering? En noggrann efterhandsbedömning av utfall, slutprestationer eller förvaltning i offentlig verksamhet, vilka avses spegla en roll i praktiska beslutssituationer (Vedung 1998) en avgränsad systematisk undersökning, eller modell för detta, av redan genomförd verksamhet, dess genomförande, prestationer eller utfall. Till begreppet hör också den dokumentation som finns i form av fysiska eller elektroniska dokument, där resultaten presenteras (muntligt) och skriftligt. (KB:S expertgrupp Berggren et al. 2013 s 4)
Olika typer av utvärderingar som sätter fokus på olika processer eller aktörer Målutvärderingar Intressentutvärderingar Process- eller institutionell utvärdering Brukarutvärderingar Nyttoutvärderingar (Roger Blomgren 2014) Indelas även i instrumentella, konceptuella, symboliska och i processanvändning
Motiv för att utvärdera? Behöver beslutsunderlag Vill ha kontroll Vill öka lärandet i verksamheten/organisationen Vill skjuta upp beslut Vill skapa konsensus För att det ska göras (ritual) För att legitimera verksamheten För att kunna lägga ner något
Folkbiblioteken som kulturhus, Region Skåne Hur gör jag? En utmanande 7-stegs kur för medvetet bemötande på bibliotek - Stockholm Digidel-projekt, Falköping Läskonster och litteraturhus - Sandviken
Datainsamling Totalt 18 intervjuer med ledning, projektledning och medarbetare Projektutvärderingar och andra interna och externa dokument som bakgrundsmaterial
Teoretiska utgångspunkter: Hur kan utvärderingar påverka? Efter Mark & Henry (2004) Process Analysnivå Individ Mellanmänsklig Organisation allmän påverkan systematisk reflektion och analys, bli medveten, Förvärva färdighet, inspiration rättfärdiga, övertala, eldsjäl, liten grupp som driver på förändring symbolisk användning, bilda koalitioner, överväga policy, förbereda förändring, förankring, göra andra medvetna kognitiv/ känslomässig påverkan uppmärksamma, attitydförändring, lärande lokala deskriptiva normer, "så här borde vi göra", lära i grupp sätta agendan för org, söka mer information/kunskap (som förberedning till förändring) Motiverande påverkan Beteende ändra personliga mål och förhoppningar agerar på nya sätt, gör nya saker motivera andra, påtryckningar nya samarbeten, nya sätt att samarbeta, nya sätt för gruppen att arbeta på förändra "motivationsstrukturen ", stimulansåtgärder ändrad riktning på verksamheten, ändrad policy, ändrade styrdokument, kunskapsdelning spridning
Teoretiska utgångspunkter: Varför gör de på detta viset? Efter Höjlund (2014) Lågt intern benägenhet att utvärdera Hög intern benägenhet att utvärdera Högt externt tryck Påtvingat anammande av utvärderingspraxis (coercive adoption) Efterliknande anammande av utvärderingspraxis (mimetic adoption) Lågt externt tryck Normativt anammande av utvärderingspraxis (normative adoption) Självmant anammande av utvärderingspraxis (voluntary adoption) Idealtyper av hur organisationer anammar utvärderingspraktiker. Efter Höjlund, 2014, Four extreme positions.
Uppfattningar om utvärderingar Högst status har skriftliga externa rapporter Interna utvärderingar leder ofta till förändring utveckling Processer & systematisk reflektion uppfattas få mer effekt över tid i verksamheten Följeforskning/utvärdering ger mervärde och mer engagemang Verktyg för att utbyta erfarenheter, lära vidare
Användning av utvärderingar Slutrapporter av externa utvärderingar sprids ofta mer externt Användning beror på: externt tryck, ledningens syn, medarbetares kunskaper & uppfattningar om utvärderingar Resultatet kan leda till kunskap för individ och/eller grupp (men relativt få ger resultat)
Slutsatser för att utveckla Samband finns mellan utvärderingar och nya eller fortsatta projekt Det saknas gemensamma referensramar och förståelse på olika nivåer Nationell nivå behöver ställa tydligare krav Regional nivå kan genomföra kompetensinsatser och stödja lokala projekt Lokala beställare planera med utvärderaren
Reflektioner kring resultat Risk att olika idealtyper anammas normativt Tillräckligt med tid och kunskap saknas ofta för att bearbeta, analysera, samtala,reflektera och implementera Strukturer och incitament behövs En repertoar av utvärderingsinsatser och dess effekter behöver relateras utifrån insikter om verksamhetens och
Vad krävs: - repertoar av olika utvärderingsinsatser förståelse för olika ansatsers effekter - insikter i organisationens behov Finns tillräckligt med kunskap/medvetenhet i era organisationer? Varför och hur följer ni upp/utvärderar idag? Vilka begrepp använder ni? Hur använder ni och implementerar resultat från utvärderingar? När ska utvärdering ske internt respektive externt? Vad behöver ni för kompetens- och resursförstärkning?