Utvärdering av Ledning och Samverkan - Med koppling forskning-praktik Martin Holmberg Nicoletta Baroutsi, Eva Jensen Christian Uhr, Henrik Tehler, Tove Frykmer Björn Johansson, Peter Berggren, Jiri Trnka
Genomförande av studien Teoretiska studier Litteraturstudie Metodutveckling Praktiska studier Egna utvärderingar Deltagande i utvärderingar som utförs av andra Detta arbete finns presenterat separat Idag presenteras analys av dessa erfarenheter iklädda i en dräkt av att tänka på när du ska utvärdera ledning och samverkan
Varför utvärdera ledning och samverkan? Syftet är höja kvaliteten på ledning och samverkan med avseende på olika faktorer Lära från inträffade händelser Utveckla personalens förmågor Följa rutiner bättre Testa om rutiner fungerar Utveckla nya metoder Testa nya typer av problem Syftet med utvärderingen påverkar metodvalet
Vad är det vi vill/inte vill utvärdera? Förmågan att åstadkomma inriktning och samordning Utfallet av en insats kan, men behöver inte vara kopplat till kvaliteten på ledning och samverkan (dock bör detta förbättra oddsen för bra utkomst) Underskott på resurser gör att misslyckande kan ske trots bra ledning Slumpen kan göra att dålig samverkan inte påverkar utfallet Vi vill alltså utvärdera ledning och samverkan utan att fokusera på utfallet av händelsen
Metodval Jämförelse mellan metodval i olika dimensioner: Utvärdering under eller efter genomförande Självbedömning, expertbedömning eller objektiva mått Bedöma processer eller förmågor Observationer eller intervjuer
Metoders styrkor och svagheter Under genomförande Möjlighet att samla in data som annars inte dokumenteras Kan vara svårt att förstå vad som är relevant, och därmed att samla inte rätt data Efter genomförande Icke störande Möjligt att samla in data från aktörer som var stressade under händelsen Risk att narrativ upprättas som alla förhåller sig till Begränsad möjlighet att samla in ny data annat än från minnesbilder
Metoders styrkor och svagheter Självbedömning Tvingar fram egenreflektion och kan därmed promota lärande Eventuellt rädsla för att bli avslöjad Expertbedömning Kommer från erfarenhet eller doktriner Kan titta på de mest relevanta faktorerna Riskerar att låsa på dessa faktorer Kan vara svårt att använda i nya situationer Objektiva mått Baserade på teorier eller modeller Mäter ett begränsat antal faktorer, inte helhet
Metoders styrkor och svagheter Bedöma processer Enkelt att bedöma om t.ex. checklista följs Svårare att bedöma om process är möjlig att generalisera Svårt att avgöra om processen verkligen ger avsedd effekt Bedöma förmågor och egenskaper Kan vara svårt att avgöra vilka relevanta förmågor och egenskaper som ska bedömas Fungerar ofta bra att generalisera till nya situationer
Metoders styrkor och svagheter Intervjuer Ger möjlighet att inkludera tysta faktorer Kan vara störande under övning/verklig händelse Observationer (på plats eller via dokument) Kräver tillgång till dokument, whiteboards, möten/mötesanteckningar Kräver förtroendekapital för att få tillgång till plats och data Icke-invasivt
Andra viktiga faktorer att beakta Är metoden testad för flera olika organisationer och i flera olika typer av händelser? Finns det i metoden en skala som gör att man efter mätning kan avgöra vad som är bra och vad som är dåligt? Är metoden lämplig både för övning och för verkliga händelser? Vad kräver metoden för kompetens hos utvärderaren?
Slutsatser Låt inte utvärdering gå i gamla hjulspår! Välj metod medvetet! Tips finns i projektets rapporter