Seminarium -fördjupning kring utvärdering av FoU Ove K. Vestman Presentation vid FoU-Välfärds konferens i Sundsvall 24 25 augusti 2011 Utgår från boken Utvärderandets konst (2011) av Ove Karlsson Vestman, Studentlitteratur
FoU-verksamhetens innehåll (SoS 2008) Klassificering av arbetssätt Aktiviteter 1. Granskande och undersökande 2. Kunskapsförmedlande/ utvecklande och inspirerande 3. Praktiknära innovationsstödjande Studier, utvärderingar, kartläggningar, forskning, kollegiegranskning Seminarier och föreläsningar, studiecirklar, utbildningscirklar, FoU-cirklar, konferenser, utbildning för hela personalgrupper, FoU-caféer, FoU-seminarier, temadagar, idésmedjor, utvärderingsverkstäder, forskarskolor Utvecklingsprojekt, utvecklingsarbeten, stipendier 4. Konsultativt/Rådgivande Handledning och konsultation (inkl. processtöd), nätverksträffar, diskussions- och dialoggrupper Övrigt Nyhetsbrev, meddelandeblad, hemsida, annat
FoU-verksamhetens arbetssätt (Stringer 2007) Look Think Act Reflect Look/Problemformuleringsfasen Vilka är FoU-miljöns bidrag när det gäller att identifiera och beskriva problem inom välfärdsområdet? Think/Analys- och förståelsefasen av hur problemen ser ut Vad bidrar FoU-miljön med för analyser av de problem som man identifierar och arbetar med? Act/Insats- och handlingsfasen vad man kan göra och hur det sker Utvecklar FoU-miljön några tydliga handlingsstrategier för att bearbeta eller lösa de problem som identifieras? Utvärderings- och reflektionsfasen Gör FoU-miljön egna utvärderingar av sitt arbete? Vilken typ av utvärdering och reflektion är det i så fall som utförs? Hur arbetar FoU-miljön för att integrera kunskaper från flera intressentperspektiv, t.ex. forskning, profession, brukare? Samlad utvärdering Lyckas FoU-miljön att kombinera flera perspektiv på kunskap i forskningsarbetets steg? Dominerar något av perspektiven sättet att arbeta vid FoU-miljön?
Att bedöma praktisk verksamhet HurärFoU-miljönsförmågaatt: 1. Problemuppfattning Att synliggöra och lyfta fram problem inom de välfärdsområden man arbetar med 2. Analys och förståelse Att göra analyser av de problem som man identifierar samt bidra med fördjupade tolkningar 3. Insats och handling Att utveckla handlingsstrategier för problem som identifieras och att utforma lämpliga insatser som tillvaratar erfarenheter hos den professionelle praktikern och brukaren 4. Utvärdering och reflektion Att göra egna utvärderingar av sitt arbete och visa hur praktiker kan utvärdera sin verksamhet och använda erfarenhetsbaserade utvärderingsmodeller, exempelvis i form av egenutvärdering, kollegiegranskning, expertutvärdering 5. Sammanställning av kunskaper Att sammanställa och integrera kunskaper från olika intressentperspektiv och utveckla en mer samlad problembild av vad FoU bör arbeta med baserat på alla tre kunskapskällor forskning, praktik och brukares erfarenheter Bedömningsskala Låg Hög 1 2 3 4 5 Medel värde
Att bedöma organisation Hur är FoU-miljöns förmåga: 1. Ledarskap Att visa ledarskap? (Begreppet preciseras i den konkreta utvärderingen) 2. Information och analys Att göra urval och hantera fakta om förebildliga organisationer och konkurrenter 3. Strategisk planering Att praktisera arbetsformer för strategisk planering, mål, strategier och planer för kvalitet 4. Medarbetarnas utveckling Att stimulera medarbetarnas engagemang, delaktighet, arbetstillfredsställelse 5. Verksamhetens utvecklings- och förbättringsprocesser Att hantera nya situationer, styrning av det dagliga arbetet, stödjande processer, samverkan, miljöhänsyn, uppföljning Bedömningsskala Låg Hög 1 2 3 4 5 Medelvärde
Olika positioner för utvärderare (Furubo & Karlsson Vestman 2011) Outsider till professionsfältet som utvärderas Position 1 Extern expert på utvärdering (revisorn) Extern till Organisationen Position 3 Extern utvärderare med kompetens inom fältet (expertutvärderaren, konnässören) Position 2 Intern utvärderare som ej ingår i verksamheten men finns inom organisationen (utredaren) Position 4 Intern i organisationen Självvärdering av verksamhetens egen personal (professionens egen bedömning) Insider i professionsfältet som utvärderas
Utvärderarens roller (Skolits, Morrow, Burr, 2009) Faser i utvärderingsarbetet Förberedande fasen 1. Förberedelserför att göra en utvärdering 2. Första kontakterna 3. Planering av utvärderingen 4. Tecknande av kontrakt Genomförandefasen 1. Implementering av utvärderingen 2. Datainsamling 3. Bedömning 4. Rapportering Efterarbete 1. Främja resultatanvändning 2. Reflektion (metautvärdering) Olika roller för utvärderare Ledarensom initierar uppdraget Iadministrationen och samordnar Detektiven som utröner vilka behov som finns Designer som utformar utvärderingens upplägg Förhandlaren som upprättar kontrakt Diplomaten som etablerar förtroende hos intressenterna Forskaren som samlar data Domarensom gör utvärderande omdömen Journalisten som rapporterar resultaten Advokaten som företräder intresset för användning Lärande utvärderare som reflekterar över hela utvärderingen (metautvärderare)
Vem lär vad? Influenser av Utvärderingen (Henry & Mark 2003) Lärande genom utvärdering Nivåer: 1. reproduktivt, 2. utvecklingsinriktat, 3. kreativt lärande(ellström 1996) Individ Gruppnivå Organisation Attitydpåverkan Pekar på viktiga frågor Ger en initierad bild av verksamheten Bidrar till att förstå verksamhetens idé Visar vad utvärdering är och kan utföras Ökad förmåga att använda utvärdering Ger argument för det egna programmet Legitimering av den egna verksamheten Impulser till lärande och enskilda som förändringsagenter Pekar på vilka värden och normer som dominerar och behöver kritiskt granskas och förändras. Synliggör organisationens policy Visar vad man har för dagordning Ger ett policyorienterat lärande genom dialog och förhandling Modifikationer av organisationens policy Sprider kunskap om verksamheten, idéer och resultat till en extern publik. 1. Har förfinat sitt nuvarande arbetssätt 2. Har vidareutvecklat sitt arbetssätt inom ramen för gällande synsätt 3. Har omprövat sitt grundläggande synsätt på arbetet 1. Har förbättrat befintliga arbetsmetoder 2. Har utvecklat sitt arbetssätt inom ramen för gällande grundsyn 3. Har förändrat grundsyn på sin roll och funktion 1. Har förfinat mål, regler och riktlinjer i verksamheten. 2. Har förändrat sin struktur och sättet att arbeta. 3. Har omprövat principer och synsätt och funktion i samhället.