Vägledning inför beställning av utvärdering vid Malmö högskola 1. Vad är det övergripande motivet bakom utvärderingen vad är syftet? Varför? Detta är en av de viktigaste frågorna att ställa sig inför planeringen av en utvärdering. De flesta och allvarligaste misstag som görs i samband med utvärderingsarbete beror till stor del på att man inte från början besvarat denna fråga. Ett väl utvecklad beskrivning av syftet bakom utvärderingen ger ofta en god vägledning när det gäller övriga frågor i samband med planeringsarbetet. Kan syftet inte formuleras och synliggöras torde behovet av en utvärdering heller inte vara särskilt stort. Det normala är att dessutom att uppdragsgivaren, inte utvärderaren, sitter inne med svaret på denna fråga. Ursprungligen är utvärdering tänkt som en aktivitet som genomförs i ett givet sammanhang för att uppnå ett specifikt ändamål. Svaret på frågan varför bör därför i första hand hämtas från den användning/nytta som beställaren förväntas få av utvärderingen i det sammanhang där den genomförs. Inom utvärderingsforskning används ofta en uppdelning i tre generella bakomliggande syften: kontrollerande, främjande samt kunskapsutvecklande. En utvärdering med ett kontrollerande syfte vill huvudsakligen undersöka om en planerad åtgärd vidtagits och sedermera lett till önskat resultat. Utvärderingen blir därmed ett redskap i vidare beslutsfattande. En utvärdering med ett främjande syfte ska huvudsakligen bidra aktivt till en förbättring av programmet. I den främjande utvärderingen tonas det bedömande inslaget ner och istället läggs tyngdpunkten på förståelsen av varför ett program lyckas eller misslyckas. För att utvärderingen ska kunna anta en främjande (formativ) roll bör utvärderaren föra en nära dialog med representanter för den utvärderade verksamheten under projektets lopp. Däremot är det långt ifrån självklart att utvärderaren bör ansvara för att bedriva utvecklingsarbete i anslutning till utvärderingen. En utvärdering med ett kunskapsutvecklande syfte är huvudsakligen tänkt ge kunskap om effekter av beslut och åtgärder för att i förlängningen förbättra framtida beslutsfattande. Utvärderingen bidrar genom sitt ifrågasättande förhållningssätt till förståelse av fundamentala händelser och processer i samhället, i synnerhet då den tar sin utgångspunkt i teoribildning inom någon akademisk disciplin.
2. Av vem och för vem ska utvärderingen genomföras? En viktig fråga i samband med planering av utvärdering är vem som egentligen bör utföra utvärderingen. De två övergripande alternativ som finns är intern och extern utvärdering. En utvärdering är alltid intern eller extern i förhållande till någon. Med intern utvärdering menas att utvärderaren är en del av (eller anställd i) den organisation som utvärderas. En extern utvärdering utförs av någon som ligger utanför verksamheten, men som kommer in genom ett särskilt ett utvärderingsuppdrag. Vem som ansvarar för att utföra utvärderingen är en central fråga då utföraren ansvarar för utvärderingens uppläggning, datainsamling, analys och rapportering. Det finns både för- och nackdelar med såväl intern som extern utvärdering. Intern utvärdering kan ske förhållandevis snabbt genom att beslut tas av de berörda själva och genom att datainsamling och analys sköts av de som bäst känner till verksamheten. Extern utvärdering är mer tidsödande då en längre inläsningsperiod krävs för att utvärderaren ska få grepp om verksamheten. Den stora nackdelen med intern utvärdering gäller objektiviteten. En extern utvärdering är otvivelaktigt starkare ur denna synpunkt. Samtidigt har externa utvärderare ofta ett professionellt anseende att se upp till och det metodologiska kunnandet kring utvärderingens karaktäristik är ofta bättre. I samband med att utföraren diskuteras kan det även vara aktuellt att fråga sig för vem utvärderingen ska genomföras vem är den tänkta primära användaren/mottagaren av utvärderingen och vem ska finansiera projektet. De fyra kategorierna utförare, initierare, finansiärer och användare kan vara flera olika aktörer. Samtidigt kan en enskild aktör spela alla fyra rollerna. När det gäller vem som är huvudsaklig mottagare/användare får denna fråga framför allt konsekvenser för utvärderingens perspektiv. En utvärdering kan göras ur olika perspektiv och valet av detta beror på vem utvärderingen görs för. En utvärdering i individens perspektiv ser därför annorlunda ut än en utvärdering ur ett verksamhetsperspektiv då man ställer sig olika frågor. För individen är det exempelvis normalt att fråga sig vad effekten blir i ett helhetsperspektiv. Verksamhetens frågor ofta kan ha en mera ekonomisk inriktning. Det innebär vidare att de metoder som tillämpas i utvärderingen blir olika. Man kan också utvärdera i andra perspektiv, till exempel det övergripande samhällsperspektivet. Även här är det till stor del projektets syfte som avgör svaret på frågan. 3. Vad är det som ska utvärderas hur skall insatsen avgränsas och karaktäriseras? Då man fattar beslut om att genomföra en utvärdering finns många aspekter att ta i beaktande. Ofta är verksamheten som ska utvärderas förhållandevis väl avgränsad ur ett organisatoriskt perspektiv, men för att utvärderingen ska kunna ge de svar som eftersöks behöver utvärderingens fokus snävas av ytterligare. Även detta är en viktig fråga då det avgör många frågor i det fortsatta planeringsarbetet.
När det gäller aspekter av en verksamhet som kan vara angelägna att utvärdera kan man nämna följande: En utvärdering av beslut innebär att man går igenom till exempel vilka beslut som fattats, av vem de är fattade, vilka åtaganden de innebär och att man klargör otydligheter i besluten. En utvärdering av insatser fokuserar hur mycket och vad olika parter sätter in i form av åtgärder, arbetstid, pengar etc. En utvärdering av processer gör man om det till exempel är arbetsformer som man vill utveckla. Kanske behöver relationer mellan handläggare på olika myndigheter utvecklas, ärendehanteringen förbättras osv. En utvärdering av effekter efterfrågas ofta av uppdragsgivare. Vad har projektet egentligen gett? Här kan man använda nyckeltal, kriterier som finns angivna i beslutet osv som riktmärken för värderingen. Olika orsaker kan bidra till resultat och effekter. Det kan vara projektets insatser, men även andra orsaker kan påverka förloppet och detta kan en utvärdering hjälpa till att klarlägga. 4. Vilka bedömningskriterier ska användas? Inslaget av bedömning är centralt för utvärderingen. Men värdering är en relativ verksamhet bra och dåligt är relativa begrepp som beror på måttstocken. En central fråga för varje utvärdering är därför vilka kriterier som styr bedömningen och hur dessa väljs ut. Inför varje utvärdering bör det finnas en unik och tydlig referensram som i sig är ett sätt för utvärderaren att presentera vilka kriterier som använts för bedömningen. Vid en bedömning kan man använda sig av såväl subjektiva som objektiva referensramar. Det senare innebär att det finns en uppsättning värderingsprinciper som gäller oavsett vad en enskild individ anser. Ett subjektivt värdeomdöme kan istället ses som en individuell åsikt om en fråga. Det finns fyra huvudsakliga typer av objektiva referenspunkter eller kriterier: Minimikrav innebär de grundläggande krav som verksamheten ska motsvara för att anses godkänd som praktik. Genomsnittliga värden för praktiken innebär istället att olika verksamheter jämförs med varandra utifrån gemensamma krav för att få fram genomsnittsvärden på olika prestationer. Det kan gälla jämförelser mellan verksamheter inom kommunen, landet eller internationellt. Den bästa konstaterade praktiken (bench marking) innebär att värdering sker i jämförelse med den som fått den högsta poängen, omdömet eller ekonomiska utfallet vid en jämförelse med andra verksamheter inom området.
Den teoretiskt optimala praktiken värderar istället en verksamhet utifrån teoretisk idealbild om hur den borde fungera. Här är det tal om belagda teoretiska resonemang om vad en verksamhet borde leva upp till om den fungerar optimalt. Det finns även fyra typer av subjektiva referenspunkter eller kriterier: Den enskilde individens eller gruppens behov och krav hänvisar till egna intressen, vilket exempelvis sker vid självutvärdering. Brukarnas behov och krav handlar om att bedöma till vilken grad verksamheten uppfyller brukarnas krav och förväntningar. Intressenternas behov och krav handlar istället om att bedöma hur verksamheten motsvarar krav och förväntningar hos olika aktörer som berörs av insatsen. Det kan exempelvis omfatta tjänstemän, politiker och andra berörda. Professionella gruppers behov och krav innebär att låta yrkesgrupper inom verksamheten bedöma på vilken nivå verksamheten presterar. 5. Hur ska utvärderingen organiseras? Frågan om hur utvärderingen ska organiseras är huvudsakligen upp till utvärderaren att planera. Det finns emellertid några frågor som uppdragsgivaren bör fundera över redan vid initieringen av uppdraget. En sådan fråga är tidsaspekten när i tiden bör utvärderingen genomföras och under hur lång tid ska utvärderingen pågå? För att kunna svara på denna fråga kan det även vara aktuellt att svara på frågan om finansiering av utvärderingen hur mycket resurser kan avsättas till utvärderingen och varifrån kommer resurserna? Ytterligare en fråga att fundera över redan i inledningen av ett utvärderingsprojekt är hur utvärderingsarbetet ska avrapporteras hur ska resultaten av utvärderingen återkopplas till verksamheten? Att återkopplingen planeras redan tidigt under utvärderingen har även en betydelse för den kommande användningen av utvärderingens resultat. 6. Hur ska utvärderingen användas? Den avslutande frågan gäller utvärderingens användande. Utvärdering är i grunden tänkt som ett redskap för välgrundat beslutsfattande där tanken är att en utvärdering föregår ett beslut och sedermera ligger till grund för detta. Den huvudsakliga frågan att ställa sig är vilka användningsområden som finns för den aktuella utvärderingen. Ska utvärderingen användas i den fortsatta beslutsprocessen i den utvärderade verksamheten eller kan den komma till användning på något annat sätt? När svaret på denna fråga står klart kan det vara aktuellt att fundera över om utvärderingsarbetet bör läggas upp eller organiseras på något särskilt sätt just med tanke på användningsaspekten. Frågan om hur utvärderingen kan organiseras för att säkerställa användning är främst en fråga för utvärderaren, men för att detta ska kunna ske krävs en dialog mellan beställaren och utvärderaren. Många gånger blir emellertid utvärderingens användning bristande för att frågan om användning inte introducerats tillräckligt tidigt i planeringen av utvärderingen.
Avslutningsvis kan det vara aktuellt att fråga sig om och i så fall hur det bör ske någon generell kunskapsspridning från utvärderingen. Beroende på syfte och perspektiv kan utvärderingen vara av allmänt intresse för en bredare allmänhet. I så fall behöver beställare och utförare tillsammans planera hur en sådan kunskapsspridning bör ske. Vår enhet Enheten för kompetensutveckling och utvärdering inrättades år 2007 som led i Malmö högskolas ökade fokus på samverkan med det omgivande samhället och vi är ingången till högskolan i frågor om utvärdering. För att möta en ökande efterfrågan av kvalificerade utredningar bemannas enheten av projektledare med specifik utvärderingskompetens. Tillsammans med högskolans områden genomför vi sedan utvärderingsuppdrag av olika karaktär. Vår idé är att erbjuda insatser av hög kvalitet i utvärderingsprocessens samtliga faser från idé och beställning till återrapportering och användning. Genom att kombinera vår utvärderingskompetens med akademisk kunskap på aktuella ämnesområden kan vi tillsammans med högskolans forskare utföra utvärderingar av hög vetenskaplig kvalitet, anpassade till beställares särskilda behov av kunskap. Vår ambition är att öka tillgängligheten till Malmö högskola och forskarnas specifika ämneskompetens. Samtidigt arbetar vi metodiskt för att erbjuda hög vetenskaplig kvalitet i de utvärderingar vi genomför. Genom insatser på dessa områden hoppas vi kunna främja användningen av de utvärderingar vi genomför, både som grund för praktisk verksamhetsutveckling och som underlag för vidare forskning på högskolan. Läs mer om oss på www.mah.se/utvardering eller kontakta oss genom: Joakim Tranquist Telefon: 040-665 81 32 alt. 0709-998 179 E-post: joakim.tranquist@mah.se