UTVÄRDERING, ÅTER- RAPPORTERING, REVISION 7 7.1
INNEHÅLLSFÖRTECKNING Inledning sid 3 7.1 Vad utvärderar vi och varför? sid 4 7.2 Mål och uppföljning av resultat sid 5 7.3 Verksamhetsuppföljning sid 6 7.4 Utvärdering för projektgruppen och sammankomster sid 8 7.5 När ska ni börja utvärderingen? sid 10 7.6 Vem gör utvärderingen? sid 11 7.7 Små Synliga Succéer sid 12 7.8 Checklista: Tänk på! sid 14 7.9 Utvärderingsmetoder sid 15 7.2
INLEDNING Det här kapitlet handlar om utvärdering och redovisning av resultat. Utvärdering är till för att dra lärdom - både av misstag och framgångar - och för att ni ska kunna visa upp och redogöra för det ni har uppnått i projektet. Detta samtidigt som ni ser arbetet, som RFSL och er lokalförening bedriver, i en större helhet. Socialstyrelsen kräver från och med 2007 bättre resultatuppföljning och de vill att metoderna vi använder i större utsträckning ska vara evidensbaserade. Resultatuppföljning och evidens-/kunskapsbaserade metoder går hand i hand med utvärderingar och är därför berörda i det här kapitlet. Ofta arbetar vi med utvärdering och uppföljning i slutet av ett projekt. Det är dock nödvändigt att utvärdering och resultatuppföljning följer med oss genom hela arbetet: när vi planerar och sätter upp mål, när vi arbetar som mest under projektet och slutligen, också när det är avslutat. Poängen är att det är nyttigt att stanna upp då och då och fundera på om man måste ändra sin ursprungsplan, för att man lärt sig något nytt eller insett att situationen man planerade utifrån har förändrats. Fakta: Evidens/kunskapsbaserat arbete Att arbeta evidensbaserat innebär att man bygger sin professionalitet och sitt metodiska kunnande på säkerställd kunskap och beprövad erfarenhet. På lång sikt kan ingen verksamhets kvalitet bestå och utvecklas på grundval av enskilda individers privata uppfattningar och värderingar. Evidensbaserad verksamhet är en kvalitetsgaranti och har sin grund i forskningsresultat och beprövad erfarenhet. Insikt i forskningsmetodik och kunskap om kliniska forskningsresultat liksom resultat från samhälls- och beteendevetenskaperna är av största vikt för en positiv utveckling av vår verksamhet. 7.3
7.1 VAD UTVÄRDERAR VI OCH VARFÖR? Utvärdering och uppföljning tjänar ett syfte. Det är viktigt att ha detta syfte klart för sig när man planerar utvärdering och uppföljning. Nedan går vi igenom tre stora vad : Mål, verksamhet och gruppens eget arbete. Dessa tre vad används för olika ändamål och det är viktigt att skilja dem åt. 7.4
7.2 MÅL OCH UPPFÖLJNING AV RESULTAT Den nationella handlingsplanen för hivarbetet som Riksdagen tagit fram fastslår att det kommer att bli allt viktigare att på ett bra sätt utvärdera och mäta resultat. Socialstyrelsen och därmed också landstingen kommer i större utsträckning än tidigare att vilja se hur vi mäter och vilka indikatorer vi använder oss av. När er projektgrupp fastställer målen är det, som vi nämnt tidigare, viktigt att ni skapar smarta mål. Samtidigt som ni sätter upp de smarta målen kommer ni att fundera på hur de går att mäta (M:et i SMART står för mätbar). Hur ska ni mäta om ni nått ert mål? Vilken sorts data kommer ni att behöva hämta in för att mäta er framgång och tar er utvärdering upp de frågeställningar ni behöver? Det är viktigt att ni är på det klara med skillnaderna i olika mätningar. När utvärderar ni målen? Har målen uppnåtts? Slutligen, när utvärderar ni om en verksamhet har varit bra? Resultatet kan vara uppföljningen av målen, men resultatet kan också vara något oväntat, som ni inte hade med i beräkningarna. Redan när målen bestäms kan det vara bra att svara på följande tre frågor: 1. Vad ska utvärderingen användas till? I det här fallet görs utvärderingen för att mäta om målen för projektet uppnåtts. Det kan även handla om att se om en ny metod leder till bättre resultat än en gammal för att veta vilken verksamhet som fungerar bäst. Tips! Det kan vara bra att prata med bidragsgivaren och sätta upp gemensamma mål eller få hjälp att ta fram metoder. Kanske kan bidragsgivaren göra vissa mer omfattande mätningar. 2. För vem görs utvärderingen? Utan tvekan är det den här delen av utvärderingen som bidragsgivaren är mest intresserad av. Till bidragsgivare går det bra att använda ett formellt språk, men om ni vill ha fler läsare behöver ni se till att språket är lättfattligt. 3. Hur stor ska utvärderingen vara? Obs! Enligt nya direktiv får landstingen och regionerna använda fem procent av sin budget för uppföljning och utvärdering. Ta en diskussion med er kontaktperson på landstinget eller regionen. För att ge bra exempel på verksamhet som fungerar är utvärdering ett viktigt moment. Kan ni kanske också söka fem procent för att utvärdera och följa upp resultat? Planera in tid för analys och om ni haft ett stort projekt var inte rädda för att plocka in en extern utvärderare. 7.5
7.3 VERKSAMHETSUPPFÖLJNING Projektgruppen har genomfört en utbildning, en sommarkampanj, en fest eller något annat. Verksamheten utvärderas av deltagare eller målgrupp. Den här formen av utvärdering är den vi oftast först tänker på när vi ska utvärdera. Innan ni sätter igång är det bra att svara på följande tre frågor: 1. Vad ska utvärderingen användas till? Utvärdering av en verksamhet eller en metod är viktig att göra av flera olika anledningar. Det handlar om att bli bättre på det vi gör genom att lära av framgång och misstag. Det handlar också om att det är viktigt att deltagare och målgrupp på olika sätt ska få vara med och svara på om exempelvis utbildningen de deltog i nådde upp till de mål som var satta för utbildningen. Vi kan göra saker rätt, men det handlar framförallt om att vi ska göra rätt saker rätt. 2. För vem görs utvärderingen? Vem är det som ska läsa den här utvärderingen och varför? 3. Hur stor ska utvärderingen vara? Att utvärdera för utvärderingens skull är inte lyckat. Ibland är det fullt tillräckligt med en kort och enkel utvärdering. Ibland kan den vara muntlig och ibland skriftlig det beror på vad syftet är. Svara på de två ovanstående frågorna ordentligt för att sedan kunna svara på hur stor utvärderingen ska vara. Utvärderingen är ofta riktad mot de externa personer som varit med på olika aktiviteter. Inte heller detta behöver vara särskilt stort eller komplicerat, men det är bra om ni diskuterar i projektgruppen vilka frågor ni skulle vilja ställa. Metoder för extern utvärdering Ni kan använda skriftliga eller muntliga enkäter och de kan ge lite olika resultat. Fördelen med att bara ställa muntliga frågor är att man enkelt får snabba svar och deltagaren behöver inte anstränga sig särskilt mycket. Den muntliga utvärderingen har också den fördelen, att man direkt har möjlighet att ställa följdfrågor om man t.ex. inte förstår deltagarens svar. Nackdelen är att svaren tolkas direkt av frågeställaren som sedan förmedlar just sin egen tolkning. Vid en skriftlig utvärdering är det deltagarens egna ord som är nedskrivna och som därmed kan tolkas av var och en. Exempel Vid en kondomutdelning eller sammankomst där ni finns med och sprider information kan det vara bra att prata med deltagarna, eller snabbt be dem fylla i en lapp med några enkla frågor, som ni har förberett. Det är nämligen väldigt värdefullt att få in lite tankar från dem som faktiskt är vår målgrupp, och inte bara från dem som varit med och arrangerat. Om målet för verksamheten var att dela ut kondomer och ge information om säkrare sex kan det vara bra att inte bara räkna antalet utdelade kondomer under festen utan också fråga deltagarna om budskapet nått fram. 7.6
Att sätta ihop en enkel utvärderingsenkät är inte så enkelt som det kan låta, eftersom den ska: Vara lätt att förstå Vara snabb att fylla i (Max en A4:a) Ge vettig information om vad deltagarna verkligen tyckte om aktiviteten Det är bra att använda samma frågor i aktiviteter som återkommer, för att kunna mäta resultat över en längre tidsperiod. Skapa gärna ett exceldokument och för in svaren direkt i det! På så vis kan ni enkelt ta fram önskvärd information när ni redovisar projektet eller planerar en ny aktivitet. Exempel att använda vid skapande av en mall: Det kan vara bra att använda skalor exempelvis från 1 6 (där 1 är dåligt och 6 är bra). Ett tips, om ni använder skalor, är att ha jämnt antal siffror för att undvika att deltagarna säger att allt är precis mittemellan dåligt och bra. På en skala med alternativ mellan 1 5 är det svårt att tolka vad 3 betyder. På en skala mellan 1 6 ger mittenalternativen 3 och 4 en indikation om det lutar åt bra eller dåligt. Om ni istället väljer att intervjua deltagare är det viktigt att ta med i beräkningen att människor ofta tenderar att vara snällare när de står öga mot öga med den som arrangerat tillställningen. För enkelhetens skull kan det ibland vara bra att göra muntliga undersökningar för sanningshaltens skull är skriftliga utvärderingar ofta bättre. Medelvärde är ett sätt att se hur alla totalt bedömde verksamheten. Medianvärde används för att se om det är ett fåtal som drar upp eller ner medelvärdet genom att rösta på något av extremalternativen. Båda är därför viktiga att räkna fram. Samtidigt som det är bra att ha siffror på olika saker är det inte riktigt tillförlitligt att räkna ut medel- och medianvärde om deltagarna är för få (kanske under tio). Medelvärde räknar man ut genom att slå ihop alla värden ( =betyg) man fått in och dela med samma antal, median är istället den siffra som är i mitten av alla angivna värden (=betyg). Exempel De betyg man fått är 1, 4, 5, 5, 5, 6, 6 och blir alltså totalt 32. Delat med sju (antal betyg) så blir medelvärdet 4,57. Medianvärdet (den mittersta siffran) är 5. Man kan alltså se, att medelbetyget var ganska lågt beroende på att en person gav ett riktigt uselt betyg, som drog ner hela medelbetyget. Att lägga ihop många siffror kan man enklast göra om man har en person som läser siffrorna och en annan som antecknar dem på ett papper eller i ett dokument (gärna Excel eller liknande program). Då kan man enkelt addera dem och räkna fram medelvärde. Genom att i Excel markera en viss grupp siffror och sedan begära sortera (som finns under Data i menyn) kan man få siffrorna i stigande eller fallande ordning och då blir det lätt att se vilket/vilka som är de mittersta. I Excel är det också enkelt att göra stapeldiagram och liknande som visar spridningen på hur folk betygsatt verksamheten. 7.7
7.4 UTVÄRDERING FÖR PROJEKTGRUPPEN OCH SAMMANKOMSTER En form av utvärdering riktar sig inåt, till projektgruppen, alltså dem som arbetar i projektet. Utvärdering är nyttigt att göra kontinuerligt och behöver inte genomföras med stort krångel eller komplicerade metoder. Utvärderingarna kan gälla både själva arbetet i gruppen och något utåtriktat mot deltagare och målgrupp men utvärderingen görs alltså endast internt av projektgruppen. Vi använder samma frågor som i de två andra formerna av utvärderingar: Vad ska utvärderingen användas till? För vem görs utvärderingen? Hur stor ska utvärderingen vara? Exempel Projektgruppen har haft möte varje eftermiddag, med obligatorisk närvaro och det har lett till många avhopp och dålig stämning. Då kan det vara bra att stanna upp och fråga personerna i gruppen om man kanske ska ses på kvällen istället, när fler har tid, och ändra mötesupplägget så att man slipper ha möten så ofta. Man har ordnat en fest med några lokala band, men det kom för lite folk. Då kan det vara bra att utvärdera om man lyckades marknadsföra och informera allmänheten tillräckligt och på ett bra sätt. Ovanstående är exempel på interna utvärderingar, då man sätter sig ned och resonerar utifrån några punkter, till exempel: Vad var bra? Vad var dåligt? Vad vill vi ge för tips till nästa projektgrupp? Det är viktigt att göra utvärderingar både när det fungerat bra och när det fungerat dåligt! Vi lär av både framgång och misstag. Metod för intern utvärdering I interna utbildningar har Försvarsmakten tagit fram en utvärderingsmodell som fungerar mycket bra. Den går ut på att fylla i följande meningar: 7.8
Vi ska sluta med... Vi ska börja med... Vi ska fortsätta med... Exempel Vi ska sluta med möten på dagtid, när så få kan komma. Vi ska börja med att skriva ner vad vi bestämt på varje möte. Vi ska fortsätta med snabbutvärderingar varje vecka. Det är en enkel intern utvärdering som ni lätt sätter ihop och dokumenterar för eget bruk. Den fungerar både att köra skriftligt individuellt, två och två eller i mindre grupper. 7.9
7.5 NÄR SKA NI BÖRJA UTVÄRDERINGEN? Mål och resultatutvärderingen börjar redan när ni diskuterar målsättningarna. Om ni vill mäta resultatet av en kampanj för att gå och hivtesta sig kan det vara bra att ha siffror på hur det ser ut innan kampanjen börjar. Verksamhetsutvärderingen görs med fördel i samband med en aktivitet. Den interna utvärderingen är pågående och kan vara bra att ha med i någon form varje gång ni träffas. Den är ofta mer inriktad på hur er grupp fungerar. 7.10
7.6 VEM GÖR UTVÄRDERINGEN? Resultatutvärderingen skall budgeteras och planeras redan när ni söker pengar för projektets genomförande. Ni kan välja att göra mätningar själva (t.ex. Hur många kondomer delar vi ut? Hur många klick har vi på vår hemsida?) Ni kan också ta hjälp av någon som inte ingår i projektgruppen. Det finns särskilda konsulter som inriktat sig på utvärdering. Bor du/ni nära en universitetsstad kan en idé vara, att kontakta forskare eller studenter för att anlita dem i ert utvärderingsarbete. Om ni bestämmer er för att ha en extern utvärderare är det viktigt att träffa denne så tidigt som möjligt i processen. Bara att vi finns på plats fungerar som en påminnelse om säkrare sex Informatör 2005 7.11
7.7 SMÅ SYNLIGA SUCCÉER Utvärderingar tycks alltid avslutas i konstruktiv kritik. Det är bra. Men det är också bra och viktigt att formulera succé tillsammans. Att synliggöra framgång för sig själv, för arbetsgruppen och ibland också för andra är viktigt. Det övergripande målet för statens hivarbete är att antalet nyupptäckta fall av hivinfektion, där smittöverföringen skett i Sverige, skall halveras till år 2016. Om vi ser till det övergripande målet är det viktigt att finna avstämningspunkter, små synliga framgångar eller succéer! De avstämningspunkterna kan se olika ut, men fyller ett och samma syfte: Vi är på väg framåt och vi vågar klappa oss själva på axeln och säga att vi är bra. Det handlar alltså om att sätta upp delmål och att fira dem på olika sätt. Det kan också vara ett gemensamt avstamp för nästa fas i projektet eller en hållpunkt att sikta mot när det känns tungt eller motigt. Det kan t.ex. vara att fira att vi vågat testa något nytt, att vi äntligen fått iväg ansökan, gjort färdigt budgeten eller att vi nått hälften av alla i målgruppen när halva tiden för projektets informationssatsning har ägt rum. Planera in firandet av succén i förväg på så sätt hjälper du dig själv eller gruppen sig själv (trots att det är stressigt) att komma ihåg och se succé. Succén kan utgå från olika personer och situationer. Öva på att definiera succé för dig själv! Det kan handla om att tala inför grupp, att leda ett arbete, att göra färdigt bokföringen eller att ringa ett samtal som det har varit motigt att ringa. Succé för arbetsgruppen och projektet relaterar såklart både till det man gjort och hur gruppen som sådan har verkat. Det är viktigt att betona att även om en verksamhet inte blivit som man från början tänkt sig så kanske gruppen har arbetat bra ihop och gjort sitt bästa. Låt också det definieras som en succé! Succé relaterar såklart även till målen och till synliggörandet för andra. Våga berätta för alla när ni gjort något bra. Skicka ett mejl 7.12
till styrelsen, förbundet, handläggaren på landstinget eller regionen och våga skryta när ni gjort något bra! Exempel på olika sätt att fira. Att fira succéer behöver inte vara dyrt eller krångligt. För dig själv: Ta sovmorgon från jobbet efter en tuff helg med RFSL. Ta ett långt bad eller tillåt dig att ringa en god vän efter det jobbiga samtalet. Tid för reflektion kan också vara en bra belöning. För arbetsgruppen: Boka in en myskväll där ni ger varandra positiv feedback. Gläds tillsammans över vad ni gjort och åstadkommit. Se det som ett avstamp inför nästa fas i projektet. Fira succéer såsom bra verksamhet, men kom också ihåg tillfällen som när ansökan för eller redovisningen av ett projekt skickats in. Synliggöra succé för andra. Om er arbetsgrupp har arbetat för att åstadkomma större tillgänglighet för hivtest fira när testmottagningen bestämt sig för att ha öppet längre. Ni ska ta äran åt er för att det skett! Bjud in mottagningen som bestämt sig för att ha öppet längre på tackmiddag i era lokaler eller ställ er utanför mottagningen och bjud på kaffe och kakor! 7.13
7.8 CHECKLISTA: TÄNK PÅ! o Utvärdera anonymt så att folk vågar skriva precis vad de tycker. o Använd gärna siffror på en skala så att det är enkelt för er att räkna fram ett medeltal och se om det är väldigt stor spridning i betyget ni fått i utvärderingarna. o Ge möjlighet till fria synpunkter, exempelvis i ett fält med Övriga kommentarer. o Utvärdera både helheten och de enskilda delarna. Ibland lyckas man med vissa delar men inte med andra, och ibland så skiljer sig uppfattningen om vissa delar väldigt mycket från helhetsintrycket. o Kom ihåg att utvärderingar är värdelösa om ni inte samlar in, sammanställer och lär er något av dem! 7.14
7.9 UTVÄRDERINGSMETODER FÖR INTERN UTVÄRDERING OCH KONTINUERLIGT FÖR UTBILDNINGAR OCH MÖTEN Här finner du metoder för att utvärdera dina möten. Det kan göras på olika sätt, men hur som helst är det viktigt att ge deltagarna tid att reflektera, skriva ner sina synpunkter och idéer och försöka beskriva vad det är de lärt sig. På det här sättet får du själv också feedback och kan utveckla mötena. Metoderna kommer från Landsrådet för Sveriges ungdomsorganisationers kunskapsbank. Där kan du finna ytterligare metoder: http://kunskapsbanken.lsu.se/ Brev till mig själv Utvärderingsmetoder är bra för att påminna om vad som gjorts. Här låter man deltagarna själva sammanfatta mötet. Låt deltagarna skriva ett brev till sig själva; dela ut papper, gärna färgade, och kuvert, deltagarna skriver ett individuellt brev till sig själva, stoppar brevet i ett kuvert, klistrar igen och skriver på adressen. Ledaren postar sedan breven efter en bestämd period, det kan röra sig om en vecka, någon månad eller ett år beroende på mötets syfte. För att få en påminnelse från sig själv! Dagböcker/loggböcker Om du har en grupp under en längre tid är det ett bra sätt att låta deltagarna bearbeta sina känslor och tankar i en dagbok eller loggbok. Be dem skriva ner vad som har varit viktigt under dagen, vad vi har lärt oss, hur vi har känt oss o.s.v. I dagboken kan man också skriva: Det här ska jag göra. Deltagarna kan sedan återvända till dagboken som en påminnelse. Använd dagboken för att ser hur du själv och gruppen utvecklas. HKDN HKDN står för Hur Känns Det Nu. Dela ut lappar till deltagarna. Be dem skriva ner, gärna med ett ord, hur det känns just nu. Lapparna samlas in och läses upp och som ledare får du koll på läget i rummet. Snabbutvärdering I slutet av mötet kan det vara bra för ledaren att få snabb respons på hur deltagarna tyckt att mötet varit. Deltagarna tittar ner i bordet och blundar; ledaren säger olika meningar som exempelvis, mötet idag har varit kreativt, jag har fått möjlighet att säga vad jag tycker och så vidare, om deltagarna håller med så räcker de upp handen. Exempel: Dagbokslogg för en sommarkampanj Avdelning: Datum för passet: Plats för uppsökeri: Antal uppsökare som deltog under passet: Passet pågick mellan kl. och kl. Uppskattat antal utdelade kitt: Några samtalsämnen som dök upp? Övriga iakttagelser: 7.15
Spegling/backspegel Denna metod kan du använda exempelvis när ett beslut är fattat, efter fikat eller dag två på utbildningen. Gå en runda och låt deltagarna berätta hur de upplevde det tidigare, om de har några tankar och funderingar som de vill ta upp. Öar Öar är en metod som kan användas för att pejla läget under kursen eller mötet. Rita upp öar på ett stort papper som du sätter upp längs ena väggen i rummet. En ö kan vara glädjens ö, en kan vara ensamhetens ö och så vidare. Låt deltagarna göra båtar och placera dem på de olika öarna utifrån deras sinnesstämning just då. Glöm inte att ha kul när ni jobbar och utvärderar! Skulle du ha tips på andra utvärderingsmetoder. Hör gärna av dig till förbundskansliet. 7.16