SIDA 1 av 7 Uppföljning av beteendeförändringar Bakgrund SMR vill lära och dokumentera mer om användning och betydelse av baslinjer, liksom uppföljningsmetoderna outcome mapping och outcome harvesting. Det här dokumentet riktar sig främst till informations- och kommunikationsinsatser, men kan även vara ett referensdokument i arbete med andra typer av insatser. Det här är ett levande dokument, som vi kommer att justera när SMR har kommit med en uppdatering av policyn för lärande och utvärdering. Ett rättighetsbaserat arbete handlar i första hand om att förändra olika aktörers beteende och hur vi når den förändringen är svårt att förutsäga. SMR vill därför att såväl utvecklings- som informations- och kommunikationsinsatser präglas av ett kontinuerligt lärande och ständig uppföljning. Uppföljning och lärande av insatsernas effektivitet och resultat är väsentligt för att bevara och utveckla insatsens relevans. Detta kan ske på många olika sätt, men det är viktig att det utgår från ett fokus på den beteendeförändring vi vill se hos de aktörer vi vänder oss till. Genom detta kan vi bättre se, lära och uppmuntra hur våra valda strategier faller ut och på vilka sätt de bidrar till den önskade beteendeförändringen (ur SMR:s riktlinjer för utvecklingsinsatser, avsnitt 2.4). Det är viktigt att se att utvecklingen aldrig är linjär och att den därför är svår att förutsäga och styra, vilket gör det viktigt med kontinuerligt lärande och ett adaptivt förhållningssätt (ur SMR:s riktlinjer för utvecklingsinsatser, avsnitt 2.1). Beteendeförändringar är oförutsägbara och beror ofta på intryck från olika håll. Ofta är vi inte ens överens om vad som är det rätta beteendet. Insatser som handlar om beteendeförändringar är komplexa och därför går de inte att förutse och planera på samma sätt som tekniska insatser, som vaccinationer eller att borra brunnar. Varje försök att påverka någons beteende är därför en upptäcktresa, där vi måste lära oss om vägen till den förändring vi vill inspirera. Det gör att vi måste vara beredda att anpassa planer och aktiviteter efter en växande förståelse av kontext, fördjupade relationer och vad det är som leder till en positiv förändring.
SIDA 2 av 7 Baslinje Baslinjer är bra som en utgångspunkt som vi kan gå tillbaka till och jämföra med nya tecken på ändrat beteende (evidence) som vi har samlat in. När det handlar om komplexa insatser, till exempel sådana som handlar om attityd- och beteendeförändring, är det svårare att veta i förväg vad som är relevant att mäta, och det som är relevant går inte alltid att mäta. Ett alternativ kan vara att kvalitativt beskriva det nuvarande beteendet hos en aktör. Men beskrivningens kvalitet beror på hur djup vår förståelse för och relation till aktörerna är. Förståelsen kommer att fördjupas när vi interagerar med aktören och metoder som outcome mapping och outcome harvesting kan hjälpa oss att utveckla bilderna. Baslinjer som bygger på aktörernas egen bild av situationen är mer tillförlitliga och ofta mer användbara. Frågor att ställa kan vara Vad behöver vi veta? Varför behöver vi veta det? Vad bestämmer vilken information vi vill ha? Aktörens kunskaper Vanliga missuppfattningar Aktörens värderingar som relaterar till våra frågor Finns det undersökningar inom området som kan fungera som en baslinje? Enkla baslinjer går bra att kombinera med outcome mapping och outcome harvesting. Två metoder för uppföljning av beteendeförändringar Outcome harvesting och outcome mapping bygger på samma tänkande, men syftet är olika. Outcome mapping är ett planerings- och uppföljningsverktyg medan outcome harvesting har mer fokus på (kontinuerlig) utvärdering. Båda metoderna passar bra för komplexa insatser där relationen mellan orsak och verkan inte är förutsägbar. Metoderna är särskilt användbara när resultat (output), aktiviteter och effekter (impact) inte är tillräckligt specifika och mätbara när vi planerar insatsen. Alltså passar de bra i dynamiska och komplexa situationer, till exempel: När vi är intresserade av att förstå en process och hur varje resultat har bidragit till en förändring
SIDA 3 av 7 För att bedöma insatser som handlar om beteendeförändring, samhällsförändring eller utvecklingssamarbete Med outcomes menas beteendeförändringar i stort, till exempel: Saker som aktörerna har börjat göra Nya sätt att relatera, till exempel vara med i ett i nätverk Förändringar i system och policyer Förändringar av kunskap och attityder Det handlar om beteendeförändringar hos en eller flera aktörer, till exempel: En religiös ledare gör ett viktigt uttalande som vi betraktar som oväntat En organisation eller en grupp förändrar sitt beteende Förändringar av regler, lagar eller kulturella normer Outcomes kan vara länkade till vår insats på olika sätt, men det är inte säkert att det är den som direkt har orsakat dessa beteendeförändringar. Det handlar inte bara om positiva outcomes. Vi kan vi lära oss mycket av det som är misslyckat och positiva outcomes kan även ha negativa sidoeffekter. En stor utmaning med outcome mapping och outcome harvesting är att efterhand hitta och formulera outcomes som går att verifiera och som är SMART:a: Specifika: formulera outcomes så detaljerat som möjligt. Vem förändrade vad, när, var och hur? Mätbara: beskrivningen av en outcome med kvalitativ och kvantitativ information som är möjlig att verifiera. Hur mycket? Hur många? När och var skedde förändringen? Uppnådda (av er men kanske inte möjliga att härleda till er): beskriv en trovärdig och logisk länk mellan en outcome och er insats. Vem gjorde vad, vilket bidrog helt men troligtvis delvis, direkt eller indirekt, avsiktligt eller oväntat? Relevanta: en outcome är ett betydelsefullt steg mot den påverkan som vi vill åstadkomma. Tidsbundna: resultatet uppstod inom den tidsperiod som vi kontrollerar eller utvärderar, även om vårt bidrag kan ha skett månader eller till och med åratal innan. De här metoderna är möjliga att anpassa till verksamheten, därför finns det flera varianter på hur man genomför dem (se exempel under Mer att läsa). Outcome mapping Outcome mapping är en planerings- och uppföljningsmetod. Det handlar om att få en förståelse för hur lokala aktörer bidrar till hur den nuvarande situationen
SIDA 4 av 7 ser ut och hur vi skulle kunna arbeta med dem så att de bidrar till en positiv förändring. Med hjälp av outcome mapping kan vi lära oss mer om hur en insats bidrar till beteendeförändringar, för att kunna förändra strategier och aktiviteter så att vi når dit vi vill nå. Vi får också syn på sådant vi inte hade planerat för. Det handlar mycket om lärande och att vara beredd att anpassa strategier och aktiviteter. Tre nyckelbegrepp i outcome mapping är: Sphere of influence, det område som vi har möjlighet att påverka Boundary partners, de centrala förändringsaktörer som vi vill påverka med insatsen, det kan vara individer, grupper eller organisationer. Outcomes, i betydelsen beteendeförändring Outcome Mapping skiljer sig från andra planeringsmetoder på flera sätt. Det viktigaste är att outcome mapping visar att vägen till förändring inte är linjär, utan det är många faktorer som påverkar. Outcome harvesting Till skillnad från andra utvärderingsmetoder mäter outcome harvesting inte utveckling mot förbestämda mål eller resultat. I stället handlar det om att samla bevis på förändringar och bedöma hur och om en insats bidrog till dem. Resultaten kan vara positiva eller negativa, avsiktliga eller slumpmässiga, direkta eller indirekta, men sambandet mellan insatsen och resultaten måste vara rimligt. Vi samlar in eller skördar information genom att svara på frågor som dels visar vad och hur vi ska skörda och dels ger en djupare förståelse för hur förändringarna har skett. Då kan vi tydligare se både hur vårt projekt har bidragit till projektförändringar och hur andras insatser har bidragit, till exempel: Hur har vi bidragit till dessa outcomes? Varför är de betydelsefulla för oss? Vilken beteendeförändring ser vi som relaterar till våra mål? Varför är det viktigt? Vad har bidragit till förändringen? Har samverkan med oss spelat någon roll? Hur påverkar detta våra planer? Outcome harvesting kan användas både för uppföljning och utvärdering av insatser och för pågående insatser, delrapportering och slutrapportering. Det är bra att flera personer är inblandade i processen med outcome harvesting, särskilt om resultaten ska användas som underlag för beslut och att förändra praxis.
SIDA 5 av 7 Det går att kombinera outcome harvesting med alla planeringsverktyg, till exempel med LFA och outcome mapping. Förslag på process 1. Rita en tidslinje med aktiviteter och potentiella outcomes. 2. Diskutera dessa outcomes, se till att de är SMART:a. Ha lagom förväntan på hur många outcomes vi ska få fram. Om det är en kortare tidsperiod vi tittar på är det mycket möjligt att det bara blir tre till fem outcomes. Ett alternativ är att välja ut våra viktigaste outcomes och fokusera mer på att reflektera och beskriva hur vi har bidragit till beteendeförändringar. 3. Beskriv så tydligt som möjligt hur vi har bidragit till beteendeförändringarna. 4. Varför är det här viktigt för oss? Vad gör vi med det här? Skapa en bild av vilka outcomes vi har bidragit till. Identifiera mönster. Vilka strategier verkar ge viktigast outcomes? Identifiera några nyckel-outcomes som vi kan gräva djupare i, som fallstudier, för att förstå mer av vad som har hänt och hur det hände. Mer att läsa https://www.betterevaluation.org/en/plan/approach/outcome_harvesting Baslinjer En film om att skapa en baslinje i outcome mapping: https://vimeo.com/116856981 Outcome mapping En introduktion till outcome mapping: https://www.outcomemapping.ca/resource/introduction-to-outcome-mappingworkshop-slides Outcome mapping learning community: https://www.outcomemapping.ca/ Outcome harvesting Här finns flera texter som förklarar outcome harvesting https://www.betterevaluation.org/plan/approach/outcome_harvesting
SIDA 6 av 7 I den här filmen finns en introduktion till outcome harvesting: https://vimeo.com/116856982 Exempel från Life & Peace Institute och Kristna Fredsrörelsen LPI:s mall för outcome harvesting LPI använder den här mallen i ett regionalt program (HARP) på Afrikas horn: iharvest template Please fill out the blue boxes and the purple if you want. Feel free to delete the text in the box, it s just a guide. Outcome Name Source of harvest Description of Change HARP Contribution Component classification Significance description How did you learn about the outcome? (An email? A conversation? A document?) Describe in this order who changed, when, where, what and how? (1-2 Sentences) What was the activity or output from HARP that contributed towards this outcome? Can be a combination of contributions Choose from which component(s) this outcome results : 1. Policy Capacity Enhancement; 2. Collaborative policy analysis & engagement (pilot 1 or 2); 3. POWA; 4. Regional Communications; 5. PMEL The significance of the outcome is what you believe is the potential importance of the change in the societal actor. Thus, for each outcome HARP describes why it represents progress towards the overall HARP goal. "The outcome is noteworthy because of a, b and c. Significance classification When recording an outcome, register which of the following three criteria makes it significant. The outcome does or potentially will: 1. Contribute to peace and security in the Horn of Africa but not necessarily at the regional level (impact) And/Or 2. Heighten HARP s peace and security advocacy leverage (communications) And/Or
SIDA 7 av 7 3. Fall within HARP s results framework (accountability criteria!) Kristna Fredsrörelsen: Outcome harvesting och stickprovsintervjuer Cirka sex månader efter genomförd utbildning kontaktas utbildarna per mejl där de får svara på följande frågor. Därefter rings vissa personer upp för att fråga närmare om förändringar i beteendet (djupintervju). Detta för att leta efter exempel på effekt som förändringar i beteende, attityd och relationer. Genomförs efter genomförd ToT, det vill säga 1-2 gånger om året. Frågor: 1. Vad tyckte du om utbildningen? 2. Gör du något annorlunda efter utbildningen som du inte gjorde förut? Kan du ge exempel. 3. Har du märkt någon förändring i ditt beteende efter utbildningen i ickevåld? Kan du ge exempel. 4. Vad tror du det är som gör att du gör det här annorlunda nu? Var det någon särskild aspekt av utbildningen som du tror var bidragande? Ur KrF:s rapportering av INFO-KOM 2016-2017 Under 2018 gjordes också en uppföljning av deltagarna på vår ToT, med fokus Västsahara 2017, av deras handlingsmönster, sex månader efter genomgången utbildning. Denna visar tecken på långsiktig förändring hos flera av deltagarna: Eftersom att jag åkte ut en andra gång som Ekumenisk Följeslagare under hösten 2017 kan jag se en skillnad i mitt tänk och agerande som följeslagare denna gång jämfört med första omgången 2016. Dels bara i hur mer bekväm jag kände mig i ledsagarrollen och de olika metoderna av ickevåld som vi använder i vårt dagliga arbete (preventiv närvaro som ett exempel). Jag relaterade ofta till KAOS-modellen och kan vi flertalet tillfällen se hur jag använde de olika metoderna, konfrontera, avleda, omvandla/omtolka, stödja/skilja, ofta i möte med soldater eller soldater - palestinier. [ ] Funkade inte en metod kunde jag prova med nästa... En annan deltagare pekar på att hen lyckats övervinna sin egen blyghet och blivit mer engagerad, tack vare utbildningen: Jag är engagerad i Asylrättsnätverket Låt dem stanna i Umeå, är med och håller i ingripandeträning med en grupp personer varannan vecka [ ] Tror inte att jag hade varit lika engagerad på dessa sätt utan utbildningen då jag är ganska osäker person, men utbildningen har både gett mig kunskap/verktyg för att känna att jag har något att bidra med och därmed vågar engagera mig och ta initiativ, men även pushat mig att genomföra dem här sakerna.