STRUKTUR UPPFÖLJI NG PROCESS Fabz Metodstöd för uppföljning i det förebyggande arbetet mot hiv och STI framtagen hösten 2008
Metodstöd i det förebyggande arbetet Idag genomförs många projekt inom det förebyggande hiv/sti-arbetet i landsting/regioner, kommuner och organisationer. Nyttan av det förebyggande arbetet uppnås vanligtvis på längre sikt. Därför är det viktigt att i såväl planeringsstadiet som den kontinuerliga uppföljningen kvalitetssäkra arbetet. Är målen tillräckligt tydliga? Är målgruppen rätt? Finns det tillräckliga resurser och kompetens? Går budskapet fram? Erfarenhet av utvärdering och uppföljning från olika utvecklingsområden visar att god måluppfyllelse är särskilt beroende av tydlighet på områdena målformulering, riskanalys inklusive riskhantering, ansvarsfördelning samt kopplingen mellan mål och aktiviteter. I den här skriften presenteras en mall med frågor som underlättar arbetet vid planering av projekt och under tiden de pågår samt när de ska följas upp. Frågemallen är upplagd så att positiva svar visar att projektet har ett bra upplägg och bedrivs på ett sådant sätt att det ska ge resultat med hög kvalitet. Negativa svar visar på motsatsen eller åtminstone på brister i planering och genomförande. Man brukar skilja mellan tre aspekter på kvalitet: struktur, process och resultat. Struktur innebär organisation av verksamhet och resurser. Process anger vilka aktiviteter som utförs i projektet och resultat är vad som har uppnåtts, det vill säga något som kan uttryckas i mätbara termer. Frågorna är uppdelade i olika områden som forskning och erfarenhet visat är viktiga för förebyggande arbete. Frågemallen bygger på en rapport Kvalitetsindikatorer för primärpreventiva program på befolkningsnivå som har testats inom olika folkhälsoprojekt, bland annat skadeförebyggande och sex- och samlevnadsprojekt. Vidare har den resultatstyrda projektplaneringsmetoden LFA, the Logical Framework Approach, använts. Vem kan använda mallen? I första hand är den tänkt att användas inom hiv/sti-förebyggande projekt. Det kan gälla både större och mindre projekt eller program inom landsting, kommuner, organisationer, skola, folkrörelser, fackföreningar med mera. Hur kan mallen användas? Mallen är i första hand avsedd för kvalitetssäkring men kan också användas för planering, uppföljning och processutvärdering av folkhälsoprojektet. Alla frågor behöver inte alltid besvaras, det går bra att hoppa över dem som inte passar in. Istället går det att lägga till frågor som är av betydelse för det egna projektet. Frågorna kan också besvaras mer eller mindre ingående. Stora projekt kanske fordrar en mer fördjupad analys och frågeställningarna bör besvaras genom mer noggranna undersökningar, mätningar, enkäter och dylikt. Vid mindre projekt kan det räcka med enklare svar, kanske bara ja eller nej, för
att få en uppföljning gjord Vid negativa svar på frågeställningarna är det viktigt att fråga sig vad som behöver förändras och om det i så fall är meningsfullt och rimligt att vidta åtgärder. En åtgärd måste sättas i relation till vilka arbetsinsatser och resurser som krävs. I vissa fall kan det vara värdefullt att någon utomstående leder arbetet. Mallen beskriver inga vetenskapliga mätmetoder, utan ger enkla exempel på hur det förebyggande arbetet kan följas upp. Frågemallen förtydligas med kortfattade exempel på svar på vissa av frågorna. Exemplen kommer från helt olika typer av hiv/sti-förebyggande projekt. Skriften är framtagen av Enheten för hivprevention, Socialstyrelsen, som utvecklar olika verktyg och blanketter för uppföljning av statsbidrag lokalt och regionalt. Frågemallen är ett metodstöd som kan anpassas efter regionala behov av att följa upp det förebyggande arbetet.
Projektets struktur Målstyrning Övergripande mål anger ofta vilken förändring som vill nås utifrån ett brett perspektiv och på längre sikt. Ofta samverkar en mängd förebyggande insatser till att uppnå ett övergripande mål. Projektmål beskriver den önskvärda situationen som uppnås om orsakerna till problemet undanröjs och vad projektgruppen/arbetsgruppen önskar ha uppnått vid avslutat projekt. Därför är det viktigt att definiera det problem som projektet vill åtgärda för att kunna formulera tydliga resultatmål/delmål, det vill säga mål på kort sikt. Resultatmål beskriver det direkta resultatet av projektets aktiviteter. Ju tydligare resultatmålen är formulerade, desto lättare strävar aktörerna åt samma håll. Tänk på att ett projekt vanligen inte bör hantera flera huvudproblemområden och att indikatorer bör kopplas till uppsatta mål. 1. Problemanalys a) vilket är det huvudproblem som projektet arbetar med? b) vilka är orsakerna till att problemet existerar? c) vilka konsekvenser har problemet? Exempel 1: a) Många ungdomar drabbas av klamydia. b) Otillräcklig och/eller felaktig kondomanvändning. c) Hög belastning på ungdomsmottagningarna. 2. Har ni satt upp a) övergripande mål, mål för vad ni vill uppnå med arbetet på lång sikt? b) projektmål, mål på medellång sikt, vad som ska vara uppnått då projektet avslutas? - är projektmålet SMART specifikt, mätbart, angeläget realistiskt och tidsbundet? Exempel 2: a) Att klamydia ska minska i ungdomsgruppen. b) Kondomanvändningen bland ungdomar 17-19 år ska öka med 30% på två år i kommunen. c) 95 % av eleverna i en gymnasieskola ska ha deltagit i en kondomutbildning samt ha tillgång till gratis kondomer, 90 % ska ha intentionen att använda kondom och 75 % ska använda kondom med en ny/tillfällig partner.
c) resultatmål/delmål, vilka resultatområden har definierats? - är resultatmålen/delmålen SMARTa specifika, mätbara, angelägna, realistiska och tidsbundna? 3. Har ni formulerat indikatorer för att kunna följa upp projekt- och resultatmål/delmål (det vill säga mått på måluppfyllelse)? - vilka? Exempel 3: - Andelen ungdomar som deltar i kondomutbildning. - Andelen ungdomar som har med sig och avser använda kondom. - Antal ungdomar som alltid använder kondom med en ny/tillfällig partner. Förslag på förändringar och förbättringar: Av vem:
Preventionsgrupper/direkta målgrupper Det är bra om det finns statistik eller andra fakta som stödjer val och prioritering av preventionsgrupper/direkta målgrupper att rikta sig till. Beslutet kan också grunda sig på andra orsaker, ett aktuellt ämne, ett stort intresse eller liknande. 4. Vilken/vilka preventionsgrupper vänder ni er till? Exempel 4: Män som har sex med män. 5. Varför har ni valt denna/dessa preventionsgrupp(er)? - vad grundar ni bedömningen på? - finns den statistik/de fakta ni behöver? Exempel 5: Oroande ökning av hivspridning i gruppen under det senaste året. 6. Finns det några inom preventionsgruppen som kan antas vara specifikt riskutsatta och därmed extra viktiga att nå? Exempel 6: Män som haft sex med män utomlands. 7. Finns andra direkta målgrupper än preventionsgruppen till exempel genom utbildning för personalgrupper? - är preventionsgruppen den direkta målgruppen? Exempel 7: Fortbildning för personal vid mottagningar för test och rådgivning så att de bättre kan uppmärksamma preventionsgruppens behov.
Förslag på förändringar och förbättringar: Av vem: Modell För att kunna genomföra en insats eller ett projekt är det viktigt att i förväg ha tänkt igenom tillvägagångssättet. 8. Finns det en modell/projektplan som beskriver och analyserar projektet i sin helhet? - finns projektets olika delar/steg beskrivna, till exempel i en LFAmatris, nätplan, kommunikationsplan och/eller strategi med tydliga mål och indikatorer. 9. Utgår modellen från någon särskild teori? - beskriv vilken/vilka. Exempel 9: Diffusionsteori som utgångspunkt för spridning av kunskap, attityder och beteenden. 10. Används specifikt definierade metoder i projektet? - beskriv vilken/vilka. Exempel 10: Rådgivning och samtal med stöd av en strukturerad guide i syfte att minska blodsmitta genom delning av injektionsverktyg.
11. Hur planeras regelbunden uppföljning av kvalitet och resultat? - beskriver projektplanen när, hur och av vem/vilka uppföljning ska göras? Krävs uppföljning av enskilda aktiviteter och resurser? Exempel 11: Vid återbesök följs säkrare-sexvanor och delning av injektionsverktyg upp. 12. Har ni diskuterat etiska dilemman och integritetsproblem i relation till projektet? - finns det moraliska betänkligheter? Riskerar projektet att kränka någons integritet? Exempel 12: - En personlig enkät om sexualvanor kan uppfattas kränkande. - Transkulturell kompetens kring frågorna kan behövas hos personal som möter personer med utländsk bakgrund. Förslag på förändringar och förbättringar: Av vem:
Ansvar Erfarenheter visar att det är mycket viktigt för förebyggande projekt att vara tydligt förankrade hos politiker, styrelse eller liknande samt att beslut fattas på rätt nivå. 13. Vem fattar beslut om projektet/arbetet och på vilken nivå? - chefsnivå, politiskt beslut, styrelse etc. Exempel 13: Rektor har fattat beslut om fortbildning i sex och samlevnad för skolans lärare. 14. Har projektet stöd hos andra beslutsfattare som är viktiga för projektets genomförande? - politiker, styrelse, VD, facket? Exempel 14: Utbildningsförvaltningen stödjer insatsen. Facket ser positivt på projektet förutsatt att det sker på ordinarie arbetstid. 15. Är ansvaret tydligt mellan projektledning och ledningsgrupp eller liknande? - har projektledaren sitt ansvar och sina befogenheter? - är befogenheter och ansvar tydliggjorda inom projektgruppen? - vem rapporteras projektet till? Exempel 15: Projektledaren på folkhälsoenheten har fått befogenhet att planera den kommunala flyktingmottagningens personals deltagande i fortbildning. Han/hon rapporterar till ansvarig handläggare på förvaltningen. _ Förslag på förändringar och förbättringar: Av vem:
Organisation Det är viktigt att förebyggande projekt har god förankring i moderorganisationen men också möjlighet att jobba självständigt. 16. Har ni bestämt vem som ska leda projektet och hur organisationen ska se ut? - vem ska vara projektledare och vilka övriga ska medverka? - på vilken nivå i organisationen sker arbetet? - vilken självständighet har projektet i organisationen? 17. Finns det beslut eller dokument som visar på avgränsning och självständighet mellan projektet och annan verksamhet? - är avgränsningen tydlig? - finns problem relaterade till projektets avgränsning? Exempel 17: Projektet har en egen projektkod med egen budget och en halvtidsanställd person. Problem kan uppstå om ordinarie personal är sjuk och projektets personal behövs i telefonjouren. 18. Har alla som arbetar i projektet klart för sig vilka arbetsuppgifter som var och en ansvarar för och vilka befogenheter de har? Exempel 18: Projektledaren ansvarar för planering och schemaläggning. Materialansvarig beställer broschyrer och kondomer. Informatörerna utför det uppsökande arbetet. Utvärderaren tar fram en utvärderingsenkät. 19. Har ni en realistisk tidplanering? - finns det tillräckligt med avsatt tid för genomförande av åtgärderna i projektplanen? - kommer ni att hinna med på den tid som är beräknad?
Förslag på förändringar och förbättringar: Av vem: Resurser Det är betydelsefullt att tydliga resurser har avsatts för att projektet ska kunna vara flexibelt inför nya behov. En annan viktig förutsättning är de deltagande aktörernas kompetens och utveckling. 20. Vilka resurser finns avsatta för arbetet? - finns det personal, lokaler, och särskilda avsatta resurser för att kunna genomföra de planerade aktiviteterna och därigenom kunna uppfylla målen? Exempel 20: Mottagningen har få rum men kan ha kvällsöppet två kvällar i veckan för att erbjuda drop-in-hivtestning. Telefontolkar finns alltid tillgängliga denna tid. 21. Vem kan bestämma över avsatta resurser i det vardagliga arbetet? Exempel 21: Ansvarig sjuksköterska tar beslut i det dagliga arbetet. 22. Har de deltagande i projektet de kunskaper som krävs? - har de deltagande tillräcklig kunskap i det som projektet ska jobba med? - har speciell utbildning anordnats? - har medel avsatts i budget för kommande utbildning? Exempel 22: Mottagningens personal kommer att få utbildning i motiverande samtal och tolkanvändning innan drop-in-testningen påbörjas.
Förslag på förändringar och förbättringar: Av vem: Projektets process Deltagande och förankring Det är viktigt att alla intressenter som berörs av projektet känner sig delaktiga, det vill säga att projektet är ordentligt förankrat. Projektet kan annars lätt drabbas av onödigt motstånd. För ett lyckat genomförande är det också viktigt att rätt parter tilldelas rätt roller i projektet. 23. Har ni berett alla berörda intressenter möjlighet att delta i planeringen? a) vilka intressenter finns? - preventionsgrupper - andra direkta målgrupper - aktörer/genomförare - beslutsfattare - finansiärer - övriga b) har alla intressenter blivit informerade om projektet? Om nej, varför inte?
c) har ni avgränsat skillnaden mellan intressenter och aktörer i projektet? 24. Vad ska de deltagande aktörerna göra? - finns en aktivitetsplan som är relaterad till problemanalysen? - kan ni göra en lista över de olika aktörernas åtaganden? Exempel 24: Personalen från ungdomsmottagningen ska leda gruppdiskussioner om sexuell hälsa på kommunens fritidsgårdar. Skolorna är informerade om projektet. Elevhälsan har deltagit i planeringen och kommer att aktualisera frågan. 25. Vilka typer av samarbetsformer finns med externa aktörer? - har aktörerna själva tagit beslut om att deltaga? - finns kontrakt/avtal mellan aktörerna? Om ja, vad innefattar dessa? _ Exempel 25: Skriftligt avtal mellan ungdomsmottagning och fritidsgården om antal informationstillfällen. _ 26. Hur uppmuntrar och stöttar ni eldsjälar i projektet? - eldsjälar håller igång arbetet och behöver extra energi för att ge energi tillbaka. Exempel 26: De ideella uppsökarna får delta gratis i utbildningar och belönas med presentkort efter varje termin. Kontakt med psykolog finns etablerad som de kan hänvisa till eller få handledning av vid behov/ kris eller liknande.
27. Kan ni följa upp i vilken mån berörda intressenter och aktörer accepterar projektet? - är de med på projektets mål? Känner de sig delaktiga? - kan ni följa upp i hur stor utsträckning deltagande aktörer deltar i projektet? - gör aktörerna vad som förväntas av dem och deltar vid möten och liknande? Exempel 27: Kontakten fungerar och varje hänvisning från infektionskliniken till den ideella stödorganisationen noteras. 28. Finns det inskrivet i projektplanen hur ni ska informera intressenter om vad som händer i projektet? - har ni planerat nyhetsbrev, möten eller liknande? 29. Innehåller projektplanen en riskanalys? - har ni analyserat externa respektive interna riskfaktorer? - har ni analyserat risker och motstånd mot projektet? a) på samhällsnivå? b) på organisationsnivå? Exempel 29: a) En omfattande satsning på förebyggande av psykisk ohälsa kan riskera att ta resurserna för sexuell hälsa tas i anspråk. b) Hög personalomsättning på socialförvaltningen kan påverka projektets prioritet och förankring. c) Personal på metadonmottagningen är negativ till att prata om sexuell hälsa och kondomanvändning.
c) på individnivå? - har ni upprättat en riskhanteringsplan för att hantera identifierade risker? Förslag på förändringar och förbättringar: Av vem: Nätverk Ett projekt kan ha flera olika nätverk av olika karaktär. Vissa projekt förutsätter att det finns nätverk som hjälper till att föra ut budskapet och nå målgruppen. Det är viktigt att bestämma och dokumentera vilka som ingår i projektets nätverk för att säkerställa kommunikationen med dessa. 30. Har ni listat olika nätverk som är viktiga för projektets måluppfyllelse? a) på organisationsnivå? Exempel 30 & 31: En kartläggning av kommunens alla instanser som möter flyktingar har gjorts. Privatpraktiserande tandläkare har kommit med under projektets gång. Länsstyrelsen har ännu ej kommit med. b) på individnivå?
31. Saknas viktiga personer/organisationer i nätverken? 32. Kan nätverken utvärdera sitt eget arbete? - finns enkäter eller möten planerade? Exempel 32 & 33: Seminarier om transkulturell kommunikation och tolkanvändning hålls löpande. Enkäter skickas till nätverken för att mäta deltagandenivån. 33. Finns det möjligheter för nätverken att utveckla/utbilda sig? - finns det resurser avsatta inom projektet eller nätverket för detta? Förslag på förändringar och förbättringar: Av vem:
Mottagande Ofta riktar sig förebyggande projekt till specifika preventionsgrupper med information för att kunna påverka och förändra kunskaper, attityder och/eller beteende. I andra projekt riktas budskap till målgrupper som i sin tur möter preventionsgrupper, exempelvis lärare eller vårdpersonal. Det är viktigt att följa upp om de budskap som kommuniceras tas emot. 34. Kan ni mäta att budskapet når målgruppen? - gör ni enkäter eller andra undersökningar? - mäter ni hur stor del av målgruppen som nås? Exempel 34 & 35: Alla besökare på STI-mottagningen får besvara en enkät om hur de hittat dit och hur de uppfattar kampanjen. Personer som återkommer för testning ägnas särskild tid för kondomkunskap i rådgivningssamtalet. 35. Kan ni följa upp hur målgruppen uppfattar budskapet? - vilka reaktioner finns och hur används kunskaperna? 36. Kan ni följa upp hur nätverken uppfattar budskapet? - kan de använda budskapet för att kommunicera det vidare? Exempel 36: Huvudbudskapet är att använda kondom. En uppföljning visade att många i barnmorskenätverket i stället avrått ungdomar från sexuella kontakter. Förslag på förändringar och förbättringar: Av vem:
Projektets resultat För att svara på om projektet når sina mål behövs tydligt definierade mål samt indikatorer för olika nivåer utifrån vilka projektets utveckling och resultat kan mätas. Det är bra att ha återkommande kontrollstationer, inte minst om målen ligger långt fram i tiden. Syftet med kontrollstationerna är att se till att projektet siktar mot de uppsatta målen. Det är även bra att diskutera oväntade och oönskade effekter av projektet. Måluppfyllelse Ett förebyggande projekts nytta uppnås vanligtvis först på längre sikt. Inom projektets ramar är det därför viktigt att stämma av projektets riktning mot projektmålen samt huruvida projektet uppnått de definierade resultatmålen. Komplementära analysmetoder/triangulering kan bidra till ökad tillförlitlighet. 37. Har projektet uppnått uppsatta resultatmål/delmål? Exempel 37: Alla nya studenter har fått en gratis kondom och information om Studenthälsans STImottagning i samband med introduktionsföreläsningen. 38. Är projektet på väg att nå uppsatt projektmål? Exempel 38: 30 % av besökarna på Studenthälsans STI-mottagning är män, en ökning med tio procentenheter. Riktade insatser på mansdominerade utbildningar sker för att nå 50 %-målet. 39. Används specifika indikatorer för att mäta projektets måluppfyllelse? - har situationen innan projektstart kartlagts som jämförelsepunkt?
Förslag på förändringar och förbättringar: Av vem: Beteendeförändringar Det är en fördel om beteendeförändringar som kan antas leda till förbättrad hälsa, till exempel att använda preventivmedel, att hiv-testa sig eller att våga tala om kondom, kan mätas. 40. Mäter ni om målgruppens kunskaper, attityder och beteenden förändras? - används enkäter, statistik, fokusgrupper, intervjuer eller liknande? Förslag på förändringar och förbättringar: Av vem:
Miljö, verksamhets- och samhällsförändringar Vissa projekt syftar till att bidra till en hälsofrämjande miljö i form av till exempel ökad tillgång till kondomer, information eller test och rådgivning. 41. Kan ni mäta eller beskriva sådana förändringar i miljön, samhället och i viktiga verksamheter? - vilka förändringar kan ses i service och utbud? - ger projektets resultat förutsättningar för att olika intressenter kan uppnå nytta på längre sikt? Exempel 41: Tre av länets mottagningar har startat MSM-mottagning en kväll i veckan. RFSL finns på plats på mottagningen denna tid. Förslag på förändringar och förbättringar: Av vem: Vidmakthållande hållbara resultat Målsättningen med förebyggande utvecklingsprojekt bör vara att arbetet, om det visar sig ha positiva effekter, på sikt införlivas i en reguljär verksamhet eller att resultat och metoder som utvecklats ska implementeras i en ordinarie struktur. 42. Vilka planer finns för projektets vidmakthållande, att effekterna av projektet blir bestående och kan övergå i reguljär verksamhet? Exempel 42: Landstinget beslutar att subventionera kondomer och andra preventivmedel för alla asylsökande som genomgår hälsosamtal.
43. I en plan för uthållighet, riskhantering, ingår att tidigt planera för bland annat följande: - har tillräcklig kapacitet/kunskap byggts upp bland dem som ska fortsätta att driva verksamheten? - finns vilja att genomföra förändringar hos personal och beslutsfattare? - finns en långsiktig finansiering av verksamheten? Förslag på förändringar och förbättringar: Av vem:
Huvudrubrik Underrubrik Fråga Brödtext Exempeltext Exempelrubrik