LUFT ESKILSTUNA 14-15 SEPTEMBER 2017 SEMINARIUM C 3: Implementering, utvärdering och hälsolitteracitet Utvärdering - en reflektion utifrån tobaksförebyggande arbete per.tillgren@mdh.se 1
Utgångspunkt för min presentation SBU: Att förebygga missbruk av alkohol, droger och spel hos barn och unga. Stockholm: Statens beredning för medicinsk och social utvärdering (SBU); 2015. SBU-rapport nr 243. ISBN 978-91-85413-87-4. 2
Fältet för utvärdering Vetenskap Politik Tobaksförebyggande arbete Praktik 3
Utvärdering Vad som kännetecknar utvärdering Begreppet är komplext med flera olika definitioner som styrs utifrån syfte, värderingar och tillämpningsområde Exempel definition av utvärdering av folkhälsoarbete WHO/Euro 2001: handlar om en systematisk undersökning och bedömning av särdragen i ett program eller andra interventioner och med syfte att få fram kunskap som kan användas av olika intressenter för en mängd olika ändamål Exempel definition av utvärdering av medicinska metoder SBU, 2017 systematisk utvärdering av effekter och kostnader av olika metoder för profylax, diagnostik och behandling inom hälso- och sjukvården Finns ett flertal ansatser/modeller eller tillvägagångssätt för att genomföra en utvärdering Metoder för datainsamling och analys är samma som inom forskning Bedömning är utvärderingens centrala uppgift 4
Utvärdering - Vetenskap Den vetenskapsteoretiska basen Pedagogik UTVÄRDERINGSVETENSKAP Medicinsk vetenskap Statsvetenskap Folkhälsoveteskap Etc... Disciplin specifik utvärderingspraxis 5
Utvärdering - Politik Är en del av styrning av den offentliga politiken och utgörs av olika metoder för att åstadkomma önskvärda effekter av politiska intentioner och beslut. Exempel på styrmetoder med relevans för utvärdering av det tobaksförebyggande arbetet Regelstyrning (lagstiftning och instruktioner) Mål- och resultatstyrning focus på program/verksamhet Kunskapsstyrning för att anpassa insatser utifrån bästa tillgängliga kunskap 6
Utvärdering och tobaksförebyggande arbete Ett flertal riktlinjer via manualer och handböcker för utvärdering The First European Action Plan Smoke free Europe 1987 1991 Initiativ från nationella och mellanstatliga organisationer Från slutet av 1980-talet för främst praktiker och handläggare (beställare av utvärdering) Baseras på etablerade metodböcker för utvärdering i ett tobakspreventivt kontext Lyfter fram bl a modeller, design, metoder för datainsamling och analys, rapportering, resultatspridinng 7
Utvärderingens praktik exempel från Tobaksfri skoltid NU! Kort om projektet Genomförs 2015-2017 Metodutvecklingsprojekt med fokus på att stärka skolors skyddsfaktorer samt att minska riskfaktorer för tobak i skolan Forsknings- och kunskapsbaserat utifrån tidigare erfarenheter från utvärderade metodutvecklingsprojekt Genomförs av A Non Smoking Generation Niklas Odén, projektledare och med ekonomiskt stöd från Folkhälsomyndigheten Genomförs i 4 kommuner ett 20-tal skolor Utvärderas av Anita Boij forskarstöd Maria Nilsson & Per Tillgren
Kausalitetsfrågan Kunskap om effekter och orsaker Att få klarhet om ett visst utfall är resultatet av genomförda insatser har under åren diskuterats inom flera vetenskapliga discipliner En fråga som aktualiserats inte minst i samband med evidensdebatten Och där förespråkarna menar att experimentet är det bästa tillvägagångssättet för att lösa det sk effektproblemet medan andra argumenterar att det tillvägagångssättet inte är bättre än andra, då det bara fångar in vissa aspekter med vad vi menar med kausalitet. 9
Kausalitetsfrågan Några slutsatser från Sandahl och Peterssons bok Att det finns olika synsätt på hur vi bäst spårar effekter och som bottnar i olika teorier om kausalitet att påstå att det ena synsättet på hur effekter kan fångas in är mer vetenskapligt i betydelsen att det vilar på mer rigorös grund än andra är tveksamt Att det är viktigt att utgå från en bred förståelse för kausalitetsbegreppet när vi fundera över vårt kunskapsintresse i en studie som spårar orsaker eller effekter 10
Kausalitetsfrågan Slutbetänkande av Kommissionen för jämlik hälsa SOU: 2017:47 Utvärdering lyft fram bl a i kap 3.7 och 3.8 samt 5.4.1 Förändringsarbett och utvärdering av effekter vad kan göras bättre? En liknade kritik har tidigare framförts vad avser RCTs begränsningar vid utvärdering av tobaksförebygande program: Från sid 277 Från sid 8-11 11
Utvärderingens praktik exempel från Tobaksfri skoltid NU! Åter till projektet Genomförs 2015-2017 Metodutvecklingsprojekt med fokus på att stärka skolors skyddsfaktorer samt att minska riskfaktorer för tobak i skolan Forsknings- och kunskapsbaserat utifrån tidigare erfarenheter från utvärderade metodutvecklingsprojekt Genomförs av A Non Smoking Generation Niklas Odén, projektledare och med ekonomiskt stöd från Folkhälsomyndigheten Genomförs i 4 kommuner ett 20-tal skolor Utvärderas av Anita Boij forskarstöd Maria Nilsson & Per Tillgren 12
Utvärderingens praktik exemplet Tobaksfri skoltid NU! Programteori och utvärderingsdesign 13
Utvärderingens praktik exempel från Tobaksfri skoltid NU! Teoretiska ramverk för implementering och utvärdering Förändringsberedskap Community Readiness Model Oetting ER, et al Assessing Community Readiness for Prevention Int Journal of Addiction 1995;30:659-683 2. Förnekelse 1. Ingen medvetenhet 4. Förplanering 3. Låg medvetenhet 6. Igångsättning 5. Förberedelse 8. Fastställelse 7. Stabilisering 9. Äga Processmodell - Sex steg till en tobaksfri skoltid Hur gick det? Vad kan göras bättre? 5.Förstärkande aktiviteter Hemsida Nyhetsbrev Skyltar Öppet hus Var kreativ. 1.Policy / Text Vad och Varför ANDT-undervisningen Föräldradialog Hälsosamtalet Utvecklingssamtalet Elevaktiviteter 4.Kommunikation Tobaksfri skoltid För att stödja att förbli tobaksfri 6.Uppföljning 3.Förankring Elever 2.Förankring Personal Den tvådimensionell förändringsmodellen Boij A. Tobaksfri skoltid NU. Utvärderingsrapport 3 2016 14
Utvärderingens praktik exemplet Tobaksfri skoltid NU! Samhällsanalys, urvalsprocess och deltagande skolor Kriterier för val av kommun Antal Presumtiva kommuner Antal Kommuner/skolor vid projekstart Hösten 2015 Antal Kommuner/skolor vid projektets slut Hösten 2015 - Antal invånare - Antal högstadie- /gymnasieskolor - Rökfri/tobaksfri arbetstid - Tobakspolicy skola - Politiska beslut - Nuvarande arbetssätt ANDT - Bedömning av förutsättningar för implementering 25 kommuner anmälde intresse 18 svarade på en fördjupningsenkät samt motiverade behov och nuläge för det tobaksförebyggande arbetet i skolan samt tillgängliga resurser Kommun A Grundskolor 4 Gymnasieskolor 3 Kommun B Grundskolor 3 Gymnasieskolor 5 Kommun C Grundskolor 2 Gymnasieskolor 3 Kommun D Grundskolor 1 Gymnasieskolor 1 Kommun A Grundskolor 4 Gymnasieskolor 1 Kommun B Grundskolor 1 Gymnasieskolor 4 Kommun C Grundskolor 2 Gymnasieskolor 2 Kommun D Grundskolor 1 Gymnasieskolor 1 TOTALT 22 Grundskolor 10 Gymnasieskolor 12 TOTALT 16 Grundskolor 8 Gymnasieskolor 8 15
Utvärderingens praktik exemplet Tobaksfri skoltid NU! Förändring i den stödjande strukturen för projektet 2015-2017 Projektstödjande faktorer Kommun A Kommun B Kommun C Kommun D Rektor/skolledare En av fem rektorer bytts ut 2016 med hyr rektor Rektorsbyte på 1 av de fem skolorna Rektorsbyte mellan grundskolorna (kompetensen finns kvar) Samma sedan projetkstart Lokal samordnare Byte vid tre tillfällen Byte 2016 Samma sedan projektstart Samma sedan projekstart Lokala projektgrupper på skolorna Kom igång 2016 Fungerar på på 5 av de 4 skolorna Kom igång 2016 på skolorna Kom igång 2016 på skolorna På gymnasiaskolan har antalet personer i gruppen minskat från 15 till 5 16
Utvärderingens praktik exemplet Tobaksfri skoltid NU! Organisatoriska förändringar och externa händelser 2015-2017 Ny skolorganisation sammanläggning av skolor (Kommun A, 2016) Flytt av grundskola till gymnasieskola (Kommun B, 2016) Utbyte av centralt placerad samordnare, till rektor i en av de deltagande skolorna (Kommun B, 2016) Skola utsatt för brand (Kommun C, 2016) Skola utsatt för mögel (Kommun C, 2016) 17
Några slutsatser Att det tobaksförebyggande arbete är komplext, men är möjligt att utvärdera Det finna många utvärderingsmodeller som är relevanta i utvärdering av tobaksförebyggande arbete Viktigt att klargöra orsaksfaktorer som kan påverka utfallet av en tillämpad strategis effekter - en programteori är ett viktigt och nödvändigt redskap i det arbetet Det är också angeläget att fånga in interna och externa faktorer som kan påverka eller förklara utfallet/resultatet Utvärdering kan i en interaktiv processa stödja och stärka en pågående implementering så att avsedda effekter kan uppnås 18