Utvärdering - en reflektion utifrån tobaksförebyggande arbete

Storlek: px

Starta visningen från sidan:

Download "Utvärdering - en reflektion utifrån tobaksförebyggande arbete"

Fredrik Nyberg
för 6 år sedan
Visningar:

1 LUFT ESKILSTUNA SEPTEMBER 2017 SEMINARIUM C 3: Implementering, utvärdering och hälsolitteracitet Utvärdering - en reflektion utifrån tobaksförebyggande arbete per.tillgren@mdh.se 1

2 Utgångspunkt för min presentation SBU: Att förebygga missbruk av alkohol, droger och spel hos barn och unga. Stockholm: Statens beredning för medicinsk och social utvärdering (SBU); SBU-rapport nr 243. ISBN

3 Fältet för utvärdering Vetenskap Politik Tobaksförebyggande arbete Praktik 3

4 Utvärdering Vad som kännetecknar utvärdering Begreppet är komplext med flera olika definitioner som styrs utifrån syfte, värderingar och tillämpningsområde Exempel definition av utvärdering av folkhälsoarbete WHO/Euro 2001: handlar om en systematisk undersökning och bedömning av särdragen i ett program eller andra interventioner och med syfte att få fram kunskap som kan användas av olika intressenter för en mängd olika ändamål Exempel definition av utvärdering av medicinska metoder SBU, 2017 systematisk utvärdering av effekter och kostnader av olika metoder för profylax, diagnostik och behandling inom hälso- och sjukvården Finns ett flertal ansatser/modeller eller tillvägagångssätt för att genomföra en utvärdering Metoder för datainsamling och analys är samma som inom forskning Bedömning är utvärderingens centrala uppgift 4

5 Utvärdering - Vetenskap Den vetenskapsteoretiska basen Pedagogik UTVÄRDERINGSVETENSKAP Medicinsk vetenskap Statsvetenskap Folkhälsoveteskap Etc... Disciplin specifik utvärderingspraxis 5

6 Utvärdering - Politik Är en del av styrning av den offentliga politiken och utgörs av olika metoder för att åstadkomma önskvärda effekter av politiska intentioner och beslut. Exempel på styrmetoder med relevans för utvärdering av det tobaksförebyggande arbetet Regelstyrning (lagstiftning och instruktioner) Mål- och resultatstyrning focus på program/verksamhet Kunskapsstyrning för att anpassa insatser utifrån bästa tillgängliga kunskap 6

Utvärdering och tobaksförebyggande arbete Ett flertal

First European Action Plan Smoke free Europe 1987 1991

Från slutet av 1980-talet för främst praktiker och handläggare

för utvärdering i ett tobakspreventivt kontext Lyfter fram bl a

7 Utvärdering och tobaksförebyggande arbete Ett flertal riktlinjer via manualer och handböcker för utvärdering The First European Action Plan Smoke free Europe Initiativ från nationella och mellanstatliga organisationer Från slutet av 1980-talet för främst praktiker och handläggare (beställare av utvärdering) Baseras på etablerade metodböcker för utvärdering i ett tobakspreventivt kontext Lyfter fram bl a modeller, design, metoder för datainsamling och analys, rapportering, resultatspridinng 7

8 Utvärderingens praktik exempel från Tobaksfri skoltid NU! Kort om projektet Genomförs Metodutvecklingsprojekt med fokus på att stärka skolors skyddsfaktorer samt att minska riskfaktorer för tobak i skolan Forsknings- och kunskapsbaserat utifrån tidigare erfarenheter från utvärderade metodutvecklingsprojekt Genomförs av A Non Smoking Generation Niklas Odén, projektledare och med ekonomiskt stöd från Folkhälsomyndigheten Genomförs i 4 kommuner ett 20-tal skolor Utvärderas av Anita Boij forskarstöd Maria Nilsson & Per Tillgren

9 Kausalitetsfrågan Kunskap om effekter och orsaker Att få klarhet om ett visst utfall är resultatet av genomförda insatser har under åren diskuterats inom flera vetenskapliga discipliner En fråga som aktualiserats inte minst i samband med evidensdebatten Och där förespråkarna menar att experimentet är det bästa tillvägagångssättet för att lösa det sk effektproblemet medan andra argumenterar att det tillvägagångssättet inte är bättre än andra, då det bara fångar in vissa aspekter med vad vi menar med kausalitet. 9

Kausalitetsfrågan Några slutsatser från Sandahl och Peterssons bok Att det finns olika synsätt på hur vi bäst spårar effekter och som bottnar i olika teorier om kausalitet att påstå att det ena

10 Kausalitetsfrågan Några slutsatser från Sandahl och Peterssons bok Att det finns olika synsätt på hur vi bäst spårar effekter och som bottnar i olika teorier om kausalitet att påstå att det ena synsättet på hur effekter kan fångas in är mer vetenskapligt i betydelsen att det vilar på mer rigorös grund än andra är tveksamt Att det är viktigt att utgå från en bred förståelse för kausalitetsbegreppet när vi fundera över vårt kunskapsintresse i en studie som spårar orsaker eller effekter 10

11 Kausalitetsfrågan Slutbetänkande av Kommissionen för jämlik hälsa SOU: 2017:47 Utvärdering lyft fram bl a i kap 3.7 och 3.8 samt Förändringsarbett och utvärdering av effekter vad kan göras bättre? En liknade kritik har tidigare framförts vad avser RCTs begränsningar vid utvärdering av tobaksförebygande program: Från sid 277 Från sid

12 Utvärderingens praktik exempel från Tobaksfri skoltid NU! Åter till projektet Genomförs Metodutvecklingsprojekt med fokus på att stärka skolors skyddsfaktorer samt att minska riskfaktorer för tobak i skolan Forsknings- och kunskapsbaserat utifrån tidigare erfarenheter från utvärderade metodutvecklingsprojekt Genomförs av A Non Smoking Generation Niklas Odén, projektledare och med ekonomiskt stöd från Folkhälsomyndigheten Genomförs i 4 kommuner ett 20-tal skolor Utvärderas av Anita Boij forskarstöd Maria Nilsson & Per Tillgren 12

13 Utvärderingens praktik exemplet Tobaksfri skoltid NU! Programteori och utvärderingsdesign 13

14 Utvärderingens praktik exempel från Tobaksfri skoltid NU! Teoretiska ramverk för implementering och utvärdering Förändringsberedskap Community Readiness Model Oetting ER, et al Assessing Community Readiness for Prevention Int Journal of Addiction 1995;30: Förnekelse 1. Ingen medvetenhet 4. Förplanering 3. Låg medvetenhet 6. Igångsättning 5. Förberedelse 8. Fastställelse 7. Stabilisering 9. Äga Processmodell - Sex steg till en tobaksfri skoltid Hur gick det? Vad kan göras bättre? 5.Förstärkande aktiviteter Hemsida Nyhetsbrev Skyltar Öppet hus Var kreativ. 1.Policy / Text Vad och Varför ANDT-undervisningen Föräldradialog Hälsosamtalet Utvecklingssamtalet Elevaktiviteter 4.Kommunikation Tobaksfri skoltid För att stödja att förbli tobaksfri 6.Uppföljning 3.Förankring Elever 2.Förankring Personal Den tvådimensionell förändringsmodellen Boij A. Tobaksfri skoltid NU. Utvärderingsrapport

15 Utvärderingens praktik exemplet Tobaksfri skoltid NU! Samhällsanalys, urvalsprocess och deltagande skolor Kriterier för val av kommun Antal Presumtiva kommuner Antal Kommuner/skolor vid projekstart Hösten 2015 Antal Kommuner/skolor vid projektets slut Hösten Antal invånare - Antal högstadie- /gymnasieskolor - Rökfri/tobaksfri arbetstid - Tobakspolicy skola - Politiska beslut - Nuvarande arbetssätt ANDT - Bedömning av förutsättningar för implementering 25 kommuner anmälde intresse 18 svarade på en fördjupningsenkät samt motiverade behov och nuläge för det tobaksförebyggande arbetet i skolan samt tillgängliga resurser Kommun A Grundskolor 4 Gymnasieskolor 3 Kommun B Grundskolor 3 Gymnasieskolor 5 Kommun C Grundskolor 2 Gymnasieskolor 3 Kommun D Grundskolor 1 Gymnasieskolor 1 Kommun A Grundskolor 4 Gymnasieskolor 1 Kommun B Grundskolor 1 Gymnasieskolor 4 Kommun C Grundskolor 2 Gymnasieskolor 2 Kommun D Grundskolor 1 Gymnasieskolor 1 TOTALT 22 Grundskolor 10 Gymnasieskolor 12 TOTALT 16 Grundskolor 8 Gymnasieskolor 8 15

16 Utvärderingens praktik exemplet Tobaksfri skoltid NU! Förändring i den stödjande strukturen för projektet Projektstödjande faktorer Kommun A Kommun B Kommun C Kommun D Rektor/skolledare En av fem rektorer bytts ut 2016 med hyr rektor Rektorsbyte på 1 av de fem skolorna Rektorsbyte mellan grundskolorna (kompetensen finns kvar) Samma sedan projetkstart Lokal samordnare Byte vid tre tillfällen Byte 2016 Samma sedan projektstart Samma sedan projekstart Lokala projektgrupper på skolorna Kom igång 2016 Fungerar på på 5 av de 4 skolorna Kom igång 2016 på skolorna Kom igång 2016 på skolorna På gymnasiaskolan har antalet personer i gruppen minskat från 15 till 5 16

17 Utvärderingens praktik exemplet Tobaksfri skoltid NU! Organisatoriska förändringar och externa händelser Ny skolorganisation sammanläggning av skolor (Kommun A, 2016) Flytt av grundskola till gymnasieskola (Kommun B, 2016) Utbyte av centralt placerad samordnare, till rektor i en av de deltagande skolorna (Kommun B, 2016) Skola utsatt för brand (Kommun C, 2016) Skola utsatt för mögel (Kommun C, 2016) 17

18 Några slutsatser Att det tobaksförebyggande arbete är komplext, men är möjligt att utvärdera Det finna många utvärderingsmodeller som är relevanta i utvärdering av tobaksförebyggande arbete Viktigt att klargöra orsaksfaktorer som kan påverka utfallet av en tillämpad strategis effekter - en programteori är ett viktigt och nödvändigt redskap i det arbetet Det är också angeläget att fånga in interna och externa faktorer som kan påverka eller förklara utfallet/resultatet Utvärdering kan i en interaktiv processa stödja och stärka en pågående implementering så att avsedda effekter kan uppnås 18

Relevanta dokument

Sex steg till en tobaksfri skoltid

Sex steg till en tobaksfri skoltid Niklas Odén Projektledare Tobaksfri skoltid NU! Fristående sakkunnig ANDT, främjande och förebyggande arbete i skola och andra barn- och ungdomsverksamheter Tobaksfri