Svensk forskning om evidensbaserad praktik för barn och unga

Svensk forskning om evidensbaserad praktik för barn och unga Vi har med intresse läst Socionomens temanummer (2006:4) om utvärderingsforskning. I tidningens ledare beskrivs bakgrunden till temanumret vara det ökade intresset inom socialtjänsten för evidensbaserad praktik - det vill säga att metoder och insatser har en vetenskaplig evidens (bevis) om att de förbättrar utfallet for klienter. Trots detta handlar temanumret huvudsakligen om andra utvärderingsformer. Vi vill med den här artikeln kort beskriva den typ av utvärderingar som ger evidens om insatsers effektivitet och redogöra for dess förekomst i Sverige inom barn- och ungdomsområdet. Avslutningsvis diskuterar vi vad som behövs for att göra socialtjänsten mer evidensbaserad. Vilken forskning ger evidens? Den avgörande frågan för all social verksamhet är om insatserna fungerar som det är avsett. Följdfrågan blir hur man vet att en insats fungerar - hur skapas evidens? Att en insats är teoretiskt grundad är viktigt, men det räcker inte. Det finns flera exempel på teoretiskt rimliga insatser som till och med visat sig vara skadliga. Ett exempel på det är att skicka kriminella ungdomar till fångvårdsanstalter på studiebesök för att demonstrera vad som händer om de inte slutar med brott. Idag finns det nio internationella randomiserade utvärderingar, varav åtta visar att insatsen ökar ungdomars kriminalitet (Petrosino, Turpin-Petrosino & Buehler, 2003). En förklaring till resultatet gavs av en ung som känt sig tvingad att fortsätta begå brott för att bevisa att han inte hade blivit skrämd. Ett annat exempel på en teoretiskt rimlig insats som i princip saknar effekt i en jämförande studie är den nyzeeländska utrednings- och beslutsmodellen Familjerådslag (Sundell, 2002; Sundell & Vinnerljung, 2004). Inte heller räcker det med att klienter upplever att en insats är bra. Det åskådliggörs bland annat av en välkänd studie från USA vars syfte var att förebygga kriminalitet bland pojkar i ett socialt utsatt bostadsområde (McCord, 2003). Pojkarna lottades antingen till en grupp som fick stöd under uppväxten eller till en grupp som inte fick det. Varje barn i behandlingsgruppen tilldelades en socialarbetare som försökte bygga upp en relation till pojken och som skulle vara till stöd för honom och hans familj. När pojkarna följdes upp 30 år senare uppgav två tredjedelar i behandlingsgruppen att behandlingen varit av avgörande betydelse för deras uppväxt. Många sa att de då fick lära sig hur man ska uppföra sig tillsammans med andra. Andra sa att kontakten med socialarbetaren gett dem ett förtroende för andra människor, att det förberett dem för det vuxna livet och att det hållit dem borta från brottslighet. Trots detta visade uppföljningen att behandlingsgruppen oftare hade dömts for allvarlig kriminalitet, att flera var alkoholiserade och att flera hade allvarliga psykiska sjukdomar. Att individer förändras efter socialtjänstens insatser garanterar inte att en insats haft effekt. Om man följer socialtjänstens klienter över tid är det normala att förändring sker. Det som forskning försöker besvara är om förändringen beror på insatsen eller på andra faktorer (t ex att individer på egen hand växer från problemen). Det kräver att minst två grupper jämförs över tid, till exempel en grupp som får insats A och en som får insats B eller en grupp som får insats A och en som får stå på väntelista för att få insats A vid ett senare tillfälle. Den vetenskapligt säkraste utvärderingsdesignen är en randomiserat kontrollerad studie (t ex Shadish, Cook & Campbell, 2002; Society for Prevention Re-

search, 2004). Den kännetecknas av att undersökningsindividerna lottas till två eller flera grupper där minst en får någon form av insats. Lottningen gör att grupperna blir i genomsnitt lika före insatsen, vilket gör att eventuella skillnader efter insatsen logiskt kan knytas till insatsen snarare än till bakgrundsfaktorer. Eftersom randomiserade studier ibland är svåra eller praktiskt omöjliga att genomföra är ett alternativ kvasiexperimentella utvärderingar där minst två grupper jämförs över tid, men där individerna inte randomiserats till de olika alternativen. Ett exempel på en sådan studie är en jämförelse av två skolor med olika anti-mobbningsprogram. Svagheten med en sådan studie är att det kan vara elever med olika social bakgrund i de två skolorna, vilket gör att förekomsten av mobbning beror på det och inte på antimobbningsprogrammen. Detta problem kan delvis hanteras av forskare genom att matcha jämförelsegrupp till undersökningsgrupp. Matchning låter sig dock bara göras för de möjliga påverkansfaktorer som forskaren känner till. Den kanske viktigaste fördelen med randomiserade studier är att randomiseringen även kontrollerar för okända, ickemätta skillnader mellan grupper. Dessa två typer av utvärderingar randomiserade och kvasiexperimentella är de som förknippas med evidensbaserad praktik. Det finns utvärderingar till exempel fallstudier, processutvärderingar och för- och eftermätning utan jämförelsegrupp som inte ger tillförlitlig kunskap om en insats är effektiv eller inte (t ex Weisburd, Lum & Petrosino, 2001). Utan jämförelsegrupp är det inte möjligt att säkert avgöra vad som är mer eller mindre effektivt eftersom det då inte går att kontrollera för förändringar som sker oberoende av den studerade insatsen. Däremot kan dessa typer av utvärderingar som dominerat svensk utvärderingsforskning inom socialt arbete ge annan kunskap, till exempel om vilka problem som uppkommer under implementering av en ny metod. Svenska randomiserade och kvasiexperimentella studier I Anders Bergmarks och Tommy Lundströms artikel i Socionomen 2006:4 ges intryck av att det inte bedrivs några kvasiexperimentella eller randomiserade utvärderingar i Sverige. Deras utgångspunkt är utvärderingar från FoU-enheter mellan 1990 och 2004. En annan bild ges om man utgår från situation idag 2006, här tillåts andra forskningsinstitutioner än enbart FoU-enheter ingå och här medtas pågående och planerade utvärderingar (se tabell). Utgångspunkten är insatser till barn och unga. Listan är inte nödvändigtvis fullständig utan består av utvärderingar som är kända för oss. Av de berörda insatserna riktar sig fem främst till föräldrar, sju till ungdomar (varav tre i öppen- och fyra i institutionsvård) och sju till grundskolan. Majoriteten av utvärderingarna är randomiserade. Det som för bara några år sedan betraktades som praktiskt och etiskt omöjligt inom verksamheter som arbetar med människor är med andra ord idag relativt vanligt. Av de 19 utvärderingarna i tabellen är fyra avslutade, 11 pågår (varav flera är under avslutning) och fyra är planerade. Det betyder att vi inom några år kommer att ha en betydligt bättre kunskap om olika insatsers effektivitet. I stort sett samtliga av insatserna i tabellen rör selektiv och indikerad prevention, det vill säga socialtjänstens traditionella målgrupper. Selektiva insatser riktar sig till barn som befinner sig i riskzon att utveckla problem (t ex bråkiga och aggressiva barn). Indikerade insatser går ut på att hjälpa barn eller ungdomar som redan har problem (t ex ungdomar som börjat med brottslig verksamhet). Nedan kommenterar vi några av dessa utvärderingar. 2

Svenska randomiserade och kvasiexperimentella utvärderingar om insatser för barn och ungdomar Status Behandlingsmetod Forskningstyp Ansvarig forskare Föräldrar: avslutad Funktionell familjeterapi (FFT) random Kjell Hanson, Socialhögskolan Lunds universitet avslutad Familjerådslag kvasiexp Knut Sundell, Stockholms FoU-enhet pågår Komet för föräldrar random Knut Sundell, Stockholms FoU-enhet & Lennart Melin, Institutionen för psykologi, Uppsala universitet pågår Community parent education program (COPE) kvasiexp Lisa Thorell, Institutionen för psykologi, Uppsala universitet pågår Barnhälsovård i förändring kvasiexp Claes Sundelin, Margareta Magnusson, Dagmar Lagerberg, Institutionen för kvinnor och barns hälsa, Uppsala universitet Ungdom (öppenvård): pågår Multisystemisk terapi random Knut Sundell, Stockholms FoU-enhet planerad Aggression Replacement Training (ART) random Knut Sundell, Stockholms FoU-enhet & Bo Vinnerljung, IMS planerad Mentorskapsprogram random Håkan Leifman, STAD-sektionen, Beroendecentrum Stockholm Ungdom (institutionsvård): pågår Multidimensinal treatment fostercare (MTFC) random Kjell Hanson, Socialhögskolan Lunds universitet pågår Individuell kognitiv beteendeterapi + nätverksbyggande random Martin Lardén, Institutionen för klinisk Neurovetenskap, Karolinska institutet pågår Aggression Replacement Training (ART) kvasiexp Knut Sundell, Stockholms FoU-enhet & Bo Vinnerljung, IMS planerad Multifunc random Kerstin Söderholm Carpelan, IMS Skola: avslutad Charlie/Komet för lärare random Knut Sundell, Stockholms FoU-enhet & Lennart Melin, Institutionen för psykologi, Uppsala universitet avslutad Marte meo kvasiexp Kjell Hanson, Socialhögskolan Lunds universitet pågår Steg-för-steg (strengthening familes program 10-14) random Sven Andreasson, Institutionen för folkhälsovetenskap, Karolinska institutet pågår Kombinationen av Komet för lärare + Komet för föräldrar random Martin Karlberg, Lärarhögskolan, Uppsala universitet pågår Örebro preventionsprogram kvasiexp Håkan Stattin, Institutionen för beteende-, social- och rättsvetenskap, Örebro universitet pågår Social och emotionell träning kvasiexp Birgitta Kimber, Institutionen för folkhälsovetenskap, Karolinska institutet planerad PS- preventionsprogram för skolans år 4-9 kvasiexp Nikolaus Koutakis, Institutionen för beteende-, social- och rättsvetenskap, Örebro universitet Funktionell familjeterapi (FFT). Den så vitt känt första randomiserade studien inom socialtjänsten i Sverige genomfördes av Kjell Hansson, Marianne Cederblad och Börje Höök (2000) och jämförde FFT med traditionell behandling. FFT är ett strukturerat familjebaserat program för att stärka familjers skyddsfaktorer och minska riskfaktorer. Det används bland annat för kriminella och missbrukande ungdomar. Fyra internationella studier visar på en klar minskning av återfall i brottslighet. Målgruppen i den svenska utvärderingen var kriminella ungdomar som aktualiserats av socialtjänsten. Efter två år var det dubbelt så många bland ungdomarna som fått traditionella insatser (82%) som lagförts igen än bland de som fått FFT (41%). Multisystemisk Terapi (MST). MST är en familjebaserad systemisk insats för kriminella och missbrukande ungdomar. Målet är att utveckla föräldrars förhållningssätt till sina barn samt att ersätta asociala kamrater med sociala. MST arbetar inte med fast uppsättning tekniker utan väljer de som har bäst forskningsstöd. Insatsen pågår mellan två och sex månader. Utbildade MST terapeuter arbetar parallellt med fyra till sex familj er. Programmet har utvärderats i flera randomiserade studier bland annat i USA och Norge. En svensk randomiserad studie pågår som jämför MST med socialtjänstens traditionella insatser. Eftersom datainsamlingen fortfarande pågår (2-årsuppföljning sker nu) är det för tidigt att uttala sig om hur effektiv MST är. Däremot visar utvärderingen att randomiserade studier går att genomföra inom socialtjänstens "kärnområde" utan 3

något större bortfall av klienter. Endast 12 av 168 (7%) tillfrågade familjer valde att inte medverka (de avböjde all kontakt med socialtjänsten). Utvärderingen visar också att socionomerna i de 27 kommuner eller stadsdelar som medverkar i studien i huvudsak är positiva till evidensbaserade manualstyrda insatser och att en klar majoritet anser att det är etiskt försvarbart att bedriva randomiserade studier. Kommunikationsmetod för föräldrar och lärare (Komet). Komet är ett svenskt program som utvecklats i samarbete mellan FoU-enheten i Stockholm, Preventionscentrum (Precens) vid Stockholms socialtjänstförvaltning, Uppsala universitet och University of Arizona. Komet baseras på internationell forskning om vad som är effektivt i arbete med barn och unga. Huvudkomponenter är att öka mängden positivt umgänge hos barn och vuxna, att jobba med tydliga förväntningar och att vända uppmärksamhet från negativa till positiva beteenden hos barnen. Idag finns en version av Komet som vänder sig till skolpersonal och en version som vänder sig till föräldrar. Målgruppen är barn upp till 10 år som är bråkiga, trotsiga eller hyperaktiva, beteenden som ökar risken för allvarliga problem senare i livet. Dessa versioner av Komet har utvärderats i randomiserade studier med resultat som motsvarar de mest effektiva programmen som utvärderats utomlands (Forster, Sundell, Melin, Morris & Karlberg, 2005; Dahlman & von Otter, 2004). Till exempel minskade mängden problem i hemmet med 40 till 50 procent vid uppföljningen ett år efter att föräldrar påbörjat föräldragrupp i Komet. Förutom de två utvärderade varianterna av Komet utvecklas flera nya versioner, bland annat en för föräldrar vars barn är placerade på SiS-institutioner och en för föräldrar där socialtjänstens myndighetsutövande pågår. En anledning att vi nämner Komet är att det är en succé bland socionomer, chefer och politiker i Stockholm. Idag finns Komet för föräldrar i samtliga stadsdelar i Stockholm samt i ett tiotal andra kommuner. Under de senaste två åren har 1 000 föräldrar och 200 lärare deltagit i Komet-grupper. Framtida behov Idag finns ett stort intresse får evidensbaserade metoder bland socionomer. För att kunna möta det intresset anser vi att tre behov behöver tillgodoses. Ökad kunskap om effektiva metoder. Det första är att öka kunskapen om vilka sociala insatser som fungerar bättre i Sverige och vilka som fungerar sämre eller inte fungerar alls. Det finns två vägar att gå när det gäller att utveckla den vetenskapliga kunskapen om preventivt arbete. Den ena vägen är att importera utländska program till Sverige och utvärdera deras effekt i jämförande forskning. Den andra vägen är att utveckla och utvärdera svenskkonstruerade program. Båda vägarna har för- och nackdelar. De flesta preventionsprogram som forskning visat är effektiva har utvecklats och utvärderats i USA som är ett delvis annat samhälle än det svenska. Det är därför inte självklart att de också fungerar i Sverige och de behöver således även utvärderas här. En fördel med denna strategi är att om svenska utvärderingar bekräftar internationell forskning, så underlättar och påskyndar det spridningen av effektiv prevention i Sverige. En nackdel med utländska preventionsprogram är licensiering som kan vara kostsamt samt att programkonstruktören kan vara ovillig att tillåta förändringar av programinnehållet. Av befintliga utvärderingar förefaller utländska program i varje fall inte fungerar sämre än normalt förekommande insatser i Sverige. Ett alternativ till att implementera utländska program är att utveckla svenska program. En fördel med det är att programmen blir kulturanpassade och därmed får högre lokal trovärdighet. Nackdelen med att utveckla svenska program är att det är tidskrä- 4

vande och kostsamt. Även om programutvecklingen inte startar från noll utan utgår från internationell kunskap om vad som kännetecknar effektiva insatser tar utvärderingar tid. Erfarenheter från Komet är att det tar ungefär två år att utveckla ett program samt att utprova det i en pilotstudie. Sedan återstår 3-4 år innan en kontrollerad studie är klar. Effektutvärderingar är kostsamma, dels eftersom de kräver minst en jämförelsegrupp (vilket ökar omfattningen av datainsamling), dels eftersom barn och unga behöver följas under en längre tid för att ge säker kunskap om effekterna. Av naturliga skäl har staten ett speciellt ansvar att garantera finansieringen av evidensbaserad forskning om preventionsprogram som sedan kan användas av många kommuner. Samtidigt är det skäligt att också kommuner bidrar till denna forskning i egenskap av primäransvariga för de verksamheter som berörs. Det är dock knappast rimligt att kräva att enskilda kommuner (vilka i normalfallet är små) ska bekosta utvecklingsarbete eller översättning av evidensbaserade program från andra länder samt bekosta en utvärdering av dessa program. Framför allt inte eftersom resultaten av dessa utvecklingskostnader sedan skulle komma andra kommuner och privata aktörer till godo utan kostnad. Ett alternativ är att utvecklings- och utvärderingskostnader sprids på flera kommuner. De regionala Forsknings- och Utvecklingsenheter som finns runt om i landet skulle kunna fungera som stödjande organisation för det. Fördelen med dessa enheter är att de ofta har en god förankring i kommunala verksamheter. Om de ska kunna användas för detta syfte behöver de emellertid ändra sin inriktning från dagens mer kvalitativa, processinriktade forskning till att prioritera randomiserade och kvasiexperimentella utvärderingar. Förstärkt ut- och fortbildning. Evidensbaserade metoder har i allmänhet utvecklats under flera år med upprepade utvärderingar som gjort att metoderna modifierats. Denna kunskap sammanfattas i manualer som ger information om hur metoden bör användas för att öka sannolikheten för att få goda resultat. Generellt kan sägas att det är svårt att läsa sig till kunskapen på egen hand. Ett genomgående resultat i internationell forskning är betoningen på adekvat träning och utbildning av dem som bedriver programmen. Därför behöver grundutbildningar för socionomer inkludera evidensbaserade metoder. I avvaktan på att det blir vanligare behövs någon form av regionala centra som kan fortbilda socionomer. Det är viktigt att dessa kompetenscentra inte är kommersiellt drivna eftersom detta skulle äventyra deras trovärdighet. Redan idag finns många konsulter som säljer sina program utan teoretiskt eller vetenskapligt stöd. Stöd i förändringsarbete. För att åstadkomma en bred förändring behövs inte bara kunskap om effektiva insatser och utbildning i dessa metoder. Det måste dessutom finnas ett långsiktigt stöd till mottagare så att verksamheten förändras varaktigt. Kunskapen om hur förändring ska åstadkommas i vardaglig verksamhet är idag sämre än den om vilka insatser som är effektiva. För ett lyckat förändringsarbete krävs ett grundligt förberedelsearbete innan implementering och utbildning börjar. För att skapa en god grund för implementeringen behövs ett starkt stöd från den politiska och administrativa ledningen, en formell organisation som kan driva implementeringen, tillräckliga resurser, att programmet förankrats i hela organisationen och långsiktighet i budget och organisation. Författare: Knut Sundell Cecilia Andrée Löfholm Catrine Kaunitz 5

Referenser Dahlman, E. & von Otter, A. (2004). Kometstudien - effekten av två versioner av föräldraträning (examensuppsats). Uppsala universitet: Institutionen för psykologi. Flay, B. R., Biglan, A., Boruch, R. F, Castro, F.G., Gottfredson, D., Kellam, S., Moscicki, E. K., Schinke, S., Valentine, J. C. & Ji, P. (2005). Standards of evidence. Criteria for efficacy, effectiveness and dissemination. Preventions science, 6, 151-175. Forster, M., Sundell, K, Melin, L., Morris, R. & Karlberg, M. (2005). Charlie och Komet. Utvärdering av två lärarprogram för barn med beteendeproblem (FoU-rapport 2005: 1). Stockholms socialtjänstförvaltning: FoU-enheten. Hansson, K., Cederblad, M. & Höök, B. (2000). Funktionell familjeterapi. En behandlingsmetod vid ungdomskriminalitet. Socialvetenskaplig tidskrift, 3, 231-243. McCord, J. (2003). Cures that harm: unanticipated outcomes of crime prevention programs. Annals of the American Academy, 587, 16-30. Petrosino, A., Turpin-Petrosino, C. & Buehler, J. (2003). Scared straight and other juvenile awareness programs for preventing juvenile delinquency: a systematic review of the randomized experimental evidence. Annals of the American academy 589, 41-62. Shadish, W. R., Cook, T. D. & Campbell, D. T. (2002). Experimental and quasiexperimental designs for generalized causal inference. Boston: Houghton Mifflin company. Sundell, K. (2002). Familjerådslag i Sverige. Socialtjänstens fortsatta insatser till barn och föräldrar (FoU-rapport 2002:3). Stockholms socialtjänstförvaltning: Forsknings- och utvecklingsenheten. Sundell, K. & Vinnerljung, B (2004). Outcomes of family group conferencing in Sweden. A three year follow up. Child Abuse & Neglect, 28, 267-286. Weisburd, D., Lum, C. M. & Petrosino, A. (2001). Does research design affect study outcomes in criminal justice? Annals of the American Academy, 587, 50-70. 6