Samverkan för barns psykiska hälsa

Samverkan för barns psykiska hälsa Modellområden psykisk hälsa, barn och unga Berth Danermark, Per Germundsson & Ulrika Englund Slutrapport till SKL 2012 06 14

Innehållsförteckning Sammanfattning... 3 Executive summary in English... 5 Bakgrund... 7 Uppdraget... 8 Samverkan: ett samspel mellan regelverk, organisation och synsätt...10 Design och analysmodell... 12 Material och datainsamling... 14 Resultat och analys...18 Utveckling av samverkan, processer och utfall i modellområdena...18 Modellområde 1... 19 Förbättringsprocess 1... 19 Modellområde 2... 25 Förbättringsprocess 2... 25 Modellområde 3... 31 Förbättringsprocess 3... 31 Modellområde 4... 37 Förbättringsprocess 4... 37 Förbättringsprocess 5... 42 Modellområde 5... 47 Förbättringsprocess 6... 47 Modellområde 6... 53 Förbättringsprocess 7... 53 Modellområde 7... 58 Förbättringsprocess 8 och 9... 58 Övergripande analys... 68 Effekter för barnet... 79 Effekter för verksamheten... 79 Positiva effekter för barnet och verksamheten en sammanfattning... 80 Slutsatser...81 Referenser... 84 Bilagor... 86 2

Sammanfattning Det övergripande syftet med utvärderingen var att fördjupa förståelsen för vad som skapar effektiv samverkan mellan olika verksamheter kring barn och ungas psykiska hälsa samt försöka kartlägga effekten av samverkan. För att förbättra barnens situation behöver ett systematiskt arbetssätt utvecklas. Detta gjordes inom ramen för s.k. förbättringsprocesser. För varje sådan process formulerades ett antal mätbara mål, dels mål som relateras till förbättringsprocessen och dels mål som relaterar till resultaten av processen, s.k. utfallsmått. De prioriterade förbättringsprocesserna var (i) att minska frånvaron i skolan, (ii) att upptäcka utsatta barn i ett tidigt skede för att kunna intervenera snabbare samt (iii) att skapa stabila strukturer för intervention och förbättra personalens kunskap om psykisk problematik bland barn. Sammantaget kom nio förbättringsprocesser att ingå i utvärderingsstudien. Konkret formulerades syftet med utvärderingen på följande sätt: Syftet (utvärderingsfrågan) är att utifrån ett antal utfallsmått i ett urval av processer bedöma samverkansprocessens påverkan på utfallsmåtten. Utvärderingsarbetet faller inom ramen för vad som kallas realistic evaluation och analysen syftar ytterst till att söka fastställa vilka samverkansmekanismer som har betydelse för utfallet, givet den kontext de verkar i. Den avgörande frågan är inte om de leder till en positiv effekt utan om de har kapacitet att påverka utfallet i positiv riktning. Följande datainsamlingsmetoder användes: enkäter (gemensam för förbättringsgruppen i respektive förändringsprocess samt partsspecifik) den s.k. Spindeln loggbok gruppintervjuer med förbättringsgrupperna kontinuerlig dokumentation av arbetsprocessen och utfallet feed back sammankomster med förbättringsgrupperna Analysen visar att det inte råder ett enkelt förhållande mellan samverkan (utveckling respektive nivå), förbättringsprocesserna och vilka resultat som uppnåtts i projekten så att graden av samverkan och hur väl processerna tycks fungera genererar en empirisk tydlig måluppfyllelse. Det finns inga tydliga empiriska generella mönster avseende samverkan totalt sett eller per dimension (nivå och utveckling). Något sådant tydligt förhållande har inte heller påvisats i tidigare forskning. Analysen stödjer uppfattningen att det är en alltför komplex verklighet för att sådana förhållanden entydigt skall framträda. I analysen indikeras att samverkan resulterat i en lång rad av effekter men att dessa inte återspeglas i någon större utsträckning i de valda utfallsmåtten utan i det som benämns bieffekter. En genomgång av sådana dokumenterade effekter visar att de spänner över ett brett fält. Effekter för barnet var: Ökat fokus på barnet Tidigare upptäckt och tidigare intervention Tendens till gemensamma insatser i ett helhetsperspektiv 3

Ökad grad av intern problemlösning (skolan) Förbättrad föräldrarelation Fler ansökningar färre anmälningar Effekter för verksamheten var: Ökad kunskap om varandra som leder till större tillit Utvecklat informationsflöde Tydligare struktur i arbetet En lärande organisation Merarbete En slutsats är att de samverkansstrukturer som byggts upp har kapacitet att påverka utfallet i positiv riktning men att det i flertalet av förbättringsprocesserna föreligger hinder, ibland stora sådana, för att detta skall få fullt genomslag i de fastställda utfallsmåtten. En lång rad mekanismer som försvårade (eller omöjliggjorde) en sådan måluppfyllelse har noterats. Dessa är ofta kontextuella, dvs. de är specifika för just den kontext som samverkansprocesserna äger rum inom. Det finns dock några förhållanden som tycks vara, om inte gemensamma för alla förbättringsprocesserna, så generella i den meningen att när de föreligger så är de starkt hämmande för utvecklingen av samverkan och därmed också för de mål som samverkan skall leda mot. En sådan typ av hinder är förhållanden kopplade till den organisatoriska omvärld som processerna sker i. Om den är instabil, med hög personalomsättning (t.ex. återkommande chefsbyten), pågående omorganisationer eller en geografiskt decentraliserad aktör, hämmar det utvecklingen och därmed möjligheterna att nå de uppställda målen. En annan hindrande mekanism är resursbrist. Ytterligare en motverkande mekanism är de lagar som styr informationsflödet i samverkansprocessen. Den övergripande slutsatsen är att de positiva resultat som kunnat konstateras med stor sannolikhet är ett resultat av samverkan och ett utvecklat strukturerat arbetssätt. Analysen visar vidare att Spelar samverkan någon roll, blir det bättre för de berörda? är ett för enkelt sätt att formulera frågan på. Frågan borde snarast formuleras utifrån en kritisk realistisk grund: vilka är de för utfallet tänkbara strukturella förhållande som frambringar främjande mekanismer och vilka är de i den aktuella kontexten (strukturen) motverkande mekanismerna? En sådan fråga leder sedan vidare till frågor om hur den rådande strukturen kan förändras i en sådan riktning att för samverkan goda strukturella villkor skapas. En sådan förändringsprocess kräver kunskap, tid och resurser. 4

Executive summary in English The overall aim of the evaluation was to deepen the understanding of that which creates effective cooperation between various actors in the field of children's and young people's mental health as well as to try to identify the effects of such cooperation. In order to improve the situation of children, a systematic approach needs to be developed. This was done within the framework of so called improvement processes. For each of these processes, a number of measurable objectives were formulated, some related to the improvement process itself and some related to the results of the process, i.e., to specific measurable outcome(s). The aims of the improvement processes which were the subject of this evaluation were as follows: (i) to reduce school absenteeism, (ii) to detect at risk children at an early stage in order to be able to intervene more rapidly and (iii) to create stable structures for intervention and improve staff knowledge of mental health problems among children. Altogether, nine improvement processes were included in the evaluation study. The concrete aim of the evaluation was formulated as follows: "The purpose (evaluation question) is to assess, based on a number of outcome measurements in a selection of processes, the impact of the cooperation process on the outcome measurements." The work of the evaluation falls within the framework of what is known as realistic evaluation, and the analysis is ultimately aimed at trying to identify which cooperation mechanisms are significant for the outcome, given the context in which they operate. The crucial point is not whether they lead to a positive effect, but rather, if they have the capacity to influence the outcome in a positive direction. The following data collection procedures were used: surveys (common ones for the improvement group in the respective change processes as well as party specific surveys); the (so called) Spider; logbook; group interviews with the improvement groups; continuous documentation of the work process and the outcome; and feedback meetings with the improvement groups. The analysis shows that there is no straightforward relation between the (development or level of) cooperation, the improvement processes and the results that are achieved in the projects such that the degree of cooperation. There is no clear and empirical general pattern with regard to cooperation overall nor with regard to the level or development of cooperation. No such clear relationship has been shown in previous research, either. The analysis supports the view that the reality is far too complex for such a relation to stand out unequivocally. It is indicated in the analysis that cooperation has resulted in a long series of effects but that these are not reflected to any great extent in the outcome measurements chosen, but rather in what are referred to as knock on effects. A review of such documented effects shows that they cut across a wide area. 5

The effects on children were: Increased focus on the child Earlier discovery and earlier intervention A tendency toward joint efforts in a holistic approach An increased degree of internal problem solving (the school) Improved relationship with parent(s) More applications (seeking help) fewer notifications The effects on operations were: Increased knowledge of one another leading to greater trust and confidence Further developed flow of information Clearer structure in the work A learning organization Additional work One conclusion is that the cooperation structures that have been built up have the capacity to influence the outcome in a positive direction but that in the majority of improvement processes there are obstacles, sometimes large ones, preventing such cooperation structures from having full impact on the established outcome measurements. A long series of mechanisms which made such achievement of objectives difficult (or rendered it impossible) has been noted. These are often contextual, that is, they are specific to the context in which the cooperation processes take place. There are, however, some conditions which appear to be general, if not common to all the improvement processes, in the sense that, when they obtain, they strongly constrain the development of cooperation and thereby also hinder the objectives to which the cooperation should lead. One such type of hindrance has to do with conditions linked to the organizational environment in which the processes take place. If such conditions are unstable with a high turnover of staff (e.g., recurrent changes in management), on going reorganizations or a geographically decentralized actor this inhibits the development of cooperation and therewith the possibility of achieving the defined objectives. Another hindering mechanism is lack of resources. The laws governing the flow of information in the cooperation process constitute a further counteracting mechanism. The overall conclusion is that the positive results that can be noted are most likely due to cooperation and the development of a structured working method. The analysis shows, further, that "Does cooperation play any role? Is it better for the affected?" is a too oversimplified formulation of the question. The question should rather be formulated on a critical realistic basis: Which structural conditions possibly produce facilitating mechanisms for the outcome and what, in the actual context (the structure), are the hindering mechanisms? Such a question leads further to questions about how the current structure can be changed in a direction such that good structural conditions for cooperation are created. Such a process of change requires knowledge, time and resources. 6

Bakgrund Problematiken kring utsatta barn har uppmärksammats under de senaste decennierna på olika sätt både i Sverige och i flera andra länder. Sveriges kommuner och landstings (SKL:s) modellområdesprojekt är ett av flera exempel på detta. Andra exempel är försöksverksamheten kring barnahus och regeringens uppdrag till Skolverket att fördela medel för att få till stånd en ökad samverkan mellan socialtjänst, skola, polis samt barn och ungdomspsykiatri. Målgruppen definierades i det senare fallet som barn som far illa eller riskerar att fara illa. Användningen av begreppet utsatta barn är inte enhetligt och ett flertal liknande begrepp förekommer, som barn i riskzon, barn som far illa och barn i behov av särskilt stöd. Lundberg (2005) skriver att orsakerna till barns utsatthet måste sökas på flera nivåer och nämner särskilt föräldrarnas situation och tillkortakommanden, familjens ekonomiska och sociala status, barnets temperament och läggning, situationsfaktorer, faktorer i närmiljön och strukturella faktorer i samhället (s.6). I enlighet med Socialtjänstlagen räknas alla personer under 18 år som barn i Sverige (SoL, 1 kap, 2 ). Begreppet barn och unga brukar användas i syfte att tydliggöra att det inte enbart är de yngre barnen som avses. I modellområdesprojektet är målgruppen barn och unga 0 18 år samt unga 18 21 år inom skolan och socialtjänsten. Frågor kring barnperspektivet och barns rättigheter har uppmärksammats internationellt. Barnkonventionen (FN:s konvention om barnets rättigheter) antogs år 1989 och ratificerades av Sverige år 1990. Konventionen uttrycker att barnets bästa ska komma i främsta rummet i alla åtgärder som rör barn, och innehåller fyra grundläggande principer som är styrande för tolkningen av konventionens övriga artiklar. Dessa är förbud mot diskriminering, barnets bästa i främsta rummet, rätten till liv och utveckling samt rätten att få komma till tals (Regeringskansliet, 2010). Modellområdesprojektet har ett särskilt fokus på barns och ungas psykiska hälsa. Psykisk ohälsa ses som ett av de största hälsoproblemen bland barn och unga i Europa (Shurcke, Pillas, & Selai, 2007). SKL skriver att en av de största utmaningarna i Sverige inom sakområdet är utvecklingen av den psykiska hälsan (SKL, 2009a). Syftet med modellområdesprojektet är att barns och ungdomars psykiska hälsa ska mötas med en helhetssyn. Varje modellområde i projektet ska ta fram praktiskt fungerande modeller för arbets och samverkans metoder utifrån lokala förutsättningar (SKL, 2009b). Samverkansfrågor har stor aktualitet inom hela välfärdsområdet som en följd av ökad fragmentering och specialisering (Danermark & Kullberg, 1999). Erfarenheterna av samverkan har inte alltid varit goda och samverkan har inte bara löst problem utan även skapat nya (Danermark, 2004). En rad för samverkan främjande och hindrande faktorer har identifierats, exempelvis resursfrågor, grad av förankring, engagemang hos ledningen, målformuleringar och maktrelationer. Även frågor kring tillit, kommunikation och den vardagskunskap de samverkande parterna har om varandra har stor påverkan på samverkansprocessen (Germundsson, ). Ett exempel inom området barn och unga där fokus på såväl frågor om utsatthet som samverkan är Socialstyrelsens satsning på BBIC (Barns behov i centrum), som är ett verksamhetssystem för utredning, planering och uppföljning inom social barnavård. Socialstyrelsen (2006) skriver att det visionära målet för BBIC är att ge de barn och unga som är föremål för socialtjänstens 7

interventioner samma chanser i livet som andra barn i samhället (s. 15). Två av BBIC projektets syften är att stärka barnets ställning i den sociala barnavården, i enlighet med socialtjänstlagen och FN:s barnkonvention, samt att förbättra samarbetet kring barnet med föräldrar och familj, vårdgivare och professionellt nätverk. I en forskningsöversikt kring samverkan mellan olika aktörer inom området barn med särskilda behov (eng. special needs) konstaterar Lacey (2000) att såväl skälen till att samarbeta som de för samverkan främjande och hindrande faktorerna stämmer väl överens med de som redovisas inom samverkansforskningen generellt. De problemgenererande faktorer som redovisas är bl.a. skilda styrsystem, sekretess, otydliga roller och tidsbrist. Författaren menar att barnens behov ofta har sin grund i fysiska funktionsnedsättningar, medicinska eller sociala problem och uppförandesvårigheter. Vidare konstaterar författaren att antalet inblandade parter inte alltid minskar som en följd av samverkan, men att insatserna ofta kan utföras mer koordinerat. Westrup & Persson (2007) redovisar erfarenheter från ett forsknings och utvecklingsprojekt kring förutsättningar för ett gränsöverskridande preventivt arbete med barn och unga. Författarna skriver att sådant gränsöverskridande arbete, mellan såväl olika verksamheter som professioner, är komplext och att varje utvecklingsarbete har unika förutsättningar och måste betraktas ur flera olika perspektiv. Framgångsrik samverkan bedöms oftast utifrån aspekterna process respektive utfall (Dowling, Powell & Glendinning, 2004). Den senare aspekten, vilken innefattar förändrad tjänsteleverans och effekter för brukaren, fokuseras emellertid sällan inom forskningen. Dowling et al. konstaterar att kunskapen kring effekter av samverkan dvs. om den genererar vinster för de som finansierar eller levererar tjänsterna respektive för brukarna fortfarande är mycket begränsad. Ungefär hälften av modellområdena i SKL:s projekt har valt att medverka i en delstudie kring effekter av framgångsrik samverkan. Påverkar förbättrad samverkan utfallet av samhällets insatser för barn som har eller riskerar psykisk ohälsa? Studien genomförs av en forskargrupp från Örebro universitet och presenteras i det följande. Uppdraget Det övergripande syftet med utvärderingen var att fördjupa förståelsen för vad som skapar effektiv samverkan mellan olika verksamheter kring barn och ungas psykiska hälsa samt att försöka kartlägga effekten av samverkan. Fokus låg således på att studera mekanismer i samverkan som bidrar till måluppfyllelse avseende förbättring av barnens situation och i dess förlängning deras psykiska hälsa. Kartläggning av effekter av samverkan har, som nämnts, studerats i mycket liten omfattning hittills. Forskningen har fokuserat själva samverkansprocessen och de få studier som finns om utfallet av samverkan har i olika grad kunnat påvisa direkta och kortsiktiga effekter av samverkan. (se t.ex. Dowling et al. 2004 ). För att förbättra barnens situation behöver ett systematiskt arbetssätt utvecklas. Detta gjordes inom ramen för s.k. förbättringsprocesser. Dessa togs fram och preciserades av projektkansliet vid SKL i samråd med de lokala projektledningarna i de områden som kom att ingå i utvärderingsstudien utifrån en prioritering på grundval av ett antal kriterier såsom att a) de upplevdes som angelägna att förändra, b) de bedömdes vara viktiga utifrån deras påverkan på situationen för barn och unga inom målgruppen och utifrån sin potentiella samhällsekonomiska betydelse och c) de hade en stor läropotential för studier av vad som är effektiva mekanismer i 8

samverkan. För varje utvecklingsprocess formulerades ett antal mätbara mål, dels mål som relateras till förbättringsprocessen och dels mål som relaterar till resultaten av processen, s.k. utfallsmått. De prioriterade förbättringsprocesserna var (i) att minska frånvaron i skolan, (ii) att upptäcka utsatta barn i ett tidigt skede för att kunna intervenera snabbare samt (iii) att skapa stabila strukturer för intervention och förbättra personalens kunskap om psykisk problematik bland barn. Sammantaget kom nio förbättringsprocesser att ingå i utvärderingsstudien. Konkret formulerades syftet med utvärderingen på följande sätt: Syftet (utvärderingsfrågan) är att utifrån ett antal utfallsmått i ett urval av processer bedöma samverkansprocessens påverkan på utfallsmåtten. När förbättringsprocesserna påbörjades kartlade utvärderingsgruppen hur samverkan fungerar med hjälp av instrument, som indikerar framgångsfaktorer för samverkan i enlighet med det etablerade kunskapsläget inom samverkansforskningen. Samma instrument användes i alla förbättringsprocesserna. Initialt genomfördes alltså en kartläggning av utgångsläget och sedan gjordes datainsamling löpande under ca 15 månader. Tidplanen för arbetet framgår av figur 1. Figur 1. Tidsplan för utvärderingsuppdraget. 9

Samverkan: ett samspel mellan regelverk, organisation och synsätt Samverkan har bl.a. definierats som medvetna målinriktade handlingar som utförs tillsammans med andra i en klart avgränsad grupp avseende ett definierat problem och syfte (Danermark, 2003, sid. 15). Samverkan skiljer sig från samarbete genom att det, som definitionen säger, är ett mer strukturerat arbetssätt med tydliga mål (utfall), avgränsad målgrupp osv. Samarbete ser vi mer som en löpande form av interaktion mellan olika parter inom en samverkansstruktur. Samverkan konkretiseras och manifesteras således i ett mer eller mindre strukturerat arbetssätt med syfte att påverka ett önskat utfall i positiv riktning. Samverkan blir därför en integrerad del i ett strukturerat arbetssätt. I praktiken kan det vara svårt att särskilja vad som är en del av en samverkansstruktur och vad som är en del av en särskild arbetsform. Analytiskt söker utfallet till samverkan härledas till respektive arbetsmodell (se analysmodellen nedan). Studier av samverkan lyfter fram och betonar olika typer av mekanismer som centrala för framgångsrik samverkan. Ett viktigt inslag i forskningen om samverkan är att studera hur man bygger stabila samverkansstrikturer och hur de faktorer som bedöms vara centrala för sådana strukturer samspelar (se t.ex. Huxham & Vangen, 2005; Jacobson & Choi, 2008; Lacey, 2000; Edvards et al. 2009). San Martín Rodríguez et al. (2005) går i en översikt igenom ett antal teoretiska och empiriska studier av samverkan inom hälsoområdet. En viktig slutsats är att området är underförsörjt när det gäller kunskap om vilken roll mer strukturella och organisatoriska förhållanden spelar. Med strukturella förhållanden avser de i huvudsak kontextuella faktorer, något vi strax återkommer till. San Martín Rodríguez et al. Menar att området har dominerats av forskning om team och har en mer socialpsykologisk inriktning. D Amour et al. (2005) har gjort ett försök att identifiera bärande begrepp inom samverkansforskningen samt hur dessa inordnas i teoretiska modeller över samverkan. Även dessa forskare konstaterar att fokus har legat på team nivån och de efterlyser mer forskning om själva samverkansprocessen och dess bestämningsfaktorer. I den mån forskningen fokuserar samverkansprocessen så begränsar den sig till just denna. Som nämnts tycks det vara relativt ovanligt med att resultatet av samverkan står i fokus (Dowling et al., 2004). Samma slutsats kommer även Axelsson () fram till i en översikt av svensk aktuell samverkansforskning. Samverkan påverkas av tre olika dimensioner av samverkan, vilket illustreras i nedanstående figur. Figuren inkluderar de fyra vanligast förekommande aktörerna i de modellområden som studerats i denna uppföljningsstudie. I några modellområden är det ytterligare aktörer som är viktiga för samverkan, Ett grundläggande antagande är att samverkan fungerar bättre ju mer de olika fälten i matrisen harmonierar. Om det finns stora olikheter och dessa olikheter leder till spänningar försvåras samverkan. 10

Socialtjänst Skola Elevhälsan BUP Regelverk (styrning 1 ) Soc R Skola R EH R BUP R Organisation (struktur) Soc O Skola O EH O BUP O Synsätt (samsyn) Soc S Skola S EH S BUP S Figur 2. Matris över samverkansfält inom modellområdena. 1. De tre dimensionerna styrning, struktur och samsyn (se Myndigheten för skolutveckling, Rikspolisstyrelsen & Socialstyrelsen, 2007) motsvarar i stort dimensionerna regelverk, organisation och synsätt. Samverkansforskningen är i dag inte så utvecklad att det går att generellt säga vilken av de tre dimensionerna som är mest central. I en konkret analys av det slag som genomförs i detta projekt kan frågan om olika mekanismers betydelse klargöras genom frågor om det finns något i de inblandade aktörernas regelverk, organisation eller synsätt som försvårar samverkan. I utvärderingsstudien görs detta med hjälp av framför allt två olika instrument. Dels en enkät som de inblandade aktörerna fyllt i vid utvärderingsstudiens start respektive slut. Dels en form av processtöd som de olika aktörerna löpande (i snitt var tredje månad) fått fylla i och sedan reflektera över. Båda instrumenten mäter huruvida olika indikatorer på de tre dimensionerna upplevs som hindrande eller stödjande för samverkan (de olika instrumenten beskrivs nedan). Utvärderingen utgår från ett övergripande teoretiskt perspektiv som har sin grund i den kritiska realismen (Bhaskar, 1997, Danermark et al. 2001). Utvärderingsarbetet faller inom ramen för vad som kallas realistic evaluation och som sammanfattas av Mansoor Kazi på följande sätt: Realist evaluation seeks to evaluate practice within the realities of society. Practice takes place in an open system that consists of a constellation of interconnected structures, mechanisms and contexts. Realism aims to address all the significant variables involved in social work practice, through a realist effectiveness cycle which links the models of intervention with the circumstances in which practice takes place (Kazi, 2003, sid. 5) Kazi nämner alltså att utvärderingar grundade i den kritiska realismen betonar att de praktiker, t.ex. olika typer av sociala program av det slag som utvärderas i denna studie, äger rum i öppna system. Inom den kritiska realismen görs en distinktion mellan slutna och öppna system, eller villkor som det ibland benämns. Det rör sig dock inte om en enkel dikotomi, dvs. att antingen är ett system slutet eller öppet. Det handlar mer om i vilken typ av system på en skala mellan slutenhet och öppenhet, en process befinner sig. Med detta menas att vissa processer sker i system (t.ex. människokroppen) som är mindre öppna än andra system (t.ex. intervention mot missbruk, skolfrånvaro). Ju mer öppet det system är där processen man studerar befinner sig desto komplexare kontext. 11

Det övergripande temat för SKL:s satsning på modellområden är barns psykiska hälsa. Den psykiska hälsan är ett resultat av såväl biologiska och psykologiska som sociala processer, alltså ett synnerligen komplext förhållande. I de processer som studeras i denna utvärdering har endast en bråkdel av denna komplexitet fokuserats, t.ex. skolfrånvaro. Samtidigt är även skolfrånvaro ett komplext fenomen. Barns närvaro i skolan kan bero på en lång rad olika faktorer som kan förstås i termer av biologiska, psykologiska och sociala processer. Vi har alltså att göra med processer som påverkas av en mångfald strukturer och mekanismer. Detta får långtgående metodologiska konsekvenser. En metodologi som utgår från den kritiska realismen strävar efter att bejaka denna komplexitet och en metod som lämpar sig för detta är intensiva studier av ett antal enskilda fall (i denna studie nio förbättringsprocesser) och därvid att använda såväl kvalitativ som kvantitativ metod. Design och analysmodell I utvärderingen tillämpas Case analysis (se Kazi, 2003). Detta innebär att varje förbättringsprocess studeras var för sig. Det görs också en ingående analys av olika relevanta förhållanden som råder inom varje förbättringsprocess. För varje process kartläggs olika aspekter av de initiala villkoren för att framgångsrikt utveckla processen. Vidare studeras samverkan och hur den utvecklas med tiden. Samverkan är en del av en komplex förbättringsprocess vilket innebär att även data om det arbetssätt som tillämpats i de olika processerna (vid sidan om samverkan) har inkluderats. Dessa två huvudtyper av data (gällande samverkan respektive arbetssätt) relateras sedan till utfallsmåtten. De senare är ett urval av indikatorer på den centrala målsättningen för förbättringsprocessen. En analysmodell har tagits fram (se figur 4) som fokuserar den grundläggande frågeställningen hur samverkan utvecklades inom förbättringsprocesserna och i vilken mån detta har något samband med noterade utfall vad gäller de mål som formulerats för de valda processerna. Det är viktigt att modellen ses i ett temporalt perspektiv för att fånga den dynamik som kännetecknar alla processer av detta slag. Genom att följa processerna under ca 18 månader fångades förhoppningsvis en del av denna dynamik. Analysmodellen har successivt utvecklats under projekttiden. Som nämndes i avsnittet Bakgrund är det en komplex uppgift att söka kartlägga huruvida samverkan har någon effekt på de valda utfallsmåtten. I modellen ingår därför ett antal centrala aspekter för förståelsen av hur förhållandet mellan samverkan och utfallet kan se ut. Samverkansprocessen påverkas av en lång rad olika förhållanden, både interna och externa 1. Mot bakgrund av utvärderingens huvudsyfte är det således viktigt att samtidigt kartlägga andra förhållanden förutom samverkan som påverkar utfallet. En grundtanke är att samverkan utvecklas parallellt med att olika former av ett systematiskt arbetssätt utvecklas som riktas mot de mål som satts upp och att dessa påverkar varandra. Därför kartläggs också hur modellområdena arbetar med att nå målen på annat sätt än att utveckla samverkan. Dessa processer mäts genom de s.k. processmåtten som tagits fram för respektive förbättringsprocess. 1 I litteraturen används ofta det engelska begreppet embeddedness för att poängtera att all mänsklig aktivitet är inbäddad i ett vidare socialt sammanhang och att ingen förståelse kan uppnås om detta inte ingår i analysen. 12

Det finns i detta sammanhang två fundamentala förhållanden att ta hänsyn till. Den första är att samverkan sker i en kontext av andra typer av handlingar. I första hand gäller det handlingar som kan beskrivas som, i bästa fall, ett systematiskt interventionsarbete. Det kan handla om dokumentation, identifiering av målpersoner, planering med åtgärdsprogram och olika former av aktiva insatser. Sådana handlingar kan utföras med eller utan samverkan. Vissa handlingar kräver samverkan för att vara effektiva, andra handlingar kräver inte detta. Det handlar alltså här till stor del om att analytiskt kunna särskilja vad som är en effekt av samverkan och vad som är en effekt av ett strukturerat arbetssätt. I praktiken kan det vara svårt att avgöra vad som är vad. De två typerna av handlingar kan dock analytiskt särskiljas genom att de härleds till de mekanismer som gett upphov till det noterade utfallet. Fem huvudtyper av processer som leder fram till ett givet utfall kan identifieras: Utfallet är i huvudsak ett resultat av Samverkan det nya systematiska arbetssättet interaktion mellan samverkan och arbetssätt att samverkan kommit till stånd men det får inga effekter på grund av brister i arbetssättet att ett väl strukturerat arbetssätt byggts upp men det kan inte implementeras på grund av bristande samverkan Figur 3. Hypotetiska orsaker till utfall Exempel Processen leder till att kunskap om och förståelse för de olika involverade parterna ökar genom den samverkan som sker och att detta påverkar utfallet i en viss riktning Arbetssättet leder till en noggrann dokumentation av förhållandena (som inte kräver någon samverkan) och detta gör att fler blir medvetna om problemet och förändrar sitt arbetssätt så att det påverkar utfallet Samverkan leder till en gemensam syn på problemet och att de involverade förändrar sitt arbetsätt som en följd av detta Väl fungerande samverkansteam bildas men de får inga ärenden att jobba med eftersom man inte utvecklat ett fungerande systematiskt arbetssätt Man har byggt upp en väl fungerande dokumentation och identifiering av målpersoner men det finns ingen samsyn i samverkansgruppen avseende intervention Det andra fundamentala förhållandet att ta hänsyn till är att ytterligare en typ av omständigheter påverkar utfallet omgivningsfaktorer. Såväl samverkansprocessen som det systematiska arbetssättet verkar i en omgivning som kan påverka utfallet. I utvärderingsstudien har därför förekomst och typ av förhållanden i omgivningen som påverkat utfallet kartlagts. Exempel på en viktig omgivningsfaktor är att en förbättringsprocess kan ha initierats i en organisation som har lång erfarenhet av att arbeta med barns psykiska hälsa och att man sedan lång tid har byggt upp väl fungerande samverkansstrukturer. Ett annat exempel på en viktig omgivningsfaktor är att den politiska ledningen har valt att prioritera andra områden är barns psykiska hälsa. I allt påverkansarbete kan det förekomma effekter som inte utgör huvudmål för insatsen men som ändå är relevanta för syftet med interventionen. Dessa effekter kan vara positiva eller negativa. I de fall som sådana uppenbara bieffekter upptäckts har dessa inkluderats i analysen. Vilka data som samlats in och hur dessa samlats in redovisas i avsnitt Material och datainsamling nedan. 13

Analysmodell Interna påverkansmekanismer Samverkan nivå Utveckling (programmekanismer) Systematiskt arbetssätt intervention (programmekanismer) Interna påverkansmekanismer Huvudeffekt nivå utveckling Utfall Sido /bieffekt Externa påverkansmekanismer (kontext) Externa påverkansmekanismer (kontext) Figur 4. Analysmodell Analysen syftar ytterst till att söka fastställa vilka samverkansmekanismer som har betydelse för utfallet, givet den kontext de verkar i. Den avgörande frågan är inte om de leder till en positiv effekt utan om de har kapacitet att påverka utfallet i positiv riktning (Kazi, 2003, sid 27). Det handlar således om två grundläggande typer av kunskap. För det första, att identifiera samverkansmekanismer som, om inte motverkande mekanismer förhindrar detta, har kapacitet och potential att producera ett resultat som leder till måluppfyllelse. För det andra gäller det att identifiera vilka eventuella motverkande mekanismer som kan försvåra (eller omöjliggöra) en sådan måluppfyllelse och undanröja sådana motverkande mekanismer. Material och datainsamling Ett omfattande material har samlats in för var och en av förbättringsprocesserna. Totalt rör det sig om nio förbättringsprocesser i totalt sju Modellområden (se tabell 1.) I huvudsak består de insamlade empiriska uppgifterna av hur berörda parter har upplevt samverkan och arbetet i processerna, hur samverkan har utvecklats, vilka händelser i processerna som är av relevans för samverkan och utfallet av arbetet, hur processerna har utvecklats samt vad utfallet blev. 14

Tabell 1. Schematisk bild över förbättringsprocesserna samt tematik. Modellområde Förbättringsprocess Tematik Modellområde 1 Förbättringsprocess 1 Tidig upptäckt Modellområde 2 Förbättringsprocess 2 Skolnärvaro Modellområde 3 Förbättringsprocess 3 Skolnärvaro Modellområde 4 Förbättringsprocess 4 Förbättringsprocess 5 Skolnärvaro Skolnärvaro Modellområde 5 Förbättringsprocess 6 Spridning av en modell för multiprofessionella team Modellområde 6 Förbättringsprocess 7 Multiprofessionella team Modellområde 7 Förbättringsprocess 8 Förbättringsprocess 9 Multiprofessionella team Multiprofessionella team Vid utvärderingens inledning fyllde representanter för respektive förbättringsprocess i en enkät (bilaga 1) om samverkan med syfte att beskriva den gemensamma bedömningen av förutsättningarna för och nivån på samverkan inom förbättringsprocessen. Detta utgör baslinjen för mätningen av hur samverkan sedan kom att utvecklas. Vid utvärderingstidens slut fylldes den gemensamma enkäten i ytterligare en gång (kallad slutlinje) vilket gav möjlighet att studera hur respektive dimension av samverkan förändrats under förbättringsprocessens gång. En uppföljande (tredje) mätning av den gemensamma bedömningen av samverkan har gjorts i maj 2012 och kommer att redovisas i en kommande rapport. Vid utvärderingens inledning genomfördes även en s.k. partsspecifik enkät (bilaga 2) med syfte att mäta interna förutsättningar för samverkan utifrån deltagande parters perspektiv på samverkan och respektive verksamhets specifika horisont (se matris i figur 2, ovan). Ingen uppföljande mätning gjordes av denna partsspecifika bedömning av samverkan. De båda enkäterna följer samma struktur (men med ett något mindre antal påståenden i den partsspecifika enkäten) och innehåller indikatorer på hur samverkan fungerar inom de tre ovan nämnda dimensionerna Regelverk, Organisation och Synsätt (i enkäterna benämnda styrning, struktur och samsyn). I tabellen nedan redogörs för hur olika påståenden i den gemensamma enkäten har sammanförts till nio centrala aspekter av samverkan inom respektive förbättringsprocess. Vi återkommer till dessa nio aspekter när vi redovisar resultaten av enkäten för respektive förbättringsprocess. 15

Tabell 2. Matris över vilka enkätpåståenden som ingår i respektive område och aspekt för samverkan och som varit underlag för 9 faktorsanalys för varje förbättringsprocess. Område Aspekt Påståenden i enkäten REGELVERK (Styrning) Förankring Regelverk 1.a c, 3, 4, 10.a c 2, 5, 6, 7, 8 ORGANISATION (Struktur) Målformulering Resurser Kommunikation Organisation Dokumentation 9.a b, 11, 12 22, 23, 24, 25, 26.a b 13, 14, 15, 21.a b, 27 16, 17.a c, 18, 28, 29.a b, 30, 31, 43 32.a b, 33 SYNSÄTT (Samsyn) Synsätt Kunskap 34, 35, 36, 37, 38, 40 19, 20, 39.a c, 41.a b, 42 Som tidigare har nämnts har ytterligare ett instrument för mätning av samverkan har använts. Vid utvärderingens början fyllde representanter för respektive förbättringsprocess i en enkät som omfattade nio olika aspekter av samverkan. Sju av dessa (centrala aspekter av samverkan) var givna på förhand och två aspekter definierades av representanterna själva. Instrumentet (kallat Spindeln) är ett interaktivt instrument där den grupp av professionella som var knutna till respektive förbättringsprocess, i det följande kallade förbättringsgrupper, omedelbart erhåller feedback på svaren. Resultatet av Spindelmätningarna diskuterades av förbättringsgruppen och kommentarer som framkom bifogades tillsammans med respektive Spindel. Proceduren upprepades ca var tredje månad vilket gjorde att förbättringsgruppen kunde följa utvecklingen av samverkan löpande. Totalt genomfördes mätningar med detta instrument vid fyra tillfällen under utvärderingsperioden. Det bör framhållas att den gemensamma enkäten och Spindeln är två olika typer av mätinstrument och att de mäter delvis olika saker. Enkäten är ett försök att göra en detaljerad beskrivning av en lång rad olika aspekter av samverkan. Den används här av oss som externa utvärderare för att göra en mer ingående analys av samverkan. Spindeln är ett verktyg som tagits fram för att löpande användas av förbättringsgrupperna för att man internt ska kunna följa och diskutera hur samverkan utvecklas en typ av processtöd. Den innehåller som nämnts ett antal fasta alternativ men också förhållanden som respektive förbättringsgrupp själv väljer. Detta gör att det inte är möjligt att helt jämföra resultaten från de två instrumenten vare sig vad gäller nivå eller utveckling. Den tredje typen av datainsamling var en så kallad loggbok. Syftet med loggboken var att ge ett kvalitativt stöd för analysen och förståelsen av resultaten från enkäten och Spindeln. Loggboken var strukturerad så att förbättringsgruppen ombads att kommentera följande aspekter av samverkan: tillgång till resurser för samverkan ledningens stöd andra parters engagemang 16

samsyn kring arbetssätt kunskap om samverkansparterna regelverkens utformning informationsflödet mellan parterna händelser inom projektet och dess omgivning av betydelse för samverkan eventuella förändringar i målgruppen som påverkar samverkan I slutet av utvärderingsperioden genomfördes gruppintervjuer i form av telefonmöten med varje förbättringsgrupp. Underlag för gruppintervjuerna var den preliminära analys som utvärderarna hade gjort utifrån de resultat som ditintills fanns. Före mötet sändes de frågor som särskilt skulle diskuteras ut till respektive förbättringsprocess. Oklarheter reddes ut och på detta sätt erhölls ytterligare information om såväl samverkansprocessen som det systematiska arbetssättet, utfallet och bieffekter. En innehållsanalys gjordes av gruppintervjusamtalen, där meningsbärande enheter listades och kategoriserades enligt analysmodellen. Vid ett avslutande möte gjordes en avstämning. Utvärderarna gick då igenom och stämde av resultaten med företrädare för respektive förbättringsprocess. Denna validering av huvudresultaten ledde i vissa stycken till korrigeringar och kompletteringar. De resultat som redovisas nedan för respektive förbättringsprocess har således verifierats av motsvarande förbättringsgrupp. Det bör dock påpekas att det är de specifika slutsatserna för respektive förbättringsprocess som bekräftats på detta sätt och att den övergripande analysen alltså inte har diskuterats med förbättringsgrupperna. Sammanfattningsvis har följande datainsamlingsmetoder använts: enkäter (gemensam för förbättringsgruppen i respektive förändringsprocess samt partsspecifik) den s.k. Spindeln loggbok gruppintervjuer med förbättringsgrupperna kontinuerlig dokumentation av arbetsprocessen och utfallet feed back sammankomster med förbättringsgrupperna 17

Resultat och analys Utveckling av samverkan, processer och utfall i modellområdena Definitioner och förtydliganden I analysen nedan avses med utfall/utfallsmått de utfallsmått som förbättringsgrupperna själva i första hand definierat (t.ex. ökad andel närvaro i skolan) utifrån målen i förbättringsarbetet. Andra resultat inom målområdet, vid sidan av utfallsmåtten, som genererats via samverkan benämns bieffekter (eller sidoeffekter). En s.k. bieffektsmodell för bedömning av resultatet innebär att, utöver att identifiera de explicit uttryckta utfallsmåtten, även sådana resultat av arbetet som ligger inom målområdet granskas. Detta indikerar att effekterna är relaterade till målområdet och huvudeffekten (Vedung, 2002). Det rör sig alltså om resultat som bidrar till arbete i syfte att öka barns psykiska hälsa eller till att förhindra en försämrad psykisk hälsa. För att redovisa utveckling av processer och utfall i respektive modellområde har varje förbättringsgrupp själva fått rapportera in data till forskargruppen. Då datamängden ofta varit omfattande utgör data som presenteras i denna rapport endast exempel på data. I största möjliga mån kommer data som på bästa sätt fångar och illustrerar utvecklingen av utfall och processer att presenteras. De påverkansfaktorer som presenteras utgörs av förhållanden inom respektive förbättringsprocess och i den kontext dessa processer befinner sig, vilka påverkar samverkan respektive utfall i positiv alternativt negativ riktning och som framkommit under intervjuerna eller som har redovisats i loggboken. I beskrivningarna nedan av aktiviteter och insatser samt av valda process och utfallsmått har information hämtats från den logikmodell som tagits fram för respektive förbättringsprocess. Att arbeta med så kallad logikmodellering kan beskrivas som en teknik för att stödja planering, implementering och uppföljning av antingen en befintlig verksamhet eller ett utvecklingsarbete (Julian et al. 1995). Logikmodellerna har tagits fram av de parter som har kännedom om det problemområde som insatserna eller verksamheten är utvecklade för att lösa. Mått för utfall, processer (dvs. kontinuerliga rutiner inom ramen för arbetet) och aktiviteter identifieras och beskrivs visuellt enligt logikmodellen för att ge en samlad överblick. Förutsatt att logikmodellen förankrats i såväl verksamhet som ledningsstruktur utgör den en struktur för datainsamling och ger en samlad bild av det arbete som olika parter gemensamt har att utföra. Logikmodellen kan också ge förutsättningar för att identifiera och stämma av förbättringsprocessens fortskridande och utveckling. 18

Modellområde 1 Förbättringsprocess 1 Tematik Tidig upptäckt av barn som behöver stöd på grund av psykisk ohälsa Centrala samverkansparter Förskoleverksamhet (förskola och dagbarnvårdare) Socialtjänst Barn och ungdomspsykiatri Barnavårdcentral Demografiska uppgifter Kommunen har ca 12 000 invånare (2009) varav ca 3 000 (25 %) är barn och unga 0 25 år gamla (Källa: SCB) Mål och insatser inom förbättringsprocessen Målet med förbättringsprocessen är att tidigare upptäcka barn som är i behov av särskild hjälp och stöd på grund av psykisk ohälsa. Utgångspunkten för arbetet är ett antagande om att tiden från att oro för ett barn uppstår till en insats i förskolan görs kan förkortas. En förkortning av tiden kan bli möjlig genom att dels utbilda berörd personal och dels ge dem verktyg för att tidigare upptäcka problem hos ett barn. Vidare bör återkoppling ske till personal som (tidigare) upptäcker barn som på grund av psykisk ohälsa behöver hjälp och stöd. Kommunens Barnhälsoteam (BHT) för barn 0 6 år utgör en av de centrala parterna i förbättringsarbetet. Vid oro för ett barn kan man vända sig till BHT som förälder, som personal inom förskoleverksamheten eller som personal inom barnhälsovården. Teamet träffas en gång i månaden då man har bjudit in en familj för att diskutera ett barns situation och komma överens om insatser för barnet. I teamet sitter samordnare för Familjecentrum, BVC sköterska, läkare, psykolog för mödra och barnhälsovård samt verksamhetschef för barnomsorgen. Med förskoleverksamhet avses förskolans personal samt kommunens dagbarnvårdare. Tre kommunala förskolor och samtliga åtta dagbarnvårdare i kommunen har deltagit i förbättringsarbetet. Inom ramen för förbättringsprocessen har olika aktiviteter och insatser genomförts med syfte att uppnå målet att tidigare upptäcka barn i behov av särskild hjälp och stöd på grund av psykisk ohälsa: Information till personal i förskola och på vårdcentral om anmälningsplikten till socialtjänsten och möjligheten till hänvisning till BHT 19

Rutiner har upprättats för återkoppling efter anmälan till socialtjänst, remittering till BUP och hänvisning till BHT Utbildning av samtlig personal i förskoleverksamheten i bedömningsinstrumentet ESTER (ett bedömningsinstrument för normbrytande beteende) samt utbildning av viss personal i ICDP (International Child Development Program), även kallat vägledande samspel Process och utfallsmått Inom förbättringsprocessen har man haft för avsikt att studera ett antal processer som på olika sätt varit centrala i förbättringsarbetet 2. Dessa har handlat om att mäta: antalet nya ansökningar, anmälningar och hänvisningar till socialtjänst, BHT och BUP andel av personalen som tagit del av informationen enligt ovan på vårdcentralen och i förskoleverksamheten andel av personal i förskoleverksamheten som deltagit i utbildning om ESTER antalet återkopplingar från socialtjänst, BHT och BUP i samband med anmälningar, hänvisningar och remitteringar För att mäta grad av måluppfyllelse i arbetet har man valt att fokusera följande utfallsmått 3 : tiden från det att barnet haft problem till föräldrarna söker hjälp (via enkät till BUP, BHT och socialtjänst) tiden från att personal i förskoleverksamheten upplever ett problem till problemet aktualiseras (via enkät till personal i förskoleverksamheten) personalens i förskoleverksamheten kännedom om (i) vart de ska vända sig vid oro för barns psykiska hälsa/situation i hemmet/situation på förskolan samt personalens kunskap om (ii) vilka aktörer förskolan samverkar med vid oro för barns psykiska hälsa/ situation i hemmet/situation på förskolan 2 Avseende processmått och redovisning av data presenteras nedan även andra data som funnits tillgängliga och som bedömts ha relevans för det övergripande förbättringsarbetet inom förbättringsprocessen. 3 Avseende utfallsmått och redovisning av data presenteras nedan även andra data som funnits tillgängliga och som bedömts ha relevans för det övergripande förbättringsarbetet inom förbättringsprocessen. 20

Hur har samverkan utvecklats? Spindelmätningar och kommentarer Som framgår av figuren nedan kan vi se en minskning av upplevt stöd och engagemang från ledningshåll mellan den första och fjärde spindelmätningen. Samtidigt har kunskapen om barns psykiska hälsa och hur man ska hantera sin egen oro för denna ökat avsevärt och stora förbättringar har skett vad gäller harmonieringen av parternas olika regelverk. Kunskapen om varandra (dvs. kunskapen om övriga samverkanspartners) samt samsynen kring arbetssättet inom förbättringsarbetet har också utvecklats i positiv riktning. Figur 5. Utvecklingen av samverkan, spindelmätning 1 (streckad linje) respektive 4 (heldragen linje). Enkät I de båda följande tabellerna visas den gemensamma bedömningen av utvecklingen av samverkan inom förbättringsprocessen genom att resultaten från bas till slutlinjemätningarna redovisas. Analysen baseras på tre områden respektive nio aspekter av samverkan 4, i det följande kallade 3 faktorsanalys respektive 9 faktorsanalys. 4 En komplett redovisning av vilka påståenden som ryms inom respektive aspekt återfinns i tabell 2 och enkäten finns i bilaga 1. 21

Tabell 3. 3 faktorsanalys av samverkan i förbättringsprocess 1 (medelvärde visas). Baslinje Slutlinje REGELVERK 1,6 2,5 ORGANISATION 1,7 3 SYNSÄTT 1,2 2 Tabell 4. 9 faktorsanalys av samverkan i förbättringsprocess 1 (medelvärde visas). Aspekt Baslinje Slutlinje REGELVERK Förankring 2,1 3,0 Regelverk 0,5 2,2 ORGANISATION Målformulering 3,8 3,3 Resurser 0 2,3 Kommunikation 1,2 2,5 Organisation 1,6 3,0 Dokumentation 0,7 3,0 SYNSÄTT Synsätt 2,0 2,7 Kunskap 1,0 1,6 Resultatet visar en positiv utveckling av samverkan med på sina håll mer än fördubblade medelvärden. Av 3 faktorsanalysen (tabell 3) framgår att värdena inom samtliga tre områden av samverkan förbättrats. Den största utvecklingen har skett beträffande organisatoriska och strukturella förhållanden. Det har bland annat skett en klar förbättring avseende möjligheterna till verksamhetsövergripande möten på olika nivåer. Sådana möten förekom inte alls enligt baslinjemätningen medan man alltså senare i mycket stor utsträckning har möjliggjort denna typ av möten på ledningsnivå. Av tabell 4 framgår att det skett en kraftig ökning avseende aspekten regelverk (dvs. att t.ex. befintliga regelverk granskats med syfte att identifiera eventuella hinder för samverkan). Intervjuer och loggbok Nedan sammanfattas de faktorer vilka utifrån loggboksanteckningar och genomförd intervju med förbättringsgruppen uppges ha haft negativ respektive positiv inverkan på samverkan inom förbättringsprocessen. 22