Men hur trovärdig är studien egentigen?

Transkript

1 Men hur trovärdig är studien egentigen? Hur skakig får en utvärdering vara? Sent i våras publicerades rapporten Utvärdering av Socialtjänstens och Ideella kvinnojourers insatser för Våldsutsatta kvinnor (Karolinska institutet och Forskningscentrum för psykosocial hälsa 2011) på Socialstyrelsens hemsida. Där avrapporteras en utvärdering som gjorts på uppdrag från Socialstyrelsen och under ledning av Anders Tengström vid Karolinska Institutet. Rapporten innehåller mycket intressanta data om kvinnor som utsatts för våld av sin partner. Det visar sig bland annat att många av dem en lång tid efter att de blivit utsatta för våld fortfarande har avsevärda psykiska problem oavsett om de fått hjälp eller inte. Det empiriska materialet är omfattande, sammanlagt ingår drygt 550 kvinnor i studien och utvärderarna har samlat in mängder av data om dem. Man förstår att det ligger en stor arbetsinsats bakom rapporten. Mer problematiskt är de slutsatser som dras om effekterna av socialtjänstens och de ideellt arbetande kvinnojourernas insatser. Från Socialstyrelsens sida formulerar man sig så här när resultaten presenteras i rubrikform: Insatser för våldsdrabbade kvinnor och barn utan effekt och vidare Vi kan inte se att insatserna har haft effekt alls på den psykiska hälsan får mammorna efter ett år. Tillståndet för kvinnorna utan insatser förbättrades i liknande utsträckning. Däremot var de berörda mycket nöjda med de insatser de fått, säger Knut Sundell, chef på Socialstyrelsens enhet för kunskapsutveckling (Socialstyrelsens hemsida, ). Rapportförfattarna själva är, som vi skall se, något mer försiktiga i sina resonemang men hamnar till syvende och sist i motsvarande slutsats. Jag menar att rapporten inte kan ligga till grund för Socialstyrelsens slutsats. Det är viktigt att den starka men felaktiga konklusionen inte får stå oemotsagd. Ska man tro Socialstyrelsen visar utvärderingen att kvinnojourer och andra former av stöd för våldsutsatta kvinnor är mer eller mindre verkningslösa, men för det finns inte tillräckligt starka belägg i utvärderingen. I förlängningen kan felaktiga slutsatser av detta slag riskera att drabba våldsutsatta kvinnors möjlighet till stöd och hjälp. Skälen till min kritik är framförallt metodologiska svagheter i undersökningen, så min argumentation måste bli en smula teknisk. Det ideala ur vetenskaplig synpunkt hade varit att göra ett randomiserat experiment, dvs. att lotta ett antal kvinnor ur samma population (i detta fall sådana som har blivit utsatta för våld av manlig partner i en nära relation) till en experimentgrupp, där de får den intervention man vill undersöka effekten av, och en kontrollgrupp som inte får någon intervention alls eller en annan intervention. Syftet med lottningen (randomiseringen) är att göra grupperna likvärdiga inledningsvis. På så sätt kan eventuella skillnader i utfall antas bero på olikheter i behandlingen, inte på hur grupperna Att göra randomiserade experiment med våldsutsatta kvinnor är knappast etiskt försvarbart och dessutom praktiskt komplicerat. Rapportförfattarna väljer istället, med rimliga argument, ett kvasiexperiment. Konststycket med kvasiexperiment där kontroll- och experimentgrupp inte kommer ur samma population, är att se till att de som får interventionen är så lika jämförelsegruppen som möjligt när interventionen inleds, eller att kontrollera bort olikheterna med hjälp av så kallade multivariata statistiska metoder. Möjligheterna till statistisk kontroll är emellertid högst begränsade om man inte känner till eller inte bryr sig om väsentliga faktorer som kan påverka utfallet. I detta fall utgörs interventionsgruppen av kvinnor som har sökt hjälp hos socialtjänst eller kvinnojourer. Jämförelsegruppen består av kvinnor som svarat på en annons i pressen där forskarna önskat få kontakt med våldutsatta kvinnor som inte fått hjälp av socialtjänst eller kvinnojour, åtminstone inte under det senaste året. Vid en förmätning testas kvinnorna med ett batteri av väletablerade bedömningsinstrument, sedan återkom mer man till dem efter ett år med en uppföljning som i stort sett innehåller samma test. Vad betyder det att kvinnorna i interventions- respektive jämförelsegruppen har rekryterats på så olika sätt? Interventionsgruppen har sökt hjälp och i vissa fall skydd för att de tycker att de behöver det, medan jämförelsegruppen inte sökt h jälp eller skydd från socialtjänst eller kvinnojourer. Vi får inte veta mycket om varför de i jämförelsegruppen inte

2 sökt hjälp, men kanske kan man göra en del antaganden. Det kan t ex ha att göra med att dessa kvinnor tycker att de kan klara sig själva med hjälp av sitt nätverk eller kanske att de (rätt eller fel) inte mår så dåligt att de behöver professionell hjälp. Data från utvärderingen talar i det här fallet för att det är så, det verkar som om jämförelsekvinnorna mår bättre och att de har ett starkare nätverk än kontrollgruppen (se Tabell 3). Viktigast av allt: när man frågar kvinnorna i jämförelsegruppen uppger 46 procent att de inte har behov av sådan hjälp. Det verkar alltså som om det finns en stor undergrupp som faktiskt inte upplever att de skulle vara betjänta av den hjälp som socialtjänsten eller kvinnojourerna kan erbjuda? Är det så, och mycket talar för det, är det inte lämpligt att jämföra dessa grupper för att få svar på frågan om interventioner har effekter: Den ena gruppen behöver ju interventioner i mindre utsträckning än den andra. Att grupperna rekryterats ur olika populationer visar sig också i att grupperna verkligen är mycket olika varandra. Interventionsgruppen utmärks av en påtagligt högre andel utrikes födda personer (86% mot 49% i jämförelsegruppen), en betydligt lägre andel högutbildade (28% universitetsutbildade mot 52% i jämförelsegruppen) och en avsevärt lägre sysselsättningsgrad (34% mot 54%) än jämförelsegruppen. Interventionsgruppen hade således sammantaget en betydligt sämre ekonomisk och social situation. På basis av så stora skillnader i det utvärderarna faktiskt har mätt får man utgå från att det finns stora skillnader också i det man inte mätt, men som ändå kan tänkas påverka utfallet. Således: grupperna är när det gäller socioekonomiska variabler så olika vid förmätningen att det knappast är meningsfullt att använda dem för att säga något om resultat för interventionsgruppen i förhållande till jämförelsegruppen. Vi1ka är då resultaten? Utvärderarna kan notera påtagliga förbättringar för interventionsgruppen framförallt för psykisk hälsa när de jämför siffrorna vid förmätning med uppföljningen. Kvinnorna mådde helt enkelt bättre psykiskt efter ett år, även om många av dem fortfarande mådde dåligt. Interventions- och jämförelsegruppen förbättras dock i ungefär lika hög grad. I huvudsak på basis av det sistnämnda konkluderar Socialstyrelsen alltså Vi kan inte se att insatserna har haft effekt alls på den psykiska hälsan för mammorna efter ett år: Tillståndet för kvinnorna utan insatser förbättrades i liknande utsträckning. En sådan slutsats bygger på att man kan göra troligt att jämförelserna mellan grupperna är relevanta. I själva verket tyder mycket på att kvinnorna i jämförelse- respektive interventionsgruppen hade mycket olika förutsättningar, såväl när det gäller sociala och ekonomiska villkor som faktiska hjälpbehov. Kan man då inte genom att konstanthålla för de variabler där man känner till att det finns skillnader, se om interventionerna är effektiva eller ej? Det försöker utvärderarna göra och de konstaterar på basis av en sådan analys att det i det stora hela inte blir några skillnader i utfall mellan interventions- och jämförelsegrupp 1. Som framgått förutsätter dock detta att det inte finns betydelsefulla faktorer som man missat ide statistiska modellerna och som skulle kunna förvrida resultaten. Det viktigaste i detta avseende kan, som jag pekat på, vara att kvinnorna i jämförelsegruppen faktisk inte sökt hjälp och därför kanske inte heller behöver den. Men det är bara ett av många möjliga antaganden. För att övertyga läsarna om att det kvasiexperimentella upplägget fungerar måste utvärderarna visa att grupperna är tillräckligt lika eller att man med trovärdighet kan kontrollera bort för utfallet relevanta skillnader. Det lyckas man helt enkelt inte med. När rapportens författare under rubriken Begränsningar diskuterar resultaten framskymtar en viss medvetenhet om de ovan beskrivna bekymren. Så här skriver man Den viktigaste begränsningen är att detta är en observationsstudie och inte en experimentell studie. Därmed är det osäkert om kvinnorna i de undersökta grupperna är i genomsnitt lika vid förmätningen. Om det finns initial skillnad, selektion, kan den helt eller delvis förklara eventuella skillnader vid uppföljningen efter ett år. Den jämförelsegrupp som använts i studien, våldsutsatta kvinnor som valt att inte kontakta skyddat boende eller öppenvård, skiljer sig delvis från dem som ingår i utvärderingen. Möjligheten att generali- 1 I detta avseende är tabeller och text mycket förvirrande. l själva verket har kvinnorna signifikant förbättrats i förhållande till jämförelsegruppen om man skall tro text och tabell på s 27. Å andra sidan beskrivs förändring i våldsutsatthet som signifikant i tabell och ej signifikant i text (s ). Jag kan förstås ha missuppfattat detta. Flera tabeller och textavsnitt saknar väsentlig information och innehåller felaktigheter som påtagligt försvårar läsning av rapporten.

3 sera och uttala sig om effekter av interventionerna blir därför begränsad. Det är emellertid inte osäkert om kvinnorna är olika vid förrnätning, författarna har ju tydligt visat an de i hög grad är det. Viktigt i detta sammanhang är att de problem som redovisas i denna del av texten saknas i rapportens sammanfattning och att de är helt bortblåsta i Socialstyrelsens tolkning av resultaten. Också i andra avseenden lämnar utvärderingen mycket övrigt att önska. Om man skall kunna hävda att en intervention inte är verksam är det helt grundläggande att man vet vad det är för intervention det är frågan om. Man brukar tala om att man inte får blanda samman äpplen och päron. Här är det i själva verket så att man jämför en stor korg med blandad frukt med en annan korg med blandat innehåll. I interventionsgruppen skiljer sig insatserna mycket åt, här finns professionella insatser såväl som ideella, skyddat boende såväl som kontakt med socialtjänsten osv, utan att det verkar finnas några gemensamma teoretiska eller metodologiska likheter. Åtminstone presenterar inte utvärderarna några sådana. När man säger att interventionerna i genomsnitt inte fungerar kan det med andra ord i själva verket vara så att de flesta insatser är utmärkta medan några få drar ned snittet eller naturligtvis lika gärna tvärtom. Sällan har metaforen om risken att kasta ut barnet med badvattnet varit så relevant som i detta fall. När man kommer till slutet av rapporten får man, till sin förvåning, reda på att också gruppen utan intervention fått interventioner! Mest förekommande var stöd från den somatiska sjukvården, men nästan hälften hade haft kontakt med psykiatrin under uppföljningstiden. Vad hjälpen mer i detalj bestått av framgår inte, men det kan rimligen inte förstås på något annat sätt än att delar av den ''interventionslösa jämförelsegruppen faktiskt fått hjälp. Hjälpen kanske till och med liknar den som interventionsgruppen fått del av. Jämförelsegruppens relevans som referenspunkt decimeras således än mer. Har en sådan här rapport någon betydelse, skall man bry sig om den? Ja det skall man nog. Kanske kan den leda till att stödet till kvinnojourernas verksamhet dras ned eller att kommunpolitiker blir tveksamma till sina satsningar på att h jälpa våldsutsatta kvinnor. Det blir särskilt allvarligt om det drabbar det direkta skydd som kvinnorna kan få via de undersökta verksamheterna. Just skyddsaspekten - att kvinnorna för en tid kan leva i trygga miljöer eller på annat sätt kan få hjälp att komma ifrån misshandeln - glöms nära nog bort i rapporten som koncentreras till hur deras psykiska välmående förändrats efter en ganska kort tid. Det tar tid att mer noggrann sätta sig in i en sådan här rapport - särskilt som den är både svårgenomtränglig och motsägelsefull. Sannolikt läser de flesta inte mer än Socialstyrelsens sammanfattning. I såväl den mediala rapporteringen som i bloggar och andra internetbaserade forum verkar de flesta nöja sig med att citera Socialstyrelsens negativa slutsats, med i bästa fall en klickbar referens till rapporten. Att verksamheterna på lösa grunder får dåligt betyg är särskilt olyckligt mot bakgrund av att de våldsutsatta kvinnorna själva är så utomordentligt nöjda med den hjälp de fått. På de flesta av utvärderarnas frågor ligger de positiva svaren kring 90 procent och så många som 99 procent av dem som fått del av öppenvården menar att de fått hjälp att hantera/lösa dina problem på ett bättre sätt. Vi får väl hoppas att dessa kvinnors ord väger tyngre än en mycket skakig utvärdering. Tommy Lundström Professor