Projektet Systematiska bedömningsinstrument är en del av Nationellt stöd för kunskapsutveckling inom socialtjänsten. Tillförlitlighetsaspekter på bedömningsinstrument Sammanfattning från workshop den 22 april 2002 Denna tredje workshop inom ramen för projektet Systematiska bedömningsinstrument handlade om ett antal frågor av vetenskaplig karaktär. Hans Bergman, professor vid Magnus Huss klinik, Karolinska institutet och Bengt-Åke Armelius, professor vid Psykologiska institutionen, Umeå universitet, delgav sina erfarenheter och kunskaper. Frågorna berörde olika typer av instrument såväl som metodologiska överväganden vid konstruktion och val av befintliga instrument. Hans Bergman: Systematiserad kunskap är en nyckel till en utvecklad profession Idag ökar intresset hos forskning och praktik inom socialt arbete att använda standardiserade bedömningsmetoder för att få systematiska underlag vid bedömning av lämplig insats. Det ökade intresset har flera orsaker. För att kunna lägga upp ett behandlingsprogram/välja modell måste man ta reda på klientens behov och förutsättningar samt relevanta egenskaper och förhållanden. Man måste ha en baslinje för att avgöra om en behandlingsinsats lett till önskat resultat när man sedan följer upp en klient efter behandlingens avslutande. Detta gäller även på gruppnivå då en behandlingsmodell ska utvärderas eller flera behandlingsmodeller ska jämföras med varandra. Om man avser att jämföra till exempel olika grupper med missbruksproblem (kvinnor-män, yngre-äldre, typ av missbruk och så vidare) behövs också standardiserade bedömningsmetoder. Slutligen behövs sådana metoder när man skall återkoppla resultaten till klienten. Detta är inte bara normal hövlighet utan också intresseväckande och motivationsskapande för klienten. Ett varningens ord bör höjas mot att reservationslöst börja använda en metod/ett instrument. Överväganden om alternativa metoder bör göras. Man bör se sig om internationellt, kanske finns bra instrument att översätta och kvalitetssäkra för svenska förhållanden. Så är fallet med de flesta instrument som används inom missbrukarvården. ASI (Addiction Severity Index) är ett exempel som har visat sig fungera med ett brett perspektiv. ASI ger information om problemtyngden hos en klient, vilket är en förutsättning för att få en grund för ett bra behandlingsprogram. Instrumenten skiljer sig i form och innehåll, beroende på syfte. Vissa kräver tid och utbildning och kan därmed bli kostsamma. Andra metoder är enkla att genomföra och tolkningen av resultat är given. Inte sällan kombineras olika instrument. De bredare ger information om problemtyngd, och kan kompletteras med instrument som ger en djupare bild av ett problemområde, till exempel missbruk, psykisk hälsa och social situation. ASI kan till exempel användas för att se vilka ytterligare test som behövs. AUDIT (The Alcohol Use Disorders Identification Test) är en
enkel metod som tar max 5 minuter att genomföra (självskattning av klienten). Det finns en manual för beräkning av poäng och därmed problembedömning. Instrumentet har kvalitetssäkrats med avseende på förmåga att identifiera personer med alkoholproblem. Sådana instrument finns internationellt inom flera problemområden inom socialt arbete. I de instrument som finns ligger tonvikten på aktiv medverkan från klienter, genom att de svarar på intervjufrågor eller själva fyller i en skala. Förutsättningar för ett bra resultat är att utföraren verkligen kan metoden, men också att det skapas ett gott klimat, bland annat för att undvika felkällor hos klienten genom att ta hänsyn till sådant som abstinens, dagsform samt tendenser att vilja ge en positiv bild av sig själv. Ytterligare förutsättningar är att frågor formuleras så att de inte missförstås, de ska till exempel vara klart formulerade och dubbla negationer ska undvikas. När görs vilken typ av bedömning? Bedömning kostar pengar i termer av tid och kompetens. Därför bör man ligga på rätt nivå och varken samla in för mycket eller för lite information. Man måste alltså vara klar över syftet med bedömningen och vilken typ av uppgifter man behöver samla in. Inom missbrukarvården har man identifierat fyra steg: 1. Identifiering av en potentiell eller etablerad missbrukare med hjälp av en snabb och enkel metodik, till exempel AUDIT; 2. Problembedömning, det vill säga en närmare utredning av hur missbruksproblematiken ser ut, till exempel ASI. Detta steg tar längre tid och ställer högre krav på bedömningen; 3. Personbedömning, där man gör en bedömning av klientens övriga för behandlingsuppläggningen relevanta sociala, medicinska och psykologiska förhållanden. Här behövs ofta specialinsatser; 4. Uppföljning av behandlingsresultatet vid en senare tidpunkt. Hur får man bra kvalitet i sina bedömningar? En förutsättning för val av lämplig behandlingsmodell och adekvata hjälp- och stödinsatser är givetvis att klientuppgifterna är riktiga och trovärdiga. Det finns en rad olika felkällor i den här typen av bedömningar som beror på endera klienten (t. ex. berusad, svårt abstinent, olika svarsstilar ), metoden i sig (t. ex. oklara frågor och dubbla negationer) eller bedömaren ( t. ex. saknar empati eller tillräcklig färdighet i metodiken). Dessa felkällor måste man försöka eliminera så långt som möjligt. För att få riktiga klientuppgifter måste metoderna vara kvalitetssäkrade, det vill säga vara dokumenterat tillförlitliga, relevanta och användarvänliga. Bengt-Åke Armelius: Tillförlitlighetsaspekter på utveckling av instrument Många s.k. psykometriska metoder (som beskrivs nedan under rubriken skalor ) är hybrider mellan instrument och människa. ASI använder sig t.ex. både av standardiserade frågor och socialarbetarens respektive klientens bedömning av en situation. På detta sätt öppnar man dörren mot kunskap åt två håll. Vi är duktiga till vardags att kategorisera direkt, att snabbt uppfatta en situation. Risken för felslut är dock stor. Kunskapen som utvinns via systematik skall vara explicit och den skall vara relaterad till normgrupper. En stor fördel med den tekniska kunskapen är att den blir möjlig att sammanställa. Utveckling och användning av instrument för detta är en nyckel till en utvecklad kunskapsmängd. Ett instrument i sig är
emellertid ingen lösning, data som utvinns måste också bearbetas. Gemensam datorbearbetning ger en samlad kunskapsmängd en accelererad kunskap. Det finns flera viktiga frågor att ta sig an för att skapa tillförlitliga resultat av uppföljningsarbete. Det handlar om: Design, det vill säga hur man lägger upp sin datainsamling. En bedömning i sig innebär att en klients utgångsläge mäts. Hur ser problemet/behovet ut? För att göra en andra bedömning, om en förändring inträffat i klientens liv, genomförs en uppföljande mätning med samma instrument efter insats en före- efter- mätning. Det är sannolikt den rimliga designen för den kontinuerliga uppföljningen inom det individuella klientarbetet. Man får en grund för att besvara frågan om klientens situation har förbättrats. Har man som syfte att bedöma resultat av en insats, måste man ha vissa kvalitetskrav på uppläggningen av datainsamlingen för att det ska bli möjligt att bedöma om insatsen i sig bidragit till förändring eller ej. Det betyder, på samma sätt som ovan, att datainsamling ska genomföras före såväl som efter insatsen. Dessutom behöver man i det fallet använda en kontrollgrupp. En randomisering är ett gott kvalitetskriterium, det vill säga att ur en grupp personer dras ett slumpmässigt urval som får insatsen, medan övriga inte får någon insats, alternativt får en traditionell insats eller får avvakta ett senare tillfälle. Ofta är det naturligtvis inte möjligt att göra randomisering inom det sociala arbetets domän. Därför måste man många gånger välja en annan form av kontrollgrupp, till exempel en skolklass om insatsen som ska utvärderas riktar sig till ungdomar i en viss åldersgrupp eller familjer vid en barnavårdscentral om det handlar om insatser för småbarnsfamiljer. Reliabilitet, det vill säga graden av mätfel. För att få tillförlitliga resultat gäller det att undvika så många fel som möjligt vid mätningar. Man kan kontrollera att det finns konsistens över tid (frågorna uppfattas likadant vid olika tidpunkter). Man kan kontrollera itemområde (ett antal frågor inom ett problemområde mäter samma sak) och man kan kontrollera att olika bedömare är överens om tolkningen av svar, uppträder likartat med mera? Reliabiliteten kan uppskattas med hjälp av test-retestmetoden. Validitet handlar om att det instrument man använder faktiskt mäter det man avser att mäta. Ett sätt att kontrollera validitet i ett nytt instrument är att samtidigt använda ett instrument som tidigare testats och som avser att mäta samma sak. Därefter jämförs resultaten och om resultaten från de båda instrumenten korrelerar (stämmer överens), kan man anta att instrumentet under test har god validitet. Att sätta resultaten i relation till tidigare kunskap inom det aktuella området är ett ytterligare sätt att validera ett instrument. Man behöver alltså en referens för att kunna bedöma validiteten. Använder man instrument som sedan tidigare prövats och har hög validitet, ska man kunna lita på detta. Skalor Många instrument inom psykiatri och klinisk psykologi innehåller skalor. Den formen kommer säkerligen också att användas i högre utsträckning inom det sociala arbetet. Det innebär att en klient eller en bedömare skattar graden av problem alternativt positivt tillstånd på en skala. En mätning genomförs.
Mätning kan ske på olika nivåer. Nominalskala: klassifikation ex. nummer i fotbollslag Ordinalskala: rangordning ex. prispall 1-2 - 3 Intervallskala: lika skalsteg ex. Celsius termometer Kvotskala: Nollpunkt med lika skalsteg ex. längd i cm Det är framförallt ordinalskalor och intervallskalor som är viktiga i samband med bedömningsinstrument. Att ta fram en skala för en instrumentkonstruktion är det första man bör göra. Ett vanligt tillvägagångssätt är att utgå från en ordinalskala och behandla den som en intervallskala. Konstruktion av instrument Det finns i princip tre olika sätt att gå till väga när man saknar ett tillförlitligt instrument. Man kan antingen göra ett eget, man kan översätta ett utländskt instrument eller man kan revidera ett gammalt instrument. Konstruera ett eget instrument Att konstruera ett eget instrument är ofta den enda utvägen. Instrumentet bör då betraktas som en utvecklingsprodukt till dess man kunnat testa dess validitet och reliabilitet. Genomsnittlig tid är ca 2 år och man måste ha några hundra testpersoner innan man kan börja de psykometriska testen. Definiera begrepp som en skala Klassisk mätteori föreskriver att man skall mäta ett begrepp (till exempel intelligens eller relationer i familjen) med flera item (frågor, påståenden) som mäter samma sak. Då gäller att ju fler item som mäter samma sak, desto säkrare mätning. Upprepade mätningar är nyckelord eftersom man inte kan göra perfekta mätningar på en gång. Skalor kan definieras i förväg om man vet vad man är ute efter. De kan också konstrueras i efterhand med hjälp av t.ex. faktoranalys. Det finns metoder för beräkning av överensstämmelse mellan items, till exempel Cronbachs alpha. Ofta har man inte ett väldefinierat begrepp och därför kan en enkät bli väldigt dålig ur psykometrisk synpunkt. En fördel med att ha ett väl definierat begrepp är att man kan mäta det på olika sätt och ändå vara någorlunda säker på att det är samma fenomen man studerar. Depression kan till exempel mätas med ett flertal olika test och man kan med vart och ett vara ganska säker på att det är depressiva tankar och känslor som mäts, eftersom testen korrelerar högt med varandra.
Begrepp Instrument Item Översätta ett instrument Att översätta ett instrument som redan konstruerats på ett annat språk är ofta det bästa sättet att komma igång. Då får man också del av den kunskapsmassa som samlats in med hjälp av instrumentet. Det finns dock problem med kulturskillnader. Översättningar måste också prövas ut för att se om man har lyckats återskapa instrumentet och dess mätegenskaper på det nya språket. Man måste ställa sig frågan om man kan säga att ett instrument som översatts och kulturanpassats fortfarande mäter samma sak som ursprunget? Begreppsligt kanske det är tveksamt, men man kan undersöka dess egenskaper och sambandsmönster empiriskt. Vilket är viktigast vid en översättning begreppsöverensstämmelse eller itemöverensstämmelse? Det är viktigt att fastställa validitet och reliabilitet. Revidera befintliga instrument Ibland kan det verka nödvändigt att förändra ett instrument. Det är då viktigt att fundera över varför man byter version av instrument. En risk är att man förlorar i kunskapsmängd, då jämförelsen med tidigare användning av instrumentet går förlorad. Ett instrument med många items (frågor) är mindre känsligt med förändring av enstaka item. Ibland kan man kanske lägga vissa farhågor åt sidan och pröva ändå med det ursprungliga instrumentet. Tänk på följande när en revidering av instrument genomförs Begreppens innebörd kan förändras Instrumentet kan få sämre mätegenskaper Krävs ny standardisering vid revision? Detta har att göra med hur stor förändringen är. Förlorar man kunskapsmassan? Kan finnas risk Vad betyder det att brister finns? Leder det till sämre resultat? Växelverkan teori empiri En fruktbar modell för kunskapsutveckling baseras på en växelverkan mellan teori och empiri. Man kan förmodligen aldrig göra ett instrument som är färdigt - lika lite som ett begrepp som är färdigt! Tiden ändrar på begreppens innebörd, t.ex. intelligens skall också inkludera social eller emotionell intelligens i dag, inte bara de gamla kategorierna verbal, logisk etc. Vissa frågor får man ändra därför att de inte mäter vad som avses, trots att de har bra mätegenskaper.