Bedömning av unga med eller i riskzonen för normbrytande beteende: En studie av ESTER-bedömnings interbedömarreliabilitet.

Transkript

1 Bedömning av unga med eller i riskzonen för normbrytande beteende: En studie av ESTER-bedömnings interbedömarreliabilitet Sammanfattning Unga med normbrytande beteende löper en relativt hög risk för en långvarig negativ utveckling. För att förhindra detta krävs tidiga effektiva insatser som i sin tur kräver tillförlitliga bedömningsinstrument som identifierar risker och behov hos unga med, eller i riskzonen för normbrytande beteende. Just detta är syftet med ESTER-bedömning. Föreliggande studies syfte var att undersöka interbedömarreliabiliteten av ESTER-bedömning inklusive en ny kandidatskala för riskfaktorerna. Två oberoende bedömare genomförde ESTER-bedömningar på journalmaterial tillhörande 30 tvångsomhändertagna flickor, år. Resultaten visar en spridning mellan bristfällig till mycket bra interbedömarreliabilitet på de 19 risk- och skyddsfaktorerna i ESTER-bedömning, med få fall av total oenighet mellan bedömarna. En jämförelse mellan den befintliga skalan och kandidatskalan visade marginella skillnader. Vidare forskning av interbedömarreliabilitet för ESTER-bedömning bör testa skalorna var för sig och inkludera intervjuer som informationskälla. Nyckelord: Normbrytande beteende, interbedömmarreliabilitet, ESTER-bedömning Eva Bergquist & Marja Rudenhed Handledare: Henrik Andershed Psykologi, avancerad nivå Termin 10, VT 2010 Örebro universitet 1

2 ESTER-bedömnings interbedömarreliabilitet 2 Assessment of youths with or at risk for normbreaking behavior: A test of the inter-rater reliability of ESTER-assessment 1 Eva Bergquist & Marja Rudenhed School of Law, Psychology and Social work Örebro University Abstract Youths with normbreaking behavior is at higher risk for a negative development. To prevent this, there is a need for reliable assessments that can identify risk and need for youths with, or at risk for normbreaking behavior. This is the purpose of ESTER-assessment. This study evaluated the inter-rater reliability of two different scales in ESTER-assessment. Two independent judges conducted ESTERassessment on case files of 30 institutionalized girls, aged years. The results revealed poor to excellent agreement and few cases of total disagreements. The two different scales showed a minimal difference. In further research of the inter-rater reliability of ESTER-assessment there is a need for testing the two scales separately and to include interviews as a source of information. Keywords: Normbreaking behavior, inter-rater reliability, ESTERassesment. 1 Psychology program, spring term Supervisor: Henrik Andershed

3 ESTER-bedömnings interbedömarreliabilitet 3 Vi vill tacka Alla flickor som ställt upp och delat med sig av sina journaler Henrik Andershed för mycket konstruktiv och inspirerande handledning Personalen på SiS-instutionen för deras hjälpsamhet Karin Engelholm för administration bakom kulisserna Lars Johansson för ett granskande öga Richard Ahlberg för goda råd på vägen

4 ESTER-bedömnings interbedömarreliabilitet 4 Bedömning av unga med eller i riskzonen för normbrytande beteende: En studie av ESTER-bedömnings interbedömarreliabilitet De som i unga år debuterar i normbrytande beteende löper en relativt hög risk att gå en negativ utveckling till mötes (Krohn, Thornberry, Rivera & Le Blanc, 2001; Snyder, 2001). För att förhindra detta krävs tidiga insatser och tillgång till bedömningsinstrument som kan hjälpa den professionelle att tidigt identifiera risk och behov hos unga med, eller i riskzonen för normbrytande beteende. I föreliggande studie testas den så kallade interbedömarreliabiliteten (dvs. samstämmigheten mellan två oberoende bedömare) för bedömningsinstrumentet ESTER-bedömning (Andershed & Andershed, 2008b, in press), vars syfte är att vara ett verktyg för professionella i bedömningen av risk- och skyddsfaktorer bland barn och unga med, eller i riskzonen för normbrytande beteende. Beteenden som bryter mot normer och regler i den miljö individen befinner sig kan definieras som normbrytande beteende (Andershed & Andershed, 2005). Normbrytande beteende kan vara aggressiva beteenden mot människor och djur; att slå andra eller plåga djur. Det kan också handla om icke-aggressiva beteenden som att bryta mot föräldrars regler, skolka, stjäla och vandalisera (Andershed & Andershed, 2005). I forskning beskrivs normbrytande beteende på olika sätt, såsom antisocialt beteende, uppförandestörning och barndomskriminalitet. I föreliggande studie benämns dessa begrepp som normbrytande beteende. För att kliniskt diagnostisera utpräglat normbrytande beteende används diagnosen Uppförandestörning enligt Diagnostic and Statistical Manual of Mental Disorders, där det görs en skillnad mellan barndoms- eller ungdomsdebuterande typ (American Psyciatric Association, 2000). Denna uppdelning grundas bland annat på att dessa grupper skiljer sig åt gällande prognos. En del personer som i sin barndom uppvisat normbrytande beteende har, i jämförelse med de som debuterar i ungdomsåren, en större risk att få svårigheter senare i livet

5 ESTER-bedömnings interbedömarreliabilitet 5 (Krohn et al, 2001; Snyder, 2001), till exempel i form av ökad risk för fortsatt normbrytande beteende och våldsamhet, missbruk, depression, destruktiva relationer och låg utbildning (Borum, 2000; Fontanie et al., 2008; Loeber & Farrington, 2000; 2001; Odgers et al., 2007; Snyder, 2001; Nock, Kazdin, Hipiri & Kessler, 2006). I Sverige är normbrytande beteende en av de vanligaste sökorsakerna till barn- och ungdomspsykiatrin (BUP) för barn upp till 12 år (Svensk BUP-förening, 2003). Ett barn med svårigheter att hantera ilska, som ofta påbörjar slagsmål, förstör andras saker och vägrar följa föräldrars regler kan innebära en tung börda för föräldrar, omgivningen och inte minst svårigheter för barnet självt (Broberg, Almqvist & Tjus, 2003). Barnet kan komma att få skulden för sitt beteende och betraktas som bråkig, dum och elak, vilket kan skapa en ond cirkel med accelererande beteendeproblem. Föräldrar kan ställas inför en stor utmaning som kräver tålamod och goda resurser för att orka skydda och hjälpa sitt barn som kanske har en begränsad förmåga att ge positiva stunder tillbaka (Svensk BUP-förening, 2003). Med tanke på att en debut av normbrytande beteende i unga år ökar risken för en negativ utveckling, är det viktigt att sätta in preventiva insatser i ett tidigt skede (Odgers et al., 2007). Prevention kan sättas in i olika skeden, för att förebygga psykisk och fysisk ohälsa samt för att mildra negativa följder när ohälsa väl har uppstått. Preventiva insatser kan minska det aktuella lidandet för barn och ungdomar samt minska problem senare i livet (Kazdin, 1993). Exempelvis kan tidiga insatser i form av social träning hjälpa barn med aggressivt normbrytande beteende att utveckla sociala färdigheter och därigenom minska det aggressiva beteendet. På så sätt kan det förhindras att ett sådant beteende utvecklas till ett bestående beteendemönster (Webster-Stratton & Reid, 2003). Tidiga insatser har en fördel i att de ofta kräver mindre resurser jämfört med de ansträngningar som krävs för att behandla ett redan etablerat problem (Linton, 2005). Gruppen av unga med normbrytande beteende tenderar över

6 ESTER-bedömnings interbedömarreliabilitet 6 tid att kräva stora samhälleliga resurser (te.x. i form av stöd och behandling inom skola, socialtjänst, psykiatri samt tvångsomhändertagande och rättegångar). Detta gör att tidiga insatser inte endast kan göra nytta på individnivå, utan även på samhällelig nivå (Loeber & Farrington, 2000; Odgers et al., 2007, Snyder, 2001; Welsh, Schmidt, McKinnon, Chattha & Meyers, 2008). Att sätta in tidiga insatser tycks vara den bästa strategin för att förebygga normbrytande beteende hos unga (Powell, Lochman & Boxmeyer, 2007; Augimeri, Enebrink, Walsh & Jiang, 2010) och vikten av att göra detta lyfter såväl BUP (Svensk BUP-förening, 2003) som Socialstyrelsen fram (Socialstyrelsen, 2009). Ett första steg för att kunna sätta in effektiva och tidiga insatser är att identifiera de barn som löper risk att utveckla normbrytande beteende och deras unika behov (Powell et al., 2007). Viktiga aspekter i bedömningsarbete För att tidigt kunna identifiera unga i riskzonen och sätta in effektiva insatser krävs en bra bedömning som tar hänsyn till flera olika aspekter hos både den unge och hans/hennes omgivning. Mer och mer forskning visar att tre övergripande principer är viktiga att arbeta efter i bedömning och i val av insatser. Dessa kallas risk- behovs- och responsivitetsprinciperna. Riskprincipen föreslår att unga med hög risk för normbrytande beteende bör få omfattande och intensiva insatser. Behovsprincipen föreslår att fokus bör ligga på att identifiera och gradera relevanta och förändringsbara faktorer hos den unge och hans/hennes omgivning. Relevanta faktorer är sådana som direkt kan öka risken för normbrytande beteende hos den unge. Slutligen föreslår responsivitetsprincipen att insatserna bör matcha den unges personliga egenskaper så som inlärningsstil och motivation (Andrews, Bonta & Hoge, 1990; Andrews & Bonta, 2010). Dessa tre principer utgör en generell vägledning i hur såväl bedömning som insatser kan genomföras. Att utgå från dessa principer är något som forskning visat vara ett effektivt tillvägagångssätt för att reducera normbrytande beteende (Andrews &

7 ESTER-bedömnings interbedömarreliabilitet 7 Bonta, 2010). Dessa principer har haft inflytande i utvecklingen av bedömningsinstrument som ser till både risk och behov hos individen, så kallade risk-behovsbedömningsinstrument (Bonta & Andrews, 2007). En annan aspekt i bedömningsarbetet är att man bör ta hänsyn till både risk- och skyddsfaktorer hos den unge och dess familj. En riskfaktor är något som ökar risken för normbrytande beteende och en skyddsfaktor något som minskar sannolikheten för detsamma (Andershed, Andershed & Söderholm-Carpelan, 2010). En skyddsfaktor kan även mildra inflytandet av riskfaktorer (Stattin, Romelsjö & Stenbacka, 1997; Borum, 2000). Att utöver riskfaktorer ta hänsyn till skyddsfaktorer kan bidra till mer individanpassade och effektiva insatser (Kazdin, 1993). Det bidrar även till att insatser kan riktas mot att stärka resurser och kompetenser och därmed inte enbart fokuseras på problem (Masten, 2001). Ytterligare en viktig aspekt verkar vara att bedömningsarbetet är strukturerat. Detta betyder bland annat att det som bedöms är tydligt definierat och att bedömningen dokumenteras på ett systematiskt och likformigt sätt (Andershed & Andershed, 2008b). Eftersom strukturen kräver att samtliga professionella administrerar bedömningen på ett likformigt sätt, skapas förutsättningar för att uppnå mer samstämmiga och mindre subjektiva bedömningar (Borum, 1996; Hoge, 2002). Inom den kliniska verksamheten genomförs bedömningar många gånger alltför godtyckligt då flertalet praktiker administrerar bedömningsinstrument utan adekvat utbildning i hur instrumentet är tänkt att användas (Lipsitz et al., 2003). Små variationer i hur ett test administreras kan ge stora skillnader i den slutgiltiga bedömningen. Att använda strukturerade bedömningsinstrument som ger detaljerad information om hur bedömningen skall genomföras är ett sätt att öka tillförlitligheten (Wood, Garb & Nezworski, 2007; Borum, 1996).

8 ESTER-bedömnings interbedömarreliabilitet 8 En annan viktig aspekt i bedömningsarbetet är att det finns förutsättningar för att göra uppföljande bedömningar och utvärdera insatser. En kontinuerlig uppföljning ger information om insatsen leder mot det tänkta målet och skapar möjligheten att revidera och förbättra pågående insats. Forskning har påvisat att klinikers subjektiva bedömningar kan vara alltför vinklade och osäkra som utvärderande metod. Därför krävs det tillgång till strukturerade bedömningsinstrument för att utvärdera insatser (Love, Koob & Hill, 2007). Ett bedömningsinstrument som explicit är konstruerat så att uppföljning är möjlig, torde inspirera kliniker att kontinuerligt utvärdera sin verksamhet. En kontinuerlig utvärdering kan ge viktig information om verksamheten men kan också ha en terapeutisk effekt för klienten (Kazdin, 2005), på så sätt att det kan höja motivationen att konkret se förändringar och framsteg. Slutligen är det en viktig aspekt att bedömningsarbetet är forsknings- eller evidensbaserat. I arbetet med att skapa en vetenskaplig, så kallad evidensbaserad praktik, inom beteendevetenskapens område har fokus mestadels varit på evidensbaserade insatser medan evidensbaserad bedömning (Evidence-based assessment; EBA) i stor utsträckning har förbisetts (Hunsley & Mash, 2005; Barlow, 2005). Detta trots att EBA sannolikt är en viktig del för att få till stånd en effektiv behandling (Achenbach, 2005). En svensk nationell inventering har visat att merparten av de bedömningsmetoder som används inom socialtjänsten och BUP saknar vetenskapligt stöd (Socialstyrelsen, 2009). EBA beskrivs i forskningen på en mängd olika sätt (Hunsley & Mash, 2005). Ett sätt att definiera det på är att: a) instrumenten ska baseras på den senaste forskningen, b) instrumenten ska vara kliniskt relevanta (t.ex. genom att de är lätthanterliga och att resultaten ger vägledning om lämpliga insatser) samt c) instrumenten ska ha goda psykometriska egenskaper (Hunsley & Mash, 2005; McMahon & Frick, 2005). De psykometriska egenskaperna handlar bland annat om huruvida instrumentet mäter det som avses mätas (validitet) och huruvida instrumentet är

9 ESTER-bedömnings interbedömarreliabilitet 9 tillförlitligt (reliabilitet). En central aspekt av reliabilitet är i vilken utsträckning två olika bedömare gör samstämmiga bedömningar; så kallad interbedömarreliabilitet (Wood et al., 2007). Interbedömmarreliablitet ger en bild av huruvida två bedömare, oberoende av varandra kommer fram till samma sak gällande en klient, exempelvis fastställande diagnos (McDermott, 1988), eller bedömning och gradering av risk- och skyddsfaktorer. Interbedömarreliabilitet En klinikers bedömning kan ha stor inverkan på en människas liv i till exempel form av vilken diagnos som ges och hjälp som erbjuds (McDermott, 1988). Därmed är det viktigt att en individ inte riskerar olika diagnoser beroende på vilken kliniker han/hon möter. I arbete med barn och unga med normbrytande beteende är det viktigt att det finns bedömningsinstrument med hög interbedömarreliabilitet för att kunna garantera lika behandling. Det finns också forskning som visat att hög interbedömarreliabilitet är kopplat till mer korrekta bedömningar av framtida benägenhet för våld (McNiel, Lam & Binder, 2000). Det tycks vara svårt att uppnå en hög interbedömarreliabilitet, något som visat sig till exempel hos psykologers bedömningar (Persons & Bertagnolli, 1999). Detta har även uppmärksammats inom socialtjänsten. En vinjettstudie visade att socialarbetares oenighet sträckte sig från att tvångsomhänderta till att inte tvångsomhänderta samma barn (Östberg, Wåhlander & Milton, 2000). Att ett barn blir omhändertaget eller inte är beroende av vilken professionell han\hon möter exemplifierar vilka allvarliga konsekvenser frånvaro av samstämmighet kan få. För att statistiskt undersöka samstämmighet i form av interbedömarreliabilitet används ofta intraklasskorrelationer (Intra-Class Correlation; ICC). ICC visar graden av samstämmighet mellan olika bedömare. Ett ICC-värde kan variera mellan -1,0 till 1,0. Ett negativt ICC-värde uppstår när variationen hos en bedömare är större än variationen mellan

10 ESTER-bedömnings interbedömarreliabilitet 10 bedömarna, ICC 1,0 betyder att samstämmighet mellan bedömarna är exakt (North Carolina State University, 2010). Följande definitioner av de kritiska värdena för interbedömarreliabilitet mätt med ICC kan användas: bristfällig (poor)= <.40, tillfredsställande (fair)=,40-,59, bra (good)=,60-,74, mycket bra (excellent)=,75-1,00 (Cicchetti, 1994). Det finns olika varianter av ICC som kan ge olika resultat vid analys av samma data. Man kan välja att beräkna ICC för den exakta samstämmigheten (Absolute agreement) eller för korrelationen mellan bedömningarna (Consistency). Uträkning av ICC kräver även ett val mellan tre olika modeller: One-way random effects model, Two-way random effects model och Two-way mixed model. Val av modell grundas bland annat på hur slumpmässigt urvalet av bedömare och stickprov antas vara samt antal bedömningar som genomförts av samtliga bedömare (Shrout & Fleiss, 1979; North Carolina State University, 2010; Hadzi-Pavlovic, 2010). Det är inte ovanligt att forskare saknar medvetenhet om skillnaderna mellan dessa modeller och att det inte rapporteras vilka varianter som använts i beräkningen av ICC (Shrout & Fleiss, 1979). ICC kan rapporteras för bedömarnas enskilda bedömningar (single measure) eller ICC för bedömarnas medelvärde (average measure) (North Carolina State University, 2010). Single measure utgör ett mer stringent test i jämförelse med average measure (Tinsley & Weiss, 1975) och kräver därmed en högre grad av samstämmighet för att uppnå ett signifikant resultat. Det är inte ovanligt att studier av interbedömarreliabiliteten för bedömningsinstrument endast rapporterar ett sammanslaget ICC för samtliga faktorer (ICC total) istället för att redovisa ICC för enskilda faktorer. Då ICC total baseras på medelvärden tenderar ett sådant resultat att bli högre i jämförelse med ICC för enskilda faktorer, vilket medför en risk att interbedömarreliabiliteten överskattas. Ett annat möjligen mer praktiskt relevant sätt att studera interbedömarreliabiliteten på, är att göra procentuella jämförelser mellan de oberoende bedömningarna. Man kan då svara på frågan i

11 ESTER-bedömnings interbedömarreliabilitet 11 vilken utsträckning de oberoende bedömarna gör exakt samma bedömning vad gäller en viss risk- eller skyddsfaktor. Bedömningsinstrument Den historiska utvecklingen för riskbedömning av normbrytande beteende delas in i fyra generationer (Bonta & Andrews, 2007). Den första generationens riskbedömningar grundades på ostrukturerad bedömning utifrån samlad kunskap och erfarenhet. Den andra generationens riskbedömningar var evidensbaserade och bestod av statiska, det vill säga oföränderliga riskfaktorer (t.ex. att tidigare ha missbrukat eller tidigare kriminalitet) med påvisat samband med normbrytande beteende. Även tredje generationens riskbedömningar, så kallade riskbehovsbedömningar, var evidensbaserade. Det som skilde den andra och tredje generationen åt var att den tredje generationen var mer flexibel och tog hänsyn till dynamiska faktorer genom att undersöka det aktuella och föränderliga. Den fjärde och senaste generationen riskbedömningar grundas, liksom den tredje generationen, på evidensbaserade och dynamiska faktorer. I den fjärde generationen har det tillkommit tre nya aspekter 1) skyddande faktorer, 2) kontinuerlig uppföljning; att ett flertal bedömningar görs på ett och samma ärende från att ärendet påbörjats tills dess avslut och 3) faktorer som bedöms skall vara relevanta utifrån att åstadkomma effektiva insatser (te.x. inlärningsstil och motivation) vilket möjliggör en länk mellan bedömning och insatser (Andrews, Bonta & Wormith, 2006; Baglivio, 2009; Bonta & Andrews, 2007). Exempel på tredje generationens risk-behovsbedömningar är Early Assessment of Risk List for Boys (EARL-20B; Augimeri, Webster, Koegl & Levene, 1998), Early Assessment of Risk List for Girls (EARL- 21G; Levene et al., 2001) och Structured Assessment of Violence Risk in Youth (SAVRY; Borum, Bartel & Forth, 2002). ESTER-bedömning (Andershed & Andershed, 2008b, in press) är ett fjärde generationens risk-behovsbedömningsinstrument.

12 ESTER-bedömnings interbedömarreliabilitet 12 EARL EARL-20B (Augimeri et al., 1998) och EARL- 21G (Levene et al., 2001) är två strukturerade instrument som syftar till att bedöma och predicera framtida benägenhet för våld och antisocialt beteende för barn under 12 år. Skillnaden mellan instrumenten är att EARL-21G för flickor har ytterligare en faktor som EARL-20B för pojkar inte har. EARL mäter riskfaktorer som är kategoriserade i följande riskområden: familj (sex faktorer för pojkar och sju för flickor), den unge (tolv faktorer) och responsivitet (två faktorer) (Augimeri, Koegel, Levene & Webster, 2005). Samtliga riskfaktorer skattas på en tregradig skala: frånvarande (0), delvis närvarande (1) eller definitivt närvarande (2) (Augimeri et al., 1998; Levene et al., 2001). Bedömaren skall inhämta information från flera informanter exempelvis från lärare, föräldrar och skola samt även från andra källor som till exempel kliniska test och omdöme från skolan (Augimeri et al., 2005). SAVRY SAVRY (Borum et al., 2002) är ytterligare ett instrument som syftar till att bedöma och predicera framtida våldshandlingar. Instrumentet riktar sig till unga i åldrarna 12 till 18 år. SAVRY består av sex skyddsfaktorer och 24 riskfaktorer, de sistnämnda är i sin tur uppdelade i historiska, individuella och sociala/kontextuella kategorier. Instrumentet ger bedömaren själv möjligheten att lägga till och bedöma ytterligare risk- och skyddsfaktorer. Information inhämtas från flera olika källor så som från polis, socialtjänst och psykiatri, och bedömaren skattar allvarlighetsgraden för varje riskfaktor på en tregradig skala innehållande skalstegen: låg, medel eller hög. Skyddsfaktorerna skattas endast utifrån om de är närvarande eller inte (Borum et al., 2002).

13 ESTER-bedömnings interbedömarreliabilitet 13 ESTER ESTER-bedömning (Andershed & Andershed, 2008b, in press) är ett instrument utvecklat i Sverige, för unga (0-18 år) med, eller i riskzonen för normbrytande beteende. Instrumentet syftar till strukturerad bedömning och uppföljning av forskningsbaserade risk- och skyddsfaktorer. ESTER-bedömning är strukturerat på så vis att den kräver systematisk och enhetlig dokumentation samt att det är definierat vilka risk- och skyddsfaktorer som skall bedömas. Den innehåller också en graderings- eller skattningsskala med precisa definitioner för var och en av risk- och skyddsfaktorerna som bedöms. ESTER-bedömning är tänkt att kunna användas av alla professioner och verksamheter som arbetar med barn, exempelvis förskola, skola, barnhälsovård, BUP, Polis och Statens Institutionsstyrelse (SiS). ESTERbedömning är utvecklat för att förbättra samarbetet mellan dessa verksamheter genom att bland annat ge gemensamma definitioner och erbjuda ett datorstöd som förenklar tolkning och presentation av bedömningens resultat. ESTER-bedömning syftar till att skapa mer samstämmiga risk- och behovsbedömningar, effektivare insatser samt möjliggöra uppföljning för att se förändring över tid. Bedömningen syftar till att hjälpa den unge i dennes aktuella livssituation snarare än att predicera framtida riskbeteenden (Andershed & Andershed, 2008b, in press). ESTER-bedömning bidrar med identifiering och gradering av risk- och skyddsfaktorer för normbrytande beteende. Detta kan komplettera utredningar som genomförs med stöd av andra dokumentationssystem, instrument eller diagnossystem som inte har som fokus att specifikt identifiera och gradera risk- och skyddsfaktorer för normbrytande beteende. För att använda ESTER-bedömning rekommenderas en grundutbildning i hur instrumentet skall användas (Andershed & Andershed, 2008b, in press). ESTER-bedömning innehåller 19 faktorer varav tolv riskfaktorer och sju skyddsfaktorer. Faktorerna är potentiellt förändringsbara samt berör både individ- och

14 ESTER-bedömnings interbedömarreliabilitet 14 familjenivå. De 19 faktorerna är uppdelade i fyra kategorier; risker hos den unge (nio faktorer), risker i familjen (tre faktorer), skydd hos den unge (fyra faktorer) samt skydd i familjen (tre faktorer). Se Tabell 1 för samtliga faktorer och Figur 1 och Figur 2 för exempel på en risk- respektive skyddsfaktor. Tabell 1 Risk- och skyddsfaktorer i ESTER-bedömning.

15 ESTER-bedömnings interbedömarreliabilitet 15 Som framgår ur Figur 1 och Figur 2 utgör en ESTER-bedömningsfaktor flera specifika riskrespektive skyddsfaktorer. Exempelvis innehåller bedömningens första riskfaktor: "Trotsighet, ilska eller oräddhet" tre olika riskfaktorer. Detta utformande syftar till att reducera antal faktorer att bedöma och därigenom förenkla användandet av instrumentet. Faktorerna skattas på en femgradig skala (se Figur 1 och Figur 2): Inte närvarande (0), Svagt (1), Påtagligt (2), Utpräglat (3) eller Mycket utpräglat (4), där varje skalsteg omfattas av en definition. Skalan omfattas även av Inte känt (X) som markeras om information saknas, är otillräcklig eller när den aktuella faktorn inte är relevant att bedöma på grund av den unges låga ålder (Andershed & Andershed, 2010). En ESTER-bedömning baseras på information från en avgränsad tidsperiod som kan sträcka sig mellan 1-36 månader bakåt i tiden. Den enskilda bedömaren beslutar om en tidsperiod som är relevant för syftet med bedömningen. Bedömningen bör baseras på information från så många olika källor som möjligt (t.ex. den unge, föräldrar och lärare) samt olika typer av information (t.ex. journalmaterial och intervjuer, etc.). Informationskällan skall dokumenteras vid varje faktor (Andershed & Andershed, 2008b, in press). För att genomföra en ESTER-bedömning används ESTER-bedömningsbok (Andershed & Andershed, 2008b). I bedömningsboken definieras varje faktor på en enskild sida och därefter följer en konkret beskrivning av de enskilda beteenden som faktorn består av (se Figur 1 och 2 för en risk- respektive skyddsfaktor). Varje faktor bedöms separat. Det första steget i bedömningen av en faktor är att undersöka om dess beteenden varit närvarande och kunnat observeras. Dessa markeras sedan med ett kryss. I nästa steg bedöms hur utpräglat beteendet är genom att ta reda på hur frekvent eller problematiskt det är, vilket skattas på den femgradiga skalan (0-4) (Andershed & Andershed, 2008b, in press).

16 ESTER-bedömnings interbedömarreliabilitet 16 Figur 1 Exempel på en riskfaktor i ESTER-bedömning: faktor 1, Trotsighet, ilska eller oräddhet.

17 ESTER-bedömnings interbedömarreliabilitet 17 Figur 2 Exempel på en skyddsfaktor i ESTER-bedömning: faktor 19, Föräldrars medvetenhet och motivation.

18 ESTER-bedömnings interbedömarreliabilitet 18 Sammanfattningsvis finns det flera saker som gör ESTER-bedömning unikt och utgör en skillnad jämfört med SAVRY och EARL. För det första består skalan i ESTER-bedömning av fler skalsteg än SAVRY och EARL. Med sina fem skalsteg möjliggör ESTER-bedömning uppföljning av insatser. Vidare syftar ESTER-bedömning till att bedöma aktuell livssituation och inte att predicera framtida beteende så som är syftet med EARL och SAVRY. ESTERbedömning är även utvecklat för att kunna användas av samtliga professioner som arbetar med unga och därigenom underlätta samverkan mellan olika verksamheter. Vidare finns ett datorstöd som underlättar samarbetet inom och mellan verksamheter. Slutligen kan ESTERbedömning användas för att bedöma så väl risk- som skyddsfaktorer för både pojkar och flickor från 0-18 år. SAVRY och EARL syftar till att bedöma ett betydligt kortare åldersspann. Interbedömarreliabilitet för EARL-20B, SAVRY och ESTER-bedömning I en svensk studie som undersökt interbedömarreliabiliteten för EARL-20B (Enebrink, Långström, Hultén & Gumpert, 2006) rapporteras ICC total (single measure) på,92 för samtliga faktorer sammanslagna. I en annan studie på EARL-20B (Augimeri et al., 2010; Augimeri, Desmarias, Koegl, Jiand & Webster, under review) rapporteras ICC total på,82 och ICC för enskilda faktorer varierade ICC mellan,17-,71, det vill säga från bristfälligt till mycket bra. Att jämföra dessa studiers resultat med andra studier som undersöker interbedömmarreliabiliteten försvåras av att den första studien inte redovisar ICC för enskilda faktorer och det i den andra studien är oklart om ICC-värdena är baserade på single measure eller average measure. Det har inte varit möjligt att finna en studie om interbedömarreliabiliteten för EARL-21G. I en studie som undersökt interbedömarreliabiliteten av SAVRY (Lodewijks, Doreleijers, de Ruiter & Borum, 2008) rapporteras att ICC total (single measure) var,74 och för skyddsfaktorer ICC total (single measure),86. I ytterligare tre studier sträcker sig ICC

19 ESTER-bedömnings interbedömarreliabilitet 19 total för riskfaktorer mellan,81-,97 (Catchpole, & Gretton, 2003; Dolan & Rennie, 2008; Meyers & Schmidt, 2008). Inga av dessa tre studier rapporterar ICC för enskilda faktorer och det är oklart om ICC-värdena är baserade på single measure eller average measure. Det har tidigare genomförts en studie av interbedömarreliabilitet för ESTER-bedömning (Andershed et al., in press). Studien baseras på två oberoende bedömares ESTERbedömningar på 30 flickors journalmaterial (bestående av bl.a. bedömning av alkohol- och drogberoende, summering av intervjuer med flickan och hennes föräldrar, psykologiska test, bedömning från skolan, utredningar från socialtjänsten och observationer från utredningshem). Bedömningarna genomfördes med en tidsperiod om fyra månader tillbaka i tiden. För att beräkna interbedömarreliabiliteten användes intraklasskorrelation ICC (single measure) och procentuell överensstämmelse mellan bedömningarna. ICC (single measure) sträckte sig mellan,53-,89 för riskfaktorer hos den unge, mellan,20-,77 för riskfaktorer hos familjen. ICC total (single measure) för samtliga riskfaktorer var,67. För skyddsfaktorer sträckte sig ICC (single measure) mellan,38-,64 för skyddsfaktorer hos den unge och mellan, 33-,58 för skyddsfaktorer i familjen. ICC total (single measure) för samtliga skyddsfaktorer var,58. Samtliga skyddsfaktorer hade signifikanta ICC. Även resultaten på riskfaktorerna var signifikanta, med undantag av faktor 11: Svårigheter i föräldra-barnrelationen (ICC,20). Vid % av bedömningarna fanns det en exakt samstämmighet (t.ex. att både bedömare A och B bedömt 4) eller samstämmighet eller skillnad i ett skalsteg på skalan 0-4, (t.ex. att bedömare A bedömt "3" och bedömare B bedömt "2", 3" eller "4") (Andershed et al., in press). Sammanfattningsvis visade resultaten en relativt god interbedömarreliabilitet för ESTER-bedömning. Ett sätt att undersöka om resultat kan generaliseras till andra bedömare är att upprepa studien under liknande förhållanden (Barker, Pistrang & Elliott, 2002).

20 ESTER-bedömnings interbedömarreliabilitet 20 Syfte Föreliggande studie avser att undersöka interbedömarreliabiliteten för ESTER-bedömning under liknande förhållanden som den tidigare studien och delvis med samma urval av försökspersoner (Andershed et al., in press). Den femgradiga skalan (0-4) som användes i den tidigare studien, benämns i föreliggande studie som originalskalan. I syfte att potentiellt sett förbättra interbedömarreliabiliteten och att skapa mer distinkta skalsteg, är en ny femgradig skala (0-4) för riskfaktorer under utveckling (Andershed & Andershed, 2010), här kallad kandidatskalan. Det övergripande syftet med föreliggande studie är att undersöka interbedömarreliabiliteten för ESTER-bedömning. Mer specifikt syftar studien till att: a) undersöka interbedömarreliabiliteten för originalskalans risk- och skyddsfaktorer b) jämföra interbedömareliabiliteten för kandidatskalan med interbedömarreliabiliteten för originalskalan. Studien baseras på ESTER-bedömningar genomförda på journalmaterial tillhörande tvångsomhändertagna flickor. Metod Försökspersoner I studien användes journalmaterial tillhörande 30 flickor som vid tiden för studien var eller hade varit tvångsomhändertagna på ett särskilt ungdomshem tillhörande SiS. Placering på ungdomshemmet sker på uppdrag av socialtjänsten enligt Lagen om Vård av Unga, 3 (LVU; Lag (1990:52) med särskilda bestämmelser om vård av unga). Sådan vård beslutas om den unge utsätter sin hälsa eller utveckling för en påtaglig risk att skadas genom missbruk av beroendeframkallande medel, brottslig verksamhet eller något annat socialt nedbrytande beteende. Studiens försökspersoner kom från olika delar av Sverige och var mellan år (medelålder = 16,9, standardavvikelse = 1,2). En flicka var 20 år och två flickor var 19 år,

21 ESTER-bedömnings interbedömarreliabilitet 21 resterande 27 flickor var 18 år och yngre. Journalmaterial från 22 av de 30 flickorna användes även i den tidigare studien. Ytterligare åtta nya flickors journalmaterial användes i föreliggande studie. Material ESTER-bedömningarna genomfördes med hjälp av ESTER-manual Version 2 (Andershed & Andershed, 2008a) och ESTER-bedömningsbok Version kandidat 3" (Andershed & Andershed, 2010). I ESTER-bedömningsbok Version kandidat 3 ingår ett antal bedömningsprinciper som kortfattat ger riktlinjer för hur en bedömning skall genomföras. I den tidigare studien användes ESTER-bedömningsbok Version 2 (Andershed & Andershed, 2008a) där dessa principer inte ingick. ESTER-manualen ger bland annat en beskrivning av instrumentets bakgrund och dess utformning. I manualen redogörs även för forskning kring risk- och skyddsfaktorer samt hur en saklig och noggrann bedömning genomförs (se Andershed & Andershed, 2008b). Bedömningarna av de enskilda faktorerna dokumenteras i ESTER-bedömningsbok. För varje bedömning används en ny bedömningsbok (Andershed & Andershed, 2008b). Kandidatskalan (Andershed & Andershed, 2010) som testades har, liksom originalskalan, fem skalsteg. Det som skiljer skalorna åt är definitionerna på skalstegen (se Figur 3).

22 ESTER-bedömnings interbedömarreliabilitet 22 Figur 3 Orginalskala och kandidatskala i ESTER-bedömning. Procedur Två oberoende bedömare, vilka är desamma som föreliggande studies författare, genomförde två oberoende ESTER-bedömningar på de 30 flickornas journalmaterial. De två bedömarna, vilka studerar psykologi på avancerad nivå, har erhållit ESTERgrundutbildning och ESTER-fortbildning. Grundutbildningen är en endagsutbildning och

23 ESTER-bedömnings interbedömarreliabilitet 23 kräver inga specifika förkunskaper. Bedömarna erhöll utbildningen tillsammans med praktiker, och har således fått motsvarande grundutbildning som en sedvanlig ESTERanvändare. ESTER-fortbildning gavs enskilt till de två bedömarna och innebar repetition av kunskaper förvärvade på grundutbildningen. Båda utbildningstillfällena hölls av en av instrumentets två utvecklare. I studien inkluderades 22 försökspersoner utifrån att de givit sitt samtycke till den tidigare studien om interbedömarreliabilitet för ESTER-bedömning (Andershed et al., in press). Ytterligare tio personer tillfrågades om medverkan. Dessa försökspersoner kontaktades först telefonledes av personal från SiS-institutionen varefter ett brev skickades för att inhämta ett skriftligt samtycke. När det skriftliga samtycket inkommit skickades flickan två biobiljetter på posten. I de fall flickan var under 18 år inhämtades även skriftligt samtycke från vårdnadshavarna. Åtta av de tio tillfrågade valde att lämna sitt skriftliga samtycke och delta. De två bedömarna förband sig skriftligen till SiS-institutionens sekretessbestämmelser (Offentlighets- och sekretesslag (2009:400)). Till skillnad från den tidigare studien, som använde en tidsperiod om fyra månader, användes i föreliggande studie en tidsperiod om sex månader. I de fall det fanns en utredning genomförd av SiS-institutionen sträckte sig tidsperioden tre månader framåt och tre månader bakåt i tiden beräknat från utredningens startdatum. När en sådan utredning saknades användes istället inskrivningsdatum på SiS-institutionen som utgångspunkt för att beräkna tidsperioden. Varannan gång påbörjades en bedömning med originalskalan och varannan gång med kandidatskalan. De 30 journalerna skilde sig åt gällande vilken slags information de innehöll. I regel bestod en flickas journal av domslut gällande hennes omhändertagande samt sociala-, pedagogiska- och psykologiska utredningar. Exempel på journalens innehåll var utredning enligt Barnens Behov i Centrum (BBIC; Socialstyrelsen, 2006), Wechsler

24 ESTER-bedömnings interbedömarreliabilitet 24 Intelligence Scale for Children - fourth edition (WISC-IV; Wechsler, 2003, 4 th ed.), Wechsler Adult Intelligence Scale third edition (WAIS-III; Wechsler, 1999, 3 rd ed.) och Adolescent Drug Abuse Diagnosis (ADAD; Friedman & Utada, 1989) samt intervjuer med flickan och föräldrar, avdelningsobservationer och psykologiska bedömningar. Journalmaterialet kom från flera olika myndigheter så som socialtjänst, rättsväsende, tidigare utredningshem, skola, psykiatri och SiS-institutionen. Informationen i journalerna kunde variera stort avseende mängd, datering (t.ex. icke överrensstämmande dateringar eller avsaknad av datering) och tydlighet gällande vad som var faktiska observationer eller vad som var tolkningar. För att sträva efter ett oberoende bedömarskap gjordes bedömningarna i separata rum och det fördes ingen kommunikation rörande bedömningarna under bedömningsperioden. Vid frågor användes ESTER-support, till vilken alla ESTER-användare har tillgång. ESTERsupport innebär möjligheten att via mejl ställa frågor till en support som besvarades av instrumentets utvecklare. I regel erhölls skriftligt svar från supporten inom 24 timmar. Den genomsnittliga tiden för en ESTER-bedömning var cirka 4,6 timmar för bedömare A och cirka 4,4 timmar för bedömare B. Statistiska analyser Interbedömarreliabiliteten undersöktes med hjälp av ICC enligt Two-way random effects model och Consistency (LeBreton & Senter, 2008; Shrout & Fleiss, 1979; North Carolina State University, 2010; Hadzi-Pavlovic, 2010). Two-way random effects model valdes utifrån att: a) båda bedömarna har bedömt samtliga försökspersoner b) båda bedömarna antas motsvara en sedvanlig ESTER-bedömare och c) resultaten önskas generaliseras till alla ESTER-bedömare. Consistency valdes utifrån intresset att undersöka sambandet mellan bedömningarna, även om samstämmigheten inte var exakt (vilket gjordes med hjälp av

25 ESTER-bedömnings interbedömarreliabilitet 25 procentuell jämförelse). ICC beräknades för varje enskild faktor samt för medelvärdet på alla riskfaktorer respektive skyddsfaktorer, här kallad för ICC total. Interbedömarreliabiliteten undersöktes även med hjälp av procentuell jämförelse mellan de två bedömarna för de enskilda faktorerna samt sammanlagt för riskfaktorer respektive skyddsfaktorer. Det gjordes beräkningar för exakt samstämmighet (t.ex. att både bedömare A och B bedömt 4), exakt samstämmighet eller skillnad i ett steg (t.ex. om bedömare A bedömt 3 och bedömare B bedömt 2, 3 eller 4) samt total oenighet i bedömningarna (t.ex. att bedömare A bedömt 0 och bedömare B bedömt 4). Exakt samstämmighet är det mest stringenta testet av interbedömarreliabiliteten. Exakt samstämmighet eller skillnad i ett steg inkluderas eftersom denna typ av skillnad kan antas leda till marginella skillnader i beslut kring insatser i praktiken. Vid den procentuella uträkningen dividerades frekvensen med antalet bedömningar som gjorts på skalan 0-4, således exkluderades de bedömningar där en bedömare bedömt Inte känt (X) på skalan. Den procentuella jämförelsen utgör ett komplement till ICC, då ICC har vissa begränsningar. Exempelvis är det inte möjligt att beräkna ICC i de fall då det inte förekommer någon variation alls (t.ex. att en bedömare endast använt ett skalsteg på en faktor i samtliga 30 bedömningar). Resultat Procentuell jämförelse Vad gäller procentuell jämförelse är exakt samstämmighet det mest stringenta testet. Som framgår i Tabell 2 varierade exakt samstämmighet på riskfaktorer bedömda med originalskalan mellan 28,6-80,8% och för kandidatskalan mellan 28,6-80%. Tabell 3 visar att exakt samstämmighet på skyddsfaktorer varierade mellan 24,1-70,0%.

26 ESTER-bedömnings interbedömarreliabilitet 26 Det gjordes även en procentuell jämförelse mellan exakt samstämmighet eller skillnad i ett skalsteg. Resultatet för riskfaktorer (se Tabell 2) visar att exakt samstämmighet eller skillnad i ett skalsteg varierade mellan 72,2-96,2% på originalskalan, och mellan 72,2-100,0% på kandidatskalan. Vad gäller skyddsfaktorerna (se Tabell 3) varierade exakt samstämmighet eller skillnad i ett skalsteg mellan 79,3-96,7%. Total oenighet var sällsynt och förekom inte alls för skyddsfaktorer (se Tabell 3). Både för originalskalan och kandidatskalan (se Tabell 2), förekom fyra bedömningar med total oenighet på samma två faktorer. Dessa var faktor 3 - Svårigheter med medkänsla, skuld eller ånger och faktor 6 - Nedstämdhet eller självskadande beteende. Jämförelse mellan kandidatskalan och originalskalan I den procentuella jämförelsen mellan kandidatskalan och originalskalan (se Tabell 2), visar resultaten på små skillnader. På fem faktorer (faktor 6, 7, 9, 10 och 12) är exakt samstämmighet lägre med kandidatskalan i jämförelse med originalskalan. På fyra faktorer (faktor 2, 4, 5 och 11) är exakt samstämmighet högre med kandidatskalan i jämförelse med originalskalan. På tre faktorer (faktor 1, 3 och 8) är exakt samstämmighet identisk mellan kandidatskalan och originalskalan.

27 ESTER-bedömnings interbedömarreliabilitet 27 Tabell 2 Interbedömarreliabilitet, beräknad med procent, frekvens och intraklasskorrelation, ICC för ESTER-bedömnings riskfaktorer, bedömda med originalskala och kandidatskala. Riskfaktorer i ESTER-bedömning a) Exakt samstämmighet % (frekv.) b) Exakt samstämmighet eller skillnad i ett skalsteg % (frekv.) c) Total oenighet % (frekv.) ICC single measure (95% KI) ORIGINALSKALA Riskfaktorer för den unge 1. Trotsighet, ilska eller oräddhet 41,4% (12/29) 86,2% (25/29) 0,0% (0/29),17 (-,20-,50) 2. Överaktivitet, impulsivitet eller koncentrationssvårigheter 30,8% (8/26) 88,5% (23/26) 0,0% (0/26),83 (,66-,92)*** 3. Svårigheter med medkänsla, skuld eller ånger 38,9% (7/18) 72,2% (13/18) 16,7% (3/18),50 (,06-,78)* 4. Bristfälliga språkliga förmågor eller 33,3% (6/18) 83,3% (15/18) 0,0% (0/18),76 (,47-,90)*** skolprestationer 5. Negativa problemlösningar, tolkningar eller 28,6% (6/21) 90,5% (19/21) 0,0% (0/21),69 (,38-,86)*** attityder 6. Nedstämdhet eller självskadande beteende 37,0% (10/27) 88,9% (24/27) 3,7% (1/27),58 (,27-,79)** 7. Normbrytande beteende 70,0% (21/30) 93,3% (28/30) 0,0% (0/30) -,10 (-,44-,27) 8. Alkohol- eller droganvändning 80,8% (21/26) 96,2% (25/26) 0,0% (0/26),72 (,47-,86)*** 9. Problematiska kamratrelationer 41,7% (10/24) 75,0% (18/24) 0,0% (0/24) I.A.¹ Riskfaktorer i familjen 10. Föräldrarnas egna svårigheter 66,7% (14/21) 95,2% (20/21) 0,0% (0/21),91 (,79-,96)*** 11. Svårigheter I föräldra-barnrelationen 29,6% (8/27) 88,9% (24/27) 0,0% (0/27),37 (-,00-,66)* 12. Föräldrarnas svårigheter med 42,9% (9/21) 85,7% (18/21) 0,0% (0/21) I.A.¹ uppfostringsstrategier Totalt 46,0% (132/288),38(-,08-,71)* KANDIDATSKALA Riskfaktorer för den unge 1. Trotsighet, ilska eller oräddhet 41,4% (12/29) 86,2% (25/29) 0,0% (0/29),18 (-,19-,51) 2. Överaktivitet, impulsivitet eller koncentrationssvårigheter 42,3% (11/26) 96,2% (25/26) 0,0% (0/26),85 (,69-,93)*** 3. Svårigheter med medkänsla, skuld eller ånger 38,9% (7/18) 72,2% (13/18) 16,7% (3/18),50 (,06-,78)* 4. Bristfälliga språkliga förmågor eller 44,4% (8/18) 100,0% (18/18) 0,0% (0/18),83 (,61-,93)*** skolprestationer 5. Negativa problemlösningar, tolkningar eller 33,3% (7/21) 90,5% (19/21) 0,0% (0/21),69 (,37-,86)*** attityder 6. Nedstämdhet eller självskadande beteende 33,3% (9/27) 93,0% (25/27) 3,7% (1/27),58 (,27-,79)** 7. Normbrytande beteende 66,7% (20/30) 96,7% (29/30) 0,0% (0/30),09(-,28-,43) 8. Alkohol- eller droganvändning 80,8% (21/26) 100,0% (26/26) 0,0% (0/26),84 (,67-,92)*** 9. Problematiska kamratrelationer 33,3% (8/24) 75,0% (18/24) 0,0% (0/24) -,11 (-,49-,30) Riskfaktorer i familjen 10. Föräldrarnas egna svårigheter 57,1% (12/21) 95,2% (20/21) 0,0% (0/21),88 (,73-,95)*** 11. Svårigheter i föräldra-barnrelationen 33,3% (9/27) 88,9% (24/27) 0,0% (0/27),38 (,00-,66)* 12. Föräldrarnas svårigheter med uppfostringsstrategier 28,6% (6/21) 85,7% (18/21) 0,0% (0/21) -,16 (-,55-,28) Totalt 45,1% (130/288),53 (,11-,79)** Not. a) Bedömare A och B har exakt samstämmighet på skalan 0-4 b) Bedömare A och B har exakt samstämmighet eller skillnad i maximalt ett steg på skalan 0-4 c) Bedömare A och B har total oenighet; en bedömare bedömt 0 och den andra 4. *p<,05; **p<,01; ***p<,001. KI = konfidensintervall. ¹Inte anlayserbart på grund av bristande varians.

28 ESTER-bedömnings interbedömarreliabilitet 28 Tabell 3 Interbedömarreliabilitet, beräknad med procent, frekvens och intraklasskorrelation, ICC för ESTER-bedömnings skyddsfaktorer. Skyddsfaktorer i ESTER-bedömning a) Exakt samstämmighet % (frekv.) b) Exakt samstämmighet eller skillnad i ett steg % (frekv.) c) Total oenighet % (frekv.) ICC single measure (95% KI) Skyddsfaktorer hos den unge 13. Positiv skolanknytning och prestationer 35,0% (7/20) 85,0% (17/20) 0,0% (0/20),42 (-,01-,72)* 14. Positiva förhållningssätt eller 46,7% (14/30) 96,7% (29/30) 0,0% (0/30),61 (,33-,80)*** problemlösningar 15. Positiva umgängen och aktiviteter 29,7% (8/27) 88,9% (24/27) 0,0% (0/27),38 (,00-,66)* 16. Den unges medvetenhet och motivation 70,0% (21/30) 93,3% (28/30) 0,0% (0/30),47 (,13-,70)** Skyddsfaktorer hos familjen 17. Föräldrarnas ork, engagemang eller stöd 24,1% (7/29) 86,2% (25/29) 0,0% (0/29),31 (-,05-,61)* 18. Föräldrarnas positiva attityder och 64,3% (9/14) 92,9% (13/14) 0,0% (0/14),43 (-,11-,77) uppfostringsstrategier 19. Föräldrarnas medvetenhet och motivation 37,9% (11/29) 79,3% (23/29) 0,0% (0/29),47 (,13-,71)** Totalt för samtliga skyddsfaktorer,37 (,01-,64)* Not. a) Bedömare A och B har exakt samstämmighet på skalan 0-4 b) Bedömare A och B har exakt samstämmighet eller skillnad i maximalt ett steg på skalan 0-4 c) Bedömare A och B har total oenighet; en bedömare bedömt 0 och den andra 4. *p<,05; **p<,01; ***p<,001. KI = konfidensintervall. Intraklasskorrelation, ICC Tabell 2 och 3 visar intraklasskorrelationer ICC (single measure), med 95% konfidensintervall för ESTER-bedömnings alla enskilda riskfaktorer och alla enskilda skyddsfaktorer samt sammanslaget ICC för riskfaktorer respektive skyddsfaktorer. Endast resultaten för ICC single measure presenteras eftersom det är ett mer stringent test i jämförelse med ICC average measure. Följande kritiska värden för ICC single measure används: bristfällig (poor)= <,40, tillfredsställande (fair)=,40-,59 och bra (good)=,60-,74 samt mycket bra (excellent)=,75-1,00 (Cicchetti, 1994). ICC total ger en sammanfattande bild av interbedömarreliabiliteten. ICC total för riskfaktorer bedömda med originalskalan (se Tabell 2) visar bristfällig samstämmighet (ICC=, 38). ICC total för riskfaktorer bedömda med kandidatskalan (se Tabell 2) visar tillfredsställande samstämmighet (ICC=,53). För skyddsfaktorer (se Tabell 3) visar ICC total bristfällig samstämmighet (ICC=,37). ICC för de enskilda faktorerna ger en mer detaljerad

29 ESTER-bedömnings interbedömarreliabilitet 29 bild av samstämmigheten. Ur Tabell 2 framgår att ICC för de enskilda faktorerna bedömda med originalskalan varierar mellan -,10 (faktor 7) till,91 (faktor 10). ICC var tillfredsställande till mycket bra på sju av de tolv riskfaktorerna (faktor 2, 3, 4, 5, 6, 8 och 10) bedömda med originalskalan. Tre faktorer (faktor 1, 7 och 11) visar en bristfällig ICC. För dessa faktorer bör den procentuella jämförelsen beaktas. Denna var 41,4% (faktor 1), 70,0% (faktor 7) och 29,6% (faktor 11) för exakt samstämmighet. Två faktorer (faktor 9 och 12) kunde inte beräknas på grund av att det inte förekom någon variation alls på skalan 0-4 hos en bedömare. Även i dessa fall bör de procentuella jämförelserna beaktas, vilken var 41,7% (faktor 9) och 42,9% (faktor 12). Ur Tabell 2 framgår att ICC för de enskilda riskfaktorerna bedömda med kandidatskalan varierar mellan -,16 (faktor 12) till,88 (faktor 10). Liksom för originalskalans sju faktorer (faktor 2, 3, 4, 5, 6, 8 och 10) var ICC för riskfaktorer, bedömda med kandidatskalan, tillfredställande till mycket bra. Fem faktorer (faktor 1, 7, 9, 11 och 12) visar bristfällig ICC. Även här är det viktigt att beakta den procentuella jämförelsen. Exakt samstämmighet var 41,4% (faktor 1), 66,7% (faktor 7), 33,3% (faktor 9), 33,3% (faktor 11) och 28,6% (faktor 12). Tabell 3 visar att ICC för de enskilda skyddsfaktorerna varierar mellan,31 (faktor 17) till,61 (faktor 14). ICC var tillfredsställande till bra på fem av de sju skyddsfaktorerna (faktor 13, 14, 16, 18 och 19). De två faktorer som visar en bristfällig ICC har en exakt samstämmighet på 29,7% (faktor 15) och 24,1% (faktor 17). ICC visar på en marginell skillnad mellan kandidatskalan och originalskalan (se Tabell 2). ICC total på kandidatskalan (ICC=,53) är bättre än ICC total på originalskalan (ICC=,38). Vid en jämförelse mellan de enskilda faktorerna tycks det finnas en viss tendens att med kandidatskalan få högre interbedömarreliabilitet. På sex faktorer (faktor 1, 2, 4, 7, 8 och 11) är

30 ESTER-bedömnings interbedömarreliabilitet 30 samstämmigheten bättre med kandidatskalan i jämförelse med originalskalan. På tre faktorer (faktor 3, 5 och 6) är samstämmigheten identisk mellan kandidatskalan och originalskalan. På en faktor (faktor 10) är samstämmigheten sämre med kandidatskalan i jämförelse med originalskalan. Två faktorer kan inte jämföras då ICC inte är analyserbart (faktor 9 och 12). Diskussion För att kunna erbjuda rättssäker och icke godtycklig hjälp till unga med, eller i riskzonen för normbrytande beteende behövs bedömningsinstrument med god samstämmighet mellan olika bedömare. Det övergripande syftet med föreliggande studie var att undersöka interbedömarreliabiliteten för ESTER-bedömning. Studiens specifika syften var att undersöka interbedömarreliabiliteten för originalskalans risk- och skyddsfaktorer samt att jämföra interbedömareliabiliteten för kandidatskalan med interbedömarreliabiliteten för originalskalan. Resultaten för interbedömarreliabiliteten på originalskalans risk- och skyddsfaktorer visar en stor spridning från faktorer med bristfällig samstämmighet till faktorer med mycket bra samstämmighet. Vid en procentuell jämförelse mellan interbedömarreliabiliteten för kandidatskalan och originalskalan visar resultaten på en minimal skillnad. Det har visat sig att en jämförelse med hjälp av ICC total har varit olämplig då faktorer med bristande varians har gett missvisande värden vid denna analys. Hur studien bidragit till forskningslitteraturen och klinisk praktik En måttstock för om interbedömareliabilitet är bra eller dålig är att jämföra med slumpen. Ett instrument som ESTER-bedömning förväntas definitivt ge mer samstämmiga resultat än vad som skulle erhållas om bedömningarna var slumpmässiga. Om båda bedömningarna var slumpmässiga, skulle sannolikheten för att två bedömningar är exakt samstämmiga på den