rövning av diskriminativ förmåga för bedömningsinstrumentet AW-FK Jan Sandqvist ed. Dr., universitetslektor Institutionen för Samhälls- och Välfärdsstudier Linköpings universitet Björn Gerdle rofessor Rehabiliteringsmedicin, IH, Linköpings universitet Klinikchef/Överläkare Smärt- och rehabiliteringscentrum, Universitetssjukhuset, Linköping Helena Hemmingsson rofessor Institutionen för Samhälls- och Välfärdsstudier Linköpings universitet Linköping
Innehållsförteckning s 1 Introduktion 1 1.1 Assessment of Work erformance (AW) och AW-FK 1 1.2 Tidigare studier på AW-FK 2 2 Studie gällande diskriminativ förmåga för AW-FK 3 2.1 Syfte och frågeställning 3 2.2 Studiedesign och etiskt godkännande 3 2.3 etod 3 2.3.1 Urval 3 2.3.2 Rekrytering 3 2.3.3 Genomförande 4 2.3.4 Dataanalys 5 2.4 Resultat 5 2.4.1 Beskrivning av studiegrupp 5 2.4.2 Diskriminativ förmåga 6 3 Konklusion och diskussion 7 4 Omnämnanden 7 5 Referenser 8
Diskriminativ förmåga för bedömningsinstrumentet AW-FK Sandqvist, Gerdle & Hemmingsson 1 Introduktion Denna rapport utgör en del i det arbete som pågår inom ramen för Försäkringskassans arbete som handlar om att utveckla och pröva en ny metod för bedömning av arbetsförmåga inom sjukförsäkringen. Ett nytt bedömningsverktyg har utvecklats, Aktivitetsförmågeutredning (AFU), vilket successivt förankrats och implementerats under 2012-2013. Arbetet med det nya verktyget har nu gått in i en ny fas som syftar till fortsatt utveckling och vetenskaplig utvärdering av bedömningsverktyget. etodens grundstruktur innefattar följande moment; 1) individens självrapporterade förmåga, 2) standardiserad undersökning av speciellt utbildad läkare (bedömningsläkare) samt 3) möjlighet till utvidgad undersökning med stöd av speciellt framtagna arbetsterapeutiska, neuropsykologiska och sjukgymnastiska testmetoder [3]. Bedömningsinstrumentet Assessment of Work erformance (AW) har valts ut som arbetsterapeutiskt instrument (utvidgad undersökning) att ingå i AFU-verktyget [2,3]. För detta syfte har en specifik tillämpning av AW utvecklats, AW-FK [6]. 1.1 Assessment of Work erformance (AW) och AW-FK AW är framtaget i Sverige och är ett bedömningsinstrument som används för att via observation bedöma en individs färdigheter vid utförandet av arbete. Instrumentet har sin teoretiska grund i A odel of Human Occupation (OHO). Instrumentet bedömer individens arbetsfärdigheter inom tre områden (14 variabler): motoriska färdigheter, processfärdigheter samt kommunikations- och interaktionsfärdigheter [1,2,4,5,7-10]: otoriska färdigheter () rocessfärdigheter () Kommunikations- och interaktionsfärdigheter () 1 Kroppsställning 2 Rörlighet 3 Koordination 4 Styrka 5 Fysisk energi 6 sykisk energi 7 Kunskap 8 Tidsorganisation 9 lanering av arbetssituationen 10 Anpassning 11 Fysisk kommunikation och interaktion 12 Språk 13 Sociala kontakter 14 Informationsutbyte Normalt sker bedömning enligt AW i varierande arbetsuppgifter i såväl reell som konstruerad miljö beroende på vilka arbetsuppgifter och miljö som finns att tillgå för bedömning, samt beroende på vilken frågeställning som gäller för bedömningen. För 1
Diskriminativ förmåga för bedömningsinstrumentet AW-FK Sandqvist, Gerdle & Hemmingsson tillämpningen AW-FK har tre strukturerade arbetsuppgifter tagits fram för att användas vid bedömning [6]. De tre arbetsuppgifter som för närvarande ingår i AW-FK är: - Administrativ uppgift (Namnskyltsbeställning) - ontering av hyllor - ostsortering 1.2 Tidigare studier på AW-FK Den första versionen (version 1) av AW-FK har utvärderats med goda resultat där resultatet från prövningen sammanfattas enligt följande: AW-FK är ett bedömningsinstrument som har goda möjligheter att användas för bedömning av medicinska förutsättningar för arbete. Överlag anser arbetsterapeuterna i studien att instrumentet är väl utformat och användbart. Att bedömningen sker i en konstruerad miljö anses fördelaktigt då klienternas arbetsförmåga ska jämföras mot hela arbetsmarknaden eftersom arbetsterapeuten då har stor kontroll över bedömningen, detta trots att en konstruerad miljö innebär vissa begränsningar gällande hur arbetslik situationen blir. anualen till AW-FK anses vara tydlig och lätt att följa även om vissa delar i den kan vidareutvecklas. Arbetsterapeuterna har bidragit med förslag på kompletterande instruktioner och arbetsuppgifter som kan vara till hjälp vid den fortsatta utvecklingen av AW-FK. 1 En nyligen slutförd studie syftade till att initialt pröva användbarhet, innehållsvaliditet, social validitet och ekologisk validitet för bedömningsinstrumentet Assessment of Work erformance (AW-FK). Resultatet av studien var positivt och sammanfattas enligt följande: Den generella responsen på AW-FK är övervägande positiv och arbetsuppgifterna anses vara varierade med olika moment och svårighetsgrader. ajoriteten anser att de har haft nytta av bedömning med AW-FK genom att det har kunnat bredda bilden av klienten och komplettera en total bedömning. Resultaten indikerar att det finns social validitet, innehållsvaliditet och användbarhet för AW-FK då arbetsuppgifterna anses ha varit lämpliga för klienter och bedömare, de fjorton färdigheterna kunde bedömas även om vissa färdigheter var svårare, samt att AW-FK är användbart men i behov av vidareutveckling. 2 1 Hildebrand, A-., Johansson, E. Initial prövning av innehållsvaliditet och användbarhet för bedömningsinstrumentet Assessment of Work erformance: Försäkringskassan (AW-FK), examensarbete vid Arbetsterapeutprogrammet, Linköpings universitet, 2012. Länk till exemensarbetet på Linköping University Electronic ress (www.ep.liu.se): http://urn.kb.se/resolve?urn=urn:nbn:se:liu:diva-79263 2 Karlsson, E. Initial prövning av validitet och användbarhet för bedömningsinstrumentet Assessment of Work erformance (AW) specifik tillämpning AW-FK, masteruppsats vid Linköpings universitet, 2014. 2
Diskriminativ förmåga för bedömningsinstrumentet AW-FK Sandqvist, Gerdle & Hemmingsson 2 Studie gällande diskriminativ förmåga för AW-FK 2.1 Syfte och frågeställning Som ett led i den fortsatta prövningen av AW-FK initierades en studie med syfte att pröva den diskriminativa förmågan för instrumentet. Frågeställningen var om AW-FK har förmåga att särskilja personer med arbetsrelaterad problematik från personer utan problematik. 2.2 Studiedesign och etiskt godkännande Studien utformades som en case-control studie, där bedömningar med AW-FK på en patientgrupp (n=30) jämförs med bedömningar genomförda på en kontrollgrupp (n=20). Studien har genomgått etisk granskning och är godkänd av regionala Etikprövningsnämnden i Linköping. 2.3 etod 2.3.1 Urval Inklusionskriterier för patientgruppen (n=30) var: vuxna personer i arbetsför ålder (20-65 år) som remitterats till SoRC pågående sjukskrivning med omfattning på minst 50% ska ha smärta sedan minst 3 månader tillbaka tillräckliga kunskaper i svenska språket atienternas primära problematik var smärta men problematiken var ofta mångfacetterad och multifaktoriell vilket skapade förutsättningar för varierad arbetsrelaterad problematik, varför denna grupp kan anses representativ för de personer för vilka AW-FK kommer att användas i framtiden. Inklusionskriterier för kontrollgruppen (n=20) var: vuxna personer i arbetsför ålder (20-65 år) tillräckliga kunskaper i svenska språket ej dokumenterad arbetsrelaterad problematik/diagnos/ pågående sjukskrivning. 3
Diskriminativ förmåga för bedömningsinstrumentet AW-FK Sandqvist, Gerdle & Hemmingsson 2.3.2 Rekrytering atienter rekryterades genom att patienter som remitterades till SoRC tillfrågades om medverkan i studien genom telefonkontakt. atienterna tillfrågades om deltagande av en forskningssjuksköterska anställd vid SoRC. Kontroller rekryterades genom telefonkontakt av en forskningssjuksköterska anställd vid SoRC. De personer som kontaktades ingick i en grupp av personer (n= ca 300) som tidigare samtyckt till medverkan i en annan forskningsstudie vid SoRC. En ersättning om 1000 kr/person betalades ut till patienter och kontroller efter medverkan i studien. 2.3.3 Genomförande Studien genomfördes vid Smärt- och Rehabiliteringscentrum (SoRC) vid Universitetssjukhuset i Linköping. Bedömningar av patienter och kontroller utifrån AW-FK genomfördes av två erfarna arbetsterapeuter anställda vid SoRC. Vid bedömning med AW-FK observerades och bedömdes patienternas och kontrollernas prestation i arbetsuppgiften utifrån de 14 variablerna med en fyrgradig skattningsskala (ordinalskala), där 1 det lägsta värdet och 4 är det högsta. Skattningsvärde 1 indikerar att klienten utför arbetsuppgiften a) ineffektivt, b) ej ändamålsenligt samt med c) oacceptabelt resultat. Skattningen 4 indikerar att klientens utförande av arbetsuppgiften är kompetent; d.v.s a) effektivt, b) ändamålsenligt samt c) ger ett acceptabelt resultat. Bedömningarna resulterade således i 14 skattningsvärden baserade på den fyrgradiga skattningsskalan för varje patient resp. kontroll. Bedömning av patienter och kontroller genomfördes i en av de tre i AW-FK ingående arbetsuppgifterna. Varje bedömning tog ca 30-60 minuter. De arbetsuppgifter som ingår i AW-FK och som användes vid bedömning var: Administrativ datoruppgift ontering ostsortering 4
Diskriminativ förmåga för bedömningsinstrumentet AW-FK Sandqvist, Gerdle & Hemmingsson Så kallad blindad bedömning av studiedeltagarna tillämpades för att så långt det var möjligt undvika att resultatet färgades av att arbetsterapeuten kände till om det var en patient eller en kontroll som bedömdes. Förutsättningar för blind bedömning skapades genom att: en forskningssjuksköterska vid SORC skötte all kontakt med såväl patienter som kontroller inför bedömning. Arbetsterapeuterna var ej på något sätt involverade i rekrytering, bokning eller mottagande av varken patienter eller kontroller, vilket skapade goda förutsättningar för att åstadkomma blind bedömning. Forskningssjuksköterskan var ej heller involverad i arbetsterapeuternas dagliga arbete på kliniken, varför risken för att äventyra blindningen reducerades. bedömning av patienter resp. kontroller följde ej ett uppenbart mönster, ex. följdes ej en bedömning av patient direkt av en bedömning av en kontroll, utan följde ett slumpmässigt mönster/fördelning som fastställdes av forskningssjuksköterskan. 2.3.4 Dataanalys Resultatet presenteras i form av statistisk beskrivning av skillnader mellan grupperna (patienter/kontroller). Statistiska skillnader mellan grupperna analyserades med ann Whitney U-test (utfört i SSS Statistics 21). 2.4 Resultat 2.4.1 Beskrivning av studiegrupp och fördelning av bedömningar atienternas arbetsrelaterade problematik var primärt relaterad till smärta, lokaliserad till olika delar av kroppen. Tabell 1: Beskrivning av studiegrupp och fördelning av bedömningar atienter (n=30) Kontroller (n=20) Kön: - Antal kvinnor/män - rocentuell fördelning kvinnor/män 18/12 60%/40% 20/0 100%/0% Ålder: medelvärde (min-max) 44,53 (21-65) 49,80 (25-65) Antal (%) bedömningar i respektive arbetsuppgift: - Administrativ datoruppgift - ontering - ostsortering Fördelning av bedömningar mellan arbetsterapeuterna - AT-1, n (%) (totalt antal bedömningar = 29) - AT-2, n (%) (totalt antal bedömningar = 21) 5 (16,7%) 13 (43,3%) 12 (40,0%) 17 (56,7%) 13 (43,3%) 6 (30%) 6 (30%) 8 (40%) 12 (60%) 8 (40%) 5
Skala i AW (1-4) 2.4.2 Diskriminativ förmåga Diskriminativ förmåga för bedömningsinstrumentet AW-FK Sandqvist, Gerdle & Hemmingsson En skillnad i medelvärden mellan grupperna (patienter/kontroller) föreligger för samtliga 14 bedömningsvariabler i AW-FK (tabell/figur 1). Tabell/figur 2: Skillnad i medelvärden mellan patienter och kontroller Grupp/variabler i AW 1 2 3 4 5 6 7 8 9 10 11 12 13 14 atienter (medelv.) 3,43 3,31 3,57 3,27 3,27 3,00 3,63 3,67 3,70 3,57 3,87 3,81 3,83 3,96 Kontroller (medelv.) 3,75 3,88 4,00 3,95 3,95 3,75 3,90 3,95 3,95 3,75 4,00 4,00 4,00 4,00 4,00 atienter Kontroller 3,00 2,00 1,00 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Variabler i AW 1-14 Statistisk analys visar även en signifikant skillnad mellan patienter och kontroller för 7 variabler i AW-FK (tabell 3). Tabell 3: Statistisk analys av skillnader mellan patienter och kontroller Exact significance* 1 2 3 4 5 6 7,093,015,004,004,001,002,058,050,032,302,561,793,642,838 8 9 10 11 12 13 14 * ann Whitney U-test, sig. level,05 6
3 Konklusion och diskussion Diskriminativ förmåga för bedömningsinstrumentet AW-FK Sandqvist, Gerdle & Hemmingsson Resultaten visar på en signifikant skillnad mellan grupperna för 7 variabler, och en skillnad i medelvärden för samtliga 14 variabler. Skillnaden mellan grupperna är mest uttalad för de motoriska färdigheterna, men tydliga skillnader finns även vad gäller processfärdigheter. Att skillnaden är störst för motoriska färdigheter resp. processfärdigheter är rimligt med tanke på patientgruppens primära problematik, dvs smärta. Det är troligt att skillnaden hade blivit större även för kommunikations- och interaktionsfärdigheter om patientgruppen hade haft en skada/sjukdom/diagnos där (även) den kommunikativa förmågan är nedsatt. Även om det är en skillnad i patientgruppens prestation jämfört med kontrollgruppen, så är det ändå noterbart att patientgruppen presterar relativt väl i förhållande till skattningsskalan i AW-FK. Det kan finnas flera tänkbara förklaringar till detta resultat, ex: - atientgruppens förmåga var ej så nedsatt som kanske kunde förväntas. - De i AW-FK ingående arbetsuppgifterna är ej tillräckligt krävande för att patientgruppens förmåga ska utmanas. - Tidsrymden för bedömning (60 min) är ej tillräcklig för att patienternas förmåga ska påverkas tydligt. Skillnaden mellan patientgrupp och kontrollgrupp vad gäller ex. fysisk uthållighet eller psykisk uppmärksamhet hade möjligtvis blivit mer markant om bedömningen skett över längre tid. - Arbetsterapeuterna var vid tillfället relativt ovana med de i AW-FK ingående arbetsuppgifterna, vilket kan ha medfört att de kan ha haft svårt att upptäcka problem med patienternas förmåga vid sina observationer. Slutsatsen i studien är att AW-FK uppvisar diskriminativ förmåga då instrumentet har kunnat skilja en patientgrupp från en kontrollgrupp på ett adekvat sätt i relation till patientgruppens problematik. Sammantaget visar nu de tre studier som genomförts på AWK-FK att tillämpningen uppvisar såväl validitet, användbarhet som diskriminativ förmåga. 4 Omnämnaden Stort tack till arbetsterapeuterna Ulla Carlberg och Christin Wennersten vid Smärt- och Rehabiliteringscentrum vid universitetssjukhuset i Linköping för genomförandet av de 50 bedömningar som utgör underlag för resultaten i denna studie. Ett stort tack även till forskningssjuksköterska Anna-Carin Sandell vid Smärt- och Rehabiliteringscentrum vid universitetssjukhuset i Linköping för hjälp med att praktiskt genomföra studien och samla in data. 7
Diskriminativ förmåga för bedömningsinstrumentet AW-FK Sandqvist, Gerdle & Hemmingsson Referenser 1) Fan CW, Taylor R, Ekbladh E, Hemmingsson H, Sandqvist J. (2013). Evaluating the psychometric properties of a clinical vocational rehabilitation outcome measurement: The Assessment of Work erformance, OTJR: Occupation, articipation and Health, vol 33, no 3, pp 125-133. 2) Haglund, L., Ekbladh, E. & Sandqvist, J. (2011). Rekommendation gällande instrument för arbetsterapeuter vid bedömning av medicinska förutsättningar för arbete inom ramen för Försäkringskassans nya bedömningsverktyg. Institutionen för Samhällsoch Välfärdsstudier (ISV), Linköpings universitet. 3) Larsson, J. (2013). etoder för bedömning av arbetsförmåga inom sjukförsäkringen slutrapport. Försäkringskassan. 4) Sandqvist, J. (2007) Development and Evaluation of Validity and Utility of the Instrument Assessment of Work erformance (AW). Linköping University, edical Dissertations, No 1009. 5) Sandqvist, J. (2008). anual för AW version 2.0. Institutionen för Samhälls- och Välfärdsstudier, Hälsouniversitetet, Linköpings universitet. 6) Sandqvist, J. (2013). anual för användning av bedömningsinstrumentet Assessment of Work erformance (AW) vid arbetsterapeutisk utvidgad undersökning av medicinska förutsättningar för arbete: AW-FK version 1.2. Institutionen för Samhälls- och Välfärdsstudier, Hälsouniversitetet, Linköpings universitet. 7) Sandqvist, J., Törnqvist, K. & Henriksson, C. (2006). Assessment of Work erformance Development of an Instrument. Work, 26, 379-387. 8) Sandqvist, J., Gullberg,., Henriksson, C. & Gerdle, B. (2008). Content validity and utility of the Assessment of Work erformance (AW). Work, 4, 441-450. 42 9) Sandqvist, J., Ekbladh, E. & Haglund, L. (2008). Instrument för bedömning av arbetsförmåga med arbetsterapeutisk teorigrund. Tillgänglig; http://www.fsa.se/inprofession/utbildning-och-forskning/forskning-i-praxis/2008/tanr5/ 10) Sandqvist, J., Björk,., Gullberg,., Henriksson, C. & Gerdle, B. (2009). Construct validity of the Assessment of Work erformance (AW). Work, 32(2), 211-8. 8