Utvärdering av sex observationsmetoder för ergonomisk riskbedömning av handintensivt repetitivt arbete validitet, reliabilitet och användbarhet Introduktion Arbetsrelaterade rörelseorgansbesvär är fortfarande mycket vanligt förekommande. Det finns ett stort behov av tillförlitliga metoder för riskbedömning av fysisk (biomekanisk) exponering. Mikael Forsman 1,2, Teresia Nyman 1,3,, Peter Palm 4,5, Ida-Märta Rhen 2, Kristina Eliasson 1,3, Katarina Kjellberg 1,2, Per Lindberg 6, Natalja Balliu 2 1 Karolinska Institutet, 2 Stockholms Läns Landsting, 3 Kungl. tekniska högskolan, 4 Uppsala Universitet, 5 Akademiska Sjukhuset, Uppsala, 6 Högskolan i Gävle 2015-10-23 2 Trettio observationsmetoder utvärderade i litteraturgenomgång (Takala et al., 2010). Slutsatser Takala et al. Flertalet metoder är otillräckligt utvärderade med hänseende till reliabilitet och validitet. 19 hade jämförts med en eller flera andra metoder 17 hade utvärderats med avseende på INTERbedömar-reliabilitet. 7 hade utvärderats med avseende på INTRAbedömar-reliabilitet. Metoderna är ofta baserade på epidemiologiska data, med avseende på att predicera rörelseorgansbesvär. 2015-10-23 3 2015-10-23 4 Exempel - Quick Exposure Check (QEC) 2015-10-23 5 2015-10-23 6 1
Varför ska vi observera när det finns direkta tekniska mätmetoder? 2015-10-23 7 2015-10-23 8 Varför ska vi observera när det finns direkta tekniska mätmetoder? Vissa saker är svåra att mäta, instrument saknas. Själva arbetsuppgiften registreras ej vid direkta mätningar. En observationsmetod kan inkludera flera olika aspekter/riskfaktorer samtidigt. Kostnader för att observera kan vara lägre än vid direkta mätningar, speciellt om man räknar in allt som kan observeras. Observation kan användas som screening för att identifiera områden där man kan mäta mer noggrant med tekniska metoder. 2015-10-23 9 Bakgrund till OBS-projektet Metod förutom det vi redan sagt Enligt Arbetsmiljöverket brister kvaliteten ofta på belastningsergonomiska riskbedömningar. Företagshälsan efterlyser systematiska, vetenskapligt baserade metoder som är användarvänliga och kostnadseffektiva. Repetitivt arbete är en betydande riskfaktor för uppkomst av skador i nacke/skuldra och hand/arm. Sex observationsmetoder tidigare testade mot hälsoutfall, och/eller baserade på epidemiologiskt funna riskfaktorer. Egen bedömning (utan specifik metod) ( fingertoppar ) Tolv observatörer/bedömare Ergonomer med erfarenhet av riskbedömning. Tio videofilmade arbetsuppgifter av olika typ Inklinometrar, goniometrar, elektromyografi 2015-10-23 11 2015-10-23 12 2
Sex observationsmetoder Tio videofilmade arbetsuppgifter Hela kroppen/generell bedömning AFS 2012:02 (Modell för bedömning av repetitivt arbete) QEC (Quick Exposure Checklist) Övre extremitet + nacke ART (Assessment of Repetitive Tasks) HARM (Hand Arm Risk-assessment Method) Övre extremitet OCRA (Occupational Repetitive Actions checklist ) 2-6 minuter Arbetsuppgifter som innebar repetitivt arbete för övre extremititet 2 arbetsuppgifter i mataffär (uppackningsarbete, utgångskassa) 2 arbetsuppgifter inom styckning (Näta kött, Bena ur kött) 2 postsorteringsuppgifter (kasta post, fylla postbackar) Motormontering Hårklippning 2 städuppgifter (trapp-, toalettstädning) Handled/hand SI (Strain Index) 2015-10-23 13 2015-10-23 14 Mätning och videofilmning Bena ur kött 24 april 2015 18 Kassaarbete Kompletterande data För varje arbetsuppgift erhölls data om Duration av arbetsuppgiften (2-7 timmar/dag) Pauser och raster Vikter för bördor som hanteras Den anställdes skattningar av kraftutövning, ansträngning, arbetskrav, kontroll mm. Övriga fysiska faktorer 24 april 2015 19 2015-10-23 20 3
Gold Standard Forskningsfrågor - Validitet För varje metod och varje arbetsuppgift (film) Tekniska mätningar Inklinometrar, goniometrar, elektromyografi Konsensusbedömningar Expertgrupp bestående av tre personer Hur väl överensstämmer: för respektive metod, bedömarnas skattningar av komponenter med framtagen gold standard? bedömarnas riskindex/nivå för respektive metod med motsvarande beräknad från gold standard? metodernas riskindex/nivåer med varandra? 2015-10-23 21 2015-10-23 22 Forskningsfrågor - Reliabilitet Forskningsfrågor - Användbarhet Hur väl överensstämmer, för respektive metod: upprepade skattningar av komponenter och beräknad riskindex/nivå (INTRAbedömar-reliabilitet)? olika bedömares skattningar av komponenter och beräknad riskindex/nivå (INTERbedömar-reliabilitet)? Hur skattar bedömarna metodernas användarvänlighet? Hur skattar bedömarna metodernas nytta? Hur lång tid tar de olika metoderna att använda? Hur kan man lära ut riskbedömningsmetoder, kostnadseffektivt men med bibehållen kvalitet? 2015-10-23 23 2015-10-23 24 Delstudier med resultat Jämförelse mellan de sex metoderna konsensusbedömning av expertgrupp. Överensstämmelse mellan 12 ergonomers egna bedömningar av risk (grön-gul-röd) i 10 videofilmade arbetsuppgifter. OCRA: INTER- och INTRAbedömar-reliabilitet. Användbarhetsaspekter av de sex metoderna. Comparisons of six observational methods for risk assessment of repetitive work - results from a consensus assessment Katarina Kjellberg 1,2, Per Lindberg 3, Teresia Nyman 1,4, Peter Palm 5,6, Ida-Märta Rhen 2, Kristina Eliasson 1,3, Ruth Carlsson 7, Natalja Balliu 2, Mikael Forsman 1,2 1 Karolinska Institutet, 2 Stockholms Läns Landsting, 3 Högskolan i Gävle, 4 Kungl. tekniska högskolan, 5 Uppsala Universitet, 6 Akademiska Sjukhuset, Uppsala, 7 Arbetsmiljöverket Utveckling av en webbaserad modell för utbildning i riskbedömningsmetoder. 2015-10-23 25 4
Syfte Metod Att undersöka överensstämmelsen mellan sex observationsmetoder för riskbedömning av repetitivt arbete genom att jämföra risknivåer utifrån konsensusbedömningar av en grupp experter. Expertgrupp: tre erfarna ergonomer 10 filmade arbetsuppgifter 24 april 2015 27 Katarina Kjellberg Vårmötet 2015 24 april 2015 28 Procedur konsensusbedömning Analys 1. Varje expert gjorde en individuell bedömning alla 10 arbetsuppgifter med alla 6 metoder. 2. Experterna bedömde tillsammans till konsensus uppnåddes. 2 omgångar; 3 dagar per omgång (sammanlagt 6 dagar). a) En metod åt gången användes för alla 10 arbetsuppgifter b) En arbetsuppgift i taget bedömdes med alla 6 metoderna. Efter små justeringar stämde resultaten från de två omgångarna överens. Utifrån poängsummorna från respektive metod erhålls risknivåer, t ex grön gul röd låg måttlig hög Varierade mellan 3 till 5 nivåer De metoder som har fler än 3 risknivåer kategoriserades i 3 nivåer (för att kunna jämföras). Parvisa jämförelser gjordes mellan metodernas risknivåer. Katarina Kjellberg Vårmötet 2015 24 april 2015 29 Katarina Kjellberg Vårmötet 2015 24 april 2015 30 10 9 8 7 Jämförelser mellan metoder parvis Parvisa metoder Procentuell överensstämmelse Hela kroppen/generell bedömning AFS - QEC generell 80% 0.71 Viktad kappa 6 5 4 3 2 1 Hög risk Måttlig risk Låg risk Övre extremitet: ART-HARM 50% 0.34 ART-OCRA 80% 0.74 ART- QEC övre extremitet 60% 0.33 HARM-OCRA 50% 0.32 HARM-QEC övre extremitet 20% 0.10 OCRA-QEC övre extremitet 50% 0.17 0 AFS QEC generell ART HARM OCRA QEC övre extremititet SI QEC hand/handled Handled/hand: SI-QEC hand/handled 60% 0.14 Katarina Kjellberg Vårmötet 2015 24 april 2015 31 Katarina Kjellberg Vårmötet 2015 24 april 2015 32 5
Diskussion Diskussion Metoderna identifierade risker i varierande grad. HARM var minst sträng vad gäller att identifiera risk. De mest stränga metoderna var SI och QEC hand/handled. En metod som bedömer de flesta arbetsuppgifter som hög risk kan vara svår att använda som underlag för interventioner och för att prioritera var resurser ska läggas. Ej två metoder som stämde helt överens med varandra. En förklaring kan vara att metoderna är olika beträffande vilka exponeringar som bedöms, t ex vad gäller: Arbetsställningar olika kroppsdelar (t ex om nacke, rygg ingår) Bördors vikt Kraftutövning samt duration av kraftutövning Pauser m.m. samt beträffande hur exponeringarna viktas vid beräkning av poängsumma. Katarina Kjellberg Vårmötet 2015 24 april 2015 33 Katarina Kjellberg Vårmötet 2015 24 april 2015 34 Slutsatser Metoderna identifierar risker i varierande grad. Metoderna skiljer sig åt vid bedömning av samma arbetsuppgift. Viktigt att ha detta i åtanke vid val av metod (t ex inom företagshälsovården) Val av metod kan påverka resultatet av en bedömning. Vid utvärdering av t.ex. en intervention bör man hålla sig till en och samma metod. Överensstämmelse mellan 12 ergonomers egna bedömningar av risk (grön-gul-röd) i 10 videofilmade arbetsuppgifter Mikael Forsman 1,2, Kristina Eliasson 3, Ida-Märta Rhén 2, Natalja Balliu 2, Teresia Nyman 1,3, Per Lindberg 4, Katarina Kjellberg 1,2, Peter Palm 5,6 1 Karolinska Institutet, 2 Stockholms Läns Landsting, 3 Kungl. tekniska högskolan, 4 Högskolan i Gävle, 5 Uppsala Universitet, 6 Akademiska Sjukhuset, Uppsala Katarina Kjellberg Vårmötet 2015 24 april 2015 35 egen bedömning (utan specifik metod) Fördelning av 12 ergonomers bedömningar i de 10 arbetsuppgifterna Procent Grön Gul Röd Total antal bedömningar 8 kroppsdelar 36 46 18 1080 Helhetsbedömning 14 50 36 120 23 oktober 2015 37 23 oktober 2015 38 6
Fördelning av 12 ergonomers bedömningar i de 10 arbetsuppgifterna - höger hand 12 ergonomers helhetsbedömningar 23 oktober 2015 39 23 oktober 2015 40 Procentuell överensstämmelse Proportional Light's Body Part agreement (%) Kappa Neck 58.0 0.28 Right shoulder 42.7 0.13 Left shoulders 52.3 0.25 Right arm/elbow 40.5 0.06 Left arm/elbow 45.6 0.12 Right hand/wrist 45.6 0.16 Left hand/wrist 47.0 0.16 Lower back 49.8 0.16 Average 47.7 0.17 Over All risk 39.7 0.14 Kappa Proportional Light's Body Part agreement (%) Kappa Neck 58.0 0.28 Right shoulder 42.7 0.13 Left shoulders 52.3 0.25 Right arm/elbow 40.5 0.06 Left arm/elbow 45.6 0.12 Right hand/wrist 45.6 0.16 Left hand/wrist 47.0 0.16 Lower back 49.8 0.16 Average 47.7 0.17 Over All risk 39.7 0.14 41 42 23 kt b 2015 23 kt b 2015 Discussion - interpretation Landis and Koch (1977): κ Interpretation < 0 Poor agreement 0.01 0.20 Slight agreement 0.21 0.40 Fair agreement 0.41 0.60 Moderate agreement 0.61 0.80 Substantial agreement 0.81 1.00 Almost perfect agreement Interpretation Light's Agreement Body Part Kappa (Landis & Koch, 1977) Neck 0.28 Fair Right shoulder 0.13 Slight Left shoulders 0.25 Fair Right arm/elbow 0.06 Slight Left arm/elbow 0.12 Slight Right hand/wrist 0.16 Slight Left hand/wrist 0.16 Slight Lower back 0.16 Slight Average 0.17 Slight Over All risk 0.14 Slight 43 44 23 kt b 2015 23 kt b 2015 7
Bakgrund OCRA INTER- och INTRAbedömar-relibailitet OCRA (Occupational repetitive actions) - Colombini & Occhipinti sent 1990-tal - Bedömning av Ida-Märta Rhen 1, Mikael Forsman 1,2 1 Stockholms Läns Landsting, 2 Karolinska Institutet OCRA risknivå Frekvens Arbetsställning Kraft Duration Tilläggsfaktorer (t.ex. vibration) Återhämtning 2015-10-23 46 Syfte Metod Att undersöka överensstämmelsen hos OCRA Checklist gällande: - Bedömningar utförda av olika ergonomer (inter-rater reliabilitet) - Upprepade bedömningar utförda av samma ergonom (intra-rater reliabilitet) 11 FHV ergonomer utbildade i OCRA Checklist Riskbedömningar av 10 videoinspelade arbetsuppgifter Upprepade bedömningar efter 6 veckor Statistik - ICC (2.1), Linearly weighted kappa, Light s kappa 2015-10-23 47 2015-10-23 48 Procentuell överensstämmelse mellan ergonomer (39%) Arbetsuppgift Procentuell överensstämmelse test-retest (46%) Videoklipp Uppackning Näta kött Kasta post Fylla post Bena ur Motor Hår Toalett Kassa Trappstäd Uppackning Näta kött Kasta post Fylla post Bena ur Motor Hår Toalett Kassa Trappstäd 1 1 2 2 3 Ergonom 3 4 5 6 7 8 9 10 11 Risk nivå 5 4 3 2 1 Ergonom 4 5 6 7 8 9 10 = överensstämmelse test-retest 2015-10-23 49 2015-10-23 50 8
Parametrar gällande inter-rater reliabilitet Parametrar gällande test-retest (intra-rater reliabilitet) Statistiskt Mått Frekvens Kraft Återhämtning Duration Risknivå Statistiska Mått Frekvens Kraft Arbetsställning Tilläggsfaktorer Arbetsställning Tilläggsfaktorer Återhämtning Duration Risknivå ICC 0.63 0.51 0.33 0.40 0.50 0.48 0.58 ICC 0.78 0.68 0.62 0.58 0.52 0.69 0.72 Linearly weighted kappa 0.46 0.39 0.23 0.31 0.46 0.48 0.41 Linearly weighted kappa 0.59 0.51 0.43 0.47 0.40 0.62 0.53 Lights kappa 0.14 0.23 0.10 0.21 0.32 0.36 0.21 Lights kappa 0.24 0.30 0.25 0.32 0.30 0.50 0.31 Tolkning av Kappa för reliabilitet enligt Landis och Kochs rekommendationer: 0-0.20 Svag, 0.21-0.4 Viss, 0.41-0.6 Måttlig, 0.61-0.8 Stark, 0.81-1 Nästan perfekt-perfekt Tolkning av Kappa för reliabilitet enligt Landis och Kochs rekommendationer: 0-0.20 Svag, 0.21-0.4 Viss, 0.41-0.6 Måttlig, 0.61-0.8 Stark, 0.81-1 Nästan perfekt-perfekt 2015-10-23 51 2015-10-23 52 Slutsatser Relabiliteten är måttlig Samstämmighet i bedömning skiljer sig mellan bedömda filmer. Måttlig samstämmighet mellan bedömare. Högre samstämmighet test-retest. Användbarhetsaspekter av de sex metoderna Kristina Eliasson 1, Teresia Nyman 1,2, Mikael Forsman 1,3 1 Kungl. tekniska högskolan, 2 Karolinska Institutet, 3 Stockholms Läns Landsting 2015-10-23 53 Bakgrund Tidigare studier Det finns många metoder För att bli användbara: Enkla att använda Snabba Enkla att kommunicera till kunden Känner ergonomer inom företagshälsan till och använder olika riskbedömningsmetoder? Enkät till c:a 100 ergonomer 12 intervjuer Ofta känner man till ett fåtal metoder, och använder ännu färre. Det är vanligt att man inte använder någon metod alls. Ergonomer I inbyggda hälsor tenderar att använda fler metoder och kombinerar I större utsträckning observationsmetoder med tekniska mätningar. 23 oktober 2015 55 23 oktober 2015 56 9
Anledningar till att inte använda en metod Anledningar till att inte använda en metod Lack of knowledge Not necessary for my work Too time consuming Complicated to use När man använder en metod så blir man inte lika flexibel och kan få till en bra diskussion med kunden. Jag känner behov av att vara flexibel, att diskutera Om jag använder en specifik metod så tycker jag att jag förlorar lite av dynamiken I jobbet. Väldigt sällan preventiva kunduppdrag. Results difficult to interpret 0 50 100 150 200 250 300 23 oktober 2015 57 23 oktober 2015 58 Syfte Att undersöka aspekter av användbarhet för sex metoder: Assessment of repetitive tasks of the upper limbs (ART) Hand Arm Risk Assessment Method (HARM) AFS 2012:02 (Modell för bedömning av repetitivt arbete) Occupational repetivitive actions (OCRA) checklist Quick Exposure Check (QEC) Strain Index (SI) Metod Kombinerade datainsamling med reliabilitets- och validitetsstudien Ergonomerna noterade tidsåtgång på varje bedömning. Efter avslutad omgång bedömningar med en metod, delades ett frågeformulär ut. 23 oktober 2015 59 23 oktober 2015 60 Diskussion AFS ART HARM OCRA QEC SI Enkel att använda 3.8 4.2 3.6 2.4 4.0 4.5 Snabb att använda 4.1 3.8 3.6 2.2 4.0 4.7 Enkelt att förstå resultaten 3.3 4.1 4.0 3.1 3.7 2.8 Enkel att kommunicera till kunden 3.3 4.1 3.7 3.2 3.6 2.6 Enkel att lära sig 3.8 4.0 3.6 2.4 3.6 4.6 Användbar för olika arbetsuppgifter 3.6 3.7 3.3 2.9 3.3 2.8 Ger bra underlag för intervention 2.9 3.8 3.9 3.1 3.7 2.4 Tillförlitlighet kontra användbarhet Finns det en bästa metod? Medelvärde 3.5 4.0 3.7 2.8 3.7 3.5 Medeltid bedömning (minuter) 9 13 12 16 12 8 23 oktober 2015 61 23 oktober 2015 62 10
Slutsatser Metodernas komplexitet och validitet verkar påverka användbarheten. ART skattades som den mest användbara metoden. OCRA skattades som minst användbar, och tog längst tid. Utveckling av en webbaserad modell för utbildning i riskbedömningsmetoder Teresia Nyman 1,2, Kristina Eliasson 2, Per Lindberg 3, Mikael Forsman 1,4 1 Karolinska Institutet, 2 Kungl. tekniska högskolan, 3 Högskolan i Gävle, 4 Stockholms Läns Landsting 23 oktober 2015 63 Introduktion Utbildningar inom ergonomi Gott om metoder för riskbedömning Ibland långt mellan forskning och praktik. från enkät 2012 Många ergonomer föredrar egen expertis över systematisk metod Tidsbrist Tveksam kundnytta Kunskapsbrist Magisterprogram (KI, KTH, UMU) Kortare högskolekurser (KI, KTH, UMU, HIG) Regionala utbildningsdagar (AMM-kliniker) Ergonomisektionen/EHSS Webbaserad utbildning Syfte Ofta självadministrerad och och kan anpassas till egen takt. Kostnadseffektiv Att utvärdera en webbaserad pedagogisk modell med syfte att underlätta utbildning och kunskapsspridning av riskbedömningsmetoder bland ergonomer inom företagshälsa. Hög tillgänglighet Brist på studier som undersökt för- och nackdelar med att använda e-learning inom arbetsmiljöområdet. 11
Metod Den webbaserade modellen 12 ergonomer med > fem års erfarenhet av att utföra belastningsergonomiska riskbedömningar. Ergonomerna lärde sig och tränade på de sex metoderna under en tre-veckorsperiod. Det var ingen interaktion med forskare/lärare under tiden (viss teknisk support). Webbplattform utvecklad för distansstudier vid högskola Förinspelad introduktionsföreläsning om riskbedömning generellt Förinspelade instruktionsfilmer av de sex metoderna. Inkluderade walk-through exempel där metoden applicerades på olika filmade arbetsuppgifter. Egen träning med hjälp av ett videobibliotek med olika arbetsuppgifter. Manualer och protokoll tillgängliga för nedladdning på webbplattformen. Videobiblioteket Olika arbetsuppgifter Målning Fiskrensning Tillverkningsindustri (line) Packningsarbete Hårklippning Städning Flera filmer med tre synkroniserade kameravinklar Närbild på hand. Kompletterande data Efter träningen Skriftlig komplettering till varje videofilm Duration av arbetsuppgiften (2-7 timmar/dag) Pauser och raster Vikter för bördor som hanteras Den anställdes skattningar av kraftutövning, ansträngning, arbetskrav, kontroll mm. Övriga fysiska faktorer Frågeformulär Generella aspekter på riskbedömning. Specifika frågor för varje metod. Tre gruppintervjuer Webbaserad utbildningsmodell innehåll och form För- och nackdelar 12
Analyser Enkäterna framför allt för att utforma intervjuguiden. Intervjuerna transkriberades och analyserades med tematisk innehållsanalys. Fyra teman identifierades: Föreläsningar och instruktionsvideos. Interaktion med lärare och andra kursdeltagare. Innehåll och tekniska aspekter på videofilmerna. Genomförbarhet av att implementera webbaserade utbildningar för företagshälsans professioner. Fördelar med modellen Förinspelade walk-throughs gav möjlighet att: Följa experten under riskbedömning. Stoppa, backa och återupprepa. Filmer med tre synkroniserade kameravinklar gav både en övergripande OCH mer detaljerad bild av arbetsuppgiften vilket underlättade riskbedömningen. Möjlighet att själv styra takten: När man ska studera och var man ska vara. Hög genomförbarhet som modell för utbildning/fortbildning för professioner inom företagshälsa. Låg kostnad Möjlighet att använda i grupp på den företagshälsa där man arbetar. Nackdelar Begränsningar Brist på interaktion (synkron och asynkron) med lärare och andra kursdeltagare. Feedback. Diskussioner. Frågor. Inga högskolepoäng/diplom. Löneförhandling Meritportfölj Vi har inte: Undersökt om utbildningen de facto: ökade kunskap om riskbedömning generellt. ökade kunskap och färdigheter när det gäller de sex metoderna. Jämfört den webbaserade utbildningen med traditionell klassrumsutbildning. 13
Sammanfattningsvis E-learning som pedagogisk modell när det gäller att lära ut metoder för företagshälsan är: Tillgänglig. Kostnadseffektiv och minimerar tid borta från arbetet. Relativt enkel att administrera. Utvecklingsbehov: Mer fokus på interaktionsmöjligheter för bl.a. peer-learning och feedback. 14