Utvärdering av interbedömarreliabiliten för bedömningsinstrumentet The Karolinska Institutet Rapid Ease of Use Mapping - En pilotstudie

Transkript

1 Institutionen för Neurobiologi, vårdvetenskap och samhälle Sektionen för Arbetsterapi Arbetsterapeutprogrammet Examensarbete, 15Hp Höstterminen 2016 Utvärdering av interbedömarreliabiliten för bedömningsinstrumentet The Karolinska Institutet Rapid Ease of Use Mapping - En pilotstudie Evaluation of interrater reliability of the assement instrument The Karolinska Institutet Rapid Ease of Use Mapping - A pilot study Författare: Anna Brolin Joanna Nilsson Waligora

2 2 SAMMANFATTNING Bakgrund: Vardagsteknik utgör en allt större del i människors vardagliga liv. Utvecklingen av teknik påverkar både samhälle och människors möjlighet till delaktighet i aktivitet samt ett bättre liv. Arbetsterapeutens arbete innefattar att öka delaktighet i vardagliga aktiviteter hos klienter, och därför påverkar vardagsteknik arbetsterapeutens arbete och yrkesroll. Teknik kan fungera både underlättande och hindrande för människor i vardagen. I dagsläget finns ett antal instrument tillgängliga som syftar till att bedöma användarens förmågor och begränsningar samt inställningen till användandet av ny och gammal teknik. Dock saknas ett instrument med syfte att bedöma vilka krav tekniken ställer på användaren för att fungera. Syfte: Syftet med studien var att utvärdera interbedömarreliabiliteten för Karolinska Institutet Rapid Ease of Use Mapping [KIREUM]. Metod: En kvantitativ metod användes. Data samlades in genom strukturerad observation med syfte att öka kunskapen om teknikens användbarhet och användarvänlighet. Data analyserades därefter med hjälp av SPSS och Excel för att utvärdera interbedömarreliabiliteten för KIREUM. Resultat: Fynd visade att överensstämmelsen mellan bedömare för KIREUM nådde 59 procent. Enskilda frågor och kategorier i instrumentet uppnådde en högre nivå av överensstämmelse mellan bedömare. Slutsats: I dagsläget är nivån av interbedömarreliabilitet för KIREUM låg. Delar av KIREUM behöver omarbetas för att KIREUM ska uppnå en tillfredsställande nivå av interbedömarreliabilitet. Först då kan KIREUM betraktas som ett tillförlitligt instrument som kan användas för att snabbt bedöma tekniks användbarhet och användarvänlighet. Keyword: Everyday Technology, Occupational therapy, Psychometric evaluation

3 3 ABSTRACT Background: Everyday technology is an increasingly important part of people's daily lives. The development of technology affects society and people's ability to participate in activities to gain a better life. Occupational therapists services involve enabling individual s participation in daily life. Everyday technology can either facilitate or hinder individual s participation in everyday activities and is therefore an important area to do research on in occupational therapy. At present several instruments which aim is to assess the persons abilities and limitations together with the attitude towards the use of technology exists. There is a need to develop an instrument which aims to assess the requirements technology sets in order to operate. Aim: The aim of this study was to evaluate interrater reliability for Karolinska Institutet Rapid Ease of Use Mapping [KIREUM]. Method: A quantitative method was used. Data was collected through structured observation seeking knowledge about technology's ease of use. Data was then analyzed using SPSS and Excel to evaluate the interrater reliability of KIREUM. Results: Findings showed that interrater agreement for KIREUM total reached 59 percent. Single questions and categories in KIREUM achieved a higher level of interrater agreement. Conclusion: Level of interrater agreement for KIREUM is low at the moment. Parts of KIREUM need to be revised in order for it to reach a more satisfactory level of interrater agreement. Only then KIREUM will be considered a reliable instrument that can be used to rapidly assess the technology's usefulness and ease of use. Keywords: Everyday Technology, Psychometric evaluation, Occupational therapy

4 4 Innehållsförteckning SAMMANFATTNING...2 ABSTRACT...3 Förteckning över förkortningar som används i examensarbetet...7 INLEDNING BAKGRUND Vardagsteknik i samhället Vardagsteknik och aktivitet Aktivitet och miljö beskrivet ur en aktivitetsvetenskaplig teori Empiriska studier som visar på vardagsteknikens betydelse för aktivitet och delaktighet Vardagsteknikens betydelse för arbetsterapeutens yrkesroll Bedömning av vardagsteknik Everyday Technology Use Questionnarie [ETUQ] Managment of Everyday Technology Assesment [META] Quebec User Evaluation of Satisfaction with assistive Technology [QUEST] The Matching Person & Technology [MPT] Assessment Process Technology acceptance model [TAM] The Karolinska Institutet Rapid Ease of Use Mapping [KIREUM] Bakgrund till utvecklingen av KIREUM Reliabilitet och validitet för KIREUM Identifiera problemområde SYFTE MATERIAL OCH METODER Metodval och design Bedömare Material Datainsamling Struktur på frågeformuläret KIREUM Databearbetning ETISKA ÖVERVÄGANDEN RESULTAT Överensstämmelse för KIREUM totalt sett Överensstämmelse för fråga 1-15 samt för den samlade bedömningen (fråga 16) Överenstämmelse för frågekategorierna i KIREUM... 30

5 5 6.4 Överensstämmelsen för frågor som fördelats i grupper baserat på antal möjliga svarsalternativ Överenstämmelse per fråga inom KIREUM Överenstämmelse per teknik som observerats Slutsats/sammanfattning av resultat DISKUSSION Resultatdiskussion Metoddiskussion FÖRSLAG PÅ NYA STUDIER SLUTSATSER TACK REFERENSER Tabell förteckning Tabell 1. Tekniska föremål/tjänster som ingår i urvalet Tabell 2 Visar frågekategorier med tillhörande frågor i KIREUM Tabell 3 Visar exempel på tre frågor med tillhörande svarsalternativ i KIREUM Tabell 4 Överensstämmelse i svar mellan bedömare för alla frågor som ingår i KIREUM Tabell 5 Visar överenstämmelsen mellan bedömare för alla ingående frågor i KIREUM Tabell 6 Visar överensstämmelsen mellan bedömare för alla tekniska produkter som observerats Figur förteckning Figur 1 Technology Acceptance Model Figur 2 Överenstämmelse i svar mellan bedömare för KIREUM Figur 3 Överenstämmelse i svar mellan bedömare för fråga Figur 4 Överenstämmelse mellan bedömare för den samlade bedömningen (fråga 16) Figur 5 Överenstämmelsen mellan bedömare för frågorna som ingår i kategorin feedback & interaktion Figur 6 Överenstämmelsen mellan bedömare för frågan som ingår i kategorin frekvens av användning Figur 7 Visar fördelningen av överenstämmelsen mellan bedömare för frågorna med två svarsalternativ Figur 8 Visar fördelningen mellan bedömare för frågorna med tre svarsalternativ Figur 9 Visar överensstämmelsen mellan bedömare för frågorna med fyra svarsalternativ... 32

6 6

7 7 Förteckning över förkortningar som används i examensarbetet AOTA CACTUS ETUQ IADL IT KI KIREUM META MOHO MPT NE SPSS TAM QUEST VT American Occupational Therapy Association Cognitive Accessibility and Technology Use when Ageing in home and Society Everyday Technology Use Questionnaire (bedömningsinstrument) Instrumental activities of daily living Informationsteknik Karolinska Institutet ett medicinskt universitet The Karolinska Institutet Rapid Ease of Use Mapping (bedömningsinstrument under utveckling) Managment of Everyday Technology Assesment (bedömningsinstrument) Model of human occupation The Matching Person & Technology Assessment Process (bedöminingsinstrument) Nationalencyklopedin Statistical Package for the Social Sciences Technology acceptance model Quebec User Evaluation of Satifaction with assistive Technology (bedömningsinstrument) Vardagsteknik WHO Världshälsoorganisationen

8 8 INLEDNING Utvecklingen av teknik under 1900-talet har i förlängningen lett till tekniska lösningar som underlättar vardagliga aktiviteter. Det är enkelt att konstatera att teknik tagit allt mer plats i samhället och i dagsläget inkluderas tekniken som en del av det dagliga livet (Nationalencyklopedin [NE]teknikens historia, 2016). När vi fördjupade oss inom ämnet och samlade våra erfarenheter från praktik och vardagsliv insåg vi att vardagsteknik [VT] som exempelvis en mikrovågsugn eller en fjärrkontroll till DVD-spelare, har en större betydelse för aktivitet och delaktighet i samhället än vi anat. Kännedomen om betydelsen av VT i vardagliga aktiviteter fick oss nyfikna på hur kunskap om vilka krav teknik ställer på användaren, kan användas för att möjliggöra delaktighet och aktivitet. För att kunna inhämta kunskap om teknikens krav behöver vägar för kunskapsinhämtning utvecklas. The Karolinska Institutet Rapid Ease of Use Mapping [KIREUM] of technology (2016) är ett bedömningsinstrument som forskarna i forskargruppen Cognitive Accessibility and Technology Use when Ageing in home and Society (CACTUS) arbetar med att utveckla. Syftet med KIREUM är att enkelt kunna bedöma VT:s användbarhet i aktivitet (Patomella, Lindqvist & Nygård, 2016). När det blev dags att påbörja arbetet med detta examensarbete, upplevde vi att det var spännande och samtidigt skrämmande. Vi såg fram emot arbetet med förhoppningen att examensarbetet skulle ha ett liv även efter inlämningen. Vi valde därför att göra ett pilotprojekt med mål och avsikt att det ska kunna vara till nytta för CACTUS i deras fortsatta arbete med att utveckla bedömningsinstrumentet. Vi vill gärna vara en del i den utvecklingen och bidrar därför gärna med en pusselbit i arbetet med att reliabilitetstesta KIREUM (2016).

9 9 2. BAKGRUND 2.1 Vardagsteknik i samhället Inom teknikvetenskapen förs det diskussioner om relationen mellan samhället och teknik, huruvida det är samhället som styr teknikens form och konstruktion eller omvänt. Bijker, Hughes & Pinch (1987) presenterade en teori kallad social eller samhällelig konstruktion av teknik (SCOT). Denna innebär att teknik skapas och formas genom människans handlingar, tekniken konstrueras därmed av sociala nätverk i samhället. Teknisk determinism är en uppfattning om att samhällets utveckling är styrd av teknologi och en motpol till SCOT (Nationalencyklopedin, 2016). Ett gemensamt resonemang som förs i teorierna är att teknik inte är så meningsfull att tala om i sin enkla materiella form då utvecklingen av samhälle och teknik påverkar och påverkas av varandra. Enligt Hagberg (2008) ses VT som tekniska föremål som omger människan i det sociokulturella kontext hon vanligtvis befinner sig i. Hagberg menar att VT är tekniska artefakter och system som individen möter och använder i sina aktiviteter och beskriver det som individens tekniklandskap. Individens tekniklandskap ändras över tid då individer har olika behov beroende på vilken del i livet de befinner sig i. Czaja et al. (2006) har i en empirisk studie resonerat om den snabba utvecklingen av teknisk användning i samhället samt hur den förändrat människors vardagliga aktiviteter inom hem och samhälle. Exempelvis har fasta telefoner bytts ut mot mobiltelefoner och kommunikation via skriftliga brev utförs idag genom datoriserade tjänster och nätverk (Czaja et al., 2006). Det finns ett flertal studier som tar upp och förklarar begreppet VT (Hedman, Nygård, Almkvist & Kottorp, 2015; Hagberg, 2008). Som beskrivs ovan menar Hagberg (2008) att VT är tekniska objekt (artefakter och system) som används eller är designade för att användas dagligen. Larsson Ranada (2015) menar att definitionen av VT är beroende av individens perspektiv och kan innefatta olika typer av tekniska föremål som individen möter i sitt dagliga liv. Det kan gälla teknik som finns i hemmet men även tekniska hjälpmedel som exempelvis spisvakt. Informationsteknik [IT] och teknikstöd kategoriseras som välfärdsteknik då det gäller teknik som leder till ökad trygghet, säkerhet, aktivitet, delaktighet samt ökat välbefinnande. Exempel på sådan välfärdsteknik kan bland annat vara digitala trygghetslarm och tillsyn via kamera (Larsson Ranada, 2015). The International Classification of Functioning, Disability and Health [ICF] definierar teknik för eget bruk i det dagliga livet som något som människor använder dagligen som finns i, på eller nära personen som använder dem (Världshälsoorganisationen [WHO], 2015).

10 10 Definitionen av VT som används i den här studien omfattar i viss mån alla beskrivningar som skildras ovan och beskrivs av Nygård & Starkhammar (2007) som elektriska, tekniska och mekaniska föremål och inkluderar både nyligen utvecklad teknik och tjänster, samt sedan tidigare välkänd teknik som används vanemässigt. Tekniken påverkar sättet en människa utför dagliga aktiviteter på och det är vanligt att använda olika typer av tekniska föremål under en dag (Nygård & Starkhammar, 2003; Nygård & Starkhammar, 2007). Vanligt förekommande teknik som används dagligen och vanemässigt är exempelvis en telefon för att kommunicera eller en mikrovågsugn för att värma mat, tvättmaskin, kaffebryggare och dammsugare (Patomella, Kottorp, Malinowsky och Nygård., 2011; Nygård & Starkhammar, 2007; NE, 2016). 2.2 Vardagsteknik och aktivitet Aktivitet och miljö beskrivet ur en aktivitetsvetenskaplig teori För att förstå VT:s betydelse för aktivitet bör aktivitetsbegreppet förklaras. Därefter beskrivs VT som en omgivningsfaktor som påverkar och påverkas av miljö, person och aktivitet. ICF definierar begreppet aktivitet som en persons genomförande av en handling (Världshälsoorganisationen [WHO], 2015). I en vanligt förekommande arbetsterapeutisk modell, Model of Human Occupation [MOHO] (2012) sägs det att aktivitet är handlingar som äger rum i ett specifikt, socialt och fysiskt rum (Kielhofner, 2012). Vidare beskrivs mänsklig aktivitet som en handling som syftar på lek, arbete och aktiviteter i dagliga livet, sett i ett ramverk bestående av kontexterna tid, rum, samhälle och kultur (Kielhofner, 2012). Författarna av MOHO menar att kontexterna består av faktorer som formar, bjuder in till och ger utrymme för aktivitet (Kielhofner 2012). För att fullt förstå vad en människa gör i aktivitet behöver mänskliga handlingar sättas i ett större sammanhang, en dimension av mänskligt görande som syftar till engagemang i aktivitet och som är synonymt med delaktighet i aktivitet. I MOHO definieras delaktighet som människors engagemang i livssituationer och samhälle samt deras erfarenheter inom sitt livssammanhang (Kielhofner 2012). Aktivitetsbegreppet sätts i förhållande till människans vilja, vanor och fysiska samt mentala förmågor även kallad utförandekapacitet. Tillsammans bidrar dessa aspekter med olika funktioner i människans görande och upplevelse av görande. Viljekraften kan beskrivas som en dynamisk process som styrs av människans tankar och känslor om det som görs eller ska

11 11 göras. Dessutom styrs viljan av människans värderingar, det som upplevs meningsfullt att göra. Vanor beskrivs som upprepade beteendemönster och utmärks av den fysiska och sociokulturella kontext människan lever i. Enligt MOHO skapas vanor genom att människan upprepar görandet på samma sätt och i samma kontext för att på så sätt skapa ett mönster. En viktig förutsättning för detta är att miljön är beständig (Kielhofner, 2012). I MOHO resoneras det om att all aktivitet sker i och påverkas av fysisk och sociokulturell kontext. Med sociokulturell miljö avses den del av miljön som handlar om sociala relationer, fritid och delaktighet samt ekonomiska och politiska egenheter i vår omgivning och som påverkar människans utförande av aktivitet (Kielhofner, 2012). Liknande Hagbergs (2008) resonemang om tekniklandskap, omnämns i MOHO hur människan i sin kontext kommer i kontakt med olika föremål som påverkar aktivitetslivet (Kielhofner, 2012). Dessa föremål kan vara en bankomat vid uttag av pengar eller en biljettautomat vid köp av biljett för att resa. Utifrån detta kan man förstå att teknik är en omgivningsfaktor. Larsson (2009) och ICF Världshälsoorganisationen [WHO] (2015) poängterar att produkter och teknik kategoriseras som omgivningsfaktorer som antingen kan fungera underlättande eller hindrande för människor i sitt aktivitetsutförande. För människor med funktionsnedsättningar är en förändring i omgivningen en påtagligt större riskfaktor för att påverkas negativt än för människor utan funktionsnedsättning. Förändringar i samhället har en tendens att peka mot självständighet utan mänsklig motpart i hantering av VT. Exempel på sådana förändringar är självscanning i butik i stället för att betala i bemannad kassa eller att låna böcker via automat på biblioteket (Lindqvist och Malinowsky, 2015). 2.3 Empiriska studier som visar på vardagsteknikens betydelse för aktivitet och delaktighet Enligt Sörensen (2006) är VT en viktig förutsättning för att kunna utföra en aktivitet, samtidigt som människans kapacitet, värderingar och vanor är andra viktiga grundstenar för aktivitetsutförandet. Därtill har normer i samhället stort inflytande på vilken typ av VT individer förväntas kunna hantera i sitt aktivitetsutförande. Empiriska studier har visat att VT har stor betydelse för människors utförande av vardagsaktiviteter och delaktighet i samhället. Enligt Larsson (2009) är det inte ovanligt att äldre personer upplever sig ha svårigheter med att hantera teknik både i och utanför hemmet. I en rapport om svenska folkets internetvanor är två av tre som inte har kunskap om datorer pensionärer, 65 år och uppåt (Findahl & Davidsson, 2015). Czaja et al. (2006) har i en observationsstudie med 1204 deltagare mellan år, tittat på faktorer som påverkar

12 12 användandet av teknik. Fynden visade att de äldre deltagarna (70 år och uppåt) och de med lägre utbildning hade mer svårigheter med att hantera VT. Rosenberg, Kottorp, Winblad och Nygård (2009) har i en studie med 157 deltagare undersökt hur äldre personer med och utan kognitiva funktionsnedsättningar upplever svårigheter i användandet av VT. Forskarna kom bland annat fram till att äldre personer med kognitiva nedsättningar riskerar att exkluderas från utförande och deltagande av Instrumental Activities of Daily Living [IADL]. Begreppet IADL syftar till en rad komplexa aktiviteter inom hemmet och i samhället som är nödvändiga för att underhålla det dagliga livet. Detta inkluderar hantering av hushåll, ekonomi, kommunikation, skötsel av hygien, barnuppfostran, husdjursskötsel, inköp och förflyttning inom samhället (American Occupational Therapy Association [AOTA], 2008). Hedman, Nygård, Almkvist och Kottorp (2015) har i en kvantitativ studie undersökt 37 äldre personer med mild kognitiv funktionsnedsättning. Fynden visade på samband mellan svårigheter med användning av VT och minskad delaktighet i aktivitet över tid för äldre med mild kognitiv funktionsnedsättning. Personer med kognitiva funktionsnedsättningar kan uppleva svårigheter med att använda VT (Lindqvist & Malinowsky, 2015). Orsaken till och graden av den kognitiva nedsättningen kan variera, men gemensamt för många av de diagnostiserade personerna är att de behöver lång tid på sig för att lära sig använda ett nytt komplext VT (Boman, Tham, Granqvist, Bartfai, Hemmingsson, 2007). Detta skulle kunna vara hjälpmedel i personernas omgivning. För personer med mild kognitiv nedsättning till följd av förvärvad hjärnskada visar studier att personerna har lättare att lära sig använda teknik som de har använt och känner igen sedan tidigare (Gorman, Dayle, Hood, Rummrell, 2003; Thörne, Walther, 2003). Det visar på vikten av att hitta rätt typ av VT för att underlätta aktivitet. I en litteraturgenomgång har fynd visat att äldre med demenssjukdom har svårt att upprätthålla högt önskade och värderade aktiviteter utanför hemmet beroende på teknik i samhället som kräver kunskap personer med demenssjukdom inte har. Det kan gälla aktiviteter som att handla, träffa vänner eller gå på bio. Oro och eller ängslan som uppstår i samband med tankar om hur man betalar, köper biljett, reser kommunalt, det vill säga använder VT utgör hinder och besvär. Möjligheten att kunna vistas utanför hemmet är viktig för äldres hälsa och välbefinnande såväl som för delaktighet i aktivitet (Nygård, 2014).

13 Vardagsteknikens betydelse för arbetsterapeutens yrkesroll Inom den arbetsterapeutiska professionen är det centralt att försöka underlätta människors utförande av vardagliga aktiviteter som de behöver, förväntas, vill och är vana att göra för att uppnå önskad delaktighet i samhället (Fisher, 2009). Som beskrivits tidigare inkluderas tekniken i människors aktiviteter och teknikutvecklingen har förändrat mycket i människors aktivitetsliv. I arbetet som arbetsterapeut är det väsentligt att kunna rekommendera lämpliga tekniska hjälpmedel och VT till klienten. I samma takt med att vardagsaktiviteter förändras till följd av användning av VT, bör även arbetsterapeutens arbete förändras i form av att lära sig implementera VT som en del i det kliniska arbetet. Detta för att tillsammans med klienten arbeta mot målet att klienten ska uppleva sin vardag som tillfredställande och fungerande (Larsson Ranada, 2015). Tankar runt VT och dess användning har inte alltid ingått i arbetsterapeutens arbete. En framtida roll för arbetsterapeuten kan bli att hitta möjliga lösningar som inkluderar den VT klienten redan har då syftet med arbetsterapi är att möjliggöra delaktighet i vardagsaktiviteter hos personer med funktionsnedsättning (Kielhofner, 2012). För att kunna möjliggöra delaktighet i aktivitet är det viktigt att arbetsterapeuten kan utvärdera och bedöma klienters förmåga att hantera VT. Nygård och Rosenberg (2016) har nyligen genomfört en fokusgruppstudie med yrkesverksamma arbetsterapeuter som deltagare. Studien tar upp hur arbetsterapeuterna sett på teknikanvändning hos sina klienter och att de tog för givet att klienterna klarade av att använda VT. Den teknik som ingick i arbetsterapeuternas vardagliga kliniska arbete var oftast tekniska hjälpmedel, medan VT sällan fick egen uppmärksamhet. Genom fokusgruppsdiskussionerna kom deltagarna fram till nya sätt att tänka runt VT och användare samt hur VT skulle kunna implementeras i det dagliga arbetet. Forskarna illustrerar problemet med att arbetsterapi behöver bli mer uppdaterad och aktuell. Det har även framkommit att arbetsterapeuter saknar resurser för att hålla sig uppdaterade om tekniska hjälpmedel. I en rapport utgiven av Hjälpmedelsinstitutet (Adolfsson, 2012) diskuteras hur hjälpmedelskonsulter ser på försörjningen av kognitiva hjälpmedel. Arbetsterapeuter representerar ett stort antal av de som förskriver kognitiva hjälpmedel, men enligt flertalet hjälpmedelskonsulenter anses det att de som förskriver bland annat kognitiva hjälpmedel generellt har för låg kunskap om dem (Adolfsson, 2012). Hedman et al. (2015) resonerar kring arbetsterapeutens roll för äldre personer med kognitiv nedsättning och deras delaktighet i aktivitet. Forskarna belyser vikten av att arbetsterapeuten

14 14 ska ha kunskap om de förutsättningar äldre personer med mild kognitiv funktionsnedsättning har. Det är viktigt för arbetsterapeuten att förstå de förutsättningarna som påverkar klienten, för att på bästa sätt kunna skräddarsy interventioner som förhindrar minskad delaktighet i aktivitet. De äldre i studien riskerade minskad delaktighet eller att helt uteslutas från aktiviteter av betydelse. Detta eftersom aktiviteterna alltmer innefattar hantering av VT som deltagarna i studien hade svårigheter att utföra. Boman et al (2007) menar att det är viktigt att hitta kostnadseffektiva lösningar så som kommersiellt utvecklade tekniker eftersom utveckling och användning av prototyper och specialgjorda hjälpmedel blir dyrt. Fördelarna med att välja teknik såsom mobiltelefoner som finns kommersiellt tillgängliga i butiker och via näthandel jämfört med specialgjorda tekniska hjälpmedel är många. Bland annat eftersom det inte pekar ut någon. I en studie gjord av Rosenberg, Kottorp, Nygård (2010) visar det sig att det är viktigt att designen på hjälpmedel passar in i nutiden. Mobiltelefoner och smarta telefoner kan potentiellt erbjuda många kognitiva hjälpfunktioner/ stödfunktioner som exempelvis alarm, påminnelser och inspelningsfunktioner (Lannin et al., 2014) utan att dess design blir stigmatiserande för användaren. Larsson Ranada (2015) menar att arbetsterapeuten har en funktion som lärare och som stöd i lärandet att hantera teknik till klienterna. VT och dess användning kan öppna nya arenor för arbetsterapeuter att arbeta på/i, som utvecklare, lärare eller konsulter. Larsson Ranada (2015) anser att arbetsterapeuten har kunskaper som gör att dennes synpunkter på design och utformning kan vara ett stöd för utvecklare av teknik. 2.5 Bedömning av vardagsteknik För att få en tydlig bild av vad som hindrar eller möjliggör användandet av teknik hos människor behöver information inhämtas. Detta sker lämpligen genom att hämta information på ett strukturerat sätt som kan ge svar på frågor som, a) vad gör att teknik uppfattas som relevant för användaren, b) vilka faktorer påverkar teknikens svårighetsgrad och c) förändras uppfattningarna om relevans och användbarhet samt svårighetsgrad med tiden (Sektionen för neurobiologi vårdvetenskap och samhälle, Karolinska Institutet, i.u). Efter en litteraturöversikt hittades fyra bedömningsinstrument och en modell utöver KIREUM som bedömer olika aspekter av interaktionen mellan VT och användare. Nedan följer en presentation av dessa instrument.

15 Everyday Technology Use Questionnarie [ETUQ] ETUQ är ett frågeformulär som tagits fram genom empiriska studier och används i strukturerade intervjuer som syftar till att ta reda på vad relevant VT är för klienten och hur mycket den används samt om de upplever VT som så svåra att använda så de väljer att låta bli att använda dem (Rosenberg, Nygård och Kottorp, 2009). ETUQ används framförallt i forskning med äldre personer som har kognitiv nedsättning till följd av demenssjukdom, och även för vuxna med förvärvade hjärnskador samt för vuxna med utvecklingsstörning (Sektionen för neurobiologi vårdvetenskap och samhälle, Karolinska Institutet, i.u). ETUQ är ett evidensbaserat instrument som är validerad för flertalet olika kliniska diagnosgrupper (sektionen för neurobiologi vårdvetenskap och samhälle, Karolinska Institutet, i.u). ETUQ är både validitets- och reliabilitetstestad i en studie av Rosenberg, Nygård och Kottorp (2009) Managment of Everyday Technology Assesment [META] META är ett instrument som syftar till att genom observation och intervju undersöka fyra olika områden kopplade till användning av VT. De områden som undersöks är a) bedömning av observerbara färdigheter vid användning av teknik, b) bedömning grundad på observation och/eller uppfattning av miljöns inverkan på användningen, c) skattning av personens förutsättningar att använda teknik, d) individens värdering av hur viktig tekniken är. Målet med META är att kunna använda instrumentet som grund för val av intervention. Precis som ETUQ är META hittills mest använd på äldre med kognitiv nedsättning eller för de med förvärvad hjärnskada (Sektionen för neurobiologi vårdvetenskap och samhälle, Karolinska Institutet, i.u). META har bevisats reliabelt i en studie med klienter med förvärvad hjärnskada gjord av Malinowsky, Kassberg, Larsson-Lund & Kottorp (2014) Quebec User Evaluation of Satisfaction with assistive Technology [QUEST] QUEST är ett självskattnings instrument som mäter hur tillfredsställd klienten är med sitt förskrivna tekniska hjälpmedel och den service som klienten fått i samband med förskrivningen. QUEST mäter den subjektiva uppfattningen av åtta olika egenskaper hos hjälpmedlet och fyra olika egenskaper hos den service som klienten fått av förskrivaren ( Demers, Weiss-Lambrou, & Bernadette, 2002). QUEST finns översatt till flera språk (Hwang, Hwang, Chung, (2015)., Wessels & De Witte, 2003). Den tyska versionen av QUEST 2.0 testades gällande reliabilitet och validitet för alla olika typer av tekniska hjälpmedel, resultatet var att både översättningen D-QUEST och originalet var både reliabelt och validt (Wessels & De Witte, 2003).

16 The Matching Person & Technology [MPT] Assessment Process MPT är en modell som innehåller flera instrument som syftar till att matcha teknik med användare. MPT undersöker ur ett personcentrerat perspektiv hur vuxna användare uppfattar sina styrkor/förmågor, svagheter och psykosociala färdigheter i förhållande till behov och önskemål, samt hur väl färdigheter och önskemål stämmer överens med förväntningarna på tekniken. MPT fokuserar i huvudsak på tre områden, a) miljöfaktorer som påverkar användningen av teknik, b) individens personliga och psykosociala karaktärsdrag, behov och önskemål samt c) identifiera funktioner och egenskaper hos den teknik som individen önskar använda (Scherer, Sax, Vanbiervliet, Cushman & Scherer, 2005). Instrumentet tar upp vilka områden som behöver tränas eller vilket stöd eller strategier som användaren behöver för att kunna använda teknik på ett optimalt sätt (Scherera & Craddock, 2002). I artikeln beskrivs vidare att syftet med MPT är att identifiera den teknik som är mest rätt för användaren utifrån dennes behov, kompetenser och mål. En version för barn och en för personer med servicehundar eller andra servicedjur har också utvecklats. MPT har testats för både reliabilitet och validitet (Scherera & Craddock, 2002) Technology acceptance model [TAM] TAM skiljer sig på så vis att det är en modell och inte ett bedömningsinstrument (se figur 1). Dock tangerar modellen de andra instrumenten då tanken med den är att kunna förutse huruvida en individ tar till sig ny teknik (IT). I modellen förutsätts att individens avsikt att använda teknik (IT) avgörs av två viktiga beståndsdelar: upplevd användbarhet, således till vilken nytta tekniken kommer vara samt upplevd användarvänlighet, hur pass ansträngande användandet är. Vidare resonerar modellen om effekten av externa faktorer, såsom teknikens design, kan påverka individens upplevelse av teknikens användbarhet och användarvänlighet. Detta styr om användaren kommer acceptera, ta till sig och använda den nya tekniken (Venkatesh och Bala, 2008). Figur 1 Technology Acceptance Model, version 1 (Davis, Bagozzi & Warshaw, 1989)

17 17 Modellen har sitt ursprung redan från 1980-talet, dock har den under åren uppdaterats för att möta ett utvecklat behov och resulterat i TAM 3(Venkatesh och Bala, 2008). Forskare i Kina har använt TAM som grund till att utveckla frågeformulär inför en studie där man undersökt huruvida kinesiska sjuksköterskor tar till sig och accepterar en digitaliserad assistent på arbetet (Wang, Xiao, Sun & Wu, 2016). Scherera & Craddock (2002) skriver att det är viktigt att matchningen mellan klient och teknik blir bra ur klientens perspektiv. Samt att det sker med hög kvalitet redan från början, för att säkerställa att tekniken kommer till användning och användas i sin fulla potential. 2.6 The Karolinska Institutet Rapid Ease of Use Mapping [KIREUM] Bakgrund till utvecklingen av KIREUM Idén om att utveckla ett instrument för att kunna bedöma teknik med avseende på användarvänlighet och användbarhet, uppstod ur den kunskap forskarna i CACTUS gruppen erhållit genom forskargruppens två tidigare utvecklade instrument ETUQ och META. Den sammanställda informationen från de båda instrumenten indikerade vilka typer av teknik som var lätta respektive svåra, samt vad som gör dem lätta eller svåra att använda (Patomella, Lindqvist och Nygård, 2016). Kunskapen om vad som gör teknik lättare eller svårare att använda inspirerade forskarna att försöka utveckla ett instrument som kan användas för att snabbt kunna kartlägga användbarheten av ett tekniskt föremål eller tjänst i en given aktivitet (Patomella, Lindqvist och Nygård, 2016; Nygård, 2014). Instrumentet kan användas för att bedöma vilken av två likadana tekniker/items av olika märken eller modeller som är lättast att använda (Patomella, Lindqvist och Nygård, 2016). En vanlig definition av användbarheten är Den utsträckning i vilken en specifik användare kan använda en produkt för att uppnå specifika mål, med ändamålsenlighet, effektivitet och tillfredsställelse, i ett givet sammanhang. (International Organisation for Standardization ISO, 2008). Frågorna i instrumentet utvecklades baserat på resultat från empiriska studier som visar vilka aspekter som påverkar användbarheten (Malinowsky, Kottorp & Nygård, 2011; Patomella, Kottorp & Nygård, 2013; Lewis, Langdon & Clarkson, 2008) Instrumentet bedömer vad tekniken kräver för att fungera, hur lätt eller svår tekniken är att använda det vill säga användarvänligheten. Syftet med forskningen runt KIREUM är att utveckla kunskap och förståelse för vad som utmärker VT och tjänster så att den kunskapen kan användas för att förstå vilka krav som ställs av tekniken på användaren (Sektionen för neurobiologi vårdvetenskap och samhälle, Karolinska Institutet, i.u). Den empiriska forskning som ligger till grund för utvecklingsarbetet av KIREUM, bygger på

18 18 forskning gjord med äldre deltagare, med och utan kognitiv funktionsnedsättning. Trots det ser forskarna (Patomella, Lindqvist och Nygård, 2016) inte några hinder för att instrumentet i framtiden används oberoende av diagnos. Detta då instrumentet har tekniken i centrum i stället för användaren/klienten. Utvecklingsarbetet påbörjades under senare delen av 2014 och KIREUM befinner sig fortfarande under utveckling. Reliabilitet och validitet för KIREUM För att vara säker på att ett bedömningsinstrument mäter det som är avsett och att det sker på ett tillförlitligt sätt behöver instrumentet vara validt och reliabelt (Eliasson, 2006). Taylor (2007) menar att det är viktigt att arbetsterapeuter använder sig av evidensbaserade bedömningsmetoder i sitt arbete på samma sätt som när de söker evidensbaserad forskning för att stärka valet av interventioner. Vidare menar Taylor att arbetsterapeuter ska använda instrument som är valida och reliabla för att stärka sin professions ställning gentemot andra professioner inom vården. I arbetet med att validitetstesta instrumentet har KIREUM varit på två remissrundor, till expertgrupper bestående av arbetsterapeuter (Patomella, Lindqvist och Nygård, 2016). Dock är instrumentet inte färdigtestat för validitet ännu och de fältanteckningar som bedömarna i detta examensarbete för i samband med datainsamlingen kan komma att utgöra en del i valideringsarbetet. I dagsläget är instrumentet inte reliabilitets testat, dock är den här studien en del i det arbetet. Reliabilitet är synonymt med tillförlitlighet och kan beskrivas som ett mått på mätsäkerhet (Streiner & Norman, 2008). Det innebär att reliabiliteten mäter hur säker den insamlade informationen är (DePoy & Gitlin, 1999). För att ett mätinstrument ska ha hög mätsäkerhet är det viktigt att pröva interbedömarreliabiliteten. Ett jämförbart eller överensstämmande resultat från olika bedömare eller olika mättillfällen visar ett mått på reliabilitet som kallas interbedömarreliabilitet (Patel och Davidson, 2011). Om resultaten av testerna är 80 % överensstämmande eller mer anses mätinstrumentet vara reliabelt (DePoy & Gitlin, 1999). DePoy & Gitlin (1999) beskriver interbedömarreliabiliteten som det som styr att olika bedömare behandlar viktiga data på samma sätt, så att resultatet kan bli lika eller olika beroende på det som undersöks och inte beroende på en inbyggd osäkerhet i instrumentet. 2.7 Identifiera problemområde Litteraturen visar att VT påverkar människans vardagsaktiviteter. Den har visat att VT har många fördelar och underlättar deltagandet i aktivitet, men att VT för vissa människor även kan

19 19 utgöra ett hinder (Kielhofner, 2012). Inom arbetsterapin finns det bedömningsinstrument som på olika sätt undersöker personers förmåga att använda vardagsteknik. Dessa instrument har en gemensam utgångspunkt där klienten är i centrum (Larsson Ranada, 2015; Malinowsky, Kassberg, Larsson-Lund & Kottorp, 2014; Rosenberg, Nygård och Kottorp, 2009). Även om dessa instrument kan bedöma användarens förmåga att hantera teknik, säger det inget om vilken teknik som bäst passar ihop med användaren. Det saknas kunskap om vad tekniken kräver av användaren för att fungera. Kraven från tekniken förändras inte beroende på vem som ska använda den eller vart i världen den ska användas. Litteraturöversikten i denna studie har visat brist på specifik kunskap om hur teknikens design, utmärkande egenskaper och krav påverkar användbarheten. Med mer kunskap om, och hänsyn tagen till både teknikens krav och användarens förmåga ökar möjligheten att hitta VT som kan användas av fler och fungera underlättande för människor. Det finns ett behov av att utveckla ett instrument som fastställer teknikens krav och användbarhet, för att nå en bättre överensstämmelse mellan teknikens krav och användarens förmågor att hantera teknik (Patomella, Kottorp & Nygård, 2013; Patomella, Lindqvist och Nygård, 2016). KIREUM skiljer sig från de andra instrumenten genom att det syftar till att undersöka vilka krav tekniken ställer på användaren för att fungera, och det betyder att utgångspunkten är att tekniken är i centrum. Eftersom KIREUM ännu är under utveckling finns i dagsläget inga studier med psykometriska analyser för KIREUM. Då en sådan undersökning är väsentlig för att säkerställa att instrumentet är tillförlitligt och giltigt, utgör denna studie en viktig del i utvecklingen av KIREUM. 3. SYFTE Syftet med pilotstudien är att utvärdera interbedömarreliabiliteten för bedömningsinstrumentet The Karolinska Institutet Rapid Ease of Use Mapping [KIREUM] of technology. 4. MATERIAL OCH METODER 4.1 Metodval och design Studien är en pilotstudie med kvantitativ ansats/metod med syfte att utvärdera interbedömarreliabiliteten för KIREUM. Två bedömare ska observera samma tekniska föremål och tjänster utifrån KIREUMs frågor och svar. Därefter ska båda bedömarnas svar jämföras. Patel & Davidsson (2003) skriver att pilotstudien ofta används för att pröva en studie med andra deltagare eller mindre antal deltagare för att få information om behov av eventuella ändringar innan studien genomförs i stor skala. Kvantitativ ansats valdes då det enligt Patel och

20 20 Davidson (2003) är en lämplig metod när insamlad och statistiskt bearbetad data ska beskriva forskningsfrågan i siffror Bedömare Bedömarna är författarna till den här studien, två kvinnliga studenter som läser termin 6 på arbetsterapeutprogrammet vid Karolinska Institutet [KI] i åldersspannet år. Båda bedömarna har likvärdig teoretisk kunskap inom arbetsterapi. Bedömarna är födda och uppvuxna i en storstad i Sverige med tillhörande, sedvanlig svensk kultur och tekniklandskap, samt är väl förtrogna med den vardagsteknik som bedöms i studien Material 17 tekniska produkter och föremål valdes ut i flera steg för att observeras med hjälp av KIREUM. Urvalet av tekniska produkter och tjänster skedde utifrån de aktivitetskategorier som finns i ETUQ. I första steget användes ETUQ som en urvalsram som består av sammanlagt 88 tekniska föremål och tjänster, fördelade inom olika aktivitetsområden som exempelvis hushåll, kommunikation/ information, egenvård, underhåll och reparation, ekonomi/inköp, resa och tillgänglighet. Urvalet inom de kategoriserade aktivitetsområdena från ETUQ gjordes i form av ett lämplighetsurval, som kännetecknas av att urvalet baseras på tillgängliga resurser så som tid och pengar. Denna form av urval lämpar sig enligt DePoy & Gitlin (1999) då man har begränsade resurser. I steg två valdes ett så likvärdigt antal vardagstekniska föremål och tjänster som möjligt från varje aktivitetskategori, för att på så sätt få en spridning på aktivitetsområden (Rosenberg et al., 2009). För att ingå i urvalet krävdes att tekniken fanns tillgänglig för bedömarna. Många tekniker och tjänster fanns tillgängliga för bedömarna, men baserat på ett samtal med en av forskarna i CACTUS och tillgänglig tid för arbetet, valdes endast ett fåtal ut för att ingå i arbetet. Vardagstekniska föremål och tjänster som exkluderades från urvalet var sådana som bedömarna skulle behöva inhandla enbart för att kunna utföra uppgiften. De 17 tekniska föremål och tjänster som ingick i urvalet presenteras i Tabell 1. Inklusionskriterier - För att ingå i urvalet krävdes att VT var vanligt förekommande i svenska hushåll och fanns inom närliggande miljö, egna hushåll och/eller offentlig miljö - den VT som bedöms i studien skulle vara välkänd för bedömarna.

21 21 Exklusionskriterier VT exkluderades om den ledde till ytterligare kostnader för bedömarna än de normalt hade haft vid bedömningstillfället. Tabell 1. Tekniska föremål/tjänster som ingår i urvalet Aktivitetskategori Teknik/tjänst Antal tekniska produkter inom kategorierna Hushåll Kaffebryggare 3 Microvågsugn Dammsugare 4 Information/ Kommunikation Skicka SMS från mobil Automatiserade telefontjänst Skicka e-post från dator Ringa samtal med mobil Egenvård Hårtork Eltandborste 2 Underhåll/Reparation Skruvdragare Luftvärmepump 2 Ekonomi/Inköp Bankomat Betala med kort 2 Resa Bensinpump Biljettköp i automat 2 Tillgänglighet Portkod Hiss 2 17st 4.2 Datainsamling Datainsamlingen i den här studien gick ut på att med hjälp av KIREUM observera vad tekniken kräver för att fungera. Det innebar att bedömarna svarade på 16 frågor i bedömningsinstrumentet KIREUM för de 17 tekniska föremål/tjänster som valts ut för studien.

22 22 Observationerna och registreringar av svar gjorde bedömarna enskilt. Som en inledning på datainsamlingen genomfördes en provundersökning av en mikrovågsugn med KIREUM som strukturerat observationsunderlag under handledning av en av forskarna som arbetar med utvecklingen av instrumentet. Tillfället var till för att förbereda och utbilda bedömarna på KIREUM inför studiens datainsamling då KIREUM än så länge saknar manual. Det är viktigt i pilotundersökningar med övningar i att observera och registrera svar för att synliggöra olika svagheter i tillvägagångssättet som kan komma att uppstå längre fram i arbetsprocessen (Bell, 2006; Eliasson, 2006). Datainsamlingen genomfördes som en strukturerad observation och skattning av VT:s användbarhet. Bedömningsinstrumentet KIREUM användes som ett strukturerat protokoll där bedömarna skattade teknikens användbarhet genom att registrera svar på de frågor som ingår i KIREUM. När strukturerad observation används som datainsamlingsmetod är det viktigt att bedömarna är förtrogna med hur observationen ska göras och hur svaren i bedömningen ska registreras, för att resultatet ska bli så reliabelt som möjligt (Eliasson 2006). Innan starten av datainsamlingen träffades bedömarna för att bestämma förutsättningarna för bedömningen av tekniken. Det bestämdes att utgångsläget var att alla tekniker och eventuella tillbehör som behövdes fanns framme, inget skulle behöva plockas fram eller hämtas ur skåp och lådor under observationen. I de fall där tekniken kräver att en stickpropp är ansluten till vägguttaget var utgångsläget att denna inte var ansluten vid observationen. De flesta observationerna utfördes i någon av bedömarnas hem och de tekniker som observerades tillhörde den bedömare där den testades. Båda bedömarna har observerat samma tekniska föremål både med avseende på plats och faktisk teknik, det vill säga det är exempelvis samma kaffebryggare och samma dammsugare som användes vid observationen. Undantagen vid observationerna var att skicka mail från skolans dator, då skolans datorer alltid ska vara inkopplade kunde inte strömmen först brytas. Även observationen av bensinpumpen som observerades på olika bensinstationer på grund av logistiska orsaker då bedömarna inte bor i närheten av varandra, dock gjordes observationen på bensinstationer inom samma företag i Knivsta och i Tumba. Observationerna av vardagsteknikerna utförde bedömarna separat utan att samtala med varandra. Svaren registrerades i bedömningsformuläret samtidigt som tekniken observerades. Minnesanteckningar fördes på formuläret och på fristående papper i de fall där utrymmet på formuläret inte räckte till. Fristående papper häftades sedan ihop med bedömningsformuläret.

23 23 De svar som bedömarna kom fram till genom de strukturerade observationerna låg till grund för att bestämma hur överensstämmande registrerade svar bedömarna gjort, det vill säga interbedömarreliabiliteten. 4.3 Struktur på frågeformuläret KIREUM Frågeformuläret består sammanlagt av 16 frågor. Strukturen på frågeformuläret är utformat på så sätt att frågorna är indelade i huvudkategorier (se tabell 2). Tabell 2 Visar frågekategorier med tillhörande frågor i KIREUM The Karolinska Institutet Rapid Ease of Use Mapping (KIREUM) Sekvenser I utförandet 1. Hur många handlingar krävs för att kunna använda tekniken? 2. Måste handlingarna och val utföras i en speciell ordning när tekniken används? Feedback och interaktion 3. Ställer tekniken krav på att användaren ska ge respons på information/instruktion från tekniken? 4. Vilken typ av feedback ger tekniken till användaren vid interaktion? 5. Hur ges guidning från tekniken information till användaren inför nästa steg? 6. På vilket sätt presenterar tekniken information som krävs för interaktion med användaren? 7. Hur många komponenter/delar måste hanteras för att använda tekniken/tjänsten? Underhåll och anpassning 8. Finns instruktioner tillgängliga? 9. Kan tekniken styras av annan användare på distans? 10. Krävs laddning av el/pengar för att tekniken ska kunna användas? 11. Kräver tekniken internetuppkoppling för användning? Frekvens av användningen 12. Hur ofta förväntas tekniken vanligen användas? Påverkansfaktorer 13. Finns det aspekter i den miljö där produkten/tjänsten är tänkt att användas, som kan påverka användningen i positiv eller negativ riktigt? - I så fall vilka aspekter? 14. I vilken omfattning finns det risk för fara/skada om en användare inte kan använda produkten/tjänsten på det sätt som är tänkt? - I så fall, vilken typ av fara/skada? 15. I vilken mån kan tekniken anpassas för att underlätta användningen? - I så fall hur? Samlad bedömning av teknikens användbarhet 16. Gör en samlad bedömning av teknikens användbarhet

24 24 Första huvudkategorin sekvenser i utförandet har två tillhörande frågor som handlar om antalet handlingar som krävs för att tekniken ska fungera samt om handlingarna måste utföras i en speciell ordning. Nästa kategori feedback och interaktion berör samspelet mellan användare och teknik, på vilket sätt och hur pass tydlig information från teknik presenteras. Tredje kategorin underhåll och anpassning handlar om hur tekniken kan underhållas och anpassas. Frekvens av användningen gäller hur ofta tekniken vanligen förväntas användas. Nästkommande tre frågor består delvis av en skattning i fyra steg samt en öppen fråga där bedömaren ombes beskriva med egna ord. Dessa frågor ingår i kategorin påverkansfaktorer som redovisas i resultatet. Slutligen ska bedömaren ge en samlad bedömning av hur användbar tekniken är på en visuell analogisk skala (VAS) (Patomella, Lindqvist & Nygård, 2016). Instrumentet är utformat med förbestämda svarsalternativ. Alla frågor utom den samlade bedömningen (fråga 16) har 2-4 tillhörande svarsalternativ. Frågorna 1-12 har även en ruta för svarsalternativet inte relevant längst ut i kanten i frågeformuläret. Exempel på två frågor med tillhörande svarsalternativ kan ses i tabell 3. Tabell 3 Visar exempel på tre frågor med tillhörande svarsalternativ i KIREUM Exempel på fråga Hur många handlingar/sekvenser kräver tekniken? Hur ofta förväntas tekniken användas? Kräver tekniken internetuppkoppling för användning? Exempel på svarsalternativ 0-4, 5-8, 9-15, 16 eller fler Varje dag, varje vecka, varje månad, mer sällan Nej Ja För att ge ett exempel på hur KIREUM används för att bestämma användarvänlighet och användbarhet illustreras nedan ett fiktivt exempel med en vattenkokare. Exempel: För att vattenkokaren ska fungera ställer den vissa krav, dessa kan beskrivas som sekvenser som behöver utföras. Vattenkokaren behöver ström, vatten i kannan och en startinpuls. Vilket betyder att svaret på frågan om antalet sekvenser skulle besvaras med svarsalternativ 1, 1-4 sekvenser. Vidare ger vattenkokaren visuell, auditiv och sensorisk feedback genom att den blir varm och att det hörs att vatten kokar samt att en lampa tänds när startinpuls ges. Så i detta fall hade svaret på frågan om vilken feedback tekniken ger registrerats som tre typer av feedback. Få sekvenser och mycket feedback är två saker som verkar underlättande för användning av teknik. I en empirisk studie där forskare analyserat

25 25 vilka faktorer som gör vardagsteknikens användbarhet mer eller mindre utmanande för äldre personer, visade resultaten att feedback och interaktion mellan teknik och användare bland annat var en betydande faktor för användarvänligheten (Patomella, Kottorp & Nygård, 2013). Gällande frågan hur ofta tekniken förväntas användas beror svaret på individens vanor och aktivitetsmönster, och kan därför skilja mycket. 4.4 Databearbetning Databearbetningen gjordes genom att analysera antalet överensstämmande registrerade svar mellan bedömare. Detta gjordes för alla frågor som ingår i KIREUM och alla observerade tekniker. Resultatet presenterades sedan som numerisk data i form av tabeller och diagram något som enligt (Patel & Davidson, 2003; Eliasson, 2006) är ett bra vanligt förfarande i kvantitativa studier. Analysen av insamlad data gjordes i flera steg som beskrivs nedan. Data registrerades i datorprogrammet Statistical Package for the Social Sciences [SPSS] för att få fram en matris. Två bedömare programmerades som nominalvariabler. 15 av de förbestämda svaren i KIREUM kan rangordnas och programmerades därför som ordinalvariabler. Den sista frågan i KIREUM programmerades som kvotvariabel då den visuellt analoga skalan kan mätas och translateras till siffervärden och enligt (Eliasson, 2006) är det beskrivningen av en kvotskala. Vidare kodades varje tekniskt föremål (som kom att kallas ITEM) till siffror. För bedömare 1 kodades ITEMS 1-17 och för bedömare 2 kodades ITEMS (17 ITEMS var). På så sätt kan man skilja på bedömarna och tillhörande ITEMS. Svarsalternativen i frågorna kodades med siffror 0-3. Svaret ej relevant kodades till 999 för att tydligt särskilja det från de övriga svarsalternativen. För att kunna jämföra registrerade svar valdes samma ITEM för båda bedömarna (t.ex. ITEM 1 och 18) under fliken Data och vidare på Select cases. Därefter användes Crosstabs som är det vanligaste kommandot när två variabler ska jämföras (Eliasson, 2006). Crosstabs finns under fliken Analyze och descriptive statistics, Crosstabs användes för att skapa fyrfältstabeller som visade parvisa mätvärden för alla frågor och bedömarnas registrerade svar. Detta förfarande upprepades sedan för alla items, till dess alla tekniker jämförts. Därefter användes resultaten från fyrfältstabellerna för att skapa cirkel- och stapeldiagram i Excel, som presenteras i resultatet. Att redovisa resultat i tabeller och diagram har visat sig vara lämpligt. Backman (2008) hävdar att figurer i form av exempelvis tabeller och stapeldiagram är mycket passande för att visualisera frekvensfördelning i absoluta värden till exempel procent.

26 26 Gällande överensstämmelsen mellan bedömare för frågor grupperade efter antal svarsalternativ räknades ett genomsnittligt antal samstämmiga svar ut. Uträkningen gjordes enligt följande, antal samstämmiga svar adderas med varandra. Därefter delades summan med antalet frågor. 5. ETISKA ÖVERVÄGANDEN Studien utgår från ett pågående forskningsprojekt på Karolinska Institutet [KI]. Generellt finns det få etiskt problematiska situationer i en studie som denna, detta beroende på att inga deltagare involveras utöver författarna. Vilket leder till att kravet på information om deltagande (anonymitet, valfritt deltagande, syfte med studien) inte vara aktuellt för den här studien. Resultatet av studien kan få konsekvenser för människor i framtiden, genom möjligheten att bedöma teknik kan underlätta matchning mellan VT och användare. Men att studien skulle leda till negativ påverkan för klienter är inte troligt då studien rör ett bedömningsinstrument för teknik och dess användbarhet. Studien ingår i ett forskningsprojekt på KI som inte behöver etiskt tillstånd, vilket leder författarna av studien att tro att det inte krävs något forskningsetisk godkännande för studien (Karolinska Institutet, 2013). 6. RESULTAT Nedan presenteras resultaten gällande utvärderingen av interbedömarreliabiliteten för KIREUM. Resultatet ska presenteras under dessa rubriker: - Överensstämmelsen i svar mellan bedömare för alla frågor som ingår i KIREUM och alla observerade tekniska produkter (Tabell 4). - Totala överensstämmelsen i svar mellan bedömare för alla frågor och observationer i procent (Figur 2). - Överensstämmelsen i svar mellan bedömare för alla observationer uppdelat i fråga 1-15 (Figur 3) och fråga 16 (Figur 4). - Överensstämmelsen i svar mellan bedömare för 5 frågekategorier som ingår i KIREUM (Figur 5-6), i procent. - Överensstämmelsen i svar för frågor som fördelats i grupper baserat på antal möjliga svarsalternativ (Figur 7-9). - Överensstämmelsen i svar mellan bedömare för alla observationer per fråga som ingår i KIREUM (Tabell 5). - Överensstämmelsen i svar mellan bedömare för alla frågor per teknisk produkt (Tabell 6).

27 27 Överensstämmelsen i svar mellan bedömare för alla frågor som ingår i KIREUM och alla observerade tekniska produkter För att få en överblick av studiens resultat visas i Tabell 4 både som tabell och som en schematisk bild. Tabellen visar två viktiga aspekter, samstämmighet mellan bedömare för frågor som ingår i KIREUM samt för de observerade tekniker som ingår i urvalet för studien. För att få svar på hur många frågor bedömarna svarat lika på för varje enskild teknik läses tabellen lodrätt längs y-axeln. För att få svar på i hur många fall bedömarna svarat lika för varje enskild fråga läses tabellen vågrätt längs x-axeln.

28 Tabell 4 Överensstämmelse i svar mellan bedömare för alla frågor som ingår i KIREUM och för alla observerade tekniska produkter Teknik Frågor Kategori 1 1. Antal Sekvenser 2. Utförande ordning Kategori 2 3. Krav på respons 4. Feedback från VT 5. Guidning från VT 6. Information från VT 7. Antal komponenter Kategori 3 8. Tillgänglig instruktion 9. Styra på Distans 10. Krav på Laddning av el/pengar 11. Internet uppkoppling Kategori Användare frekvens Kategori Miljö faktorer 14. Risk/fara för liv/egendom 15. Mån av anpassning Luftvärme Pump Hårfön Eltandborste Dammsugare Kaffebryggare Micro Portkod Hiss Biljettautomat Bankomat Skruvdragare Kortbetalning Bensinpump Telefontjänst Skickamail Ringa m. mobil Skicka SMS 16. Samlad bedömning

29 6.1 Överensstämmelse för KIREUM totalt sett Bedömarna har svarat lika i 59 % av alla frågor som ingår i KIREUM. Resultatet är baserat på svaren bedömarna registrerat för samtliga frågor vid observation av de 17 vardagstekniska produkter och tjänster som ingick i datainsamlingen. Och som utgör grunden för utvärderingen av interbedömarreliabiliteten, se figur 2. 41% överensstämmer 59% överensstämmer ej Figur 2 Överenstämmelse i svar mellan bedömare för KIREUM 6.2 Överensstämmelse för fråga 1-15 samt för den samlade bedömningen (fråga 16) Den samlade bedömningen av enskilda tekniska produktens användbarhet påverkade interbedömarreliabiliteten i negativriktning och därför presenteras resultatet för fråga 1-15 och fråga 16 (samlad bedömning) var för sig. För fråga 1-15 svarade bedömarna lika i 62 %, se figur 3. För den samlade bedömningen av teknikens användbarhet (fråga 16) svarade bedömarna lika i 11 % av alla observerade tekniker, se figur 4. Fråga 1-15 Fråga 16 38% 62% överensstäm mer överensstäm mer ej 89% 11% överensstäm mer överensstäm mer ej Figur 3 Överenstämmelse i svar mellan bedömare för fråga 1-15 Figur 4 Överenstämmelse mellan bedömare för den samlade bedömningen (fråga 16)

30 Överenstämmelse för frågekategorierna i KIREUM Bedömarnas lika svar inom de olika frågekategorierna för alla observerade tekniska produkter varierar mellan %. Bedömarna har svarat lika i 65 % av de frågor som ingår i kategorin sekvenser och utförandeordning. Kategorin feedback och interaktion är den kategori där bedömarna i minst utsträckning har svarat lika på de ingående frågorna, överenstämmelsen uppgick till 56 %, se figur 5. I kategorin underhåll och anpassning har bedömarna svarat lika i 69 % av alla ingående frågor. Kategorin frekvens av användning var den kategori där bedömarna svarat lika i störst utsträckning, 76 %, se figur 6. För kategorin påverkansfaktorer uppnåddes 57 % lika svar mellan bedömarna. Feedback och Interaktion Övernsstämmer 44% 56% Överensstämmer ej Figur 5 Överenstämmelsen mellan bedömare för frågorna som ingår i kategorin feedback & interaktion Frekvens av användning 24% Övernsstämmer 76% Överensstämmer ej Figur 6 Överenstämmelsen mellan bedömare för frågan i kategorin frekvens av användning 6.4 Överensstämmelsen för frågor som fördelats i grupper baserat på antal möjliga svarsalternativ Frågorna i KIREUM har olika många svarsalternativ, de finns 2, 3 eller 4 alternativa fasta svarsalternativ för varje fråga. För det frågor som hade två svarsalternativ svarade bedömarna lika 34 gånger av 51möjliga, se figur 7. Medelvärdet för överensstämmelsen av antalet lika svar i gruppen med två svarsalternativ är 11,33. För det frågor som hade tre svarsalternativ svarade bedömarna svarat lika 43 gånger av 68 möjliga, se figur 8. Medelvärdet för

31 31 överensstämmelsen av antalet lika svar i grupperna med tre svarsalternativ 10,75. För det frågor som hade fyra svarsalternativ har bedömarna svarat lika 86 gånger av 136 möjliga, se figur 9. Medelvärdet för överensstämmelsen av antalet lika svar i grupperna med fyra svarsalternativ är 10,75. Frågor med två svarsalternativ samma svar olika svar Information Styras på distans Internet uppkoppling Figur 7 Visar fördelningen av överenstämmelsen mellan bedömare för fråga 6, 9 & 11 med två möjliga svarsalternativ Frågor med tre svarsalternativ samma svar olika svar Krav på respons Antal komponenter Tillgängliga instruktioner Krav på laddning el/pengar Figur 8 Visar fördelningen mellan bedömare för frågorna 3, 7, 8 & 10 med tre möjliga svarsalternativ

32 32 Frågor med fyra svarsalternativ Samma svar Olika svar Figur 9 Visar överensstämmelsen mellan bedömare för frågorna 1, 2,4, 5, 12, 13, 14 &15 som har fyra svarsalternativ 6.5 Överenstämmelse per fråga inom KIREUM Överenstämmelsen mellan bedömare för de frågor som ingår i KIREUM varierade mellan drygt 11 % för den samlade bedömningen och drygt 80 % för frågan om internetuppkoppling krävs för den observerade tekniska produkten, se Tabell 5. Tabell 5 Visar överenstämmelsen mellan bedömare för alla ingående frågor i KIREUM 6.6 Överenstämmelse per teknik som observerats Överensstämmelsen mellan bedömare för de tekniska produkter som observerats. Överensstämmelsen varierade mellan knappt 40 % för kaffebryggaren till knappt 80 % för hissen, se Tabell 6.

33 33 Tabell 6 Visar överensstämmelsen mellan bedömare för alla tekniska produkter som observerats Slutsats/sammanfattning av resultat Sammanfattningsvis kan sägas att resultatet för pilotstudien visar på variationer i interbedömarreliabiliteten för KIREUM. Överenstämmelsen mellan bedömarna för alla observerade tekniker och frågor som ingår i KIREUM uppgår till 59 %. Överensstämmelsen för instrumentets frågekategorier varierar mellan 56-76%. Gällande överensstämmelsen för antal lika svar i grupper baserade på antal möjliga svarsalternativ visade ett medelvärde runt 11 för alla tre grupper. Tre frågor (2, 8 och 12) och tre observerade tekniker (hiss, ringa med mobil, skicka SMS från mobil) uppnår överensstämmelse mellan %. Enligt Pilot och Beck (2010) innebär ca 70 % överensstämmelse en måttlig nivå av interbedömmarreliabilitet men den bör helst vara över 80 % för att räknas som hög nivå av interbedömarreliabilitet. 7. DISKUSSION 7.1 Resultatdiskussion Syftet med studien var att utvärdera interbedömmarreliabiliteten för KIREUM, ett bedömningsinstrument under utveckling. Resultatet visar att KIREUM ännu inte tillräckligt reliabelt för att användas i klinisk praktik. För KIREUM som helhet uppnås endast 59 % vilket är en relativt låg nivå av interbedömarreliabilitet. Orsakerna till detta diskuteras nedan då fler aspekter påverkar det totala resultatet. Överenstämmelsen per fråga för alla observationer ligger i intervallet %. Det kan tolkas som att frågorna är olika lätta eller svåra att svara på. Svarsalternativen var inte alltid