Resurssparande mätmetoder inom användbarhet

Transkript

1 Resurssparande mätmetoder inom användbarhet Johannes Karlsson Medieteknik augusti 2010

2 Resursbesparande mätmetoder inom användbarhet 2 FÖRORD Jag vill tacka de personerna som har bidragit med hjälp och råd under arbetets gång. Ett speciellt varmt tack vill jag ge Ola Luthander och JMS för att ha gett mig möjligheten att arbeta med och under deras tak. Tack till min handledare Henriette Lucander som har väglett mig genom mitt arbete och medverkat till ett kvalitativt arbete. Ett stort tack ska även min vapendragare Magnus Wigrup ha efter att ha stått ut med mina eskapader. Ett tack tillägnas också Karl-Johan Löfgren efter att han ägnat en dag i parken till korrektur. TACK Malmö, 2010 Johannes Karlsson

3 Resursbesparande mätmetoder inom användbarhet 3 Sammandrag Detta arbete är en jämförande studie mellan mätningar inom användbarhet. Studien jämför en heuristisk utvärdering med ett användartest, med inriktning på ekonomi och resultat. Syftet är att belysa den ekonomiska aspekten mellan de två metoderna. Samtidigt undersöker studien om heuristisk utvärdering är en metod som lämpar sig som beslutsunderlag. Studien är genomförd på ett tryckeri där tryckeriets IT-system har testats och utvärderats utifrån de två metoderna. Studien baseras på kvalitativa och kvantitativa metoder så som strukturerade och ostrukturerade intervjuer, observationer och enkäter. Arbetet behandlar användbarhet som begrepp och metoder för hur användbarhet mäts. Relevant teori presenteras i teoridelen och behandlas i diskussionen. De båda metoderna var relativt lika varandra. Den stora skillnaden ligger i att användartestet gav mätbara resultat medan den heuristiska utvärderingen resulterade i en givande diskussion. Ur ett ekonomiskt perspektiv var den heuristiska utvärderingen betydligt billigare att genomföra. Undersökningen visar att den heuristiska utvärderingen fungerar bra. Dock bör metoden undersökas ytterligare för att styrka påståendet. Nyckelord Systemutveckling, användbarhet, användartest, heuristisk utvärdering, ekonomi, ISO

4 Resursbesparande mätmetoder inom användbarhet 4 Abstract Resource-saving methods in usability This essay is a comparative study of measuring usability. The study compares a heuristic evaluation with a usability test, with focus on economy and performance. The aim is to highlight the economic aspect between the two methods, also if the study of heuristic evaluation is a method suitable for decision-making. The study is conducted on a printing company where the company s IT systems have been tested and evaluated on the basis of the two methods. The study is based on qualitative and quantitative methods such as structured and unstructured interviews, observation and questionnaires. The study deals with usability as a concept and different methods for measuring usability. Relevant theory is presented in the theoretical part and is discussed and addressed in the discussion. Both methods were relatively similar. The major difference is that the user test yielded measurable results, while the heuristic evaluation resulted in a fruitful discussion. From a financial perspective, the heuristic evaluation is significantly cheaper to implement. The study shows that the heuristic evaluation works well. However, the method should be further investigated to prove the claim. Keywords System development, usability, user testing, heuristic evaluation, economics, ISO

5 Resursbesparande mätmetoder inom användbarhet 5 Innehållsförteckning 1 Inledning Bakgrund Syfte Frågeställning Avgränsningar Målgrupp Disposition Metod Observation Intervjuer Strukturerade intervjuer Ostrukturerade intervjuer Enkätundersökning Öppna vs stängda frågor Teori Chaosrapporten Arbetsmiljölagen Användbarhet Användarvänlighet Användbarhet i kravspecifikationen Användbarhet enligt ISO Användbarhetsmätning Fokusgrupper Heuristisk utvärdering Tillvägagångssätt Oenighet Kostnader Empiri Utvärderade system Användartest Användartestuppgifter Heuristisk utvärdering Testdeltagare... 26

6 Resursbesparande mätmetoder inom användbarhet 6 5 Resultat Användartest Observationsresultat Intervjuresultat Enkät Heuristisk utvärdering Användartestet gentemot heuristisk utvärdering Diskussion Slutsats Referenslista Litteratur Artiklar Internet Intervjuer Bilaga

7 Resursbesparande mätmetoder inom användbarhet 7 1 Inledning I dagens samhälle används datorer i allt större utsträckning, inte bara i våra arbeten utan även i hemmen där vi som privatpersoner använder en uppsjö olika system. Låt säga att vi kan dra av 15 minuter av den anställdes tid genom att ha ett användarvänligt gränssnitt. Tidsmässigt är kanske inte 15 minuter något att vara uppspelt över men en kvart om dagen i en vecka, en månad eller ett år är desto mer. Företaget tjänar pengar på att de anställda kan använda 15 minuter till annat och de anställda får ro i sitt arbete. Således är ett användarvänligt system en viktig aspekt i företagsutvecklingen och strävan efter att skapa lönsamhet. (Gulliksen, Göransson 2002, s ) Användarvänliga och användbara IT-system, intranät eller webbplatser uppstår inte av sig själv. Företagen och myndigheterna måste avsätta resurser för att skapa användbarhet hos ett specifikt system. Dessa system eller webbplatser måste mätas och utvärderas för att ta reda på hur användbara de egentligen är. Det är också av vikt att förstå var produkten brister, vilka problem som bör åtgärdas för att höja användbarheten. I en undersökning gjord 2007 visar Verva att endast 25 % av de statliga myndigheterna utför användartester med sina målgrupper. Samma studie visar att 50 % av myndigheterna utvärderade sina webbplatser ( Om god användbarhet bidrar till lönsamhet borde också beslut angående användbarhet mätas och värderas så att beslut baseras på fakta. Det är endast en fjärdedel av de statliga myndigheterna som utför användartester och hälften som utvärderar sina webbplatser. Desurvire, Kondziela och Atwood skriver i en artikel att intresset är stort för att hitta användbarhetsutvärderingar som är lätta och billigare än traditionella metoder, då dessa är resurskrävande i form av tid och pengar (Desurvire m.fl. 1992). Om företag och myndigheter kan dra ner på kostnader rörande utvärderingar och mätningar kanske fler hade genomfört metoder för att basera beslut och utveckling på. 1.1 Bakgrund För att undersöka om den heuristiska utvärderingen var en fungerande budgetmetod kontaktades ett tryckeri, JMS Mediasystem. JMS Mediasystem är ett tryckeri med produktion i Sverige, Norge och Danmark. De har runt 300 anställda och verkar på den svenska och nordiska marknaden. Inom företaget finns det en rad olika artiklar i form av IT-utrustning. Vissa anställda har både dator och mobil. Problemet ligger i att det inte finns någon dokumentation över vem som ansvarar för vad. Det gör att JMS har en mängd datorer och IT-utrustning undanstoppat i förråd och

8 Resursbesparande mätmetoder inom användbarhet 8 förvaringsutrymmen, utan att veta vems datorer det är eller var de kommer ifrån. Vidare intensifieras problemet när en anställd avslutar sin anställning och, om moralen tillåter, går hem med sådan utrustning som han eller hon egentligen ska lämna tillbaka. Ur en ekonomisk synvinkel förlorar JMS pengar då de måste köpa in nya datorer. Ännu värre är all viktig och känslig data som riskerar att hamna i fel händer. Det har hänt att personer som slutat för flera månader sedan fortfarande har haft nycklar till lokaler och inloggning till servrar. För att få bukt med problemet bör JMS föra register på vem som ansvarar för vad. På så vis kan ansvarig chef begära tillbaka den utrustning som den anställda förfogar över när anställningen upphör. Inloggningsuppgifter och lösenord kan spärras så att inga obehöriga kan komma åt känsliga uppgifter. Således ville JMS ha ett system som kunde tillgodose deras krav på inventering av IT-utrustningen. Inom företaget fanns redan ett personalsystem, Hogia PA, och ett intranät, Microsoft share point, som till viss del uppfyllde de krav som JMS hade. För att verkligen granska de olika utvärderingsmetoderna beslöts att utveckla ett system som tillgodosåg alla krav. Därför utvecklades ITIS som är en prototyp av ett inventeringssystem som kan förse JMS med de funktioner de behöver. JMS står inför ett val, hur ska företaget handla? Ska de utveckla och förädla ITIS, förnya Microsoft share point eller satsa på Hogia PA? För att besvara dessa frågor testades systemen i två omgångar. Först testades systemen med hjälp av ett användartest med de anställda som testpersoner. Sedan genomfördes en heuristisk utvärdering med två utomstående personer som utvärderade systemen. 1.2 Syfte Syftet med studien är att öka förståelsen för problematiken runt den ekonomiska aspekten av utvärderingar och i synnerhet utvärderingar i IT-system. Ett annat mål med arbetet är att belysa heuristisk utvärdering som en metod att spara pengar. Syftet är således inte bara att se till frågeställningen och undersökandet av den heuristiska undersökningen utan även att motivera verkställande personer att verkligen utvärdera och testa olika system för att basera sina beslut på Frågeställning Dessa frågor fann jag intressanta och svaren inger förhoppningsvis motivation till fortsatt forskning. Är en heuristisk utvärdering lämplig som metod när beslutfattaren väljer mellan olika system?

9 Resursbesparande mätmetoder inom användbarhet 9 Kan den heuristiska utvärderingen spara pengar för företagen? 1.3 Avgränsningar Utvecklingen av ITIS behandlas mycket kort i detta arbete. Dels för att fokus inte ska försvinna från den heuristiska utvärderingen men också för att tiden inte räckte till. 1.4 Målgrupp Personer inom systemutveckling och webbutveckling samt studenter och lärare på Malmö högskola, anställda och chefer på JMS Mediasystem samt personer intresserade av användbarhet och hur användbarhet mäts. 1.5 Disposition Jag har valt att göra en modell över uppsatsen för att tydliggöra hur den är uppbyggd. Med hjälp av denna modell kan läsaren välja hur han eller hon vill läsa den. Läsaren kan läsa uppsatsen från början till slut men kan också bearbeta den genom ett annat vägval. Detta vägval illustreras med hjälp av den streckade pilen. Alternativet går ut på att läsaren inte behöver läsa allt och kan välja vad han eller hon anser vara intressant. För att få en inblick i arbetet bör läsaren arbeta sig genom problemformuleringen och inledningen för att sedan läsa diskussionen samt slutsatsen. Läsaren bör sedan bläddra tillbaka i arbetet när han eller hon känner att de behöver ta reda på till exempel hur empirin eller hur teorin behandlar en specifik del av arbetet. Således läser man från slut till början och jobbar sig genom bakifrån medan det andra mer traditionella och grundliga alternativet arbetar från första sidan till sista.

10 Resursbesparande mätmetoder inom användbarhet 10 Figur 1. Förslag på olika sätt att läsa arbetet. Problemformulering är den inledande fasen av arbetet där läsaren får en inblick i arbetet samt syftet och nyttan av undersökningen. Frågeställning och konkretisering av det undersökta problemet beskrivs i denna del. Metoddelen är det kapitel som beskriver de metoder som används och varför dessa har använts. Eftersom detta är en jämförande studie om två olika metoder är metodavsnittet en viktig del av mitt arbete. I teorin presenteras de teorier och den forskning som jag baserar min undersökning på. I empirin beskrivs arbetet som utfördes på JMS. I resultatdelen presenteras resultatet av användartestet samt resultatet av den heuristiska utvärderingen. I diskussionsavsnittet diskuterar jag resultatet av min undersökning och sätter det i relation till de teorier och den forskning som presenteras i teorin. Det sista som visas i arbetet är slutsatsen. Där presenteras det viktigaste från diskussionen och svaret på min frågeställning.

11 Resursbesparande mätmetoder inom användbarhet 11 2 Metod Under arbetets gång har olika metoder använts för att föra arbetet vidare. Användartestet är uppbyggt av ett antal uppgifter som testpersonen ska utföra. Genom observationer noteras användarens utförande i form av tid och handling. Med hjälp av intervjuer och enkäter tar testledaren reda på testpersonens åsikter och tankar. Den heuristiska utvärderingen är en metod som bygger på en eller flera intervjuer med personer som har testat det system som är under utvärdering. Testet eller utvärderingen kan göras med hjälp av fasta uppgifter likt ett användartest eller så kan utvärderaren få fria händer att testa systemet själv. Ofta har utvärderaren fått ett tiotal användarprinciper som vägleder utvärderaren till de områden som bör utvärderas. 2.1 Observation Metoden ger information om vad användaren gör till skillnad från vad användaren säger, men handlingar är inte alltid lätta att förklara. Därför krävs det att utvärderaren skapar sig en bild om vad han eller hon har sett. Det krävs också att utvärderaren har förståelse för varför testpersonerna har handlat som de har gjort, det vill säga de yttre och inre omständigheter som berör testpersonens agerande. Skulle personen handla på ett liknande sätt även om han eller hon inte hade varit under observation? Det finns både öppna och dolda observationer där det senare betyder att testpersonen inte är medveten om att han eller hon blir observerad. Observationer kan också ske i personernas rätta miljö eller i en miljö som är arrangerad för att efterlikna verkligheten. De senare kallas för laboratorieundersökningar. Observatören kan både vara aktiv eller passiv. När observatören är aktiv påverkar han eller hon testpersonen medvetet för att framkalla en önskad situation. En passiv observatör låter testpersonen själv välja väg och handling. Observationer kan vara ostrukturerade och strukturerade där en strukturerad observation har givna uppgifter eller moment som användaren ska utföra. En ostrukturerad observation ger testpersonerna frihet så att systemet i helhet kan observeras istället för de givna uppgifterna. (Halvorsen 1992, s ) Fördelarna med observationer är att det ges möjlighet att få en inblick i testpersonernas handling som påverkas av yttre omständigheter. Eftersom observatören är närvarande vid observationerna kan han eller hon själv skapa sig tolkningar om personernas handling. Samtidigt är upplägget flexibelt i den form att observatören kan välja att styra testpersonerna till en given situation. En nackdel med observationer är kontrolleffekten eftersom testpersonernas beteende förändras till

12 Resursbesparande mätmetoder inom användbarhet 12 följd av utveckling. För att minska risken att testpersonen förändrar sitt beteende utifrån att han eller hon är iakttagen finns där möjlighet att utföra dolda observationer. (Halvorsen 1992, s ) I arbetet har observationer varit till nytta för att observera fel och vägval hos användaren. Observationer är en betydande del i användartestet och i den heuristiska utvärderingen. Detta gjordes för att veta hur användaren handlade i en given situation. De krav systemen skulle klara av att tillgodose sattes i fokus och användaren fick fyra uppgifter att slutföra. Vid utförandet av dessa uppgifter observerades användarens vägval och handling. Detta utfördes för samtliga system. Således användes en strukturerad observation med passiv observatör i en arrangerad miljö som efterliknar det riktiga kontoret. 2.2 Intervjuer Ett personligt samtal som styrs av att en frågar och en svarar är en intervju och används för att samla information om ett specifikt ämne. Utmaningen är att få intervjuer med maximal reliabilitet och validitet. (Befring 1994, s ) För att intervjun ska bli kvalitativ är det viktigt att testa de tilltänkta frågorna samt intervjuaren. Efter ett sådant test kan intervjuaren utvärdera sitt eget beteende och genomförande. På så sätt kan intervjuaren bli medveten om de misstag han eller hon gör och undvika dessa när väl den riktiga intervjun genomförs. Därför är det bra om testintervjun spelas in och att den tilltänka intervjuaren lyssnar på hur han eller hon hanterar intervjun. (Dalen 2007, s. 36) Eftersom en intervju vill komma åt informantens åsikter och synpunkter är det i regel bra att hålla forskarens egna åsikter och synpunkter skiljt från intervjun. För att gynna validiteten och reliabiliteten är det bra om respondenten får svara utan att bli påverkad av omgivningen. I en forskningsintervju ska intervjuaren varken argumentera eller moralisera. (Dalen 2007, s ) För att sätta användaren i fokus och för att få ett användarvänligt och användbart system gjordes både ostrukturerade intervjuer och strukturerade intervjuer. Användarna har rätt att påverka systemet och har rätt att framföra sina åsikter om helheten och delar av systemet. Vi gjorde en testintervju innan den riktiga intervjun. Testintervjun visade sig vara en bra idé då vi hade problem med formuleringar och ordval. Vi skrev ner viktiga ordval för att frågorna skulle presenteras likadant för de olika respondenterna.

13 Resursbesparande mätmetoder inom användbarhet Strukturerade intervjuer En strukturerad intervju har fasta frågor och svarsalternativ och kan även sättas ihop med hjälp av en intervjuguide. Den strukturerade intervjun liknar till stor del ett frågeformulär som besvaras ansikte mot ansikte. Fördelen med metoden är att de fasta frågorna går att jämföra mellan respondenterna. Data från de olika intervjuerna går lätt att sammanställa och intervjuaren kan lätt få en överblick vad testgruppen tycker angående en viss fråga. Strukturerade intervjuer fungerar bra när respondentantalet är stort. Enligt Denscombe har strukturerade intervjuer mer likheter med frågeformulär än de andra formerna av intervjuer. (Denscombe 2000, s ) Vid det slutliga användartestet gjordes en strukturerad intervju för att vi skulle få mätbara parametrar som berörde alla testpersoner. Svaren skulle också ge en helhetsbild av vad testgruppen tyckte i de frågor som ställdes Ostrukturerade intervjuer Denna metod är ett sätt för intervjuaren att samla information från en specifik person. Till skillnad från en strukturerad intervju är den ostrukturerade intervjun inte förberedd med frågor som styr diskussionen. Här ges respondenten utrymme för att själv ta upp och prata om ämnen direkt eller indirekt kopplade till ämnet. (Halvorsen 1992, s ) En heuristisk utvärdering baseras på en eller flera ostrukturerade eller strukturerade intervjuer. Den heuristiska utvärderingen i detta arbete använde en ostrukturerad intervju för att inte begränsa utvärderingen till ett specifikt ämne. 2.3 Enkätundersökning Denna metod gjordes för att tillgodose hela spektrat av begreppet användbarhet samt för att testa huruvida en enkät lämpar sig för ändamålet. Skillnaden på enkätundersökningar och strukturerade intervjuer är att enkätundersökningar fylls i av en respondent utan varken påverkan eller deltagande av en intervjuare. Vidare kan en enkät skickas till respondenten, fördelen med det är att forskaren inte är beroende av att ha respondenten i det fysiska rummet. Likt en strukturerad intervju används enkäter när deltagarantalet är stort vilket är enkäternas stora fördel. Ett problem med enkäter är att respondenten inte alltid ges möjlighet att svara vad han eller hon vill utan frågan är begränsad till ett visst antal alternativ. Detta är något en

14 Resursbesparande mätmetoder inom användbarhet 14 intervju hanterar bättre även om det är en strukturerad intervju. Där finns det utrymme för respondenten att kommentera frågan ytterligare. (Halvorsen 1992, s ) Att lyckas framställa bra enkäter där resultatet är användbart är svårt. Det krävs ofta beteendevetenskaplig expertis för att konstruera en enkät som ger de svar som eftersträvas. Samtidigt är en av fördelarna att man kan få en stor medverkan hos användaren, men detta är sällan användbart i IT-utveckling. (Gulliksen, Göransson 2002, s. 262) I användartestet ingick en enkät för att tillgodose testdeltagarnas åsikter om systemen. I linje med den strukturerade intervjun rörde frågorna vilket system de ansåg vara mest logiskt och användarvänligt Öppna vs stängda frågor Det finns både öppna och stängda frågor. På öppna frågor kan respondenten svara vad han eller hon än önskar och på stängda frågor finns det redan alternativ som respondenten ska välja mellan. Öppna frågor får respondenten att komma ihåg något medan stängda frågor får respondenten att känna igen något. Fördelen med öppna frågor är: 1. De ger möjlighet att blottlägga bristande kunskap, missförstånd och oväntade föreställningsramar; 2. De suggererar inte respondenten att svara; 3. De liknar mer ett vanligt samtal och påtvingar inte respondenten formuleringar och ord som kan upplevas som främmande; Fördelen med stängda frågor är: 1. De underlättar intervjuarbete och kodningen av svaren; 2. Frågorna får en klarare precisering när det föreligger svarsalternativ; 3. Möjligheterna blir större att jämföra svar från olika respondenter; 4. De hjälper respondenten att minnas. Något som kan vara att föredra är en kombination av öppna och stängda frågor i enkät så att fördelarna med de olika sätten kombineras. En annan sak att ha i åtanke är att inte glömma alternativet vet inte vid en stängd fråga, eftersom detta påverkar den övriga svarsfördelningen. (Halvorsen 1992, s )

15 Resursbesparande mätmetoder inom användbarhet 15 3 Teori Nedan presenteras den teori som sedan diskuteras i diskussionskapitlet. Det finns relevant statistik om lyckade IT-projekt, denna statistik presenteras för att påvisa de problem som finns med systemutveckling. Arbetsmiljölagen är intressant för att förstå de krav som finns på systemutveckling utifrån lagstadgan. Begreppet användbarhet presenteras för att de två metoderna som jämförs, användartest och heuristisk utvärdering, mäter användbarhet. Det är utifrån användbarhet och funktion de olika systemen bedöms. Således är det relevant att diskutera dessa begrepp. Slutligen presenteras metoderna: användartest och heuristisk utvärdering. 3.1 Chaosrapporten Standish Group är en institution som tar fram rapporter om lyckade och misslyckade IT-projekt. I Chaosrapporten som genomfördes 1995 undersöktes 395 IT-företag i USA med sammanlagt olika IT-projekt. Endast 16,2% av projekten ansågs som lyckade och 52,7% av projekten slutfördes med förändrade planer. I snitt ökade kostnaderna för dessa 52,7% med 189%. Undersökningen visar också att 31,1% av projekten avvecklades innan projekten bedömdes som fullständiga. Chaosrapporten går djupare in på de 16,2% som ansågs lyckade för att får reda på framgångsfaktorerna. De två faktorer som ansågs vara av största betydelse var en effektiv användarmedverkan och en tydlig kravspecifikation. (Gulliksen, Göransson 2002, s ) 3.2 Arbetsmiljölagen I Sverige har vi kommit långt med användarmedverkan och vi är framstående i ämnet, speciellt när det kommer till framtagningen av datorbaserat stöd för en arbetsuppgift. I arbetsmiljölagen fastställs att: arbetstagaren skall ges möjlighet att medverka i utformningen av sin egen arbetssituation samt i förändrings- och utvecklingsarbete som rör hans eget arbete. Enligt arbetsmiljölagen har arbetstagaren laglig rätt att medverka i utvecklingen av ett nytt datorstöd som berör hans eller hennes arbetsuppgift. Det visar på hur betydelsefull användaren är i utvecklingsarbetet. Vidare gäller det inte bara att involvera användaren utan även att göra så på ett effektivt sätt som ger resultat. Det finns många projekt där användaren är involverad men arbetet har skett på ett ineffektivt sätt och den egentliga hänsynen till arbetstagaren var obefintlig. Det

16 Resursbesparande mätmetoder inom användbarhet 16 gäller att resurser så som tid och pengar läggs på användarmedverkan. (Gulliksen, Göransson 2002, s ) 3.3 Användbarhet Är inte alla system användbara? Men i vilken utsträckning? Definitionen av användarvänligt är helt beroende på vem som använder begreppet och i vilket sammanhang det förekommer. Borde inte alla systemutvecklare alltid sträva efter att utforma användbara system? Jo men det är sällan systemutvecklare har användarvänlighet som ett uttalat mål men med det sagt betyder det inte att utvecklarna strävar efter att göra ett oanvändbart system. Användbarhet är något som tas för givet och förutsätts existera utan att sätta av specifika resurser. När en kund köper ett system av en utvecklare så tar han/hon ofta för givet att leverantören säljer ett system som är användbart. Utvecklaren får inte direktiv om att lägga resurser på användarvänlighet och användbarhet eftersom kunden tar det för givet. Kunden måste oftast uttrycka krav eller formulera specifika mål med användbarhet för att utvecklaren ska arbeta efter detta. I system som utvecklas för att stödja arbetstagaren i det dagliga arbetet är det särskilt betydande att produkten är användarvänlig då det handlar om en arbetsuppgift som kan förekomma mer eller mindre under hela arbetsdagen. Systemet skall vara effektivt, uppgiftsorienterat och tillfredställande så att användaren ser systemet som ett stöd och inte som ett hinder. De system som fungerar på ett otillfredsställande sätt skapar irritation och belastning på de anställda och kostar pengar för arbetsgivarna genom förlorad arbetstid och eventuellt dyra konsultkostnader. Arbetstagaren måste få fokusera på sin uppgift och inte på att läsa felmeddelanden och belastas med externa problem som arbetsuppgiften inte innefattar. (Gulliksen, Göransson 2002, s ) Användarvänlighet Användarvänlighet inom ett IT-projekt är av vikt för att få ett lättanvänt IT-system som ger användaren en möjlighet att utföra en viss funktion effektivt. Vidare ställer det krav på utbildningsmaterialet och dokumentationen. Gränssnittet mellan system och användare ska utformas på ett konsekvent sätt så att användaren kan memorera funktioner och moment. Inbyggda handböcker med sökbara problemformuleringar är ett bra sätt att ge assistans till användaren när problem uppstår. Användbarhetskrav bör identifieras i en kravspecifikation. (Lunell 2003, s ) Det finns en del problem runt användarvänlighet. Föreställ dig att du beställer ett nytt IT-system och i kontrakten står det att systemet ska vara användarvänligt. Det uppstår en konflikt mellan dig

17 Resursbesparande mätmetoder inom användbarhet 17 som kund och leverantören om just användarvänlighet. Du som kund hävdar att systemet har alldeles för dålig användarvänlighet medan utvecklarna hävdar motsatsen. I ett sådant fall vinner med största sannolikhet leverantören då användarvänligt är alldeles för dåligt konkretiserat. Hur ska man kunna vara säker på att systemet är användarvänligt när man inte har några mätbara faktorer som avgör om leverantören har levt upp till kontraktet eller inte. Genom att beställare och leverantör tillsammans definierar vad användarvänlighet är och sätter upp mätbara parametrar undviker man också konflikter runt produktens användarvänlighet. (Gulliksen, Göransson 2002, s. 57) Användbarhet i kravspecifikationen Ett av de största problemen med användbarhet är att det ofta definieras för fritt i systemets kravspecifikation, systemet ska vara lätt att använda eller användbarheten ska vara tillfredställande. Användbarhetskraven är en viktig del i systemet och ska utformas på ett sätt som går att mäta och testas. Ett exempel på ett mätbart användarkrav kan se ut på följande sett: Nya användare ska efter en introduktion på 30 minuter kunna hantera tre individuella inköp med hjälp av informationen i systemet. Kravet är uppfyllt om 80 % av testpersonerna klarar av testet. (Eriksson 2007, s ) För att på ett fullgott sätt ta fram mätparametrar för användbarhet krävs det följande information: Beskrivning av användarens mål och intentioner. Beskrivning av användningssammanhanget skall infattas av användarna, uppgifterna, utrustningen och miljöerna. Faktiska värden för ändamålsenlighet, effektivitet och tillfredställelse i det avsedda användningssammanhanget. (ISO ) Användbarhet enligt ISO International Organization for Standardization, förkortat ISO, arbetar med att standardisera faktorer i samhället för att underlätta definitioner och samarbeten mellan personer, företag och länder. ISO standarden definierar vad begreppet användbarhet är. (Tajakka, 2004) den utsträckning till vilken en specificerad användare kan använda en produkt för att uppnå specifika mål, med ändamålsenlighet, effektivitet och tillfredställelse, i ett givet användningssammanhang (ISO , 1998)

18 Resursbesparande mätmetoder inom användbarhet 18 För att standarden ska definieras ytterligare måste man också ta en titt på de förklarande orden och definiera vad de innebär. Ändamålsenlighet definieras som: noggrannhet och fullständighet med vilken användarna uppnår givna mål (ISO , 1998) effektivitet definieras som: resursåtgång i förhållande till den noggrannhet och fullständighet med vilken användarna uppnår givna mål (ISO , 1998) och tillfredställelse definieras som: frånvaro av obehag samt positiva attityder vid användningen av en produkt (ISO , 1998) till sist definieras användningssammanhanget som: användare, uppgifter, utrustning (maskinvara, programvara och annan materiel) samt fysisk och social omgivning i vilket produkten används. (ISO , 1998) ISO-definitionen påtalar att användbarhet är mätbart och gör begreppet möjligt att ytterligare diskutera. Vi kan jämföra två produkters användbarhet utifrån en bestämd målgrupp som utför en specifik uppgift i ett specifikt sammanhang. Det viktiga är att systemen genomgår samma test med samma målgrupp så att man kan sätta resultaten mot varandra och på så sätt få ett resultat som är jämförbart. Det är av betydelse att förstå att användbarhet inte är ett absolut utan ett relativt begrepp. En produkt kan anses som lättanvänd eller användarvänlig men ofta endast i det grafiska gränssnittet eller det interaktiva systemets grafik. För att utveckla ett användbart system måste vi lära oss mer om användarna; deras mål, uppgifter och användningssammanhang. En produkts användbarhet beror på användaren. Produkter har inte en latent användbarhet utan sammanhang. Till exempel är inte en banjo speciellt användbar vid ett husbygge, men en grävskopa är säkert användbar. Detta gör inte grävskopan till användarvänlig utan endast funktionell i ett specifikt sammanhang. Vidare får man se över grävskopans effektivitet, ändamålsenligt och byggarbetarnas tillfredställelse för att definiera grävskopans användbarhet. Grävskopans effektivitet kan fördelaktigt mätas, exempelvis genom hur många kilo eller ton av ett förbestämt element som den klarar av att gräva upp under en bestämd tidsperiod med en bestämd resursåtgång (bensin, antal användare, kostnad). Ändamålsenlighet kan också mätas och ge ett bestämt resultat som är jämförbart. Till exempel kan man bestämma att grävskopan ska gräva ett 5*5*5 meters hål. Hur väl

19 Resursbesparande mätmetoder inom användbarhet 19 klarar grävskopan och dess brukare detta moment? Är hålet verkligen 5*5*5 meter, sätt de avvikande cm/dm mot varandra och jämför mot andra grävskoper. (Gulliksen, Göransson 2002, s ) Ett moment som är svårare att mäta är tillfredställelse. Tillfredställelse kan mätas genom enkäter och intervjuer. Personers individuella uppfattning är inget absolut mått men ger en uppskattning om vad personen tycker, som sen kan sättas i relation mot samma persons uppskattning av ett annat system eller produkt. (Gulliksen, Göransson 2002, s ) 3.4 Användbarhetsmätning En del av problemet runt att mäta användbarhet ligger i skillnaden mellan samhällsvetenskaplig forskning och användbarhetsmätning. Anledning till mätning av användbarhet är ofta att identifiera problem, medan samhällsvetenskaplig forskning är att bevisa existensen av ett fenomen. De flesta stora problem inom ett system kan ofta identifieras med ett användbarhetstest även om antalet testpersoner är få. Ett av de kriterier som gör ett användbarhetstest lyckat är att testpersonerna består av personer som tillhör slutanvändaren. (Dumas, Redish 1999, s ) Användbarhetsmätningar är en empirisk metod, därför krävs det att testgruppen noggrant antecknar antal fel och hur lång tid det tar att slutföra en specifik uppgift. Testpersonerna ska även fylla i en enkät för att ta reda på deras åsikter. För att verkligen förstå problem och användbarhet i ett system krävs det att flera olika mätmetoder används. En kvalitativ undersökning är ofta bättre än en kvantitativ, då testpersonernas åsikter är mer värda än ett större deltagarantal. (Dumas, Redish 1999, s. 37) När det existerar konkurrerande produkt som uppfyller samma funktion som en produkt under utveckling kan dessa fördelaktigt testas mot varandra. Ett sådant test kallas för jämförande användartest och ger utvecklarna värdefull information om svagheter och styrkor hos konkurrerande produkter på marknaden. Dessa test kan utföras på en fokusgrupp där slutanvändaren får rangordna de olika produkterna utifrån användbarhet. (Dumas, Redish 1999, s. 48) Fokusgrupper För att tillgodose slutanvändarens åsikter om utvecklingen av systemet kan utvecklarna sätta ihop en fokusgrupp. En fokusgrupp består av en grupp människor som representerar slutanvändaren, vilket också är ett av kriterierna för en lyckad fokusgrupp. Det är bra om gruppen består av

20 Resursbesparande mätmetoder inom användbarhet 20 blandade erfarenheter och färdigheter. Från fokusgruppen kan nödvändig information om den kommande produkten tas fram och användas för att utveckla systemet. Informationen är personliga åsikter från personerna i fokusgrupperna och inte likt ett användartest som genom observation kan se hur användare handlar. Således är fokusgrupper bra för att se till användarens åsikter men inte hur en person skulle handla i en specifik situation. Därför är det lämpligt om fokusgruppen utöver en diskussion även genomgår ett användartest. (Dumas, Redish 1999, s ) Heuristisk utvärdering heuristi k, praktisk metod för att föreslå lösningar till problem, t.ex. beräkningsmässiga. Ingen garanti finns för korrekta lösningar. Heuristik spelar stor roll inom s.k. artificiell intelligens, t.ex. i schackprogram på datorer. (Nationalencyklopedin: Heuristisk utvärdering är en traditionell metod för att utvärdera användbarhet som går ut på att låta en expert i användbarhet undersöka systemet. Denna metod används för att den är kostnadseffektiv jämfört med användartester och övriga utvärderingsmetoder. I inledningen av en undersökning skriver Desurvire, Kondziela och Atwood att intresset är stort för att hitta användbarhetsutvärderingar som är lätta och billigare än traditionella metoder, som ändå inte utförs i brist av ekonomiska medel, planering eller mänsklig expertis. Men är experternas utlåtande tillräckligt effektiva? (Dumas, Redish 1999, s ) Metoden varierar beroende på experten. I vissa fall är experten en välutbildad professor i användbarhet, i andra fall endast mjukvaruutvecklare med snabb genomgång av användbarhet. I en undersökning gjord av Nielsen och Molich hittade experterna enskilt mellan % av problemen. När väl experterna sattes i grupper i varierande storlek hittades mellan % av problemen. Baserat på detta rekommenderar Neilsen och Molich heuristisk utvärdering som en metod i användbarhetsutvärdering. Vidare hävdar de att metoden är billig och lätt att implementera. (Dumas, Redish 1999, s ) I en artikel skriver Darlene Fitcher att utvärderaren inte ska vara rädd för att använda metoden trots att man inte har några experter att tillgå. Heuristisk utvärdering är lätt att lära sig och en grupp på fem kan med rätt introduktion utföra en undersökning och identifiera cirka 50 % av problemen. (Fitcher 2004, s. 54)

21 Resursbesparande mätmetoder inom användbarhet Tillvägagångssätt En utvärdering kan vara strukturerad eller ostrukturerad. Den strukturerade utvärderingen innehåller fasta utväderingspunkter och givna uppgifter för utvärderaren att genomföra. En ostrukturerad utvärdering arbetar utifrån utvärderarens frihet att utforska produkten och bearbetar problem allt eftersom de uppstår. (Fitcher 2004, s. 54) Jakob Nielsen har listat tio heuristiska principer att utgå ifrån: Synlighet av systemets status. Systemet bör alltid hålla användarna informerade om vad som händer, genom lämplig feedback inom rimlig tid. Verklighetsförankring. Systemet skall tala användarens språk, med ord, fraser och begrepp välkända för användaren, snarare än systemorienterade termer. Visa information i en logisk ordning konsekvent genom systemet. Användarkontroll och frihet. Användare väljer ofta systemfunktioner av misstag och behöver en klart markerad "nödutgång" för att lämna oönskade tillstånd utan att behöva gå igenom en utvidgad dialog. Stöd ångra och göra om. Konsekvent ordval. Användare ska inte behöva undra om olika ord, situationer eller handlingar betyder samma sak. Följ systemets ordlista. Förebyggande av fel. Ett bra system innehåller få fel, men när dessa uppstår är det viktigt med felmeddelanden som informerar användaren. Antingen eliminera felantalet eller presentera användaren med bekräftelse om det aktuella felet. Igenkännande. Minimera användarens minnesbelastning genom att göra objekt, handlingar och valmöjligheter synliga. Användaren ska inte behöva minnas information från en del av dialogen till en annan. Instruktioner för användning av systemet bör vara synliga eller lättåtkomliga vid behov. Flexibilitet och effektivitet i användning. Accelerators - osedd av nybörjare - kan ofta påskynda interaktionen för expertanvändare så att systemet kan tillgodose både oerfarna och erfarna användare. Tillåt användare att skräddarsy frekventa åtgärder. Estetisk och minimalistisk design. System bör inte innehålla information som är irrelevant eller sällan behövs. Varje extra enhet av information i en dialog konkurrerar med de berörda enheterna av information och minskar deras relativa synlighet. Hjälp användare känna igen, diagnostisera och återhämta sig från fel. Felmeddelanden bör uttryckas på ett enkelt språk (inga koder), exakt ange problemet och konstruktivt föreslå en lösning.

22 Resursbesparande mätmetoder inom användbarhet 22 Hjälp och dokumentation. Även om det är bättre om systemet kan användas utan dokumentation, kan det vara nödvändigt att tillhandahålla hjälp. Hjälpfunktionen ska vara sökbar och fokusera på användarens uppgifter, samtidigt som informationen ska presentera steg-för-steg instruktioner. (Jakob Nielsen: Generellt är det svårt för en enda person att hitta alla problem. Olika personer hittar olika problem och därför är metoden effektivare med flera utvärderare, som tillsammans kan täcka in ett större spektrum av de existerande problemen. Heuristisk utvärdering genomförs först genom att utvärderaren individuellt testar systemet. Detta är viktigt för att säkerställa oberoende och opartiska utvärderingar från testdeltagarna. När väl detta är genomfört får testpersonerna diskutera och föra samman resultatet. Resultatet kan presenteras genom en skriftlig rapport eller genom samtal med testansvarig. En fördel med en skriftlig rapport är att det går att få en formell dokumentation, samtidigt krävs det mer arbete runt att sammanställa dokumentet. En observatör kan fördelaktigt användas för att snabbt kunna tillgodose användbar data. Detta ökar arbetsinsatsen på testansvarig samtidigt som arbetsbördan på utvärderarna minskar eftersom en skriftlig rapport inte är nödvändig. Observatören har i uppgift att tolka testpersonens handlingar och koppla dessa till användbarhetsfaktorer. Detta gör det möjligt att utföra användbarhetstester med oerfarna testdeltagare. En annan fördel med att använda en observatör är att han eller hon kan hjälpa till vid problem eller när ytterligare förklaring krävs. (Jakob Nielsen: Något som skiljer heuristisk utvärdering från traditionella utvärderingstester är observatörens vilja att besvara frågor från utvärderaren. I ett traditionellt användartest vill observatören att testdeltagaren själv söker vägledning med hjälp av systemets hjälpfunktion eller att han eller hon prövar sig fram. I en heuristisk utvärdering, speciellt med oerfarna utvärderare är frågor positivt och det hjälper testdeltagaren att utvärdera systemet. (Jakob Nielsen: Under utvärderingens gång går utvärderaren genom systemet flera gånger och inspekterar de möjliga diskussionspunkterna och sätter systemet i relation till de användbarhetsprinciper som finns. Förslagsvis används de tio heuristiska principer Nielsen listar ovan. Dessa principer är ett stöd till utvärderaren som självmant kan ta upp sina egna principer och tankar. Utvärderaren behöver förklara resultatet så specifikt som möjligt, varför han eller hon tycker ett problem är ett problem. Denna förklaring är viktig för att förstå problemet och för att kunna presentera en effektiv lösning. (Jakob Nielsen: I en av Nielsens fallstudier påstås heuristisk utvärdering spara upp till dollar. Vidare menar Nielsen att heuristisk utvärdering är en ekonomiskt effektiv metod samtidigt som resultatet är

23 Resursbesparande mätmetoder inom användbarhet 23 fullgott. Däremot är heuristisk utvärdering ingen metod som ger beställaren ett perfekt resultat. (Jakob Nielsen: Oenighet Det finns en rådande oenighet i forskarnas diskussion om heuristisk utvärdering. Jakob Nielsen hävdar att det går att identifiera % av systemfelen när utvärderarmedverkan är mellan fem och tio personer. En utvärderare kan identifiera ungefär 35 % av de rådande systemfelen medan två utvärderare kan identifiera 50 % av felen. (Nielsen 1993, s. 156) I en undersökning gjord av Desurvire, Kondziela och Atwood identifierades endast 44 % av felen i den heuristiska undersökningen. I en artikel misstänker Joakim Snygg ett visst egenintresse från Nielsens sida men han menar också att skillnaden mellan undersökningarna beror på skickligheten och kunskapen hos utvärderarna. Nielsen har använt sig av experter med en bredare erfarenhet jämfört med Desurive, Kondziela och Atwood. (Snygg: Kompromisser i användbarhetsutvärdering) 3.5 Kostnader En IT-konsult med användbarhet som yrke kostar mellan kr i timmen. (Inuse Consulting AB, ) ITIS kostar uppskattningsvis kr att utveckla (Kjellman, )

24 Resursbesparande mätmetoder inom användbarhet 24 4 Empiri I följande kapitel beskrivs de undersökningar som genomfördes på företaget samt de system som utvärderades. 4.1 Utvärderade system ITIS står för IT inventarier system och är ett system som ger användaren möjlighet att registrera personal och artiklar samt knyta dessa till varandra. Tanken är att det ska ge JMS kontroll över datorer, mobiltelefoner samt behörigheter. När en nyanställning sker kommer personen att registreras i ITIS och när väl han eller hon får en artikel, dator, nyckel och så vidare att ansvara för kommer denna artikel att knytas till personen. Systemet knyter artikel till anställd så att ansvaret finns dokumenterat. Hogia PA är ett system som JMS använder för personaladministrativa uppgifter, exempelvis anställning, lön och pension. Hogia har stöd för personliga inventarier, men detta system lever inte upp till alla de krav som efterfrågas i kravspecifikationen. Till exempel går det inte att söka på artikelns uppgifter utan endast på personer. Microsoft share point är JMS intranät och används för att förmedla information och som allmän kommunikationsplattform där e-post är en stor del av systemet. Detta system är väldigt stort och har många funktioner. Det gör att det är rörigt och svårt för användaren att hitta både funktioner och personer. Intranätet har tidigare använts som inventariesystem men har slutat att användas för att användarna har tyckt att det varit för invecklat och inte anpassat för uppgiften. 4.2 Användartest För att se till de faktorer som användbarhet innebär gjordes ett användartest. Detta användartest utgjordes av en enkät, en intervju och ett uppgiftorienterat test där användaren fick utföra fyra uppgifter i de olika systemen. Enligt Gulliksen m.fl. (2002) kan olika utvärderingsmetoder bidra till en heltäckande bedömning av systemet. Testet genomgicks av sex personer som alla tillhör slutanvändaren i någon form. Eftersom jag ville veta vilket av de tre systemen som var mest användbart gjorde jag mätningar inom effektivitet, fullständighet och tillfredställelse hos användaren. Ett användartest arbetades

25 Resursbesparande mätmetoder inom användbarhet 25 fram som behandlade effektivitet och fullständighet. Testpersonerna fick fyra uppgifter att utföra för respektive system. Utförandet av dessa uppgifter mättes i form av tid och felprocent genom tidtagning och observationer. För att se till användarens tillfredställelse utfördes en intervju och en enkät där testpersonerna fick frågor om systemen och möjlighet att själv komma med spontana åsikter. Genom dessa metoder täcks de tre faktorerna in och behandlar användbarhet utifrån den definitionen jag själv ansåg lämplig. Jag valde även att jämföra de tre systemen för att förstå vilket av dem som är mest lämpat för att utföra de uppgifter som eftersträvades. För att faktorerna bäst ska spegla verkligheten gäller det att sätta dem i rätt miljö. Det är viktigt att testa systemen mot rätt målgrupp och användare. Därför ska användaren analyseras och en testgrupp ska sättas ihop utifrån vad analysen visar. Användarna har olika bakgrund med skilda erfarenheter som gör att användaren hanterar systemen olika. Vissa personer anser att ett system ska vara av logisk karaktär och andra tycker raka motsatsen. Därför är det viktigt att hitta en testgrupp som speglar den slutliga användaren. En annan aspekt är att själva testet utförs i systemets rätta miljö på liknande dator som systemet ska användas på. Annars finns risk att omgivningen påverkar testet så att resultatet blir felaktigt. Användbarheten ska testas i den omgivning där systemet ska verka eller verkar Användartestuppgifter De uppgifter som deltagarna fick utföra i användartestet var utformade på ett sådant sätt att de skulle återspegla en verklig situation och en verklig uppgift. Uppgifterna i de olika systemen var av liknande karaktär men för att förhindra att testdeltagaren skulle memorera informationen var varje uppgift unik. Användartestuppgifter: 1. Hitta en specifik information; mobil eller e-postadress. 2. Lägg till en ny artikel; dator eller kreditkort. 3. Ändra en befintlig artikel; artikelnummer eller placering. 4. Radera en befintlig artikel; dator eller bil. Instruktionerna för hela användartestet finns att läsa i bilaga ett. 4.3 Heuristisk utvärdering Den heuristiska utvärderingen gjordes för att se till hur och om den fungerar som utvärderingsmetod jämfört med sluttestet. Utvärderingen skedde med hjälp av två personer som inte kan ses som experter på användbarhet men inte heller noviser. Båda personerna fick en inblick i systemen och en presentation av Nielsens tio utvärderingsprinciper. Utifrån dessa principer har

26 Resursbesparande mätmetoder inom användbarhet 26 personerna utvärderat systemen. Utvärderingen har först skett individuellt så att utvärderarna kunde skapa sig en egen uppfattning för att sedan diskutera och sammanföra de olika åsikterna tillsammans. Utvärderingen genomfördes på JMS med deras datorer och i rätt användarmiljö. På så sätt efterliknar utvärderingen verkligheten, annars finns risken för att utvärderingen påverkas av en miljö som inte är signifikativt för JMS. Diskussionen som följde spelades in och sammansattes i ett dokument där de intressanta aspekterna presenterades. 4.4 Testdeltagare De personer som deltog i användartestet valdes ut på grund av att de ansågs vara potentiella slutanvändare. Samtliga personer som deltog i testet arbetar dagligen med en dator på ett kontor. Detta var relevant för att inventeringssystemet verkar i liknande miljö. De två personer som ställde upp som utvärderare i den heuristiska utvärderingen valdes ut på grund av deras kunskap inom användbarhet. Personerna var också lättillgängliga och de tyckte ämnet verkade intressant vilket stimulerade dem till att göra ett bra jobb. Det fanns en del problem runt att hitta testdeltagare i användartestet. Detta diskuteras och behandlas i diskussionen.

27 Resursbesparande mätmetoder inom användbarhet 27 5 Resultat I detta kapitel presenteras resultatet av det slutliga användartestet och den heuristiska utvärderingen. 5.1 Användartest Det slutliga användartestet gick ut på att testa Hogia PA, Microsoft Share Point och ITIS. Syftet med testet var att tydliggöra vilket av systemen som var mest användbart utifrån en specifik funktion. Alla systemen klarade av de övergripande kraven från beställaren men skiljde sig åt när det kom till önskemål och underliggande krav Observationsresultat Microsoft share point var det system av de tre där samtliga uppgifter tog längst tid att utföra. En anledning till detta var att Microsoft share point saknar stöd för en sökfunktion, således behövde användaren leta igenom alla namn samtidigt. Ett annat problem var att det fanns en sökfunktion som existerade rent grafiskt. Två av testpersonerna använde sökfunktionen men misslyckades eftersom funktionen inte fungerade men gränssnittet visade fortfarande på att systemet hade stöd för funktionen. Testpersonerna fick lägga mycket tid på att leta efter knappar och länkar, Share Point var det system som skapade mest förvirring hos användaren. ITIS var det system som var näst bäst när det kom till tidseffektvitet. Flera av användarna hade problem med att se logiken i kategoriindelningen. Två av sex personer använde sökfunktionen i uppgift ett och fyra av sex personer stannade upp och fick tänka efter innan de förstod hur artikel kopplades till anställd. Det system som var resurssnålast i form av tid var Hogia PA. Uppgift 2-4 i användartestet var snabbast att utför i Hogia. En aspekt som förklarar varför Hogia är effektivast är att det endast finns ett fält att fylla i och inte flera olika informationsmöjligheter som de andra systemen innehar. Till exempel måste användaren fylla i både vilket år inköpet skedde och modelltyp när en ny dator ska registreras i ITIS och Microsoft share point. Detta görs på en rad i Hogia, således tar det inte lika lång tid för användaren att utför dessa uppgifter. Samtidigt är möjligheterna för att registrera information om de olika artiklar begränsad. Sökfunktionen användes av tre personer och dessa personer använde sökfunktionen i samtliga uppgifter.