Utvärdering Samla in, analysera och presentera användbarhetsmått Innehåll Heuristisk utvärdering Användbarhetstestning A/B-testning 1
Heuristisk utvärdering Utse ett antal utvärderare och en lämplig lista med heuristiker Gå igenom gränssnittet noga två gånger. Undersök alla interaktiva element och leta efter delar i designen som bryter mot någon/några av heuristikerna Sammanställ alla hittade problem i ett givet rapportformat Sammanför alla utvärderare och diskutera igenom resultaten. Sammanställ allt i ett givet rapportformat. 1. Synlig systemstatus Heuristiker + exempel Om det tar lång tid att ladda en sida, visa en progress bar 2. Matchning mellan systemet och verkligheten När man designar ett system för barn, använd ett språk som de förstår 3. Användarkontroll och frihet Tillhandahåll undo och redo 4. Konsekvens och standarder Använd ikoner som folk känner igen 5. Felhantering Om användaren säger upp sitt konto, tillhandahåll ett enkelt sätt att komma tillbaka igen 2
Heuristiker + exempel 6. Igenkänning istället för ihågkomst I ett webbformulär, tillhandahåll tidigare inmatad information på ett smidigt sätt 7. Flexibilitet och effektivitet Tillhandahåll snabbkommandon för expertanvändare 8. Estetik och minimalistisk design Bakgrundsgrafik kan göra det svårt att läsa text 9. Underlätta identifiering, diagnos, och hantering av fel Använd felmeddelanden som hjälper användaren lösa problemet 10.Hjälp och dokumentation Tillhandahåll hjälp online, och länkar till pop-ups med tips och förklaringar Allvarlighetsgrad Liten påverkan på användarupplevelsen Få utvärderare noterade problemet Låg allvarlighetsgrad Många utvärderare noterade problemet Medium allvarlighetsgrad Stor påverkan på användarupplevelsen Medel allvarlighetsgrad Hög allvarlighetsgrad 3
Rapportformat Problem Heuristic Severity Details 1. Main links not always visible 3 + 6 + 7 Medium BRIEF DESCRIPTION: After clicking any of the Main Links the Main Links are not visible on the next page LIKELY DIFFICULTIES: Users must return to the Home Page to be able to go to a different Main Link sub-page. SPECIFIC CONTEXT / LOCATION: Location: Any sub-page of the Home Page POSSIBLE SOLUTIONS: Keep the Main Links visible at all times HEURISTIC RATIONALE: 3) User control and freedom: Users are restricted in their ability to navigate the website 6) Recognition rather than recall: Being able to see the Main Links at all times will reduce memory load on the user 7) Flexibility and efficiency of use: Extra navigations are required to return to the Home Page Rapportformat Problem Heuristic Severity Details 2. Adding images takes many steps 7 Medium BRIEF DESCRIPTION: In order to add an image to a record, the user must first add the image to the Image Gallery. LIKELY DIFFICULTIES: If a user is in the middle of editing a record and they wish to add an image, they must exit the page they are on and visit the Image Gallery to add the image. Then they have to go back to the original page they were on to add the image. This will slow users down and may make some users (if they are in a hurry) reluctant to add an image. SPECIFIC CONTEXT / LOCATION: Any record in which they wish to add an image that has not already been uploaded into the Image Gallery. POSSIBLE SOLUTIONS: 1. Allow images to be added directly at the location they wish to put it. 2. If the above is not possible, then a solution would be to have a link to a pop-up window which has the Image Gallery this way they don t need to lose their current location. HEURISTIC RATIONALE: 7) Flexibility and efficiency of use: it can take a large number of navigations to add an image 4
Hur många utvärderare? Användbarhetstestning Användare utför realistiska uppgifter i prototypen/systemet Observationer, tänka högt kompletteras med intervjuer Foto från test med pappersprototyp 5
Användbarhetstestning vs heuristisk utvärdering Usability testing Usability testing Usability testing Heuristic evaluation Heuristic evaluation Heuristic evaluation Heuristic evaluation Sketches Paper prototypes HiFi prototypes Working system 11 Användbarhetstestning vs heuristisk utvärdering Effektivitet 100 90 80 70 60 50 40 30 20 10 0 Användbarhetstestning Heuristisk utvärdering Tillfredsställelse Ändamålsenlighet 12 6
Formativ studie Frågeställningar Vilka är de viktigaste användbarhetsproblemen? Vilka aspekter av produkten funkar bra för användarna? Är det något som frustrerar dem? Vilka är de vanligaste felen som användare gör? Blir produkten bättre för varje iteration? Summativ studie Har användbarhetsmålen uppnåtts? Nya produkten effektivare än nuvarande? Jämförelse med konkurrerande produkter? Användare försöker lösa en given uppgift genom att interagera med prototypen Dator känner till programlogiken och styr gränssnittet. Simulerar datorns respons utan kommentarer Roller vid testning Testledare styr testsessionen, ger instruktioner till användaren och efterfrågar åsikter och tankar. Observatör antecknar under tystnad 7
Formulering av uppgifter En lagom mängd uppgifter formuleras Ska representera det som användaren förväntas använda systemet till Hela testet bör inte ta mer än max en timme, inklusive enkäter, intervjuer etc Ges till användaren en i taget på separata papper Måste ligga på rätt detaljnivå Får inte ge för mycket ledtrådar Ska beskriva vad användaren ska göra, inte hur 8
Att tänka på Etiska frågor Praktiska förberedelser Icebreaking Träning om det behövs Försvara aldrig designen inför användaren Gör alltid en pilotstudie med 2-3 personer Kriterier för att välja deltagare Självrapporterad expertis Tex nybörjare, medel, expert, Användningsfrekvens Antal besök per månad Mängd erfarenhet Dagar, månader, år Aktiviteter Använt speciell funktion 9
Antal användare Målsättningen med testet Tolerans av felmarginal Antal lyckade Antal fp Nedre 95% konfidensintervall 4 5 36% 98% 8 10 48% 95% 16 20 58% 95% 24 30 62% 91% 40 50 67% 89% 80 100 71% 86% Övre 95% konfidensintervall Konfidensintervall Antag att detta är din tidsdata för en studie med 5 användare Vad betyder det? 10
Konfidensintervall Visa felstaplar 11
Hur visa felstaplar? Användbarhetsmått Prestandamått Uppgiftsframgång, tid, fel Problembaserade mått Antal problem, typ av problem Beteende- och psykologiska mått Verbalt beteende, ansiktsuttryck Självrapporterade mått Förväntningsmått, SUS 12
Hur/när ska måtten användas? Beror främst på användbarhetsmålen Men, ofta gäller: I en tidig fas är uppgiftsframgång viktigast Uppgiftsframgång kräver att allvarliga problem är undanröjda (problembaserade mått) Upplevelsen viktig vill användaren använda systemet? Fångas in via beteendemått och självrapporterade mått (korrelation dem emellan?) Tid har ofta ett tröskelvärde (men vilket?) Blir därmed binärt (under eller över tröskelvärdet?) Prestandamått Uppgiftsframgång Tid Fel Binärt eller nivåindelat Hur lång tid tar det för en uppgift Vilka eller hur många fel görs per uppgift Effektivitet Lärbarhet Tex antal knapptryckningar Hur ändras prestanda över tid 13
Uppgiftsframgång - binärt Kräver väldefinierade uppgifter med tydliga slutvillkor Hitta priset för soffan Älmhult i standardutförande. OK? Undersök olika sätt att pensionspara. OK? Uppdragsframgång - konfidensintervall 14
Uppgiftsframgång - exempel Uppgiftsframgång - exempel 15
Problembaserade mått vad är ett problem? Allt som förhindrar måluppfyllelse Allt som för någon på fel spår Allt som skapar förvirring Allt som skapar ett fel Att inte se något som skulle uppmärksammats Att anta att något är rätt när det inte är det Att anta att en uppgift är klar när den inte är det Att utföra fel funktion Att missförstå något innehåll Att inte förstå navigeringen Problembaserade mått - detaljer När börjar och slutar ett problem? Granularitet? Flera observatörer? 16
Allvarlighetsgrad Liten påverkan på användarupplevelsen Få fp upplever ett problem Låg allvarlighetsgrad Många fp upplever ett problem Medel allvarlighetsgrad Stor påverkan på användarupplevelsen Medel allvarlighetsgrad Hög allvarlighetsgrad Resultat - exempel 17
Resultat exempel Resultat - exempel 18
Resultat - exempel Resultat - exempel 19
Konsekvens i problemidentifiering Bruskällor Deltagare Uppgifter Metod Artefakt Omgivning Moderatorer 20
Antal deltagare 21
Självrapporterade mått SUS-skalan Förväntningsmått CSUQ-skalan QUIS-skalan 22
SUS system usability scale Utvecklat vid DEC Består av 10 frågor Kan byta ut website mot system mot produkt 23
24
SUS - sammanräkning SUS resulterar i ett helhetsvärde. Värden för individuella frågor säger inget. Beräkning: Varje frågas värde varierar mellan 0 och 4 Fråga 1, 3, 5, 7, och 9 bidrar med positionen minus 1 Fråga 2, 4, 6, 8 och 10 bidrar med 5 minus positionen Multiplicera summan för alla 10 frågor med 2.5 för helhetsvärdet. SUS värden varierar mellan 0 och 100 Beräkningsexempel 25
Varför just SUS? Forts. Upplägg 123 användare testade 2 system (alla testade båda) 5 olika enkäter Varje användare fyllde i samma enkät för båda systemen Ca 25 användare per enkät Resultat Alla 5 enkäter visade att ett av systemen var signifikant bättre än det andra En mängd samples slumpades ut från enkätsvaren (6-14 personer per enkät) Hur många % av respektive enkäts sample visade att rätt system var bättre än det andra? 26
Frequency Varför just SUS? Frequency Distribution of SUS Scores for 129 Conditions from 50 Studies 50 45 40 35 30 25 20 15 10 5 0 <=40 41-50 51-60 61-70 71-80 81-90 91-100 Average SUS Scores Beteende och psykologiska mått Verbalt beteende Ansiktsuttryck Eye-tracking Pupillrespons Hjärtfrekvens 27
Eye-tracking 28
Eye-tracking video 1 29
Eye-tracking video 2 Eye-tracking-analys 1 30
Eye-tracking-analys 2 Top banner Get it Done Online Tools Main Body News/ Features A/B-testning 31
Hur funkar det? Vad kan man testa? 1. Headlines 2. Sub headlines 3. Paragraph Text 4. Testimonials 5. Call to Action text 6. Call to Action Button 7. Links 8. Images 9. Content near the fold 10. Media mentions 11. Awards and badges 32