Hur kvalitetssäkra komplexa IT-lösningar och vad är egentligen test?

Transkript

1 Hur kvalitetssäkra komplexa IT-lösningar och vad är egentligen test? Sätterstrand Business Park Peter Furster Robert Magnusson

2 Varför Nordic MedTest? Sjukvården drabbas allt för ofta av allvarliga incidenter på grund av fel och brister i vård-it. Det vill vi ändra på! 2

3 Ett kompetenscenter Ett oberoende och öppet center där vårdgivare (landsting, kommuner och privata aktörer) i samverkan med leverantörer av IT kan utveckla, testa och på ett säkert sätt införa nya och innovativa IT-tjänster i vård och omsorg.

4 Vårdens IT-miljö är komplex Avancerade processer Hög grad av IT-stöd Vertikal historia, horisontell ambition Ökad belastning och ökade krav 21 Landsting, 290 Kommuner och privata vårdgivare

5 Ett mycket förenklat exempel Användare IT-avd Systemleverantör Projekt Förvaltning Systemleverantör IT-avd Användare Lokal impl. Tjänst Lokal impl. Standardsystem Tjänsteplattform Standardsystem 5

6 Ett stort antal kedjor med länkade experter

7 som vill få igenom flödet

8 Nordic MedTest ett kompetenscenter 8

9 Exempel - Intygstjänsten 9

10 Införande av vårdsystemintegrationer Förutsättningar Ny nationell tjänst Många olika parter Olika vårdsystem/journalsystem Sent projekt Sjukskrivningsmiljarden Många vill bara få det överstökat Det där är redan restat Ny testprocess 10

11 Inkrementellt Projektmässigt Systemmässigt Avgränsa scopet Angreppssätt Få koll på läget Underlätta för nästa steg Skala upp stegvis Identifiera problem tidigt 11

12 Intygstjänsten 12

13 Erfarenheter Intygstjänsten Pressade tidsscheman (förseningar, bonus) Ingen bra utgångspunkt för förbättringsarbete Involverade personers tid utnyttjades effektivt Allas tid är dyrbar Få problem upptäcktes i E2E Många fel hittas och åtgärdades innan NMT var ett stöd Till alla parter 13

14 Vad är testning? En empirisk, teknisk undersökning i syfte att ta fram kvalitetsrelaterad information om en produkt åt intressenter

15 Tjänstekatalog Användbarhet Testmiljö Utbildning Testning Certifiering Organisationsstöd Utvecklingsstöd Expertrådgivning Testledning Testdata

16 Test genom hela livscykeln - Idé - Krav - Utveckling - Driftsättning - Förvaltning - Avveckling

17 Glöm inte bort varför flytta fokus från teknik till användande! - Krav baserade på användning - Testbara krav - Testdriven utveckling - Verksamheten med i hela processen

18 Rätt ambitionsnivå på testmiljöer Viktigt att välja ambitionsnivå på testmiljö efter respektive test. Produktionslik miljö, funktionslik miljö, skarpa integrationer, stubbar,

19 Rätt ambitionsnivå på omfattning Kravbaserad testning och Riskbaserad testning 19

20 Går det att kvalitetssäkra komplexa ITlösningar? Ja! Komplexiteten beror till största del på människor och organisationer Avgränsningar och skalbarhet är viktigt För att vi ska förstå och få koll För att undvika problem som inte är IT-relaterade 20

21 Testare En egen yrkesgrupp som drivs av att hitta fel och brister

22 Oberoende Testning sker med fördel av någon som inte har en relation till eller kring testobjektet

23 Användbarhetstester Robert Magnusson - NMT

24 Användbarhetsmått ISO Effectiveness [Måluppfyllelse] Efficiency [Effektivitet] Satisfaction [Tillfredsställelse] 24

25 Frågeformulär SUS SUMI System Usability Scale Software Usability Measurement Inventory Tio påståenden. En slutpoäng Femtio påståenden. Sex olika kategorier poängsätts 25

26 Användbarhetstest NMT Okulär observation Test-rapport Digital observation Video- & Ljudupptagning + musrörelser Kommentarer från testdeltagare ISO Måluppfyllelse Klarar/klarar inte Effektivitet Tidsåtgång Tillfredsställelse SUS-frågor Score card: Good (80-100), Fine (68-80), Pass (51-68), Fail (0-51) 26

27 Användbarhetstest på LiV Pilot HR system Självbetjäning CSK Upphandling HR system 27

28 Pilot HR system Testare Observatörer FPX mentor Lärdomar Förberedelser Syfte Kunskap om systemet Testdata Kommunicera resultat Chef Medarb 6 11 Scenarier Scenarier 28

29 Självbetjäning CSK Användbarhetstest -Testpersoner -Fältstudie Resultat: -Ta bort 19 i årtal -Ta bort nedsläckning av tangenter -Skylt med instruktioner -Skärm för integritet 29

30 30

31 Upphandling HR system 10 HR personal Måluppfyllelse/Effektivitet/Tillfredsställelse Kommentarer viktigt! Del i bedömning av lämpligt HR-system 15 Personal/Läkare Chef Medarb 6 11 Scenarier Scenarier 31

32 Erfarenheter Vilken data får/kan användas Viktigt att fånga upp testpersoners kommentarer Viktigt att observatörer och testledare kan systemet som skall testas och vet när uppgifterna lyckades Minst testpersoner (statistiskt riktigt) Syfte bestäms innan test God planering ger bra resultat Utbildning eller inte innan test? 32

33 Effektivare vård & högre patientnytta Vårdens process vs system Stödjande verktyg Patienten i focus Användarvänlighet intuitiv interaktion spar tid Patient involverad Självanmälan & Mina vårdkontakter (1177) Minskad tid vid system ger mer vårdtid 33

34 Framtida möjligheter Fånga upp åsikter från vårdens personal Kombinerat med förbättringsprocess Användbarhetstest på prototyper Vårdens processer ihop med tänkta system Kravställning Trendkurva för vårdens leverantörer 10 min är mycket i vården som har många anställda! 34

35 Robert Magnusson Nordic MedTest STORT TACK! 35