Förutsättningar och aspekter vid utvärdering av valideringar vid kontrollrumsförändringar

Transkript

1 Förutsättningar och aspekter vid utvärdering av valideringar vid kontrollrumsförändringar Björn JE Johansson Per-Anders Oskarsson Natalia Gonzalez Bakgrund - Syfte Stödja SSM avseende metodutveckling för IV Referensram Befintliga rekommendationer för IV Human Factors Valideringsstudier inom Försvarsmakten Skapa nya tankar och uppslag om valideringsprocessen Undersöka tillståndshavarnas synpunkter 1

2 Bakgrund Integrerad validering Viktigt med bra bedömningar av kontrollrum Stegvisa uppgraderingar Design Relevanta scenarier Förutsättningar för validering Kontextuell utvärdering av systemets användbarhet Internationella guidelines Mätmetoder vid integrerad validering Statistisk analys vid integrerad validering Metod De slutsatser som redovisas baseras både på egna erfarenheter, litteratur och fokusgruppdiskussion! 2

3 Fokusgrupp Representanter från samtliga kärnkraftsverk Exempel på diskussionsämnen Referensdokument och begreppsdefinitioner Samarbete mellan kärnkraftsverken Samarbete med externa parter Metoder för att samla in data Praktiska problem vid validering Baslinjemätning Att tolka valideringsrapporter Designprocessen 3

4 Gemensamma riktlinjer för valideringsprocessen Tillståndshavarna arbetar på olika sätt i dagsläget Erfarenheten av valideringar varierar mellan anläggningarna Anläggningarna har skapat egna dokument och processer för validerings- och förändringsarbete Rekommendationer Handböcker Workshops/möten Iteration Human Factors Validering Guidelines 4

5 När ett system förändras skapas en respons från det systemet som leder till ett nytt tillstånd som stabiliserar sig Normer Lärande Funktionella krav Tekniska möjligheter Design Slutgiltigt system Praktiker Kriterier Slutgiltigt system Slutgiltigt system Kognitiva uppgifter Nuvarande användbarhet Tailoring Framtida användbarhet Stabilt tillstånd 1 Stabilt tillstånd n Designprocessen En bra designprocess minskar risken för att felaktigheter identifieras vid validering HF-principer måste tas in så tidigt som möjligt i designprocessen Uppdaterade riktlinjer för kontrollrumsdesign saknas Rekommendationer Ta fram uppdaterade riktlinjer för design kontrollrumsdesign 5

6 Baslinjemätning Svårt att säga vad (vilka mått) en BM ska omfatta Ingen rutin för hur ofta den ska göras Oklart vad som menas med en godkänd BM Ibland finns ingen tidigare BM Vid stora förändringar Jämförbarhet? Kan konservera skillnader mellan gamla kontrollrum Ofta svårt att hitta skillnader mellan BM och IV Rekommendationer Skapa acceptanskriterier Nationella eller internationella referensmått? 6

7 Teoretisk bas hur enkelt är det att validera och tolka data? Svag Stark Svårt Felhandlingar (prestation) Ögonrörelser PET-scan Tänka högt Talad kommunikation Arbetsbelastning Situationsmedvetenhet Expertbedömningar Användbarhet EKG Tangentbordsinteraktion Lätt Svårighet att mäta Översatt från Hollnagel & Woods, 2005, sid 56, Joint Cognitive Systems. 7

8 Mät- och beräkningsmetoder De mått som används idag är väl etablerade, men kan vara svåra att använda som en grund för att skapa en helhetsbild av förändringar Rekommendationer Överväg komplettering med alternativa mätmetoder (t.ex. psykofysiologiska) Överväg användning av utforskande metoder, t.ex. walkthroughs Överväg komplettering med alternativa statistiska analysmetoder (t.ex. kovariansanalys, datareduktion och kausalanalys) 8

9 Kontinuerlig mätning över tiden Beskrivning av vad som händer över tiden Koppla prestation till händelser i sceneriet Studera samvariation över tiden Identifiera kritiska händelseförlopp (flaskhalsar) Från Svensson & Wilson (2007) Dynamiska metoder - Kvasidynamiska Kan inte alltid mäta kontinuerligt Regelbunden mätning jämna mellanrum Mätning var 10:e minut med PDA (från Svensson m.fl., 2006) 9

10 ? Externa aktörers roll i valideringsprocessen Fungerande samarbete mellan beställare och leverantör är avgörande för framgångsrik implementering av nya system Det saknas tydliga riktlinjer för leverantörens roll i valideringsprocessen Rekommendationer Gemensamma möten mellan tillståndshavare, leverantörer, SSM och forskare Riktlinjer för sammansättning av valideringsteam 10

11 Tidpunkt och konsekvenser av IV Ofta kort tid tills implementering Vad skulle en IV upptäcka för att påverka implementering? Rekommendationer Riktlinjer för tid mellan IV och implementering Riktlinjer för hur brister identifierade vid IV ska hanteras 11

12 Sammanfattningar Slutsatser Organisera modererade workshops för deltagare från de olika verken Utred skapande av generella riktlinjer för acceptanskriterier Utred införande av avstämningspunkter i valideringsprocessen Gemensamma möten SSM, tillståndshavare, forskare, leverantörer Utred vilka parter som bör ingå i ett valideringsteam Undersök möjligheten att skapa riktlinjer för kontrollrumsdesign Utred hur lång tid innan planerad implementering IV bör genomföras Utred konsekvenser identifierade brister vid IV för implementering Skapa ett dokument med rekommendationer för design Utred användning av dynamiska och psykofysiologiska mätmetoder, samt utforskande metoder Frågor? 12