Kontrollrummets bidrag till säker drift Vad ska utvärderas? 2015-11-19 Eva Simonsen Handledare Anna-Lisa Osvalder, Chalmers Tekniska Högskola Andreas Kjellin, Strålsäkerhetsmyndigheten Photo: Curtis Backhurst
Bakgrund Studie av Osvalder och Alm (2012), på uppdrag av SSM Studera och granska dagens användning av metoder och procedurer för att utvärdera kontrollrumsmodifieringar Doktorandprojekt Utveckla kunskapen om metoder för att utvärdera existerande, modifierade och nya kontrollrum för processtyrning; främst med fokus på säker drift men även prestation och välmående Fokus på tidig utvärdering
Delar i en utvärderingsprocess Bestämma utvärderingsmått Vad är syftet med utvärderingen? Bestämma acceptanskriterier Var går gränsen för godkänt? Samla in data (mäta) Jämföra tagna mått med acceptanskriterier
Photo: Petr Pavlicek/IAEA
Intervjustudie Simonsen & Osvalder (2015) 14 semi-strukturerade intervjuer Reaktoroperatörer Reaktoroperatörer Skiftchefer Skiftchefer Instruktörer Inspektörer Drift Inspektörer (SSM) MTO Instruktörer HF specialister (SSM) HF MTO-samordnare specialister (TH) HRA HRA-analytiker specialister Ansvariga för drift av säkerhetssystem Operativt ansvariga för arbetet i KR Ansvariga för träning av operatörer Ansvariga för granskning av säkerhetskrav Ansvariga för granskning av säkerhetskrav Ansvariga för HF-aspekter i anläggningsändringsprojekt Utför HRA-analyser Drift- & beteendevetarbakgrund Svenska kärnkraftverk; kok- & tryckvattenreaktorer
Intervjustudie Simonsen & Osvalder (2015) er Tillstånd och händelser i den omgivande miljön som kontrollrumssystemet måste kunna hantera - Olika drifttillstånd - Olika typer av störningar
Intervjustudie Simonsen & Osvalder (2015) er Tillstånd och händelser i den omgivande miljön som kontrollrumssystemet måste kunna hantera Funktioner Förmågor som kontrollrumssystemet måste ha Ex: - Presentera information - Möjlighet att manöverera - Klargöra önskat beteende (regler) - Fördelning av ansvar (roller) - Vara beredd på det oförutsedda
Intervjustudie Simonsen & Osvalder (2015) er Tillstånd och händelser i den omgivande miljön som kontrollrumssystemet måste kunna hantera Funktioner Förmågor som kontrollrumssystemet måste ha Arbetsuppgifter Vad operatörer eller tekniska system i kontrollrumssystemet måste kunna göra - Primära arbetsuppgifter - Arbetssätt - Kommunikation - Samarbete
Intervjustudie Simonsen & Osvalder (2015) er Tillstånd och händelser i den omgivande miljön som kontrollrumssystemet måste kunna hantera Funktioner Förmågor som kontrollrumssystemet måste ha Strukturella element Entiteterna som utgör kontrollrumssystemet - Operatörsgränssnitt - Fysisk kontrollrumsutformning - Process- & I&C-system - Stödssystem - Personal Arbetsuppgifter Vad operatörer eller tekniska system i kontrollrumssystemet måste kunna göra
Intervjustudie Simonsen & Osvalder (2015) er Tillstånd och händelser i den omgivande miljön som kontrollrumssystemet måste kunna hantera Funktioner Förmågor som kontrollrumssystemet måste ha Arbetsuppgifter Vad operatörer eller tekniska system i kontrollrumssystemet måste kunna göra Strukturella element Entiteterna som utgör kontrollrumssystemet Egenskaper Villkor för utformning av artefakter och beteende och förmågor hos personal - Egenskaper hos designen - Egenskaper hos operatörerna
Intervjustudie Simonsen & Osvalder (2015) er Tillstånd och händelser i den omgivande miljön som kontrollrumssystemet måste kunna hantera Funktioner Förmågor som kontrollrumssystemet måste ha Strukturella element Entiteterna som utgör kontrollrumssystemet Egenskaper Villkor för utformning av artefakter och beteende och förmågor hos personal Arbetsuppgifter Vad operatörer eller tekniska system i kontrollrumssystemet måste kunna göra
Intervjustudie Simonsen & Osvalder (2015) s Disturbances Events/ feedback Structural elements with characteristics Structural elements with characteristics Modifies Produces Process/application/ controlled system Construct Action Tasks Functions Controller/ controlling system Determines Originalmodell: Hollnagel & Woods (2005), modifierad
Tool s Systems usability framework for evaluating tools in safetycritical work Perspectives to activity Performance: Outcome Way of : Orienting to core-task User experience: The development potential of use Instrumental Instrumental performance Instrumental way of Systems usability Experience of instrument Psychological Communicative the capability of the technology to fulfil Psychological way of the instrumental, psychological, and communicative s of the tool in the activity, and to support the fulfilment of core-task demands in the work Psychological performance Communicative performace Communicative way of Experience of psychological tool Experience of communicative tool (Savioja, 2014)
Tool s Systems usability framework for evaluating tools in safetycritical work Perspectives to activity Performance: Outcome Way of : Orienting to core-task User experience: The development potential of use Instrumental Instrumental performance Instrumental way of Experience of instrument Instrumental Psychological Psychological performance Psychological way of - Verktygets förmåga att producera den önskade effekten i omgivningen Experience of psychological tool Communicative Communicative performace Communicative way of Experience of communicative tool (Savioja, 2014)
Tool s Systems usability framework for evaluating tools in safetycritical work Perspectives to activity Performance: Outcome Way of : Orienting to core-task User experience: The development potential of use Instrumental Instrumental performance Instrumental way of Psychological Experience of instrument Psychological Communicative Psychological performance Communicative performace - Människans förståelse av verktygets Psychological potential way of och verktygets förmåga att fungera som en extern kontroll av mänskliga handlingar Communicative way of Experience of psychological tool Experience of communicative tool (Savioja, 2014)
Tool s Systems usability framework for evaluating tools in safetycritical work Perspectives to activity Performance: Outcome Way of : Orienting to core-task User experience: The development potential of use Instrumental Instrumental performance Instrumental way of Communicative Experience of instrument Psychological Communicative Psychological performance Communicative performace - De sociala aspekterna av att använda ett verktyg Psychological way of - Möjliggör en delad förståelse kring arbetet; förutsättning för samarbete Communicative way of Experience of psychological tool Experience of communicative tool (Savioja, 2014)
Tool s Systems usability framework for evaluating tools in safetycritical work Perspectives to activity Performance: Outcome Way of : Orienting to core-task User experience: The development potential of use Instrumental - Task completeness - Errors - Time - Focus on relevant phenomena - Effective prioritizing - Feeling of a welling tool Psychological - Task loads - (Interruptions) - Meaningful and established practice - Conceptualization of the process situation - Feeling of embodiment - Self-confidence - Feeling of control Communicative - Verbal interactions - Spatial interactions - Teamwork practices - Shared awareness - Appropriate trust - Understanding logics of system (Savioja, 2014)
A Measurement Framework for Human Factors Integrated System Validation of NPP Control Rooms Team CR operators Field operators Automation Cognitive dimensions Tools Monitoring Manipulation Work guidance Team cooperation Plant mode Event Time understandning Mission Control and validation Team cognition Plant state and boundaries Function/system Component Mission analysis Tasks Actions Mission verification Progress monitoring Execution control and response verification Leadership Decision making Consultation Communication Back-up Workload Attention Resource management Team selfevaluation (Braarud & Rø Eitrheim, 2013)
A Measurement Framework for Human Factors Integrated System Validation of NPP Control Rooms Team CR operators Field operators Automation Cognitive dimensions Tools Monitoring Manipulation Work guidance Team cooperation Plant mode Event Time understandning Plant state and boundaries Function/system Component Mission Mission analysis Actions Team Control and validation Mission verification - Agenterna som interagerar direkt Progress med Tasks monitoring processen Execution control and response verification Team cognition Leadership Decision making Consultation Communication Back-up Workload Attention Resource management Team selfevaluation (Braarud & Rø Eitrheim, 2013)
A Measurement Framework for Human Factors Integrated System Validation of NPP Control Rooms Team CR operators Field operators Automation Cognitive dimensions Tools Monitoring Manipulation Work guidance Team cooperation Plant mode Event Time understandning Mission Control and validation Team cognition Cognitive dimensions Plant state and boundaries Function/system Component Mission analysis Tasks Actions Mission verification Progress monitoring Execution control and response verification Leadership Decision making Consultation Communication Back-up Workload Attention Resource management Team selfevaluation - Karaktäristik för hur agenterna utövar kontroll över processen (Braarud & Rø Eitrheim, 2013)
A Measurement Framework for Human Factors Integrated System Validation of NPP Control Rooms Team CR operators Field operators Automation Cognitive dimensions Tools Monitoring Manipulation Work guidance Team cooperation Plant mode Event Time Tools understandning Plant state and boundaries Function/system Component Mission Mission analysis Tasks Actions Control and - Medel och stöd som gör validation det möjligt för agenterna Mission att ha verification kontroll över processen Progress monitoring Execution control and response verification Team cognition Leadership Decision making Consultation Communication Back-up Workload Attention Resource management Team selfevaluation (Braarud & Rø Eitrheim, 2013)
A Measurement Framework for Human Factors Integrated System Validation of NPP Control Rooms Team CR operators Field operators Automation Cognitive dimensions Tools Monitoring Manipulation Work guidance Team cooperation Plant mode Event Time understandning Plant state and boundaries Function/system Component Mission Mission analysis Tasks Actions Control and validation Mission verification Progress monitoring Execution control and response verification Team cognition - Omgivning och processen, inkluderar initiering av och resultat från agenternas processkontroll Leadership Decision making Consultation Communication Back-up Workload Attention Resource management Team selfevaluation (Braarud & Rø Eitrheim, 2013)
Tool s Hur relaterar dessa till varandra? s Events/ feedback Disturbances Structural elements with characteristics Team CR operators Field operators Automation Cognitive dimensions Tools Monitoring Manipulation Work guidance Team cooperation Plant mode Event Time Produces Modifies Structural elements with characteristics Process/application/ controlled system Action Construct Tasks Functions Determines Controller/ controlling system Vad som behöver finnas understandning Plant state and boundaries Function/system Component Mission Control and Team cognition validation Mission Mission analysis Leadership verification Decision making Consultation Communication Back-up Progress Tasks Workload monitoring Attention Resource Execution management control and Team selfevaluation Actions response verification Hur det ska användas Vad som ska mätas Perspectives to activity Performance: Outcome Way of : Orienting to core-task User experience: The development potential of use Instrumental Instrumental performance Instrumental way of Experience of instrument Psychological Psychological performance Psychological way of Experience of psychological tool Communicative Communicative performace Communicative way of Experience of communicative tool
Tool s Hur kan de användas? s Events/ feedback Disturbances Structural elements with characteristics Bekräftar Team CR operators Field operators Automation Cognitive dimensions Tools Monitoring Manipulation Work guidance Team cooperation Plant mode Event Time Structural elements with characteristics Functions Controller/ controlling system Modifies Construct Produces Process/application/ controlled system Action Tasks Determines understandning Plant state and boundaries Function/system Component Mission Mission analysis Tasks Actions Control and validation Mission verification Progress monitoring Execution control and response verification Team cognition Leadership Decision making Consultation Communication Back-up Workload Attention Resource management Team selfevaluation (Bekräftar) Underlag för Perspectives to activity Performance: Outcome Way of : Orienting to core-task User experience: The development potential of use Instrumental Instrumental performance Instrumental way of Experience of instrument Psychological Psychological performance Psychological way of Experience of psychological tool Utvärderingsmått Communicative Communicative performace Communicative way of Experience of communicative tool
Delar i en utvärderingsprocess Bestämma utvärderingsmått Vad är syftet med utvärderingen? Bestämma acceptanskriterier Var går gränsen för godkänt? Samla in data (mäta) Jämföra tagna mått med acceptanskriterier
Fortsatt arbete Bestämma utvärderingsmått Vad är syftet med utvärderingen? Bestämma acceptanskriterier Var går gränsen för godkänt? Lämpliga metoder? Samla in data (mäta) Jämföra tagna mått med acceptanskriterier Andra krav på metoder
Referenser Braarud, P. Ø., Rø Eitrheim, M. H. (2013) A Measurement Framework for Human Factors Integrated System Validation of NPP Control Rooms. Halden: Institutt for Energiteknikk, OECD Halden Reactor project. Hollnagel, E., Woods, D. D. (2005) Joint Cognitive Systems. Foundations of Cognitive Systems Engineering. Boca Raton, FL: Taylor & Francis. Osvalder, A.-L., Alm, H. (2012) Methods for Evaluation of Safety in Complex Process Control. Critical review of processes and methods used in the nuclear power domain and suggestions for research activities. Solna, Sweden: Strålsäkerhetsmyndigheten. Savioja, P. (2014) Evaluating systems usability in complex work - Development of a systemic usability concept to benefit control room design. Espoo; Aalto University School of Science. Simonsen, E., Osvalder, A. L. (2015) Aspects of the Nuclear Power Plant Control Room System Contributing to Safe Operation. In 6th International Conference on Applied Human Factors and Ergonomics; 26-30 of July 2015, Las Vegas, Nevada.
Tack!