Larm. Inledning. Generell problematik. Av Arne W Andersson

Transkript

1 Av Arne W Andersson Larm Inledning I den inledande delen av projektet har vi försökt att sätta oss in i den komplexa problematiken kring larm och larmpresentation vid de tre helt väsensskilda tillämpningsområdena: oljeraffinaderi, elnätsdrift samt vattenkraftproduktion. Våra metoder har varit intervjuer med operatörer, insamling av bilder på grafik och listor samt insamling av loggar över inträffade störningshändelser. Givetvis har vi också studerat publicerad litteratur inom området och även deltagit i konferenser inom ämnesområdet. I denna rapport vill vi ge en sammanfattning av våra slutsatser om vad som är generellt och vad som är specifikt för de olika områdena. Generell problematik Som forskare ser vi ganska stora likheter i de problem som man har med larmpresentation vid de olika tillämpningsområdena. Även om projektdeltagarna från de olika områdena inte alltid tycker att de har så mycket gemensamt tycker vi forskare att det finns mycket som i princip är väldigt likartat. Större störningar inträffar alltmer sällan Den "automatikens ironi" som forskaren Bainbridge talar om redan på 80-talat gäller det faktum att ju mer som automatiseras desto svårare blir det för människan att klara av de uppgifter som automatiken inte klarar. Ju färre tillfällen att öva desto svårare blir det att hantera en störning när den väl kommer. Många av dagens operatörer har aldrig varit med om en stor störning. I intervjuerna framkom att de känner sig osäkra på om de verkligen skulle klara av en sådan. Ett vanligt önskemål är att få träna störningar i en simulator. Stor mängd larm under kort tid De loggar över inträffade störningshändelser som vi studerat visar att det verkligen är fråga om kaskader av larm på upp till 100 larm per minut. Dessutom varade larmkaskaderna förhållandevis lång tid ( minuter). Genom jämförelse med publicerade uppgifter om riktlinjer för vad som är maximalt antal larm som en operatör kan förväntas klara av kan vi också konstatera att larmfrekvensen under en störning ligger avsevärt över denna nivå för samtliga 3 områden. Orsak ej urskiljbar från följder Gemensamt är också att det under störningens initiala skede är mycket svårt för att inte säga omöjligt att avgöra vad av alla larm som är orsak och vad som är följdverkningar. Mängden av tänkbara orsaker är överlappande med mängden av tänkbara följdverkningar. Stor mängd möjliga orsaker En strategi för att hantera den initiala delen av en störning är att systematiskt kontrollera de störningsorsaker som man erfarenhetsmässigt vet brukar förekomma. Ett gemensamt problem härvidlag är att det finns en mycket stor mängd tänkbara orsaker, varav många kan vara händelser som uppträder ytterst sällan. Kakofoni av ljud 1

2 I intervjuerna med operatörer har samstämmigt beskrivits den stress som upplevs när de akustiska larmen ständigt ljuder i samband med en larmkaskad. Vissa kontrollrum har möjlighet att tillfälligt undertrycka det akustiska larmet för en kortare period. Men de är ändå ett stressmoment när de ganska snart återkommer. Larmlistan oanvändbar Samtliga intervjuade anser att den traditionella larmlistan i textform är oanvändbar i samband med en större störning. Nya larm kommer in i en takt så att det blir omöjligt att överblicka än mindre läsa. Kvittering av larm orsakar dessutom omsortering i listan så att man tappar orienteringen. Larmlistan är mycket likartad utformad för de tre tillämpningsområdena. Rent perceptuellt kräver den hög kognitiv kapacitet för tolkning eftersom färg, form och position inte utnyttjas som informationsbärare i någon nämnvärd utsträckning. Slitsamt återuppbyggnadsskede Gemensam är också beskrivningen av ett mycket slitsamt och även långdraget skede under efterförloppet med att säkra och återuppbygga funktionaliteten efter identifiering av störningsorsaken. Detta förlopp karakteriseras av frekvent kommunikation med uteoperatörer och en mycket hög minnesbeslastning för att hålla reda på alla sekvenser av påbörjade parallella åtgärder. Det kan konstateras att datorsystemen inte ger något stöd för detta. Stress Hela störningssituationen karakteriseras av stark stress. Förutom att själva uppgiften är svår och att förödande konsekvenser kan bli resultatet av ett misslyckande, försvåras uppgiften av att operatörerna blir störda av personer som kommer in i kontrollrummet eller ringer och frågar om läget. Betydelsen av erfarenhet Gemensamt för de tre områdena (oljeraffinaderi, elnätsdrift, vattenkraftproduktion) är också betydelsen av personlig erfarenhet och kännedom om verkligheten utanför kontrollrummet. Många generationer av komponenter används, var och en med sina speciella egenheter. Denna information finns inte i systemet utan i huvudet på dem som personligen känner till anläggningarna. Med större ansvarsområden och fler personer i kontrollrummen som inte har denna erfarenhet kan det bli nödvändigt att kompensera för mindre anläggnings- och komponentkännedom med kompletterade information i systemet. Specifik problematik Förutom likheter har vi också sett att det finns skillnader mellan de olika tillämpningsområdena. Terminologi Det finns inget gemensamt synsätt när det gäller definition av vad som är ett larm, vad som är en händelse och vad olika larmprioriteter innebär. För oss framstår dessa skillnader som en fråga om terminologi och att de bakomliggande begreppen är tämligen generella. Men det har inte varit möjligt att komma fram till generella definitioner i projektet. Som en konsekvens av detta har det arbete som Scanraff lagt ned inom området larmfilosofi inte varit möjligt att tillämpa inom de andra två områdena. 2

3 Speciell problematik vid raffinaderiet Mer bråttom med åtgärd En operatör har mer bråttom att vidta åtgärd vid Scanraff jämfört med de övriga. Vid en störning på elnätet är en generell rekommendation att vänta tills den initiala störningskaskaden "ebbat ut". Först då är det möjligt att bilda sig en uppfattning om situationen. På raffinaderiet kan en störning eskalera mycket snabbt och sprida sig till andra processdelar. Det gör att operatören har kortare tid på sig för att ingripa om ett störningsförlopp ska kunna bromsas. Överblick, inte åtgärdsförslag önskas Av intervjuerna framgår tydligt att det största problemet vid en störning på raffinaderiet är att ur kaskaden av larm få reda på i första hand vad som hänt och i andra hand varför det hänt, dvs orsaken. När operatören väl vet vad som hänt och därmed vilken situation som processen och anläggningen med dess komponenter - befinner sig i, vet hon vad som ska göras. Det är alltså inte ett beslutsstöd som föreslår åtgärd som efterfrågas utan en överblick över situationen och framförallt att se vad som initierade händelseförloppet. Det senare är svårt eftersom orsaken och en skur av följdhändelser kan komma inom den första sekunden, samt att orsaken oftast inte kan utläsas av den ordning som larm kommer. Förutom en bättre överblick över det initiala förloppet behövs en bra överblick över det fortsatta förloppet under störningen. Det kan vara nödvändigt för operatören att flytta fokus på grund av följdeffekter. De åtgärder som operatören vidtar beror delvis på hur snabbt störningen kan diagnostiseras. Om situationen kan identifieras snabbt kan hon hinna "rädda" situationen och förhindra vidare spridning. Om störningsförloppet hinner eskalera måste hon arbeta med att säkra processen, eventuellt utan att ha hittat orsaken. Arbetet med att säkra processen görs på en viss nivå. Upptrappning av situationen kan innebära att man måste ge upp försöken att säkra på en viss nivå och istället säkra på en annan nivå. Processgrafik I en störningssituation används inte larmlistan. Istället söker man bilda sig en uppfattning om läget genom att studera processgrafiken. Denna visar larmande indikeringar och värden men visar ingenting om tidsförloppet. Inte heller larmen i grafiken ger något effektivt stöd, "allting blinkar rött", istället är operatören hänvisad till att läsa av olika mätvärden på olika ställen i processen och försöka bilda sig en uppfattning om situationen. I det initiala skedet tvingas operatörerna idag växla mellan ett stort antal bilder för att få den önskade överblicken över hela situationen. Processgrafiken på Scanraff använder relativt skarpa färger mot en svart bakgrund. Ett färgkodningssystem används där färgen anger typen av mätvärde, exempelvis rött för temperatur och ljusblått för flöde. Detta kodsystem verkar fungera bra och kan vara en användbar utgångspunkt även för en ny larmpresentation. Våra förslag i korthet För att lösa problemet med överblick över det initiala skedet av en störning med larmkaskad föreslår vi en ny larmöversiktsbild. Denna bild är uppbyggd kring en central del som visar en tidslista över de viktigaste larmen i ett processavsnitt. Tiden representeras uppåt i listan så att en störningssituation bildar ett mönster som "växer" upp från en baslinje. För att detta ska fungera är det centralt att varje larm får en specifik plats (kolumn) horisontellt i listan. Denna plats måste bestämmas av 1) tillhörighet till delprocessavsnitt, 2) logisk ordning inom respektive processavsnitt. 3

4 Tanken med denna tidslista är att man snabbt ska få en överblick över var i processen larm kommit in och samtidigt kunna se i vilken ordning de kommit, samt att färgkoden gör att man enkelt kan se vilken typ av processvärde som larmar och slutligen visas genom formkoden om värdet är för högt eller för lågt. Listan kommer också att göra det möjligt att rent perceptuellt sortera ut intermittenta/fluktuerande/oscillerande larm. Något som innebär ett stort problem med dagens larmlista. Förutom den centrala delen i larmöversikten, tidslistan föreslår vi även delar som visar sammanställning av larmläget för speciella utrustningar, exempelvis pumpar, fläktar och andra eldrivna komponenter. Genom att använda fasta positioner med symboler reserverade för varje anläggningskomponent ska det vara möjligt att med ett ögonkast få en uppfattning om vilka som stoppat och måste återstartas. Till larmöversiktsbilden väljs vissa viktiga larm ut, omkring 25% av konfigurerade larm. Övriga larm kommer att vara synliga ett klick borta på motsvarade larmöversikt för respektive delprocessavsnitt som bör vara utformade enligt samma princip med tillägget att där visas samtliga larm som tillhör processdelen. Elnät specifik problematik I det initiala skedet är det inte lika bråttom med en åtgärd som vid raffinaderiet. Man måste avvakta störningens hela förlopp innan man kan bilda sig en uppfattning om situationen. Återinkopplingsautomatiken går in och det är inte förrän dess försök antingen lyckats eller inte lyckats som störningen slår igenom och "sätter sig". Det kan rent av vara till nackdel att agera för tidigt med bristande informationsunderlag. Den initiala åtgärd som alltid kan vidtas är att larma personal. Återinkopplingsautomatikens åtgärder måste vara tydligt visualiserade i systemet. Operatören får inte överraskas av automatikens åtgärder. Vi kan konstatera att det finns viktiga tidsaspekter som idag inte synliggörs i bilderna. Exempel är att överlast innebär en tidsgräns för handlingsutrymme, vissa kunder kan ha avtalsrelaterade tidsgränser etc. Det viktigaste att få reda på är det resulterande tillståndet i nätet efter att initialskedet ebbat ut. Den utlösande orsaken behöver inte vara lika viktig att se, men kan vara det i vissa fall. Intervjuerna visar att idag upplever man problem med att få en tillräcklig överblick över störningen. Med det menar man framförallt vilka delar av nätet som är spänningslöst. Denna överblick behöver man få över en relativt stor del av nätet. Det är inte bara den "egna" spänningsnivån som behöver överblickas utan även överordnade nivåer som ger matning. Ytterligare ett viktigt problem är överblicken över framskridandet av uppbyggnadsförloppet. Många sekvenser av aktiviteter pågår parallellt respektive är tidsberoende av varandra. Man behöver överblicka vilka nätområden som är åtgärdade, vilka som arbete pågår i, och var personer och arbetslag finns. Under detta skede arbetar man på helspänn. Man måste skicka folk till rätt ställe i rätt ordning. Man måste bedöma tidsåtgång, vara så effektiv som möjligt och hela tiden rigoröst beakta personsäkerheten. 4

5 Idag innebär detta skede en oerhörd minnesbelastning. Mycket lite stöd ges av datorsystemet som inte innehåller något "komihågverktyg" för att minska minnesbelastningen. Specifikt för elnät är också att de är mer beroende av information som inte finns i systemet för sitt handlande. Framförallt från uteoperatörer. Nödvändig information är var personer finns, vad som jordats, arbetsbevis, kopplingar, hur lång tid jobbet tar etc. Idag sker mycket av denna kommunikation per telefon. Vid stora störningar är det dessutom ofta många personer som arbetar i kontrollrummet. De har dels behov av gemensam information på översikter, dels behov att kunna fokusera på en aktuell del. Specifikt för elnät är också att de är beroende av geografisk information. Större ansvarsområden innebär sämre lokalkännedom, något som måste kompenseras med bättre geografisk information i systemet. Våra förslag i korthet Vi vill utforma en översikt över ett relativt stort nätområde och på denna visa spänningslösa delar av nätet i olika spänningsnivåer i lager ovanpå varandra. Det ska vara möjligt att få en mycket god överblick över störningens omfattning utan att behöva växla mellan skärmbilder. För att göra detta kommer vi att använda oss av en modell av nätet i 3D. Som understa nivå kommer en geografisk karta att finnas. De översta nivåerna kommer att presenteras logiskt, ej geografiskt. På översikten ska vi testa olika markeringar av information som är relevant speciellt för det ansträngande återuppbyggnadsskedet. Vattenkraft: specifik problematik Det mest specifika problemet inom vattenkraftproduktion är de mycket stora ansvarsområdena och ensambemanningen nattetid. Man vet att följande faktorer negativt påverkar förmågan att inhämta stora mängder information: ensamarbete, nattarbete, skiftgång samt låg vigilans. Låg vigilans innebär att uppmärksamhetsnivån sjunker när det händer lite och det kan vara svårt att snabbt komma upp i normal prestationsnivå. Dessa faktorer i kombination med att många operatörer har mycket liten erfarenhet av inträffade störningar samt att konsekvenser av ett misslyckande kan vara allvarliga är ett problem som framkommit mycket tydligt i intervjuerna. Mycket viktigt i arbetet med att styra vattenkraftproduktionen är att hålla vattendomarna. Detta innebär att vattennivåerna i olika dammar och magasin måste övervakas mycket noga. Operatörerna måste styra enligt "management by awareness" som innebär att de hela tiden måste vara medvetna om läget och vara mentalt förberedda på utvecklingen. De kan inte slå sig till ro och vänta på larm, utan måste arbeta förebyggande. En central bild, och som vi bedömer det, mycket bra bild inom vattenkraftproduktionen är produktionsöversikten. Den samlar relevant information på ett kompakt och föredömligt grupperat och färgkodat sätt. Emellertid ger produktionsöversikten endast en ögonblicksbild. Den saknar helt presentation av tidsförloppet och visar inte om exempelvis ytor är stigande eller minskande. Denna senare information kan istället utläsas ur trendkurvor för respektive station. Dessa är tydliga var och en för sig men man kan ingenstans få en överblick över tidsförloppet i hela produktionen. 5

6 Att vakta på vattenytor, flöden etc innebär idag relativt stor minnesbelastning eftersom man måste bära ett stort antal siffervärden i minnet och jämföra med dem för att få uppfattningen om vad som ökar respektive minskar och i vilken takt. Dessutom är centimetervariationen väsentlig och borde kunna framhävas tydligare. De olika stationerna längs en älv är helt beroende av varandra tidsmässigt. Operatörerna jobbar hela tiden mot dynamiska deadlines och måste kunna mentalt uppskatta gångtiderna. Även om det finns program för att beräkna gångtiderna mellan olika magasin etc är dessa beroende av förhållanden i vind, nederbörd, temperatur etc. Vid en störning på ett aggregat måste en åtgärd vidtas inom en viss tidsgräns innan störningen påverkar anläggningen nedströms. Idag finns ingen visualisering som ger stöd för detta. Våra förslag i korthet Vi vill försöka skapa en ny översiktsbild som visar larm från samtliga aggregat i ett älvavsnitt och som även visar de relevanta tidsvillkoren. Vi tror att samma princip som för den centrala tidslistan i larmöversikten för Scanraff skulle kunna användas för detta ändamål. I denna översikt ska även visas spänningslösa delar av nätet, samt viktiga utlösta brytare. Vi vill även prova att se vad man kan åstadkomma för förbättringar av den traditionella larmlistan genom att jobba med gruppering, symboler och layout. Arne W Andersson Else Nygren 6

7 Larmlista raffinaderi 7

8 Larmlista vattenkraft 8