kl. 23:53 Varför? Därför att strömmen har försvunnit. Varför?

Transkript

1 KB Förutsättning kl. 23:25 KL. 23:52:45 kl. 23:53 kl. 23:55 kl. 00:25 kl. 00:26 kl. 00:28-00:30 Strömmatningen i Serverhallen i F- huset matas av 2 st UPS:er (X1 är placerad i rum , X2 är placerad i rum ). Servrar och switchar matas från A respektive B- sida, till exempel X1 förser A- sida och X2 förser B- sida. För att säkerställa att den strömmatade enheten inte stängs av vid haveri av UPS måste enheten vara ansluten till både X1 och X2 eller ansluten till den UPS som inte havererar eller stängs av. Driftjouren får larm via sökaren. Larmets text i fastighetsdatorn indikerar fel i UPS i F- huset. Jouren kontaktar elberedskapen via telefon och går dit. Elberedskapen åker in till sjukhuset. 2. Spänningavbrott inträffar. Är nere i 33 min till 00:25:3 Då kommer spänningen tillbaka. 3. Larm inkommer till IT angående "OSPF Down". Strax därefter inkommer flera larm angående "Powersupply down" i F- huset. Flera enheter har tappat strömmatningen på ett av sina två nätaggregat (X2). Därför att strömmen har försvunnit. 4. Primärjour 1 utreder och identifierar mönster att felet är kopplat till USÖ och att inmatning av ström saknas. 5. Elberedskapen kontaktar gruppchef USÖ El och informerar och diskuterar fortsatta åtgärder. 6. Samtal från HP- jouren mottages av beredskap HP meddelar att det inte finns ström i ena "benet" av strömmatningen. Beredskapen ringer växeln som meddelar "att de hört att det är något fel på UPS:en". Kontaktar då Beredskapen Primärjour 1 kontaktar växeln för att bli kopplad till driftjour inom Fastigheter. Växeln får inget svar från driftjouren hos Fastigheter. Därför att UPS slutat att fungera och inte gått i bypass. (Bypass är en förutsättning för att strömmen inte ska brytas.) Därför att jouren är i underkulvert där det är dålig/ ingen täckning. Varför har UPS slutat att fungera och inte gått i bypass? Därför att Kretskort i UPS har gått sönder. Varför tar inte den andra UPS:en (X1) över strömmatningen? Därför att enheter var felkopplade. De var inte installerade i både "benen". Varför var de felkopplade? Vid installation har man inte säkerställt att enheten blev rätt installerad. Teknik, utrustning & apparatur Kretskort går sönder men det är sällsynt och omöjligt att förutse. Det saknas rutiner för att säkerställa att enheterna blir rätt installerade. Utred om rutin för byte av kretskort med jämna mellanrum bör finnas. Utarbeta rutin för att säkerställa hur enheter ska installeras samt rutin för testning innan driftsättning.

2 kl. 00:28 kl. 00:43 kl. 00:49 kl. 00:54 kl. 01:07:14 kl. 01:11 8. Fastigheters driftjour meddelar primärjour 1 via telefon att det är problem med UPS i F- huset och att denna har satts i bypass. Strömmen kommer och går även efter bypassläget. 9. Telefonkonferans mellan beredskap 1 och 2 samt primärjour Beslut tas att de åker in till USÖ. 10. Efter 24 minuter inträffar nytt spänningsabrott 00:49:53. Är nere i 8 sek till 00:50:0 Strömmen återkommer och går ner igen 00:50:30. Då är det nere i tre sek. 00:50:33. Larm om spänningsavrott kommer via SMS till primärjour Strömmen kommer och går ett antal gånger. 1 Samtal inkommer till televäxeln från verksamheter som har problem med Philips patientövervakning. Televäxlen vidareförmedlar informationen till primärjour 12. Informationslarm om allvarlig driftstörning dras via Larmservern. Standardmeddelande: " Detta är ett larm gällande information om allvarlig driftstörning för USÖ. Samling i Katastrofledningscentralen gällande allvarlig driftstörning". Larm till 60 personer. Flera personer (uppskattningsvis 20 st av de som fått larm) ringer växeln och frågar vart de ska gå. 13. MT- chef USÖ kontaktar televäxeln och får besked om stora problem med KP, IMX och övervakningssystem på Kardiologen, Thorax m fl. Se händelse 10. Varför inträffar flera spänningsavbrott? Därför att driftjouren och elberedskapen försöker starta om UPS:en ett antal gånger. 2. Meddelande om vilken typ av driftstörning det var meddelades inte via larmet. 3. Primärjour 1 får inte veta att det även är stora problem med IMX/ KP. Därför att de trodde att det inte var någon fara eftersom den andra UPS:en tar vid när den ena havererar. Varför följer man inte intruktionen och samlas i KLC? 2. Varför meddelade inte larmet vilken typ av driftstörning det rörde sig om? 3. Varför får primärjour 1 inte veta att det var stora problem med IMX/ KP? Telefonist hann troligen inte ge fullständig information om händelsen. Det var högt tryck i televäxeln med många som ringde. Därför att det är 60 personer på larmlistan med olika och otydliga rutiner hur man ska agera vid informationslarm om allvarlig driftstörning. 2. I kommunikationen mellan ledningssjuksköterskan och televäxeln tydliggjordes inte vilken typ av driftstörning som avsågs. 3. Många verksamheter ringde angående driftstörningen och många som larmats via larmserver ringde och frågade vart de skulle infinna sig. Rutin för att säkerställa strömförsörjning via alternativ UPS var inte känd eller saknades hos fastighetsdriften. Kommunikation & information Rutin vid allvarlig drifstörning inte känd hos alla på larmlistan. Det saknas rutin alternativt att befintlig rutin inte efterlevdes för att säkerställa att informationslarmet angav VAD och VAR det hänt. Kommunikation & information Det lades inte ut någon information om händelsen på intranätet. Se över behov av att säkerställa att den andra UPS:en tagit över innan åtgärder vidtas. Se över vilka som ska larmas vid allvarlig driftstörning och göra känt vad som förväntas av dessa vid larm. Införa SBAR vid kommunikationen inför initiering av larm via larmserver. Se åtgärd händelse 15.

3 kl. 01:15-01:35 kl. 01:15-01:35 kl. 01:20 kl. 01:21 kl. 01:23 kl. 01:35 kl. 01:45-02:20 kl. 01:48 kl. 01: Beredskaperna 1 och 2 samt primärjour anländer till Katastrofledningsrummet. Ledningssjuksköterskan blir direkt kopplad till primärjour 1 av televäxeln. Info att flera samlats på AKM och att det är stora problem med KP och Infomedix. De flesta infinner sig inte enligt rutin i Katastrofledningsrummet. VX kopplar samtal direkt till B 15. Beredskap 1 förbereder informationstext för att information ska läggas ut på intranätet. Beredskap 1 uppfattar att beredskapsläkare beslutar att informationen inte ska läggas ut. 16. Beredskap för PAX (Röntensystem) får meddelande per tel om allvarlig driftstörning. Kollade alla system, inga problem identifierade. Sökte info på intranätet. Ingen info om händelsen på intranätet. 17. Avdelningchef Datacom informerar Områdeschef IT om läget. 18. Områdechef MT kontaktar TiB för information. 19. Beredskap 2 går till Datacentralen F- huset och påbörjar felsökning. Försöker också nå avdelningschef för Serverdrift för information och förberedelse inför eventuell resursöking. Beredskaperna fortsätter att söka men lyckas ej. 2. Avdelningschef Serverdrift går ej att nå. 20. Områdeschef MT och MTchef USÖ samråder kring eventuellt behov av resurser. MT- chef USÖ ringer runt och till berörda verksamheter. Bedömer att resurser inte behövs. I samråd med Tib bedöms att MT inte behöver åka in till katastrofledningsrummet. MT:s rutin att infinna sig på Katastrofledningen följdes ej. 2 Primärjour 1 kontaktar avdelningschef Datacom angpende behov av att kalla in fler personal. Godkännes. 22. Stabsläge för USÖ dras på uppdrag av ledningssjuksköters kan, AKM. Meddelande: "Detta USÖ på Regional nivå". Varför samlas man inte enligt rutin i KLC? Därför att LSSK inte kan lämna lokalen pga hög belastning. Varför kopplas samtal från ledningsssk eller verksamhet direkt till B Därför att växeltelefonist hade många inkommande samtal och hann inte följa rutinen att först söka primärjouren. Kopplade istället direkt. Beredskapsläkaren bedömde att det inte kunde läggas ut då det saknades kommunikatör. Missförstånd mellan beredskap 1 och bereskapsläkaren. Varför fick beredskap 1 och 2 inte kännedom om händelsens omfattning? Därför att de inte hade kännedom om vyer i övervaknings- och ärendehanteringssystem. Fick inte kännedom om vilka driftstörningar som förekom i verksamheterna. 2. Varför svarar inte avdchef? Därför han inte hör telefonen och har inte beredskap. Regionservice rutin för driftmeddelande? Följsamhet? Det finns inte en känd incidentrutin som omfattar detta område. Omgivning & organisation Beslutad beredskapsorganisation saknas i Regionservice. Gör Regionservice rutin känd i Regionservice. Ta fram alternativt tydliggör rutin/ checklista för att felsöka, till exempel säkerställande av att den sekundära UPS:en tagit över strömförsörjningen innan åtgärdervidtas. Se över incidentorganisation inom Regionservice som kommunicerar med Hälso- och vården. Se åtgärd händelse 12:1 Implementera rutinen i verksamheten och gör den lätttillgänglig för användare.

4 kl. 01:55 kl. 01:56 kl. 01:57 kl. 02:05-04:00 kl. 02:20 kl. 02:25 kl. 07:30 kl. 08: Stabsläge för Lbg lasarett dras. Meddelande: "Detta Lindesbergs lasarett, även Karlskoga och Örebro är indragna." 24. Beredskap vårdssytem ringer upp primärjour 1 och ber att beredskapsläkaren ska försöka att logga in i KP och det fungerar. 25. Stabsläge för Kga lasarett dras. Meddelande: "Detta Karlskoga lasarett, även Lindesberg och Örebro är indragna." 26. Efterarbete utförs av primärjour 1 och beredskaper. Exempelvis återställande av säkringar, kontaktar televäxeln med mera. I detta läge får inte beredskaperna 1 och 2 indikationer om omfattningen av följdfelen. 27. Stabsläget avslutas av beredskapsläkaren. Inget meddelande om att stabsläget avslutas går ut via larmservern. 28. MT- chef USÖ kontaktar Tib för information och får då veta att stabsläget är avblåst Inget meddelande om att stabsläget avblåses går ut via larmservern. Enligt rutin ska avslutad allvarlig driftstörning och stabsläge på USÖ ej meddelas via larmserver. 29. Televäxeln föröker kontakta IT:s primärjour angående problem på Lab. Lab har problem med BLodgasresultat som inte skickas in till Flexlab. Televäxeln får inte kontakt med primärjouren kontaktar då Områdeschef Medicinsk teknik. 30. Områdeschef kontaktar avdelningschef inom MT som kontaktar Lab. Identifierar att det är ett ITrelaterat problem. Överlämnar ärendet till IT efter kontakt med IT:s primärjour Se orsak händelse 24.1 Däremot på KGA och LBG ska det blåsas av men ingen meddelade växeln att det skulle blåsas av. Ingen meddelade televäxeln att stabslägen i KGA och LBG skulle blåsas av. Varför inte kontakt? Därför att B1 sover och nyss kommit hem. Procedurer/ rutiner & riktlinjer Oklara rutiner alternativt saknas. Tydliggör vem som avslutar stabslägen och hur det ska verkställas.

5 kl. 09:48 kl. 11:40 kl. 11:44 kl. 11:53 kl. 13:25 kl. 14: Växeln kopplar IT:s primärjour 1 till Vårdcentrentralernas jourmottagning. Problem på jourmottagingen att skicka remisser till röntgen och recept till apotek. 32. Växeln meddelar IT:s primärjour 1 att Akuten på Karlskoga lasarett ha som har problem att skicka recept till apotek. 33. Avdelningschef Datacom ringer upp IT:s primärjor för avstämning. 34. Beredskap 2 kontaktar Avdelningschef Serverdrift för information om läget. 35. Avdelningschef MT blir kontaktad av Avdelningschef Serverdrift för lägesuppdatering. AC kontrollerar med avdelningaen LAB ang status. Ringer därefter till Områdeschef MT för information. 36. Beredskap 2 felsöker och hittar fel i integration och felet åtgärdas. Problemen som uppstår löses efterhand men man vet inte den egentliga orsaken. 37. Flera följdfel upptäcks och återställs. Flera följdfel exempelvis: Videosystemet kan inte registrera sig till servern GK 2. Virtuell maskin RSA1 tappade synkning under strömavbrottet. Ett stort antal övervakningsutrustningar och vårdsystem mm. fick driftstörningar under tiden Ingen känd patientskada. Hade inte öveblicken. Se händelse 23. Följdfel till följd av tidigare störningar. 2. Förväntat beteende utifrån omständigheterna.