'" inspektionen för vård och omsorg 2015-01-21 Avdelning öst Lars Asteborg DELBESLUT Dnr 8.1.1-40841/2013-16 1(8) Karolinska Universitetssjukhuset Chefläkaren 171 76 Stockholm Ärendet Anmälan enligt Lex Maria om problem med journalsystemet Take Care vid Karolinska Universitetssjukhuset i Stockholm, dnr K1508-2013 Beslut Vårdgivaren ska till Inspektionen för vård och omsorg (IVO) rapportera följande: IVO önskar redogörelse för hur vårdgivaren utövar sin egenkontroll för att säkerställa att läskopian av Take Care är uppdaterad. En matris för ansvarsfördelningen angående de parter som samverkar kring Take Care har upprättats. IVO vill ha en redogörelse av vem som har ansvar för de olika funktionerna och rollerna inom respektive organisationer. Redogörelse för dokumenterad rutin avseende backup och återläsning av uppgifterna i Take Care. Redogörelse för hur vårdgivaren aktivt ska delta i valet av tester innan mjukvara levereras av tillverkare/leverantör. Redogörelse för tidplan för att etablera en testmiljö som skarepresentera produktionsmiljön för Take Care. Redogörelse av utfallet av den planerade övningen avseende ITproblem med Take Care samt uppgift om med vilken regelbundenhet sådana övningar ska ske. Åtgärdena ska rapporteras till IVO senast den 1 april 2015, förslagsvis på ett möte. Bakgrund Den I juli 2013 inkom en lex Maria-anmälan från chefläkaren på Karolinska Universitetssjukhuset. I anmälan uppgavs att den gjorts gemensamt av de vårdgivare som har representanter i Take Care:s poli (') 0 Inspektionen för vård och omsorg Telefon 010-788 50 00 Fax NN ~,,.; Box 6202 registrator@ivo.se Org nr 202100-6537 ~> 102 34 Stockholm www.ivo.se
Inspektionen för vård och omsorg Dnr 8.1.1-40841/2013-16 2(8) cygrupp Samverkan Take Care (STC). Anmälan gjordes med anledning av att journalsystemet drabbats av omfattande störningar vid tre tillfällen under juni 2013 vilket kunde orsaka vårdskada. Händelseförlopp Den 3 juni 2013 låg hela nätet nere på Karolinska Universitetssjukhuset i Huddinge och i Solna vilket stoppade all datorkommunikation mellan användare och IT-system. Den 11 juni skedde ett driftstopp i Take Care som varade mellan kl 10:54-17:35 och omfattade alla användare av journalsystemet. Data som fördes in i systemet mellan kl 10:29-10:49 förlorades och fick skrivas in igen. Ännu ett driftstopp inträffade den 18 juni och varade mellan kl 08:45 14:40 och omfattade alla användare. Data som införts mellan kl 08:30 08:45 förlorades och fick skrivas in igen. Vid ett driftstopp ska användarna kunna ta del av en läskopia av uppgifterna i Take Care. Vid driftstoppen den 11 och den 18 juni fungerade läskopian mycket trögt eller inte alls. Vårdgivarens identifierade orsaker till händelsen Stoppet den 3 juni berodde på att en brandvägg i det lokala nätverket havererade vilket ledde till att all kommunikation mellan användarna och IT-systemen stoppades. Driftstoppen den 11 och den 18 juni orsakades av ett fel i serverns operativsystem. Vid stoppen så fungerade läskopian dåligt på grund av för låg kapacitet i den underliggande tekniska miljön samt på att användarna inte följt gällande rutiner avseende uppgradering av de specifika läskopia-klienterna. Enligt rutinen ska användaren klicka på en ikon och starta klienten till läskopian en gång per vecka för att uppdatera denna. Vidtagna åtgärder Läskopian uppgraderas till den prestanda som krävs vid eventuell aktivering. Kartläggning av uppkomna incidenter inom vårdgivarnas verksamheter samt hur bra reservrutinerna fungerat. Analyskommission tillsattes på uppdrag av landstingsdirektören och landstinget samverkansorganisation för utveckling och förvaltning av Take Care (CSTC). I uppgifterna ingick bl.a. att identifiera orsaken till felen och förhindra en upprepning, garantera svarstider och prestanda på läskopian, minimera återstarts
Inspektionen för vård och omsorg Dnr 8.1.1-40841/2013-16 3(8) tiden av Take Care och minimera dataförlust. Arbetet har resulterat i en del- och slutrapport. I slutrapporten finns ett åtgärdsprogram som leds av CSTC och har pågått under 2013 och skulle avslutas med en praktisk övning för vårdgivarna under första kvartalet 2014. Underlag Lex Maria anmälan, komplettering samt rapport om orsak och vidtagna/planerade åtgärder Analyskommissionens del- och slutrapport Begäran från Inspektionen för vård och omsorg (IVO) om att alla berörda vårdgivare skall inkluderas i lex Maria anmälan samt begäran om specifika handlingar utifrån Analyskommissionens åtgärdsprogram. Svar på IVO:s begäran enligt ovan. Minnesanteckningar förda vid inspektion 13 november 2014, hos Karolinska Universitetssjukhuset angående lex Maria anmälan avseende Take Care problem. Inspektion hos Karolinska Universitetssjukhuset IVO genomförde den 13 november 2014 en inspektion hos Karolinska Universitetssjukhuset. Vid inspektionen presenterade vårdgivaren genomförda och planerade åtgärder för säker drift av Take Care enligt upprättat åtgärdsprogram. Vid mötet diskuterades även hur vidtagna åtgärder kunde förbättras. 1. Samverkan och ansvarsfördelning mellan aktörerna enligt slutrapport En modell för samverkan och ansvarsområden mellan berörda parter: mjukvaruleverantör (CGM), SLL-IT, Vårdgivarna (STC) och eventuella externa intressenter (ex Karolinska Institutet, regionala eller nationella projekt) presenterades. Alla ingående parter har samverkat i arbetet med åtgärder och forum initierats för fortsatt samverkan. Inför åtgärderna har man gemensamt prioriterat att säker tillgänglighet av Take Care kommer i första hand. Vidare har en ansvarsfördelning upprättats med hjälp av en modell med RACI (HUKI) matris där det framgår vem som Ansvarar, Utför, Konsulteras respektive Informeras avseende:
Inspektionen för vård och omsorg Dnr 8.1.1-40841/2013-16 4(8) Serverdrift, Applikationsdrift Applikationsförvaltning Objektförvaltning 2. Rutiner för drift, support och övervakning av IT-miljön samt systemdokumentation, inklusive systemsamband, flöden och gränssnitt Samtliga rutiner är dokumenterade i driftshandboken som finns elektroniskt i två oberoende IT-miljöer (Unix och Windows) och de delar som berör en katastrofsituation finns även i pappersform. För övervakning och larmrapportering finns två skilda system (Xyman och OP/5) och rutiner i händelse av liknande haverier finns upprättade. Rutiner för datahaverier har testats, men endast i testmiljö som inte har samma belastning som produktionsmiljö. Det framkommer att SLL-IT har framfört önskemål till CGM om en testmiljö som representerar produktionsmiljön för återställningstester, men detta arbete är inte färdigt. De åtgärder som genomförsts för att minska skadeverkningarna i händelse av en liknande händelse innebär framförallt att man ökat kapaciteten, genomför en synkroniserad spegling mellan de två servrarna i samband med ett servicefönster på 4 tim en gång I månad samt infört en aktivitetslogg där senast inskrivna data sparas direkt i fil och inte som tidigare i cash-minnet. Vid det aktuella haveriet förvärrades avbrottet eftersom klienternas läskopior hade fel version och delvis har detta lösts genom utökad kapacitet. Enligt uppgift finns en rutin som säger att användaren skall klicka på ikonen och starta klienten till läskopian en gång per vecka, då uppdateras klienten automatiskt. 3. Kontinutets- och krisplaner samt genomförda tester En övergripande katastrofplan finns på SLL-IT och vårdgivarnas katastrofplaner ska vara kopplade till denna. På Karolinska Universitetssjukhuset finns en katastrofplan där IT- händelser har en egen del och en grupp som förvaltar denna finns utsedd. En gemensam övning var planerad till juni-2014 men denna ställdes in och planeras nu till december 2014. CSTC ansvarar för övningen, genomförandet och att den utvärderas.
Inspektionen för vård och omsorg Dnr 8.1.1-40841/2013-16 5(8) Karolinska Universitetssjukhuset har genomfört en övning enligt sin katastrofplan. 4. Dokumenterad och aktuell process och rutin för hantering av system och programändringar samt säkerhetsuppdateringar Rutiner finns beskrivna för ändringar och införande av nya versioner där STC (vårdgivama) själva utför ett flertal tester i Verifierings-miljö och Utbildningsmiljö innan SLL-IT inför releasen i Drifts- och Produktionsmiljö. Det var oklart hur leverantörens (CGM) testprotokoll verifieras av mottagaren (SLL-IT) och även hur leverantören samverkar med beställaren i utformandet av sina tester före leverans. SLL-IT har skickat in kompletterande uppgifter om hur testprotokoll verifieras och hur leverantören samverkar med beställaren. Av dessa framgår att leverantören (CMG) levererar testprotokoll som visar funktionella tester. Dessa testprotokoll levereras på begäran av vårdgivama och används av vårdgivarens lokala systemförvaltare/objektsspecialister. SLL-IT testar installerbarhet och driftbarhet av leveransen tre gånger i olika miljöer innan produktionssättnin. Antal genomförda förändringar och rättningar efter förändringar sedan juni 2013 presenterades. Det framstår som att andelen akuta ändringar och rättningar varit ganska stort. 5. Rutiner för backup och återläsning samt genomförda återläsningstester sedan september 2013 Kapacitet för back-up och återläsning är utbyggd sedan 2013 och används regelbundet, men på förekommen anledning för återläggning av enstaka filer. Dock saknas dokumenterade rutiner för att regelbundet testa förmågan till återläsning. 6. Säkerhetsgranskning i enlighet med gällande policy och riktlinjer för informationssäkerhet Landstingets informationssäkerhetspolicy, som ligger till grund för verksamheternas informationssäkerhetspolicy presenterades. Ur denna framgår bl.a att hot-, risk- och sårbarhetsanalyser ska genomföras regelbundet. Karolinska Universitetssjukhusets informationssäkerhetspolicy presenterades, där det framkommer att man också påbörjat informationsklassificering avseende Konfidentialitet, Riktighet och Tillgänglighet på en skala från 1-3 där t.ex Take Care är klassat som K3 (konsekvensnivå) avseende skyddsmålet Tillgänglighet.
Inspektionen för vård och omsorg Dnr 8.1.1-40841/2013-16 6(8) Identifierade mål och risker finns i förvaltningsplanen för 2014. En riskanalys med åtgärdsförslag görs varje år. Det hade genomförts en mer verksamhetsnära fokus 2012 och en med IT nära fokus 2013. Ett beslut daterat 2013-01-29 avseende prioriterade system vid större IT relaterade incidenter överlämnades till IVO på mötet. Skälen för beslutet Tillämpliga bestämmelser 3 kap. 2 och 5 samt 7 kap. 8 patientsäkerhetslagen (2010:659), PSL 3 kap. 1 och 4 kap. 2-4 och 6 samt 5 kap. 2 Socialstyrelsens föreskrifter och allmänna råd (SOSFS 2011 :9) om ledningssystem för systematiskt kvalitetsarbete 2 kap. 16 Socialstyrelsens föreskrifter (SOSFS 2008: 14) om informationshantering och journalföring i hälso- och sjukvården 3 kap 6 pkt 3 Socialstyrelsens föreskrifter (SOSFS 2008: 1) om användning av medicintekniska produkter i hälso- och sjukvården. Bedömning Enligt 3 kap. 2 PSL ska en vårdgivare anmäla händelser som medefört eller kunnat medför en allvarlig vårdskada till IVO. Av 3 kap. 5 PSL framgår att vårdgivaren ska vidta de åtgärder som behövs för att förebygga att patienter drabbas av vårdskador. För åtgärder som inte kan vidtas omedelbart ska en tidsplan upprättas. I 7 kap. 8 PSL anges att IVO ska säkerställa att vårdgivarna utrett sådana händelser i nödvändig omfattning och att de vidtagit de åtgärder som krävs för att uppnå hög patientsäkerhet. IVO kan konstatera att vårdgivaren gjort en adekvat utredning av händelserna och att vissa åtgärder vidtagits för att säkra driften av Take Care. Efter de inträffade händelserna har ett åtgärdsprogram upprättats vilket IVO fick presenterat vid en inspektion i november 2014. Utifrån det som framkom bedömer IVO dock att vårdgivaren behöver säkerställa att planerade åtgärder vidtas eller att tidsplan för sådana åtgärder fastställs för att vårdgivaren ska uppnå god patientsäkerhet. Enligt 3 kap. 1 SOSFS 2011 :9 ska en vårdgivare ha ett ledningssystem för verksamheten. Vårdgivaren ska enligt 4 kap. 2-4,samma föreskrift, identifiera, beskriva och fastställa processer och utarbeta de rutiner som behövs för att säkra verksamhetens kvalitet.
Inspektionen för vård och omsorg Dnr 8.1.1-40841/2013-16 7(8) Av 5 kap. 2 SOSFS 2011 :9 framgår att vårdgivaren ska utöva egenkontroll. Egenkontrollen ska göras med den frekvens och i den omfattning som krävs för att vårdgivaren ska kunna säkra verksamhetens kvalitet. Enligt IVO:s bedömning är kontrollen av att läskopian är uppgraderad inte tillräcklig. Då Take Care inte fungerade i juni 2013 framkom att den rutin som fanns avseende att användarna själva skulle uppdatera läskopian inte hade fungerat. IVO konstaterar att det fortfarande är användarnas ansvar att själva uppdatera läskopian på sin klient. I 4 kap. 6 SOSFS 2011 :9 anges att vårdgivaren ska identifiera de processer där samverkan behövs för att förebygga att patienter drabbas av vårdskada. Det ska genom processer och rutiner framgå hus samverkan ska bedrivas i den egna verksamheten. Processerna och rutinerna ska även säkerställa att samverkan möjliggörs med andra vårdgivare. IVO bedömer att det finns oklarheter i ansvarsförhållandena mellan de olika aktörerna som samverkar kring journalsystemet då det i den upprättade ansvarsmatrisen endast finns organisationer utpekade. IVO anser att även funktioner eller roller inom respektive organisation ska föras in i matrisen. Vid inspektionen framkom att det hos vårdgivaren finns kontinutetsoch krisplaner avseende IT relaterade händelser men att den planerade övningen som skulle ske tillsammans med andra vårdgivare ännu inte genomförts. Det saknas också en plan för hur ofta sådana övningar ska genomföras. I 2 kap. 16 SOSFS 2008: 14 anges att en vård givare ska se till att det i ledningssystemet finns rutiner för säkerhetskopiering av patientuppgifter. Av rutinerna ska det bland annat framgå med vilken periodicitet säkerhetskopiering ska utföras och hur ofta återläsningstester ska göras. Kapaciteten för back-up och återläsning av Take Care har enligt vad som uppgavs vid inspektionen byggts ut sedan 2013 och används regelbundet, men då på förekommen anledning för återläggning av enstaka filer. Dock saknas dokumenterade rutiner för att regelbundet testa förmågan till återläsning. Av 3 kap 6 Socialstyrelsens föreskrifter (SOSFS 2008: 1) om användning av medicintekniska produkter i hälso- och sjukvården framgår att de medicintekniska produkterna och de, till dessa, anslutna informationssystem är kontrollerade och installerade innan de används på patient. Vid inspektionen framkom det som att andelen akuta ändringar och rättningar i Take Care varit förhållandevis stort och IVO betonar
Inspektionen för vård och omsorg Dnr 8.1.1-40841/2013-16 8(8) vikten av att avtalen med leverantören ger vårdgivaren möjlighet att delta i valet av tester innan leverans, samt verifiera testprotokollet innan mottagande samt ta fram en dokumenterad rutin för att säkerställa detta. Vid inspektion framkom att de rutinerna för vad som ska ske vid datahaveri har testats, men endast i testmiljö som inte har samma belastning som produktionsmiljö. Testmiljön är en gemensam fråga för tillverkaren av programvaran och vårdgivaren. Då Take Care är en CEmärkt medicinteknisk produkt har de synpunkter om önskemål från vårdgivaren om en testmiljö som representerar produktionsmiljön förmedlats till Läkemedelsverket som har tillsyn över tillverkare och leverantörer av CE- märkta medicintekniska produkter. En plan efterfrågas av IVO avseende när en adekvat testmiljö ska ha införts. Beslut i detta ärende har fattats av enhetschefen Lena Renman. I den slutliga handläggningen har utredaren Mona Hansson, inspektören Caroline Sundholm och IT-experten Martin Malm deltagit. Utredaren Lars Asteborg har varit föredragande. r vård och omsorg Kopia till: Läkemedelsverket, Enheten för Medicinteknik Stockholms läns landsting