Granskning av risken för driftstopp i Landstingets informationssystem

Transkript

1 Uppföljande rapport Granskning av risken för driftstopp i Landstingets informationssystem Mikael Carinci Martin Wallberg Landstinget i Uppsala län Januari 2017

2 Innehållsförteckning Sammanfattning 2 Inledning Bakgrund och uppdrag Övergripande och detaljerad frågeställning Genomförande, avgränsningar och metod Läsanvisning 9 2 Iakttagelser och bedömningar Styrning av IT-driften Iakttagelser och bedömningar Rekommendationer Strukturen för IT-drift och support Iakttagelser och bedömningar Rekommendationer Utarbetande av kontinuitets- och katastrofplan Iakttagelser och bedömningar Rekommendationer Systematisk uppföljning och utvärdering vid driftsstopp Iakttagelser och bedömningar Rekommendationer Rutiner inför uppdatering och återställningsrutiner Iakttagelser och bedömningar Rekommendationer Beredskap för hårdvarufel, driftsstopp och överbelastningsattacker Iakttagelser och bedömningar Rekommendationer 16 3 Besvarande av den övergripande revisionsfrågan 17 4 Övriga reflektioner 19 Landstinget i Uppsala län 1 av 19

3 Sammanfattning På uppdrag av revisorerna i Landstinget i Uppsala län (LUL) genomförde 2013 en granskning av risken för driftstopp i landstingets informationssystem. Granskningen visade att LUL till stora delar hade vidtagit ändamålsenliga åtgärder för att minska risken för oplanerade driftstopp. Däremot identifierades ett antal områden där det fanns förbättringspotential. har av landstingsrevisorerna fått i uppdrag att följa upp om LUL agerat på tidigare rekommendationer. Den övergripande frågan som revisorerna önskar få besvarad är: Har LUL vidtagit ändamålsenliga åtgärder för att minska risken för oplanerade driftstopp? Vår sammanfattande bedömning är att de åtgärder som noterades i föregående rapport 2013 medger fortsatt god beredskap för att hantera oplanerade avbrott eller störningar i de tjänster MSI erbjuder ur ett tekniskt perspektiv 1. Redundans finns uppbyggt i IT-system och beredskapsfunktioner är implementerade och bedöms fungera. Störningen i Cosmic under hösten 2016 påverkade enligt uppgift inte LUL:s förmåga att utföra vård med bibehållen patientsäkerhet. I övrigt har det enligt uppgift inte inträffat några mer omfattande oplanerade störningar eller avbrott med påverkan på verksamheten inom LUL:s IT-miljö de senaste åren. För att minimera risken för störningar eller avbrott krävs beredskap och proaktivitet och ett nära samarbete mellan verksamhet och IT. För att kunna arbeta proaktivt krävs kunskap om dels vilket stöd som är kritiskt för verksamheten och dels vilka långsiktiga mål verksamheten har, så att IT kan rätta sin planering efter detta. Därför är LUL:s övergripande vision, mål och strategi viktigt även för styrning och ledning av IT. Därtill krävs att verksamheten säkerställer prioritering av vilket ITstöd som är kritiskt och vad som är av mindre vikt. Vår rekommendation är, i likhet med föregående rapport, att fortsatt se över ledningsmodellen som idag upplevs som splittrad och i samband med detta även utreda och fastställa vilken budgetmodell som skall användas. Tydlighet i ovanstående bidrar till att skapa långsiktiga förutsättningar för IT att stödja LUL:s verksamhetsutveckling och arbeta förebyggande i sin leverans, vilket vi bedömer är svårt att åstadkomma med dagens förutsättningar, med en ITstyrning som upplevs som reaktiv och ad hoc-baserad. Med en politisk enighet och motiverad personal som grund har LUL goda möjligheter att åstadkomma de förändringar inom ramen för den digitala transformationen som är en förutsättning för att realisera den e-hälsostrategi som beskrivs i Regionens plan och budget Termen driftsstopp kan syfta på systemavbrott med eller utan påverkan på verksamheten i form av störningar eller avbrott i den tjänst som verksamheten använder. Vår bedömning är att det som är relevant att besvara i sammanhanget, givet den övergripande revisionsfrågan, är vilka åtgärder som vidtagits inom LUL för att förebygga risken för oplanerade systemavbrott eller systemstörningar som påverkar en eller flera verksamhetsstödjande tjänster. För att tydliggöra detta har vi, istället för driftsstopp, valt att använda termen, och basera vår bedömning av LUL:s hanteringsförmåga på, oplanerade avbrott eller störningar i tjänster. Landstinget i Uppsala län 2 av 19

4 För att skapa förutsättningar att i större utsträckning förebygga oplanerade störningar eller avbrott i tjänsterna, både ur ett tekniskt men också verksamhetsmässigt perspektiv, noterar vi följande rekommendationer som vi ser som högst prioriterade på kort sikt: Färdigställ den informationsklassning som initierats av informationssäkerhetsansvarig för att säkerställa att verksamheten och Medicinsk teknik, Sjukhusfysik och IT (MSI) är överens om vilka system som är högst prioriterade ur verksamhetssynpunkt och kan vidta rätt åtgärder vad gäller redundans, övervakning och beredskap. Med utgångspunkt i LUL:s övergripande katastrofplan, uppdatera riskanalysen för att identifiera och dokumentera ytterligare scenarios som har bäring på IT-stödet och säkerställ koppling mot denna från den katastrofplan (Disaster Recovery Plan) som påbörjats av MSI. Verksamheten skall ansvara för prioritering av tjänsters kriticitet. Ta fram och kommunicera gemensamma definitioner kring avbrott eller störningar i de tjänster MSI eller andra externa leverantörer erbjuder. Upprätta utifrån detta rutiner för eskalering till informationssäkerhetsansvarig. Arbetet bör även ingå som en komponent i framtagandet av ovan beskrivna incidentshanteringsrutiner. Den ekonomiska styrningen i form av budget och principer kring denna behöver förtydligas och fastställas av Regionstyrelsen för hela IT:s verksamhet. Slutför implementationen av nytt stöd för logganalys och ärendehantering så att det finns stöd för proaktiv övervakning och åtgärdsberedskap. För att på lång sikt skapa förutsättningar av strukturell och organisatorisk karaktär för att förbättra LUL:s förmåga att både förebygga och ha beredskap för oplanerade störningar eller avbrott rekommenderar vi följande: Arbeta fram en landstingsövergripande IT-strategi som kopplar till och stödjer de målsättningar LUL på sikt har tagit fram i RPB-dokumentet så att IT kan förhålla sig till detta i sin planering om detta bedöms som ett relevant komplement till digitaliserings- och e-hälsostrategin som nyligen fastslagits. Säkerställ att det i alla former av planering inklusive strategiarbete utförs riskbedömningar och konsekvensanalyser och att risker tilldelas en ägare som ansvarig för motåtgärder. Regionledningen bör ta ett övergripande ansvar för en förenkling av den organisatoriska modellen för IT och dess styrning och specifika verksamhetskrav, vilka skall kopplas mot LUL:s övergripande strategi. Landstinget i Uppsala län 3 av 19

5 Tydliggör sjukhusledningens och verksamhetens ansvar för framtagande och regelbunden övning av reservrutiner för de kritiska tjänster där patientsäkerheten riskerar att äventyras i händelse av avbrott. Tydliggör verksamhetens ansvar för kravställning i framtagande av SLA (Service Level Agreement) för de olika tjänster som MSI och andra externa leverantörer erbjuder. Landstinget i Uppsala län 4 av 19

6 Inledning 1.1 Bakgrund och uppdrag På uppdrag av landstingsrevisorerna genomförde i mars 2014 en granskning av LUL: s beredskap för oplanerade driftstopp. Landstingsrevisorerna önskar nu en uppföljande granskning av hur LUL hanterar risken för driftsstopp i centrala informationssystem, dels i syfte att följa upp de rekommendationer som gavs i tidigare granskning, dels med hänsyn till en större störning som inträffade i journalsystemet Cosmic under hösten Den tidigare granskningen visade att LUL till stora delar hade vidtagit ändamålsenliga åtgärder för att minska risken för oplanerade störningar och avbrott i tjänster, bland annat genom en processorientering av IT-verksamheten. Däremot identifierades ett antal områden med förbättringspotential, till exempel inom styrning, ledning och uppföljning, samt rörande hantering av störningar och avbrott i form av grundläggande definitioner, systematik och uppföljning. Det noterades också att det inte fanns någon formell kontinuitetsplan för IT, vilket bedömdes öka risken för att incidenter skulle få en betydande påverkan på verksamheten. Syfte Syfte med granskningen och den övergripande revisionsfrågan är att bedöma om Regionstyrelsen vidtagit ändamålsenliga åtgärder utifrån tidigare rekommendationer för att minska risken för oplanerade driftstopp. Omfattning Granskningen omfattar landstingets informationssystem inom kollektivtrafik, hälso- och sjukvård samt landstingsövergripande system inklusive patientdatasystemet Cosmic och innebär en uppföljning av hur landstingen har utvecklat sin förmåga genom att både följa rekommendationerna från den tidigare granskningen och genomföra andra lämpliga åtgärder, till exempel baserade på etablerade metoder eller god praxis. Granskningen omfattar intervjuer med representanter inom MSI, informationssäkerhet och övergripande styrning, samt genomgång av relevant dokumentation i form av styrande dokument, processer, interna rapporter m.m. Landstinget i Uppsala län 5 av 19

7 1.2 Övergripande och detaljerad frågeställning Den övergripande revisionsfrågan som granskningen syftar till att besvara är: Har LUL vidtagit ändamålsenliga åtgärder för att minska risken för oplanerade driftstopp? I tillägg till den övergripande frågan finns ett antal detaljerade frågeställningar enligt nedan som granskats var för sig och som syftar till att skapa bättre förutsättningar att hantera och förebygga oplanerade driftstopp. 1. Har Landstingsstyrelsen säkerställt en tillfredsställande styrning av ITdriften? 2. Är strukturen för IT-drift och support utformad för att möjliggöra en integrerad process för intern styrning, uppföljning och kontroll? 3. Har Landstingsstyrelsen utarbetat en kontinuitets- och katastrofplan baserad på genomförda riskanalyser? 4. Sker systematisk uppföljning och utvärdering vid planerade och oplanerade driftstopp? 5. Är rutiner tillfredsställande inför uppdateringar och beredskapen tillräcklig för att återgå till tidigare version vid en misslyckad uppdatering? 6. Vilken beredskap finns inför hårdvarufel, driftstopp och överbelastningsattacker? Landstinget i Uppsala län 6 av 19

8 1.3 Genomförande, avgränsningar och metod Genomförande Intervjuer har genomförts med nyckelpersoner inom LUL samt inläsning och genomgång av policys, styrande dokument och annan relevant dokumentation. Granskningen har för avsikt att säkerställa att LUL:s informationssystem är utformat så att system, program och enskilda applikationer är tillgängliga när användaren behöver dem. Granskningen har, i och med de intervjuade personernas olika roller, täckt in LUL:s väsentliga informationssystem inom kollektivtrafik, hälso- och sjukvård samt landstingsövergripande system inom sjukvård och kollektivtrafik samt förvaltning av den underliggande tekniska plattformen. Följande roller har intervjuats: LUL:s ordförande Oppositionsrådet Informationssäkerhetsansvarig Tf. IT-direktör i LUL Sektionschef IT (MSI) Avdelningschef IT verksamhetsstöd (MSI) Avdelningschef IT infrastruktur (MSI) Avdelningschef IT arbetsplats (MSI) Förvaltningsledare IT EPJ (MSI) IT-chef, Kollektivtrafikförvaltningen UL Rapporten har faktagranskats av intervjupersoner under vecka 04, Avgränsningar Granskningens omfattning begränsas till de revisionsfrågor som definierats av LUL, se avsnitt 1.2 Övergripande och detaljerad frågeställning. Vidare har granskningen ej utgått från (och kan således inte analysera) annan information än vad LUL tillgängliggjort för oss genom intervjuer och tillhandahållen dokumentation. Landstinget i Uppsala län 7 av 19

9 Metod Under granskningen har delar av :s verktyg IT Management Analysis (ITM) använts. Verktyget bygger på en databas som innehåller jämförbar (så kallad good practice och benchmarking ) samt relevant information för generell IT-verksamhet inom områdena IT-strategi, IT-leverans, teknologi, personal samt system och applikationer (se tabell nedan). IT-strategi IT-leverans Teknologi Organisation och Personal System och applikationer Vad krävs för att säkerställa att IT-strategin stödjer verksamheten på bästa sätt? Hur ska verksamheten hantera och styra IT? Hur är strategin kopplad till en stabil och säker IT-drift? Är användningen av resurser organiserad, strukturerad, analyserad och kontrollerad för att ge optimal IT-leverans samt ett optimalt verksamhetsstöd? Hur mäts och värderas IT-stödet? Hur mäts stabiliteten i ITdriften och vilka krav ställer verksamheten? Följs trender inom teknologi? Är IT-arkitekturen effektiv och anskaffas teknologi på det mest effektiva sättet? Hur anpassningsbar är tekniken till förändrade behov och förutsättningar i verksamheten? Finns tekniska förutsättningar för en stabil och säker IT-drift? Hur hanteras personal i relation till IT (kompetens, attityder, relationsförmåga, processer och effektivitet)? Finns adekvat kompetens avseende IT-drift? Är applikationer och IT-system ändamålsenliga, säkra och kostnadseffektiva? Hur övervakas applikationer i relation till en stabil IT-drift? Landstinget i Uppsala län 8 av 19

10 1.4 Läsanvisning Rapporten inleds med iakttagelser från de detaljfrågor som hör till granskningen. Iakttagelserna följs av våra rekommendationer för respektive detaljfråga och relaterade revisionskriterier. Avslutningsvis ges en samlad bild av våra rekommendationer för den övergripande revisionsfrågan. Landstinget i Uppsala län 9 av 19

11 2 Iakttagelser och bedömningar Nedan ges en nulägesbild av de sex underliggande frågorna till den övergripande revisionsfrågan kring huruvida LUL har vidtagit ändamålsenliga åtgärder för att minska risken för oplanerade driftstopp. Respektive nulägesbild följs av vår bedömning av LUL:s nuvarande situation inom respektive område. 2.1 Styrning av IT-driften Har Regionstyrelsen säkerställt en tillfredsställande styrning av IT-driften? Iakttagelser och bedömningar Det finns ett brett och enigt politiskt stöd för att säkerställa en ökad digitalisering inom LUL vilket framgår av den digitaliserings- och e-hälsostrategi som fastslogs i januari Styrningen i övrigt utgår från Regionplan och budget (RPB) där ovan nämnda strategi ingår. Övriga strategiska mål har vi inte haft möjlighet att granska, det mesta talar för att många av dem har någon form av direkt eller indirekt påverkan eller krav på IT för framgångsrik implementation. Vi noterar att regionstyrelsen saknar en övergripande sammanhållen IT-strategi samt att den IT-policy som finns är från 2008 och därmed inaktuell vilket gör ITstyrningen, både inom systemval/upphandling, drift och utveckling, reaktiv till sin karaktär. IT-driften av centrala verksamhetssystem sköts av avdelningen MSI som sorterar under förvaltningen för Akademiska sjukhuset. Systemförvaltning såsom löpande versionsuppdateringar sköts av respektive förvaltningsobjekt inom ramen för LUL:s etablerade systemförvaltningsmodell (upprättad enligt pm 3 ) medan det yttersta ansvaret för realiseringen av LUL:s övergripande IT-strategi, beskriven enligt ovan, vilar på Regionens IT-direktör. Bland intervjuade personer finns det en allmän uppfattning att LUL:s decentraliserade IT-organisation gör såväl IT-styrningen som beslutsmässigheten komplicerad och relativt ineffektiv. Det har inletts ett arbete med informationsklassning, vilket initierats från informationssäkerhetsansvarig. Uppdraget ligger på objektsägarna för objekten inom pm 3 -familjen och skall vara slutfört under våren Det finns i dagsläget ingen godkänd och dokumenterad prioritering från verksamheten vad gäller tillgänglighet eller säkerhet för de tjänster som nyttjas vilket försvårar leveransen för MSI samt andra externa leverantörer av IT-stöd och omöjliggör rimliga servicenivåer mot verksamheten. En effekt av detta är att MSI med största sannolikhet överinvesterar i tillgänglighet i somliga system och underinvesterar i andra samt att prioriteringsordningen vid större haverier blir av ad hoc-karaktär och baserad på MSI:s bedömningsförmåga. De verksamheter som är beroende av IT-stöd i det dagliga arbetet behöver i samverkan med sin närmsta ledning engagera sig i att prioritera vilket stöd som är viktigast, denna prioritering bör de som arbetar nära patienter och brukare göra. Intresset för att driva dessa frågor har dock beskrivits som svalt. Landstinget i Uppsala län 10 av 19

12 2.1.2 Rekommendationer Utifrån ovan beskrivna iakttagelser, rekommenderar vi LUL att: Påbörja arbetet med en generell IT-strategi för att stödja de långsiktiga målen och planerna för regionen om detta bedöms som ett relevant komplement till digitaliserings- och e-hälsostrategin som nyligen fastslagits. Säkerställ att verksamheten, när informationsklassningen är klar, prioriterar de tjänster som MSI och externa leverantörer av IT-stöd levererar utifrån verksamhetsbehov och fastställ krav på tillgänglighet och säkerhet för dessa tjänster. Gör en översyn och uppdatera IT-policyn. Gör en översyn av IT-organisation för att säkerställa tydlig beslutsgång, ansvar, befogenheter och eskaleringsvägar. Vår uppfattning är att det nuvarande mandatet för IT-direktören är otydligt. Regionledningen bör ta ett övergripande ansvar för en förenkling och centralisering av den organisatoriska modellen för IT och dess styrning och specifika verksamhetskrav vilka skall koppa mot LUL:s övergripande strategi. Den ekonomiska styrmodellen ses över och fastställs, denna har tidigare varit en självkostnadsmodell men uppfattas ha förändrats utan att något egentligt beslut tagits i frågan. 2.2 Strukturen för IT-drift och support Är strukturen för IT-drift och support utformad för att möjliggöra en integrerad process för intern styrning, uppföljning och kontroll? Iakttagelser och bedömningar MSI arbetar med incidenthantering i enlighet med ISO Processen för problem saknar stöd i nuvarande servicedesksystem varför organisationen håller på att implementera samma system (Easit) som Kollektivtrafikförvaltningen UL (UL) använder för sin incident- och problemhantering. UL arbetar ITIL-baserat. Med nuvarande stöd har MSI begränsade möjligheter att skapa den lärande organisation och process som är nödvändig för att arbeta med ständiga förbättringar i hur problem och dess rotorsaker hanteras. I stor utsträckning saknas stöd för att proaktivt lösa problem, exempelvis verktyg för logganalys. Klassning av incidenter baserat på grad av påverkan på verksamheten och sannolikhet görs inte, normalt klassificeras alla som medium vilket är standardklassificeringen förutom när MSI bedömer dem som kritiska vilket inträffar ca 2-3 gånger per år. Bedömningen gäller det enskilda fallet och bygger inte på en överenskommen definition. Dessa incidenter granskas och det utförs även orsaksanalys samt eventuella motåtgärder för att förhindra att problemet uppstår igen. Vi har i denna granskning endast haft tillgång till en kortfattad analys av incidenten kring Cosmic hösten Landstinget i Uppsala län 11 av 19

13 2.2.2 Rekommendationer Utifrån ovan beskrivna iakttagelser, rekommenderar vi LUL att: Slutföra arbetet med implementering av Easit inom LUL som standardplattform för ärendehantering och implementera problemprocessen. Påskynda upphandling och implementation av logganalysverktyg för att underlätta analysen av följderna av förändringar i plattformen samt säkerställa möjligheten att proaktivt hantera avvikelser och förhindra eller begränsa påverkan på verksamheten. Välj och implementera ett gemensamt ramverk för IT samt skapa tydliga definitioner av termer, t ex driftavbrott. 2.3 Utarbetande av kontinuitets- och katastrofplan Har Regionstyrelsen utarbetat en kontinuitets- och katastrofplan baserad på genomförda riskanalyser? Iakttagelser och bedömningar På övergripande nivå har det inom LUL utarbetats en katastrofplan för att hantera större händelser såsom omfattande olyckor, bränder, terrordåd eller liknande. Detta är något som organisationen har god inblick i och planeringsmässig vana att hantera. Vad som inte framgår av katastrofplanen är hur verksamheten hanterar större oväntade störningar eller avbrott i verksamhetsstödjande tjänster där tid till återställning till normalläge är okänd eller bedöms som lång. Vid störningen i Cosmic hösten 2016 fungerade läsning från systemet delvis tillfredsställande vilket säkerställde att patientsäkerheten aldrig var hotad och att relevant information i stor utsträckning fanns tillgänglig för vårdgivare. Störningens påverkan på verksamheten varierade i utsträckning men ett flertal planerade läkarbesök och operationer fick ställas in och journalföringen fick skötas manuellt vilket medförde extra arbetsinsatser i efterhand för de flesta verksamheter för att föra över informationen till Cosmic. Det visade sig att avdelningar som normalt har verksamhet dygnet runt, exempelvis akutmottagningen och intensivvårdsavdelningen, upplevde mindre störningar än dagvården då de har etablerade reservrutiner för de lägen då stödsystemen är nedtagna vid planerat underhåll, vilket regelmässigt sker nattetid en gång per månad. MSI har påbörjat arbetet med en katastrofplan för att återställa infrastruktur och applikationer i händelse av oplanerade avbrott. Till katastrofplanen hör ett antal dokumenterade rutiner för att per system kunna återställa normal drift (en s.k. Disaster Recovery Plan). Här arbetar IT tillsammans med leverantörerna för att ta fram tillförlitlig och överskådlig aktuell dokumentation kring integrationer och beroenden mot t ex infrastruktur eller försystem. Denna plan har dock starka Landstinget i Uppsala län 12 av 19

14 beroenden till verksamhetens prioritering av tjänsternas kriticitet (ovan beskrivna informationsklassningsarbete) och kan inte slutföras förrän detta finns på plats. En process för återkommande uppdateringar av riskanalyser saknas vilket påverkar hur aktuell katastrofplanen och därtill kopplade åtgärdsplaner är. Detta påverkar då även IT-styrningen Rekommendationer Utifrån ovan beskrivna iakttagelser, rekommenderar vi LUL att: Komplettera befintlig katastrofplan med relevanta scenarios som inbegriper större störningar eller avbrott i de av verksamheten högst prioriterade stödjande IT-tjänsterna. Säkerställa att verksamheten utarbetar reservrutiner för hur patientsäker vård kan bedrivas även under längre avbrott i de stödjande systemen samt hur verksamheten efter störning eller avbrott i tjänsten återgår till normalläge (s.k. stand down-procedure ). Vi rekommenderar också att införliva regelbundna övningar av detta i praktiken i den ordinarie verksamheten. Påbörja arbete med strukturerade riskanalyser och införliva det med ITstyrningen, inklusive arbetet med att ta fram en katastrofplan. Enligt god praxis bör riskägare utses vars ansvar är att utarbeta planer för att hantera risken. Riskanalyser skall kontinuerligt revideras och uppdateras. 2.4 Systematisk uppföljning och utvärdering vid driftsstopp Sker systematisk uppföljning och utvärdering vid planerade och oplanerade driftstopp? Iakttagelser och bedömningar I likhet med observationen i vår granskning i mars 2014 saknas fortfarande enhetlig och överenskommen definition av driftstopp. Denna rekommendation har således inte åtgärdats. Det sker ingen strukturerad uppföljning och utvärdering av vare sig planerade eller oplanerade driftstopp, varken hos MSI eller hos UL. Uppföljning av driftsstopp görs som tidigare nämnts endast på incidenter som bedöms som kritiska, vilket uppskattas vara ungefär 2-3 stycken per år. Uppföljningen är att betrakta som en avrapportering av händelseförlopp och orsaker men det saknas stöd för att genomgående dokumentera orsaker och lärdomar strukturerat för alla incidenter, då systemstödet som MSI förlitar sig på egentligen är avsett för annan användning. Vid planerade driftstopp utvärderas inte verksamhetseffekterna annat än på förekommen anledning, d v s om problem inrapporteras som kan hänföras till det arbete som utförts under driftstoppet. Planerade driftstopp hos MSI sker månadsvis tisdagar mellan vilket verksamheten är väl medveten om. Termen driftsstopp upplever vi som tveksam i sammanhanget då denna är väldigt binär till sin karaktär. Eftersom man inom MSI arbetar med att framställa en Landstinget i Uppsala län 13 av 19

15 tjänstekatalog som publiceras mot verksamheten är det mer relevant att tala om avbrott eller störningar i tjänsten. Verksamheten nyttjar de tjänster som MSI eller andra externa leverantörer erbjuder, störningar i tjänsten kan bero på driftstopp i enskilda underliggande komponenter men det är inte nödvändigtvis så att ett driftsstopp där faktiskt påverkar tjänstens funktion vilket då inte heller påverkar verksamheten Rekommendationer Utifrån ovan beskrivna iakttagelser, rekommenderar vi LUL att: Som nämnts i tidigare granskning men med ovan beskrivna förändring i nomenklatur rekommenderar vi att verksamheten och MSI tillsammans med IT-direktören skapar en gemensam regionövergripande definition av vad avbrott eller störningar i de tjänster som erbjuds innebär så att det inte förekommer oklarheter i frågan. Säkerställ korrekt klassning av incidenter och etablera mätetal för att följa utvecklingen av incidenter och problem av olika svårighetsgrad. Besluta om vilka incidenter som skall följas upp och utvärderas baserat på verksamhetspåverkan och kriticitet. Etablera en process och formalia för hur incidenter dokumenteras, vilken verksamhetspåverkan de har och hur lärdomar dras av hanteringen i det enskilda fallet för att kontinuerligt förbättra arbetssättet och motåtgärderna. Incidentrapportering bör ske månadsvis både avseende det totala antalet incidenter men också volymen av incidenter av varierande kriticitetsgrad. För de incidenter där utvärdering görs av händelseförlopp och verksamhetspåverkan bör det även göras en finansiell analys som kan fungera som beslutsunderlag för eventuella investeringar i förebyggande åtgärder. 2.5 Rutiner inför uppdatering och återställningsrutiner Är rutiner tillfredsställande inför uppdateringar och beredskapen tillräcklig för att återgå till tidigare version vid en misslyckad uppdatering? Iakttagelser och bedömningar Rutiner inför planerade uppdateringar granskas och beslutas enligt uppgift av Change Advisory Board (CAB), det finns ett flertal sådana beroende på vad ändringen gäller. Det är oklart om samtliga ändringar, inklusive mindre mjuk- eller hårdvaruuppdateringar etc. också går denna väg. För de system som från MSI:s sida har bedömts som kritiska finns separerade miljöer för att möjliggöra uttömmande testning före driftsättning i produktion. Detta finns dock inte för alla system. Kunskapen om de olika system som ligger under tjänsterna och infrastrukturen bakom dem bedöms som god både inom MSI och UL såtillvida att det finns möjligheter att rulla tillbaka uppdateringar både på servernivå och systemnivå. I de flesta fall hanteras felande uppdateringar med nya uppdateringar (s.k. hotfix) som Landstinget i Uppsala län 14 av 19

16 korrigerar problemet. Det är oklart om det finns dokumenterade återställningsrutiner för alla system eller om detta är personberoende. Som ovan nämnt är en återställningsplan för katastrofer (Disaster Recovery Plan) under utarbetande men finns inte ännu i en färdig version. Denna plan har starka beroenden till verksamhetens prioritering av tjänsternas kriticitet och kan inte slutföras förrän prioriteringen är gjord Rekommendationer Utifrån ovan beskrivna iakttagelser, rekommenderar vi LUL att: Slutföra informations- och systemklassning och säkerställa verksamhetens involvering och ansvar i detta arbete. Säkerställa att nödvändiga rutiner för återställning av system och infrastrukturkomponenter finns dokumenterade för kritiska system. Säkerställa att det regelverket som finns, där alla förändringar i tjänster eller den underliggande infrastrukturen värderats ur ett riskperspektiv och att det inför varje uppdatering finns en dokumenterad plan för återställning av tjänsten, faktiskt efterlevs. I de fall det inte finns, etablera utvecklings-, test- och förproduktionsmiljöer för att säkerställa att ingen kod som driftsätts i produktionsmiljön medför negativ påverkan på tjänstens tillgänglighet eller kvalitet. Samordna CAB:arna och standardisera arbetssättet så att beslut tas på gemensamma grunder och synkroniserat så att inte ändringar interagerar med oplanerade, negativa följdeffekter på tjänsten. 2.6 Beredskap för hårdvarufel, driftsstopp och överbelastningsattacker Vilken (ändamålsenlig) beredskap finns inför hårdvarufel, driftstopp och överbelastningsattacker? Iakttagelser och bedömningar Som nämnts ovan bedömer vi att beredskapen och kunskapen att hantera hårdvarufel är god. Infrastrukturen är till viss del virtualiserad vilket ger ökad säkerhet mot verksamhetspåverkan från hårdvarufel. För EPJ finns redundanta databasservrar vilket är ytterligare ett sätt att säkerställa fortsatt drift i händelse av hårdvarufel. Virtualiserade miljöer kräver kontinuerlig övervakning ur ett kapacitetsperspektiv så att inte tillgänglig hårdvara överallokeras resursmässigt utan planering för kapacitetsökningar. MSI använder sig av separata, geografiskt åtskilda datahallar för redundans och det pågår dialog med andra landsting för att om möjligt utbyta tjänster inom området. Nätverket inom LUL är inte segmenterat i någon större utsträckning. Det finns ett segment för t.ex. EPJ där dock även andra typer av system ska rymmas. Detta utgör Landstinget i Uppsala län 15 av 19

17 en risk i samband med införande av nya system då dessa ligger i samma segment som det kritiska journalsystemet. Det medför också onödiga utmaningar i att få nya system att fungera i en i övrigt nedlåst och kontrollerad infrastruktur. Detta utgör ett hinder i t ex migreringen av UL:s system. Det finns ingen extern exponering av dessa system publikt varför en överbelastningsattack med stor sannolikhet inte påverkar dem utan i första hand drabbar LUL:s hemsida samt eventuellt telefonisystemet. Antivirus finns installerat på samtliga klienter och dubbla login krävs för att komma åt serverresurser. Det framgår inte om det finns någon form av proaktiv nätverksövervakning i form av detektering av nya okända enheter som ansluts fysiskt eller trådlöst till nätverket Rekommendationer Utifrån ovan beskrivna iakttagelser, rekommenderar vi LUL att: Undersöka möjligheten att segmentera nätet i fler olika delar, dels för att säkerställa hög skyddsnivå för sant kritiska system men också för att underlätta migrering av system från t.ex. UL. Säkerställa regelmässig kapacitetsplanering för de virtuella miljöerna så att redundans för tjänsterna bibehålls även vid eventuella fel i underliggande infrastruktur. Påskynda diskussionerna med andra landsting kring möjligheten att samarbeta kring geografiskt väl åtskilda hallar för drift av IT-system. Dagens infrastruktur och de tjänster som erbjuds på marknaden är kostnadseffektiva och medger stora avstånd mellan datahallar utan påverkan på prestanda. Att samarbeta inom detta område ger en positiv effekt ur säkerhetssynpunkt för alla inblandade samtidigt som kostnadsökningen blir marginell. Landstinget i Uppsala län 16 av 19

18 3 Besvarande av den övergripande revisionsfrågan Efter genomförda intervjuer och genomgång av relevant dokumentation som gjorts tillgänglig för oss är vår uppfattning att de åtgärder som noterades i föregående rapport i mars 2014 medger fortsatt god beredskap för att hantera oplanerade driftstopp ur tekniskt perspektiv. Detta med anledning av följande faktorer: Uppbyggnad av redundans i IT-system, Funktionen Tjänsteman i beredskap är implementerad och bedöms fungera, Fortsatt användning av de övervakningsverktyg, antivirus samt brandväggar som finns på plats, Störningen i Cosmic under hösten 2016 påverkade enligt uppgift inte LUL:s förmåga att utföra vård med bibehållen patientsäkerhet i och med att användarna, under tiden för driftsstoppet, hade tillgång till Cosmics reservrutin (läskopia). Samarbetet mellan verksamheten och MSI för att återställa tillgängligheten i Cosmic bedöms vidare ha fungerat väl under tiden för störningen. I övrigt har det enligt uppgift inte inträffat några mer omfattande oplanerade störningar eller avbrott med påverkan på verksamheten inom LUL:s IT-miljö de senaste åren. För att skapa förutsättningar att i större utsträckning förebygga oplanerade störningar eller avbrott i tjänsterna, både ur ett tekniskt men också verksamhetsmässigt perspektiv, noterar vi följande rekommendationer som vi ser som högst prioriterade på kort sikt: Färdigställ den informationsklassning som initierats av informationssäkerhetsansvarig för att säkerställa att verksamheten och Medicinsk teknik, Sjukhusfysik och IT (MSI) är överens om vilka system som är högst prioriterade ur verksamhetssynpunkt och kan vidta rätt åtgärder vad gäller redundans, övervakning och beredskap. Med utgångspunkt i LUL:s övergripande katastrofplan, uppdatera riskanalysen för att identifiera och dokumentera ytterligare scenarios som har bäring på IT-stödet och säkerställ koppling mot denna från den katastrofplan (Disaster Recovery Plan) som påbörjats av MSI. Verksamheten skall ansvara för prioritering av tjänsters kriticitet. Ta fram och kommunicera gemensamma definitioner kring avbrott eller störningar i de tjänster som MSI eller andra externa leverantörer erbjuder. Upprätta utifrån detta rutiner för eskalering till informationssäkerhets- Landstinget i Uppsala län 17 av 19

19 ansvarig. Arbetet bör även ingå som en komponent i framtagandet av ovan beskrivna incidentshanteringsrutiner. Den ekonomiska styrningen i form av budget och principer kring denna behöver förtydligas och fastställas av Regionstyrelsen för hela IT:s verksamhet. Slutför implementationen av nytt stöd för logganalys och ärendehantering så att det finns stöd för proaktiv övervakning och åtgärdsberedskap. För att på lång sikt skapa förutsättningar av strukturell och organisatorisk karaktär för att förbättra LUL:s förmåga att både förebygga och ha beredskap för oplanerade störningar eller avbrott rekommenderar vi följande: Arbeta fram en landstingsövergripande IT-strategi som kopplar till och stödjer de målsättningar LUL på sikt har tagit fram i RPB-dokumentet så att IT kan förhålla sig till detta i sin planering om detta bedöms som ett relevant komplement till digitaliserings- och e-hälsostrategin som nyligen fastslagits. Säkerställ att det i alla former av planering inklusive strategiarbete utförs riskbedömningar och konsekvensanalyser och att risker tilldelas en ägare som ansvarig för motåtgärder. Regionledningen bör ta ett övergripande ansvar för en förenkling och centralisering av den organisatoriska modellen för IT och dess styrning och specifika verksamhetskrav vilka skall koppa mot LUL:s övergripande strategi. Tydliggör sjukhusledningens och verksamhetens ansvar för framtagande och regelbunden övning av reservrutiner för de kritiska tjänster där patientsäkerheten riskerar att äventyras i händelse av avbrott. Tydliggör verksamhetens ansvar för kravställning i framtagande av SLA för de olika tjänster MSI och andra externa leverantörer erbjuder. Landstinget i Uppsala län 18 av 19

20 4 Övriga reflektioner När vi sammanfattar intervjuer och underlag är det ett par reflektioner man kan göra och fundera lite extra över. Dessa är inte direkt kopplade till revisionsfrågorna men är näraliggande områden som kommit upp under granskningen. När en stor organisation med många intressenter tar fram en långsiktig strategi och plan, hur bryter man sedan ner denna i mål för varje enhet och hur hanterar enheterna målen och uppföljningen kring om man är i linje med strategin? Hur arbetar man tillsammans mot de gemensamma målen? Här skulle det eventuellt kunna övervägas någon form av styrmodell med målkort eller en process för målstyrning (target management). Organisatoriskt bör man överväga en förstudie och en konsekvensanalys av vilka följder det skulle få att lyfta ut MSI från Akademiska och lägga all IT under IT-direktören. En sådan förändring kräver förstås noggrann planering men skulle sannolikt underlätta styrningen av IT och skapa tydlighet mot de delar av verksamheten som är beroende av de tjänster IT erbjuder. Samtidigt är det viktigt att IT kan förstå verksamhetskraven och ha ett nära samarbete och samverkan, vilket det vid en central modell ibland försvåras. I de flesta organisationer finns det en föreställning om att IT-avdelningen eller den som levererar IT-tjänster vet vilket stöd och vilka tjänster verksamheten behöver och hur viktiga de är. Med mycket få undantag är detta varken sant eller önskvärt. Verksamheten behöver arbeta nära tillsammans med IT för att säkerställa att man förstår varandra och att man får det stöd man behöver, när man behöver det. Behovet av samarbete och ömsesidig förståelse kan i detta inte nog betonas. När inslaget av IT ökar i vårdprocesserna och att det för verksamheten blir lättare och lättare att själva beställa IT-tjänster från externa leverantörer blir detta än mer viktigt. Landstinget i Uppsala län 19 av 19