BESLUT 1(5) Datum Vår referens Aktbilaga 2013-09-02 Dnr: 13-6315 Nätsäkerhetsavdelningen Erika Hersaeus 08-678 56 34 Erika.Hersaeus@pts.se Avbrott och störningar i elektroniska kommunikationsnät och tjänster. Saken Tillsyn gällande avbrott och störningar i Tele2:s elektroniska kommunikationsnät, e-post och bredbandstelefoni nu fråga om avskrivning. Post- och telestyrelsens avgörande Post- och telestyrelsen avskriver ärendet från vidare handläggning. Bakgrund Tele2 AB (Tele2) har rapporterat att en störning av betydande omfattning inträffade den 17 april 2013. Störningen inträffade kl.06.00 och upphörde kl.10.30 den 17 april 2013. Störningen omfattade hela bredbandstelefonitjänsten och e-posttjänsten. Bredbandstelefoni för 70 000 privatpersoner samt e-postkommunikation för 500 000 privatpersoner berördes av störningen. Kunder med dessa tjänster kunde inte använda tjänsterna; varken ta emot samtal/e-post eller ringa samtal/e-post. Kunder kunde inte heller ringa 112 med sin bredbandstelefon. SOS Alarm informerades via telefon kl.06.30. Post- och telestyrelsen Postadress: Besöksadress: Telefon: 08-678 55 00 Box 5398 Valhallavägen 117 Telefax: 08-678 55 05 102 49 Stockholm www.pts.se pts@pts.se
2(5) Tele2 har i skrivelser inkomna till PTS den 5 juni respektive den 25 juni 2013 sammanfattningsvis lämnat följande upplysningar. Tele2 genomförde ett planerat arbete i samarbete med sin underleverantör för att uppgradera firmware i ett Storage Area Network (SAN) till en nyare version. Uppgraderingen var validerad och testad av Tele2:s underleverantör i enlighet med dennes process för samtliga implementationer. Två redundanta noder togs ned enligt leverantörens plan och uppgraderades i enlighet med gällande rutiner. Efter uppgraderingen startade dock inte noderna igen på grund av ett minnesfel som fanns i båda noderna. För att avhjälpa felet krävdes ny hårdvara som togs in och installerades. Efter det var systemet återställt. Systemexperter från Tele2 och underleverantören medverkade på plats vid uppgraderingen. Ytterligare teknisk expertis hos leverantören kontaktades för felsökning och analys vid upptäckten av felet. Personal vid Tele2 och leverantören tillsåg eskalering och koordinering för att säkerställa snabbast möjliga återställning av tjänsten. Flera parallella åtgärder vidtogs. Det fanns ingen möjlighet att uppgradera ett kort i taget för den här typen av firmwareuppgradering. Tele2 har genomfört en risk- och sårbarhetsanalys, vilken har identifierat SAN som en potentiell risk. Tele2 har därför beslutat att ersätta den befintliga lösningen. Arbetet med att ersätta SAN förväntas vara klart i första kvartalet 2014. Tele2 uppger att de svårligen hade kunnat förutse att två separata kort skulle få samma minnesfel. Samarbetet med leverantören beskrivs ha fungerat bra. Tele2 har samarbetat med tekniker hos leverantören såväl i det förberedande arbetet som på plats vid uppgraderingen. Samtliga rutiner och föreskrifter som gäller för Tele2:s installation var dokumenterade och följdes. Förfarandet var verifierat och godkänt i förväg av leverantörens experter och avvek inte från hur den här typen av arbete utförts tidigare hos andra av leverantörens kunder. Tester hade utförts hos leverantören enligt den praxis som leverantören har vid den här typen av uppgraderingar och dessa var lyckade och har tidigare genomförts hos andra kunder. Tele2 har i uppföljningsmöte med leverantören krävt än hårdare testning och ytterligare adaptioner av testmiljön för att mer än vad som varit praxis efterlikna de omständigheter som råder i den miljö som Tele2 har. Vidare har de bett Post- och telestyrelsen 2
3(5) leverantören att undersöka utarbetandet av alternativa metoder för att uppgradera kluster som enligt nuvarande rutiner skulle kräva nedtagandet av båda redundanta sidor för att utföras. Dessutom kommer det att finnas än mer hårdvara på plats vid nästa uppgradering jämfört med vad som medtagits tidigare, för att snabbt kunna agera vid eventuella problem. Tele2 har även efterfrågat att den lokala delen av leverantörens organisation på ett bättre sätt lyfter sina kunders speciella behov gentemot leverantörens centrala organisation för att bättre kunna skräddarsy tester samt få mer fokus. Inga tester hade gjorts i Tele2s lokala miljö då operatören inte har något eget testsystem för detta. Därför överlåts tester till leverantören som har dedikerade system för att utföra tester. Tele2 uppger att det inte gick att använda en fall-backlösning i det här fallet eftersom hårdvarufelet omöjliggjorde uppstart. Om uppstart varit möjligt, skulle en återgång till föregående firmware varit möjligt. Eftersom uppgraderingen orsakat latent minnesfel på två redundanta kort, kunde återställning endast ske genom att ersätta de defekta korten. Tele2:s vidtagna åtgärder på kort sikt för att undvika att motsvarande fel uppstår igen har bland annat handlat om att se över och ställa högre krav på sin underleverantör Tele2:s vidtagna åtgärder på längre sikt för att undvika att motsvarande problem inträffar i framtiden, handlar om att ersätta befintlig SAN-lösning och anpassa sina krav på det nya systemet. Skäl Tillämpliga bestämmelser Enligt 5 kap. 6 b lagen om elektronisk kommunikation (2003:389) (LEK) ska den som tillhandahåller allmänna kommunikationsnät eller allmänt tillgängliga elektroniska kommunikationstjänster vidta lämpliga tekniska och organisatoriska åtgärder för att säkerställa att verksamheten uppfyller rimliga krav på driftsäkerhet. De åtgärder som vidtas ska vara ägnade att skapa en säkerhetsnivå som, med beaktande av tillgänglig teknik och kostnaderna för att genomföra åtgärderna, är anpassad till risken för störningar och avbrott. PTS Post- och telestyrelsen 3
4(5) har utfärdat allmänna råd om vad som bör beaktas vid bedömning enligt denna bestämmelse. 1 Enligt 5 kap. 7 1 st. 1 ska den som tillhandahåller ett allmänt kommunikationsnät eller en allmänt tillgänglig telefonitjänst medverka till att nödsamtal utan avbrott kan förmedlas avgiftsfritt för användaren. Enligt 3 1 st. PTS föreskrifter om förmedling av nödsamtal m.m. (PTSFS 2008:2) ska tillhandahållaren omedelbart underrätta samhällets alarmeringstjänst om nödsamtal på grund av störningar, avbrott i nät eller liknande inte kan förmedlas. PTS är enligt 2 förordningen (2003:396) om elektronisk kommunikation tillsynsmyndighet enligt LEK. Tillsynsmyndigheten ska enligt 7 kap. 1 LEK utöva tillsyn över bland annat efterlevnaden av lagen. Av 7 kap. 3 LEK framgår att tillsynsmyndigheten får förelägga den som bedriver verksamhet som omfattas av lagen att tillhandahålla myndigheten upplysningar och handlingar som behövs för kontroll av efterlevnaden av de allmänna skyldigheter som följer av lagen. PTS bedömning Som en del av ett kontinuerligt och systematiskt säkerhetsarbete bör tillhandahållare av allmänna kommunikationsnät och tjänster regelmässigt identifiera vilka hot mot näten och tjänsternas funktion som finns, samt bedöma sannolikheten för att de identifierade hoten inträffar och de konsekvenser detta kan medföra för verksamheten. Inför uppgradering av system, som t.ex. av firmware, är genomförandet av en risk- och sårbarhetsanalys ett viktigt moment för att kunna bedöma konsekvenser i händelse av att en incident inträffar. Att en reservplan, fallbacklösning med åtgärdsplan, finns upprättad är även viktigt i säkerhetsarbetet i händelse av att en störning uppstår. PTS ser positivt på att Tele2 anpassar och ställer högre krav på sina leverantörer avseende deras testning och testmiljö samt undersöker utarbetandet av alternativa metoder för att uppgradera kluster och att ytterligare ersättningshårdvara kommer att finnas på site vid kommande uppgraderingar. 1 Se Post- och telestyrelsens allmänna råd om god funktion och teknisk säkerhet samt uthållighet och tillgänglighet vid extraordinära händelser i fredstid (PTSFS 2007:2). De allmänna råden refererar till den tidigare bestämmelsen i 5 kap. 6 a LEK som sedan 1 juli 2011 benämns 5 kap. 6 b. Bestämmelsen har även moderniserats och språkbruket ändrats för att undvika misstolkningar. Post- och telestyrelsen 4
5(5) PTS ser vidare positivt på att Tele2 i införskaffandet av en ny hård- och mjukvara ställer krav på den nya lösningen för att undvika att liknande problem ska inträffa i framtiden och för att så snabbt som möjligt kunna ersätta den befintliga lösningen. Vad som framkommit i ärendet föranleder inga ytterligare åtgärder från PTS sida och ärendet ska därför avskrivas. Beslutet har fattats av enhetschef Patrik Bystedt. Föredragande har varit handläggaren Erika Hersaeus. I ärendets slutliga handläggning har även juristen Peder Cristvall deltagit. Post- och telestyrelsen 5