Tekniskt driftdokumentation & krishantering v.1.0 Denna driftdokumentation avser driftmiljön hos Camero AB:s webbhotell, både delade och dedikerade lösningar.
Teknisk dokumentation Cameros webbhotell har säkerhet och tillgänlighet som huvudfokus. Vi hoppas att detta dokument ska ge Era tekniker nödvändig information för att förstå hur vårt säkerhetsarbete ser ut. Har Ni fler funderingar och frågor står vi gärna till tjänst och besvarar dessa. Våra tekniker nås direkt på teknik@camero.se. Uppdateringar av servermjukvara Camero uppdaterar regelbundet samtliga servrars operativsystem och servermjukvaror från officiella källor. Uppdateringar delas in i kritiska säkerhetsuppdateringar, rekommenderade uppdateringar och uppdateringar som kräver omstart. Kritiska uppdateringar installeras snarast möjligt, ofta automatiskt. Uppdateringar som kräver omstart installeras primärt nattetid (nästan uteslutande Windows). De allra flesta uppdateringar klassas som rekommenderade. Dessa görs alltid under övervakning av tekniker då uppdateringar tyvärr är både nödvändiga och en relativt vanlig felkälla vid problem. Byte/uppgradering av hårdvara Då planerat byte av hårdvara alltid kräver något form av driftstopp, meddelas kunden i godast möjliga tid före via e-post och Cameros webbplats. Oplanerade byten av hårdvara benämns under krisplaner. Vi oplanerade byten ersätts hårdvaran med en exakt likadan komponent. Om inte detta finns att tillgå skall den nya hårdvarans specifikationer mätas med den gamla eller av högre kvalité. Internetanslutning Under normala förhållanden levereras it-drift Bahnhof och Ip-Only. Hastighet till server är 100mbits (teoretisk hastighet) men lösningen är skalbar och uppgraderas vid behov. Vid avbrott av ovanstående lina leveras backupdrift från Bredbandsbolaget. Hastighet från server kan då vara lägre. Läs mer om hur denna drift hanteras under rubrik krisplanering. Larm och tillträde till utrustning All hårdvara är placerad innanför dubbla kodlås med personliga nyckelkort, vanligt nyckellås samt larm. Besökare i lokalen får inte vistas i något utrymme som innehar driftkritisk utrustning. Detta innersta område skyddas av inbrottslarm kopplat till SOS Alarm när bemanning saknas. Leverantör av larmlösning är G4S. Rökdetektorer finns fördelat inom hela det skyddade området, också detta kopplat till SOS Alarm.
Backuper Backup-rutiner Backuper görs dagligen på samtliga filer som överförs med krypterad tunnel mellan servrarna. Fullständiga backuper av alla data sker minst en gång per dygn men normal två gånger per dygn, en gång nattetid, en gång lunchtid. Åtkomst gäller i 30 dagar. Återställning En backup återställs genom att filerna packas upp på rätt serverplats, något som regleras i en tydlig dokumentation över backupens och kundens id. Säkerhetskopior återställs endast av Cameros egen personal. Kontinuerliga övningar Tester av backuper delas in i två grupper: enkel och utförlig. Enkelt test av säkerhetskopior innebär granskning av arkivet utan att packa upp. En tekniker tittar på backupens storlek och tidpunkter den skapades för att bedöma om backupen är lyckad eller om ett fel uppstått. Sådana kontroller sker minst två gånger i veckan. Utförligt test innebär att backupen packas upp i en riktig miljö och körs. Loggarna granskas efter felmeddelanden och systemet provkörs genom att testa några slumpvalda funktioner. Sådana tester görs i regel på månadsbasis. Övervakning och bemanning Samtliga system självtestas en gång per minut för att säkerställa tillgänglighet och maximal prestandard. Vid avvikelse meddelas drifttekniker via e-post och SMS dygnet runt. Med avbrott menas tex. då en fullständig databaskoppling inte kan utföras från samma databasmotor och webbserver som kunden använder, om temperaturen i serverutrustning når höga temperaturer eller om ledigt lagringsutrumme når en nivå som äventyrar driftsäkerheten. Systemloggar Systemloggar hanteras med sekretess i åtanke och lämnas inte under några omständigheter ut till vare sig kund eller för tredjepartsanalys. Systemloggar får endast användas för att mäta kapacitetsanvändning eller använda i felsökning.
Avveckling av hårdvara Förbrukad hårdvara separeras från dess lagringsenheter (hårddiskar och minnen). Lagringsenheterna sparas i Cameros lokaler och övrig hårdvara skickas till återvinningscentral. Hantering av krissituationer Beskrivning av krissituationer En krissituation är ett avbrott som innebär att kunden inte kan använda det affärskritiska systemet helt eller delvis trots att inga lokala fel finns hos kund. Alla incidenter som rör driftmiljön skall dokumenteras och delges kund omedelbart enligt nedanstående krisplaner. För delat webbhotell delges kund via driftavdelningen på Cameros webbplats. Kunden kan även begära att få delta i den e-postgrupp som automatiskt får rapporter skickade till sig. Anmälan sker hos kundtjänst. Avbrott delas in i tre kategorier: mindre allvarliga avbrott, allvarliga avbrott och mycket allvarliga avbrott. Dokumentation av händelseförlopp vid incident, delat webbhotell Dokumentationen skall innehålla all felsökning och alla beslut som tas för att undersöka och åtgärda avbrottet. Alla delar ska tydligt märkas med tidpunkt och vem som agerar. Är felet av större karaktär och drabbar ett flertal kunder får inte kundspecifika anteckningar spridas till andra kunder. Dokumentationen ska delges kunder samma dag som felet avhjälpts. För delat webbhotell måste kunden begära ut den detaljerade dokumentationen via Cameros kundtjänst eller ta den av den förkortade versionen som ger via e-postgruppen eller Cameros webbplats. Camero sparar all dokumentation och dessa kan begäras ut så länge kunden ingår driftavtal.
Mindre allvarliga avbrott Avbrott mellan 1 minuter och 1 timme. Exempel på scenarior IT-drift slutar levereras Elavbrott Hårdvarufel Fel i mjukvaru-uppdatering Extern attack Programmeringsbugg Krisplan hos leverantör 1. Avbrottet undersöks av ansvarig tekniker och en uppskattning görs om hur lång tid avbrottet kommer att vara. 2. Kunden meddelas om felet och beräknad nertid. För delat webbhotell begär kunden ut denna information via kundtjänst. 3. Meddela Tillfälligt avbrott mot externa användare om möjligt. 4. Kvarstår felet efter 1 timme märks avbrottet allvarligt. 5. Felet dokumenteras och skickas till kund / begärs ut av kund. Allvarliga avbrott Avbrott mellan 1 timme och 4 timmar. Exempel på scenarior IT-drift slutar levereras Elavbrott Större hårdvarufel som kräver byte Extern attack Krisplan hos leverantör 1. Avbrottet undersöks av ansvarig tekniker och en uppskattning görs om hur lång tid avbrottet kommer att vara. 2. Kunden meddelas om felet och beräknad nertid. För delat webbhotell begär kunden ut denna information via kundtjänst. 3. Camero erbjuder sig att medverka i kundens krisgrupp och kontrollerar möjligheten att driftsätta enstaka mer affärskritiska system på alternativa vägar. 4. Meddela Tillfälligt avbrott mot externa användare om möjligt. 5. Kvarstår felet efter 4 timmar märks avbrottet mycket allvarligt. 6. Felet dokumenteras och skickas till kund.
Mycket allvarliga avbrott Avbrott mellan 4 timmar och 10 timmar. Exempel på scenarior IT-drift slutar levereras från flera leverantörer Större extern attack Krisplan hos leverantör 1. Avbrottet undersöks av ansvarig tekniker och en uppskattning görs om hur lång tid avbrottet kommer att vara. 2. Kunden meddelas om felet och beräknad nertid. För delat webbhotell begär kunden ut denna information via kundtjänst. 3. En driftdokumentation sätts upp på alternativ plats för kunder att kontinuerligt följa. 4. Camero erbjuder sig att medverka i kundens krisgrupp och kontrollerar möjligheten att driftsätta enstaka mer affärskritiska system på alternativa vägar. 5. Meddela Avbrott mot externa användare om möjligt. 6. Felet dokumenteras och skickas till kund. Handlingsplan vid allvarliga scenarior IT-drift slutar levereras / kabelbrott Vid detta scenario väntar brandväggen till nästa helminut (maximalt 60 sekunder) innan omläggnings sker på backupdrift. Redundans finns ner till kopparnivå. Hårdvarufel Samliga komponenter skall finnas i flera uppsättningar för snabb service. Förhindras service av någon anledning undersöks om drabbade system kan flyttas till altenativa servrar, helst utan prestandardförlust. Större extern attack Vi har både manuella och automatiska kontroller för att upptäcka onormal trafik i våra nät, såsom DDOS-attacker. Vid en sådan händelse ges ärendet första prioritet och granskning av loggar inleds, oavsett tid på dygnet. Misstänkt trafik matas in i brandväggen och droppas.
Mindre attack mot enskild tjänst Kan källan / orsaken / lösningen inte fastställas inom enstaka minuter kommer det drabbade systemet att isoleras eller plockas ner för granskning. Ärendet har första prioritet oavsett tid på dygnet.