Jonas Gustavsson Leverans av 10PB Isilon
Erfarenheter av 10PB leverans av Isilon Första systemet installerat 2011 10 Datacenter 10PB användbar diskyta 72 Noder
Vad är då våran erfarenhet? «Det är ju bara att trycka på en knapp»
...att flosklerna stämmer! Enkelt Skalbart Prestanda Effektivt
Kunderna Vad används Isilon till?
Myndigheter» Stora arkiv, blandade applikationer, NFS/CIFS» Hemmakataloger» Backup Landsting» Arkiv för PACS Mediaproduktion» Lagring av färdigt material - Tier2 och Tier3» Orginalformat och transcoding, HTTP/NFS» Hemmakataloger, allmän filyta, NFS/CIFS
Vad passar Isilon till? Sweet spot är sekventiell IO, filer och filtjänster» Eran workload är viktig Applikationer som genrerar många och/eller stora filer» >50TB Ökande datamängder
Vad passar Isilon mindre bra till? Random IO ( io inom en stor fil, DB, vmdk )» Funkar med S200 eller X400, finns dock alternativ... Statisk miljö Mindre datamängder <50TB
Lite teknik
Hur funkar det? Servers Servers Servers Client/Application Layer Standard Gigabit Ethernet Layer Isilon IQ Storage Layer Intracluster Communication Infiniband Layer
Hur funkar det? Access och lastbalansering DNS Delegation Isilon.proact.se -.10 \\Isilon.proact.se\home.16.15.14.13.12.11 IP-pool.11 ->.20 DNS.10 One FS
Hur funkar det? Leverera data C P U C A C H E O n e F S CPU 3 x 4 cores 12 cores MINNE 3 x 48GB 144GB DISK 3 x 12 disk 3TB 65TiB usable 1300MB/s
Hur funkar det? Expanderar med en nod C P U C A C H E O n e F S 4 x 4 cores 16 cores 4 x 48GB 192GB 4 x 12 x 3TB 98TiB usable 1800MB/s
Erfarenheter av Enkelhet, Skalbarhet och Prestanda
Enkelt Vad har vi alla brist på?» Inget pillande» Ingen lagringsadministration OneFS» Samma administration med 10TB som 1000TB Hålla ihop 1PB lagringsyta kan bli meckigt utan Isilon:» RAID-grupper, Aggregat, LUNar, filsystem, Snapytor, Filers/DM» Och sen ska vi replikera allt för DR
Skalbarhet Bygger ut klustret med «en knapptryckning»» Adderar kapacitet och prestanda» Ingen tillkommande tuning» Klustret balanserar ut data Kanske den viktigaste och bästa egenskapen!
Effektivt 80+ i verkningsgrad redan från 5 noder» Avancerade algoritmer, Reed-Solomon som sprider data och paritet» Inga öar av outnyttjad lagring OneFS 10 x NL400 med 4TB disk = 1.2PB användbar diskyta på 40U» Roadmap visar 60-disk på 4U, snart kommer 6TB diskar Ger förhoppningsvis bra pris per GB!
Prestanda Levererar rejält vid sekventiell IO, läs och skriv, även med snapshots m.m» X400 700MB ( bästa bandbredd )» S200 500MB ( bästa IOPS )» X200 300MB ( Kombination pris/prestanda )» NL400 200MB ( lägst pris per GB ) Ev Metadata på SSD 8 x NL400 Transcoding och ingest 1600MB/s» Långsammaste nodtypen... Utökas linjärt, i takt med Eran expansion
Erfarenheter av Uppgraderingar och expansion
Bara trycka på en knapp......och 60 sekunder senare är det klart! Jo, i 95% av fallen...» Förpreppa noden med samma OneFS, annars tar det 15 minuter» Ny generation av nod, support fixar första noden» Något fall har nod kommit upp med halva antalet diskar» En DOA av 72 noder, NVRAM, fixat av support ( efter ett tag...)
Uppgraderingar Minor ( rättningar ) Rolling Major ( nya funktioner ) Cluster Wide ( 2 min )» Enkel operation, ladda ner fil, kör isi update» Utfört alla varianter, oftast cluster wide, få problem Jobengine, http
Erfarenheter av Backup och DR
Backup Man kan ta vanlig backup» Montera filsystem, metadata operationer kan bli problem» NDMP 2 eller 3 way Replikering och snapshots /ifs/prod - 12.00-13.00-14.00 Sparas i två veckor SynqIQ /ifs/prod - 12.00 - Sparas i tre månader
DR Isilon replikerar data asyncront» Stabilt, konfigureras på katalognivå, mycket enkelt» Source är RW, Target RO \\isilon1\app1 -RW \\isilon1\app2 -RW \\isilon1\app3 \\isilon2\app1 \\isilon2\app2 \\isilon2\app3 -RW /ifs/app1 RW /ifs/app2rw /ifs/app3 RO SynqIQ /ifs/app1 RO /ifs/app2 RO /ifs/app3 RW isilon1 isilon2
DR Failover hanteras manuellt /ifs/app1 RW /ifs/app2rw /ifs/app3 RW» 1 - Aktivera spegelkopia i Isilon» 2 - Hantera DNS, ändra CNAME \\isilon1\app1 -RW \\isilon1\app2 -RW \\isilon1\app3 -RW isilon1 isilon1 Deligation SynqIQ \\isilon2\app1 \\isilon2\app2 \\isilon2\app3 isilon2 CNAME isilon2 /ifs/app1 /ifs/app2 /ifs/app3 \\isilon2\app3
Hadoop och Isilon
Hadoop kommer att användas mer Parallellt med traditionella DB s Utföra analyser eller som en jobbmotor för olika typer av jobb Kräver idag en hel del infrastruktur och tid för uppsättning. Med Isilon kan vi förenkla lagringen och separera Compute och Data Compute i virtuell miljö och data på Isilon
Hadoop Architecture with Isilon R (RHIPE) Mahout Hive HBase Name Node PIG Job Tracker Task Tracker Data Node name node Compute Node Compute Node Compute Node Ethernet Compute Node Compute Node Compute Node name node name node name node name node name node Isilon data node
HDFS: Integrated Isilon and Hadoop NFS User/WEB Click data Hadoop Cluster Decision Support Databases OLAP Log Files SMB, NFS, HTTP, FTP, HDFS Step 1: Much or all of the Data lives on the Isilon/Hadoop Cluster Step 2: Jobs are run node info node info node info node info name node name node name node name node Isilon MAP Reduce MAP Reduce MAP Reduce MAP Reduce data node
...och nu vet vi alla Enkelt Skalbart Prestanda Effektivt