Nytt från NATIONELLT SUPERDATORCENTRUM VID LINKÖPINGS UNIVERSITET NR 12 DECEMBER 2 Kraftig utökning av SNAC-tid på SGI38 NSC erbjuder en väsentligt utökad tid på SGI38-systemet vid höstens ansökningsomgång till SNAC (Swedish National Allocations Committee for High Performance Computing). Totalt har kapaciteten på den akademiska sidan dubblerats. Detta tack vare den utbyggnad som gjordes tidigare i år av SGI38-systemet och omfördelning och nytillskott som gjorts för övriga NSC-partners tilldelning av tid på NSC:s datorresurser. Utökningen från 96GB till 128GB delat minne befäster ytterligare systemet som Sveriges i särklass största delat minnesresurs som kan erbjudas via SNAC-kommittén. Vi ser ett fortsatt starkt behov av tid på vår delat minnesresurs och det är mycket tillfredsställande att vi nu kan erbjuda våra akademiska användare en fördubblad kapacitet på vårt SGI38- system säger Peter Münger, chef för vetenskapliga tillämpningar. Monolith på 51a plats i världen Med LINPACK har Monolith en uppmätt prestanda på 96.4 GFlop/s. Detta placerar Monolith på plats 51 i listan över de snabbaste datorsystemen i världen (www.top.org). Snabbast i världen är den japanska maskinen Earth Simulator som består av 51 stycken NEC SX-6 vektorprocessorer. Den uppnår 35 TFlop/s i LINPACK-benchmark.
NSC bygger vidare Efter en hektisk period av verksamhet vid NSC när byggandet av Monolith avslutades genomfördes workshopen LCSC (Linux Clusters for Super Computing) den 23-25 oktober i år. LCSC samlade i år 161 deltagare som fick höra presentationer inom det snabbt växande PC-klusterområdet. Key-note speaker var i år Dr Tomas Sterling från Caltech som diskuterade möjliga vägar in i framtiden. I samband med LCSC genomfördes invigningen av Monolith, NSC:s senaste PC-kluster. Invigningen gjordes av biträdande generaldirektör Madeleine Leijonhufvud från Vetenskapsrådet och generaldirektör Hans Sandebring från SMHI. Vid invigningen hälsade rektor Bertil Andersson deltagarna välkomna Matts Karlsson Föreståndare NSC till Linköpings universitet och dessutom presenterade professor Anders Ynnerman, föreståndare för SNIC (Swedish National Infrastructure for Computing) det pågående arbetet med att få till stånd ett svenskt meta-centrum för tekniskt-vetenskapliga beräkningar. Ett viktigt arbete där NSC ingår som en del i SNIC. Att känna till ett nytt systems prestanda är alltid intressant och Monolith presterar 96.4 Gflop/s på LINPACK, vilket renderade en 51:a plats på den senaste top-listan som presenterades vid Supercomputing 2 i Baltimore. Monolith är idag världens näst snabbaste hembyggda PC-kluster. Årets SNAC-omgång visar tydligt att NSC:s samtliga resurser är eftersökta. Speciellt är det intressant att notera att NSC:s användare representerar många olika discipliner och kommer från hela landet. NSC bygger inte bara mycket stora kluster. Härinvid presenteras Otto, ett PC-kluster speciellt för användande inom oceanografi. Göran Broström vid Göteborgs universitet presenterar i detta nummer sin verksamhet som innefattar verkligt storskaliga simuleringar av vad som sker i världshaven. Efter bygget av Monolith fortsätter nu NSC att bygga PC-kluster: ett 32- noders kluster kallat Bris av samma typ som Monolith har placerats hos SMHI i Norrköping att användas för väderprognoskörningar. Dessutom bygger NSC ett 8-noders kluster av Monolith-typ till SAAB för att täcka deras behov av beräkningskraft. NSC växer och utvecklas och därför hälsar vi Mattias Sillén väkommen till NSC. Mattias arbetar till vardags på SAAB med aerodynamisk simulering och kommer att jobba med organisationsutveckling vid NSC. Otto - ett kluster för beräkningar inom oceanografi Användning av Monolith Monolith är nu i produktion och de första användarna är igång. En del av systemet är dock reserverat för fortsatt uttestning. En del stabilitetsproblem relaterat till det snabba nätverket kvarstår och vi arbetar intensivt tillsammans med SCALI för att lösa dessa. Vi ber om överseende för denna tillfälliga begränsning i åtkomst på klustret. Antal arbetsnoder (totalt): 48 (49) Operativsystem: Red Hat Linux 7.3 Kösystem/schemaläggare: OpenPBS/Maui Nätverk för MPI-applikationer: SCI-bandbredd (nod->nod): SCI-latency (nod->nod): CPU-typ (L2 cache): CPU-klockhastighet: Topprestanda(*)/CPU (totalt): Mängd minne/cpu (totalt): Minnestyp: Minnesbandbredd/CPU (peak): Centralt diskutrymme: Distribuerat diskutrymme: SCI 2D ~9 MB/s ~4.5 us Intel P4 (512 KB) 2.26 GHz 4.52 Gflop (221 Gflop) 512MB (24.5 GB) RDRAM 8 MHz 3.2 GB/s 4 GB 2 TB (*) Antal IEEE dubbelprecisions operationer teoretiskt möjliga per sekund 2
Havscirkulationen - en viktig del av vårt klimat De flesta nordbor är mycket väl medvetna om Golfströmmens betydelse för Skandinaviens milda klimat. (Golfströmmen betecknar egentligen strömmen utanför den Amerikanska kusten, längre ut i Nordatlanten är det korrekta namnet den Nordatlantiska strömmen). Golfströmmen är en del av ett större strömsystem och utöver de lokala förhållandena så påverkas den även av cirkulationen i Stilla Havet, den cirkumpolära strömmen i Södra Oceanen (strömmen runt Antarktis), och den storskaliga atmosfärscirkulationen. I dagens klimat är det en nordlig drift i Atlantens ytvatten (via Golfströmmen). I norra Nordatlanten bildas kallt djupvatten genom avkylning vilket resulterar i en djup sydgående ström av kallt bottenvatten. En del av detta bottenvatten söker sig mot ytan redan i Atlanten medan resten fortsätter mot Antarktis eller mot Indiska Oceanen/ Stilla Havet för att slutligen nå ytan. En schematisk bild av havets storskaliga transportband visas i Figur 1. Havets betydelse för den globala värmemaskinen varierar med latitud, upp till ca 3- N transporterar havet mer värme mot polerna än atmosfären. Från ca - N dominerar de atmosfäriska transporterna det polargående värmeflödet även om havet lokalt kan vara viktigt, t.ex. vid Skandinavien. Något man måste beakta när man modellerar havsdynamik är att dagens datorer inte förmår att beräkna hela flödesfältet i den mängd vatten som ryms i datorn, dessutom tar en beräkningen längre tid än den verkliga tidsutvecklingen. Det är uppenbart att det dröjer tills vi kan göra direkta simuleringar av flödet i havet. Under tiden är det nödvändigt att använda övergripande beskrivningar av processer på längdskalor mindre än gridstrukturen i vår modell. Den numeriska beskrivningen av den storskaliga cirkulationen baserar sig på ekvationer som liknar normal strömningsmekanik med några modifikationer. En modifikation är att den storskaliga strömningen domineras av effekterna från jordens rotation och att havet har en stark densitetsskiktning, båda dessa effekter är essentiella för havets strömningsmekanik. En närmare analys av havsdynamiken visar att den småskaliga blandningen är utomordentligt viktig för den storskaliga havscirkulationens styrka. Det kan måhända tyckas enkelt att beskriva blandningen i djuphavet utifrån alla hydrodynamiska studier som har utförts de senaste århundradena. Tyvärr är det långt ifrån så enkelt. Blandningen i djuphavet drivs till största delen av vågor i havets skiktning, s.k. interna vågor, som växelverkar med andra interna vågor, bakgrundsströmning och bottentopografi. De interna vågorna i sin tur alstras på en rad vis, genom tidvattenvågor som interakterar med botten, stormar på havsytan, etc. Att genomföra mätningar till havs har sina uppenbara problem: det är dyrt (fartygshyra ~ 2, kr/dygn), mätningar måste ske nere på stort djup (~ m) i en svårbemästrad miljö Figur 1 En schematisk beskrivning av havets storskaliga cirkulation. 3
Latitude 3 6 3 3 6 Longitude (stormar på havsytan osv.). Detta innebär att det endast finns ett fåtal observation av turbulensens egenskaper i djuphavet och det är svårt att erhålla en generell beskrivning av blandningen i djuphavet. En av de frågeställningar som vi arbetar med är hur den småskaliga blandningen påverkar cirkulationens respons vid en klimatförändring. Vi har utfört en serie experiment (med förenklad geometri) där vi fokuserar på hur stark cirkulationen blir om den drivande densitetskontrasten mellan ekvatorn och polerna ändras. Resultatet visas i Figur 2 och vi ser att en minskad densitetskontrast kan ge upphov till antingen minskad eller ökad cirkulation i havet beroende på hur blandningen i djuphavet fungerar. De flesta modellstudier idag bygger på ett scenario där blandningen är oförändrad i tiden vilket innebär att blandningen inte anpassar sig på ett korrekt vis till de nya förhållandena som råder i ett förändrat klimat. Vi har visat att en blandningsbeskrivning som anpassar sig till rådande densitetsförhållande har en signifikant annan känslighet för förändringar i klimatet. Vi vet att det har funnits perioder i jordens historia med 9 8 7 6 5 4 3 2 1 3 6 Longitude Figur 3 Vattenytans temperatur för a) en temperaturskillnad på C mellan ekvator och pol, b) en temperaturskillnad på 3 C mellan ekvator och pol. En starkare densitetsskillnad mellan ekvator och pol ger starkare drivning av havsströmmarna och det uppstår fler och starkare virvlar som kan vara viktiga för värmeflödet mot polerna. I experimentet har vi en smal landmassa ner till ca S, söder om S är det en cirkumpolär ström. Latitude 3 6 3 Oceancirkulationens styrka ( 6 m 3 /s) 18 16 14 12 8 6 4 2 Teori Experiment 25 15 5 1 2 3 4 5 6 7 8 Densitetskontrast ekvator-pol (kg/m 3 ) ett annat klimat t.ex. levde det krokodiler på Spetsbergen för ca 45 miljoner år sedan och det är angeläget att förstå dynamiken hos dessa perioder för att bättre kunna förstå och prediktera framtida klimat. Dagens datorkapacitet förmår inte på långt när att simulera den 3-dimensionella turbulensen. De dominerande horisontella virvlarna (havens motsvarighet till atmosfärens lågtryck) är ca - km stora och ligger inom ramen för relativt modesta datorer. Med vårt nya 48 processors PC-kluster sponsrad av Knut & Alice Wallenbergs Stiftelse och placerad på NSC för effektiv förvaltning kan vi lösa upp dessa virvlar och även genomföra integrationer som (förhoppningsvis) är tillräckligt långa för att erhålla ett stationärt tillstånd i havet. De körningar vi planerar kommer att ta många CPU-år styck och vi gör dessa körningar i den mån maskinen är tillgänglig (vi planerar att lägga ca -75% av kapaciteten på dessa körningarna det närmsta året). Ett första steg är att köra experimenten med virveltillåten upplösning (virvlar bildas naturligt i modellen men man beskriver dem inte helt korrekt) för att trimma modellen och modellparametrar, se Figur 3. Dessutom behövs så realistiska fält som möjligt inför körningar med högre upplösning. Olika parametriseringar av horisontell virvelturbulens ger olika känslighet mot densitetskontrasten mellan ekvator till pol liknande den beskriven i Figur 2. En direktsimulering av virvlarna bör ge kunskap om vilken virvelparametrisering som är mest plausibel och vilken känslighet som havscirkulationen har mot förändringar av klimatet. Adaptiv blandning Göran Broström, Geovetarcentrum, Göteborgs universitet Johan Nilsson Meteorologiska Institutionen, Stockholms universitet Konstant blandning Figur 2 Känsligheten av Golfströmmens styrka mot densitetsskillnaden mellan ekvator och pol. Notera hur känsligheten förändras med blandningsbeskrivningen. En försvagning av densitetskontrasten ekvator-pol kan således ge upphov till en starkare eller en svagare cirkulation beroende på hur vi beskriver blandningen. Dagen klimat motsvarar en densitetskontrast mellan ekvator-pol på ca 4 kg/m3. 4
LCSC-rapport Varför kan man åka skridskor? Hur bygger man säkrare bilar? Hur installerar man 48 PC-datorer på tre timmar? Det var stor spännvidd på problemen som avhandlades vid den tredje upplagan av LCSC-workshopen, Linux Clusters for Super Computing, som anordnades av NSC 23-25 oktober. Arrangemanget lockade 161 deltagare från universitet och näringsliv. Huvudtalaren, Thomas Sterling från Caltech, värmde upp redan kvällen före workshopen genom att hålla en föreläsning riktad till studenter. Föreläsningen som var ett samarbete mellan NSC och datorföreningen Lysator var välbesökt och mycket uppskattad, särskilt som Sterlings framställning var kryddad med rikliga mängder humor. I föreläsningen, med titeln The Race to Petaflops: Getting it Right, beskrev Sterling de hinder som dagens datorarkitekturer ställer i vägen för nästa stora utmaning på superdatorfältet, att konstruera en dator med petaflops-kapacitet, tre storleksordningar större än dagens snabbaste datorer. Sterling hävdar att det måste göras förändringar i datorernas grundläggande arkitektur för att prestandautvecklingen ska kunna fortsätta. Han förespråkar vad som kallas PIM, Processor In Memory, en arkitektur där man skapar smart minne genom att förse minneskretsarna med egna beräkningsenheter (ALU:er) som kan utföra många operationer direkt på minnesinnehållet, utan att behöva belasta systembussen och huvudprocessorn. Sterling återkom under workshopen med likaledes uppskattade föreläsningar där huvudtemat var olika aspekter på PIM och kluster och hur befintliga programmeringsmodeller som MPI kan användas i ett PIM-system. Två andra populära presentationer handlade om erfarenheter från klusterbyggen. Erik Elmroth från HPC2N vid Umeå universitet berättade om arbetet med att bygga Seth, Sveriges näst snabbaste dator. Seth är ett utpräglat gör-detsjälv-bygge; de rackmonterade klusternoderna byggdes ihop av komponenter på plats av personal från HPC2N. Det visade sig gå relativt snabbt att montera maskinerna, och felfrekvensen har varit låg. Noderna kopplades sedan ihop i ett snabbt SCI-nätverk (samma sorts nät som används i de snabbaste av NSC:s kluster). Ole Holm Nielsen från Danmarks Tekniske Universitet hade en markant annorlunda angreppsvinkel när han nyligen ledde arbetet med att bygga ett 48-noders kluster vid DTU. Han köpte färdiga standardmaskiner från Compaq som kom i en samlad leverans om 24 lastpallar med kartonger. Med hjälp av ett detaljplanerat arbetsflöde tog det bara tre timmar att packa upp, installera och koppla in de 48 datorerna. Noderna är vanliga kontorsdatorer i kompakt utförande, och är sammankopplade med vanligt Ethernet. Genom att ställa dem i lagerhyllor kunde han uppnå nästan samma packningstäthet som med långt dyrare rackmonterade datorer. En rad presentationer handlade om tillämpningar för kluster. Petter Sahlin från EASi Engineering GMBH talade om stokastisk simulering inom automotive/ aerospace-sektorn. Vid en traditionell simulering av exempelvis en bilkrasch väljs värden för olika inparametrar, som kollisionshastighet, kollisionsvinkel och godstjocklek hos olika komponenter, varefter simuleringen körs och man får ett utfall för just den specifika kombinationen av parametervärden. En brist vid det här tillvägagångssättet är att man inte får någon inblick i hur de olika parametrarna påverkade resultatet, eller vad man kan göra för att förbättra resultatet. Vid stokastisk simulering använder man i stället parametervärden med en slumpmässig spridning, vilket leder till ett moln av tänkbara utfall. Genom att analysera hur spridningen i parametrarna påverkar utfallet får man en indikation på hur viktiga olika parametrar är, och man kan till exempel se var man kan öka godstjockleken och få ökad krocksäkerhet, och var man kan minska godstjockleken utan inverkan på krocksäkerheten. Göran Broström från Göteborgs universitet presenterade sina erfarenheter av klusterbaserade simuleringar inom geofysisk flödesdynamik. De här simuleringarna har mycket gemensamt med andra flödesberäkningar, men också några särskiljande egenskaper; man hanterar flödeslager som är mycket tunna och turbulenta, och man rör sig mellan många storleksskalor, från att studera en hel ocean till att studera enskilda vågor vid en strand. Den stora turbulensen gör att man behöver simuleringar med mycket hög upplösning för att få en realistisk bild av exempelvis virvelbildningar i Golfströmmen, vilket betyder att minnesbandbredden i klustret är av stor vikt eftersom det blir stora mängder data som ska pumpas fram och tillbaka. Broström har med hjälp av NSC och Southpole AB konstruerat ett eget kluster, Otto, som är optimerat just för hög minnesbandbredd. LCSC bjöd på ytterligare en lång rad föreläsningar, som man kan läsa mer om på http://www.nsc.liu.se/lcsc/programme.html, där materialet till många av föreläsningarna finns för nerladdning. Hur kom då skridskoåkningen in i bilden? Jo, att det överhuvudtaget är möjligt att åka skridskor beror på en egenhet hos is; att den smälter under tryck. Shiwu Gao vid Chalmers har studerat det här fenomenet genom att med hjälp av NSC:s superdatorer simulera vattenmolekyler i isform instängda mellan två ytor av platina-atomer. Genom att variera det simulerade avståndet mellan platinaytorna, och därmed trycket i isen, kunde Gao följa förloppet när vattnet övergick till flytande form. Gao har också modellerat andra förlopp på olika ytor på atomnivå och därigenom givit oss ökade kunskaper om ytfysik. 5
Monolith - ett kluster att räkna med Monolith som är namnet på det senaste klustret på NSC innehåller 3 stycken datorer. I motsats till NSCs tidigare kluster hittar du knappast dessa datorer på något skrivbord. I varje dator sitter nämligen två Intel XEON-processorer (2.2 GHz), 2 GByte ECC DDR-minne samt en hårddisk på 8 GByte. Förutom de två Ethernet-kontakterna på moderkortet har ett SCI-baserat Wulfkit3-kort monterats för att hantera kommunikationen. Alltsammans är monterat i en nio centimeter hög (2U) rackmonterad låda. För att kyla komponenterna finns fem interna fläktar, en långt ifrån tyst lösning. datorer sitter monterade i tio stycken rack och är sammankopplade med 6 kablar i en tredimensionell torus via SCI-nätverket. Det finns två servrar för inloggning och kompilering. Globala funktioner såsom kösystem, resurshantering och lagring har vi separerat från inloggningsmaskinerna för att öka tillförlitligheten. Dessutom finns det även några extra datorer i reserv. För användare ser dock Monolith ut som NSCs tidigare kluster. Utvärdering och framtagning av prototyper har pågått under våren. Tillsammans med Advanced Computer Technology (ACT) i Linköping har vi tagit fram och utvärderat flera olika alternativ. Det som tagit mest tid har varit konkreta detaljer såsom monteringsmöjligheter i lämplig racklåda, kylning av processorerna och hantering av BI- OS-inställningar. De som följt utvecklingen på NSC vet att vi tidigare byggt kluster av datorer byggda i vanliga midtower -lådor placerade i IKEA-hyllan Ivar. För mindre kluster baserat på Ethernet är denna lösning fortfarande oslagbar i fråga om pris, montering och hantering. Men för ett kluster i den storlek och med den nätverkslösning som vi nu byggt är en rackbaserad lösning att föredra av följande anledningar: Utrymme. En rackbaserad lösning är kompaktare än hyllor. Vi hade fått stora problem att få plats med klustret i befintlig datorhall om vi valt en lösning med hyllor. Priset för rackmontering uppväger dock sällan priset för golvyta om inte utbyggnad krävs. Monteringsmöjligheter. av SCInätverkets 6 kablar är två meter långa eller mer. Dessa behöver fysiskt stöd för att avlasta kontakterna och garantera stabil drift. Detta är enklare att lösa i ett rack. Kylning och stabilitet. Den racklåda vi valt har en genomtänkt lösning vad gäller ventilation och luftflöde, en nog så viktig detalj när man placerar datorer tätt intill varandra. Parallellt med hårdvarudesignen har vi benchmarkat och utvärderat prestandan. Flera applikationer från användare har ingått i en intern benchmark-svit som använts för att jämföra olika lösningar. Att nå en god balans mellan beräkningsprestanda och bandbredd till minnet har varit mycket viktig. Om inte bandbredden mellan minne och processor är tillräcklig kvittar det hur snabb processor man installerar. Som alltid är detta starkt beroende av applikationen. De tre viktigaste faktorerna för prestanda i en distribuerat minnes-maskin är: Flyttalsprestanda Bandbredd till minnet Nätverksprestanda, bandbredd OCH fördröjning (latency). Dessa faktorer ska naturligtvis utvärderas med tanke på de applikationer man tänker använda. I Monolith är den teoretiska flyttalsprestandan 4.4 Gflop/s per processor. Som vanligt är teoretisk prestandan helt omöjlig att uppnå för en applikation. Istället är 5-% av denna prestandan vad man kan förvänta sig i en normal applikation (1). För att uppnå hög prestanda är det viktigt att man optimerar sin kod för processorn, utnyttjar minneshierarkin och använder de SSE2-instruktioner som är tillgängliga. Något som Intels kompilatorer är bra på. De enskilda datorerna har 2 Gbyte lokalt minne (DDR SDRAM) uppdelat i två minnesbankar. Vi får cirka 1.6 GByte/s i minnesbandbredd (uppmätt med STREAMS). Första och andra (512k) nivån cache är inbyggda i respektive XE- ON-processor. Nätverket kan leverera 271 MByte/s. Minst lika viktigt är att fördröjningen är mindre än fem mikrosekunder (uppmätt med ScaMPI) för små paket. Det behövs inga speciella operationer utöver vanlig MPI för att erhålla denna prestanda i en applikation. (1) Med Linpack på processorer har vi lyckats erhålla 96.4 GFlop/s som bäst. Det motsvarar 2.4 GFlop/s per processor, dvs. 54% av teoretiskt max. Kalendarium The 2nd IEEE International Symposium on Networking Computing and Applications 16-18 April 3, Royal Sonesta Hotel, Cambridge, MA, USA. http://www.cs.utk.edu/~mbeck/nca3/ Workshop on Communication Architecture for Clusters (CAC '3) 22-26 April 3, Nice Acropolis Convention Center, Nice, France. http://www.cis.ohio-state.edu/~panda/cac/ The 3rd International Conference on Computational Science 2-4 June 3 in two locations: Melbourne, Australia, AND St. Petersburg, Russian Federation. http://www.science.uva.nl/events/ic- CS3/ EURO-PAR 3 26-29 August 3, Klagenfurt, Austria. http://europar-itec.uni-klu.ac.at/ Euro PVM/MPI 3 29 September - 2 October 3 in Venice, Italy. http://www.dsi.unive.it/pvmmpi3/ Detta är ett axplock, det finns länkar till fler konferenser på vår hemsida. Nationellt superdatorcentrum Linköpings universitet, 581 83 Linköping tel 13-28 26 18 fax 13-28 25 35 e-post: nsc@nsc.liu.se www.nsc.liu.se LTAB, Linköping 2.448