NATIONELLT SUPERDATORCENTRUM VID LINKÖPINGS UNIVERSITET NR 13 APRIL 2003

Nytt från NATIONELLT SUPERDATORCENTRUM VID LINKÖPINGS UNIVERSITET NR 13 APRIL 2003 Full fart på Monolith Invigning av Maxwell Den senaste i raden av kluster i Monolith-klass, Maxwell, invigdes vid en ceremoni på Saab Aerospace i Linköping den 18 mars 2003. Invigningstalare var Billy Fredriksson, vice VD på Saab AB och en varm förespråkare av tekniska beräkningar som noga följt HPD-utvecklingen sedan Saab köpte sin första Cray-1 1983. Maxwell är sprungen ur teknikutvecklingen av Monolith och bildar tillsammans med Bris, SMHI resurs för väderprognoser se separat artikel, en rande nätverk från Scali samt ett Gigabit Ethernet. Systemet är dedicerat för Saab Aerospace och Saab Avionics med användare från olika teknikområden: signaturteknik, aerodynamik, framdrivning, struktur och termodynamik. Typiska applikationer ligger inom strömningsmekaniska och elektromagnetiska beräkningar för flygplansutveckling. I och med drifttagning av Maxwell har beräkningskapaciteten utökats väsentligt inom Saab och Maxwell är det grupp av kluster med mycket lika systemarkitektur. kraftfullaste datorsystemet inom Maxwell består av 40 noder med vardera 2 Xeonprocessorer på 2,4 GHz svensk industri. Att kapacitetsökningen är efterlängtad visar utnyttjandegraden som varit över 85 % sedan start. sammankopplade med ett högpreste- Sverige största kluster, Monolith, går nu för full fart. Äntligen har vi nu efter lång inkörningsperiod med stabilitetsproblem, fått ett gediget kluster med en tillgänglighet som är i paritet med övriga system som NSC byggt och underhåller. Det är delar av det högpresterande SCI-nätverket som fortfarande kan uppträda lite oväntat emellanåt men vi övervakar det noggrant och arbetar för att det ska fungerar smidigt för alla våra användare, säger Lennart Karlsson, ansvarig för driften på Monolith. Vi har haft mycket god hjälp av våra användare att avlusa systemet under inkörningsperioden, fortsätter Lennart. Utan krävande applikationer och hjälpsamma användare kan vi inte hitta och åtgärda felen. Monolith har under senaste månaden haft en beläggning som överstigit 90%. Vi har 48 projekt som idag är aktiva på systemet och i genomsnitt passerar 594 jobb genom systemet varje dag. Vi arbetar vidare med att förbättra användaromgivningen, installera fler programvarupaket och hjälpa användare med att förbättra prestandan på sina koder. Monolith används dels av akademiska användare i Sverige som kan söka beräkningstid på systemet genom SNAC (Swedish National Allocations Committee) och dels av SMHI:s Rossby Centre som forskar på regional klimatmodellering. Dessutom är Monolith ansluten till NorduGrid (Nordic Testbed for Wide Area Computing and Data Handling) för dem som vill utnyttja ett GRID-interface för sina jobb. 1

NSC bygger vidare Det händer mycket i HPD-Sverige. Vid NSC fortsätter vi att bygga ut datorkraft för alla våra användare i snabb takt. Samtidigt arbetar SNIC, det svenska metacentret, med ytterligare utbyggnad av tillgänglig datorkraft, för närvarande i form av det svenska gridinitiativet SweGRID. SweGRID är det hittills största enskilda projektet inom svensk HPD som har sin början i en av Knut och Alice Wallenberg Stiftelsen beviljad ansökan från professor Tord Ekelöf, elementarpartikelfysiker från Uppsala universitet. NSC deltar med full kraft i projektet som drivs av SNIC genom Niclas Andersson som leder den tekniska utvecklingsgruppen. SweGRID skall fungera Matts Karlsson Föreståndare NSC som en testbädd inför LHC Computing Grid (LCG) och en första fas ska köras under hösten 2003. SweGRID kommer som ett välkommet tillskott att ställas till förfogande via SNAC. NSC har under den senaste tiden fortsatt sin expansion och nu är alla system av Monolith-klass i full drift. Monolith med 400 CPUer är nu uppe i full drift med en utnyttjandegrad över 90 % sedan senaste servicestoppet. Monolith som används av akademiska användare från hela landet samt forskare vid SMHI:s Rossby Centre är ett mycket välkommet tillskott till svensk HPC. Till samma familj hör Bris och Maxwell. Bris, med 36 CPUer, är placerad på SMHI och används för att göra de dagliga väderprognoserna. I artikeln nedan kan du läsa mer om den dagliga verksamheten vad gäller framtagning av väderprognoser, en verksamhet som ställer mycket höga krav på tillförlitlighet och tillgänglighet på datorsystemet. I dagarna har Saab AB invigt Maxwell med 80 CPUer. Redan under den första veckans drift var beläggningen över 90 % vilket verkligen visar på ett stort behov. I detta nummer av NSC:s nyhetsbrev berättar vi om invigningen. NSC har inte bara fått fler datorer, personalstyrkan har också ökats på genom att Patrick Norman har börjat arbeta hos oss som applikationsexpert huvudsakligen inom beräkningskemi här intill presenterar Patrick sig och sin verksamhet. Vi hälsar Patrick välkommen till NSC. Prognoser för väder och havscirkulation Det sägs att alla talar om vädret men att ingen gör något åt det. Med hjälp av bl. a. NSC:s beräkningskluster Bris försöker vi på SMHI i alla fall förutsäga vädret, vilket inte alltid är så lätt. För att prognoserna ska stämma måste allt stämma. Modellerna ska vara realistiska, utgångsläget ska vara känt och väl beskrivet och vi ska också ha hyggliga kunskaper om vad som händer på gränsen till vårt beräkningsområde. Prognosberäkningar genomförs 4 gånger per dygn och gäller 2 dygn framåt i tiden. HIRLAM en prognosmodell för väder Den prognosmodell som SMHI använder heter HIRLAM (High Resolution Limited Area Model). Modellen är utvecklad inom ett internationellt samarbete mellan framför allt de mindre länderna i Europa. I dag inkluderar det Norge, Danmark, Finland, Holland, Island, Irland, Spanien och Sverige. Dessutom är Frankrike associerad medlem. Modellen består av ett antal olika delar som visserligen samverkar men ändå beskriver olika processer i atmosfären. Det kan vara viktigt att veta att modellen beskriver atmosfären genom att den delas in i ett stort antal boxar där varje box karaktäriseras av sina värden på fysikaliska parametrar som temperatur, lufttryck, vind och fuktighet. Beräkningarna görs för 2 olika områden. Dels ett yttre område med 44 km horisontell upplösning som täcker norra Atlanten och större delen av Europa, dels ett inre område över norra Europa med 22 km upplösning. En viktig process är atmosfärens samverkan med underlaget, d.v.s. mark och hav. Detta behandlas i ett s.k. markschema som bl.a. beräknar flöden av värme, fuktighet och momentum till atmosfären men också kan utnyttjas för beräkning av intressanta markvariabler som temperaturen och luftfuktighet på 2 meters höjd över marken. För att detta skall kunna göras, behöver vi känna markens egenskaper och varje beräkningspunkt har därför delats in i andel hav, is, vegetationsfri barmark, låg vegetation och skog. För alla dessa marktyper sker separata beräkningar. En viktig parameter är därvid markfuktigheten som det tyvärr saknas observationer av. I en tidigare version av 2

modellen var markfuktigheten för hög vilket ledde till att instrålningen från solen gick åt till avdunstning snarare än att höja temperaturen. Numera uppskattas markfuktigheten indirekt från observerad temperatur och luftfuktighet. Markschemat är alltså en viktig del av modellen. Andra delar är strålningsschemat som beskriver hur strålningsförhållanden ser ut, kondensationsschemat som hanterar hur moln- och nederbördsområden bildas samt konvektionsschemat som tar hand om hur regn- och åskskurar och dess moln bildas och upplöses. I kondensationsschemat beräknas mängden moln, molnvatten, moln-is samt regn eller snö. Viktiga faktorer vid beräkningen är luftfuktighet, tidigare mängd molnvatten och temperatur. Är fuktigheten större än ett visst värde, antas en del av gridboxen ha minst 100 % relativ fuktighet och denna del antas innehålla moln. Antagandet bygger på att det finns en viss s.k. subgridskalig variation av fuktigheten. Ju närmare 100 % fuktighet det är i gridboxen, desto större andel moln antas det finnas. Om det finns moln antas en viss del av fuktigheten övergå i molnvatten eller moln-is. Finns det molnvatten eller moln-is beräknas ett värde på nederbördsintensiteten. Här tas hänsyn till sådana effekter som sammanslagning av molndroppar till regndroppar och att regndroppar som faller kolliderar med andra molndroppar. Motsvarande görs även för ispartiklar och snö. Hänsyn tas dessutom till att nederbörd avdunstar på vägen till marken om det är torr luft, och att snön smälter vid temperatur över noll. Konvektionsschemat har till uppgift att beskriva den termodynamiska effekten av konvektiva processer som är så små att den vertikala och horisontella upplösningen i modellen inte räcker till för en direkt beskrivning. Istället används en s.k. parameterisering. Här räknar man med att konvektionscellerna skapar tre subgridskaliga vertikala massflöden. För det första, en uppåtgående luftström i konvektionscellen, som på sätt och vis fungerar som motor i konvektionssystemet. För det andra, en nedåtgående luftström i anslutning till nederbörd i cellen. Den kallas ofta för fallvind och kan vid sällsynta tillfällen bli kraftiga och vålla förödelse. För det tredje, bildas en långsam nedåtgående luftström mellan konvektionscellerna. För dessa tre luftströmmar görs en flödesbudget med hjälp av en iterativ beräkningsmetod. Konvektion med stor vertikal utsträckning antas pågå till dess att 90 % av den latenta energi som finns tillgänglig för konvektion är förbrukad. För konvektion med liten vertikal utsträckning används ett gränsvärde på den turbulenta kinetiska energin istället. Slutresultatet blir ett värde på mängden molnkondensat och konvektiv nederbörd som konvektionen skapar. Molnkondensatet används sedan i kondensationsschemat för att se om konvektionen även ger upphov till annan typ av nederbörd. Den vertikala omblandningen, den s.k. vertikaldiffusionen, har stor betydelse för markytans friktionsinflytande på luftens strömning och t.ex. hur snabbt lågtryck fylls ut. Den beräknas med hjälp av en ekvation för den turbulenta kinetiska energin. Ju mer turbulent energi desto kraftigare blir omblandningen. Den kan sägas fungera som en broms för vädersystemen. På senare tid har sambandet mellan tjockleken på ozonskiktet i stratosfären och den ultravioletta strålning som når jorden uppmärksammats. För en prognosmodell har detta också en viss betydelse genom den uppvärmningen av stratosfären som absorptionen orsakar. Viktigare för modellen är naturligtvis att effekten av värmestrålning och vanligt synligt ljus från solen hanteras realistiskt. Att detta görs rätt är av fundamental betydelse för klimatmodeller, men är även viktigt vid korta prognoser. I HIRLAM används ett schema där solhöjd, molnmängd, molnens innehåll av molnvatten och moln-is samt luftfuktighet är viktiga parametrar. Dynamiken bygger på grundläggande mekaniska och termodynamiska lagar. För varje gridbox beräknas alla krafter som påverkar luftvolymen. Det är tyngdkraften samt tryckkraften vertikalt och horisontellt (t.ex. mellan hög- och lågtryck) som driver förändringar i luftens strömning. Dessa balanseras av tröghetskrafter, dels centrifugalkraft runt t.ex. ett lågtryck, dels en tröghetskraft p.g.a. jordens rotation. Eftersom massan gånger accelerationen är lika med summan av krafterna, kan man beräkna accelerationen på varje gridbox (av luft). Beräkningar görs för ganska korta tidssteg, 5 10 minuter, och med hjälp av tidsförändringen av vindhastigheterna kan nya hastigheter i slutet av tidssteget bestämmas. Luftens inre energi bevaras till större delen under strömningen, om man följer med strömningen, under varje tidssteg. Det kan dock innebära temperaturförändringar lokalt vid varje gridbox eftersom kallare eller varmare luft strömmar in någon annanstans ifrån. Vid strömningar upp eller ner förändras också temperaturen p.g.a. expansion eller kompression. Om fuktigheten överstiger mättnadsvärdet så sker kondensation och frysning och moln bildas och eventuellt nederbörd. Luftens hastigheter, temperatur, tryck och fuktighet beräknas för varje tidssteg för varje gridbox med en uppsättning ekvationer som löses numeriskt. Man stegar sig fram från tidsteg till tidsteg och hela tiden sker utbyten mellan intill liggande gridboxar. Innan en prognosberäkning kan genomföras måste ett initialfält tas fram. Detta fält ska så bra som möjligt beskriva hur atmosfären ser ut vid en viss tidpunkt. Olika observationer av meteorologiska parametrar; lufttryck, temperatur, vind, luftfuktighet, görs runt om jordklotet och samlas in av prognosinstituten. Dessa observationer är dock oregelbundet fördelade i både rum och tid samt till antalet mindre än antalet värden som måste be- 3

stämmas i modelltillståndet. Figurerna visar de observationer som användes för kartläggningen av vädret den 11 februari klockan 00 UTC. Överst till vänster s.k. radiosonder, dvs. ballonger som släpps upp och som observerar temperatur, fuktighet och vind på olika nivåer. Dessa observationer är bland de viktigaste för en bra prognos. Överst till höger rapporter från flygplan. Nere till vänster vanliga markobservationer och nere till höger rapporter från främst bojar. För en regional prognosmodell är antalet observerade värden i storleksordningen 10 5 medan antalet värden som måste bestämmas i modellen av storleksordningen 10 7. Detta problem, dvs. att hitta det modelltillstånd som så bra som möjligt överensstämmer med observationerna och därmed representerar atmosfärens verkliga tillstånd vid en viss tidpunkt, brukar benämnas meteorologisk dataassimilation. Eftersom problemet är underbestämt behövs någon form av förhandsinformation om initialtillståndet, a priori, vilket vanligtvis brukar utgöras av ett prognostiserat fält gällande vid den aktuella tidpunkten. Detta utgör den första gissning som man sedan iterativt modifierar. Alla indata innehåller dessutom fel och osäkerheter vilkas statistiska egenskaper måste tas med i iterationsförfarandet. En mätning av t.ex. temperatur har en viss mätnoggrannhet, och en statistisk avvikelse ifrån a priori-informationen. På samma sätt måste man också ha a priori-informationen om statistiska felstrukturer, d.v.s. de statistiska felen i en prognos. Man använder statistiska rumskorrelationer tillsammans med de antagna noggrannheterna för att dels filtrera informationen från det ofta heterogena observationsmaterialet, dels interpolera det filtrerade resultatet till de jämnt fördelade gridboxarna. HIROMB en prognosmodell för havscirkulation HIROMB är en havscirkulationsmodell (High Resolution Operational Model of the Baltic Sea) som ger 48 timmars prognoser av vattenstånd, strömmar, salt, temperatur och is. Modellen täcker Nordsjön med en horisontell upplösning på 12 nautiska mil samt Skagerak, Kattegatt och Östersjön i upplösningarna 12, 3 och 1 nautisk mil. Den körs både på NSC:s SGI3800 och på Linuxklustret Bris där en av maskinerna agerar backup till den andra. Prognoserna används dagligen inom SMHI:s marina prognostjänst för att meddela vattenstånd i diverse hamnar samt vid kärnkraftverk runt Sveriges kust. Dessutom används strömprognoserna för fartygstrafiken i våra vatten. Vid en eventuell oljekatastrof eller förlisning används HIROMB för att ge input till en oljespridningsmodell där man kan beräkna åt vilket håll ett läckage rör sig och var man kan förvänta sig att de största arbetsinsatserna bäst ska sätts in. I vertikalen är modellen uppdelad i fixa nivåer. Dessa är 4 meter tjocka i det välmixade övre lagret och ökar sedan neråt till max 16 meter. Modellen bygger på Navier-Stokesekvationerna och drivs av vindar, lufttryck, temperatur, specifik fuktighet och molnighet från SMHI:s atmosfärscirkulationsmodell HIRLAM samt av färskvattentillflöden från floderna i området. Vid den yttre randen i Nordsjön används en enkel vattenståndsmodell samt klimatologiska salt och temperaturvärden. Lars Häggmark, SMHI 4

Kvantkemi vid NSC Patrick Norman Att ett center som erbjuder högpresterande datorkraft också lockar till sig kvantkemister är knappast någon nyhet. Kvantkemistens törst efter nya klockcykler låter sig aldrig stillas och denne lyckas ständigt slå huvudet i prestandataket, även på de mest imponerande av maskiner. Som motvikt har NSC verkat för att leverera hårdvara av internationell toppklass och ännu ett kliv i den riktningen togs i och med införskaffandet av det nya stora klustret som lanseras under namnet Monolith. Kvantkemister runtom i landet hälsar detta nytillskott med glädje och kommer säkerligen att kunna flytta fram gränslinjen för sina tillämpningar ytterligare ett snäpp inom den närmaste framtiden. Det är med målsättning att knyta kompetens inom kvantkemi direkt till NSC som vi båda inlett ett förhållande och det är alltså i egenskap av kvantkemist som jag kommer att verka vid NSC, parallellt med mitt arbete vid institutionen för fysik och mätteknik (IFM) vid Linköpings universitet. Vad finns att vinna med en sådan åtgärd? Näppeligen fler klockcykler, det står omedelbart klart. Men låt oss återkomma till denna fråga efter närmare titt på mina tidigare erfarenheter. Jag genomgick en forskarutbildning i gruppen för Beräkningsfysik vid IFM med en avslutande disputation 1998. Arbetet i avhandlingen domineras av en utveckling av icke-linjär molekylär responsteori med tillämpningar inom icke-linjär spektroskopi och optik. Frukten av arbetet ligger lagrat som kod i kvantkemiprogrammet Dalton 1 ) och är därmed tillgängligt för användare under de allmänna villkor som gäller för programmet. Efter examen tilldelades jag ett postdoktoralt stipendium av STINT och tillbringade ett år vid Syddansk Universitet i Odense, Danmark för att inhämta kunskaper om molekylära egenskapsberäkningar i en relativistisk 4-komponents formalism. Åter igen fokuserades arbetet på att utveckla icke-linjär responsteori, men denna gång med implementering i programmet Dirac 2 ). Dessa två kvantkemiprogram Dalton och Dirac och det internationella nätverk som författarskaran innefattar har utgjort basen för mitt fortsatta forskningsarbete vid IFM i Linköping. Andra erfarenheter har tillkommit i form av att som inbjuden gästforskare verka vid University of Ottawa under två kortare perioder 1999 och 2001 (ytterligare en resa är planerad till sommaren 2003). Jag har också haft tillfället att ingå i en forskningsgrupp som inom ramen för försvarets fotonikprogram haft till uppgift att realisera ett sensorskydd mot laser. Detta samarbete har löpt under 1998-2003 och inneburit en stimulerande och direkt kontakt med grupper inom syntes och materialkarakterisering samt resulterat i ett flertal examensarbeten vid LiTH. Det är vår förhoppning att samarbetet skall fortsätta inom försvarets planerade nanoprogram och också innefatta ett doktorandtillskott. Vårt arbete att framställa laserskyddande material har till stor del involverat metallorganiska föreningar för vilka teorisidans roll varit att simulera tämligen exotiska icke-linjära optiska egenskaper. Tillgång till resurser vid de nationella datoranläggningarna och då NSC i synnerhet har varit av avgörande betydelse för att lyckas med detta uppdrag. Personligen hoppas jag att min tillknytning till NSC skall medföra ytterligare fördelar bl.a. i form av närhet till den expertis som finns där. Från NSC:s perspektiv, å andra sidan, medför mitt engagemang att man knyter till sig en forskningsaktiv representant för den vetenskapliga gren som tillhör de allra största användarna av resurser. Det är naturligtvis vår förhoppning att denna nytillkomna resurs vid NSC skall komma Er användare till nytta och det är vår målsättning att erbjuda både ett utbud av programvara som motsvarar Era behov samt vetenskapligt stöd för detta. 1 )http://www.kjemi.uio.no/software/da lton/dalton.html 2 ) http://dirac.chem.sdu.dk/ 5

Kvantkemiprogramvara på Monolith Vi har nöjet att meddela att vi erbjuder våra användare på Monolith tillgång till programmen Gaussian 98 och Dalton 1.2, men hoppas kunna utöka detta utbud i framtiden. Vi har mottagit en del önskemål angående detta, så om Ni har goda skäl att vilja utöka vårt utbud med ytterligare programvara är Ni välkomna att höra av Er till oss. Besök gärna vår hemsida http://www.nsc.liu.se/software/chemistry/ för mer information. Maxwell - ett kluster för Saab Aerospace och Saab Avionics Antal jobb-cpuer (totalt): 80 (82) Antal CPUer per nod: 2 Operativsystem: Red Hat Linux 7.3 Kösystem/schemaläggare: OpenPBS/Maui Nätverk för MPI-applikationer: MPI-bandbredd (nod->nod): MPI-latency (nod->nod): CPU-typ (L2 cache): CPU-klockhastighet: Topprestanda(*)/CPU (totalt**): Linpack prestanda: Mängd minne/nod (totalt**): Minnestyp: Minnesbandbredd/nod (peak): Centralt diskutrymme: Distribuerat diskutrymme: SCI 2D ~250 MB/s ~4.5 us Intel Xeon (512 KB) 2.4 GHz 4.8 Gflop (384 Gflop) 207 Gflop 2 GB (80 GB) 2x DDR SDRAM 3.2 GB/s 1 TB ~3 TB (*) Antal IEEE-dubbelprecisionsoperationer teoretiskt möjliga per sekund (**) Totalt på alla jobbnoder Kalendarium Coarse Grained Parallel Algorithms For Scientific Applications Technical Session at The 2003 International Conference on Computational Science and its Applications (ICCSA 2003) 18-21 May 2003, Montreal, Canada. Conference: http://www.ucalgary.ca/iccsa/events.htm Session: http://iccsa.dehne.net/ The 3rd International Conference on Computational Science 2-4 June 2003 in two locations: Melbourne, Australia, AND St. Petersburg, Russian Federation.. http://www.science.uva.nl/events/ic- CS2003/ Terascale Performance Analysis Workshop 2-4 June 2003, Melbourne, Australia. http://www-pablo.cs.uiuc.edu/workshops/terascale.html Problem Solving Environments and the Information Society: Advanced Environments and Tools for High Performance Computing 14-19 June 2003, Albufeira (Algarve), Portugal. http://www.esf.org/esf_euresco_conference.php?language=0&domain=1&co nference=139&meeting=3 The Fourth LCI International Conference on Linux Clusters: The HPC Revolution 2003 17-20 June 2003, Las Vegas, Nevada, USA. http://www.linuxclustersinstitute.org/linux-hpc-revolution/ The Twelfth IEEE International Symposium on High-Performance Distributed Computing 22-24 June 2003, Seattle, Washington, USA. http://www-csag.ucsd.edu/hpdc-12/ The conference will be followed by the 8th Global Grid Forum, details not yet available. http://www-csag.ucsd.edu/hpdc- 12/ggf8.html The 2003 International Multiconference in Computer Science and Computer Engineering 23-26 June 2003, Monte Carlo Resort, Las Vegas, Nevada, USA. http://www.ashland.edu/~iajwa/conferences/ ICS '03, 17th Annual ACM International Conference on Supercomputing 23-26 June 2003, San Francisco Bay Area, USA. http://www.csit.fsu.edu/ics03/ EURO-PAR 2003 26-29 August 2003, Klagenfurt, Austria. http://europar-itec.uni-klu.ac.at/ Nationellt superdatorcentrum, Linköpings universitet, 581 83 Linköping Tel: 013-28 26 18, Fax: 013-28 25 35, E-post: nsc@nsc.liu.se www.nsc.liu.se LTAB, Linköping 2003.448