Nytt från NATIONELLT SUPERDATORCENTRUM VID LINKÖPINGS UNIVERSITET NR 15 SEPTEMBER 2003 NATIONELLT SUPERDATORCENTRUM LINKÖPING 22-24 OKTOBER 2003 William J. Camp Sandia Bob Jones CERN Sverre Jarp CERN Peter J. Braam Cluster File Systems, Inc. Jes Sorensen Wild Open Source, Inc. Oxana Smirnova Lunds universitet Stephan Hundertmark Stockholms universitet Nils Gustafsson SMHI Niclas Andersson NSC Seminarier - Kurser - Utställning Tekniska presentationer Information och anmälan: www.nsc.liu.se/lcsc NATIONELLT SUPERDATOR- CENTRUM SweGrid De första delarna i SweGrid håller just nu på att monteras samman. HPC2N i Umeå är först ut som i dagarna får SweGrid-kluster nummer ett levererat. De följande fem klustren kommer placeras ut på UPPMAX i Uppsala, PDC i Stockholm, UNICC i Göteborg, Lunarc i Lund och NSC i Linköping. Ett SweGridkluster består för närvarande av etthundra beräkningsservrar, var och en innehållandes en 2.8 GHz Intel P4 processor, 2 Gigabyte minne med ECC och en hårddisk på 80 Gigabyte. Beräkningsservrarna är internt sammankopplade med ett Gigabit Ethernet-nätverk och är via en Gigabit-förbindelse anslutet direkt till SUNET. För snabb, temporär lagring är dessutom en lagringsserver med 2 Terabyte FibreChannel-baserad RAID planerad. SweGrid är dimensionerat för hög kapacitet inte kapabilitet. Dvs. det är avsett för trivialt parallella eller mindre, löst kopplade, problem, parameterstudier, Monte-Carlo-simuleringar, o.dyl. Dessa problem bildar en klass av applikationer som sträcker sig över många olika tillämpningsområden och som nu får en dedicerad, nationellt distribuerad beräkningsresurs. NorduGrid kommer initialt installeras på alla kluster för att därigenom möjliggöra ett transparent utnyttjande av SweGrid. För att kunna anpassa, utveckla och felsöka applikationer kommer viss lokal direktaccess vara möjlig. SweGrid finansieras av Knut och Alice Wallenbergs stiftelse. SweGrid levereras av SouthPole AB. För mer information se SweGrid - www.swegrid.se
NSC bygger till Det händer mycket på NSC för närvarade. Detta nummer av nyhetsbrevet ägnas åt verksamheten inom CFD (Computational Fluid Dynamics) vid NSC, en verksamhet som under en lång tid utgjort en av centrets hörnstenar och idag utvecklas allt mer. Vi ser med tillförsikt på framtiden där denna verksamhet säkert kommer att växa ytterligare och innefatta alltfler vetenskapsområden och tillämpningar. Matts Karlsson Föreståndare NSC För att stärka banden mellan NSCs partners genomförde vi den 23 september en Partnerdag med presentationer om pågående verksamhet hos SAAB, SMHI och vid NSC och LiU. Huvudtalare var Per Lötstedt från Uppsala universitet som talade om olika tillämpningar av särskilt intresse för partnerdeltagarna under titeln: Beräkningsmetoder för storskaliga problem inom elektromagnetism, strömningsmekanik och molekylärbiologi. I skrivande stund pågår verksamheten febrilt med bygget av den nya datorhallen. Under hösten är det tänkt att den skall stå klar och kommer då att inrymma huvuddelen av NSCs datorer. Hallen som ligger i nära anslutning till NSCs lokaler anpassas för närvarande för att passa NSCs speciella behov. Ett sådant behov är SweGrid som snart kommer att vara klart för invigning och användning. I dagarna har ett kontrakt skrivits och 600 CPUer har beställts och 100 av dessa kommer om några månader att hamna i den nya datorhallen. Partnerdag på NSC NSC anordnade den 23 september ett seminarium med deltagare från NSC, Saab och SMHI. Syftet med partnerdagen var att ge möjlighet till erfarenhetsutbyte mellan NSC, Saab och SMHI inom ramen för högpresterande datorer och dess tillämpningar. Ett trettiotal deltagare fick lyssna till föredrag från Saab och SMHI om hur NSCs datorer utnyttjas i den dagliga verksamheten inom bland annat flygplansutveckling, väderprognoser och klimatsimuleringar. Per Lötstedt från Uppsala Universitet höll ett uppskattat föredrag om utveckling av effektiva numeriska algoritmer för vetenskapliga beräkningar med anknytning till verksamheten på både Saab och SMHI. NSC bidrog med presentationer om den tekniska utvecklingen och internationella trender inom området högpresterande dator och då speciellt klusterteknik och processorutveckling. Dagen avslutades med en förevisning av Sveriges kraftfullaste dator Monolith. 2
Kraftfulla datorer ett viktigt verktyg vid flygplansutveckling Hur ska man kunna veta att flygplan verkligen kan flyga innan man har byggt dem? Jo, med dagens simuleringsteknik och kraftfulla datorer kan man med god noggrannhet prediktera vilka egenskaper ett flygplan kommer att ha och även utvärdera egenskaperna i simulatorer innan man tillverkat en enda detalj till det. Saab har sedan länge ett samarbete med NSC om högpresterande datorkapacitet som används inom olika teknikdiscipliner, främst aerodynamik, radarsignatur och strukturteknik. Tillgång till högpresterande datorer blir allt väsentligare vid utveckling av nya flygande farkoster. De flygande farkoster man idag studerar inom Saab är främst olika typer av obemannade farkoster, så kallade UAV:er. Beteckningen UAV står för Unmanned Aerial Vehicle och de ska ses som ett kostnadseffektivt komplement till dagens bemannade flygplan för uppdrag med hög risk eller situationer där en pilots närvaro i flygplanet är onödig. Ett av Saabs forskningsprogram inom UAV-området går under benämningen SHARC (Swedish Highly Advanced Research Configuration) där man studerat bl a lågsignaturegenskaper och autonom flygning. I figur 1 syns ett förslag på en sådan konfiguration. Att ta fram en acceptabel utformning av farkosten innebär att kompro- Figur 1: Obemannad farkost avsedd för studier av lågsignaturegenskaper. missa mellan olika teknikdiscipliner. Det analyser med avancerade aerodynamiska beräkningsmetoder. Metoderna blir extra tydligt i fallet med en signaturanpassad UAV då hårda krav på låg radarsignatur ofta leder till ett okonven- står för Computational Fluid Dynamics samlas under benämningen CFD som tionellt utseende som inte är önskvärt och innebär att numeriskt prediktera sett ur en aerodynamikers synvinkel. hur luften strömmar runt en konfiguration. De ekvationer som beskriver luf- Det gäller således att redan tidigt i designarbetet prediktera det aerodynamiska beteendet för att säkerställa att vationer och består av 5 tidsberoende tens beteende kallas Navier-Stokes ek- farkosten får godtagbara aerodynamiska egenskaper. Det handlar bland annat ett samband mellan hastigheten, densi- partiella differentialekvationer som ger om att kunna ta ut tillräckligt med lyftkraft och rotationsmoment vid start och är emellertid orealistiskt kostsamt beteten och trycket i strömningsfältet. Det landning, hålla nere det aerodynamiska räkningstekniskt att använda ekvationerna rakt av för alla praktiska fall och motståndet för att möta krav på toppfart och bränsleeffektivitet och att inte man måste göra förenklingar. I den äventyra farkostens kontrollerbarhet vid enklaste varianten bortser man från viskositeten i luften. Man erhåller då de manövrar. s.k. Eulers ekvationer som är ett kostnadseffektivt alternativ med bra Sedan ett par år utförs de flesta tillför- 3
iterativt till dess att felet i någon mening är mycket litet. Denna iterativa process kräver mycket datorkapacitet. En viskös beräkning behöver ca 800 CPUh på en modern PC och en inviskös beräkning ca 20 CPUh. För att få ner genomloppstiderna används parallelldatorer, främst ett 80-processors Linuxkluster som installerades av NSC under våren 2003. Edge-koden lämpar sig väl för exekvering på parallelldatorer och oftast används mellan 10-30 processorer med hög effektivitet. Figur 2: Genomskärning av ett ostrukturerat beräkningsnät. litlighet för enklare strömningsfall. Dessa används oftast i tidiga projektskeden att kunna lösa upp gränsskiktet nog- prismatiska lager närmast fasta ytor för för att hålla nere genomloppstiderna på grant (hybridnät) och antalet beräkningspunkter i nätet ökar till 4-8 miljo- simuleringarna. Behöver man öka konfidensen i simuleringen och modellera ner. Gränsskiktet är det tunna skikt närmast en fast yta i vilken strömningshas- även de viskösa effekterna brukar man använda de medelvärdesbildade Navier- tigheten går mot noll pga. friktionen. I Stokes-ekvationerna tillsammans med figur 2 visas ett snitt genom en beräkningsmodell inom SHARC-studien för en turbulensmodell för att fånga effekten av turbulens i gränsskiktet. Turbulent strömning är något man har i de diskretiserad med trianglar och i rym- inviskös strömning. Farkostens yta är flesta realistiska fall och det innebär att den syns sidoytorna av tetraedrarna. flödesvariablerna i varje punkt fluktuerar runt ett medelvärde, vilket är orealisten och då speciellt vid vingarna och fe- Upplösningen är finast närmast farkostiskt att lösa upp i rums- och tidsdimensionen. Kostnaden i beräkningsarbete väntar sig gradienter i strömningsfältet norna. Det är i dessa områden man för- är betydligt större för viskös strömning som behöver noggrann upplösning. jämfört med inviskös genom att de viskösa ekvationerna kräver fler operationer per beräkningspunkt samt att an- använder vi strömningslösaren Edge För att beräkna strömningsfältet talet punkter i beräkningsnätet ökar. som utvecklas av FOI/FFA. Det är en explicit nodcentrerad lösare baserad på fi- På Saab använder vi oss idag nästan uteslutande av ostrukturerade nät. För nit volymsteknik. Till varje nodpunkt i de inviskösa beräkningarna använder vi beräkningsnätet associeras värden på beräkningsnät baserade på tetraedrar i hastighetskomponenterna, densiteten rymden och trianglar på ytan med typisk storlek på 1-2 miljoner beräknings- turbulensvariabler. Värdena på variab- och trycket samt i förekommande fall punkter. För viskösa fall för vi in ett antal lerna i varje punkt uppdateras sedan När strömningsberäkningen är genomförd återstår arbetet med att analysera och visualisera strömningsfältet. Det man oftast börjar med är att integrera fram krafter och moment som verkar på farkosten. I figur 3 är ytan på farkosten färgad efter det lokala trycket. Blå färg indikerar lågt tryck och röd färg högt tryck. Krafterna och momenten används dels för att utvärdera farkosten aerodynamiskt: får vi den lyftkraft och som vi förväntar oss, är farkosten manövrerbar etc. och dels för att utgöra underlag för flygmekaniska simuleringar och vid utveckling av styrsystem. Man studerar även lokala laster på t ex roder och fena för att få rätt dimensionering på strukturdetaljer och infästningar. För att förstå de bakomliggande strömningstekniska orsakerna till krafterna och momenten som verkar på farkosten detaljstuderar man strömningsfältet. I figur 3 illustreras virvlarna i strömningsfältet genom smala band som färgkodats med lokalt tryck. Virvlarna i detta exempel genereras av kroppens vassa kanter samt från vingens tipp. Man studerar bland annat var virvlarna ligger och hur de förflyttas vid manövrar. Blir virvlarna över kroppen för kraftiga kan de ge stabilitetsproblem hos farkosten och träffar virvlarna fenorna kan manöverförmågan påverkas. Ytterligare fenomen som studeras är 4
Figur 3: Visualisering av strömningsfält omkring en UAV-konfiguration. Strömlinjerna illustrerar virvlar längs kroppssidorna samt vid vingtippen. Farkostytan och strömlinjer är färglagda efter lokalt tryck där blått indikerar lågt tryck och rött högt tryck om det finns separerad strömning på vingen. Med separerad strömning menas att strömlinjerna viker av från ytan istället för att följa den och det medför bl. a förlorad lyftkraft och ökat motstånd. Detta är något som oftast inträffar vid höga anfallsvinklar och man vill prediktera när det inträffar och hur förloppet går till för att få ett så kontrollerat förlopp som möjligt. Analyserna och förståelsen av strömningsfysiken ger sedan underlag för designförbättringar i form av nytt geometriunderlag. Att formge en farkost för att uppfylla en mängd designkriterier är svårt. Kriterierna är ofta motstridiga och kan vara av så skiftande slag som svängprestanda, topphastighet, radarsignatur, balklägen, bränslemängder, produktionsteknik etc. Att hitta en optimal kombination kräver ett tålmodigt justerande av utformningen och omfattande beräkningar, analyser och tester. Kapacitetsutvecklingen hos datorer har nu börjat göra det möjligt att använda optimeringsalgoritmer för att effektivisera arbetet. Saab har under de senaste åren arbetat med aerodynamisk formoptimering där man genom beräkningsalgoritmer försöker att hitta en geometri som är optimal under givna bivillkor. Målfunktionen är oftast aerodynamiskt motstånd vilken man försöker minimera under bivillkor på oförändrad lyftkraft, tippmoment, vingbalkhöjder etc. Med en fortsatt stark kapacitetsutveckling hos datorerna är målet att börja optimera utformningen hos en farkost med en målfunktion sammansatt från flera olika teknikdiscipliner för att effektivare hantera motstridiga designkrav. Mattias Sillén Saab Aerosystems Utökad datorkapacitet till Saab AB och SMHI NSC har nyligen designat och installerat tre nya PC-kluster åt sina partners Saab och SMHI. De två Saab-klustren består av 32 beräkningsnoder och är dedicerade för aerodynamiska och elektromagnetiska beräkningar. SMHI-klustret är ett 8- noders kluster som används för luftföroreningsberäkningar och olycksanalys. NSC har också försett Saab med ett nytt SGI O350-system. Detta 32-processorssystem har 32 Gbyte delat minne och kommer att användas för minnesintensiva simuleringar inom strukturmekanik, flödesmodellering och elektromagnetism. 5
CFD@NSC NSC utökar nu utbudet med programvaror för strömningsberäkningar. För användare inom Linköpings universitet är programvaran Fluent tillgänglig på Monolith. Strömningslösaren Edge som utvecklas av Totalförsvarets forskningsinstut, FOI, finns även den tillgänglig på Monolith. Mer information finns på NSCs hemsida, http://www.nsc.liu.se/software Kalendarium Nordic MATLAB Conference 2003 21-22 oktober 2003, Köpenhamn, Danmark.URL = http://www.comsol.se/nmc2003/ 4th Annual Workshop on Linux Clusters for Super Computing Clusters for High Performance Computing and GRID Solutions 22 24 oktober 2003, NSC, Linköping, Sverige. URL = http://www.nsc.liu.se/lcsc2003/ Cracow Grid Workshop - CGW'03 27-29 oktober 2003, Kracow, Polen. URL = http://www.cyfronet.krakow.pl/cgw03/ SC 2003, The International Conference for High Performance Computing and Communications 15-21 november 2003, Phoenix, AZ, USA. URL = http://www.scconference.org/sc2003/ Cluster 2003, IEEE International Conference on Cluster Computing 1-4 december 2003, Hong Kong. URL = http://www.csis.hku.hk/cluster2003/ The Second International Workshop on Grid and Cooperative Computing 7-10 december 2003, Shanghai, Kina. URL = http://www.cs.sjtu.edu.cn/gcc2003/index.htm HiPC 2003, 10th International Conference on High Performance Computing 17-20 december 2003, Hyderabad, Indien. URL = http://www.hipc.org/ NordU2004, the sixth NordU/USENIX Conference 28 januari - 1 februari 2004, Köpenhamn, Danmark. URL = http://www.nordu.org/nordu2004/ Nationellt superdatorcentrum, Linköpings universitet, 581 83 Linköping Tel: 013-28 26 18, Fax: 013-28 25 35, E-post: nsc@nsc.liu.se www.nsc.liu.se LTAB Linköpings Tryckeri AB 2003.448