GIS och SGU. Jonas Holmberg & Johan Olsson

Transkript

1 GIS och SGU Jonas Holmberg & Johan Olsson

2 Nuvarande webbplattform Webb- & applikationsserver Apache 2 & Tomcat 4.1 och 5.5 Solaris 8 Kartserver ArcIMS 9.1 / 9.2 & WMSConnector 9.1 / 9.2 Geoserver Apache 2 & Tomcat 5.0 och 5.5 / 6.0 för Windows Windows server 2003 Databasserver Oracle 9i & ArcSDE 9.1 Solaris 8

3 Problem befintlig plattform Spretighet Flera olika OS Många olika versioner av applikationsservrar (Tomcat 4.x, 5.x,5.5.x) Olika versioner av Java (1.4, 1.5, 1.6) Underhåll / uppgraderingar Svårt att underhålla och uppgradera Många beroenden mellan systemkomponenter Licenskostnader Prestanda

4 Enter Open Source

5 Operativssystem ny plattfrom Ubuntu LTS En Linuxdistribution som bygger på Debian Säkerhetspatchar och bugfixar per automatik 24 mån uppdateringsintervall med 5 års support (server) (Long Term Support) Lätt installera programvara via paketering apt-get install tomcat6 apt-get install postgresql-8.3 postgresql-client-8.3 postgresql-contrib-8.3 apt-get install postgresql-8.3-postgis Webbfront Kartserver Databas

6 Applikations- & webbserver ny plattform Tomcat 6.0.x Java 1.6.x Webbgränssnitt för deploy och admin Webbfront Kartserver Databas

7 Webbfront NginX som reverse proxy Tomcat 6.0.x som applikationsserver OpenCMS - webbpubliceringssystem Egenutvecklade webbapplikationer Kartvisare Inmatningsapplikationer såsom DGV, Brunnsarkivet mm. Webbfront Kartserver Databas

8 Kartserver ny plattform Tomcat 6 GeoServer WMS & WFS 1.1 Bra admingränssnitt Deegree 2.3 (test av WMS 1.3/WFS 1.1) Webbfront Kartserver Databas

9 Databasserver ny plattfrom PostgreSQL Objekt-relationsdatabas Bra administratörsgränssnitt (PGAdmin) PostGIS - spatiellt tillägg till PostgreSQL PostGIS följer OpenGIS Simple Feature for SQL complient spatial database Kan lagra punkter, linjer, polygoner, multipoint, multiline, multipolygon, geometrycollections OGC WKT (Well-Known Text) and WKB (Well-Known Binary) Webbfront Kartserver Databas

10 Systemarkitektur ny plattform OS Linux Ubuntu LTS Webb- & applikationsserver Tomcat 6 Kartserver Tomcat 6 GeoServer 1.7.7, WMS (Deegree 2.3, WMS 1.3 /WFS 1.1) Databasserver PostgreSQL / PostGIS Blackbox OS Linux Ubuntu LTS Mapserver OneGeology Europé WMS 1.3 Webbfront Kartserver Databas

11 Systemarkitektur ny plattform Alla maskiner körs virtualiserat NginX Reverse proxy Blackbox Web/app server Tomcat 6.0 sgu.se kartvisare MapServer 1GE - Europe Kartserver Tomcat 6.0 GeoServer Deegree 2.3 Databas PostgreSQL+PostGIS

12 Test- och produktionsmiljö Produktions- och testmiljö identiska Tre testmaskiner (prestanda och funktionalitet) webbfront kartserver databas Testmiljön kopieras för att skapa produktionsmiljön Alla maskiner i ett virtualiserat kluster Finns även en utvecklingsmiljö Webbfront Kartserver Databas

13 Optimering och testning Lasttestning Konfigurering av bild / rastergenerering Minnesoptimering Indexering PostgreSQL parametrar

14 Lasttestning vad? Vad ville vi testa? Prestanda vid relativt stor last För att upptäcka flaskhalsar Stabilitet i applikationen, WMS-lagren och databasen Ex. minnesluckor, fel etc.

15 Lasttestning vad? Vad mäter vi? Svarstider (ms) Transaktioner / sek Hur mycket som kan köras i systemet Fel i applikationerna Övrigt som övervakas (på OS nivå) vid testtillfället Processoranvändning Minnesanvändning NFS-uppslag till filsystemet

16 Lasttestning hur? The Grinder Opensource projekt Java applikation Scriptbaserad konfigurering (Python) Möjlighet att spela in script Inställningar 2 maskiner 30 användare per maskin (60 samtidiga användare) 30 minuter 6 testscript körs parallellt i slumpvis ordning

17 Testfall 6 kartvisarapplikationer GetMap (olika skalor) Zoom in Pan GetFeatureInfo Totalt 16 WMS-lager Varje script utför: Välj kartvisare Zooma in Aktivera lager GetFeatureInfo Byt kartvisare

18 Geoserver inställningar JAI & JAI Image I/O Java Advanced Imaging Default installation använder java klassbibliotek för att generera bilder Relativt långsamt Native JAI installerat på maskinen Snabbt Finns som färdigkompilerade installationspaket för de vanligaste operativsystemen

19 Tomcat Java inställningar Geoserver körs på dedikerad Tomcat instans Java parametrar Optimering av JVM Minnesinställningar -Xmx 512 -Xmx Xmx Xmx 3072

20 PostgreSQL inställningar Indexering Index på geometrikolumnen för alla gis-dataset Index på attribut som används av SLD för symbolisering Ex. utdrag ur SLD med filter på ett attribut för symbolisering <ogc:filter> <ogc:propertyisequalto> <ogc:propertyname>symbol</ogc:propertyname> <ogc:literal>100</ogc:literal> </ogc:propertyisequalto> </ogc:filter>

21 PostgreSQL parametrar exempel shared_buffers Anger hur mycket minne databasservern använder till shared memory buffers 800MB (24MB default ) effective_cache_size Används till frågeoptimeringen (sql-frågor) 4000MB (128MB default)

22 Lasttest Resultat Java JAI Svarstider => ca 1550 ms Native JAI Svarstider => ca 1280 ms PostgreSQL Ingen skillnad i svarstider Stor skillnad i NFS-anrop till filsystemet Från > /sek till < /sek (nfs calls get_attr) Beror på shared_buffers och effective_cache_size parametern

23 Lasttest Resultat Minnesinställningar för JVM Xmx 512 Svarstider => ca 2200ms Xmx 1024 Svarstider => ca 1280 ms Xmx 1536 Svarstider => ca 1180 ms Xmx 3072 Svarstider => ca 1110 ms

24 Kartvisarapplikationen Egen utveckling med olika Opensource komponenter OpenLayers För WMS-tjänsterna (GetCapabilities, GetMap & GetFeatureInfo) Mapfish/GeoExt Koppling mellan lagerlistan och kartans lager Verktyg och interaktion med kartan ExtJS Layout JSP/Servlet

25 Kvar att göra / lösa GeoServer 2.1.x? WMS 1.3? WFS 2.0? Testa Deegree 3 WMS 1.3? Klientapplikationer Javascript intensiva klienter blir tunga, många KB Komprimera Javascript JavaScript svårt att debugga hitta testmetoder?

26 Erfarenheter ( ) Kostnader tid för utveckling och anpassning Gäller även kommersiella produkter Olika grad av dokumentation inom OS-projekten Support ofta hänvisad till forum av olika kvalitet Livslängd, aktivitet och uppdateringsfrekvens Kompetens behöver finnas tillgänglig Gäller även kommersiella produkter Spretighet kan uppstå vid användning av många olika produkter Gäller även kommersiella produkter

27 Erfarenheter (+) Gratis - inga licenskostnader Flexibelt tillgång till källkod Det finns tillgång till kända och aktiva Opensourceprodukter Ubuntu Linux, postgresql.org, postgis.refractions.net, apache.org, geoserver.org, openlayers.org, mapfish.org, geoext.org, extjs.com, deegree.org Kompetens byggs upp Följer standarder bra

28 ?

29 Extra

30

31

32

33

34

35

36

37

38 Open source Apache Tomcat ( OSGeo GeoServer ( Deegree ( Refractions Research PostGIS ( PostgreSQL ( Ubuntu ( Webbfront Kartserver Databas