Hantering av stora rasterdatamängder vid översvämningsanalyser Managing Big Raster Data in Flood Analysis Amanda Sandström Fakulteten för hälsa, natur- och teknikvetenskap Högskoleingenjörsprogrammet i lantmäteriteknik och geografisk IT Examensarbete 22,5 hp Handledare: Jan-Olov Andersson Examinator: Jan Haas Datum: 2017-06-04 Löpnummer: 2017:4
Abstract In the autumn 2016, the Swedish Civil Contingencies Agency (MSB) gave Sweco the assignment of creating a flood map of the coast of Sweden. This was carried out using a method that was developed for a former flood mapping project. The method was developed using the GIS software ArcGIS with high quality digital elevation data and the cadastral maps from the Swedish mapping, cadastral and land registration authority. The large amount of raster data demands a high performance computer and software and therefore the analysis was conducted county-wise. The goal of their project was to illustrate the effect on the coast line of an increase in sea level for every half meter between 1.5 and 5 meter above sea level. The objective of this project is to streamline the method for flood mapping by trying to carry out the same analysis but in different software. The software used in this project were ArcGIS Pro, Esri Enterprise and FME Workbench. The method used in this project is based on the method developed by Sweco, it was imitated in the different tested software, to try and find a better software for this kind of analysis. The conclusion of the project is that neither of the software tested had capacity to execute the analysis. FME Workbench 2017.0 lacks tools of generalization for raster data equivalent to the tools in ArcGIS. A comparison with FME could therefore only be made on method and result of the analysis on vector data. Esri Enterprise is not useful, because it does not support batch geoprocessing.
Sammanfattning Under hösten 2016 gav myndigheten för samhällsskydd och beredskap (MSB) Sweco i uppdrag att utföra en översvämningskartering för hela Sveriges kust. Detta utfördes med hjälp av en metod som utvecklats inom ett tidigare översvämningskarteringsprojekt genomfört av Sweco. Analysmetoden användes i GIS-mjukvaran ArcGIS med NNH grid 2+-data och data ur Fastighetskartan från Lantmäteriet. Extremt stor rasterdatamängd gjorde det tungt för programmet att genomföra analyserna som därför utfördes på data uppdelad länsvis. Målet med Swecos projekt var att visualisera i en karttjänst hur kustlinjen skulle påverkas av en förhöjning av havsnivån för alla halvmetersnivåer mellan 1,5 till 5 meter över havet. Syftet med detta examensarbete är att testa olika möjligheter att effektivisera metoden för översvämningskartering. Detta ska testas genom att utföra samma analyser av rasterdata i FME, ArcGIS Pro samt i Esri Enterprise. Metoden som använts är baserad på den som togs fram av Sweco. Denna metod har sedan försökt imiteras i de testade programmen. Slutsatsen är att inget av dessa program har kapacitet att utföra analysen effektivare. FME Workbench 2017.0 har inte lika bra verktyg som ArcGIS 10.5 för att generalisera raster. En jämförelse kunde därför enbart göras på metod och resultat på analysen av vektordata. Problemet med Esri Enterprise är att det inte stödjer batchkörning av geoprocesser.
Innehållsförteckning 1. Inledning 1 1.1 Bakgrund 1 1.2 Syfte 1 1.3 Frågeställningar 1 1.4 Avgränsning 2 2. Teori 3 2.1 Översvämningsrisk från havet i Sverige 3 2.2 Nya nationella höjdmodellen (NNH) 3 2.3 LiDAR (Light Detecting and Ranging) 4 2.4 Kartering av strandlinje 4 2.5 Rasteranalys 4 2.6 Generalisering 5 2.6.1 Generalisering i ArcGIS 5 2.6.2 Generalisering i FME 6 3. Metod 7 3.1 Programvaror 7 3.2 Indata 7 3.3 ArcGIS och ArcGIS Pro 8 3.4 Esri Enterprise 10 3.5 FME 11 4. Resultat 12 4.1 ArcGIS och ArcGIS Pro 12 4.2 Esri Enterprise 13 4.3 FME 13 5. Diskussion 14 6. Slutsats 15 Referenser 16 Bilaga 1 Arbetsflöde i ArcGIS 17 Bilaga 2 Arbetsflöde i FME 19
1. Inledning 1.1 Bakgrund Myndigheten för samhällsskydd och beredskap (MSB) gav Sweco i uppdrag att med hjälp av högupplöst höjddata i kombination med fastighetskartans vektordata, täckande Sveriges kust utföra översvämningsanalyser. Målsättningen med projektet var att illustrera en ny kustlinje förutsatt att medelhavsnivån höjs. Höjningarna av havsnivån analyserades halvmetersvis från 1,5 till 5 meter över havet. ArcGIS hade svårt att hantera de stora rasterdatamängderna och problemet kvarstod även när en superdator användes. Projektet avslutades i maj 2017 då Stockholmsområdet visade sig vara problematiskt, särskilt skärgården. Felmeddelanden var vilseledande och det tog lång tid innan det upptäcktes att orsaken till problemen var trasig geometri. GIS-metoden som ligger till grund för översvämningsanalyserna hämtades från ett av Swecos tidigare projekt åt MSB, Översvämningskartering och GIS-analyser med beräkning av nyckeltal för Mälaren, inom Regeringsuppdrag Fö2010/560/SSK, då översvämningsrisken vid Mälaren beräknades. Ett grundläggande mål med metoden var att maximera översvämningskarteringens användbarhet genom att inte binda den till någon specifik vattennivå (exempelvis 100-årsnivån), utan istället kartera för en mängd olika vattennivåer. Detta innebär att översvämningskarteringen inte blir bunden till en specifik sannolikhet för exempelvis återkomststid, vindpåverkan, geografisk plats, beräkningsmetodik, klimatberäkning eller reglering (Djuvfeldt & Moberg, 2012). Denna analysmetodik har anpassats för de analyser som efterfrågades i det nya uppdraget. 1.2 Syfte Syftet med detta examensarbete är att testa och jämföra olika programvaror för att genom tester försöka hitta mer lämpade programvaror än ArcGIS för översvämningsanalyser med stora rasterdatamängder. 1.3 Frågeställningar Kan ESRI Enterprise, ArcGIS Pro eller FME hantera stora rasterdatamängder bättre än ArcGIS? I så fall hur och varför? Kan man med dessa programvaror utföra samma typ av GIS-analyser som användes i projektet mot MSB? Vad skiljer dem åt? Hur ser arbetsprocessen ut jämfört med i ArcGIS? Hur många steg krävs? Hur lång är beräkningstiden av analyserna för de olika programvarorna? 1
1.4 Avgränsning Eftersom Sveriges kustområden utgör ett mycket stort område valdes ett mindre (men fortfarande relativt stort) område ut som testområde för analyserna. Efter diskussioner med ingenjörer på Sweco (som utförde projektet åt MSB som detta arbete bygger på) valdes ett område i Stockholms län ut som testområde (se figur 1). Figur 1. Testområdet som använts i projektet. Avgränsningen till havs är baserad på att det ska finnas både NNH grid 2+-data och fastighetskarta. Fastighetskartan används för att definiera markområden. Avgränsningen in mot land baseras på att 5-meternivån ska täckas in. MSB har även markerat var vattendrag övergår till havsyta. Vattendrag och vattensamlingar uppströms havsytegränsen hanteras som ej havsyta i analysen. 2
2. Teori 2.1 Översvämningsrisk från havet i Sverige Klimatförändringarna leder bland annat till en stigande medeltemperatur, vilket i sin tur kommer leda till att glaciärer smälter och att havsnivån stiger, samt mer frekventa stormar och översvämningar. Sverige har inte påverkats märkbart ännu men det är mycket tack vare att landhöjningen, som påbörjades då inlandsisen försvann, fortfarande pågår. Landhöjningen har dock i princip avstannat i de sydligare delarna av landet, så om havsnivån stiger kommer delar av Skånes kustområden att översvämmas. Många klimatforskare räknar med en havsnivåhöjning på en meter till år 2100, vilket skulle medföra stora konsekvenser (Burelius et al, 2008). Klimathotet var en bidragande faktor till att regeringen 2007 gav lantmäteriet i uppdrag att ta fram en ny nationell digital höjdmodell, då en sådan skulle möjliggöra noggrannare översvämningsanalyser. Klimathotet ligger även bakom att Sweco fick uppdraget av MSB som detta projekt bygger på. 2.2 Nya nationella höjdmodellen (NNH) Höjdmodellen framställdes ur data insamlad med flygburen laserskanning (LiDAR). Den nya höjdmodellen har en upplösning på 2 m, vilket kan jämföras med dess föregångare som har en upplösning på 50 m (GSD-Höjddata grid 50+), se figur 2. Figur 2. Skillnad i kvalitet mellan gamla och nya höjdmodellen redovisad i en skuggad reliefbild. Noggrannheten i höjd är hög, med medelfelet för plana ytor på ca ±5 cm. Medelfelet i plan ligger på ca ±25 cm. Den färdiga höjdmodellen levererades i SWEREF 99 TM i plan och RH 2000 i höjd, i form av rutor om 2,5 x 2,5 km (Lantmäteriet, 2016). Tabell 1. Fakta om skanningen Punkttäthet 0,5-1 punkt/m 2 Flyghöjd över marken 1700-2300 m Skanningsvinkel ± 20⁰ Stråkövertäckning 20 % Träffyta på mark (s.k. footprint) 0,4-0,8 m Siffrorna i tabell 1 är ungefärliga. För punkttätheten var det 98 % av den totalt skannade ytan som uppnådde den täthet som listas ovan; och då bortsåg man från vatten. Laserskanningen genomfördes med instrument som ger minst fyra ekon per laserpuls. Alla punkter bevaras, även de felaktiga på hög eller låg höjd. Intensiteten för den reflekterade laserpulsen registreras för varje eko (Lantmäteriet, 2015). 3
2.3 LiDAR (Light Detecting and Ranging) LiDAR påminner om radar men laserpulser passerar lättare genom vegetationen och registrerar därmed marknivån även i områden med vegetation. Däremot är radar bättre på att penetrera moln, regn, stark dimma och snö. Tekniken för LiDAR och radar skiljer sig åt; LiDAR sänder ut laserpulser (reflekterande ljus) i en hastighet av flera hundratusen per sekund, till skillnad från radar som sänder ut radiovågor. För bästa resultat bör laserskanningen ske tidigt på våren (innan lövsprickning) då det är friare sikt mot marken. Även sen höst/tidig vinter då löven fallit men innan marken blivit snötäckt, ger relativt bra skanningsförhållanden (Lantmäteriet, 2011). Punkttäthet mäts i 2D och motsvarar antalet punkter per kvadratmeter i plan. Hög punkttäthet ger mindre osäkerhet, låg punkttäthet ger större osäkerhet. Infallsvinkeln mot marken (den s.k. skanningsvinkeln) spelar en avgörande roll; en skanningsvinkel nära noll är bäst vid skanning av markytor i skog och stadsmiljö medan en större skanningsvinkel ger fler träffar på sidorna av höga objekt (exempelvis byggnader). Nackdelen med en stor skanningsvinkel är att den kan öka osäkerheten i avståndsmätningen då träffbilden förvanskas i och med att avståndet till objekten längst ut i svepen ökar. Den rekommenderade skanningsvinkeln i normalfall ligger på upp till ±20 (Fransson et al, 2014). 2.4 Kartering av strandlinje SCB har beräknat att den svenska kustlinjen inklusive öar omfattar ca 4 700 mil. Att kartera strandlinjen är inte enkelt då den är föränderlig av en rad anledningar; skillnader mellan årstider, landhöjning, människans ingrepp och erosion. Data för strandlinjen kan även skilja sig en del åt beroende på insamlingsteknik, definitioner, krav etc. (Gustafsson et al, 2016). 2.5 Rasteranalys Rasterdata i sin simplaste form är en matris av celler organiserad i kolumner och rader som bildar ett rutnät. Det kan vara allt från flygfoto, laserdata, digitala bilder till inskannade kartor. Rasteranalyser används vid rumsliga analyser samt till modellering, ofta i miljö- och naturresurssammanhang. Dessa analyser kan vara antingen lokala, fokala eller zonala och utföras på ett eller flera raster i kombination. De kan användas för att ta fram statistik, skapa tematiska kartor, utföra översvämningskartering etc. Vid transformation från raster- till vektorformat kan viss information gå förlorad (exempelvis topologisk struktur, upplösning och därmed noggrannhet) (De Smith et al, 2007). Det finns en del andra faktorer som också bör tas hänsyn till vid konvertering från raster- till vektorformat. Innan rastret konverteras till vektorformat bör det generaliseras för att minska mängden information som ska konverteras, annars riskerar varje pixel att bli en polygon. Särskilt intressanta eller betydelsefulla områden i rasterbilden kan önska förtydligas och framhävas innan konverteringen från raster- till vektorformat. Efter konvertering kan viss bearbetning av data vara nödvändig för att mjuka upp linjer osv. Man bör även vara uppmärksam på att utseendet på polygoner kan skilja sig åt mellan raster- och vektorformat (Congalton, 1997). 4
2.6 Generalisering Syftet med generalisering är att göra en karta mer lättläst och tydlig genom att delvis förenkla den. Vid generalisering av raster transformeras kartans skala från a till b där b<a. En generaliserad karta har alltid likheter med kartan den härstammar från. Generalisering av raster kan genomföras med fyra olika metoder: 1. strukturell, 2. numerisk, 3. numerisk kategorisering och 4. kategorisk generalisering. Dessa metoder använder olika algoritmer (många av dessa är baserade på interpoleringsteknik) och de lämpar sig till olika ändamål. De kan även vara fokala eller zonala. I zonala operationer bearbetas varje cell med ett visst värde och i fokala operationer (s.k. grannskapsoperationer) används ett rörligt fönster, där det för varje cell är bestämt hur många av de angränsande cellerna som ska vara med i beräkningen, d.v.s. storleken på det rörliga fönstret (Karathanasis et al, 2009). Viktning kan även användas vid generalisering, en viss kategori kan få högre eller lägre vikt beroende på dess betydelse för kartan som helhet (Galanda, 2003). 2.6.1 Generalisering i ArcGIS Majority Filter är ett av generaliseringsverktygen för raster som finns i ArcGIS. Detta verktyg generaliserar genom att använda ett rörligt fönster och förändra cellvärden beroende på majoriteten av dess granncellers värden (d.v.s. en slags fokal numerisk kategorisering), se figur 3. För att en cells värde ska förändras måste två kriterier uppfyllas: antalet grannceller med ett liknande värde måste vara stort nog (antingen genom att vara majoritet eller hälften av cellerna), och dessa celler måste angränsa till centrum av filterkärnan. Andra kriteriet är att dessa celler måste vara sammanhängande för att minska risken för korruption av cellernas rumsliga mönster. Används fyra grannar bevaras hörnen av rektangulära regioner. Används istället åtta grannar jämnas hörnen för de rektangulära regionerna ut. Åtta grannar leder även till att kravet för att vara sammanhängande definieras av att dela en kant. Vid fyra grannar definieras sammanhängande av att dela ett hörn (Esri, 2016). Figur 3. Resultat av generalisering med Majority Filter. 5
2.6.2 Generalisering i FME Raster Resampler är ett av generaliseringsverktygen som finns i FME. Detta verktyg låter en välja mellan fyra olika interpolationsmetoder som ger olika resultat och generaliseringsgrad. Närmsta-granne-metoden granncellerna bestämmer ifall en cells värde kommer förändras och i så fall hur. Detta är en snabb metod men den försämrar bildkvaliteten betydande. Bilinjär interpolation en av de vanligaste interpolationsmetoderna i regelbundna rutnät, tanken bakom denna typ av interpolation är att anpassa en bilinjär yta till de fyra hörnen. Bikubisk interpolation långsam men ger bäst bildkvalitet. Som bi i namnet antyder sker interpoleringen i två riktningar, både lodrätt och vågrätt. Denna typ av interpolering ger skarpare konturer än övriga metoder. Medel 4 eller 16 interpolation - beräknar medelvärde utifrån 4 eller 16 grannceller och interpolerar därefter. Oavsett interpoleringsmetod påverkas upplösningen, se figur 4 (FME, 2017). Figur 4. Generalisering i FME. 6
3. Metod Följande kapitel redovisar analysmetoden som användes i de olika programvarorna. Först redovisas de programvaror och indata som använts. Därefter beskrivs den ursprungliga metoden; den som Sweco använt, som försökte återskapas i de andra programvarorna. 3.1 Programvaror Följande programvaror har använts i projektet: ArcMap 10.5 ArcGIS Pro 1.3 Esri Enterprise (ArcGIS Server och Portal 10.5) FME Workbench 2017.0 3.2 Indata Majoriteten av indata som använts i projektet är från Lantmäteriet, se tabell 2. Vattenytorna har justerats av MSB så att vattendrag bryts där de övergår till havsyta. Havspunkterna, som är ett hjälpmedel för att skilja instängt vatten (exempelvis sjöar) från hav, är manuellt satta och dess positionering anpassad för varje analys. En textfil för omklassning enligt de olika nivåerna skapades. Täckningsområde för indata redovisas i figur 5 och exempelbild på höjddata i figur 6. Tabell 2. Indata. Fil Format Beskrivning Ursprung Höjddata rasterdata NNH+-data NNH grid 2+, Lantmäteriet Marklager vektordata polygoner Fastighetskartan, Lantmäteriet Vattenytor vektordata polygoner Fastighetskartan, Lantmäteriet Hav vektordata punkter Sweco Omklassning textfil vattennivåer Sweco Figur 6. Exempelbild på höjddata överlappandes fastighetskarta. Figur 5. Täckningsområde för indata är markerat i grått. 7
3.3 ArcGIS och ArcGIS Pro Analysen genomfördes med hjälp av Model Builder där ett antal databearbetningsprocesser länkades samman för att enkelt kunna applicera metoden på varje län. Exakta modeller finns i bilaga 1. Anledningen till att flera modeller användes och inte bara en, är på grund av det faktum att Model Builder inte stödjer mer än en loop per modell. 1 2 Höjddata konverterades till rasterdata som refererades in i ett mosaikdataset. Från mosaiken skapades ett raster som täcker markytan för valt bearbetningsområde. Rasterdata konvertererades sedan till vektordata. Polygoner genererades för bestämt höjdintervall utifrån analys mot höjddata. De framräknade översvämningsnivåerna slogs samman successivt. 3 De skapade utbredningarna generaliserades för att brusreducera datat. 4 Vid varje vattennivå kontrollerades huruvida områden är potentiellt instängda eller ej. Resultatet är ett GIS-skikt av vektortyp med alla nivåer, vilket underlättar eventuella efterföljande analyser. 3.3.1 Förberedelser Först konverterades höjddata till rasterdataset som därefter refererades in i ett mosaikdataset. Från denna mosaik valdes det område ur rastret som ska bearbetas med hjälp av dess länskod i motsvarande vektordata över området. Sedan klipptes motsvarande område ut ur rastret, se figur 7. Därefter beräknades statistik och pyramider skapades. Modell i figur 12 bilaga 1 utförde denna process. Figur 7. Bearbetningsområde väljs ut från vektordata och klipps ut ur rastret. 8
3.3.2 Transformation Rasterdata transformerades sedan till vektordata i form av polygoner med fasta höjdintervall (1,5; 2,0; 2,5; 3,0; 3,5; 4,0; 4,5 och 5,0 meter över havet), se figur 8. Detta innebar att alla polygoner kategoriserades utifrån höjddata; exempelvis sattes 0-0,5 meter över havet i en kategori, osv. för resterande nivåer. Modell för denna process finns i figur 13 i bilaga 1. I detta steg riskerar felaktiga geometrier att skapas, dessa måste repareras innan analysen kan fortgå. Figur 8. Polygonlager som redovisar vattenutbredningen för varje höjning av havsnivån. 3.3.3 Generalisering Att hantera stora mängder NNH+-data innebär en utmaning. För att brusreducera och göra slutresultatet hanterbart krävdes generaliseringar vid flera tillfällen under processen. Generaliserades data för lite blev det ett miljontal polygoner att hantera. Rasterdata generaliserades med hjälp av Majority Filter med inställningarna att för varje cell kontrollera dess åtta grannceller och ifall häften av dessa sammanhängande har ett annat värde generaliseras cellen. Vektordata generaliserades sedan ytterligare genom att polygoner slogs samman för varje nivå och ytor mindre än 5000 m 2 eliminerades. Figur 9 redovisar hur det kan se ut före och efter generalisering. Modellen i figur 17 i bilaga 1 användes vid generaliseringen. Figur 9. Generalisering (till vänster: innan generalisering; till höger: efter generalisering). 9
3.3.4 Instängda områden Huruvida områden är potentiellt instängda eller ej kontrollerades med hjälp av havspunkter som sattes ut manuellt, anpassat för varje analysområde. Med hjälp av dessa havspunkter kan potentiellt instängda områden (exempelvis vattensamlingar såsom sjöar) lokaliseras och särskiljas från hav, se figur 10. Modell för denna process finns i figur 18 i bilaga 1. Figur 10: Instängda områden särskildes sedan visuellt genom att symbolisera dem som randiga. 3.4 Esri Enterprise Samtlig data laddades upp på ArcGIS Server från ArcGIS 10.5. Problem uppstod dock då modellerna som skapats i Model Builder skulle laddas upp, vilket först antogs bero på att modellerna var nästlade. Detta försvårade processen men det upptäcktes sedan att Esri Enterprise inte stödjer batchkörning av geoprocesser överhuvudtaget (Esri, 2017). 10
3.5 FME Transformers (verktyg) som kan utföra samma bearbetningar och processer som de som användes i analysen i ArcGIS identifierades för att skapa ett arbetsflöde liknande det i ArcGIS. Arbetsflödena (motsvarigheten till modell i ArcGIS) som skapades finns i bilaga 2. Att konvertera raster- till vektordata var mer komplicerat än väntat. Verktygen som behövs existerar, men konvertering av extremt stora rasterdatamängder tar väldigt lång tid. I ett test med en dator med bättre prestanda gick konverteringen något snabbare. Uppenbart är att FME kräver mer av hårdvaran än ArcGIS när det gäller denna typ av analyser. Exakt samma generalisering som utfördes i ArcGIS med Majority Filter kan inte utföras i FME med något av de existerande verktygen. Generaliseringsmetoden som därför valdes i FME var att använda Raster Resampler två gånger i rad. Först inställd på 101 % och sedan tillbaka till ursprunglig upplösning (bikubisk interpolation båda gångerna) på så sätt kan små avvikelser rensas bort. Denna generalisering sker genom att ändra rastrets upplösning, detta kan utföras med olika metoder men ingen metod som har ett flyttande fönster och analyserar samt generaliserar med samma noggrannhet som Majority Filter i ArcGIS. Efter det att data i rasterformat konverterats till vektorformat användes Geometry Validator för att laga eventuell trasig geometri. Därefter slogs alla polygoner samman för vardera halvmetersnivå. Work Space Runner användes för att starta en batchkörning, så varje skikt (halvmetersnivå) kunde bearbetas var för sig. Work Space Runner startade i detta fall vektordataanalysen. Vektordataanalysen inleds med att data generaliserads ytterligare, dels med Dissolver (som löser upp angränsande polygoner för att skapa större ytor). Sedan beräknades polygonernas area med hjälp av Geographic Area Calculator och sedan användes Tester för att exkludera polygoner mindre än 5000 m 2. Slutligen identifierades instängda områden med hjälp av Spatial Relator som kontrollerade huruvida vattenytorna innehöll en havspunkt eller ej (för att särskilja hav från andra vattensamlingar). 11
4. Resultat I följande kapitel redovisas resultatet av försöken att utföra samma analyser som i ArcGIS i ArcGIS Pro, FME och Esri Enterprise. Skillnaderna i tid för de olika processerna i de testade programvarorna redovisas i tabell 3. Tabell 1. Skillnad i tid mellan de olika mjukvarorna ArcGIS 10.5 ArcGIS Pro FME Skapa raster från mosaik 3 minuter 1,4 minuter 21 minuter Raster till vektordata 7 minuter 3 minuter Flera timmar Vektoranalys 58 minuter 45 minuter 40 minuter 4.1 ArcGIS och ArcGIS Pro Skillnaderna mellan analyserna i dessa program är minimala. Den enda skillnaden var att ArcGIS Pro utförde analyserna ca 20 minuter snabbare. Analysen i ArcGIS 10.5 och ArcGIS Pro var identisk bortsett från det att ArcGIS Pro inte accepterar Visual Basic (VB) som kodningstyp, denna bör därför ändras till Python. Figur 11 visar ett exempel på hur resultatet av översvämningskarteringen ser ut vid de olika förhöjda vattennivåerna. Figur 11. Exempel på resultatkarta av översvämningskarteringen. 12
4.2 Esri Enterprise Esri Enterprise stödjer inte batchkörning av geoprocesser och är därför inte ett alternativ ändå. Förhoppningen med att använda Enterprise var att analyserna skulle gå snabbare då flera serverar skulle kunna bearbeta data samtidigt. Enterprise skulle kunna användas till att dela och redovisa resultatet av översvämningskarteringen. 4.3 FME FME tar upp mycket temporärt minne när ett arbetsflöde körs, vid några körningar skapades uppemot 200 GB tempfiler. Det tog även lång tid både att bygga pyramider och raster (i en dator med bra processor går processen dock snabbare). Det var svårt att hitta en motsvarighet till Majority Filter. Därför konsulterades FME:s experter som försökte skapa arbetsflöden som skulle utföra samma sak, men utan framgång. Deras besked var att det är svårt men inte omöjligt. Rådfrågade även FME-experter både på Sweco och Lantmäteriet men fick samma svar FME kan i dagsläget inte utföra denna typ av generalisering. Sweco beslutade att av detta resultat, samt utlåtanden från FME-experter, att slutsatsen som kan dras är att när det gäller denna typ av bearbetningar är ArcGIS bättre. Vid vektordataanalyser var FME mer jämförbart. Färre modeller behöver skapas och lite tid kan sparas. 13
5. Diskussion Laserskanningen utfördes under 8 år, vilket borde ha viss betydelse för terrängmodellens variation i kvalitet. Karteringen av strandlinjen, då den är föränderlig är ytterligare en faktor som kan påverka kvalitén på resultatet. FME:s lämplighet för rasteranalyser kan ifrågasättas då det gäller stora rasterdatamänger, då tidsåtgången var betydligt större än i ArcGIS. Att bygga pyramider tog någon minut i ArcGIS men uppemot tre timmar i FME. Att transformera stora rasterdatamängder till polygoner är ett evighetsprojekt om samma upplösning vill bibehållas. En annan nackdel med FME är att vid bearbetning av stora mängder rasterdata skapas enorma mängder tempdata (ca 200 GB). Dessa var tvungna att tas bort manuellt. FME vill heller inte skriva filer större än 2 GB, vilket är ytterligare en begränsning. Det finns heller ingen transformer som kan ersätta Majority Filter. Eventuellt skulle man kunna exportera modellerna från ArcGIS som Pythonskript och lägga in dem i FME på så vis, men i detta projekt ville jag jämföra programmen mot varandra, med respektive programs inbyggda verktyg. En problematik är att jag utgått från den metod Sweco använde även när jag försöker utföra analysen i FME. För ett jämförbart resultat är detta dock ganska oundvikligt. Esri Enterprise var inte ett alternativ för analysmetoden i detta projekt. Dels var det tidskrävande att föra över data till geodatabasen på servern, särskilt större filer. Sedan visade det sig att programmet i dagsläget inte stödjer batchkörning av geoprocesser. Dock skulle Esri Enterprise eventuellt kunna användas till att dela med sig av resultatet av översvämningskarteringen. Anledningen till att man ville försöka hitta en alternativ metod var dels på grund av begränsningar i den aktuella metoden i ArcGIS, samt att man ville undersöka om en effektivisering vore möjlig. Anledningen till att metoden i ArcGIS är uppdelad i flera modeller är på grund av att Model Builder inte stödjer mer än en loop per modell. Detta har delvis effektiviserats genom att ha en modell som startar övriga modeller (en så kallad nästlad modell, se figur 14 i bilaga 1). Det är delvis på grund av detta som de ville att jag skulle undersöka huruvida något annat program skulle kunna hantera detta bättre. 14
6. Slutsats Slutsatsen av projektet är att ArcGIS är det bästa alternativet för analysmetoden. Resultatet från testerna visar att ArcGIS Pro klarar analysen något snabbare än ArcGIS 10.5. FME är något snabbare vid vektoranalys men jämfört med ArcGIS Pro handlar det om fem minuter, så det är ingen markant skillnad. Lika sofistikerade generaliseringsverktyg som de i ArcGIS existerar inte i de andra programvarorna. Ett skript i Python skulle eventuellt kunna möjliggöra generalisering i FME av samma typ som uppnås med Majority Filter. Esri Enterprise visade sig som sagt ganska snabbt inte vara ett alternativ för denna typ av analys, då det inte stödjer batchkörning av geoprocesser. En anledning till att de andra programvarorna inte presterade lika bra som ArcGIS kan delvis bero på att arbetsflödet i analysen i de andra programvarorna imiterade ArcGIS-metoden. Slutsatsen är därför att dessa program inte kan använda samma analysmetod på exakt samma vis som ArcGIS. Rekommendationer för vidare arbete är att testa effektivisering av analysmetoden genom egna Pythonskript. 15
Referenser Burelius, C., Kristensson, A., Mårtensson, A-L., Persson, C. & Åkesson M. (2008). Stigande havsnivå - konsekvenser för fysisk planering. Länsstyrelserna i Skåne och Blekinge län. Congalton, R. G. (1997). Exploring and Evaluating the Consequences of Vector-to-Raster and Raster-to- Vector Conversion. Photogrammetric Engineering and Remote Sensing. Vol. 63, no. 4. De Smith, M. J., Goodchild, M. F. & Longley, P. (2007). Geospatial Analysis: A Comprehensive Guide to Principles, Techniques and Software Tools. Version 1.2. Troubador Publishing Ltd. Djuvfeldt, B. & Moberg, J-O. (2012). Översvämningskartering och GIS-analyser med beräkning av nyckeltal för Mälaren, inom Regeringsuppdrag Fö2010/560/SSK. Konsekvenser av en översvämning i Mälaren. MSB och Sweco. Esri. (2016). Spatial Analyst Toolbox - Majority Filter. [Hämtad: 2017-05-10] http://desktop.arcgis.com/en/arcmap/10.3/tools/spatial-analyst-toolbox/majority-filter.htm Esri. (2017). ArcGIS Server A Quick Tour of Publishing a Geoprocessing Service. [Hämtad: 2017-05-10] http://server.arcgis.com/en/server/latest/publish-services/windows/a-quick-tour-of-publishing-ageoprocessing-service.htm FME. (2017). Transformers - Raster Resampler. FME Knowledge Center. [Hämtad: 2017-05-10] https://docs.safe.com/fme/2017.0/html/fme_desktop_documentation/fme_transformers/transfor mers/rasterresampler.htm Fransson, J. & Lithen, T. (2014) HMK Laserdata. Geodatainsamling, Lantmäteriet. Luleå. Galanda, M. (2003). Automated Polygon Generalization in a Multi Agent System. Doktorsavhandling. Fakulteten för geografi. Zürichs universitet. Schweiz. Gustafsson, L., Nordström, K., Sjöhed, J. & Wallhagen, M. (2016). Specifikation Nationell strandlinje. Utgåva 1.9. Lantmäteriet och Sjöfartsverket. Karathanasis, B., Kassoli, M., Koukofikis, A., Pantazis, D. & Stratakis, P. (2009). Morphing Techniques: Towards New Methods for Raster Based Cartographic Generalization. Proceedings of the 24th International Cartographic Conference. Research Group SOCRATES. Aten, Grekland. Lantmäteriet. (2016). GSD-Höjddata, grid 2+. Dokumentversion 2.3. Geografiska Sverigedata. Lantmäteriet. (2015). GSD-Höjddata, grid 2+. Dokumentversion 2.2. Geografiska Sverigedata. Lantmäteriet. (2011). Erfarenheter och praktiska råd vid användning av NNH (bilaga till produktbeskrivning). Version 1.0. 16
Bilaga 1 Arbetsflöde i ArcGIS Figur 12. Modell som väljer och klipper ut det område som ska analyseras (samt beräknar statistik och bygger pyramider). Figur 13. Modell som klassificerar om rastret för de vattennivåer som ska beräknas, generaliserar och gör sedan om rastret till polygoner. Figur 14. Nästlad modell för att aktivera fullständig bearbetning (startar en rad andra modeller; se figur 15, 17 och 18). 17
Figur 15. Modell som skapar diskar. Startar en loop som aktiverar ytterligare en modell (se figur 16) för att beräkna resultatet av de olika vattennivåerna och skapar diskar för dessa. Figur 16. Modell som genererar diskar. En for-loop som startas av modellen i figur 15. Figur 17. Modell som generaliserar data ytterligare; genom att slå samman polygoner och eliminera ytor mindre än 5000 m 2. Figur 18. Modell för att kontrollerar huruvida områden är instängda eller ej, för att särskilja hav från andra vattensamlingar. 18
Bilaga 2 Arbetsflöde i FME Figur 19. Arbetsflöde som klipper ut önskat bearbetningsområde och gör sedan om raster till vektordata. Slår därefter samman resultatet med vattenytorna från fastighetskartan. Figur 20. Arbetsflöde som slår samman polygoner för varje nivå (0-1 m, 0-5 m, osv.) Figur 21. Arbetsflöde som startar en batchkörning av polygoner, kastar in dem i arbetsflödet i figur 22. Figur 22. Arbetsflöde som generaliserar polygoner och bedömer huruvida vattenområden är instängda eller ej. 19