Kommentarer till DIGI

Transkript

1 Kommentarer till DIGI Kommentarer till DIGI angående föreslagen förändring av föreskrifter om IT-standarder Utfärdare: Bitr. Prof. Björn Lundell, Ph.D. Software Systems Research Group, Informatics Research Centre, Högskolan i Skövde, Sverige Version: Inledning Som aktiv forskare inom området IT-standarder har jag tagit del av de förslag till förändringar i föreskrifter för offentlig förvaltning i Norge som redovisas på denna webbsida: i dokumentet "Høring - forslag om endring av forskrift om IT-standarder i offentlig forvaltning" som publicerats på DIFIs webbplats: Utifrån redovisade förslag till förändringar i föreskrifterna presenterar detta dokument ett antal kommentarer och förslag som baseras på publicerade resultat från den forskning som bedrivs inom ramen för den forskningsgrupp jag företräder (Software Systems Research Group, Informatics Research Centre, vid Högskolan i Skövde, Sverige). Kommentarerna baseras även på analys av resultat från annan forskning som i hög grad relaterar till förslagen om förändringar i de norska föreskrifterna (se referenslistan nedan). Dessa kommentarer och förslag presenteras utifrån ett generellt intresse av att föra ut resultat från genomförd forskning och det finns således inget specifikt uppdrag för att skriva denna kommentar. Kommentarerna är även influerade av undertecknads erfarenheter från policyområdet, såväl i Sverige som internationellt, exempelvis genom medlemskap av det svenska IT-standardiseringsrådet (som är en del av den svenska e- Delegationen) och genom bidrag till EU:s pågående arbete med förändring av IT-standardisering (Action 23) inom den Digitala Agendan (bl.a. genom medverkan i en panel vid "The First Digital Agenda Assembly" om framtidens standardisering och IT-upphandling) i Bryssel. Utifrån detta vill jag med dessa kommentarer ta tillfället att bidra till den norska processen avseende de av DIGI förslagna förändringar i föreskrifter om IT-standarder i offentlig förvaltning i Norge. De kommentarer som presenteras i detta dokument omfattar även rapporten: "Revisjonsvurdering standarder for redigerbare dokumenter" (Versjon 1.0, ) som utfärdats av "Direktoratet for forvaltning og IKT ": Skälet till att detta dokument även inkluderar kommentarer angående de argument som presenteras i rapporten "Revisjonsvurdering standarder for redigerbare dokumenter" (Versjon 1.0, ) är att det i förslaget till förändringar av föreskrifter hänvisas till denna rapport och att de argument som presenteras i rapporten är bristfälligt underbyggda. 1 (8)

2 Om argument i rapporten "Revisjonsvurdering standarder for redigerbare dokumenter": En övergripande kommentar om denna rapport är att den innehåller flera mycket anmärkningsvärda brister och de fyra förslagen till förändring av föreskrifterna har klar förbättringspotential. Det är vidare anmärkningsvärt att ODF 1.2 inte alls berörs i något av de fyra förslagen, speciellt som den nu aktuella versionen av ODF som antagits av OASIS den 29 september 2011 (se där det framgår att "29 September 2011 ODF 1.2 has been approved as an OASIS Standard" och dessutom för ytterligare detaljer). För det första, rapporten använder centrala begrepp på ett mycket bristfälligt sätt. Exempelvis används begreppet "standard" på ett sätt som inte är förenligt med gängse terminologi inom området (rapporten blandar exempelvis ihop "standard" med implementation av en standard). För de andra, rapporten hänvisar till en tidigare rapport, "Bouvetrapporten" (Garshol, 2010), men det kan konstateras att den redovisning av programvarusystem och dess stöd för olika standarder är ett bristfälligt underlag för de föreslagna förändringarna. Tidigare forskning visar att en "skrivbordsgenomgång" inte kan utgöra ett fullgott beslutsunderlag för att justera en föreskrift och genom funktionstester genomförda i tidigare forskning har det visats att den information som finns i de tabeller som redovisas är direkt vilseledande eftersom ett påstående om stöd inte är detsamma som att stöd faktiskt finns (se exempelvis Gamalielsson och Lundell, 2011; Lundell et al., 2011). För det tredje, rapporten bygger flera argument på en "skrivbordsundersökning" som inte redovisas närmare i rapporten (för de fyra alternativen som redovisas i rapporten). För ODF hävdas: "Difi har gjennomført en skrivebordundersøkelse av 29 kontorstøtteprogrammer, som fungerer på ulike plattformer " och utifrån detta hävdas att 16 ger stöd för standarden ODF (men det redovisas inte för vilken version och ej heller i vilken utsträckning det finns stöd). Denna redovisning i förslaget till förändring av föreskrifter kan inte uppfattas på annat sätt än som ren spekulation om det verkliga förhållandet. På motsvarande sätt hävdas för OOXML att flera programvarusystem ger stöd: "Etter hvert har flere kontorstøttepakker fått støtte for OOXML i varierende grad. LibreOffice ser ut til å være det alternativet som har best støtte, ved siden av MS Office." Enligt BSI (2012) utgörs en standard av ett publicerat dokument som innehåller en teknisk specifikation. Resultat från en aktuell EU-studie (Europe Economics 2012) visar att den publicerade ISO-standarden OOXML har flera olika typer av allvarliga brister, såsom beroenden till ett enskilt företags webbplats (d.v.s. specifikationen är dynamisk), referenser till specifika produkter och varumärken i själva standarden, samt att det saknas en komplett teknisk specifikation som är publikt tillgänglig genom standarden (vilket är en grundförutsättning för att det ska vara möjligt att implementera en teknsik specifikation och även en grundförutsättning, enligt BSI (2012), för att utgöra en standard). Av dessa skäl är det kanske inte så konstigt att filformatet ".docx" (så som implementerat av Microsoft) avviker från filformatet ".docx" (så som implementerat av andra leverantörer, som exempelvis LibreOffice). Att tolka ett filformat så som implementerat genom att göra reverse engineering av en specifik implementation av ett filformat är långt ifrån trivialt. Vidare, av tidigare företrädare för standardiseringsprocessen har det även framförts tvivel om angående huruvida ISO-standarden OOXML kommer att implementerats (Brown, 2010). Utifrån detta kan inte uppgiften i rapporten om att det var "12 programmer som hadde støtte for OOXML samt 2 som hadde støtte hvis det ble installert en plug-in" uppfattas på annat sätt än som en ren spekulation av det verkliga förhållandet. När en teknisk specifikation av en standard inte är komplett kan det, rimligen, som en konsekvens därmed också heller inte existera någon implementation av denna standard. Sammanfattningsvis, 2 (8)

3 eftersom ingen funktionstest har genomförts och inga data redovisas för exakt vad som avses med ODF respektive OOXML framstår rekommendationerna om att föreslå justeringar i föreskrifterna för offentlig sektor i Norge som mycket anmärkningsvärda och närmast vara baserade på ren spekulation om det verkliga förhållandet angående existerande stöd för olika standardiserade filformat. Frågan om risker för plattformsinlåsning är inte heller behandlad i anslutning till förslagen om förändringar av föreskrifterna (vilket behöver analyseras specifikt utifrån föreslagna krav på att organisationer ska kunna läsa Microsofts implementation av ".docx" eftersom det riskerar att exkludera all användning av alla befintliga Open Source-lösningar från norsk offentlig sektor, genom att det idag saknas OSS-licensierade programvarusystem som implementerar den tolkningen av ".docx"-formatet med önskvärd kvalitet). Risker för olika former av plattformsinlåsningar behöver således analyseras innan föreslagna förändringar av föreskrifter genomförs för offentlig sektor. Detta är viktigt eftersom upprättade data i en specifik version av formatet ".docx" successivt riskerar att skapa skapa nya former av problematiska inlåsningar (där det är osäkert om behov av framtida möjliga migreringsvägar till öppna filformat kommer att kunna erbjudas av flera olika skäl, jfr. dagens problem med att migrera ".doc"-formatet, se exempelvis Lundell et al., 2011). För det fjärde, ett filformat (exempelvis ODF 1.2) preciseras i en teknisk specifikation och utgör en fundamental del av en standard som antagits och publicerats (av OASIS). Den tekniska specifikationen (som tillgängliggörs genom att standarden publiceras i ett dokument) innehåller de detaljer som behövs för att kunna implementeras i ett programvarusystem (exempelvis LibreOffice). Således, ett filformat så som specificerat i en viss version av en viss standard (exempelvis ODF 1.2) som tillgängliggörs av en viss standardiseringsorganisation (exempelvis OASIS) är inte detsamma som ett filformat så som tolkats (från den tekniska specifikationen) och så som realiserats i ett programvarusystem (där filer som upprättats i formatet ".odt" utgör den specifika implementationen av filformatet). För ODF 1.2 finns det flera programvarusystem (exempelvis Apache OpenOffice och LibreOffice) som realiserar filformatet, men för ISO/IEC finns de inte en enda känd implementation som realiserar filformatet, vilket kanske inte är så konstigt eftersom filformatet inte är komplett specificerat (se Eurpe Economics, 2012). Alternativt, om rapporten avser att redovisa "standarder" (utifrån specifika implementationer) så borde hela rapporten döpas om till "Produkter för redigerbara dokumentformat", men i så fall handlar ju analysen inte längre om standarder (och föreskrifterna blir då föreskrifter om val av produkter istället för standarder). Övergripande kommentarer om förslagen till förändringar av föreskrifter om IT-standarder: Av dokumentet "Høring - forslag om endring av forskrift om IT-standarder i offentlig forvaltning " som publicerats på DIFIs webbplats: framgår: "Difi mener at det kan være hensiktsmessig å endre kravene til redigerbare dokumenter ved publisering på offentlige virksomheters nettsider og ved utveksling av redigerbare dokumenter som vedlegg til e-post. Det foreslås at det ikke stilles krav til standarder for redigerbare dokumenter innen anvendelsesområdet. Samtidig foreslås det obligatoriske krav til hvilke redigerbare formater offentlig sektor plikter å ta i mot. " 3 (8)

4 I sektion 3.2 framgår: "Difi har foretatt en revisjonsvurdering<fotnot 2> av krav som stilles til redigerbare dokumenter i Forskrift om IT-standarder i forvaltningen, og anbefaler at kravet til ODF fjernes. " I fotnoten vid "revisjonsvurdering" finns en referens till dokumentet "Revisjonsvurdering standarder for redigerbare dokumenter " (som kommenteras ovan). I sektion 3.2 framgår vidare: "Imidlertid bør det stilles strengere krav til hvilke formater offentlige virksomheter plikter å motta redigerbare dokumenter. Vi mener at det ikke bør skilles mellom mottak av redigerbare dokumenter som sendes i ODF eller OOXML3, som begge er åpne standarder." I denna rekommendation föreslås även att det ska ställas krav på att kunna ta emot ännu ett slutet (proprietärt) filformat (doc) som inte ens är en standard: "Krav om å støtte OOXML vil indirekte sikre støtte for doc formatet, som er utbredt både blant offentlige virksomheter, næringsliv og innbyggere " Att referera till OOXML som en öppen standard (när det saknas ett publicerat dokument som innehåller en komplett teknisk specifikation, d.v.s. när ISO-standarden OOXML inte ens uppfyller BSIs krav på att utgöra en standard) är anmärkningsvärt. Se exempelvis Lundell (2012a) för en översikt av vad en öppen standard är och vilka effekter sådana kan ge på en marknad för att stimulera konkurrens (och innovation), samt minimera risker för olika typer av inlåsning. Även om tidigare forskning visar (se exempelvis Lundell, 2011a, Lundell et al., 2011)) att det finns flera programvaror ger visst stöd för doc-formatet förefaller det mycket anmärkningsvärt att i ett dokument som handlar om standarder behandla specifika (icke-standardiserade) filformat som kontrolleras av en enskild leverantör. Speciellt som forskningsresultat visar att just detta filformat inte ger stöd för långa livscykler (vilket är viktigt för många organisationer, speciellt inom offentlig sektor, se exempelvis Lundell et al., 2011). Att ställa krav på att ge stöd för OOXML är direkt olämpligt (eftersom det idag inte finns någon känd programvara som ger fullt stöd för detta filformat, se ovan) och detta riskerar att skapa ytterligare förvirring på marknaden för många organisationer (se exempelvis Lundell (2011) där resultat visar att många praktiker i offentliga organisationer i Sverige (kommuner) refererar till standarder i betydelsen "den vanligaste produkten på marknaden"). Om skrivningen "OOXML" i denna rekommendation istället avser att krav ska ställas på att organisationer ska kunna hantera en specifik version av ".docx"-formatet så behöver rekommendationen precisera exakt vilket programvarusystem, vilken version av denna och vilken konfiguration av denna som avses (men i så fall blir föreskriften snarare en föreskrift om ett krav på en viss specifik produkt, istället för en standard). Av skäl som anges ovan är det heller inte meningsfullt att ställa ett generellt krav på filer i alla olika typer av implementationer av ".docx" (d.v.s. oberoende av och oavsett vilket programvarusystem som ska används för att producera och läsa filer i detta format) eftersom det kommer att resultera i interoperabilitetsproblem genom att de exakta detaljerna angående hur formatet är realiserat i varje specifik implementation inte är kända och heller inte (enkelt) kan studeras, speciellt inte i slutna programvarusystem. I dagens läge saknas också en användbar implementation som (enklare) kan studeras (genom att det inte finns någon OSS-implementation som ger fullgott stöd för ".docx"-formatet). 4 (8)

5 Forskningsresultat från Europeisk programvaruindustri visar att endast en liten del av kunders önskemål beaktas av leverantörer av slutna programvaror: "At most 20% of Features Requests are usually taken into account by proprietary software vendors as they implement tradeoffs between the needs of their customer base." (Blondelle et al., 2012). Av detta skäl ses Open Source software som en strategi för att hantera förvaltning av verksamhetskritiska system, speciellt där det finns behov av långa livscykler (Blondelle et al., 2012). Många organisationer har behov av långa livcykler på mer än 30 år och idag finns inga leverantörer som är villiga att skriva så långa kontrakt. Att införskaffa system som baseras på standarder för vilka det inte existerar någon användbar implementation som licensierats och tillgängliggjorts som Open Source software innebär en avsevärd risk för olika typer av inlåsningseffekter (se vidare Lundell, 2011b, Lundell, 2012a). När den organisation som kontrollerar en viss teknologi väljer att begränsa hur denna tillhandahålls och på så sätt "styr" leverantörer att agera på ett sätt som missgynnar en organisation utsätts organisationen för stora risker (se vidare Lundell, 2012a). Speciellt i situationer då en offentlig organisation redan gjort stora investeringar i specifik sluten teknologi innebär detta ökad risk, eftersom det då finns olika former av beroende till annan sluten teknologi (vilket begränsar möjligheterna till interoperabilitet, se vidare Ghosh (2005)). Om det i samband med införskaffande, upphandling och utveckling av system ställs krav på interoperabilitet minimeras risken för offentliga organisationer (Lundell, 2011a, 2012a). Utifrån en önskan om att skapa förutsättningar för konkurrens på en marknad är det i sammanhanget också viktigt att notera att det finns direktiv som reglerar att en teknisk specifikation av en standard shall not refer to a specific make or source, or to a particular process, or to trade marks, patents, types or a specific origin or production with the effect of favouring or eliminating certain undertakings or certain products. (Directive 2004/17/EC (Article 34) and Directive 2004/18/EC (Article 23)). Vidare, om en organisation dessutom ställer krav på att utvecklade och levererade system baseras på öppna standarder (med krav på, och med övertygande evidens för, att dessa system realiserar de öppna standarder som de baseras på, s.k. öppna referensimplementationer) minimeras risken för inlåsning ytterligare för myndigheten (DAE 2011). Denna rekommendation ligger även i linje med rekommendationer från DoD (OTD, 2011) om att använda öppna standarder, enligt den definition som presenteras i "Eurpeoan Interoperability Framework version one" (EU, 2004). I OTD (2011) hävdas att en öppen standard "at least" (p. 25) ska uppfylla EU:s definition av öppen standard enligt EU:s interoperabilitetsramverk version ett (EU 2004). Rapporten (OTD, 2011) betonar vidare vikten av att noggrant värdera risker förknippade med att använda specifika specifikationer av standarder och avråder från att använda de facto standarder enligt följande: "beware of 'de facto standards' that are not specifications at all, or where the published specifications have little relationship to the interfaces or formats that are actually used." Från sammanfattningen av panelen "The importance of procuring open ICT systems" som arrangerades under den första Digital Agenda Assembly i Bryssel presenterades ett antal rekommendationer baserat på forskning från Sverige (bl.a. Lundell (2011a) och Lundell et al. (2011)) och i sammanfattningen från workshopen rekommenderas att "in procurement and documentation policies, public-sector organisations should only refer to standards which are fully implemented in sustainable (OSS- licensed) products. For each file format he said we need open reference implementations of standards under 'keep-open' and 'share-alike' OSS-licences to help long-term maintenance of reusable assets, archiving, and to avoid lock-in and promote interoperability" (DAE, 2011). 5 (8)

6 Resultat från analys av existerande OSS-licensierade implementationer av OOXML som redovisas av Bouvetrapporten (vid tillfället för analysen fanns endast en) visar att det inte finns någon "sustainable" OSS-licensierad implementation av OOXML (se vidare Gamalielsson och Lundell, 2011). Se vidare Engelfriet (2011) för en analys av olika OSS-licenser, däribland "keep-open" och "share-alike". Om en öppna referensimplementation dessutom licensieras och tillhandahålls under en licens som ger maximalt skydd för precisering av standarden (LGPLv3 eller GPLv3) minimeras risken för den offentliga organisationen ytterligare (notera att valet av licens för den öppna referensimplementationen inte på något sätt påverkar valet av licens för det system som den offentliga organisationen avser införa), men att det är en stor fördel för analysen inför ett införskaffande av ett nytt system om det för varje standard som det hänvisas till i upphandlingen finns en komplett implementation av standarden som visar hur (och att) standarden kan implementeras samt att denna implementation fungerar (med önskvärd kvalitet) och är tillgängligjord under licensen LGPLv3 (d.v.s. under en "keep-open" med tillhörande OSSlicensierade applikation som nyttjar denna komponent) alternativt en komplett implementation under licensen GPLv3 (d.v.s. en "share-alike" licens). För att minimera risken ytterligare bör det ställas krav på att det för de öppna standarder som det hänvisas till av offentlig sektor existerar öppna (OSS-licensierade) referensimplementationer av god kvalitet med vars hjälp det demonstreras att det existerar implementationer av den öppna standarden (se vidare en rekommendation från DoD i USA (OTD, 2011). Om en organisation väljer att införskaffa system som baseras på sluten teknologi medför detta, på sikt, en kostsam inlåsning. I en studie bland svenska kommuner framgår tydligt att ingen enda kommun säkerställer detta inför införskaffande av system (se Lundell, 2011a) och det är anmärkningsvärt att en ansenlig del (35%) av alla kommuner i Sverige endast föredrar slutna standarder (som kontrolleras av ett enskilt företag). Se vidare Lundell (2011a) för mer detaljer från resultaten av studien och Lundell (2012b) för en relaterad studie om IT-användning som genomförs i samtliga svenska grund och gymnasieskolor vars initiala resultat bland annat visar att det ställs krav på att elever använder slutna standarder i än större utsträckning. Avslutningsvis förefaller det mycket märkligt att inte ens överväga ODF 1.2 (som en ersättning för nuvarande föreskrift om ODF 1.1), eftersom det finns flera implementationer från flera olika leverantörer av detta format. ODF 1.2 förespråkas exempelvis i Nederländerna sedan juni 2012 ( och i Frankrike uttalas rekommendationer för en specifik programvara ( som ger stöd för ODF 1.2. Utifrån kunskapsläget inom området är det min samlade bedömning att de förslag till förändringar av föreskrifterna som presenteras av DIFI är baserade på ett mycket bristfälligt underlag och att förslagen saknar stöd i aktuellt kunskapsläge inom området. Eftersom föreslagna förändringar, vid ett eventuellt införande, kommer att få stora konsekvenser för offentlig sektor finns det all anledning av genomföra en mer djupgående analys innan förändringar av föreskrifterna genomförs. Speciellt kan det förväntas att en rekommendation om att organisationer ska kunna ta emot OOXML stimulerar en monopolsituation, vilket knappast kan vara önskvärt för offentlig sektor på vare sig kort eller lång sikt. Konsekvensen av att införa en föreskrift som ställer krav på att organisationer ska kunna läsa ".docx" (så som implementerat av Microsoft) blir att öppna (d.v.s. OSS-liensierade) lösningar exkluderas från offentlig sektor i Norge då det idag saknas fullgott stöd för detta format (som redovisats ovan). Vidare förefaller det finnas goda skäl för att analysera effekterna av att ställa krav på den senaste versionen av ODF (OFF 1.2) som görs i Nederländerna. 6 (8)

7 EUs standardiseringspaket öppnar för att standarder från välrenommerade konsortier, som OASIS, W3C och IETF, utöver ISO-standarder kommer att kunna åberopas i en offentlig upphandling. Även om Norge inte är medlem av EU skulle en nationell föreskrift som ställer krav på att organisationer ska kunna ta emot slutna filformat (som specifika implementationer av ".docx") ge en nätverkseffekt som på sikt kan bli problematisk i ett internationellt kontext. Med vänliga hälsningar! Bitr. Prof. Björn Lundell, Ph.D. Software Systems Research Group Informatics Research Centre Högskolan i Skövde, Sverige E-post: bjorn.lundell [ at ] his.se Referenser: Bird, G. B. (1998). The Business Benefit of Standards, StandardsView, 6(2): Blondelle, G., Arbaret, P., Rossignol, A., Lundell, B., Labezin, C., Berrendonner, R., Gaufillet, P, Faudou, R, Langlois, B., Maisonobe, L., Moro, P., Rodriguez, J., Puerta Pena, J.-M., Bonnafous, E., and Mueller, R. (2012) Polarsys: towards Long-Term Availability of Engineering Tools for Embedded Systems, In ERTS 2012, 8p. Brown, A. (2010) Microsoft Fails the Standards Test, March 31, 2010, Microsoft-Fails-the-Standards-Test.aspx. BSI (2012) What is a standard?, is-a-standard/ DAE (2011) Report from workshop 03 : "Interoperability and Standards: Making it happen - DAE actions 23 and 25, Digital Agenda Assembly, Brussels, June, Engelfriet, A (2010) Choosing an Open Source License, IEEE Software, Vol. 27, No. 1, pp EU (2004). European Interoperability Framework for pan-european egovernment Services, European Commission, Version 1.0, Doca2cd.pdf?id= Europe Economics (2012) Guidelines for Public Procurement of ICT Goods and Services: SMART 2011/0044, D2 - Overview of Procurement Practices, Final Report, Europe Economics, London, 1 Mar. cordis.europa.eu/fp7/ict/ssai/docs/study44-d2-finalreport.pdf 7 (8)

8 Gamalielsson, J. & Lundell, B. (2011) Open Source communities for long-term maintenance of digital assets: what is offered for ODF & OOXML?, In Hammouda, I. & Lundell, B. (Eds.) Proceedings of SOS 2011: Towards Sustainable Open Source, Tampere University of Technology, Tampere, ISBN , ISSN X, pp Garshol, L. M. (2010). Redigerbare dokumentformater: Anbefaling om sammensetning, Bouvet ASA, Version 1.0, Revision 1.25, Ghosh, R. A. (2005) Open Standards and Interoperability Report: An Economic Basis for Open Standards, FLOSSPOLS, Deliverable D4, 12 Dec., flosspols.org/deliverables/flosspols-d04- openstandards-v6.pdf Krechmer, K. (2005) The Meaning of Open Standards, In Proceedings of the 38th Hawaii International Conference on System Sciences 2005, IEEE Computer Society, Los Alamitos, 10p. Kroes, N. (2008) Being Open About Standards, Brussels, SPEECH/08/317, 10 June, European Commissioner for Competition Policy. Lundell, B. (2011a) e-governance in public sector ICT procurement: what is shaping practice in Sweden?, European Journal of epractice, 12(6), < > Lundell, B. (2011b) Public sector ICT procurement : Policy & Practice, Presentation & Workshop participation (host: Anne-Marie Sassen): EU, The Importance of procuring open ICT systems, Digital Agenda Assembly workshop on Interoperability and Standards, The First Digital Agenda Assembly, Brussels, Belgium, June, Lundell, B. (2012a) Why do we need Open Standards?, In Orviska, M. and Jakobs, K. (Eds.) Proceedings 17th EURAS Annual Standardisation Conference 'Standards and Innovation', The EURAS Board Series, Aachen, ISBN: , pp Lundell, B. (2012b) IT Usage in Swedish Primary Schools: Observations on Innovation and Educational Lock-In, In Coughlan, S. (Ed.) The First OpenForum Academy Conference Proceedings, OpenForum Europe, ISBN: , pp Lundell, B., Gamalielsson, J. & Mattsson, A. (2011) Exploring Tool Support for Long-term Maintenance of Digital Assets: a Case Study, In Fomin, V. & Jakobs, K. (Eds.) Proceedings: 16th EURAS Annual Standardization Conference, European Academy of Standardisation, The EURAS Board, pp OTD (2011) Open Technology Development (OTD): Lessons Learned & Best Practices for Military Software, 16 May, Sponsored by the Assistant Secretary of Defense (Networks & Information Integration) (NII) / DoD Chief Information Officer (CIO) and the Under Secretary of Defense for Acquisition, Technology, and Logistics (AT&L), Version 1.0, 8 (8)