FormatE Om format för arkivbeständiga elektroniska handlingar
benjamin.yousefi@riksarkivet.se Jurist Juridisk och teknisk rådgivare och utredare Ofi [Avdelning för] Offentlig informationshantering Uti [Enhet] Utredning och utveckling FormatE (projektledare) ArkivE Elektroniska underskrifter Preforma PDF/A
Projektbeskrivning FormatE ska kontextualisera grundprinciper för val av format i föreskrifter, vägledningar, och information som förbättrar förutsättningarna för val, framställning, återgivning, och kontroll av format i [ett visst tekniskt] skick, samt vid tillsyn, rådgivning och överföring till bevarande.
Effektmål Alla elektroniska handlingar som framställs i offentlig förvaltning ska vara beständiga. 1. Beständighet, med hänsyn till behovet, hur (form och funktion) handlingen ska återges, och tiden handlingen ska återges på kort eller lång sikt. 2. Kraven på materiel och metoder bestäms utifrån behovet. 3. Mätbarhet: metoder för kontroll, uppföljning och efterlevnad av denna beständighet.
1. Översyn av RA-FS 2009:2 förslag till ny RA-FS Projektmål (2018) tillsammans med författningskommentarer och allmänna råd. 2. Kriterier för att utvärdera format lämpliga för beständigheten av elektroniska handlingar 3. Vägledningar
Tidsplan vid denna tidpunkt Ett andra utkast färdigställs intern behandling referensgruppen Tidigast remiss december (2018) eller januari (2019) Något försenat Viktigare att författningen blir genomtänkt.
Grunden för fortsatt arbete När föreskriften är utgiven blir det lättare att arbeta vidare med stödjande resurser, såsom vägledningar och verktyg. Drömbilden När den datatekniska grunden är lagd, diskutera innehåll utifrån funktionaliteter, och format, kodningen och avkodningen, blir som pappret.
Om arbetet med att se över RA-FS 2009:2
RA-FS om tekniska krav vid framställning av elektroniska handlingar Det kommer att vara en teknisk föreskrift specifikationer funktionaliteter implementationer format Föreskriften gäller för hela den offentliga förvaltningen Alla som omfattas av arkivlagen (1-2a ).
Bemyndigandet Omfattar framställning form och funktion implementering Omfattar inte Återgivning eller hantering innehåll eller gallring användning
Elektroniska handlingar som redan är framställda Faller utanför författningens tillämpningsområde RA-FS 2009:1, och då endast för statliga myndigheter Vägledningar, verktyg, och liknande.
Datateknisk perspektiv Teknikspecifikt Kodning av information (handling) till binär data som lagras som ett format vid en tidpunkt, och avkodningen av data tillbaka till information som ska återges i ett visst förväntat tekniskt skick (form och funktion). Teknikgenerellt Val av format Koppla [tekniska] funktionaliteter till information [handling].
Konsekvenser Hur tillämpar man föreskriften? Man måste ju faktisk förstå den för att tillämpa den Vem ska tillämpa den? Hur tar man hänsyn till alla olika intressen? Hur hanterar man alla användningar av program och format? Verksamheter skiljer sig som bekant mellan statliga myndigheter, men nu skuttar även in kommuner, landsting och andra myndigheter och organ.
Tillämpning av föreskriften Föreskriften reglerar eviga sanningar. Magin finns i föreskriftens bilagor och allmänna råd Tydligare krav Rekommenderade sätt för att uppfylla kraven Ges ut och ses över löpande. Kan så småningom normeras. Vägledningar GitHub Introducerande (utbildande), såsom Om den nya RA-FS 2019:1. Handledande (målorienterade), såsom hur gör man, hur löser man. Fördjupande (förklarande), såsom författningskommentarer. Refererande (deskriptiva), såsom ordböcker, github.com/riksarkivet/format/. Data- och informationstekniska resurser Program, metoder för validering, verifiering och granskning.
Balansera olika intressen Samarbete och kommunikation referensgruppen Mer permanenta konstellationer? Föreskriftens uppbyggnad Nyanserar kraven och tillämpning i olika fall
Styrande principer Behovet av beständighet Vad som krävs i olika fall Specifikationer Funktionaliteter Implementationer och format
Exempel Överväganden, avvägningar, särskilt belysa
Gäller endast vid framställning Får inte ställa krav på återgivningen, såsom program, men Program är elektroniska handlingar, så får ställa krav på framställningen av program (som ska användas för återgivning) Allt måste alltså bli rätt vid framställning Hur strikta krav ska ställas vid framställning?
Tekniska hjälpmedel TF 2 kap. 3 upptagning som kan läsas, avlyssnas eller på annat sätt uppfattas endast med tekniskt hjälpmedel. Det vill säga, inga program. Lämpliga format? Ganska strikta krav alltså
Materiel och metoder Tekniskt hjälpmedel, men även andra hjälpmedel för att koda och avkoda ett format. Specifikationer Dokumentation Vägledningar Teknisk miljö Programtolk Kompilator Program Data Algoritmer Kodbibliotek Databaser Länkar till nödvändiga datafiler
Vad ska vara beständigt? Alla format är kod Formatet slutar att vara beständigt om kunskapen om koden [avkodningen] går förlorad, men inte bara ställa krav på att endast kunna avkoda: Avkoda till vilken form och funktion? Hur mycket måste avkodas? Lagrad kod förändras inte i sig över tid under förutsättning att koden exempelvis inte: kodas, avkodas felaktigt, hårdvara fallerar, om exekverbar, kan förändra sig själv, annan exekverbar kod förändrar. Förvaring, hårdvara, hantering, och andra skyddande åtgärder fråga om arkivvård.
Vad ska vara beständigt? 00011111010000110000 Är det denna form som ska vara beständig? 0x1f430 Är det denna form som ska vara beständig? (glyf saknas) Är det denna form som ska vara beständig? Är det denna form som ska vara beständig? Exemplen är endast olika representationer av samma kod. Vilket tekniskt skick ska återges? Vilken mening ska kunna avkodas tillbaka? Är det denna form som ska vara beständig?
Vad ska vara beständigt? 1. 00111100 01110000 00111110 11000011 10000100 01110010 00100000 01100100 01100101 01110100 00100000 01100100 01100101 01101110 01101110 01100001 00100000 00111100 01100010 00111110 01100110 01101111 01110010 01101101 00111100 00101111 01100010 00111110 00100000 01110011 01101111 01101101 00100000 01110011 01101011 01100001 00100000 01110110 01100001 01110010 01100001 00100000 01100010 01100101 01110011 01110100 11000011 10100100 01101110 01100100 01101001 01100111 00111111 00111100 00101111 01110000 00111110 00001010 2. 3c 70 3e c3 84 72 20 64 65 74 20 64 65 6e 6e 61 20 3c 62 3e 66 6f 72 6d 3c 2f 62 3e 20 73 6f 6d 20 73 6b 61 20 76 61 72 61 20 62 65 73 74 c3 a4 6e 64 69 67 3f 3c 2f 70 3e 0a 3. <p>är det denna <b>form</b> som ska vara beständig?</p> 4. Är det denna form som ska vara beständig? 5. Är det denna form som ska vara beständig? (+stilmall)
Specifikationer Vad gör en specifikation lämpligt och en annan olämpligt? Vilken specifikation ska man välja? Kriterier för att bedöma sannolikheten att kunna återge ett tekniskt skick utifrån en specifikation Bestämd tid Obestämd tid Begränsa antalet specifikationer
Funktionaliteter Tekniska metoder för att representera information (eller tekniska egenskaper) Bild, text, ljud, rörlig bild, Vektor, bitmap, raster, Jfr pappersteknik använda typsatser som representerar bokstäver, rastrering för att representera färgnyanserade bilder. Vilken funktionalitet bäst lämpad för att representera en viss typ av information?
Implementation Hur en funktionalitet kodas och avkodas Kan automatiseras Är implementeringen i överensstämmelse med specifikationen?
Format resultatet av allt Innebörden av format Informationsformat och binärformat Hur något används ett protokoll, databasförfrågan, programmeringsspråk, program, och så vidare, och den form något har vid ett visst tillstånd i datorn ett format. Kan kontrolleras (verifieras och valideras) vara korrekt, men vi vet inte om återgivningen blir som ursprungligen förväntat, vilket beror helt på implementeringen vid återgivning.
SELECT kolumn FROM tabell WHERE kolumn = 'kanin'; # Är en informationsformat ( syntax ) # Kan bevaras över tid i [binär] kod (representerat här i nummer): 01010011 01000101 01001100 01000101 01000011 01010100 00100000 01110010 01100001 01100100 00100000 01000110 01010010 01001111 01001101 00100000 01110100 01100001 01100010 01100101 01101100 01101100 00100000 01010111 01001000 01000101 01010010 01000101 00100000 01110010 01100001 01100100 00100000 00111101 00100000 00100111 01101011 01100001 01101110 01101001 01101110 00100111 00111011 Allt blir ett format # Request header Accept: text/html,application/xhtml+xm plication/xml;q=0.9,*/*;q=0.8 Accept-Encoding: gzip, deflate, br Accept-Language: en-us,en;q=0.5 Connection: keep-alive Cookie:_ga=GA... Host: riksarkivet.se Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Windows NT 6.1; W ) Gecko/20100101 Firefox/62.0 # Syntaxen är definierat i diverse RFC. # Det binära formatet blir... 01000001 01100011 01100011 01100101 01110000 01110100 00111010 00100000 01110100 01100101 01111000 01110100 00101111 01101000 01110100 01101101 01101100 00101100 01100001 01110000 01110000 01101100 01101001 01100011 01100001 01110100 01101001 01101111 01101110 00101111 01111000 01101000 01110100 01101101 01101100 00101011 01111000 01101101 11100010 10000000 10100110 01110000 01101100 01101001 01100011 01100001 01110100 01101001 01101111 01101110 00101111 01111000 01101101 01101100 00111011 01110001 00111101 00110000 00101110 00111001 00101100 00101010 00101111 00101010 00111011 01110001 00111101 00110000 00101110 00111000 00001010 01000001 01100011 01100011 01100101 01110000 01110100 00101101 01000101 01101110 01100011 01101111 01100100 01101001 01101110 01100111 00111010 00100000 01100111 01111010 01101001 01110000 00101100 00100000 01100100 01100101 01100110 01101100 01100001 01110100 01100101 00101100 00100000 01100010 01110010 00001010 01000001 01100011 01100011 01100101 01110000 01110100 00101101 01001100 01100001 01101110 01100111 01110101 01100001 01100111 01100101 00111010 00100000 01100101 01101110 00101101 01010101 01010011 00101100 01100101 01101110 00111011 01110001 00111101 00110000 00101110 00110101 00001010 01000011 01101111 01101110 01101110 01100101 01100011 01110100 01101001 01101111 01101110 00111010 00100000 01101011 01100101 01100101 01110000 00101101 01100001 01101100 01101001 01110110 01100101 00001010 01000011 01101111 01101111 01101011 01101001 01100101 00111010 01011111 01100111 01100001 00111101 01000111 01000001 00101110 00101110 00101110 00001010 01001000 01101111 01110011 01110100 00111010 00100000 01110010 01101001 01101011 01110011 01100001 01110010 01101011 01101001 01110110 01100101 01110100 00101110 01110011 01100101 00001010 01010101 01110000 01100111 01110010 01100001 01100100 01100101 00101101 01001001 01101110 01110011 01100101 01100011 01110101 01110010 01100101 00101101 01010010 01100101 01110001 01110101 01100101 01110011 01110100 01110011 00111010 00001001 00110001 00001010 01010101 01110011 01100101 01110010 00101101 01000001 01100111 01100101 01101110 01110100 00111010 00100000 01001101 01101111 01111010 01101001 01101100 01101100 01100001 00101111 00110101 00101110 00110000 00100000 00101000 01010111 01101001 01101110 01100100 01101111 01110111 01110011 00100000 01001110 01010100 00100000 00110110 00101110 00110001 00111011 00100000 01010111 11100010 10000000 10100110 00101001 00100000 01000111 01100101 01100011 01101011 01101111
Exempel På specifikation, funktionalitet, implementation, och format
Behovet av beständighet Vilket tekniskt skick? För vilken tid? Specifikation Vilken specifikation syftar till att implementera det tekniska skicket?
Forma Funktionaliteter Vilka får eller får, ska, bör eller inte bör implementeras? Verifiera vilka som implementerats Projektl FormatE ska
ISO-8859-1 ÅÐÓÆ...È...»È..;U..ÿÿ.. %!PS-Adobe-3.1 EPSF-3.0. %ADO_DSC_Encoding: MacOS Roman. %%Title: Riksarkivet_rgb.eps. %%Creator: Adobe Illustrator(R) 15.0. %%For: Karin Keijser. %%CreationDate: 2013-01-08. %%BoundingBox: 0 0 152 43. %%HiResBoundingBox: 0 0 151.8... 11000101 11010000 11010011 11000110 00100000 00000000 00000000 00000000 10011011 11001000 00000110 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000 10111011 11001000 00000110 00000000 00111011 01010101 00000000 00000000 11111111 11111111 00000000 00000000 00100101 00100001 01010000 01010011 00101101 01000001 01100100 01101111 01100010 01100101 00101101 00110011 00101110 00110001 00100000 01000101 01010000 01010011 01000110 00101101 00110011 00101110 00110000 00001010 00100101 01000001 01000100 01001111... Implementationer Kodningen blir rätt vid framställning. Kan valideras. Fråga om avkodningen blir rätt vid återgivning? Om inte tillgång till program, referensimplementationer, fråga om sannolikhet formatet kan implementeras till det förväntade tekniska skicket. ISO 8859-1.PNG...IHDR...â...Å...µñÇ...sRGB. Î.é...gAMA..±.. üa...plte...#../.$:)......7..0*. 000.+F.2Q.9].@i.GtD..R..@;.@8.`..n..{..@J.PF.PX.@X/@^;P_$`T.p b. pl.@@@ppp```ppp...n..v..]..d.k.rº.y `.H`.zp o0... @..@..P..P..."..% )²#,.p..~.À&/Í(3Û+6...2... º...I. Z.³ @. O. e. a ¾D Â) Å: É5 È6Ï.ÏÀ.ßÄ.ÏË/ßÒ$ßÖ... 10001001 01010000 01001110 01000111 00001101 00001010 00011010 00001010 00000000 00000000 00000000 00001101 01001001 01001000 01000100 01010010 00000000 00000000 00001001 11100010 00000000 00000000 00000010 11000101 00001000 00000011 00000000 00000000 00000000 10010010 10110101 11110001 11000111 00000000 00000000 00000000 00000001 01110011 01010010 01000111 01000010 00000000 10101110 11001110 00011100 11101001 00000000 00000000 00000000 00000100 01100111 01000001 01001101 01000001 00000000 00000000 10110001 10001111 00001011 11111100 01100001 00000101 00000000 00000000 00000011 00000000 01010000 01001100 01010100 01000101 00000000 00000000 00000000 00000000 00000111 00001100 00001110 00000011 00000011 00000000 00001110 00010111 00010000 00001110 00000001 00011011 00000101 00000111 00010000 00010000 00010000 00000000 00010101 00100011 00000000 00011101 00101111 00000000 00100100 00111010 00101001 00001000 00001010 00100000...
FormatE ska kontextualisera grundprinciper för val av format i föreskrifter, vägledningar,... UTF-8 00110100 00110110 00110110 01100110 00110111 00110010 00110110 01100100 00110110 00110001 00110111 00110100 00110100 00110101 00110000 01100001 00110101 00110000 00110111 00110010 ASCII-7bit 01000110 01101111 01110010 01101101 01100001 01110100 01000101 00100000 01110011 01101011 01100001 00100000 01101011 01101111 01101110 01110100 01100101 01111000 01110100 01110101... ISO-8859-1.PNG...IHDR...P...ÿì....bKGD.ÿ.ÿ.ÿ ½...pHYs...#...#.x?v...tIME.â...#. «1ñ...tEXtComment.Created with GIMPW....IDATxÚí.Ïk#ÉÙÇ.~Ù.À»{2f0j]rÚ.fç`ä@ P+¹..+9.CÀ.V F.É,Ù..h1.ìY..O ^ðu.k..üâ.³.ì). Å`Ì.vXò.ô{H... 10001001 01010000 01001110 01000111 00001101 00001010 00011010 00001010 00000000 00000000 00000000 00001101 01001001 01001000 01000100 01010010 00000000 00000000 00000001 01010000 00000000 00000000 00000000 10011010 00001000 00000110 00000000 00000000 00000000 11111111 11101100 00010000 10111111 00000000 00000000 00000000 00000110 01100010 01001011 01000111 01000100 00000000 11111111 00000000 11111111 00000000 11111111 10100000 10111101 10100111 10010011 00000000 00000000 00000000 00001001 01110000 01001000 01011001 01110011 00000000 00000000 00101110 00100011 00000000 00000000 00101110 00100011 00000001...
UTF-8 00110100 00110110 00110110 01100110 00110111 00110010 00110110 01100100 00110110 00110001 00110111 00110100 00110100 00110101 00110000 01100001 00110101 00110000 00110111 00110010 FormatE ska kontextualisera grundprinciper för val av format i föreskrifter, vägledningar, FormatE ska kontextualisera grundprinciper för val av format i föreskrifter, vägledningar, ASCII-7bit 01000110 01101111 01110010 01101101 01100001 01110100 01000101 00100000 01110011 01101011 01100001 00100000 01101011 01101111 01101110 01110100 01100101 01111000 01110100 01110101... FormatE ska kontextualisera grundprinciper f?r val av format i f?reskrifter, v?gledningar, 10001001 01010000 01001110 01000111 00001101 00001010 00011010 00001010 00000000 00000000 00000000 00001101 01001001 01001000 01000100 01010010 00000000 00000000 00000001 01010000 00000000 00000000 00000000 10011010 00001000 00000110 00000000 00000000 00000000 11111111 11101100 00010000 10111111 00000000 00000000 00000000 00000110 01100010 01001011 01000111 01000100 00000000 11111111 00000000 11111111 00000000 11111111 10100000 10111101 10100111 10010011 00000000 00000000 00000000 00001001 01110000 01001000 01011001 01110011 00000000 00000000 00101110 00100011 00000000 00000000 00101110 00100011 00000001 ISO-8859-1.PNG...IHDR...P...ÿì....bKGD.ÿ.ÿ.ÿ ½...pHYs...#...#.x?v...tIME.â...#. «1ñ...tEXtComment.Created with GIMPW....IDATxÚí.Ïk#ÉÙÇ.~Ù.À»{2f 0j]rÚ.fç`ä@ P+¹..+9.CÀ.V F.É,Ù..h1.ìY..O ^ðu.k..üâ.³.ì). Å`Ì.vXò.ô{H......
UTF-8, ASCII, ISO-8859-1,... 00111100 01100100 01101001 01110110 00100000 01100011 01101100 01100001 01110011 01110011 00111101 00100010 01100001 01110010 01110100 01101001 01100011 01101100 01100101 00100010 00111110 00001010 00100000 00100000 00100000 00100000 00111100 01101000 00110001 00111110 00001010 00100000 00100000 00100000 00100000 00100000 00100000 00100000 00100000 00111100 01110011 01110000 01100001 01101110 00100000 01101001 01100100 00111101 00100010 01010000 01110010 01101001 01101101 01100001 01110010 01111001 01011111 01000101 01110000 01110100 01000110 01101001 01100101 01101100 01100100 00110001 00100010 00111110 01000110 01101111 01110010 01101101 01100001 01110100 01000101...
https://github.com/riksarkivet/format/ vägledande, normerande Wiki förklarande fakta
Tack!