Teoretiska överväganden kring långsiktig lagring av elektronisk information

Teoretiska överväganden kring långsiktig lagring av elektronisk information Jonas Palm, Göteborg, november 2014 Riksarkivet

Digitally born Digitaliserat

PARADIGMSKIFTE INOM BEVARANDE AV INFORMATION Tidigare: Traditionella material (t.ex. papyrus, pergament och papper) togs fram för att långsiktigt säkra information. Bevarande var en del av produktionskonceptet. Nu: Digital teknologi och dess medier har utvecklats för att bearbeta och distribuera information.

Digitalt bevarande: Bevarande via databärare - Databärarnas fysiska åldrande - Databärarnas generationsskiften - Lässtationernas generationsskiften Bevarande av informationsinnehåll - Filformat - Mjukvaror för läsning och konvertering - Plattformar (OS) - Metadata

Digitala arkiv från myndigheter: Kostnader för mottagande och administration relaterade till Den digatala handlingens komplexitet. Leverans - genomsnittskostnad: 32 000:- 1 800:- 1 592 000:- Långtidsbevarande/år genomsnittskostnad/arkiv: 8 600:- 850:- 47 000:- 1GB databas kan kosta upp till 3 700:-/år att bevara filstruktur och komplexitet påverkar kostnader för långtidsbevarande.

Ny kostnadsbild exempel: Preservation alternatives: Preservation storage of paper documents and digital copy of the same. 300 250 [ ] 200 150 Paper documents Digital copy 100 Digital copy 50 Paper documents 0 Storage cost linear meter Från J. Palm, Preservation costs, presentation på UNESCO, Paris, februari 2013 Costs for storage of digital information higher the bigger amount of bytes, and complexity of context.

Det digitala svarta hålet

Kostnader för hårdvara, uppgradering av hårdvara, lagringsmedier, migrering av information etc. $ SEK DKK

och vid inaktivitet blir det osäkert om informationen förblir korrekt...

och till förloras kontakt med informationen.

Långtidsbevarandets villkor: Medier (hårddiskar, LTO-band, SSD etc) fortsätter förmodligen att bli billigare per lagringsenhet vilket dock inte påverkar den totala kostanden för bevarande, jämfört med övriga omkringkostnader. Kostnader administration, konvertering och migrering kommer troligen att öka med stigande löner, lokalkostnader. Dessa kostander kan till viss dess motbalanseras med automatiserade aktiviteter. Svårt att långtidsplanera teknikutvecklingen både hjälp och problem.

- bevara informationen - säkra det konceptuella sammanhanget Ett långsiktig mål 4 8 år med en lång rad kortsiktiga mål

Riksarkivets långtidsbevarande

Riksarkivets digitala arkiv RADAR

Riksarkivets digitala arkiv P47 DIGITALISERAT AV RA IT DIGITALA LEVERANSER A/V MATERIAL RADAR

Ackumulerad mängd i TB 2014 (sedan 1970- talet) fördelat på huvudgrupper 7,000.00 6,500.00 6,000.00 5,500.00 5,000.00 TB 4,500.00 4,000.00 3,500.00 3,000.00 2,500.00 2,000.00 2014 1,500.00 1,000.00 500.00 0.00 P47 Digitala leveranser Digitaliserat av RA A/V material

Ackumulerad mängd data årsvis leveranser och egenskannat 2,500 2,000 1,500 TB 1,000 500 0 till 2001 2002 2003 2004 2005 2006 2007 2008 År 2009 2010 2011 2012 2013 2014

RA:s bevarande av digital informagon Bandrobot för HSM Max kapacitet 140 TB (Terabyte) RA:s HSM- system har ingen support sedan 2008 LTO- kasseler på hylla f.n. 3,7 PB (Petabyte), dubleler förvarade på två vil skilda platser, två olika Sllverkare

Den passiva strategin

LTO kassetter

LTO GENERATIONER - LÄSBARHET LTO 1 100 GB LTO 2 200 GB LTO 3 400 GB LTO 4 800 GB LTO 5 1,5 TB LTO 6 2,5 TB LTO 7 6,4 TB LTO 8 12,8 TB LTO 10? 2000 2003 2005 2007 2010 2012 2014 2017 2023 LTO 6 LTO- band är läsbara två generasoner framåt LTO 4 LTO 8 LTO 1 100 GB LTO 2 200 GB LTO 3 400 GB LTO 4 800 GB LTO 5 1,5 TB LTO 6 2,5 TB LTO 7 6,4 TB LTO 8 12,8 TB LTO 10? Läsare är två generasoner bakåtkompasbla

LTO GENERATIONER - GENERATIONSSKIFTEN VI UTFÖR MIGRERING I SISTA MINUTEN, DÅ DET ÄR SOM BILLIGAST MEN OCKSÅ SOM MEST UTSATT.

Riksarkivets kostnader för långtidsbevarande

Genomsnittskostnad för bevarande av 1 GB/år 2005: ca 44:- 2010: ca 12,50:- 2014: ca 6,60:- Kr/GB 50 45 40 35 30 25 20 15 10 5 0 0 0.5 2005 1 1.5 2010 2 2.5 2014 3 3.5 kostnad

2500 Förutsättningar 2005 Förväntad datatillväxt: 40 TB/år Satsning på HSM-system 2000 TB 1500 1000 Ackumular mängd data Lagring i HSM-robot Långtidsplanering i HSM 2005 500 0 till 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014

2500 Realitet 2014 Reell datatillväxt: 243 TB/år Satsning på hyll-system 2000 TB 1500 1000 Ackumular mängd data Lagring i HSM-robot Långtidsplanering i HSM 2005 500 0 till 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014

Bevarandekostnadernas ökning 1800000 16000000 1600000 14000000 1400000 12000000 GB 1200000 10000000 Kostnad i kronor 1000000 8000000 Ackumulerad mängd 800000 Kostnad för bevarande totalt 600000 6000000 400000 4000000 200000 2000000 0 till 1 2 3 4 5 6 7 8 9 10 11 12 13 14 2001 0

Bandrobot för HSM fr 2004 > Ingen support sedan 2008 LTO- kasseler på hylla fr 2006 >

Nuvarande informagonsmängd på olika LTO- kasseper (2014) fördelat på generagoner 1600 1400 1402 1200 Antal 1000 800 700 LTO 2 140 TB 600 586 LTO 3 383 TB LTO 4 1669 TB 400 200 140 TB 383 TB 1669 TB 0

Framtiden

Datamängd Skanningskvalitet för 20 år sedan

Datamängd Skanningskvalitet för 10 år sedan

Datamängd Skanningskvalitet 2014

576 Megapixel Datamängd

7,000.00 6,500.00 Ackumulerad mängd i TB 2014, 2017 och 2023 (sedan 1970- talet) fördelat på huvudgrupper Tillväxt med dagens skanningskvalitet 6,000.00 5,500.00 5,000.00 TB 4,500.00 4,000.00 3,500.00 3,000.00 2,500.00 2,000.00 1,500.00 2014 2017 2023 1,000.00 500.00 0.00 P47 Digitala leveranser Digitaliserat av RA A/V material

7000 Ackumulerad mängd i TB 2014, 2017 och 2023 (sedan 1970- talet) fördelat på huvudgrupper Uppskatad Sllväxt med färgskanning TB 6500 6000 5500 5000 4500 4000 3500 3000 2500 2000 1500 1000 500 2014 2017 2023 0 P47 Digitala leveranser Digitaliserat av RA A/V material

TB 7000 6500 6000 5500 5000 4500 4000 3500 3000 2500 2000 1500 1000 500 Ackumulerad mängd i TB 2014, 2017 och 2023 (sedan 1970- talet) fördelat på huvudgrupper Uppskatad Sllväxt med färgskanning KOSTNAD FÖR DENNA PRODUKTION HITTILLS: 150 000 000 bilder: ca. 120 000 000:- 2014 2017 2023 0 P47 Digitala leveranser Digitaliserat av RA A/V material

"Material bör prioriteras för digitalisering bara om det finns en färdig plan för bevarande och Sllgängliggörande av de digitala filerna." (Digisams checklista för prioritering, RA 06-2013/4851)

Framtida lagringsmedier? Holography Omfattande forskning men lite resultat Använder en bärare som är tjock som ett hårstrå och informationen lagras tredimensionelt Multilayer optical discs Uppenbara problem med dataläsning - mycket dåligt SNR Upp till 40 lager med information DNA storage 700 TB/gram 600 EB/liter Teoretiskt fantastiska möjligheter med beräknad livslängd på 100 000-tals år Oöverstigliga kostnader nu Teoretiskt kan det slå alla former av kända lagringsmedier avseende kostnader, lagringskapacitet och läshastighet Källa: Barry Lunt, Prof. of Information Technology, Brigham Young University, Provo, UT, på IS&T Archiving, Washington DC, 2013

Aktiviteter LDB-centrum, Luleå UNESCO PRESIST PREFORMA LIFE PLANET Etc, etc, etc

Slut