En introduktion till långtidsbevarande av digital information <mets xmlns= http: // xml.ra.se/mets/ xmlns:xsi= http: // www.w3.org/ 2001/XMLSchema-instance Helsingborgs stadsarkiv 2012 Christian Jarnekrantz
Innehåll Sida Inledning 3 1. Identifiera bevarandevärd information datafångst 3 Informationsvärdering 3 Att fånga informationens kontext 3 2. Bestämma formerna för överförandet av information 4 3. Konvertera och paketera information 4 4. Överföra information till lagring och godkänna leverans 5 5. Arkivering slutarkivering 6 6. Tillgängliggörande 6 7. Mellanarkivering verksamhetsintegrerad arkivering 6 Lästips 8 Ordlista 9 2
Inledning Stadsarkivet har vid ett flertal tillfällen fått frågor kring vad som krävs om man vill långtidslagra digital information. Den här texten är tänkt att på ett enkelt sätt förklara förutsättningarna för digital långtidslagring samt ge en inblick i den pågående utvecklingen på området. Texten är medvetet kort hållen och förenklad och ska inte ses som en handbok för digital arkivering. Fokus ligger på identifikation, omhändertagande och inleverans av bevarandevärd information. Bevarandearbetet delas i texten in i sju steg. I steg 4-6 utgår beskrivningen från en slutarkiveringslösning. Vid en verksamhetsintegrerad lösning, ett s.k. mellanarkiv*, ser hanteringen något annorlunda ut och beskrivs under punkt 7. Kontakta gärna Stadsarkivet om ni har frågor eller funderingar. Ord i texten markerade med * förklaras i ordlistan sist i texten. 1. Identifiera bevarandevärd information - datafångst En viktig förutsättning för att kunna bevara information för framtiden är att identifiera vilken information som ska bevaras. Genom att göra en värdering av informationens innehåll och att kartlägga i vilken kontext informationen skapats fås en bild av informationens värde ur ett bevarandeperspektiv. Informationsvärdering Sett till den totala mängd digital information som en verksamhet skapar och hanterar är det bara en mycket liten del som ska bevaras för framtiden. För att veta vilken måste informationen värderas. Värderingen görs med utgångspunkt från verksamhetens egna krav, rättsväsendets krav och forskningens krav. Endast den information som efter värderingen har bedömts bevarandevärd kan komma ifråga för långtidslagring. Övrig information i ett system gallras* då den inte längre behövs. Vilken information som är respektive inte är bevarandevärd fastställs i dokumenthanteringsplaner eller gallringsbeslut. Värderingen görs huvudsakligen av skaparen av informationen, d.v.s. verksamheten själv, med stöd av verksamhetsspecifika dokumenthanteringsplaner samt utifrån styrdokument utformade av arkivfunktionen. Att fånga informationens kontext För att digital information ska vara förstålig och kunna göras sökbar är det viktigt att fånga sammanhanget i vilken den skapats. Digital information kan ju till skillnad från analog inte presenteras samlad då den inte är bunden till någon databärare*, utan innehåll, struktur och kontext är åtskiljda. Sammanhanget i det här fallet är kringuppgifter så som skaparen av innehållet, tidpunkten för informationens uppkomst, organisatorisk tillhörighet, teknisk systeminformation m.m. Den här typen av information om informationen benämns metadata*. Att fånga relevanta uppgifter med tillhörande metadata kallas datafångst. För att kunna genomföra en effektiv datafångst är det viktigt att kartlägga i vilka arbetsprocesser informationen skapas. I processkartläggningsarbetet* bör arkivfunktionen vara delaktig för att i det praktiska arbetet sätta specifik fokus på informationshanteringen. Det är viktigt i sammanhanget att påpeka att informationskartläggning varken förutsätter ett processorienterat arbetssätt eller en fullständig kartläggning av alla processaktiviteter. 3
2. Bestämma formerna för överförandet av information När den bevarandevärda informationen identifierats och fångats måste man bestämma vilka regler, standarder och verktyg som ska användas i den vidare hanteringen av materialet. Regler kan vara lagstiftning som reglerar den framtida tillgången till och hanteringen av handlingarna, så som omfattningen av sekretess och informationssäkerhet. Standarder är viktiga för att bestämma format och struktur för de omhändertagna filerna. Med verktyg menas programvaror eller moduler som kan ställa av data ur ett verksamhetssystem, konvertera filerna till godkända arkivformat, validerar det omhändertagna materialet m.m. Det är i den här fasen även viktigt att utreda och bestämma hur de omhändertagna filerna ska namnges, hur stora mängder som ska lagras, hur ofta överföring av material ska ske och hur mycket lagringskapacitet arkivet är i behov av. Av vikt är givetvis också att ha en budget och en tidplan för projektet. Allt det här nämnda ska regleras i en skriftlig överenskommelse mellan den levererande verksamheten och arkivet. Överenskommelsen tillsammans med övrig kringdokumentation sparas för att användas som underlag för avställning av information från andra verksamhetssystem. 3. Konvertera och paketera information Filer som ska tas omhand för långtidslagring kan ha sitt ursprung i flera olika typer av miljöer. Vanligast är systemspecifika filer från olika typer av verksamhetssystem men även filer skapade genom digitalisering eller filer från någon typ av mellanlagringslösning* kan förekomma. En förutsättning för att kunna ta omhand filer för arkivering är ofta att verksamhetssystemet har någon form av exportfunktion, vilket inte alltid är fallet. Det är likaså en fördel om systemet kan exportera direkt till ett arkivformat. Exporterade filer måste i de flesta fall konverteras till format lämpliga för långtidslagring, vilka är ickekommersiella ISO-standardiserade format med en öppen källkod. De här arkivformaten är dock inte någon för evigt hållbar slutlösning utan även de öppna formaten förändras över tid och sannolikt kommer också nya öppna format att tillkomma, varför kontinuerlig konvertering av arkiverade filer är nödvändig. För textdokument anses för tillfället PDF/A* vara det mest lämpliga formatet medan bilder bör vara i formatet TIFF*. När det gäller metadatastrukturer rekommenderas märkspråket XML*. Det finns idag ett brett utbud av programvaror för konvertering från kommersiella format till öppna format. Det är dock viktigt att kontrollera kvaliteten på de konverterade filerna utifrån standardens krav. Det finns annars en risk att filerna inte uppfyller kraven vilket kan skapa problem vid framtida konverteringar. Kontrollen, även kallad validering, görs med hjälp av en speciell programvara. Det är i sammanhanget viktigt att påpeka att överföring från källformat till målformat kan innebära gallring av allmänna handlingar/uppgifter och att det därför ofta krävs gallringsbeslut i samband med konvertering. Efter det att export (migrering) och validering genomförts måste filerna ordnas och struktureras, t.ex. efter vilken arbetsprocess de tillhör, så att filer med relaterad information hålls samlade. På så vis inordnas filerna i en struktur som möjliggör inordnande i en lagrings- 4
struktur. För att åstadkomma detta och för att förbereda filerna för leverans till ett system för långsiktig informationsförsörjning* skapas ett inleveranspaket. Ett sätt att skapa ett sådant är med hjälp av ett metadataschema i XML. Som verktyg kan t.ex. METS-standarden (Metadata Encoding and Transmission Standard. Skapad och förvaltad av Library of Congress, Washington D.C.) användas. Fördelen med den här paketeringslösningen är att den bevarandevärda informationen hålls samlad tillsammans med relaterad data som är nödvändig för att förstå och effektivt hantera innehållet. Inleveranspaketet innehåller därför förutom själva bevarandefilerna också beskrivande metadata (t.ex. sökingångar till materialet), som behövs för att kunna söka i filerna och förklara sambandet med verksamheten som skapade dem. Här återfinns också administrativ metadata med uppgifter om rättigheter, behörigheter, teknisk information om ursprungssystemet m.m. Uppgifter om hur de olika filerna hör samman och ska struktureras ingår också i inleveranspaketet. Att ordna det bevarandevärda materialet i informationspaket har sitt ursprung i OAISmodellens (Open Archive Information System. En ISO-standard ursprungligen utvecklad av rymdindustrin) uppbyggnad. Modellen är ett konceptuellt ramverk som föreskriver att ett digitalt arkiv i grunden ska bestå av en mottagningsyta, en lagringsyta och en exportyta. Filerna som ska lagras ska förpackas i inleverans-, arkiv- och exportpaket (SIP*, AIP* och DIP* med modellens terminologi) beroende på i vilken del av arkivet de befinner sig. Modellen har tjänat som underlag och inspiration för flertalet av de digitala arkiv som idag finns i drift. 4. Överföra information till lagring och godkänna leverans När den levererande verksamheten och arkivet kommit överens om vilket material som ska levereras och inleveranspaketet sammanställts kan processen med att överföra materialet inledas. Parterna bestämmer med utgångspunkt i mängden material de praktiska formerna för leveransen, bl.a. hur ofta leverans ska ske, hur mycket som ska leveras per gång och vilken teknik som ska användas. Är det frågan om små datamängder kan e-post eller DVD-skivor vara tillräckligt. För större datamängder är USB eller FTP att föredra. När producent och arkiv kommit överens om formerna för överlämnandet ska detta dokumenteras i en metodbeskrivning som bifogas leveransöverenskommelsen. Innan överföringen går in i skarpt läge bör en eller flera testleveranser göras. Vid testerna görs både automatisk och manuell validering av det mottagna materialet. Detta för att försäkra sig om att leveranspaketet stämmer överens med vad man kommit överens om. Det som kontrolleras kan t.ex. vara att strukturen på ett visst dokument följer en viss dokumenttypsdefinition* eller att dokumentets innehåll återges korrekt och är förståligt. Att förändringar av inleveranspaketet måste göras är inte ovanligt. Speciellt inte om leveransprocessen sträcker sig över en större tidsrymd. När testleveransen genomförts är det dags att inleda själva överföringen. Även denna gång måste validering göras för att kontrollera att överföringen gått rätt till. Efter det att överföringen genomförts och fått godkänt ska en bekräftelse skickas till producenten. I de flesta fall (beroende på teknisk och organisatorisk lösning) går nu ägandet 5
och det juridiska ansvaret för handlingarna över från producenten till det mottagande arkivet. 5. Arkivering - slutarkivering Efter det att systemet för bevarande mottagit inleveranspaketet skapas ett arkivpaket (AIP). Arkivpaketet är den av paketen som kommer att bevaras för framtiden. Paketet håller samman alla dataobjekt som behövs för lagring och utlämnande av arkivmaterialet, så som metadata som gör det möjligt att återskapa arkiverat material och metadata kopplade till den tekniska lagringsmiljön i e-arkivet. Beskrivande arkivmetadata som gör det möjligt att inordna och återsöka materialet i en arkivstruktur (EAD* och EAC*) läggs till paketet. För att göra lagringen så säker som möjligt bör minst två AIP-paket framställas. Det går dock inte att komma ifrån att lagringspaketen kontinuerligt måste migreras till nya lagringsformat för att säkra långtidslagringen. Lagringen av filerna sker vanligtvis på server, t.ex. en SQL-server. Till lagringsytan måste en administrativ funktion knytas. Detta behövs för att möjliggöra manuell och automatisk hantering av filerna. För att göra filerna läsbara krävs någon form av applikation, t.ex. en webbläsare. Vid utformningen av lagringsmiljön måste leverantörs- och plattformsoberoende lösningar eftersträvas. 6. Tillgängliggörande Då det omhändertagna materialet är inordnat i en arkivstruktur är det möjligt att lätt återsöka även för allmänheten. För att tillgängliggöra materialet för en bredare publik bör e- arkivet länkas till internet. Vid förfrågningar på materialet kan ett utleveranspaket (DIP) skapas. Ett sådant innehåller förutom den efterfrågade informationen också dokumentation som syftar till att göra innehållet lätt förståligt. DIP:en skapas utifrån AIP:en och har olika utformning beroende på om mottagaren är en privatperson eller någon annan arkivinstitution. 7. Mellanarkivering verksamhetsintegrerad arkivering Idag finns ett stort antal systemleverantörer på marknaden som erbjuder arkiveringslösningar. Det rör sig i merparten av fallen om lagring i leverantörsberoende lagringsmiljöer som ibland kan vara länkade till någon av systemleverantörens övriga produkter. Den här typen av lösning lämpar sig mycket väl för material som verksamheten inte längre har ett dagligt behov av men som fortfarande har relevans för verksamheten så som avtal, verifikat, rapporter, journaler m.m. Det rör sig alltså om material som fortfarande uppfattas som nyttigt för drift och planering men som ännu inte är redo att slutarkiveras. Mellanarkivet har i pappersvärlden sin motsvarighet i närarkivet. I en verksamhetsintegrerad arkivlösning äger och ansvarar verksamheten juridiskt för den lagrade informationen medan arkivfunktionen ansvarar för utformningen och driften av e-arkivet. Arkiveringen följer i stort de tidigare beskrivna stegen 1-4. Den bevarandevärda informationen konverteras från ett leverantörsberoende format till ett arkivformat och metadata bifogas. När arkivfilen sammanställts migreras den till mellanarkivet. Här inordnas den i en 6
struktur och görs sökbar. Arkiveringslösningen länkas sedan till ett operativt verkhetssystem. Med ett digitalt mellanarkiv avlastas operativa system samtidigt som verksamheten får direkttillgång till äldre material. För det material, ca 25-30% av den totala mängden, som ska bevaras för all framtid utgör emellertid mellanarkivet endast en mellanstation. Den verksamhetsintegrerade lösningen är nämligen inte en tillfredställande lösning för denna typ av material. Anledningarna är flera. Verksamhetens inflytande över materialet utgör i sig ett problem då struktureringen av arkivmaterialet blir styrt av verksamhetens önskningar. Följaktligen blir också metadata utformade utifrån verksamhetens krav. Att bifoga arkivmetadata, vilka är nödvändiga för långsiktig förståelse, strukturering och tillgängliggörande av materialet kan vara problematiskt. Att e-arkivet är länkat till operativa system gör också lagringsmiljön känslig för förändringar. Då de operativa systemen uppdateras måste vanligtvis också länkarna uppdateras. Själva lagringsmiljön är inte den heller skapad utifrån öppna standarder i så hög grad som är önskvärt, utan stor risk finns för att det arkiverade materialet redan efter 5-7 år måste migreras. Det finns också, som alltid vid leverantörsberoende lösningar, en risk för att systemleverantören går i konkurs eller på annat sätt försvinner från marknaden. Därtill finns, till skillnad mot en slutarkiveringslösning, högre kostnader för licenser och support. Trots mellanarkiveringslösningens svagheter är det ett attraktivt alternativ. Det är en flexibel lösning med relativt låga implementeringskostnader vilket torde göra den lämplig för den kommunala sektorn. 7
Lästips Texten i En introduktion till långtidsbevarande av digital information är huvudsakligen baserad på resultatet av samarbetsprojektet Elektroniskt bevarande. Etapp 2. Slutrapporten och delprojektrapporterna finns att tillgå på www.sambruk.se Ytterligare information om digitalt bevarande hittar ni på: https://ldb.project.ltu.se/projectweb/portalproject/index.html www.samradsgruppen.se www.riksarkivet.se http://www.nationalarchives.gov.uk/information-management/our-services/dc-what-is.htm http://www.digitalpreservation.gov/series/challenge/index.html http://www.ssa.stockholm.se/sv/om-stadsarkivet/e-arkiv-for-stockholms-stad/ 8
Ordlista AIP arkivinformationspaket (Archive Information Package) som lagras i ett e-arkiv (system för långsiktig informationsförsörjning) och som håller samman alla dataobjekt som behövs för att kunna bevara och lämna ut information Databärare fysiskt underlag för information, t.ex. CD-R eller hårddisk DIP Det informationspaket (Dessemination Information Package) som lämnas ut från e- arkivet till den som begär att få ut informationen (konsumenten) Dokumenttypsdefinition/DocumentTypeDefinition En mall för hur ett XML dokument ska vara uppbyggt. EAD - Encoded Archival Description. Ett XML-format för utbyte av information om arkiv och samlingar, ofta använt i kombination med standarderna Dublin Core och ISAD(G). EAC Encoded Archival Context. XML-format för att beskriva arkivbildare och upphovsmän. Konvertering Överföring av text eller bilder från ett format till ett annat. Mellanarkiv Ett system för bevarande för sådan information som flyttats från något verksamhetssystem men som fortfarande är tillgänglig för verksamheten METS Metadata Encoding and Transmission Standard är en öppen standard för att strukturera metadata utifrån XML schema. Ursprungligen skapad för biblioteksvärlden används den idag även i arkivsektorn som ett verktyg vid skapande av inleverans- eller utbytespaket, s.k. SIP. Genom att skapa gemensamma METS profiler är det möjligt att skapa en likartad SIP. Det möjliggör i sin tur informationsutbyte mellan myndigheter eller organisationer oberoende av organisationsstruktur, system och program. Migrering Att flytta information till en ny databärare samt att flytta program, data, hårdvara till annan tillämpning eller plattform OAIS Open Archival Information System, en konceptuell modell för att lagra information skapad av USA s rymdfartsstyrelse NASA. Enligt modellen ska information hanteras i form av informationspaket skapade utifrån funktionerna överföring, lagring och tillhandahållande. Processkartläggning Beskrivning, oftast grafiskt, av serier av aktiviteter i syfte att se vilken information aktiviteterna avsätter. Processkartläggning kan göras för många olika syften här avses främst kartläggning av informationsflöden. PDF/A Version av Adobes Portable Document Format lämplig för arkivering och sedan år 2005 en ISO-standard. SIP Submission Information Package. Den information verksamheten levererar till e- arkivet i form av ett leveranspaket. 9
System för långsiktig informationsförsörjning (SLI) Term introducerad av Riksarkivet i Förstudie om e-arkiv och e-diarium år 2011. Med informationsförsörjning menas förmågan att förse både den egna organisationen och utomstående med den information de efterfrågar. Med långsiktig informationsförsörjning menas förmågan att förse den egna organisationen och utomstående med relevant information också i framtiden. För att det senare ska vara möjligt är strategier och handlingsplaner för att hantera informationen över tid nödvändiga. Det faktum att databärare, program och filformat alla har en begränsad livslängd gör att aktiva åtgärder krävs för att göra informationen tillgänglig också framgent. Ett system för långsiktig informationsförsörjning är ett system som hanterar en myndighets elektroniska information med tillhörande dokumentation på ett sådant sätt att bevarandevärd information överförs till en bevarandelösning. Här hanteras informationen så att den via integrerade system kan förvaltas, vårdas, återsökas, administreras, tillhandahållas, dokumenteras samt vid behov migreras för vidare lagring. De uppgifter som uppkommer inom ramen för ovannämnda verksamhet kan även de överföras till format lämpliga för långtidslagring. TIFF Tagged Image File Format. Ett bitmap-baserat filformat lämpligt för långtidslagring av bilder. XML Exstensible Markup Language är ett märkspråk som används för att strukturera och organisera information eller data. För att kunna hantera och förstå XML-dokumentets innehåll krävs en förklaring av de ingående elementen och attributens betydelse och struktur. Därför används en dokumenttypsdefinition (DTD) som kopplas till XML-koden. På så sätt kan både avsändare och mottagare förstå informationen och dess struktur, varför XML och språk baserade på XML lämpar sig vid utbyte av information. 1 0
1 1