RADAR. Mats Berggren / 2013-05-15



Relevanta dokument

ADDML vid Riksarkivet i Sverige

ESSArch vid Riksarkivet i Sverige

Nordisk El-Arkivseminar Island maj Svensk SIP och AIP Mats Berggren, Riksarkivet

Nordisk Arkivakademi Boden november 2009

eard Projektet Karin Bredenberg /

Paketstruktur. Karin Bredenberg /

Karin Bredenberg Specifikation av olika leveranstyper/aflevereringstyper och leveransprocessen. Karin Bredenberg,

METADATASTANDARDER EN ORIENTERING

INTERNATIONELL UTBLICK HUR MÄRKER VI AV ARBETET MED STANDARDER?

Digital arkivering och historiklagring Anastasia Pettersson och Anders Kölevik

Standarder vid digitalt bevarande. Karin Bredenberg /

Begrepp för elektroniska arkiv och digitalt bevarande. Översättning av OAIS & Begrepp för arkivenheter i olika standarder

Förvaltning av FGS:er

E-arkiv, eardoch Pre-pre-ingest

E-arkiv på SLL landstingsarkivet

Projekt e-arkiv och e-diarium (eard) Förvaltningsgemensamma specifikationer. 11 juni 2013

Hantera informationspaket i system för bevarande

Riksarkivets IT-verksamhet. En integrerad del av vårt dagliga arbete och långsiktiga verksamhetsutveckling. Rolf Källman

Projekt e-arkiv och e-diarium (eard)

Dokumenttyp Ordlista Projekt Elektroniskt bevarande, Etapp 2

Förvaltningsgemensamma specifikationer

PRAKTIKFALL: Vinnaren av ediamond Award 2014! Data kan flyttas utan att information går förlorad

Introduktion till (FGS) Vägledning och förklaring till de förvaltningsgemensamma specifikationerna. Introduktion RAFGS2D

REGEL FÖR BEVARANDE AV ELEKTRONISKA HANDLINGAR

Förvaltningsgemensam specifikation för leverans av enstaka publikationer till Kungliga biblioteket (FGS-PUBL)

Landstingsarkivet (Stockholms län) genom tre e-arkivgenerationer

Moment 5: Vad är ett e-arkiv och vad krävs för att införa det i min verksamhet?

Från dokumenthanteringssystem till e-arkiv Anastasia Pettersson Per Carlsson

Introduktion till. (FGS) FGS Paketstruktur. Vägledning och förklaring till de förvaltningsgemensamma specifikationerna. Introduktion FGS Paketstruktur

E-plikt och metadata.

Delrapport DP3. Metadata och e-tjänster för e-arkiv Förvaltningsgemensamma Specifikationer (eard FGS) FGS för paketstruktur för e-arkiv

Projekt E-ARK stöd vid digital arkivering. Björn ES Solutions

FALK 2015 FYRTIONIO KOMMUNER I VÄSTRA GÖTALAND HUR KAN VI SAMVERKA? Johan Kjernald IT-samordnare Johan.kjernald@grkom.

archive En produkt från Ida Infront - a part of Addnode Group

Konverteringsprojekt P47

Teoretiska överväganden kring långsiktig lagring av elektronisk information

Långsiktig informationshantering med stöd av e-arkiv. Caspar Almalander Projektledning e-arkiv och e-diarium (eard)

Resultaten från eard projektet Om förvaltningsgemensamma specifikationer

Delrapport DP3. FGS för paketstruktur för e-arkiv Bilaga 1 METS

Elektroniskt bevarande. Caspar Gielissen Eskilstuna kommun, Stadsarkivet

Senaste nytt om arbetet med e-arkiv och e-diarium (eard) Arkivforum, 6 november 2013

Ett e arkiv värt att lita på

Introduktion till (FGS) Vägledning och förklaring till de förvaltningsgemensamma specifikationerna. Introduktion RAFGS2D

Projektförslag e-arkiv

Workshopmallar The e C ap a it i al a l o f S c S a c n a din i av a ia

archive En produkt från ida infront - a part of Addnode

Vad är arkiv? Vem äger och ansvarar för informationen i arkiven?

Österåkers kommuns styrdokument

ATT FRAMSTÄLLA OCH LAGRA ELEKTRONISKA HANDLINGAR. en handledning för myndigheter i Västra Götalandsregionen och Göteborgs Stad

Svenska kyrkans bestämmelser

Flera landsting. ETT gemensamt e-arkiv

Statens servicecenter. - Uppdrag e-arkiv

Projekt e-arkiv och e-diarium (eard)

Från dokumenthanteringssystem till e-arkiv Anastasia Pettersson Per Carlsson

Enkät om hur man beskriver elektroniska dokument: Sverige

En introduktion till långtidsbevarande av digital information

IT ur arkivperspektiv

Ett e-arkiv värt att lita på UTKAST för synpunkter

Hela dokumentet Guide till handlingsalternativ kan hämtas via adressen arkiv

(arkivrelaterade begrepp är i huvudsak hämtade från Riksarkivets begreppslista, eard-projektet,

TAM 4:2010 REKOMMENDATION. Arkivfunktionalitet för IT-system. Version 1.0

Förvaltningsgemensamma specifikationer (FGS) Jan Aspenfjäll & Tomas Wallin

Digital arkivering. Börje Justrell/

Introduktion till. (FGS) FGS Personal. Vägledning och förklaring till de förvaltningsgemensamma specifikationerna. Introduktion FGS Personal

LDB-Centrum. Centrum för Långsiktigt Digitalt Bevarande. Östen Jonsson. Liten insats stor nytta

DP7 Kompletterande information

IT-avdelningen. Författare Funktion Telefon Datum Version Sid Karin Bredenberg SoU (10)

SND-forum 14 nov Transfers of research data to National Archives and use of our data for research. Magnus Geber

Riktlinjer för digital arkivering i Linköpings kommun

ISO Designing and Implementing a Records System (DIRKS/DIRS), Göran Samuelsson

Inbjudan till Request for Information (RFI)

Delrapport DP3. FGS för paketstruktur för e-arkiv Bilaga 2 PREMIS

Riktlinjer för digital slutarkivering

ATT FRAMSTÄLLA OCH LAGRA ELEKTRONISKA HANDLINGAR

En förvaltningsgemensam e-arkivstjänst bidrar till en effektivare e-förvaltning

FGS Paketstruktur. Förvaltningsgemensam Specifikation (FGS) för paketstruktur för e-arkiv

Rapport från ENSAM, E-arkivsamverkansgruppens metadatagrupp

Testplattformen (Webbarkivering)

Tillämpningsanvisningar för överlämnande till digital långtidsarkivering

FÖRSTUDIERAPPORT - SYDARKIVERA LABB

Arbeidet med e-arkiv i Sverige, på statleg, landsting og kommunalt nivå. 3 december 2013

Råd för hantering av elektroniska handlingar vid Lunds universitet. Datum Författare Version Anne Lamér 1.0

E-plikt. Kungliga biblioteket, Stockholm. Foto: Jens Östman #FAI2016

Arkivimpulser! E-arkiv, e-förvaltningens grundpelare eller To e or not to e. Caspar Almalander

Vägen till en förvaltningsgemensam e-arkiv lösning. Torbjörn Hörnfeldt, Enhetschef, Utveckling och e-förvaltning

Vägledning och funktionella krav

POLICY FÖR E-ARKIV STOCKHOLM

E-arkiv Stockholm - leveranser och tillgängliggörande. Matilda Ekström, Stockholms stadsarkiv

Förvaltning av FGS:er (Förvaltningsgemensamma specifikationer för e-arkiv och e-diarium) Karin Bredenberg /

POLICY FÖR E-ARKIV STOCKHOLM

DP7 FORMELL KONTROLL

Tidformat Tid anges enligt formatet yyyy-mm-ddthh:mm:ss Där plustiden är tidstillägg i förhållande till UTC 2.

3. Kravspecifikation Produkt

Gemensamt e-arkiv i Jönköpings län 2016 TERMINOLOGI

Digital arkivering i Örebro kommun - riktlinjer

Bevarande av webbplatser En kartläggning bland statliga myndigheter i Sverige

Strategi för bevarande av elektroniska handlingar

Invånare. Verksamhet. Bevarande

Transkript:

RADAR Mats Berggren / 2013-05-15 1

RADAR Varför digitalt bevarande? Riksarkivets digitala arkiv (RADAR) RADAR och eard 2

RADAR Varför digitalt bevarande? Riksarkivets digitala arkiv (RADAR) RADAR och eard 3

Varför digitalt bevarande? Åtkomst Duplicering Lagringsutrymme Born-Digital data 4

Hur information går förlorad Bit-fel (förluster på grund av åldrande lagringsmedia) Fysisk destruktion av lagringsmedia Avsiktligt raderande av information (sabotage) Oavsiktligt raderande av information (olyckshändelse) Hårdvaruteknologin blir obsolet Mjukvaran som hanterar hårdvaran blir obsolet Dataformaten blir omoderna och mjukvarustödet försvinner Bristfällig metadata eller bristfällig dokumentation 5

Åtgärder Lagringsmedia av god kvalitet Flera kopior lagrade på flera geografiskt åtskilda platser Checksummor för samtliga bevarade filer och arkivpaket Speciellt utformade säkra lokaler för digitalt bevarande Flera olika leverantörer av hårdvara och mjukvara Dark Archive (Ingen direktåtkomst via nät till det digitala arkivet) Schemalagd validering av lagrad data Relevant metadata och god dokumentation Bevarandeplanering Mediamigrering Formatmigrering 6

Andra överväganden Kostnader Följa standarder inom området Så enkla och få lagringsformat som möjligt Former för återsökning Distribution av den lagrade informationen 7

Trusted Digital Repository (ISO 16363:2012) http://public.ccsds.org/publications/archive/652x0m1.pdf Compliance with the Reference Model for an Open Archival Information System (OAIS) Administrative responsibility Organizational viability Financial sustainability Technological and procedural suitability System security Procedural accountability 8

RADAR Varför digitalt bevarande? Riksarkivets digitala arkiv (RADAR) RADAR och eard 9

Riksarkivets digitala bevarande Historik: Mottagande av digitala leveranser sedan 1970-talet Storskalig skanning av digitala bilder sedan 2003 Ett HSM-system installeras 2004 Behov av ny lagringsplattform redan 2007 Ny plattform RADAR baserad på OAIS-modellen RADAR (funktioner för skannade bilder) driftsatt 2009 RADAR (funktioner för Born-Digital ) driftsatt 2013 10

RADAR Vad är RADAR: Lagring av både Born-Digital data och digitala bilder Flera kopior på geografiskt åtskilda platser Proveniens och beskrivande metadata (ARKIS/NAD) Teknisk metadata och bevarandemetadata (ARKIS) Standardiserade metadataformat (METS, PREMIS mm) Specialutvecklat system för säker lagring (ESSArch) Utvecklingsbart om nya metoder och verktyg kommer Mediamigrering (Ej automatiserat) Schemalagd mediavalidering (Ej automatiserat) Formatmigrering (Ej automatiserat) 11

RADAR Vad är RADAR inte: RADAR är inte ett e-arkiv för snabb åtkomst till ärenden RADAR ger inte direktåtkomst till lagrade paket via nät RADAR är inte Riksarkivets eget myndighetsarkiv 12

OAIS modellen (ISO 14721:2012) http://public.ccsds.org/publications/archive/650x0m2.pdf 13

Riksarkivets digitala arkiv (RADAR) Tjänsteman Riksarkivet Allmänhet Sökning via NAD och SVAR:s webbplats Tjänsteman Myndighet Tjänsteman Riksarkivet ARKIS RALF KRAM Data Management KRAM Myndighetsverktyg för kontroll och SIP-generering Ingest Access Dissemination Digitala Kedjan Ingest ESSArch Archival Storage Tjänsteman Riksarkivet Tjänsteman MKC och SVAR 14

RADAR, ingående delar RALF Riksarkivets leveransförberedelseverktyg. Används av myndigheter. Utför grundläggande kontroller och skapar ett inleveranspaket (SIP) KRAM Kontrollramverket. En applikation som kontrollerar inlevererade SIP:ar. KRAM kan också konvertera äldre leveranser. KRAM används även för att ladda in mottagna filer till en SQL-databas för att underlätta utlämnanden Digitala Kedjan Riksarkivets skanningsverksamhet. Masterfiler i TIFFformat levereras som SIP:ar och långtidslagras i RADAR ARKIS Riksarkivets arkivinformationssystem. Innehåller arkivredovisningar och information både om analoga och digitala arkivalier ESSArch Riksarkivets storage management system. Administrerar den fysiska lagringen på band (LTO4) och hårddisk. Paketerar AIP:er i TAR-format. Utför checksumme-kontroll. Loggar alla inleveranser och uttag av informationspaket. ESSArch är ett Open Source verktyg och används även av riksarkivet i Norge 15

OAIS Ingest i RADAR 16

ESSArch Archival Storage system utvecklat av ESSolutions (www.essolutions.se) för Riksarkivet Paketerar, lagrar och återläser AIP:er Genererar, kontrollerar och lagrar checksummor för AIP:er och ingående filer En AIP består av en TAR-fil med innehållet beskrivet i en fil i METS-format. METS-filen kan referera till annan metadata i formaten PREMIS, ADDML, MIX och XHTML Lagrar AIP:er i en eller flera kopior på lagringsmedia. I dag används LTO-band och disk Loggar alla händelser enligt PREMIS-standarden Regelstyrd mediamigrering. I nuvarande version sker ingen automatisk migrering Uppdaterar ARKIS med information om AIP:er, lagringsmedia och händelser Hanterar SIP:ar i enlighet med eard FGS för paketstruktur för e-arkiv ESSArch är ett open source system. ESSArch finns tillgängligt via SourceForge (http://sourceforge.net/projects/essarch/) sedan 2011-03-15 ESSArch används av Riksarkiven i Sverige och Norge 17

Storage Architecture 18

Digitalt bevarande vid Riksarkivet (2013-05-14) Born-digital (Avdelningen för informationsbevarande) Cirka 3 TB Cirka 250000 filer Audio- och videofiler (Avdelningen för informationsbevarande) Över 100 TB (ständigt ökande pga digitalisering av analoga audiovisuella medier) Mindre än 10000 filer Multimedia (Avdelningen för informationsbevarande) Mindre än 1 TB Över 100000 filer Skannade bilder (MKC och SVAR) Färdigskannade volymer: 358894 (En skannad volym motsvarar en AIP med TIFF-filer) Bilder totalt: 136 miljoner (Varje bild finns i två format. Arkivformat: TIFF. Visningsformat: DjVu) Bilder publicerade på internet: 71 miljoner TIFF-filer: Cirka 1.8 PB lagrat på band. TIFF-filer: Total lagringsvolym inklusive exemplar två: Cirka 3.2 PB lagrat på LTO-band, dessutom 140 TB i HSM-system. DJVU-filer: Total volym, inklusive metadata i XML-format: Cirka 20 TB lagrat på disk. 19

Standarder TRAC Trusted Digital Repository (ISO 16363) (2002-2012) OAIS - Reference Model for an Open Archival Information System (ISO 14721) (2002-2012) METS (Metadata Encoding & Transmission Standard) - Structure for encoding descriptive, administrative, and structural metadata (DLF/LOC) (2004) PREMIS (Preservation Metadata) - A data dictionary and supporting XML schemas for core preservation metadata needed to support the long-term preservation of digital materials (OCLC/LOC) (2005) MIX (NISO Metadata for Images in XML) - XML schema for encoding technical data elements required to manage digital image collections (ANSI/NISO) (2006) TAR (Tape Archive) Filformat för paketering av filer för effektiv lagring på tape och disk. Övriga format ADDML (Archival Data Description Markup Language) Norska riksarkivets, och nu även Svenska riksarkivets, XML-format för beskrivning av levererade filer, i synnerhet flata filer med postbeskrivningar (2001, 2008) EAD (Encoded Archival Description) XML-format för arkivbeskrivningar (2002) EAC-CPF (Encoded Archival Context) XML-format för att beskriva arkivbildare och upphovsmän (2010) Under utredning WARC (Web ARChive, ISO 28500) Format för paketering och arkivering av webbsidor (2008) AudioMD, VideoMD, AES X098-B och MPEG7 Föreslagna scheman för teknisk metadata om audiofiler och videofiler. 20

RADAR Varför digitalt bevarande? Riksarkivets digitala arkiv (RADAR) RADAR och eard 21

Långsiktig informationsförsörjning Tjänsteman Allmänhet Söktjänster (t ex Mina ärendeöversikter, Mina fullmakter) Förvaltning A Förvaltning B Förvaltning C Förvaltning Diarieföringssystem/ÄHS FGS Tjänsteman Verksamhetssystem 1 Verksamhetssystem 2 FGS FGS E-Arkiv (mellanarkiv) E-Arkiv (mellanarkiv) E-arkiv (mellanarkiv) FGS Slutarkiv hos arkivmyndighet Slutarkiv hos (egen arkivmyndighet drift eller som Slutarkiv tjänst) hos (egen drift eller arkivmyndighet som tjänst) (egen drift eller som tjänst) Myndighetens överföring till e-arkiv Överlämnande till arkivmyndighetens e-arkiv 22

Så vad pratar vi om? Eventuell Beskrivande information I paketet stoppas alla filer! På utsidan sätter vi leveranssedeln med paketinformationen Eventuell Administrativ information I paketet stoppas Leveransfil(-er) och bilagor Leveransspecifikation Paketinformationen i form av en METS-fil enligt en paketprofil. Paketinformationen innehåller uppgifter om avsändare, arkivbildare, levererande system, filidentiteter och checksummor Ur paketet tar vi filerna och jämför dessa med informationen som finns i leveranssedeln för att få en första kontroll på att det stämmer. Eventuell Administrativ information Leveransen hanteras enligt de regler som gäller för leveransspecifikationen Paketinformationen i form av en METS-fil enligt en paketprofil. Paketinformationen innehåller uppgifter om avsändare, arkivbildare, levererande system, filidentiteter och checksummor Leveransspecifikation Leveransfil(-er) och bilagor Eventuell Beskrivande information Efter första kontrollen hanteras paketet enligt sin leveransspecifikation Leveransfil(-er) och bilagor 23

SIP enligt eard FGS för paketstruktur för e-arkiv 24

Riksarkivets digitala arkiv som E-tjänst (RADAR2) Tjänsteman Tjänsteman Riksarkivet Allmänhet Sökning via Riksarkivets webbplats Myndighet Tjänsteman Riksarkivet Tjänsteman ARKIS Riksarkivet Verksamhetssystem eller E-Arkiv hos myndighet E-Tjänst Riksarkivet KRAM Ingest Data Management KRAM Access Dissemination ESSArch Leverans av SIP som uppfyller specifikationen Archival Storage 25

Tack för visat intresse! mats.berggren@riksarkivet.se 26