Digitaliseringsprojektet och samling av metadata vid digitalisering

Digitaliseringsprojektet och samling av metadata vid digitalisering István Kecskeméti 11.11.2009 PhD, Enhetschef Arkivteknisk enhet

Nordisk Arkivakademi 10-11.11.2009 Boden

Kecskeméti 2008 PhD Museology, Jyväskylä University 2005 MA Museology, Jyväskylä University 1996 BA Conservation, Göteborg University 2009- Head of Conservation, digitisation and microfilming, National Archives, Archiving techniques unit 2007-2009 Development manager, digitisation and microfilming, National Archives, Archiving techniques unit 2000-2007 Head of paper conservation education, EVTEK Institute of Art and Design 1985-2000 Private photographer, teacher and conservator

Arkivteknisk enhet Conservation and preservation Condition survey project 2008-2009 Conservation documentation database Paper historical research Mold research services Conditions in storage criteria for storage rooms Archival materials criteria Digitisation 1,4 million digitised documents by 2008 Quality criteria of digitisation 1,55 million for digitisation May-December 2009 4,3 million documents to be digitised Microfilming As a part of digitisation process Quality criteria of microfilming Guidance, consultation, education

Digitalisering vid Riksarkivet 1948 start av mikrofilmning 1997 VAKKA arkivdatabas, av företag CCC 1999 start av färdigitalisering av stora kartor (2-5000 / år) 2003 start av Digitalarkiv, lagring och presentation av digitaliserade filer (master TIFF, SDLT magnetband) 2004 start av digitalisering av mikrofilmer (100.000-250.000 / år) 2006 start av digitalisering av bundna volymer, ca 35.000 s / år December 2007: 1.000.000 TIFF / jpg filer i Digitalarkiv 30 Tb Mars 2008: Mikrofilmining en del av digitaliseringsprocesser Augusti 2008: Rekommendation för kvalitetskriterier vid digitalisering Maj 2009: 1,5 miljoner filer 45 Tb Maj December 2009 Digitaliseringsprojekt 4.300.000 filer,120 Tb

VAKKA Arkivdatabas ISAAD(G) ja ISAAR(CPF). 1997. ca 90% av samlimgarna beskrivna

Digitaliserade filer: nogrannare indexering när behövs

Digitalisering maj 2009 3 MIKROFILMKAMEROR, 100.000 bild/år digitaliseras CRUSE A-0 färgskannare för kartor och ritningar, 5000/år CRUSE A-2 färgskannare för bindningar, 35.000 sidor/år ZEUTSCHEL gråskalskannare för bindningar, 20-40.000 sidor/år MIKROFILMSKANNARE, 300.000 bild/år 3 civiltjästeman, bildbehandling Från 1999 färgskanning Från 2004 mikrofilmskanning 1,5 miljoner bildfil i Digitalarkiv (maj 2009) Digitaliseringsproject maj-december 2009 4.300.000 filer 120 Tb

Digitalisering 2010-2012 3 MIKROFILMKAMEROR, 100.000 bild/år digitaliseras CRUSE A-0 färgskannare för kartor och ritningar, 5.000/år CRUSE A-2 färgskannare för bindningar, 35.000 sidor/år CONTEX färgskannare för kartor och ritningar, ZEUTSCHEL gråskalskannare för bindningar, 20-40.000 sidor/år MIKROFILMSKANNARE, 1-2.000.000 bild/år 6-7 arbetsår + 3 civiltjästeman (bildbehandling) Tjänstedigitalisering 2010-2012 ca 5.000.000 filer, 150 Tb 2010-11 digitalisering av kyrkoböcker före 1860, ca 5.000.000 filer, 130 Tb 3 arbetslösa i projekt (bildbehandling) + extern finansiering 2010 februari 6 miljoner (170 Tb) 2012 ca 16 miljoner TIFF (450 Tb)

Filer 18000000 16000000 14000000 12000000 10000000 Filer 8000000 6000000 4000000 2000000 0 2004 2005 2006 2007 2008 2009 2010 2011 2012

Quality criteria for digitisation August 2008, will be updated with metadata from scanning event Gives instructions for digitisation activities of the National Archives of Finland and partner heritage organisations digitizating documents and maps for the Digital Archives of NA http://digi.narc.fi/digi/ Digitisation by camera: accepted after consultation Color digitisation: 300 ppi, 24 bit, color calibration Grey scale digitisation: 300 ppi, 8 bit Black & white digitisation: 600 ppi 1 bit, accepted only after consultation Storage formats: TIFF non packed, WAV, MPEG-2 Storage media: NA master data duplex magnetic tape system, server for use copies (jpg, mp3). 5 year migration interval.

Digitisation and storage at National Color digitisation 24 bit Archives Grey scale digitisation 8 bit Long term master file, not packed TIFF Tape storage offline, SDLT 2003-2009 LTO4 2009- Usage file, jpg 2 different sizes Server, online INFORMATION SERVICE

Styrning av projektet 1.5. 31.12.2009. Undervisningsministeriet tilldelades 1 550 000 euro åt Riksarkivet för digitalisering av samlingar och för att utveckla databaser. Arkivråd Eljas Orrman Enhetschef István Kecskeméti Projektschef Reko Etelävuori Projektschef Tuomas Riihivaara Projektgrupp; administrationschef Anitta Hämäläinen, administrationsexpert Marjut Sievänen-Machado, enhetschef Marja Pohjola, Markku Mäenpää, Juhani Tikkanen, landsarkivschef Tytti Voutilainen, utvecklingschef Päivi Happonen, ICTchef Marko Natri.

Projektchef Reko Etelävuori, ansvarig för digitalisering: Processer, utvidjning av metadata, kvalitetskontroll av digitalisering, bildbehandlingskriterie, utbildning av personal, förvaring av digitala fil, personalansvarighet, rapportering Tuomas Riihivaara, ansvarig för samlingar: Antal och format av valda samlingar, ledning av metadatamatning till VAKKA databas, förklaring av tekniska arkivenhetskoder, utveckling av användbarhet av Digitalarkiv, ansvarighet för anbudsförfarandet, budgetansvarighet

Tillfällig personal Tillfälligt anställd personal i Riksarkivet mellan 1.5-31.12.2009: 2 projektchef 3 VAKKA databas matare 3 personer för sortering och katalogisering (kartor och ritningar) 3 konservatorer (kartor och ritningar) 1 konserveringsassistent (kartor och ritningar) 5 skanningstekniker (kartor och ritningar samt mikrofilmrullar) 1 datasystemexpert (1.6-15.7.) 2 personer för indexering (mikrofilade samlingar) 2 personer för mottagning, granskning och matning av digitala filer till Digitalarkiv Företag som digitaliserar (köptjänster), mellan 1.9.-31.12 ca. 15-20 personer för digitalisering samt bildbehandling Totalt motsvarar ca. 13 personal år

1,55 M - 8 månader Mars-april 2009: förberedning av digitaliseringsprocesser samt samlingsval Maj 2009: projektet startar, rekrytering, planering av anbudsförfarandet (out sourcing), samlinsval, företag som digitaliserar Juni-juli 2009: anbudsförfarande Juni 2009: Utvecling av infrastruktur av digitaaliarkiv Juli: start av digitalisering av mikrofilmer av Riksarkivet Juni-september, november 2009: instruktioner för digitalisering, beroende av samling Augusti 2009: testning av digitaliserings kvalite (outsourced) September 2009: digitalisering av mikrofilm och kort startar av 2 företag Oktober 2009: Utveckling av mottagning av digitala filer, problem med långsamt mottagning November 2009: Förflyttning till ny workflow (MF-digitalisering) November 2009: Full fart December: Pengarna är använda och projektet avslutar

Digitala processer 1A Mikrokort (fische), köptjänst från 1.9.- 1B Mikrofilm (rullar), köptjänst från 1.9.- 1E Mikrofilm (rullar), skannas av Riksarkivet från 1.7.- 2 Kartor och ritningar, skannas av Riksarkivet från 2.9.- 3 Katalogkort, skannas av Riksarkivet från 15.9.-

Process 1A, 1B och 1E Mikrokort: Kyrkoböcker från den överlämnade Karelen 1860-1945 Civilregister från den överlämnade Karelen 1918-1950 Senator Leo Mechelins samt Gezelius privatarkiv Finska passmyndighets arkiv i St Petersburg Totalt 40.000 kort, 1,4 miljoner fil, 36 Tb Mikrofilmroll: Krigsdagsböcker från vinter- och fortsättningskrigar Domsböcker Räkenskaper för fögderierna (från 1530 talet) Diarieböcker från ministerier Totalt 3.000 roll, 1,9 miljoner fil, 56 Tb

Process 2 och 3 2. Kartor och ritningar Heraldiska samlingar Lantmäterikartor Typshusritningar Rysk ingengörskommenderingsgruppens kartor och ritningar Vyborgs guvernementskartor Byggnadsregeringens ritningsarkiv Totalt ca 25.000 kartor och ritningar 3. Katalogiseringskort Totalt ca. 800.000 kort TOTALT minst 4,3 miljoner fil, 130 Tb

Vilken metadata samlas? Metadata vid digitalisering kan delas i två kategorier: - Teknisk metadata som beskriver och dokumenterar digitaliseringsprocessen (skanningen). - Innehållsmetadata, som beskriver samlingar (VAKKAarkivdatabas). - Varje arkivenhet har en teknisk ID kod, t.ex. 123456.KA. Med koden kan digitaliserade bilder kopplas ihop med innehållet.

Metadata Digitalisering 24 bit färg 8 bit gråskal Bildehandling Digitalarkiv Förvaring Användning (bildfil) Metadata, skanning Metadata, bildbehandling Metadata, samlingar VAKKA databas Användning (information om samlingar)

Metadata från en billig kamera DSCN7350.JPG CAMERA : E4500V1.2 METERING : MATRIX MODE : A SHUTTER : 1/1886sec APERTURE : F5.3 EXP +/- : 0.0 FOCAL LENGTH : f7.9mm(x1.0) IMG ADJUST : AUTO SENSITIVITY : ISO200 WHITEBAL : AUTO SHARPNESS : OFF DATE : 25.09.2009 02:20 QUALITY : 2272x1704 NORMAL SATURATION : 0 FOCUS AREA : CENTER

Skanning, metadata (TIFF) Archive unit identification_page number (arkivenhet_sidonummer) - XMP-Core - Title Place of digitization (company), digitizer (name) - XMP-Core - Creator Time of digitization - XMP-Core - CreateDate Scanner/Camera - TIFF Properties - Make Scanner model - TIFF Properties - Model Software XMP-Core - CreatorTool Jpg: endast Archive unit identification_page number - XMP-Core - Title

Skanning, metadata (TIFF)

Bildbehandling, metadata Metadata collected from image prosessing: Place of image processing (company), editor (name) - XMPMM - Contributor Time of image processing - XMP-Core - ModifyDate Software (image processing) -XMPMM - softwareagent History of image processing From Photoshop history log (Photoshop CS4 works fine, older versions of Photoshop may write over some previous metadata felts)

Skanning, metadata 2.1 t.ex. Skrivning av metadata till 1 Tb yttre hårddisk tar en dygn

New work flow MF-skannare Ribbon Server 8 Tb Web Server JPEG TIFF 2 X JPEG DA Import Auditering bildbehandling SIP Digitaliseringsmetadata (automatiserad 2.1) Innehållsmetadata (VAKKA databas) Web-import TIFF LTO Backup Total digitalisering i oktober 1,5-2,5 Tb/dygn Metadata kan skrivas i 1 Tb/dygn hastighet (flera PC, flera Tb) SERVER kan mottaga 1,7 Tb/dygn, men räkna jpg från TIFF bara 0,2 Tb/dygn LTO backup 1,2 Tb/dygn nya servrar för räkning, ny workflow

Gråskalsskanning, mikrofilm

Digitalarkiv

Digitalarkiv

Riksarkivet: http://www.narc.fi/ Digitaaliarkisto: http://digi.narc.fi/digi/ istvan.kecskemeti@narc.fi +358-50-5675887