Bilaga till Fas 2-rapport för Sammanfattning av nerlagt arbete inklusive tester och testresultat Inledning I fas 2 av Kungliga Bibliotekets innovationsupphandling har huvuduppgiften angivits som att ta fram en prototyp baserad på de tidigare presenterade förslagen, och att använda denna prototyp för inspelning av skivor och presentera resultaten. Framtagande av prototyp Slutligt val av design av och komponenter till prototypen Enligt den tidigare presenterade idén används en linjekamera och linjebelysning i en geometri vald för att väl synliggöra spåren på skivans yta. Linjekameran avbildar cirka 5 mm i taget av skivan. Efter att skivan snurrat ett varv med kameran på en radiell position flyttas kameran till nästa position och ytterligare ett varv spelas in. Totalt kommer det då, lite beroende på spårens placering på skivan, behövas cirka 20 förflyttningar för att spela in en sida på en fullängdsskiva. Bilden ovan visar principen med en belyst linje på skivytan. Den höga förstoring krävs för att kunna avbilda detaljer i skivans ljudbärande information ger upphov till ett kort skärpedjup vilket gör att man kontinuerligt bör fokusera om kameran för att följa den ofta oplana skivytan. Detta har lösts genom att en avståndssensor kontinuerligt Bilaga till Fas 2 rapport 1(15)
mäter variationer i avståndet till skivans yta och kameran sitter på en linjärenhet som rör sig motsvarande sträcka. Denna lösning har dock inneburit två svårigheter. Den första är att avståndssensorn av mekaniska skäl måste registrera avståndet i en punkt skild från det exakta området där kameran spelar in bilder, vilket betyder att avståndspositioner måste sparas tillsammans med exakta koordinater för mätningarna, och sedan skickas till linjärenheten när kameran registrerar bilder vid motsvarande koordinater. Detta har ännu inte implementerats. Den andra svårigheten är att då kameran och belysningen sitter vinklade mot varandra betyder en variation i skivytans höjd inte enbart att fokus behöver justeras utan även att kameran i vissa fall kan komma att registrera bilder på ett område av skivans yta som inte är upplyst. Försöken har visat att denna effekt är påtaglig även för måttliga krökningar av skivans yta. Lösningar för att bli av med denna effekt har identifierats, men är ännu inte färdigutvärderade. Ovan visas en bild av prototypen i användning. Inköp och hyra av komponenter till prototypen Till prototypen används en linjekamera med tillhörande makrooptik och linjebelysning. Till kamera och belysning har rörlig mekanik för att kunna röra kameran radiellt och längs optiska axeln såsom beskrivits ovan, tillsammans med en känslig avståndssensor, valts och inkorporerats i prototypen. Mekanik har konstruerats och byggts för att kunna visa en fungerande prototyp av detta. Till prototypen har ett antal komponenter köpts in, men vi har även haft förmånen att låna alternativt hyra vissa av dem för tester och utvärdering, vilket har visat sig värdefullt då vissa komponenter efter de första testerna kan komma att bytas ut för förbättrad funktionalitet. Bilaga till Fas 2 rapport 2(15)
Mjukvara Utöver mekanik och hårdvara så har det konstruerats mjukvara kring prototypen. Det har tagits fram mjukvara för styrning av kamera, linjärenhet (fokus), avståndssensor och bildbehandling. Bildbehandling En typisk bild av en LP skiva ser ut som i bilden ovan. Spåren framstår som svarta mot den ljusa skivytan. Som synes finns i stort sett alltid även repor och fläckar på skivan som bildbehandlingen måste ta hänsyn till. Cirka 20 spår syns samtidigt i bilden, men detta varierar beroende på hur tätt packade spåren är på skivan. För LP skivor innehåller höger och vänster spårvägg de två olika kanaler som ger stereo ljud. Bildbehandlingen går därför i stora drag ut på att hitta positionen för höger och vänster kant för hela skivspåret, för att sedan omvandla detta till ljud. I grova drag görs extraktionen av ljud från bilderna enligt följande: Det första steget i bildbehandlingen är att hitta spåret i bilden, och att därefter följa spåret, med andra ord bygga ihop ett enda långt spår av det 20 tal som syns i bilden, och att sammanfoga detta spår för alla bilder som registrerats med olika radiella positioner. Därefter tittar man efter de två väggarna, höger och vänster vägg, då båda dessa måste hittas separat för att kunna återge det riktiga stereo ljudet. Därefter tas positionen för kanten mellan spårvägg och skivyta fram i varje position, och ur dessa positionangivelser extraheras sedan ljuddatat. Bilaga till Fas 2 rapport 3(15)
Bilden till vänster visar resultatet av bildbehandlingen, där positionen för höger respektive vänster kant har hittats och märkts ut med rött respektive grönt. Notera att algoritmen inte blir lurad av repan som går tvärs över spåren. Bildbehandlingen, precis som en fysisk nål, kan bli störd av repor och riskerar att hoppa mellan olika spår. Stor vikt har lagts vid att få bildbehandlingen robust för att klara dessa situationer utan att tappa det riktiga spåret. Systemdesign En design av mjukvarusystemet har tagits fram och till viss del implementerats. I och med de stora datormängderna och den relativt krävande bildbehandlingen som behövs så har designen landat i en molnlösning där hårdvaran i slutändan blir billigare och lättare att dimensionera. En enkel mjukvara kommer köra lokalt vid hårdvaran för att registrera bilder, förflytta kameran tvärs skivan och justera fokusering av kameran. Bilddatat kommer sedan föras över till en annan mjukvara som kommer extrahera ljuddatat. Själva extraktionen av ljuddatat kommer därför kunna köras parallellt på en mer skalbar hårdvara, eventuellt molntjänst. Bilddatat kommer även att sparas i sin originalform, vilket medför framtida förfining av ljuddatat vartefter algoritmerna för att gå från bild till ljud utvecklas vidare. Bilaga till Fas 2 rapport 4(15)
Försök med alternativ inspelningsgeometri Ljudinformationen på skivan finns i spårens rörelse i sidled. Denna kan ses antingen som variationer i spårets position, eller variationer i spårets vinkel, eller ytnormal. Skillnad i position registreras med den grundteknik som används i prototypen, då spåret syns som vitt mot en svart bakgrund (se resultat bilder nedan). Detta är effektivt då det ger bilden en hög kontrast. Man utnyttjar dock inte kamerans potential att ge information i gråskalor, utan får en snarast binär bild. Om man istället låter ljuskällan reflekteras i skivspårets vägg kan man nyttja gråskalorna genom att se när spårväggen vinklas mot respektive från optimal geometri för reflektion. Detta ger en möjlighet att få ytterligare ljudinformation, särskilt högfrekvent information där själva positionen ändras mycket lite relativt pixelupplösningen, men denna vinkeländring ger ett utslag som kan registreras. Denna information kan på ett naturligt sätt vägas samman i den sannolikhetsmodell som tidigare tagits fram för spårkanter, på ett sätt som ger det bästa från båda metoderna (se tabell nedan). Bas Diskant Frekvens Låg Hög (> 8 khz) Periodlängd Lång Kort Mekanisk amplitud Stor Liten (< 1 µm) Nålens acceleration Liten Stor Primär informationsbärare Spårets position Spårytans normalriktning Mätning av position Mycket stabil Lägre signal till brusförhållande pga liten amplitud. Mätning av ytnormal Små mätvärden pga liten acceleration. Mer störkänsligt för damm, repor m.m. Mätvärden även vid extremt små mekaniska amplituder. Effektiv mätmetod Följ spårkanter Uppskatta ytnormal med differentiell belysning (kompletterande metod) Försök för att principiellt undersöka detta utfördes med resultat som visar att frekvenser upp till åtminstone 18 khz kan avbildas tydligt med denna metod. Bilaga till Fas 2 rapport 5(15)
I bilden ovan visas ett glidfrekvensspår tagen med den alternativa geometrin. Frekvensen på spåret är låg till höger i bild för att bli högre mot vänster. Som synes sitter kameran i en geometri som ger ett extremt kort skärpedjup, och enbart ett fåtal spår kan avbildas skarpt samtidigt i detta försök. Bilden till vänster är en inzoomad detalj från bilden ovan. Bildfrekvensen vid detta försök var 80 khz och skivan, som var den testskiva för LP vi erhållit från Kungliga Biblioteket, snurrade i 33 rpm. De tre frekvenser som syns i bilden är cirka 10, 13 och 18 khz. Trots att bilden är påverkad av otydligt fokus framträder alltså frekvenser upp till 18 khz mycket tydligt med denna teknik. Resultaten pekar på att frekvenser upp till 20 khz, ifall dessa skulle ha registrerats i dessa bilder, hade kunnat urskiljas väl. Detta försök visar på möjligheter att förbättra inspelningen av ljuddata med ytterligare en teknik. En inspelningsutrustning som bygger på denna teknik skulle kräva ytterligare hårdvarukomponenter och en hel del nyutveckling och konstruktion för att få en fungerande enhet med avseende på såväl optik och mekanik som bildbehandling. Idéer för hur detta skulle kunna lösas har tagits fram, men realiserbarheten och kostnaden för detta har inte utvärderats till fullo. Bilaga till Fas 2 rapport 6(15)
Resultat Ljudkvalitet för olika medier inspelade med prototypen Stenkaka (lateral gravering) Raderna i bilden är registrerade i 50 khz, skivan roterar i 33 rpm, vilket ger en effektiv samplingsfrekvens om 118 khz. Bildfältets bredd är cirka 5 mm. Inläsningar gjorda av testskiva med diskreta frekvenser visar hur känslig metoden är för att registrera olika delar av frekvensspektrat, vilket exemplifieras nedan. Bilaga till Fas 2 rapport 7(15)
Bilden ovan visar frekvenssvar för inspelning av spår med frekvensen 700 Hz, rå signal före bildbaserad filtrering. Bilaga till Fas 2 rapport 8(15)
Bilden ovan visar frekvenssvar för inspelning av spår med frekvensen 1000 Hz, rå signal före bildbaserad filtrering. Bilderna ovan visar frekvenssvar för inspelning av spår med frekvensen 1000 Hz, rå signal före bildbaserad filtrering. Den nedre delen visar en inzoomad detalj i den övre. Ljudexempel på inspelning av stenkaka bifogas i separat ljudfil. Bilaga till Fas 2 rapport 9(15)
LP Raderna i bilden är registrerade i 50 khz, skivan roterar i 33 rpm. Bildfältets bredd är cirka 5 mm. Spåren är som synes betydligt smalare för LP formatet än för stenkake formatet, vilket ställer högre krav på såväl optik och mekanik som bildbehandling. Inläsningar gjorda av testskiva med diskreta frekvenser visar hur känslig metoden är för att registrera olika delar av frekvensspektrat, vilket exemplifieras nedan. Bilaga till Fas 2 rapport 10(15)
Bilderna ovan visar frekvenssvar för inspelning av spår med frekvensen 1000 Hz, rå signal före bildbaserad filtrering. Den nedre delen visar en inzoomad detalj i den övre. Ljudexempel på inspelning av LP skiva bifogas i separat ljudfil. Den bifogade ljudfilen bekräftar att all väsentlig ljudinformation kommer med vid avspelningen. Ljudfilen kommer ifrån en äldre, välspelad skiva, som i sig alltså inte är felfri. Skivan är inte rengjord mer än en snabb avtorkning med en ändamålsenlig borste. Med optisk inläsning följer möjligheter att Bilaga till Fas 2 rapport 11(15)
filtrera bort de detaljer från bilden som ej ser ut som man förväntar sig från ett skivspår, och på så sätt reducera vissa av de störningar som kan väntas från konventionell avspelning av en använd skiva. Utvärdering av möjligheterna för förbättrat ljud för LP pågår, och systemet optimeras fortlöpande för förbättrad ljudkvalitet. Mjukvaran stödjer den RIAA korrektion som är nödvändig för att förstärka höga respektive låga frekvenser på korrekt sätt. Lackskivor Exempel på lackskivor med okänt innehåll har erhållits från Kungliga Biblioteket. Den ena är svart och den andra gulfärgad, båda med delvis sprucken lack. Dessa spelades in som övriga skivor, med 50 khz bildfrekvens och 33 rpm. Ovan bildexempel på inspelad gul lackskiva. Bilaga till Fas 2 rapport 12(15)
Ovan bildexempel på inspelad svart lackskiva En intressant observation från dessa två inspelade lackskivor är att spåren ligger ungefär lika tätt, men är olika grova, och därmed med olika mycket plan yta synlig mellan spåren. Det krävs en robust bildbehandling för att kunna följa spåren lika väl i båda dessa fall. Bildbehandlingen är gjord på samma sätt som för stenkaka, och ljudet från en del av den svarta lackskivan har kunnat återskapas. Den visade sig innehålla stråkmusik. Ljudexempel från denna inspelning bifogas i separat ljudfil. Hastighet på inspelning och överföring från bild till ljud Den kamera som används avbildar cirka 5 mm åt gången av skivans yta. Då skivytan ofta är ojämn och kameran behöver fokusera om för att ge bästa möjliga bild av spåren ses ingen fördel med att öka kamerans synfält, då detta troligen skulle göra att delar av synfältet ligger utanför bästa fokus. Bilaga till Fas 2 rapport 13(15)
Spåren på skivan bör därför kunna spelas av under den tid skivan snurrar cirka 20 varv. Viss extra tid krävs för att avläsa positionsdata för de första varven innan kameran börjar registrera dessa bilder, samt extra tid för att kameran ska röra sig stabilt mellan de olika radiella positionerna. Totalt sett bör inspelning av en sida av en LP skiva som roteras i 33 rpm ta cirka en minut. Till detta läggs förstås hantering av skivorna. Då hanteringen också kommer ta viss tid ses inte en uppsnabbning av inspelningen genom exempelvis en snabbare kamera ge någon väsentlig tidsvinst. Att lagra alla primärdata (dvs. bilder och enkoderdata) för en hel sida av en LP skiva (300 mm diam.) beräknas kräva omkring 1,5 GB, om förlustfri komprimering används. Om man når ner i en genomsnittlig takt av en skivsida per minut motsvarar det 200 Mbit/s i dataflöde, vilket med god marginal kan skickas över ett normalt datornätverk till en nätverksenhet (t.ex. ett NAS eller ett SAN). När primärdatan väl är lagrad kan bildbehandlingen utföras i den takt som krävs för att nå bästa resultat utan att störa inspelningen av nästa skiva. Skadade och spräckta skivor Avspelning av spräckta skivor förväntas fungera väl i prototypen med några tillägg till mjukvaran. För att kunna knyta ihop spåren på en spräckt skiva krävs ytterligare bildbehandling, vilket kan implementeras under framtida arbete. Idé till automatiserat system Nuvarande prototyp behöver färdigställas med automatisk radiell rörelse och förbättrat autofokus, samt mjukvara för att enkelt starta en avspelning av skiva och därefter uppladdning av data till server alternativt molntjänst. För att ytterligare automatisera funktionen föreslås att skivspelaren i utrustningen placeras i en låda som kan öppnas och stängas automatiskt, och att en automatisk arm som lyfter skivor från en stack till skivspelaren, såsom i en jukebox, varefter skivspelaren skjuts in till positionen för avspelning. Inspelningsutrustningen kan då också förses med en enkel areakamera som tar en bild etiketten på skivan och sparar denna tillsammans med de genererade spårbilderna. Efter inspelning öppnas lådan för skivspelaren för att ge åtkomst till skivan och ytterligare en arm lyfter skivan av tallriken till en annan stack, vartefter en ny skiva placeras på tallriken. För att få med bilder på båda skivsidorna kan man manuellt vända på hela stacken efter inspelning och placera denna stack för att plockas av armen för en andra inspelning. Bilaga till Fas 2 rapport 14(15)
Eventuella ändringar från tidigare rapporter Delrapport 2 infogad i denna rapport på grund av komprimerat tid för arbete med prototypen. Affärsnytta har bildats ur OptoNova ABs konkursbo i syfte att fullfölja arbetet med denna innovationsupphandling och därefter kunna fortsätta driva utvecklingen av en optisk skivspelare. Företaget har under projektet haft ett stort fokus på att lösa de tekniska utmaningarna. Mycket arbete kvarstår därför med att undersöka olika framtida affärsmöjligheter för det nya bolaget. Intresse hos såväl möjliga kunder som större skivarkiv och liknande som möjliga finansiärer av fortsatt verksamhet kommer att undersökas inför planeringen av företagets framtida verksamhet. Ytterligare relevant information Framtida planer inkluderar följande punkter: Förbättrad fokusering. Uppsnabbad bildbehandling. Implementerad automatisk radiell rörelse efter inskanning av ett varv. Arbete med förbättrad funktion för spruckna och skadade skivor. Demonstrationer för intressenter. Bilaga till Fas 2 rapport 15(15)