TNMK054 - LJUDTEKNIK 1 INTRODUKTION
NIKLAS Analoga syntar Ljud- & musikteknik Datorer, musik & elektronisk musik Programmering Noisource Media- & kommunikations- vetenskap PhD i teknisk audiologi
TNMK054 - LJUDTEKNIK 1 Introduktion till digital audio, ljudbearbetning och datormusik Översikt över tekniker för signalbehandling Filtrering och utjämning Digitala fördröjningsledningar Digitala audioeffekter Additiv och subtraktiv syntes Amplitud- och frekvensmodulering
TNMK054 - LJUDTEKNIK 1 Grunderna för att tänka ljudeffekter Se kopplingar till tidigare kurser - Ljudfysik - Signaler & system - Digitala medier - Programmering
TNMK054 - LJUDTEKNIK 1 Introduktion till ljudteknik Inspelning, mikrofoner etc Mix, filter, dynamik Rum, reverb, delay, etc Ljudsyntes Programmering/Matlab Arduino
NI HÅLLER TVÅ FÖRELÄSNINGAR Måndag 11 september - Delay - Chorus - Flanger Måndag 18 september - Phaser - Wah wah - Resonans och poler
ERA FÖRELÄSNINGAR Tänk mer seminarieform än klassisk föreläsningsform 20-30 minuter per grupp Dvs 15-20 slides Googla, biblioteket, och ev kursbok för info Bolla tankar och frågor med mig, men utnyttja alla lärare som finns! (skyll på mig) Leta gärna upp ljudexempel!
ERA FÖRELÄSNINGAR (FORTS.) Presentera effekten - vad den gör - hur den gör det - hur den låter Kolla gamla lösningar och modernare idéer Analogt och digitalt, eller Hur att programmera, problem att lösa, Var i signalkedjan
TRE GÄSTFÖRELÄSNINGAR 9 september Rikard Lindell från MDH - programmering för ljud-/ signalbehandling 19 september Dan Nyberg från NFC - forensiskt ljud/signalbehandling 10 oktober Jonatan Liljedahl - programmering av ljud-/ signalbehandling
FEM LABORATIONER Torsdag 1 september Vågformer, ljudsyntes, filter i Matlab Torsdag 7 september Vågformer, talsyntes, filter i Matlab Onsdag 13 september Delay, eko i Matlab Onsdag 20 september Forensisk ljudanalys Onsdag 27 september Arduino Onsdag 11 oktober Arduino 2 Torsdag 4 oktober Extra tillfälle
LABBARNA Var göra dem? KO201 eller TP4003 Har ni tillgång till datorer? Hörlurar? Matlab? Arduino IDE (Arduino Online IDE)
HEMTENTAMEN Ni kommer att få välja en uppgift, en ljudgrej som ska lösas. Ex: Ett antal ljudinspelningar av svar Automatiskt räkna responstid Problem: vad är tyst, harklingar, pauser i responen, bakgrunds- brus, hur räkna ut responstiden
HEMTENTAMEN Ni kommer att få välja en uppgift, en ljudgrej som ska lösas. För att lösa denna uppgift krävs teori, signalbehandling, ljudteknik, programmering. Ni ska koppla teori, pseudokod, samt förklara vad, hur och varför ni väljer en viss lösning. Ert svar, typ 4 sidor, ska mailas till mig inom utsatt tid.
HEMTENTAMEN Uppgiften hämtas vid Mirella Jormelins kontor i Kopparhammaren 2 25 OKTOBER KLOCKAN 13-13:30 Svaret mailas till mig, lämpligast i pdf-format 26 OKTOBER KLOCKAN 9:00
LJUD (LJUDFYSIKKURSEN) Uppkomst och spridning av ljud Svängningar och resonanser Vågutbredning Stående vågor
HÖRSELN 20-20000 Hz - 3000 & 4000 Hz - oktav = fördubbling av frekvensen - en CD-skivas frekvensomfång? 0-120+ db - decibelskalan är logaritmisk - en CD-skivas dynamiska omfång?
ÖRAT Ljud = vibrationer i luften -> tryckvariationer -> utbreder sig som ljudvågor Vätska, Stående vågrörelse. Låga frekvenser långt in. Vibrationer -> mekanisk överföring samt förstärkning av signalen
INNERÖRAT Frekvenstransform, snäckan är logaritmisk Mekanisk koppling, vågrörelse Vågrörelse i vätska till mekanisk rörelse/vibration Ljudrespons/reflektion, Otoacoustic emissions Yttre hårceller, mekanisk koppling, ickelinjär förstärkning (och dämpning) Inre hårceller, mekanisk -> elektrisk signal -> hjärnan
TALFREKVENSER & HÖRAPPARAT Frekvenserna visar var talljuden har mest innehåll, men inte hela frekvensomfånget. Första versionen av GSM Normal hörsel Hörselnedsättning Hörapparat
TALFREKVENSER & HÖRAPPARAT 24 kanaler parallellprocessning - Förstärkning - Kompression och expansion av det dynamiska omfånget - Brusreducering - Rundgångsdämpning Rundupptagande och/eller riktade mikrofoner Auditory scene analyses Kommunikation mellan HA Batteri på1.45v som ska räcka en vecka
COCHLEARIMPLANTAT HA -> frekvensband Sänder via elektromagnetisk induktion ~ 22 elektroder
COCHLEARIMPLANTAT HA -> frekvensband Sänder via elektromagnetisk induktion ~ 22 elektroder Påverkar ljudet mycket! Ingen temporal fine structure Dålig pitchuppfattning och frekvensdiskrimination Inget batteri = döv Youtube...
ELECTRIC ACOUSTIC STIMULATION Försiktig implantation Kombinerar HA med CI (~8 electrodes) HA i de låga frekvenserna och CI i de högre Bevarar (mer) temporal fine structure Bättre frekvens-diskriminering
ELECTRIC ACOUSTIC STIMULATION Försiktig implantation Kombinerar HA med CI (~8 electrodes) HA i de låga frekvenserna och CI i de högre Bevarar (mer) temporal fine structure Bättre frekvens-diskriminering Bevarar hörseln
DIGITAL LJUDREPRESENTATION Ljud är tryckförändringar i luften. Dessa ändras kontinuerligt i tiden. Alltså, ljud är analogt. Analogt <-> digitalt.
AD/DA-OMVANDLARE En bandbreddsbegränad signal kan samplas och rekonstrueras utan förlust. De numeriska värdena associerade med samplingen kan lagras digitalt. Sampeln hålls på samma nivå under en klockcykel under rekonstruktionen. Ett lågpassfilter interpolerar för att återskapa den ursprungliga vågformen.
AD/DA-OMVANDLARE Förstärkare Förfilter Sampling Kvantisering Kodning (LPF) (4-bitpar) 1011 1010 1001 1000 0111 0110 0101 0100 0011 0010 Lagring Avkodning Postfilter (LPF) 1011 1010 1001 1000 0111 0110 0101 0100 0011 0010
SAMPLING Nyquistteoremet Ett ljud (bandbegränsad tidskontinuerlig signal), med bandbredd f 0 Hz, och som samplas med samplingsfrekvensen f s kan återskapas från den samplade signalen om f s > 2f 0. CD = 44.1kHz DAT/DV = 48kHz 96kHz 192kHz DVDA & SACD
SAMPLINGSFREKVENS Frequency: 440 Hz. Phase: 0. Sample frequency: 4400 Hz. Bit resolution: 4 linear 1 Wave form to sample Digital representation 0.8 0.6 Amplitude levels (SQNR: 24.08 db) 0.4 0.2 0-0.2-0.4-0.6-0.8-1 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 Time (ms)
SAMPLINGSFREKVENS Frequency: 440 Hz. Phase: 0. Sample frequency: Frequency: 4400 Hz. Bit 440 resolution: Hz. Phase: 40. linear Sample frequency: 4400 Frequency: Hz. Bit resolution: 440 Hz. Phase: 4 linear 0. Sample frequency: 12000 Hz. Bit resolution: 4 linear 1 1 Wave form to sample Digital representation 1 Wave form to sample Digital representation Wave form to sample Digital representation 0.8 0.8 0.8 0.6 0.6 0.6 Amplitude levels (SQNR: 24.08 db) 0.4 0.2 0-0.2-0.4-0.6 Amplitude levels (SQNR: 24.08 db) 0.4 0.2 0-0.2-0.4-0.6 Amplitude levels (SQNR: 24.08 db) 0.4 0.2 0-0.2-0.4-0.6-0.8-0.8-0.8-1 -1-1 0 0.5 1 1.5 2 2.5 0 3 0.5 3.5 1 4 1.5 4.5 2 5 2.5 30 3.5 0.5 41 4.5 1.5 52 2.5 3 3.5 4 4.5 5 Time (ms) Time (ms) Time (ms)
I NTE UTAN > Frequency: 440 Hz. Phase: 0. Sample frequency: 880 Hz. Bit resolution: 4 linear 1 0.8 Wave form to sample Digital representation Analogue output Amplitude levels (SQNR: 24.08 db) 0.6 0.4 0.2 0-0.2-0.4-0.6-0.8-1 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 Time (ms)
I NTE UTAN > Nyquistteoremet f s > 2f 0. Frequency: 440 Hz. Phase: 22. Sample frequency: Frequency: 880 Hz. Bit 440 resolution: Hz. Phase: 40. linear Sample frequency: 880 Frequency: Hz. Bit resolution: 440 Hz. Phase: 4 linear45. Sample frequency: 880 Hz. Bit resolution: 4 linear 1 0.8 1 0.8 Wave form to sample Digital representation Analogue output 1 0.8 Wave form to sample Digital representation Analogue output Wave form to sample Digital representation Analogue output 0.6 0.6 0.6 Amplitude levels (SQNR: 24.08 db) 0.4 0.2 0-0.2-0.4-0.6 Amplitude levels (SQNR: 24.08 db) 0.4 0.2 0-0.2-0.4-0.6 Amplitude levels (SQNR: 24.08 db) 0.4 0.2 0-0.2-0.4-0.6-0.8-0.8-0.8-1 -1-1 0 0.5 1 1.5 2 2.5 0 3 0.5 3.5 1 4 1.5 4.5 2 5 2.5 3 0 3.50.5 4 1 4.51.5 5 2 2.5 3 3.5 4 4.5 5 Time (ms) Time (ms) Time (ms)
ALIASING (VIKNINGSDISTORTION) Aliasing uppstår om f 0 > f s /2. Högre frekvenser viks tillbaka till frekvenser < f s /2. Frequency: 440 Hz. Phase: 0. Sample frequency: 1760 Hz. Bit resolution: 4 linear Frequency: 1320 Hz. Phase: 0. Sample frequency: 1760 Hz. Bit resolution: 4 linear 1 0.8 Wave form to sample Digital representation Analogue output 1 0.8 Wave form to sample Digital representation Analogue output 0.6 0.6 Amplitude levels (SQNR: 24.08 db) 0.4 0.2 0-0.2-0.4-0.6 Amplitude levels (SQNR: 24.08 db) 0.4 0.2 0-0.2-0.4-0.6-0.8-0.8-1 -1 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 Time (ms) 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 Time (ms)
JITTER Vid både inspelning och uppspelning förutsätts att klockpulserna kommer med exakt samma tidsmellanrum. Ofta finns det små tidskillnader som kan degradera prestanda. Detta kallas jitter Jitter kan uppstå tex vid Hastighetsvariationer hos en CD/DVD-spelare Oregelbundenheter hos de klockor som styr AD och DA omvandling Vid överföring av en dataström (oftast synkroniseras klockor mellan sändare/mottagare)
KVANTISERING Det samplade analoga värdet omvandlas i en ADomvandlare till ett digitalt värde. Eftersom det är digitalt värde finns det ett begränsat antal nivåer, en begränsad noggrannhet, som bestäms av antalet bitar systemet arbetar med. Antalet intervall blir 2 n, där n är antalet bitar. 2 4 = 16 2 12 = 4096 2 16 = 65536 2 24 = 16777216
KVANTISERING Frequency: 440 Hz. Phase: 0. Sample frequency: 4400 Hz. Bit resolution: 2 linear Frequency: 440 Hz. Phase: 0. Sample frequency: 4400 Hz. Bit resolution: 8 linear 1 Wave form to sample Digital representation 1 Wave form to sample Digital representation 0.8 0.8 0.6 0.6 Amplitude levels (SQNR: 12.04 db) 0.4 0.2 0-0.2-0.4-0.6 Amplitude levels (SQNR: 48.16 db) 0.4 0.2 0-0.2-0.4-0.6-0.8-0.8-1 -1 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 Time (ms) 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 Time (ms)
EFFEKTIVT ANTAL BITAR Det effektiva antalet bitar (ENOB) kan skrivas som: ENOB = (dynamic range-1.72)/6.02 En 16-bits omvandlare med 90 db dynamiskt omfång, motsvarar 14.7 bitars effektiv upplösning. Ett ljud representerat i 16-bitar, och en 16-bitars DAC minskar antalet effektiva bitar med 1 varje gång volymen halveras. Vid inspelning är fler bitar att föredra vad gäller dynamiskt omfång och head-room.
DYNAMISKT OMFÅNG Skillnaden mellan den i amplitud starkaste samplen och tyst, eller Signal-to-error ratio 8-bitar = 49.8dB 16-bitar = 97.8dB 24-bitar = 145.8dB
KVANTISERINGSFEL Kvantiseringen kommer att ge ett fel i den samplade signalen på upp till +-1/2 LSB. (Least Significant Bit) Vid starka signaler är det liten korrelation mellan signalen och kvantiseringsbruset. Det påminner om vitt brus. Kvantiseringsfelet blir ohörbart vid fler bitar, 16-20 bitar. Men, vid svaga signaler, och sämre upplösning, blir bruset ofta korrelerat till signalen och kan ge hörbar distortion.
DITHER Nivåer under LSB-nivån kan inte kvantiseras och kodas. Dessa blir antingen 1 eller 0, dvs 50% chans. Med dithering kan hörbara artefakter som uppstår pga kvantiseringen undertrycks. Dithering lägger till ett svagt brus. Detta svaga brus gör att samples som är lägre än LSBnivån på ett korrekt sätt antingen blir 1 eller 0.
BRUS Vitt brus, har lika stor amplitud i alla frekvenser. - 40-80 Hz har samma intensitet som 4000-4040 Hz. Rosa brus, har samma ljudintensitet inom frekvensområden som är proportionellt lika stora. - 40-80 Hz har samma intensitet som 4000-8000 Hz. - -3dB/oktav Rött brus = -6dB/oktav Blått brus = +3dB/oktav Lila brus = +6dB/oktav
LINJÄR/OLINJÄR KVANTISERING Ett annat sätt att kringgå kvantiseringsfel är linjär kvantisering. Frequency: 440 Hz. Phase: 0. Sample frequency: 22050 Hz. Bit resolution: 4 linear Frequency: 440 Hz. Phase: 0. Sample frequency: 22050 Hz. Bit resolution: 4 non-linear 1 Wave form to sample Digital representation 1 Wave form to sample Digital representation 0.8 0.8 0.6 0.6 Amplitude levels (SQNR: 24.08 db) 0.4 0.2 0-0.2-0.4-0.6 Amplitude levels (SQNR: 24.08 db) 0.4 0.2 0-0.2-0.4-0.6-0.8-0.8-1 -1 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 Time (ms) 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 Time (ms)
LÅGPASSFILTRERING Analogt eller digitalt lågpassfilter tar bort frekvenser > f s /2 i samband med uppspelning av digitalt representerat ljud. Frequency: 440 Hz. Phase: 0. Sample frequency: 4400 Hz. Bit resolution: 8 linear 1 0.8 Wave form to sample Digital representation Analogue output 0.6 Amplitude levels (SQNR: 48.16 db) 0.4 0.2 0-0.2-0.4-0.6-0.8-1 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 Time (ms)
DIGITAL LJUDREPRESENTATION Frequency: 440 Hz. Phase: 0. Sample frequency: 4400 Hz. Bit resolution: 8 linear Frequency: 440 Hz. Phase: 0. Sample frequency: 12000 Hz. Bit resolution: 8 linear 1 0.8 Wave form to sample Digital representation Analogue output 1 0.8 Wave form to sample Digital representation Analogue output 0.6 0.6 Amplitude levels (SQNR: 48.16 db) 0.4 0.2 0-0.2-0.4-0.6 Amplitude levels (SQNR: 48.16 db) 0.4 0.2 0-0.2-0.4-0.6-0.8-0.8-1 -1 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 Time (ms) 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 Time (ms)
TNMK054 - LJUDTEKNIK 1 LJUD I MATLAB
ATT LÄSA IN LJUD I MATLAB Läsa in ett ljud till en vektor + samplingsfrekvens. [y,fs] = audioread(filename); Spela upp ett ljud: player = audioplayer(y, Fs); play(player); Spela upp ett ljud och vänta tills det är klart: playblocking(player); Spara till ljudfil: audiowrite(filename,y,fs);
ATT PLOTTA LJUD I MATLAB Plotta ett ljud: plot(y); Spektrogram av ett ljud: - short-time Fourier transform - delar ljudet i ett antal fönster - antal samples som överlappar mellan fönster - antal samplingar som används i Fouriertransformen - ange Fs för rätt skalning - sätt frekvensen på y-axeln spectrogram(y, nwin, noverlap, nfft, Fs, 'yaxis');
ATT MIXA I MATLAB Att mixa två ljud i Matlab = summera två vektorer. newvector = vectorone + vectortwo; Att förändra ljudvolymen på ett ljud = multiplicera vektorn med ett värde mindre än 1. newvector = vectorone.*0.5; Matlab arbetar med flyttal, men ett ljud får inte ha högre nivå ut än -1 -> 1. En ljudvektor varierar runt 0. Annars uppstår överstyrning/distortion vid uppspelning.
ATT MIXA I MATLAB (FORTS.) Kolla maxvärdet amplitud i ett ljud: max(newvector); Fast ett ljud har värden runt 0, så: max(abs(newvector)); Lägsta värdet i amplitud: min(newvector); Kolla medelvärdet i amplitud i ett ljud: rms(newvector);
ATT MIXA I MATLAB (FORTS.) Amplitudvärden i Matlab till db: amplitudeindb = 20*log10(amplitudeLevel); Ett stereoljud är en vektor med två serier i. left = y(:,1); right = y(:,2); Vridning/transformering av vektor i Matlab: x = y ; Ett monoljud spelas upp som stereo Panorering av stereoljud