Psykoakustik. Ljudtrycksnivå. Hörselns omfång. Hörnivå (loudness) Människans hörsel är ganska väl studerad och det finns bra modeller för den.

Transkript

1 Psykoakustik TSBK35 fö 10 p.3 Ljudtrycksnivå TSBK35 fö 10 p.4 Människans hörsel är ganska väl studerad och det finns bra modeller för den. Detta kan utnyttjas vid ljudkodning för att placera distorsionen (kvantiseringsbruset) så att det ska märkas så lite som möjligt. Alla moderna ljudkodningsmetoder utnyttjar psykoakustik vid kodningen, vilket ger en signifikant förbättring av den upplevda kvaliteten. Ljudet kan representeras som en tryckvåg med trycket p. Ljudtrycksnivån (sound pressure level, SPL) definieras som SPL =10 log 10 ( p p 0 ) 2 [db] där p 0 =20µP a är det minsta ljudtryck som kan uppfattas för en ton vid 2 khz. Ofta beskriver man ljud i termer av ljudintensiteten I, vilket är effekten per ytenhet (W/m 2 ) i ljudvågen. I är proportionell mot p 2. Sålunda kan SPL också beräknas som SPL =10 log 10 I I 0 [db] där I 0 =10 12 W/m 2 motsvarar intensiteten för en våg med tryck p 0. Hörnivå (loudness) TSBK35 fö 10 p.1 Hörselns omfång TSBK35 fö 10 p.2 Hörnivån för ett ljud definieras av nivån på en ton vid 1 khz som uppfattas som lika starkt som ljudet. Hörnivån beror på intensiteten, frekvensinnehåll och längd. Figuren visar hur hörnivån varierar med nivå och frekvens för tonsignaler. Hörnivån 0 db sätter en gräns för hur svaga ljud som kan uppfattas, den så kallade hörseltröskeln. Figuren visar hela omfånget för människans hörsel, samt typiska värden för tal och musik.

2 TSBK35 fö 10 p.7 TSBK35 fö 10 p.8 Hörseltröskel Hörseltröskel Hörseltröskeln är viktig i ljudkodningssammanhang. Frekvenskomponenter i insignalen som ligger under tröskeln kan tas bort utan att lyssnaren märker någon skillnad. Om kvantiseringsbruset för de frekvenskomponenter som skickas ligger under tröskeln kommer det inte att vara märkbart. Figuren visar hur hörseltröskeln typiskt varierar med åldern. Maskering TSBK35 fö 10 p.5 Frekvensmaskering TSBK35 fö 10 p.6 Förutom hörseltröskeln kan man även utnyttja ett fenomen som kallas maskering (eng. masking) vid ljudkodning. Maskering innebär att starka ljud dränker ut svaga ljud. Dessa svaga ljud kan då tas bort helt eller kvantiseras hårdare. Maskeringen uppträder både i tid (temporal maskering) och i frekvens. Avståndet mellan nivån för en signalkomponent och den maskeringskurva den ger upphov till vid en viss frekvens brukar benämnas signal to mask ratio, SMR. Ju högre SMR, desto mindre maskering. Ett starkt ljud maskerar svagare ljud vid närliggande frekvenser.

3 Smalbandigt brus TSBK35 fö 10 p.11 Smalbandigt brus TSBK35 fö 10 p.12 Figuren visar hur smalbandigt brus maskerar tonsignaler vid olika frekvenser. Figuren visar hur smalbandigt brus maskerar tonsignaler vid olika nivåer. Toner TSBK35 fö 10 p.9 Temporal maskering TSBK35 fö 10 p.10 Ett starkt ljud maskerar svagare ljud både innan (pre-masking) och efteråt (post-masking). Post-masking varar mycket längre än pre-masking. Figuren visar hur en ton vid 1 khz maskerar andra tonsignaler.

4 TSBK35 fö 10 p.15 TSBK35 fö 10 p.16 Kritiska band Barkskalan Som synes i tidigare kurvor beror maskeringens bredd på frekvensen hos den maskerande komponenten. Detta är direkt kopplat till hur hörselsinnet fungerar rent fysiskt. Man brukar därför beskriva signalen i den så kallade barkskalan, där man delar in frekvenserna i band som motsvarar hörselsinnets frekvensupplösning. z f l f u f z f l f u f Bark Hz Hz Hz Bark Hz Hz Hz TSBK35 fö 10 p.13 TSBK35 fö 10 p.14 Smalbandigt brus Smalbandigt brus Figuren visar hur maskeringen för smalbandigt brus ser ut beskriven i barkskalan. Maskeringen ser i princip likadan ut för alla frekvenser (jämför med tidigare figur.) Maskering för smalbandigt brus vid 1 khz vi olika nivåer.

5 TSBK35 fö 10 p.19 TSBK35 fö 10 p.20 Psykoakustiska modeller MDCT Vid ljudkodning kodas signalen typiskt i block av storleksordningen 1000 sampel. För att utnyttja psykoakustiken mäter man blockets innehåll av olika frekvenskomponenter (helst i barkskalan). Man försöker även klassificera de olika banden som toner eller brus. Prototypmaskeringskurvor för de olika banden kombineras med hörseltröskeln till en total SMR-kurva. Bitar delas ut till de olika banden så att SNR (om möjligt) är större än SMR för alla band. Om bitarna inte räcker, delas de ut så att den totala skillnaden mellan SMR och SNR minimeras. Skillnaden mellan SMR och SNR brukar kallas noise to mask ratio, NMR. En populär transform i ljudkodningssammanhang är MDCT (modified DCT) som är en utvidgning av vanlig DCT till överlappande block. Antag att x t (k) är sampel i signaldomänen och X t (m) sampel i transformdomänen för block t. n 1 X t (m) = w(k) x t (k) cos( π 2n (2k +1+n )(2m +1)) 2 för m =0,..., n 2 1 k=0 w(k) är en fönsterfunktion som ska uppfylla vissa krav: w(k) =w(n 1 k), w(k) 2 + w(k + n 2 )2 =1 MDCT TSBK35 fö 10 p.17 Transformen tar alltså n sampel och transformerar till n 2 transformkomponenter. För nästa block tar man n 2 sampel från förra blocket och n 2 nya sampel. TSBK35 Fönstring i MDCT fö 10 p.18 Inverstransform: y t (p) =w(p) 4 n 2 1 X t (m) cos( π n 2n (2p +1+n )(2m +1)) 2 m=0 för p =0,...,n 1 x t (q) =y t 1 (q + n 2 )+y t(q) för q =0,..., n 2 1 Exempel på fönsterfunktioner: w(k) =sin( π n (k )) w(k) =sin( π 2 sin2 ( π n (k )))

6 TSBK35 fö 10 p.23 TSBK35 fö 10 p.24 Blockstorlek vs kvantiseringsbrus Blockstorlek vs kvantiseringsbrus Ett block om 512 sampel från en musiksignal. I början är det tyst och drygt halvägs in i blocket börjar musiken. Blocket transformeras (DCT), kvantiseras och inverstransformeras Kvantiseringen av transformkomponenterna gör att den del av signalen som var tyst nu innehåller ljud. Om blockstorleken är för stor kan det hända att den temporala maskeringen inte räcker till, utan att man hör lite brus innan det riktiga ljudet börjar (pre-echo). Blockstorlek vs kvantiseringsbrus TSBK35 fö 10 p.21 MPEG-1 audio TSBK35 fö 10 p.22 Om vi istället delar blocket i två block om 256 sampel och transformerar och kvantiserar får vi 0.25 Ljudkodningsdelen i videokodningsstandarden MPEG-1. Stöder samplingsfrekvenser på 32, 44.1 och 48 khz En eller två kanaler: Mono Två monokanaler (Dual channel) Stereo Simple stereo: En högerkanal och en vänsterkanal. Joint stereo: Utnyttja beroendet mellan kanalerna Bruset innan ljudet börjar är nu mycket kortare och maskeras lättare. I ljudkodare är det därför vanligt att man kan välja mellan flera olika blockstorlekar för att kunna anpassa kodningen till signalen. Datatakt på 32 till 224 kbit/s per kanal.

7 TSBK35 fö 10 p.27 TSBK35 fö 10 p.28 Joint stereo MPEG-1 layers Beroendet mellan de två kanalerna kan utnyttjas på två olika sätt. Middle/Side stereo: Istället för att koda vänster och höger kanal, kodar man summan respektive skillnaden mellan höger och vänster kanal. Skillnadskanalen innehåller oftast lite information och är därför lättkodad. Intensity stereo: För höga frekvenser ges stereoinformationen mer av tidsenvelopen än av det exakta frekvensinnehållet. För frekvenser över någon nivå kodar man bara en kanal med frekvensinnehåll, men man skickar olika skalfaktorer för höger och vänster kanal. Middle/Side och Intensity stereo kan kombineras. Tre nivåer (layers) av komprimering, med olika komplexitet och kompression Layer I Enkel, passar för > 128 kbit/s per kanal (DCC) Layer II Mer komplex, passar för datatakter runt 128 kbit/s per kanal (DAB) Layer III Störst komplexitet, ger bäst kompression, godtagbar kvalitet vid 64 kbit/s per kanal (mp3) Alla tre nivåerna bygger i grunden på en delbandskodare med 32 lika breda frekvensband. MPEG-1, layer I TSBK35 fö 10 p.25 MPEG-1, layer II TSBK35 fö 10 p.26 Kodas i frames om 384 sampel (12 sampel varderera från varje delband). En psykoakustisk modell används för att fördela bitar till de olika delbanden. Varje delband ges mellan 0 och 15 bitar, och en skalfaktor som används för att skala om kvantiseraren. Kvantiseringen är likformig. Skalfaktorerna och bittilldelningen skickas som sidoinformation i bitströmmen. Kodas i frames om 1152 sampel (3 12 sampel varderera från varje delband). En psykoakustisk modell används för att fördela bitar till de olika delbanden. Varje delband ges mellan 0 och 15 bitar, och 0-3 skalfaktorer (varje grupp om 12 sampel ha var sin skalfaktor, eller så kan de dela på skalfaktor) som används för att skala om kvantiserarna. Kvantiseringen är likformig. Skalfaktorerna och bittilldelningen skickas som sidoinformation i bitströmmen.

8 TSBK35 fö 10 p.31 TSBK35 fö 10 p.32 MPEG-1, layer III Vorbis 1152 sampel/frame. Först använder man samma delbandskodare som i layer I och II. Därefter görs en MDCT inom delbanden, med blocklängd 12 eller 36, för att förfina frekvensuppdelningen. Därigenom får man en frekvensuppdelning som bättre kan anpassas till barkskalan. Till skillnad från Layer I och II så används olikformig kvantisering (en typ av kompander). Skalfaktorer tilldelas till olika frekvensband, som nästan motsvarar kritiska band, för att skala om kvantiserarna. Statisk huffmankodning (fixa kodord) används för att ytterligare minska datatakten. Open source-projekt för att göra en ljudkodare som inte innehåller några patenterade delar. MDCT med blockstorlek mellan 64 och 8192 (jämna tvåpotenser). Envelopen till transformdatat beräknas och skickas kompakt som frekvenssvaret till ett linjärt filter, eller som en styckvis linjär (i db-skala) funktion. Residualen, dvs transformdatat dividerat med envelopen vektorkvantiseras och huffmankodas. Standarden tillåter också att man kan låta omgivande frames använda det tillgängliga bitutrymmet om de skulle visa sig vara svårare att koda. På så sätt kan den momentana datatakten variera något från block till block. Envelop typ 1 TSBK35 fö 10 p.29 Kvantisering och huffmankodning TSBK35 fö 10 p.30 Ett antal olika vektorkvantiserare skickas som sidoinformation. Antalet dimensioner maximalt I praktiken används bara små dimensioner. Kvantiserarna är antingen generella (explicita värden på alla vektorer), eller gitterkvantiserarer (rekonstruktionspunkterna läggs ut i ett regelbundet mönster). Till varje kvantiserare skickas även en huffmankod.

9 Residualkodning TSBK35 fö 10 p.35 Kvantiseringspass TSBK35 fö 10 p.36 Varje kanal delas in i ett antal lika stora partitioner. För varje partition specificeras vilka kvantiserare som ska användas för den partitionen. Man kan koda med en enda kvantiserare, eller så kan man kvantisera i flera pass (multi-stage VQ). Det finns även en möjlighet att interleava flera kanaler till en enda kanal innan kvantiseringen. Kvantiseringspass TSBK35 fö 10 p.33 Interleaving TSBK35 fö 10 p.34

10 TSBK35 fö 10 p.39 TSBK35 fö 10 p.40 Kanalkorrelation Dolby Digital Korrelationen mellan kanalerna (i stereofallet höger och vänster kanal) kan utnyttjas på några olika sätt. Genom interleaving kan man utnyttja beroendet mellan kanalerna i vektorkvantiseringen. Ett annat alternativ är att koda det största värdet samt skillnaden mellan det största och det minsta värdet. Skillnadssignalen kan sen kvantiseras hårdare än maxsignalen. I extremfallet tas den bort helt. Den enda stereoinformationen ges då av kanalernas olika envelop (jämför Intensity Stereo i mp3) Stöder samplingsfrekvenser på 32, 44.1 och 48 khz. Upp till 5+1 kanaler. Datatakt mellan 32 och 640 kbit/s. Ljud kodas i frames som består av 1536 sampel. I första hand används MDCT med n = 512, Om ett block innehåller en transient från låg amplitud till hög används i stället MDCT med n = 256. Dolby Digital, forts. TSBK35 fö 10 p.37 AAC TSBK35 fö 10 p.38 Man kan kombinera kanaler så att man bara skickar en kanal med frekvensinnehåll plus skalfaktorer för alla kanalerna (jfr intensity stereo för mp3). För rena stereosignaler kan man koda antingen vänster och höger kanal för sig, eller summa- och skillnadskanaler (jfr middle/side stereo för mp3). Transformkoefficienterna kodas med exponent plus normerad mantissa. Bittilldelningen skickas inte explicit. Istället skickar man en SMR-kurva och så får avkodaren göra bittilldelningen till mantissorna utgående från den kurvan och de avkodade exponenterna. Naturligtvis bör kodaren göra bittilldelningen på samma sätt. Advanced Audio Coding Kodningsmetod som först standardiserades i MPEG-2 och senare också i MPEG-4. MDCT med blockstorlek n = 2048 eller n = 256. Olikformig kvantisering (en typ av kompander). Huffmankodning av kvantiserade koefficienter (färdiga tabeller att välja bland, 2 eller 4 koefficienter i taget). I MPEG-4 tillkom saker som aritmetisk kodning och vektorkvantisering.

11 ATRAC1 Spectral Band Replication (SBR) Adaptive Transform Acoustic Coding Kodningsmetod använd i MiniDisc. Signalen delas i tre frekvensband ( khz, khz och khz) med en enkel delbandskodare. Därefter görs MDCT-kodning på varje delband. Två olika blockstorlekar (64 och 512). Bittilldelning till de olika komponenterna enligt någon psykoakustisk modell. Datatakt 292 kbit/s. En metod där man skär bort högpassinnehållet ur ljudsignalen innan kodningen. Vid avkodningen återskapas högfrekvensinnehållet från lågpassinnehållet. Man skickar även med lite extra information i det kodade datat för att hjälpa till vid återskapandet av högpasssignalen. Kan användas tillsammans med nästan vilken kodningsmetod som helst. I kombination med mp3 kallas det mp3pro. I kombination med AAC kallas det aacplus. Påstås ge procents minskning av datatakten vid samma upplevda kvalitet. aacplus används i DRM (Digital Radio Mondiale) som är digitalradio via kort- och mellanvågsbanden, samt i den nya versionen av DAB. TSBK35 fö 10 p.41 TSBK35 fö 10 p.42