BILDKODNING TEORI Källkodning Analogt - och samplat Temporalt Vertikalt Horisontalt o-o-o-o-o-oo-o-o-o o-o-o- 1
Två oberoende processer Sampling Tre dimensioner: horisontell, vertikal och tid Kvantisering Kontinuerlig till diskret Förstörande Sampling En bandbegränsad signal med bandbredd f 0 kan fullständigt återskapas från den samplade signalen om samplingsfrekvensen väljs större än 2f 0 (Nyquistfrekvensen) Om förutsättningarna uppfylls så är sampling ICKE förstörande 2
Sampling av endimensionell signal Sampling 3
Bandbredd Lågpassfilter före sampling fo fs-fo fs fs+fo fs-fo fs fs+fo fs-fo fs fs+fo Sampling, exempel Vikning, aliasing fs-fo fo fs fs-fo fs+fo fs fs-fo fs+fo fs fs/2 fs/2 fs/2 4
Kvantisering -3-2 -1 0 1 2 3 Kvantiseringsfel Q Q Q 1/2Q 0-1/2Q Insignal Bruseffekt ~ Q 2 /12 Contouring 5
ITU-R BT.601 Samplingsfrekvens Y 13.5 MHz Samplingsfrekvens Cb/Cr 6.75 MHz Bitar per sampel (Y,Cb,Cr) 8 eller 10 Antal sampel, hel linje Y (64 µs) 864 Antal sampel, hel linje Cb/Cr 432 Antal sampel, aktiv linje Y (53.33 µs) 720 Antal sampel, aktiv linje Cb/Cr 360 Antal aktiva linjer 576 Bildpunkter per sekund (Y) 10 368 000 Bithastighet (aktiv bild 8-bit) 165 888 000 4:2:2 Grundfrekvens Y : Cb : Cr 3.375 MHz Y=4x3.375 Cb=2x3.375 Cr=2x3.375 (13.5 : 6.75 : 6.75 MHz) 4:4:4, 2:1:1 4:2:2:4 (4:4:4:4) key-signal 4:2:0 varannan linje Cb respektive Cr 6
Färgrumskonvertering Färgkomponrnterna R G B omvandlas till luminans/krominans Y Cb Cr. Luminansens komponenten Y = 0.3R + 0.1B + 0.6G Krominans, halv upplösning Cb = B-Y Cr = R-Y 4:2:2 format - Horisontell subsampling av Krominansen -> 1/3 reduktion 4:2:0 format - både horisontell och vertikal subsampling -> 1/2 reduktion 35 BILDKODNING TEORI Stillbildskodning 7
Kompressionsmetoder Förlustfri kompression Utnyttjar kunskap om signalens egenskaper Den teoretiska gränsen anges av signalens Entropi. Kompression cirka: 2-5 gånger Icke förlustfri kompression (bild, ljud, video) Utnyttjar kunskap om hur betraktaren (lyssnaren) upplever objektet Kompression: 4-30 gånger Förlustfri kodning Källans informationsinnehåll ges av entropin Men, entropin beror på modell! En bra modell minskar entropin Entropikodning Huffmankodning Aritmetisk kodning Kombinera Symboler 26 8
1 Entropikodning, exempel PIXEL VALUE PROBABILITY CODE I CODE II White 0.6 00 0 Black 0.3 01 10 Dark grey 0.05 10 110 Light grey 0.05 11 111 i I L = p( i) l ( i) = 0. 6 1 + 0. 3 2 + 0. 05 3 + 0. 05 3 = 1.5 bits / pixel 2 L = p( i) l ( i) = 0. 6 2 + 0. 3 2 + 0. 05 2 + 0. 05 2 = 2 bits / pixel i Source entropy H(S) = II i p(i) log p( i) = 1.4 bits / pixel 2 27 Huffmankodning Huffmankoden är optimal ( kompakt kod ) Grupperar minst sannolika symboler, rekursivt. Starta från toppen, och tilldela övre vägen 0 och undre vägen 1. W 0 B 1 0 DG 1 1 0 LG 1 1 1 W 0.6 B 0.3 DG 0.05 LG 0.05 Avkodning 0.1 0.4 1.0 0 1 28 9
Optimal kodning Källans entropi ger informationsinnehållet och minsta kodlängd Source entropy H(S) = p(i) log 2 p( i) = 1.4 bits / pixel i Detta kan endast uppnås med Huffmankodning om sannolikheterna är 0.5, 0.25, 0.125 etc. Istället måste vi använda: Gruppering av symbolerna Aritmetisk kodning 29 Källkodningsmodeller En väl vald källkodningsmodell minskar entropin. Närliggande bildpunkter är vanligtvis ganska lika. u efterföljer ofta q i engelskan. Källkodningsmodellen kan anpassas för att: göra om en jämn fördelning till en fördelning med låg varians. 10
Differentiell kodning x(t) x(t)-x(t-1) Data t t Histogram Hög Entropi Låg Entropi 1-Dimensionell prediktering Enkoder Indata - Predikteringsfel a b? Dekoder Rekonstruerade data + Mottagna data a b? 11
2-Dimensionell prediktering b c a? d b c a? d Enkoder Dekoder Icke förlustfri kodning Förfiltrering Lågpassfilter Omsampling (minska bildstorlek) Färgrumskonversion Transformkodning (DCT, Wavelet,...) Kvantisering. Reducering av koefficienter med zig-zag scanning och andra trick. 34 12
JPEG Bildkomprimering ISO och ITU standard ISO/IEC IS 10918 och ITU-T T.81 Digital Compression and Coding of Continuous-Tone Still Images Utnyttjar 8x8 block samt DCT (Diskret Cosinus Transform) Färgrepresentation enligt Y, Cb, Cr. eller RGB Typisk komprimeringsgrad: 4-30 ggr JPEG kodning QCIF bild Separering av färg Y 8x8 block Cb DCT & Kvantisering Cr Entropi kodning Zig-Zag Scan 13
Spatiell frekvens 2-Dimensionell DCT Basfunktioner 14
JPEGs kodningssteg Representera bilden som Y, Cb, Cr. (bandbreddsreduktion) Beräkna DCT på block om 8x8 pixel för att minska variansen. (avrundningsfel). Kvantisera DCT koefficienterna. (kvantiseringsfel) Gör 2-dimensionell prediktering av DC koefficienter Zig-Zag avläsning av AC koefficienter Variabellängdkodning av data innehållande nollor samt Huffmankodning av övriga data. DCT på 8x8 bildpunktsvärden C( u) C( v) F( u, v) = 4 j= 0 k= 0 C( 0) = 1/ 2, C( x) = 1, for x 0, 7 7 j u k v f ( j, k)cos ( 2 + 1 ) π cos ( 2 + 1 ) π 16 16 139 144 149 153 155 155 155 155 144 151 153 156 159 156 156 156 150 155 160 163 158 156 156 156 f ( j, k) = 159 161 162 160 160 159 159 159 159 160 161 162 162 155 155 155 161 161 161 161 160 157 157 157 162 162 161 163 162 157 157 157 162 162 161 161 163 158 158 158 Bildpunktsvärden DCT 1260 1 12 5 2 2 3 1 23 17 6 3 3 0 0 1 11 9 2 2 0 1 1 0 F( u, v) = 7 2 0 1 1 0 0 0 1 1 1 2 0 1 1 1 2 0 2 0 1 1 1 1 1 0 0 1 0 2 1 1 3 2 4 2 2 1 1 0 DCT koefficienter 41 15
Kvantisering F( u, v) F '( u, v) = Q( u, v) 1260 1 12 5 2 2 3 1 23 17 6 3 3 0 0 1 11 9 2 2 0 1 1 0 F( u, v) = 7 2 0 1 1 0 0 0 1 1 1 2 0 1 1 1 2 0 2 0 1 1 1 1 1 0 0 1 0 2 1 1 3 2 4 2 2 1 1 0 16 11 10 16 24 40 51 61 12 12 14 19 26 58 60 55 14 13 16 24 40 57 69 56 Q( u, v) = 14 17 22 29 51 87 80 62 18 22 37 56 68 109 103 77 24 35 55 64 81 104 113 92 49 64 78 87 103 121 120 101 72 92 95 98 112 100 103 99 Matris med viktskoefficienter 79 0 1 0 0 0 0 0 2 1 0 0 0 0 0 0 1 1 0 0 0 0 0 0 F ( u, v) = 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 Kvantiserade värden Zig-Zag Scanning 79 0 1 0 0 0 0 0 2 1 0 0 0 0 0 0 1 1 0 0 0 0 0 0 F ( u, v) = 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 5 6 14 15 27 28 2 4 7 13 16 26 29 42 3 8 12 17 25 30 41 43 9 11 18 24 31 40 44 53 10 19 23 32 39 45 52 54 20 22 33 38 46 51 55 60 21 34 37 47 50 56 59 61 35 36 48 49 57 58 62 63 Kvantiserade koefficienter Scanningordning Resulterande information att koda: 79 0-2 -1-1 -1 0 0-1 EOB Detta kodas med en samansatt run-length kodning och resulterar ungefär 35 bitar (8 för DC-komponenten). Kompressionsgarden blir: 512/35 = 14.6 43 16
Invers kvantisering och invers DCT F ˆ ( u, v) = F '( u, v)* Q( u, v) 139 144 149 153 155 155 155 155 144 151 153 156 159 156 156 156 150 155 160 163 158 156 156 156 f ( j, k ) = 159 161 162 160 160 159 159 159 159 160 161 162 162 155 155 155 161 161 161 161 160 157 157 157 162 162 161 163 162 157 157 157 162 162 161 161 163 158 158 158 144 148 155 160 f ˆ ( j, k) = 163 163 160 158 146 150 156 161 163 163 161 159 149 152 157 161 164 164 162 161 152 154 158 162 163 164 162 161 154 156 158 161 162 162 162 162 156 156 157 159 160 160 161 162 156 156 156 157 158 158 159 161 156 156 155 155 156 157 158 158 Originalets bildpunktsvärden Avkodade rekonstruerade bildpunktsvärden 44 Rekonstruktionsfelet e( j, k) = f ( j, k) fˆ( j, k) RMSE= 1 64 j 2 e ( j, k) = 2.26 255 PSNR = 20log10 = 21.3dB RMSE k 5 2 0 1 1 1 1 1 4 1 1 2 3 0 0 0 5 1 3 5 0 1 0 1 e( j, k) = 1 0 1 2 1 0 2 4 4 3 3 1 0 5 3 1 2 2 3 3 3 2 1 0 2 1 1 1 0 4 2 1 4 3 0 0 1 3 1 0 45 17
PSNR Kvalitetskriterium Tekniskt mått. Lätt att beräkna. Mäter medelkvadratfelet Ingen direkt relation till mottagen kvalitet Mottagningsmodeller Filter och viktfunktioner som simulerar människans syn och mottagning. Fungerar ganska bra för stillbilder Subjektiva prov Ger bästa resultaten Dyrt, tidskrävande och besvärligt. 46 Förlustfri mod Andra JPEG moder Använder 2D prediktion och Huffmankodning Progressiv Mod Samma DCT som vanlig JPEG, men multiple scans Skicka endast några koefficienter Skicka mest signifikanta bitar Hierarkisk mod Gör en pyramid av bilder Skicka lågupplöst bild först Uppsampla den och använd för att prediktera nästa lager i pyramiden. 48 18
BILDKODNING TEORI Rörliga bilder Rörliga bilder Tid T-2 T-1 T 19
Skillnadsbild Ta skillnaden pixelvis mellan två bilder T-1 T Skillnadsbild Rörelsekompensera Skillnadsbild ej bra nog Rörelsekompensera Modell: Bilden består av fyrkanter som rör sig Horisontellt Vertikalt 59 20
Rörelseestimering T-1 T 60 Rörelseestimering Sökfönster Rörelsevektor 62 21
Kodning med prediktion Indata Skillnadsbild - Predikterade data (rörelsekompenserad bild) Kvant. Rekonstruerad bild Prediktion Kodade data Rekonst. Skillnadsbild, med fel + K A N A L Rekonst. Skillnadsbild, med fel Predikterade data (rörelsekompenserad bild) + Rekonstruerad bild Prediktion Sidoinformation (rörelsevektorer) Inter / Intra kodning Intra-kodning (spatiell) Utnyttjar redundans inom en bild Inter-kodning (temporal) Utnyttjar redundans inom mellan bilder 22
Tid Framåtprediktion I B B P Intrabild Predikterad från två (bi) håll, B-bild Bakåtprediktion Bakåtprediktering 3 2 1 Tid 23
Predikteringsregler En I-bild utnyttjas alltid som en orginalbild En P-bild skapas utgående från närmast föregående I eller P bild En B-bild skapas utgående från närmast föregående och efterföljande I eller P bild Maximal GOP är lika med 15 GOP Group of Pictures Framåtprediktion I B B P B B P B B I Bakåtprediktion I Intrabild, I-bild, Stillbild P B Predikterad bild, P-bild Rörelskompenserad ( framåt ) bild Bi-directional, B-bild, Framåt- och bakåtkompenserad bild 66 24
Transmissionsordning I B B P B B P B B I I P B B P B B I B B Mer om MPEG Inom I - bilder är alla DCT block intra-kodade Inom P - bilder är DCT blocken prediktivt kodade (interkodade) eller intra-kodade Inom B - bilder är DCT blocken inter-kodade med rörelsevektorn baklänges, inter-kodade med rörelsevektorn framlänges eller interpolerade (rörelsevektorer både framåt och bakåt) eller intra-kodade Allting måste signaleras 71 25
Lite mer om MPEG2 Använder bakåt och framåt estimering dvs I,P och B frames En rörelsevektor per 16x16/8x16 block (field/frame adaption) Längden på rörelsevektorn går att adaptivt att förändra Halvpixel upplösning på rörelsefältet 2D Variabel längd kodning av DCT koeff. Enkel prediktion för DC och rörelsevektorer 70 Komplexitet DCT alltid 8x8 Rörelseestimering mycket(!) krävande Ofta tillåts större rörelsevektorer horisontellt än vertikalt Typiska längder 8 till 32 (64) Ännu längre vektorer krävs för exempelvis sportscener (större än128) 68 26
MPEG1 och MPEG2 Definierar AVKODARNA Mycket lika Skillnader MPEG2 nyare MPEG2 kan interlace MPEG2 har mer flexibilitet MPEG2 har ett systemlager Båda är: Hybrid DCT avkodare MPEG1 upp till 2 Mbit/s (1.5 Mbit/s CD-Video) MPEG2 från 2 Mbit/s till 15 Mbit/s 69 MPEG, Kodningseffektivitet Mbit/s 40 30 Mobile and Calendar Flower Garden 20 Swanboats 10 0 I I I I.. I P I P.. I B I B.. I B P B.. I B B P.. n = 15 27
MPEG, Kodningseffektivitet 70 kbyte/frame 60 50 40 30 20 10 Edit cut 0 I B B P B B P B B P B B P B B I Profiler och levels En profil talar om vilka verktyg som är tillåtna att använda En level beskriver komplexiteten (minne osv) för en profil Profil@Level utgör compliance points 72 28
Levels High Bit-rate No of samples High-1440 Bit-rate No of samples Main Bit-rate No of samples Low Bit-rate No of samples Coding Tool Functionalities Profiles Simple Main SNR Scalable Spatially Scalable High SP@ML 15 Mbit/s 720x480x30 720x576x25 MP@HL 80 Mbit/s 1920x1080x30 1920x1152x25 MP@H14L 60 Mbit/s 1440x1080x30 1440x1152x25 MP@ML 15 Mbit/s 720x480x30 720x576x25 MP@LL 4 Mbit/s 352x240x30 352x288x25 SNRP@ML 15 Mbit/s 720x480x30 720x576x25 SNRP@LL 4 Mbit/s 352x240x30 352x288x25 B-frames 4:2:0 SNR Scalable SSP@H14L 60 Mbit/s 1440x1080x30 1440x1152x25 B-frames 4:2:0 SNR Scalable Spatially Scalable HP@HL 100 Mbit/s 1920x1080x30 1920x1152x25 HP@H14L 80 Mbit/s 1440x1080x30 1440x1152x25 HP@ML 20 Mbit/s 720x480x30 720x576x25 B-Frames 4:2:0 or 4:2:2 SNR Scalable Spatially Scalable Anm. 1 Anm. 2 Profiler och nivåer som ej visas är ej definierade som punkter för test av enlighet med standard (Compliance point). Endast en extra SNR-nivå som tillägg till basnivån är tillåten i profilerna för SNR Scalable, Spatially Scalable och High. Anm. 3 Endast en extra SS-nivå som tillägg till basnivån och SNR-nivån är tillåten i profilerna för Spatially Scalable och High. Anm. 4 Studio profilen 4:2:2 saknas 74 Maximum Bit Rate 100 80 60 40 20 0 Profiles Sim ple Mai n 60 80 SNR Scal able Spat ially Scal able 60 15 15 15 20 4 4 High 100 80 Low High-1440 Levels 73 29
BILDKODNING System i praktiken DV, DVCPRO, DVCAM DV (Digital Video) är konsumentformatet, NTSC 4:1:1, PAL 4:2:0 DVCPRO är Panasonics proffsvariant av DV; 4:1:1 DVCAM är Sonys proffsvariant; 4:2:0 Proffsvarianterna kan spela av alla (?) Interface Firewire 1394 för komprimerad signal Komponent eller komposit för video Proffs och konsument är lika på bitnivå 30
DV, lite siffror, DVCPRO 4:1:1 4:2:2 datahastighet 216 Mbit/s Y 720 pixel/linje Cb/Cr 180 pixel/linje Okomprimerad datahastighet 124 Mbit/s Komprimerad datahastighet 24.948 Mbit/s Komprimerad video + felskydd 30.4 Mbit/s Komprimerad audio + felskydd 2.96 Mbit/s Totalt inspelad bitrate (inklusive felskydd) 41.85 Mbit/s Sampling 4:2:0 4:2:2 4:2:0 Horisontal Horisontal Vertikal Vertikal Vertikal Tid Tid Vertikal 31
DVCPRO, lite om bildkodning 8x8 eller 4x8 DCT block (field / frame adaptivitet) Makroblock består av 4 Y, 1 Cb och 1 Cr 5 makroblock utgör ett kodblock 16 16 Y Ett makroblock = 384 byte Cb Det finns 45 x 36 makroblock / bild 8 8 Cr 5 makroblock från olika delar av bilden kodas adaptivt för att konstant ge 385 byte (= 5 x 77) DVCPRO, mer bildkodning 1.0 9 bitar DC Zon 0 Zon 1 Zon 2 0.72 0.72 Zon 3 0.51 Horisontellt Vertikalt Vägning Kvantisering (zon), 1, 1/2, 1/4, 1/8, 1/16 32
Ytterligare bildkodning Zigzag scanning 2D Huffmankodning 5 Makroblock får konstant bit-tilldelning DVC-ljud DV, 2 eller 4 kanaler (DVCPRO endast 2) Samplingsfrekvenser 48 khz, 44.1 khz eller 32 khz. 2 kanaler, 16 bitars linjär kvantisering 4 kanaler, 12 bitars icke-linjär kvantisering och 32 khz sampling 33
DVCPRO50 DVCPRO 422 50 Mbit/s 4:2:2 Endast Intraframe Adaptiv övergång till Intrafield vid rörelse Spelar av både DV, DVCPRO, DVCAM Fortfarande konsumentformat MPEG 1 Delmängd av MPEG 2 Endast framebaserad kodning 4:2:0 eller 2:1:1 Avsett för låga datahastigheter; Video-CD SIF bildformat (Source Input Format) 704 x 576 eller nedsampling till 352 x 288 34
MPEG 1, Bildformat Bildfrekvens (Hz) 30 25 CCIR 601 Y 720 x 480 720 x 576 Cb, Cr 360 x 480 360 x 576 SIF Y 360 x 240 360 x 288 Cb, Cr 180 x 120 180 x 120 Significant Pixel Area Y 352 x 240 352 x 288 Cb, Cr 176 x 120 176 x 144 MPEG1 systemkrav Parameter Maximalt värde Horisontell bildstorlek 768 pixel Vertikal bildstorlek 576 linjer Antal makroblock 396 Pixel rate 396 x 25 makroblock / sek Bildfrekvens 30 bilder / sek Rörelsevektorer +/- 64 pixel upplösning = 1/2 pixel Buffertstorlek 327 680 bits Bithastighet 1,856 Mbit/s 35
CIF Common Image Format Kompromissformat mellan 525 0ch 625 miljöer Bygger på 30 Hz bildfrekvens Antalet linjer är anpassat till 625 linjers system 625-länder gör scan rate konvertering medan 525-länder gör linjeinterpolation Igår Efter MPEG-2 MPEG-2 är mer än 15 år gammalt MPEG-2 är baserat på ännu äldre MPEG-1 Dåtidens processorer var på max 500 MHz MPEG-2 kan avkodas med 16 Mbyte RAM MPEG-2 kan avkodas med dedicerad hårdvara Idag Processorer med cirka 3 GHz klockhastighet Ej längre begränsning p.g.a. RAM minne Kodare kan realiseras med DSP + mjukvara 36
MPEG 4 Vidareutveckling av MPEG 2 Uppdelninng av bilder i objekt (flera parallella streams) Konturbaserad uppdelning av regioner i bild Selektiv allokering av bithastighet Anpassad för lågfartskodning 5 kbit/s 10 Mbit/s Intellectual Property Management Protection hooks (IPMP) Cirka 20% effektivitetsvinst relativt MPEG 2 H264/AVC Tillhör MPEG 4 familjen (MPEG 4 part 10) Hybridkodare, liknar MPEG 2 Multipel-bild rörelseprediktion Obegränsade rörelsevektorer 16x16, 8x16, 16x8, 8x8 4x8, 8x4 och 4x4 macroblock In-loop de-blockingfilter Matematiskt exakt DCT transform (optional) Cirka 4x högre kompelxitet än MPEG 4 Avsedd för HDTV och standard TV Cirka 50% effektivitetsvinst relativt MPEG 2 37
Bildkodning med MPEG-2 Macroblock 8x8 pixel Bildkodning med MPEG-4 Macroblock 16x16 8x4 4x4 4x8 8x8 16x8 8x16 38
MPEG 4 problem Licensiering baserad på antal användare och utnyttjad tid Undantag för markbunden fri-tv som betalar engånssumma för varje inköpt kodare. Jämför med MPEG 2 som kräver engångsbelopp baserad på varje tillverkad avkodare (chip). JPEG 2000 Stillbildskodning Ny algoritm för JPEG baserad på wavelets Medelgod kompressionseffektivitet Ingen blockstruktur i bild, ingen GOP Finns med icke-förstörande wavelets Symmetrisk komplexitet kodare/avkodare 10-12 bitars upplösning, 422 sampling 39
Transformen bygger på låg/högpassfiltrering och subsampling av bilden Wavelets Horisontell Vertikal Lågpass Sub- Sampling 2:1 Lågpass Högpass Sub- Sampling 2:1 Sub- Sampling 2:1 Högpass Sub- Sampling 2:1 Lågpass Högpass Sub- Sampling 2:1 Sub- Sampling 2:1 Wavelets, JPEG 2000 Transformen upprepas flera gånger till endast ett fåtal sampel finns i det övre vänstra hörnet Kodningsvinst: 1,5 3 icke förstörande kompression 20-50 förstörande kompression Den transformerade bilden avsökes, run-length kodas och Huffmankodas 40
JPEG 2000 JPEG 3 ggr JPEG 20 ggr JPEG 50 ggr JP2K 3 ggr JP2K 20 ggr JP2K 50 ggr 41