BILDKODNING TEORI. Källkodning. Analogt - och samplat

Transkript

1 BILDKODNING TEORI Källkodning Analogt - och samplat Temporalt Vertikalt Horisontalt o-o-o-o-o-oo-o-o-o o-o-o- 1

2 Två oberoende processer Sampling Tre dimensioner: horisontell, vertikal och tid Kvantisering Kontinuerlig till diskret Förstörande Sampling En bandbegränsad signal med bandbredd f 0 kan fullständigt återskapas från den samplade signalen om samplingsfrekvensen väljs större än 2f 0 (Nyquistfrekvensen) Om förutsättningarna uppfylls så är sampling ICKE förstörande 2

3 Sampling av endimensionell signal Sampling 3

4 Bandbredd Lågpassfilter före sampling fo fs-fo fs fs+fo fs-fo fs fs+fo fs-fo fs fs+fo Sampling, exempel Vikning, aliasing fs-fo fo fs fs-fo fs+fo fs fs-fo fs+fo fs fs/2 fs/2 fs/2 4

5 Kvantisering Kvantiseringsfel Q Q Q 1/2Q 0-1/2Q Insignal Bruseffekt ~ Q 2 /12 Contouring 5

6 ITU-R BT.601 Samplingsfrekvens Y 13.5 MHz Samplingsfrekvens Cb/Cr 6.75 MHz Bitar per sampel (Y,Cb,Cr) 8 eller 10 Antal sampel, hel linje Y (64 µs) 864 Antal sampel, hel linje Cb/Cr 432 Antal sampel, aktiv linje Y (53.33 µs) 720 Antal sampel, aktiv linje Cb/Cr 360 Antal aktiva linjer 576 Bildpunkter per sekund (Y) Bithastighet (aktiv bild 8-bit) :2:2 Grundfrekvens Y : Cb : Cr MHz Y=4x3.375 Cb=2x3.375 Cr=2x3.375 (13.5 : 6.75 : 6.75 MHz) 4:4:4, 2:1:1 4:2:2:4 (4:4:4:4) key-signal 4:2:0 varannan linje Cb respektive Cr 6

7 Färgrumskonvertering Färgkomponrnterna R G B omvandlas till luminans/krominans Y Cb Cr. Luminansens komponenten Y = 0.3R + 0.1B + 0.6G Krominans, halv upplösning Cb = B-Y Cr = R-Y 4:2:2 format - Horisontell subsampling av Krominansen -> 1/3 reduktion 4:2:0 format - både horisontell och vertikal subsampling -> 1/2 reduktion 35 BILDKODNING TEORI Stillbildskodning 7

8 Kompressionsmetoder Förlustfri kompression Utnyttjar kunskap om signalens egenskaper Den teoretiska gränsen anges av signalens Entropi. Kompression cirka: 2-5 gånger Icke förlustfri kompression (bild, ljud, video) Utnyttjar kunskap om hur betraktaren (lyssnaren) upplever objektet Kompression: 4-30 gånger Förlustfri kodning Källans informationsinnehåll ges av entropin Men, entropin beror på modell! En bra modell minskar entropin Entropikodning Huffmankodning Aritmetisk kodning Kombinera Symboler 26 8

9 1 Entropikodning, exempel PIXEL VALUE PROBABILITY CODE I CODE II White Black Dark grey Light grey i I L = p( i) l ( i) = = 1.5 bits / pixel 2 L = p( i) l ( i) = = 2 bits / pixel i Source entropy H(S) = II i p(i) log p( i) = 1.4 bits / pixel 2 27 Huffmankodning Huffmankoden är optimal ( kompakt kod ) Grupperar minst sannolika symboler, rekursivt. Starta från toppen, och tilldela övre vägen 0 och undre vägen 1. W 0 B 1 0 DG LG W 0.6 B 0.3 DG 0.05 LG 0.05 Avkodning

10 Optimal kodning Källans entropi ger informationsinnehållet och minsta kodlängd Source entropy H(S) = p(i) log 2 p( i) = 1.4 bits / pixel i Detta kan endast uppnås med Huffmankodning om sannolikheterna är 0.5, 0.25, etc. Istället måste vi använda: Gruppering av symbolerna Aritmetisk kodning 29 Källkodningsmodeller En väl vald källkodningsmodell minskar entropin. Närliggande bildpunkter är vanligtvis ganska lika. u efterföljer ofta q i engelskan. Källkodningsmodellen kan anpassas för att: göra om en jämn fördelning till en fördelning med låg varians. 10

11 Differentiell kodning x(t) x(t)-x(t-1) Data t t Histogram Hög Entropi Låg Entropi 1-Dimensionell prediktering Enkoder Indata - Predikteringsfel a b? Dekoder Rekonstruerade data + Mottagna data a b? 11

12 2-Dimensionell prediktering b c a? d b c a? d Enkoder Dekoder Icke förlustfri kodning Förfiltrering Lågpassfilter Omsampling (minska bildstorlek) Färgrumskonversion Transformkodning (DCT, Wavelet,...) Kvantisering. Reducering av koefficienter med zig-zag scanning och andra trick

13 JPEG Bildkomprimering ISO och ITU standard ISO/IEC IS och ITU-T T.81 Digital Compression and Coding of Continuous-Tone Still Images Utnyttjar 8x8 block samt DCT (Diskret Cosinus Transform) Färgrepresentation enligt Y, Cb, Cr. eller RGB Typisk komprimeringsgrad: 4-30 ggr JPEG kodning QCIF bild Separering av färg Y 8x8 block Cb DCT & Kvantisering Cr Entropi kodning Zig-Zag Scan 13

14 Spatiell frekvens 2-Dimensionell DCT Basfunktioner 14

15 JPEGs kodningssteg Representera bilden som Y, Cb, Cr. (bandbreddsreduktion) Beräkna DCT på block om 8x8 pixel för att minska variansen. (avrundningsfel). Kvantisera DCT koefficienterna. (kvantiseringsfel) Gör 2-dimensionell prediktering av DC koefficienter Zig-Zag avläsning av AC koefficienter Variabellängdkodning av data innehållande nollor samt Huffmankodning av övriga data. DCT på 8x8 bildpunktsvärden C( u) C( v) F( u, v) = 4 j= 0 k= 0 C( 0) = 1/ 2, C( x) = 1, for x 0, 7 7 j u k v f ( j, k)cos ( ) π cos ( ) π f ( j, k) = Bildpunktsvärden DCT F( u, v) = DCT koefficienter 41 15

16 Kvantisering F( u, v) F '( u, v) = Q( u, v) F( u, v) = Q( u, v) = Matris med viktskoefficienter F ( u, v) = Kvantiserade värden Zig-Zag Scanning F ( u, v) = Kvantiserade koefficienter Scanningordning Resulterande information att koda: EOB Detta kodas med en samansatt run-length kodning och resulterar ungefär 35 bitar (8 för DC-komponenten). Kompressionsgarden blir: 512/35 =

17 Invers kvantisering och invers DCT F ˆ ( u, v) = F '( u, v)* Q( u, v) f ( j, k ) = f ˆ ( j, k) = Originalets bildpunktsvärden Avkodade rekonstruerade bildpunktsvärden 44 Rekonstruktionsfelet e( j, k) = f ( j, k) fˆ( j, k) RMSE= 1 64 j 2 e ( j, k) = PSNR = 20log10 = 21.3dB RMSE k e( j, k) =

18 PSNR Kvalitetskriterium Tekniskt mått. Lätt att beräkna. Mäter medelkvadratfelet Ingen direkt relation till mottagen kvalitet Mottagningsmodeller Filter och viktfunktioner som simulerar människans syn och mottagning. Fungerar ganska bra för stillbilder Subjektiva prov Ger bästa resultaten Dyrt, tidskrävande och besvärligt. 46 Förlustfri mod Andra JPEG moder Använder 2D prediktion och Huffmankodning Progressiv Mod Samma DCT som vanlig JPEG, men multiple scans Skicka endast några koefficienter Skicka mest signifikanta bitar Hierarkisk mod Gör en pyramid av bilder Skicka lågupplöst bild först Uppsampla den och använd för att prediktera nästa lager i pyramiden

19 BILDKODNING TEORI Rörliga bilder Rörliga bilder Tid T-2 T-1 T 19

20 Skillnadsbild Ta skillnaden pixelvis mellan två bilder T-1 T Skillnadsbild Rörelsekompensera Skillnadsbild ej bra nog Rörelsekompensera Modell: Bilden består av fyrkanter som rör sig Horisontellt Vertikalt 59 20

21 Rörelseestimering T-1 T 60 Rörelseestimering Sökfönster Rörelsevektor 62 21

22 Kodning med prediktion Indata Skillnadsbild - Predikterade data (rörelsekompenserad bild) Kvant. Rekonstruerad bild Prediktion Kodade data Rekonst. Skillnadsbild, med fel + K A N A L Rekonst. Skillnadsbild, med fel Predikterade data (rörelsekompenserad bild) + Rekonstruerad bild Prediktion Sidoinformation (rörelsevektorer) Inter / Intra kodning Intra-kodning (spatiell) Utnyttjar redundans inom en bild Inter-kodning (temporal) Utnyttjar redundans inom mellan bilder 22

23 Tid Framåtprediktion I B B P Intrabild Predikterad från två (bi) håll, B-bild Bakåtprediktion Bakåtprediktering Tid 23

24 Predikteringsregler En I-bild utnyttjas alltid som en orginalbild En P-bild skapas utgående från närmast föregående I eller P bild En B-bild skapas utgående från närmast föregående och efterföljande I eller P bild Maximal GOP är lika med 15 GOP Group of Pictures Framåtprediktion I B B P B B P B B I Bakåtprediktion I Intrabild, I-bild, Stillbild P B Predikterad bild, P-bild Rörelskompenserad ( framåt ) bild Bi-directional, B-bild, Framåt- och bakåtkompenserad bild 66 24

25 Transmissionsordning I B B P B B P B B I I P B B P B B I B B Mer om MPEG Inom I - bilder är alla DCT block intra-kodade Inom P - bilder är DCT blocken prediktivt kodade (interkodade) eller intra-kodade Inom B - bilder är DCT blocken inter-kodade med rörelsevektorn baklänges, inter-kodade med rörelsevektorn framlänges eller interpolerade (rörelsevektorer både framåt och bakåt) eller intra-kodade Allting måste signaleras 71 25

26 Lite mer om MPEG2 Använder bakåt och framåt estimering dvs I,P och B frames En rörelsevektor per 16x16/8x16 block (field/frame adaption) Längden på rörelsevektorn går att adaptivt att förändra Halvpixel upplösning på rörelsefältet 2D Variabel längd kodning av DCT koeff. Enkel prediktion för DC och rörelsevektorer 70 Komplexitet DCT alltid 8x8 Rörelseestimering mycket(!) krävande Ofta tillåts större rörelsevektorer horisontellt än vertikalt Typiska längder 8 till 32 (64) Ännu längre vektorer krävs för exempelvis sportscener (större än128) 68 26

27 MPEG1 och MPEG2 Definierar AVKODARNA Mycket lika Skillnader MPEG2 nyare MPEG2 kan interlace MPEG2 har mer flexibilitet MPEG2 har ett systemlager Båda är: Hybrid DCT avkodare MPEG1 upp till 2 Mbit/s (1.5 Mbit/s CD-Video) MPEG2 från 2 Mbit/s till 15 Mbit/s 69 MPEG, Kodningseffektivitet Mbit/s Mobile and Calendar Flower Garden 20 Swanboats 10 0 I I I I.. I P I P.. I B I B.. I B P B.. I B B P.. n = 15 27

28 MPEG, Kodningseffektivitet 70 kbyte/frame Edit cut 0 I B B P B B P B B P B B P B B I Profiler och levels En profil talar om vilka verktyg som är tillåtna att använda En level beskriver komplexiteten (minne osv) för en profil Profil@Level utgör compliance points 72 28

29 Levels High Bit-rate No of samples High-1440 Bit-rate No of samples Main Bit-rate No of samples Low Bit-rate No of samples Coding Tool Functionalities Profiles Simple Main SNR Scalable Spatially Scalable High 15 Mbit/s 720x480x30 720x576x25 80 Mbit/s 1920x1080x x1152x25 60 Mbit/s 1440x1080x x1152x25 15 Mbit/s 720x480x30 720x576x25 4 Mbit/s 352x240x30 352x288x25 15 Mbit/s 720x480x30 720x576x25 4 Mbit/s 352x240x30 352x288x25 B-frames 4:2:0 SNR Scalable 60 Mbit/s 1440x1080x x1152x25 B-frames 4:2:0 SNR Scalable Spatially Scalable 100 Mbit/s 1920x1080x x1152x25 80 Mbit/s 1440x1080x x1152x25 20 Mbit/s 720x480x30 720x576x25 B-Frames 4:2:0 or 4:2:2 SNR Scalable Spatially Scalable Anm. 1 Anm. 2 Profiler och nivåer som ej visas är ej definierade som punkter för test av enlighet med standard (Compliance point). Endast en extra SNR-nivå som tillägg till basnivån är tillåten i profilerna för SNR Scalable, Spatially Scalable och High. Anm. 3 Endast en extra SS-nivå som tillägg till basnivån och SNR-nivån är tillåten i profilerna för Spatially Scalable och High. Anm. 4 Studio profilen 4:2:2 saknas 74 Maximum Bit Rate Profiles Sim ple Mai n SNR Scal able Spat ially Scal able High Low High-1440 Levels 73 29

30 BILDKODNING System i praktiken DV, DVCPRO, DVCAM DV (Digital Video) är konsumentformatet, NTSC 4:1:1, PAL 4:2:0 DVCPRO är Panasonics proffsvariant av DV; 4:1:1 DVCAM är Sonys proffsvariant; 4:2:0 Proffsvarianterna kan spela av alla (?) Interface Firewire 1394 för komprimerad signal Komponent eller komposit för video Proffs och konsument är lika på bitnivå 30

31 DV, lite siffror, DVCPRO 4:1:1 4:2:2 datahastighet 216 Mbit/s Y 720 pixel/linje Cb/Cr 180 pixel/linje Okomprimerad datahastighet 124 Mbit/s Komprimerad datahastighet Mbit/s Komprimerad video + felskydd 30.4 Mbit/s Komprimerad audio + felskydd 2.96 Mbit/s Totalt inspelad bitrate (inklusive felskydd) Mbit/s Sampling 4:2:0 4:2:2 4:2:0 Horisontal Horisontal Vertikal Vertikal Vertikal Tid Tid Vertikal 31

32 DVCPRO, lite om bildkodning 8x8 eller 4x8 DCT block (field / frame adaptivitet) Makroblock består av 4 Y, 1 Cb och 1 Cr 5 makroblock utgör ett kodblock Y Ett makroblock = 384 byte Cb Det finns 45 x 36 makroblock / bild 8 8 Cr 5 makroblock från olika delar av bilden kodas adaptivt för att konstant ge 385 byte (= 5 x 77) DVCPRO, mer bildkodning bitar DC Zon 0 Zon 1 Zon Zon Horisontellt Vertikalt Vägning Kvantisering (zon), 1, 1/2, 1/4, 1/8, 1/16 32

33 Ytterligare bildkodning Zigzag scanning 2D Huffmankodning 5 Makroblock får konstant bit-tilldelning DVC-ljud DV, 2 eller 4 kanaler (DVCPRO endast 2) Samplingsfrekvenser 48 khz, 44.1 khz eller 32 khz. 2 kanaler, 16 bitars linjär kvantisering 4 kanaler, 12 bitars icke-linjär kvantisering och 32 khz sampling 33

34 DVCPRO50 DVCPRO Mbit/s 4:2:2 Endast Intraframe Adaptiv övergång till Intrafield vid rörelse Spelar av både DV, DVCPRO, DVCAM Fortfarande konsumentformat MPEG 1 Delmängd av MPEG 2 Endast framebaserad kodning 4:2:0 eller 2:1:1 Avsett för låga datahastigheter; Video-CD SIF bildformat (Source Input Format) 704 x 576 eller nedsampling till 352 x

35 MPEG 1, Bildformat Bildfrekvens (Hz) CCIR 601 Y 720 x x 576 Cb, Cr 360 x x 576 SIF Y 360 x x 288 Cb, Cr 180 x x 120 Significant Pixel Area Y 352 x x 288 Cb, Cr 176 x x 144 MPEG1 systemkrav Parameter Maximalt värde Horisontell bildstorlek 768 pixel Vertikal bildstorlek 576 linjer Antal makroblock 396 Pixel rate 396 x 25 makroblock / sek Bildfrekvens 30 bilder / sek Rörelsevektorer +/- 64 pixel upplösning = 1/2 pixel Buffertstorlek bits Bithastighet 1,856 Mbit/s 35

36 CIF Common Image Format Kompromissformat mellan 525 0ch 625 miljöer Bygger på 30 Hz bildfrekvens Antalet linjer är anpassat till 625 linjers system 625-länder gör scan rate konvertering medan 525-länder gör linjeinterpolation Igår Efter MPEG-2 MPEG-2 är mer än 15 år gammalt MPEG-2 är baserat på ännu äldre MPEG-1 Dåtidens processorer var på max 500 MHz MPEG-2 kan avkodas med 16 Mbyte RAM MPEG-2 kan avkodas med dedicerad hårdvara Idag Processorer med cirka 3 GHz klockhastighet Ej längre begränsning p.g.a. RAM minne Kodare kan realiseras med DSP + mjukvara 36

37 MPEG 4 Vidareutveckling av MPEG 2 Uppdelninng av bilder i objekt (flera parallella streams) Konturbaserad uppdelning av regioner i bild Selektiv allokering av bithastighet Anpassad för lågfartskodning 5 kbit/s 10 Mbit/s Intellectual Property Management Protection hooks (IPMP) Cirka 20% effektivitetsvinst relativt MPEG 2 H264/AVC Tillhör MPEG 4 familjen (MPEG 4 part 10) Hybridkodare, liknar MPEG 2 Multipel-bild rörelseprediktion Obegränsade rörelsevektorer 16x16, 8x16, 16x8, 8x8 4x8, 8x4 och 4x4 macroblock In-loop de-blockingfilter Matematiskt exakt DCT transform (optional) Cirka 4x högre kompelxitet än MPEG 4 Avsedd för HDTV och standard TV Cirka 50% effektivitetsvinst relativt MPEG 2 37

38 Bildkodning med MPEG-2 Macroblock 8x8 pixel Bildkodning med MPEG-4 Macroblock 16x16 8x4 4x4 4x8 8x8 16x8 8x16 38

39 MPEG 4 problem Licensiering baserad på antal användare och utnyttjad tid Undantag för markbunden fri-tv som betalar engånssumma för varje inköpt kodare. Jämför med MPEG 2 som kräver engångsbelopp baserad på varje tillverkad avkodare (chip). JPEG 2000 Stillbildskodning Ny algoritm för JPEG baserad på wavelets Medelgod kompressionseffektivitet Ingen blockstruktur i bild, ingen GOP Finns med icke-förstörande wavelets Symmetrisk komplexitet kodare/avkodare bitars upplösning, 422 sampling 39

40 Transformen bygger på låg/högpassfiltrering och subsampling av bilden Wavelets Horisontell Vertikal Lågpass Sub- Sampling 2:1 Lågpass Högpass Sub- Sampling 2:1 Sub- Sampling 2:1 Högpass Sub- Sampling 2:1 Lågpass Högpass Sub- Sampling 2:1 Sub- Sampling 2:1 Wavelets, JPEG 2000 Transformen upprepas flera gånger till endast ett fåtal sampel finns i det övre vänstra hörnet Kodningsvinst: 1,5 3 icke förstörande kompression förstörande kompression Den transformerade bilden avsökes, run-length kodas och Huffmankodas 40

41 JPEG 2000 JPEG 3 ggr JPEG 20 ggr JPEG 50 ggr JP2K 3 ggr JP2K 20 ggr JP2K 50 ggr 41