Paper or screen Systemlagret Vision technology Audio technology Current loudspeakers and sound equipment is good enough? 3D? Ljudlandskap? Stämningsbakgrund? 1
Systemlagret I PC, Router, Switch HW Grafikkort, Videograbberkort, Ljudkort, Bussar, Hårddisk, Cdrom (bit/s, bitbredd, delay, jitter) OS Processhantering, Drivrutiner, Protokollstack, ISL, CSL, (MIPS, MFLOP, delay.. ) SW, 2:1 lossless, +2:1 lossy ljud : 2:1 lossless, 8:1 ej märkbart, 1:1 MP3, 24:1 nästan CD Systemlagret, fts Synkronisering Videodriver, audiodriver i sekvens Fördröjning Avkodning i mjukvara tar tid MPEG Lite historia (och framtid) JPEG (Stillbilder) -> Motion JPEG MPEG 1 (1988-1993) SIF (352 * 24), CD-ROM MPEG 2 (199-1995) TV kvalitet -> HDTV kvalitet MPEG 4 (1994-1999) MPEG 7 MPEG 4 Interaktivitet med innehåll i video Blanda bilder med syntetiska bilder Mux och synk. Av på en scen Förbättrad komprimeringseffektivitet <64kbps - Access överallt Robust (Trådlös kommunikation) MPEG-4, fts MPEG4, fts Scen Bakgrund Talande huvud Röst till talande huvud Text på olika språk Animerad balett Elementary streams Elementary streams Elementary streams Transport stream AVO objekt Scen AVO objekt AVO objekt 2
MPEG4, AVO Tal Ljud Syntetiserat ljud Video Ansikte Animerad kropp Animerad mesh (texture mapping) Scen (Sprite) MPEG4, video Video DCT 5-64kbps -> 1Mbps Textur, Stillbilder Zerotree wavelets MPEG 7 Beskrivning av innehåll i video Alta Vista Video Signatur MPEG7, fts September 21 Passar bra ihop med AVO i MPEG4 Applikationer : Val av nyheter, Hitta låtar genom att vissla, hitta Pavarottivideo via Pavarottisång, söka spel, karaoke, övervakning, biomedicin, shopping,. MPEG Audio Video behaviour Bithastighetskrav CD, 2kHz, 1411.2 kbps (PCM) MD, 2kHz, 292 kbps (ATRAC) MPEG-1 Lager 1,2,3 med olika kvalitet MPEG-2 2 varianter variant 1framåt och bakåtkompatibel med MPEG-1, Mpeg1 spelare klarar 2 kanaler The following figure shows the bit usage over time for a video sequence. The sequence is coded at QCIF size with 8.33 fps. The scene shows mostly head and shoulder content (wich has relatively low complexity) with 2 camera pans (which have higher complexity). The mean bitrate is about 24 kbps. You can see the peaks in bitrate due to the pans. 3
A/D Efterbehandling i kameran Färger Intensitet Gamma A/D DVCpro (Panasonic), 25 Mbps DVCpro 5, 5 Mbps DV (Sony), 3*8bitar, 25 Mbps A/D A/D Video ES Audio ES Program info ES 4
Video ES Audio ES Program info ES Paketering Paketering Paketering Video PES Audio PES Program info PES Program stream DVD Transport stream (188 Byte) DVB ATM SDH IP DVB-S Standardization (2/2) DVB Transport DVB-C Cable DVB-T DVB-S2 DVB-H Satellite TV Terrestrial TV Mobile TV DVB-IPI in progress IPTV Mbit/s Bit rate evolution Bit rate evolution for SDTV Broadcast 6 5 4 3 2 1 1 st generation encoders MPEG-2 MPEG-4 ASP 1 st generation encoders 2 nd generation encoders C. Ratio from 4:2:2 28 2 nd generation encoders (Stat-Mux + Rate control improvements) 3 rd generation encoders (advanced Pre-processing) MPEG-4/H.264 AVC 166 1995 1997 1999 21 23 25 27 29 1995 1997 1999 21 23 25 27 29 Lossless komprimering Lossless Utnyttja redundans Mät med entropi Huffman, Run length Lossy JPEG Wavelets Fraktaler.. Ex Huffman Symbol a,b,c Sannolikhet (information).5,.3,.2 Bitallokering, 1, 11 Ex Run length aaaaaaaabbbbbbaaaaaaaaaaaaaaaaaaaaaaaaaaa 8a6b28a 5
Minska datamängder Långsamma lagringsenheter Bandbreddsbegränsade nätverk 3 min video = 5 Gbyte 27 MByte/s 216 Mbps MPEG2? Bivillkor på komprimering Anpassa utsignal mot nätkrav Variabel alt konstant paketstorlek Video har burstiness på 1 -> buffer -> fördröjning Bildformat Spatial frekvens 16*16 Macroblock 8*8 Block Slice 'How long does getting thin take?' Pooh asked anxiously. A. A. Milne y f y Motion estimation Macroblock 12 DCT 4 15 7 1 3 27 19 135 23 12 x f y f x Kvantisering (likformig, skalbar) 7 27 19 135 23 12 Run length Huffman Räkna ut var den nya bildens macroblock fanns i gamla bilden Skicka motion vector + kodat fel f x 6
Differential Pulse Code Modulation GOP - Group of pictures Current Sample Schematic Diagram of Differential Pulse Code Modulation (DPCM): Quantized Error Error Prediction Reconstruction Encoder I B B P B B I Decoder Kvantisering 24 bitar/pixel Källkodning (typ MPEG) Transform och kvantisering I-bild Videobeteende Transform och kvantisering av skillnad P-bilder.25 bit/pixel i tidsplan, ta skillnaden mellan bilder Effektivitet PCM 8 bitar/pixel 2D DPCM 2 bitar/pixel 2D Transform < 1bit/pixel Motion compensation < 1bit/pixel 2D T + M C <.1bit/pixel (ca 1 ggr) Decoder 5 MIPS ( Pentium 5MHz) Encoder >1K MIPS (ASIC) H.264 introduction - I Significant improvement over all previous video standard (2x compression, substantial perceptual quality) Jointly developed by ITU-T (H.264) and ISO/IEC (MPEG4). Approved in 23 ITU-T ISO-IEC H.264 (from H26L draft) MPEG-4 AVC (Advanced Video Coding) JVT (Joint Video Team) -AVC (Official) -H.264 (or H26L) -MPEG 4 Part 1 7
Skalbarhet Färre pixel (ej längre 8*8 sänt i Block) ej luminans och / eller krominans Färre bilder per sekund Färre I-frames Hårdare kvantisering Bildförbättring i avkodaren Slice begränsar fel till en rad av block Interleaved paketering av data från närliggande block i olika paket -> felen utspridda i bilden Fel okorrelerade i tidsplanet (från en bild till nästa) Bättre skydd på viktiga data Bildförbättring i dekoder Utnyttja tidsplanet, dvs föregående bild Ersätt makroblock med föregående block på samma position Problem vid scenbyte, snabb rörelse Skicka lågupplöst bild att ta information ut Skatta försvunna motion vectors från kringliggande blocks motion vectors Hårdvara Minne Snabbt minne nära Kapacitet? QoS? Processorkraft Problem? QoS? Bussar för datatransport QoS? Hårdvara Minne Snabbt minne nära Kapacitet? Roterande disk 5GByte Solid state 4GByte QoS? Accesstid, <1ms för hårddisk (roterar)? Läshastighet (data ligger på lämpliga ställen), >1MByte/s Processorkraft Problem? QoS? Klockhastighet, bitar/operator Bussar för datatransport QoS? Bitbredd, klockhastighet (66MHz, 32bitar, 533MByte/s) Hemdugga 1. Vilken fördröjning har en CD-läsare innan första datablocket kan läsas och hur fort kan den läsa? Jämför dessa siffror med en Blue-ray- DVDspelare. Hur många videos komprimerade i DivX kan läsas samtidigt från en Blue-ray DVDspelare? 2. Gör ett exempel som visar hur Run length coding komprimerar något (tex en ström av bokstäver), se utdelat material 3. Måste man verkligen komprimera ljud? Räkna ut hur dyrt i bitar per sekund det blir att skicka stereoljud av CD-kvalitet över nätet. 8