MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder

Transkript

1 MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder - en systemstudie Examensarbete utfört i bildkodning av Magnus Andrén LITH-ISY-EX Linköping 2003

2

3 MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder - en systemstudie Examensarbete utfört i bildkodning vid Linköpings tekniska högskola av Magnus Andrén LITH-ISY-EX Handledare: Jonas Svanberg, Linköpings tekniska högskola Examinator: Robert Forchheimer, Linköpings tekniska högskola Linköping

4

5 Avdelning, Institution Division, Department Datum Date Institutionen för Systemteknik LINKÖPING Språk Language X Svenska/Swedish Engelska/English Rapporttyp Report category Licentiatavhandling X Examensarbete C-uppsats D-uppsats Övrig rapport ISBN ISRN LITH-ISY-EX Serietitel och serienummer Title of series, numbering ISSN URL för elektronisk version Titel Title MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder - en systemstudie MPEG-4-Compatible Set-Top Box for IP-networks Based on Open Standards - A Systems Study Författare Author Magnus Andrén Sammanfattning Abstract The purpose of this thesis is to examine the possibilities of creating a MPEG-4-compatible set-top box for IP-networks based on open standards. Existing alternatives for transporting MPEG-4 over IP are evaluated and ISMA is found to be an important actor within the area. ISMA is a non-profit corporation formed to provide a forum for the creation of specifications that define an interoperable implementation for streaming rich media over IP-networks. Two different designs based on ISMA's recommendation are constructed and evaluated. The designs have different levels of complexity and the more complex design is found to be better due to its extended functionality. During the design process a number of problems related to this kind of set-top box are discovered. It is believed, however, that many of these problems will be solved within the near future. Nyckelord Keyword settop-box, MPEG-4, IP, RTP, RTSP, video streaming, video-on-demand

6

7 SAMMANFATTNING Denna rapport beskriver ett examensarbete på civilingenjörsutbildningen i datateknik vid Linköpings tekniska högskola. Syftet med examensarbetet är att undersöka möjligheterna att skapa en settop-box för IP-baserade nätverk. Målsättningen är att presentera ett eller flera förslag på hur en sådan settop-box kan designas. Förutsättningarna är att settop-boxen ska hantera MPEG-4 och att den ska baseras på öppna standarder, det vill säga standarder som finns tillgängliga för allmänheten. Tidigt insågs att ISMA är en betydande aktör inom områden relaterade till Internet och MPEG-4. ISMA är en industriorganisation vars målsättning är att sprida användandet av öppna standarder för multimediakommunikation över Internet. ISMA:s första arbete innefattar rekommendationer för hur MPEG-4 bör transporteras över Internet. Efter att existerande alternativ för att transportera MPEG-4 över IP analyserats väljs ISMA:s specifikation som grund för design av en settop-box. Två olika designer konstrueras; en tunn klient och en hybridklient. Syftet med den tunna klienten är att skapa en enkel och billig settop-box. Med hybridklienten är syftet att skapa en settop-box med många användbara funktioner utan att vara en komplett dator. Det visar sig att den tunna klienten förlorar mycket funktionalitet på grund av kravet på enkelhet. Detta gör att hybridklienten anses vara det bästa alternativet. I samband med att dessa två settop-boxar designas inses att det existerar flera problem med denna typ av settop-boxar. De flesta av dessa problem anses dock kunna lösas inom en snar framtid i samband med att tekniken utvecklas. MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder i

8 ii Linköpings tekniska högskola, Bildkodningsgruppen

9 FÖRORD Jag vill tacka min examinator Robert Forchheimer och min handledare Jonas Svanberg vid bildkodningsgruppen på Linköpings tekniska högskola. Vi har haft många, långa och framförallt intressanta diskussioner som gjort arbetet ännu roligare. Slutligen vill jag också tacka Anna för åtskilliga timmar av korrekturläsning, stöd och tålamod. Linköping den 4 april 2003 Magnus Andrén MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder iii

10 iv Linköpings tekniska högskola, Bildkodningsgruppen

11 Innehållsförteckning 1 Inledning Introduktion till examensarbetet Bakgrund Förutsättningar Syfte Metod Målgrupp Läsanvisningar Ordförklaringar Användningsområde för en settop-box Dagens settop-boxar Motiv till en nätverksanpassad settop-box Exempel på användningsområden TV-sändningar Video-on-demand Webbåtkomst Datorspel Alternativt användningsområde Videokodning Bakgrund Grundläggande teori Ljud- och bildkodning Digitalisering av videosekvenser Videokompression Nedsampling av videosignaler Rörelsekompensation Hybridkodning Skalbar kodning MPEG MPEG-1/ MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder v

12 Innehållsförteckning MPEG Senaste framstegen inom videokodning Datornät Introduktion Nätverksarkitekturer och begrepp Lager och protokoll OSI-modellen Bandbredd och fördröjning Paketswitchade nätverk Multicast Sammankopplade nätverk IP-nät IP-adresser Routing Address resolution protocol IP-multicast Internet Intressanta protokoll Transportprotokoll Applikations- och sessionsprotokoll MPEG-4 över IP Introduktion Transportmekanismer i MPEG MPEG-4 DMIF FlexMux MPEG-4 över IP enligt standarden MPEG-4 över MPEG-2 TS Transportformat från IETF Specialiserat format för ljud- och video-es över RTP Generellt format för ES över RTP Format för FlexMux-strömmar över RTP vi Linköpings tekniska högskola, Bildkodningsgruppen

13 Innehållsförteckning 6 ISMA Introduktion till ISMA ISMA Technical specification Profile Profile Transport Systemdesign Introduktion Systemets funktion Krav på systemet Förutsättningar Design Designalternativ och avvägningar Tunn klient Hybridklient Krav på systemresurser Systemöversikt Slutsatser Utvärdering av design Fördelar Nackdelar Alternativ design och funktionalitet Problem med en IP-anpassad settop-box Problemet med bandbredd Problemet med multicast Problemet med att spola i filmen Problemet med licenser Fortsatt arbete Slutsatser dragna från arbetet Referenser Appendix A Scenarion MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder vii

14 Innehållsförteckning Index viii Linköpings tekniska högskola, Bildkodningsgruppen

15 KAPITEL 1 1INLEDNING Detta kapitel beskriver hur examensarbetet ska genomföras samt vad som är målsättningen med projektet. Det innehåller också läsanvisningar samt några ordförklaringar. 1.1 Introduktion till examensarbetet Detta examensarbete utförs vid Bildkodningsgruppen, Institutionen för systemteknik, på Linköpings tekniska högskola, som en obligatorisk och avslutande del i civilingenjörsutbildningen i datateknik. 1.2 Bakgrund Internet har fått en alltmer framträdande roll i dagens samhälle. Det används till exempel för att söka information, för att kommunicera och för underhållning av olika slag. Samtidigt som nyttan med Internet blir större, vill också fler och fler ha tillgång till Internet. Den vanligaste formen av uppkoppling till Internet för privatpersoner är idag via telefonledningen, endera med modem eller så kallade DSL-tjänster, men också permanenta uppkopplingar växer sig starkare. Med de senaste DSL-tjänsterna samt med de permanenta uppkopplingarna börjar något som liknar bredband att erbjudas och tjänster av en helt annan karaktär blir möjliga. Genom att den befintliga infrastrukturen utnyttjas kan tjänster som TV-sändningar, radiosändningar, filmuthyrning och datorspel erbjudas direkt i hemmet utan att det krävs alltför stora initiala investeringar. En företeelse som redan funnits ett tag är den så kallade settop-boxen som man kopplar till TV-apparaten för att kunna ta emot digitala TV-sändningar. De flesta idag förekommande settop-boxar tar emot signalen via kabel-tv-nätet eller via satellit. Detta innebär givetvis ett mycket begränsat utbud då endast ett fåtal operatörer har tillgång till kabel-tv-nät eller till satellit. Om en settop-box istället utvecklades för den redan befintliga strukturen, som existerar genom Internet, skulle tillgängligheten öka eftersom vem som helst med tillgång till Internet skulle kunna distribuera och ta emot dessa sändningar. Detta examensarbete behandlar några av de frågeställningar och problem som är förknippade med en sådan settop-box. 1.3 Förutsättningar En rad standarder existerar redan för att sända video över nätverk. Nackdelen med många av dessa är att det är proprietära standarder vilket innebär att standarderna inte finns tillgängliga för allmänheten. Detta medför att produkterna endast fungerar tillsammans med andra produkter från samma tillverkare. För att uppnå kompatibilitet mellan produkter från olika tillverkare krävs att de använder samma standard. Med MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder 1

16 Kapitel 1 öppna standarder kan vilken tillverkare som helst producera en kompatibel produkt. Det är därför önskvärt med system som baseras på öppna standarder. Med en öppen standard menas en standard som är publikt tillgänglig för vem som helst. Det är viktigt att komma ihåg att bara för att en standard är öppen behöver den inte vara gratis, varken att köpa eller använda. MPEG-4 är en öppen standard för att komprimera video- och ljudmaterial. I detta arbete förutsätts att settop-boxen huvudsakligen använder MPEG-4. Det förutsätts också att settop-boxen kommunicerar med omvärlden via ett datornät kompatibelt med Internet. 1.4 Syfte Syftet med detta examensarbete är att undersöka möjligheter och design av en settop-box anpassad för nätverk av typen Internet. Settop-boxen ska vara baserad på öppna standarder. Målsättningen är att definiera ett eller flera förslag på hur en MPEG-4-kompatibel settop-box för IP-baserade nätverk kan utformas samt belysa vilka problem och frågeställningar som är relevanta i sammanhanget. 1.5 Metod Tillgången på befintliga och öppna standarder kommer att undersökas. Ett antal av dessa standarder kommer att studeras för att avgöra om de passar för ändamålet. Om det är möjligt kommer några att väljas ut och ligga till grund för en design. Det kommer också att undersökas om liknande arbeten redan utförts och om dessa i så fall kan användas. 1.6 Målgrupp Rapporten beskriver ett examensarbete på en civilingenjörslinje och riktar sig till motsvarande målgrupp. Rapporten behandlar grundläggande teori för videokodning och datornät. Detta är dock kortfattat och en viss kunskap inom området är önskvärd för att läsaren ska tillgodogöra sig resten av rapporten. 1.7 Läsanvisningar För att få en överblick över projektet bör kapitel 1, Inledning, läsas. Detta kapitel beskriver examensarbetet och dess bakgrund. Kapitel 2, Motiv till en nätverksanpassad settopbox, beskriver vilka användningsområden en nätverksanpassad settop-box har. Kapitel 3, Videokodning, och kapitel 4, Datornät, innehåller en grundläggande teoretisk bakgrund och många av de begrepp som används förklaras. I kapitel 5, MPEG-4 över IP, beskrivs befintliga alternativ för att överföra MPEG-4 över IP-baserade nätverk. Kapitel 6, ISMA, ger en introduktion till industriorganisationen ISMA och kapitel 7, Systemdesign, ger ett förslag på hur ett system med en MPEG-4-kompatibel settop-box kan designas samt vilka krav som kan ställas på systemet. Rapporten avslutas med kapitel 8, Slutsatser, som diskuterar den design som gjorts samt vilka problem och alternativa lösningar som finns. 2 Linköpings tekniska högskola, Bildkodningsgruppen

17 Inledning 1.8 Ordförklaringar Då många engelska uttryck och förkortningar standardmässigt används inom branschen dyker några sådana upp även i denna rapport. Några av de mest förekommande uttrycken förklaras därför nedan. Ord AAC AU BIFS Browser Broadcast BPS CELP Codec Datatakt DCT DHCP DMIF DRM DSL Förklaring Advanced Audio Coding. Avancerad kodningsmetod för ljud baserad på transformkodning och psykoakustiska modeller. Access Unit. Den minsta enheten i en MPEG-4 Elementary Stream. Motsvarar till exempel en bildruta. Binary Format for Scene Descriptions. Ett språk som används för att beskriva scener i MPEG-4. En applikation för att hämta och presentera webbsidor. Används när någon i ett nätverk vill skicka ett meddelande till alla användare. Det görs genom att använda en speciell broadcast-adress. Bitar per sekund. Ett mått på datatakt. Code Excited Linear Prediction. Avancerad metod för talkodning. Engelsk förkortning för coder - decoder, de två delar som krävs för att koda och sedan avkoda media. Hur fort data processas. Anges ofta i antal bitar per sekund. Diskret cosinustransform. En transform som är mycket vanlig i bildkodningssammanhang. Dynamic Host Configuration Protocol. Ett protokoll för automatisk konfigurering av klienter i ett nätverk. Delivery Multimedia Integration Framework. Ett sessionsbaserat protokoll i MPEG-4 för multimediaströmmar. Ansvarar för att abstrahera bort utseendet på transportkanalen. Digital Rights Management. Samlingsnamn för mekanismer som skyddar digital media från olovligt användande och spridande. Digital Subscriber Line. Samlingsnamn på några standarder för datakommunikation via telefonledningar. Den vanligaste är Asymmetric Digital Subscriber Line, ADSL. Tabell 1: Ordförklaringar MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder 3

18 Kapitel 1 Ord DVB ES Gateway GUI Header HTTP IEC IETF IP IPMP ISMA ISO MPEG Multicast Förklaring Digital Video Broadcasting. Standard för att distribuera digital video med hjälp av satellit, ett kabelbundet nät eller ett marksänt nät. Använder MPEG-2. Elementary Stream. Den dataström som genereras av en MPEG- 4-kodare. Består av en rad access units. En server som agerar som en portal för andra klienter. Graphical User Interface. Ett grafiskt användargränsnitt som presenteras för användaren. Via detta gränssnitt kan sedan användaren kommunicera med datorn. Inledande informationsdel av ett datapaket. Här finns information om vilken typ av paket det är och adresser till mottagare och avsändare. Hypertext Transport Protocol. Det protokoll som används för kommunikation på webben. International Electrotechnical Commission. Internationellt standardiseringsorgan inriktat på elektroteknik. Internet Engineering Task Force. En organisation som arbetar med att standardisera kommunikationen över Internet. Internet Protocol. Det protokoll som utgör kärnan i Internet. Protokollet skapar ett homogent nätverk av flera olika fysiska nätverk. Intellectual Property Management and Protection. MPEG:s namn på DRM. Internet Streaming Media Alliance. En industriell organisation som arbetar med att öka användandet av öppna standarder vid multimediakommunikation över Internet. International Organization for Standardization. Internationell organisation som arbetar med att skapa internationella standarder. Moving Picture Experts Group. En arbetsgrupp inom ISO/IEC som arbetar med att skapa standarder för att koda digital media. Används när någon vill skicka ett meddelande till en delmängd av användarna i ett nätverk. Görs genom att använda speciella multicast-adresser. Tabell 1: Ordförklaringar 4 Linköpings tekniska högskola, Bildkodningsgruppen

19 Inledning Ord Pixel Rendera RTCP RTP RTSP RTT SAP SDP Settop-box Smartcard Streaming server TCP Texturer TwinVQ UDP Förklaring Picture element. Ett bildelement som motsvarar den minsta beståndsdelen i ett raster. Datorgenerering av bild från en modell. Real-time Control Protocol. Protokoll som används för att kontrollera en tillhörande RTP-ström. Real-time Transport Protocol. Protokoll som används för att transportera realtidsmedia. Används oftast ovanpå UDP. Real Time Streaming Protocol. Protokoll som används för att styra och kontrollera realtidsströmmar. Kan till exempel styra RTP-strömmar. Round Trip Time. Den tid det tar att skicka data över ett nätverk från en klient till en annan och tillbaka. Session Announcement Protocol. Ett transportprotokoll för SDP som använder multicast för att annonsera multimediasessioner. Session Description Protocol. Ett beskrivande protokoll för multimediasessioner. Protokollet är inte ett transportprotokoll utan är endast beskrivande. Mottagare för digital-tv. Används tillsammans med en vanlig TV-apparat. Samlingsnamn för kort som innehåller information relaterad till en viss applikation. Informationen kan sparas i exempelvis en magnetremsa eller mikroprocessor. Server som kan skicka multimediaströmmar i realtid. Transmission Control Protocol. Protokoll som används för att transportera data över IP på ett tillförlitligt sätt. TCP skapar en förbindelse med mottagaren innan data skickas. En yta med olika egenskaper som används för att bekläda olika strukturer i datorgrafik. Transform-domain Weighted Interleave Vector Quantization. Kodningsmetod för ljud baserad på transformkodning och psykoakustiska modeller. User Datagram Protocol. Ett protokoll som används för att transportera data över IP. UDP är inte tillförlitligt och det skapar ingen förbindelse med mottagaren innan det skickar data. Tabell 1: Ordförklaringar MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder 5

20 Kapitel 1 Ord URL USB Video-on-demand Öppen standard Förklaring Universal Resource Locator. Adressystem för att ange webbsidor. En URL är en teckensträng som unikt identifierar en resurs på webben. Universal Serial Bus. Ett gränssnitt för att ansluta externa enheter till en dator. En videouthyrningstjänst som kunden kan använda från hemmet. Filmen leveras direkt. Standard som finns publikt tillgänglig. Standarden behöver dock inte vara gratis att tillgå eller använda. Tabell 1: Ordförklaringar 6 Linköpings tekniska högskola, Bildkodningsgruppen

21 KAPITEL 2 2ANVÄNDNINGSOMRÅDE FÖR EN SETTOP-BOX Detta kapitel beskriver och motiverar några möjliga användningsområden för en nätverksanpassad settop-box. 2.1 Dagens settop-boxar De flesta av dagens settop-boxar är anpassade för Digital Video Broadcasting, DVB [25]. Det är ett system för att distribuera digitala TV-sändningar över marksända nät, kabelbundna nät och satellit. Settop-boxen används för att konvertera och avkoda den digitala signalen till den analoga signal dagens TV-mottagare kräver. Dessa settop-boxar är alltså bundna till traditionella distributionskanaler och kan inte kopplas upp mot datornät. 2.2 Motiv till en nätverksanpassad settop-box Det finns flera fördelar med att anpassa en settop-box för datornät: Nåbarhet Idag nås nästan hela jorden via Internet. Tillgänglighet Tillgängligheten är stor eftersom många människor redan har tillgång till Internet. Infrastruktur Genom att använda redan befintlig infrastruktur kan kostnaden för att sända video minskas betydligt. Dubbelriktad kommunikation Till skillnad från befintlig infrastruktur erbjuder nätverk möjlighet till dubbelriktad kommunikation, det vill säga interaktivitet. Allt detta gör att den initiala kostnaden för att sända video dramatiskt minskar jämfört med de kostnader och svårigheter som uppkommer i samband med uppstarten av till exempel ett marksänt nät. Samtidigt ökar storleken på den potentiella publiken. Resultatet blir att konsumenterna får fler valmöjligheter och kan välja mellan utbud från hela världen. Samtidigt får fler producenter av material möjlighet att distribuera detta till en stor publik. MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder 7

22 Kapitel Exempel på användningsområden Det finns ett antal specifika användningsområden för en Internetanpassad settop-box. Många av dem kräver en särskild operatör som kan erbjuda intressanta och användbara tjänster. Vissa av tjänsterna erbjuds redan idag, andra bör kunna implementeras med befintlig teknik TV-sändningar Idag distribueras TV-sändningar via det marksända TV-nätet, via kabel-tv eller via satellit. Sändningarna kan vara analoga eller digitala. I det senare fallet krävs en settopbox som anpassar signalen till TV-mottagaren. I samtliga fall krävs det dyrbar infrastruktur för att det ska vara möjligt att distribuera signalen till konsumenterna. Om TV-sändningarna skickades över Internet skulle en Internetanpassad settop-box kunna användas som TV-mottagare. Vem som helst skulle kunna producera material och med relativt billig teknik distribuera materialet över Internet. I förlängningen skulle detta kunna betyda att det vanliga uttaget för TV-signaler ej behövs. Det skulle också innebära att de TV-sändningar som redan finns på nätet i form av nyhetsklipp och filmklipp kan presenteras på TV-apparaten med hjälp av settop-boxen. Det krävs således inte en separat hemdator för detta Video-on-demand Genom att Internet används som distributionskanal kan en mycket flexibel videouthyrningstjänst skapas. Tjänster av det slaget, som kallas video-on-demand, innebär att konsumenten, när som helst på dygnet, kan beställa en film och få den distribuerad till sig omedelbart. För konsumenten innebär det ökad åtkomst eftersom tjänsten blir helt automatiserad. Hänsyn behöver inte längre tas till öppettider. Det medför också ökad tillgänglighet eftersom en film aldrig kan vara uthyrd Webbåtkomst Eftersom settop-boxen redan är anpassad för Internet är det ett naturligt steg att även erbjuda möjligheten att använda webben. Med en inbyggd browser behövs inte längre en hemdator utan webben kan istället nås via TV-apparaten. Webben kan i detta fall användas som en avancerad text-tv funktion Datorspel Möjligheten att spela spel på settop-boxen skulle göra den till en attraktiv och flexibel spelkonsoll. Det blir allt populärare att spela datorspel över Internet mot andra spelare och där kan settop-boxen vara ett alternativ. Genom att låta spelen ligga på en central server behöver konsumenten inte köpa spelen. Istället kan konsumenten erbjudas att köpa rätten att spela de spel som finns tillgängliga på servern eller betala för den tid spelet spelas. Centraliseringen förhindrar även olovlig kopiering av spel eftersom konsumenten inte längre har direkt tillgång till mjukvaran. 8 Linköpings tekniska högskola, Bildkodningsgruppen

23 Användningsområde för en settop-box 2.4 Alternativt användningsområde I många av de användningsområden som beskrivs ovan förutsätts att settop-boxen är kopplad till Internet, men detta behöver inte gälla för att settop-boxen skall vara funktionell. Den enda förutsättningen är att den kopplas till ett nätverk baserat på samma infrastruktur som Internet. Till exempel kan en nätverksoperatör bygga ett lokalt nätverk i en stad, ett så kallat stadsnät. I detta nät kan operatören hyra in eller själv erbjuda några av ovanstående tjänster. Konsumenterna kan sedan betala utifrån vilka tjänster de använder. På detta sätt kan även webbåtkomst erbjudas genom att konsumenten betalar för tillgång till en webb-gateway som operatören tillhandahåller. MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder 9

24 Kapitel 2 10 Linköpings tekniska högskola, Bildkodningsgruppen

25 KAPITEL 3 3VIDEOKODNING Detta kapitel beskriver kortfattat utveckling, begrepp och grundläggande funktion hos några av de idag vanligaste videokodningsstandarderna. Tyngdpunkten ligger på MPEG-4 eftersom denna standard är en förutsättning i detta examensarbete. 3.1 Bakgrund Redan under utvecklingen av de analoga TV-systemen genomfördes experiment för att minska storleken på videosekvenser. Videosignaler kräver generellt sett mycket stor bandbredd och det är ännu idag ett kostsamt och svårlöst problem. För att överföra en digital video med 30 bilder per sekund, en upplösning på 720 x 480 pixlar och varje pixel representerad med 24 bitar skulle det krävas en datatakt på över 248 Mbps! Vare sig det gäller satellit-, radio- eller kabelöverföring så kommer bandbredden alltid att vara begränsad, vilket innebär att lösningar måste sökas på annat håll. Exempel på detta kan vara att koda om videosekvensen så att mindre bandbredd krävs vid transmission. En annan anledning till att koda om videosekvenser är det utrymme som krävs för att lagra dem. Antag att sekvensen i exemplet ovan är en 80 minuter lång spelfilm. Detta skulle innebära att det krävs ungefär utrymme för lagra den. Även om lagringsutrymme blir allt billigare är det fortfarande önskvärt att få ner storleken och därmed kostnaden för att lagra digital video. 3.2 Grundläggande teori = 148.8GB 8 En generell modell av ett digitalt ljud- och bildkodningssytem illustreras i figur 1. Kodare Kanal Avkodare Figur 1: Modell av ett digitalt ljud- och bildkodningssystem. MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder 11

26 Kapitel 3 Systemet karaktäriseras av kodaren och avkodaren. Ofta benämns dessa med förkortningen codec (eng: coder - decoder). Detta beror på att de två är hårt förknippade med varandra. En viss kodare producerar data som bara motsvarande avkodare kan avkoda, så det är inte intressant med endast den ena komponenten. Alla komprimeringsalgoritmer kan delas in i två grupper, förlustfria och förstörande. Med ett förslustfritt system kan det ursprungliga materialet alltid återskapas exakt, se figur 2a, medan ett förstörande system endast kan återge en approximation av det ursprungliga materialet, se figur 2b. I bilden representerar funktionen K kodaren och funktionen A avkodaren. K( x) = y Ay ( ) = x K( x) = y Ay ( ) x (a) (b) Figur 2: a) Ett förlustfritt system. b) Ett förstörande system. Genom att kontrollera hur stor del av det ursprungliga materialet som får gå förlorat kan olika grad av kompression uppnås. Förlustfria algoritmer är en förutsättning för att komprimera binära filer och text eftersom varje bit måste återskapas exakt. En text skulle till exempel kunna få en helt annan innebörd genom att bara en bokstav ändras. Däremot kan förstörande kodning ofta användas inom ljud-, bild- och videokodning eftersom mindre fel då är svåra att uppfatta Ljud- och bildkodning Några av de mest grundläggande begreppen inom ljud- och bildkodning är kvantisering och entropikodning. Den vanligaste metoden benämns transformkodning och bygger på att en bild eller en ljudsignal först transformeras med hjälp av en lämplig transform, sedan kvantiseras och till sist entropikodas. Dessa begrepp förklaras utförligare i följande avsnitt Kvantisering Kvantisering innebär att en viss mängd information i mediat bortses från. Det är kvantiseringen som åstadkommer den största kompressionen och det är också den som distorderar bilden eller ljudet på ett sådant sätt att de inte kan återskapas exakt. Högre kompression innebär att mer information tas bort och att mediat avviker mer från det ursprungliga. Det existerar två olika typer av kvantisering; skalär kvantisering och vektorkvantisering. Skalär kvantisering innebär att alla tänkbara symboler, som kan vara en oändlig mängd om källan är analog, grupperas i en kvantiseringstabell. På detta sätt blir antalet kodord ändligt och färre än antalet möjliga symboler. Mängden kodord blir också diskret. Nackdelen är att flertalet symboler avrundas. Kvantiseringstabellen behöver inte vara likformigt uppdelad utan kan ha högre upplösning i vissa intervall. Ett exempel på en likformig kvantiseringstabell ges i tabell 2 där källan genererar symboler mellan 0 och Linköpings tekniska högskola, Bildkodningsgruppen

27 Videokodning Denna kvantiserare kallas för 2-bitars kvantiserare eftersom det krävs två bitar för att representera alla möjliga kodord. Symbolintervall Kvantiserad symbol Kodord Hur kodorden väljs är inte självklart. I exemplet ovan har de valts som medelvärdet av de möjliga symbolerna men det finns mer avancerade metoder [1]. Vektorkvantisering innebär ett liknande förfarande. Skillnaden är att symboler först grupperas i vektorer. De möjliga vektorerna grupperas sedan i kvantiseringstabellen Entropikodning Entropikodning är det sista som utförs innan den komprimerade ljud- eller bildsekvensen skickas till mottagaren. Med hjälp av statistiska metoder kan mediainformationen representeras på ett kompaktare sätt. Den vanligaste metoden kallas för Huffmankodning och innebär att symboler som förekommer med hög sannolikhet representeras med korta kodord och mindre sannolika symboler representeras med längre kodord. Skurlängdskodning är en något annorlunda metod. Som namnet antyder anges längden av skurar med likadana symboler. Kodordet motsvaras då av en längd och typ av symbol. Denna typ av kodning är ineffektiv om symbolerna varierar ofta. Samlingsnamnet för ovanstående typ av metoder är variabellängdskodning eftersom kodorden har olika längder. En annan vanlig metod för variabellängdskodning är aritmetisk kodning [1] Transformkodning Tabell 2: Exempel på kvantiseringstabell. Genom att transformera en bild eller en ljudsekvens med lämplig transform erhålls en frekvensrepresentation av mediainformationen. Detta görs eftersom det då är lättare att separera viktiga och mindre viktiga delar. Vad som är viktigt och mindre viktigt beror på ögats och örats egenskaper och hur vi uppfattar bilder och ljud. En annan viktig fördel med transformen är att den underlättar entropikodningen. Frekvensrepresentationen av bilder visar sig vara utmärkt för skurlängdskodning, se nedan. Den idag vanligast förekommande transformen för bildkodning är den diskreta cosinustransformen, DCT. Den ger nästan lika bra prestanda som den optimala Karhunen-Loéve-transformen, och har fördelen av att vara dataoberoende. Transformeringen går till på så sätt att bilden delas upp i så kallade transformblock. Varje sådant transformblock transformeras sedan för sig, för att underlätta beräkningarna och minska behovet av minne. Det visar sig även att detta inte är någon större nackdel efter- MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder 13

28 Kapitel 3 som de statistiska egenskaperna bibehålls i de mindre blocken. Tvådimensionell DCT kan ses som en matrismultiplikation Y = C T XC där X är insignalen, Y är utsignalen och C är transformatrisen som ges av [1]: [ C] i, j = 1 ( 2 j + 1)iπ --- cos , N 2N i = 0, j = 0, 1,, N 1 2 ( 2 j + 1)iπ --- cos , N 2N i = 12,,, N 1, j = 0, 1,, N 1 Det har visat sig att ögat är mindre känsligt för förändringar bland de högre frekvenskomponenterna än de lägre frekvenskomponenterna. Rent praktiskt innebär detta att ett antal av de högre frekvenserna skalas bort från bilden och att andra transformkomponenter avrundas. Ett exempel ges i figur 3. f = F = Figur 3: f representerar originalbilden. F är bilden efter transform och kvantisering [5]. 14 Linköpings tekniska högskola, Bildkodningsgruppen

29 Videokodning I figuren ses varför transformeringen underlättar för entropikodningen. Genom så kallad zig-zag scan, som innebär att matriskomponenterna läses i zick-zack-ordning med början i det övre vänstra hörnet och slut i nedre högra hörnet, erhålls långa skurar av nollor. Se figur 4. Figur 4: Principen för zig-zag scan. Dessa skurar av likadana symboler är idealiska för skurlängdskodning och används därför med gott resultat i många transformkodare. För ljudkodning används en endimensionell transform och även här är DCT, eller någon variant av denna, vanlig [1]. För övrigt är principen densamma som för transformkodning av bilder Digitalisering av videosekvenser I många sammanhang förekommer videosekvenser som analoga signaler inspelade med till exempel en analog videokamera. För att kunna behandla dessa digitalt måste de först digitaliseras. Detta görs genom att signalen samplas. En vanlig representation av digitala videosignaler är RGB som står för Red-Green-Blue. Där representeras de diskreta signalvärdena, pixlarna, med ett värde för hur mycket rött, grönt och blått de innehåller. Ofta används en byte för varje färg, det vill säga 24 bitar per pixel. Normalt sett används YUV-formatet, ibland kallat YCrCb, som insignal till videokodningsalgoritmer och vid TV-sändningar. En YUV-signal är uppdelad i något som kallas luminans (Y) och krominans (U och V). Luminansen är bildens gråskalevärden, eller ljusstyrka, och krominansen är bildens färgvärden. Anledningen till att YUV är bättre än RGB är att YUV har vissa fördelar vid komprimering, se avsnitt YUVformatet kräver också mindre bandbredd än RGB eftersom alla tre delsignalerna i RGB innehåller luminans. Genom att separera denna ur RGB-signalerna behöver luminansen endast sändas en gång i stället för tre gånger. RGB-signalen konverteras till YUV genom en transformation som ser ut på följande sätt: Y U V = R G B I samband med samplingen bestäms även bildens upplösning, det vill säga hur många pixlar som används för att representera bilden. Varje signalkomponent samplas för sig, ju fler sampel desto högre upplösning. MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder 15

30 Kapitel Videokompression Komprimering av videosekvenser liknar komprimering av bilder eftersom videosekvenser består av en lång sekvens med stillbilder. Skillnaden är att det finns en betydande redundans i en videosekvens eftersom det i allmänhet inte är mycket som ändras mellan två efterföljande bilder. Detta, som kallas temporal redundans, kan utnyttjas för att uppnå högre kompression. När en videosekvens ska komprimeras utnyttjas den temporala redundansen genom rörelsekompensation. Tillsammans med transformkodningen kallas detta för hybridkodning. En viss grad av kompression kan också erhållas genom att videosignalen nedsamplas i samband med digitaliseringen. Dessa begrepp förklaras närmare i efterföljande avsnitt Nedsampling av videosignaler Det mänskliga ögat är mindre känsligt för krominans än luminans och detta kan utnyttjas då en videosignal skall komprimeras. Genom att krominansen samplas med en lägre hastighet krävs det mindre data för att representera bilden. Hur denna nedsampling gjorts representeras ofta med en trippel av heltal. Innebörden av dessa tre siffror är tyvärr inte konsekvent men för de flesta formaten motsvarar det den samplingsfrekvens som använts för komponenterna, Y:U:V. Till exempel 4:2:2 innebär att luminans samplats med fyra gånger en grundfrekvens och krominanserna med två gånger denna grundfrekvens, se figur 5a. Nedsamplingen har enbart skett i horisontalled. Samma sak gäller för 4:1:1 där krominanserna samplats med grundfrekvensen. Ett annat alternativ är att även nedsampla i vertikalled. Genom att sampla med två gånger grundfrekvensen i både vertikal- och horisontalled fås 4:2:0 formatet, se figur 5b. Detta format kräver således samma bandbredd som 4:1:1. - luminans - krominans (a) (b) Figur 5: a) 4:2:2 formatet. b) 4:2:0 formatet. 16 Linköpings tekniska högskola, Bildkodningsgruppen

31 Videokodning Ett vanligt bildformat för digital video som använder 4:2:0 formatet är Common Intermediate Format, CIF. I tabell 3 ges definitionen på CIF och fyra andra varianter. Sub-QCIF QCIF CIF 4CIF 16CIF Antal pixel per linje Antal linjer Okomprimerad datatakt vid 30 Hz 4.4 Mbit/s 9.1 Mbit/s 37 Mbit/s 146 Mbit/s 584 Mbit/s Rörelsekompensation Tabell 3: Standardformat för digitala bilder. Ofta är två efterföljande bilder i en videosekvens väldigt lika. Hur lika de är beror bland annat på hur snabba scenförändringar det är i scenen som bilderna representerar. Även vid snabba scenförändringar är ofta det huvudsakliga innehållet i bilden detsamma även om föremål kan ha förflyttats jämfört med föregående bild. Detta utnyttjas genom att bilden först delas upp i mindre delar. Varje mindre del matchas sedan med delarna i nästa bild i sekvensen. När den bästa matchningen hittats beräknas en rörelsevektor som beskriver hur motsvarande delbild förflyttats mellan bilderna. Se figur 6. Figur 6: Princip för rörelsekompensation. Det faktum att sekvensen i många fall består av liknande bilder gör också att nästa bild i serien kan predikteras utifrån den nuvarande. Det som egentligen skickas till mottagaren är då skillnaden mellan den predikterade bilden och den korrekta bilden, det så kallade prediktionsfelet. I det enklaste fallet innebär predikteringen att nästa bild förutsätts vara likadan som nuvarande bild. Det ideala fallet är en scen där ingenting förändras och bilderna är då ekvivalenta. Då stämmer predikteringen perfekt och prediktionsfelet blir noll. Istället för att koda hela bilden igen anges då att ingenting förändrats sedan föregående bild. I det andra extremfallet, som till exempel kan vara ett scenbyte, förändras scenen helt och ingenting är likt den föregående bilden. Prediktionsfelet blir då stort. MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder 17

32 Kapitel 3 För att få en effektivare prediktering beaktas även rörelsevektorerna. Ett föremål som rört sig i en viss riktning innan förutsätts fortsätta i samma riktning. Denna vidareutveckling ger i många fall en bättre prediktering och kallas för rörelsekompenserad prediktion. Ytterligare effektivitet kan erhållas genom så kallad global rörelsekompensation, GMC. Detta innebär att rörelse av hela bilden undersöks. Det är till exempel bra då bilden panorerar i någon riktning. Förbättring kan också erhållas genom så kallad subpixel rörelsekompensation. Om detta används beräknas rörelser med högre nogrannhet än en pixel. En nackdel med detta är att det krävs relativt många och ibland komplicerade beräkningar Hybridkodning Genom att kombinera transformkodning och rörelsekompensation fås det som kallas hybridkodning. I figur 7 presenteras ett blockschema över en videokodare av denna typ. In + DCT Kvantisering Entropikodning Inverskvantisering Invers- DCT Multiplex Bitström + Prediktering Rörelseestimering Entropikodning Figur 7: Blockschema för kodare. Kodaren är relativt komplicerad och kräver att inverstransformen till DCT används. Nu för tiden finns dock hårdvarulösningar som med mycket gott resultat kan användas för kodningen. 18 Linköpings tekniska högskola, Bildkodningsgruppen

33 Videokodning Till skillnad från kodaren är avkodaren enkel och rättfram till konstruktionen, se figur 8. Entropiavkodning Invers- DCT Inverskvantisering Rörelsekompensation Ut Bitström Demultiplex Entropiavkodning Figur 8: Blockschema för avkodare. Efter att bitströmmen delats upp och entropiavkodats sker en inverskvantisering och inverstransformering. Skillnaden mellan bilden och föregående bild appliceras sedan på den med hjälp av rörelsevektorerna predikterade bilden. Ofta krävs att avkodaren är snabb och enkel för att systemet skall vara användbart Skalbar kodning Skalbar kodning innebär att kodningen genomförs i så kallade lager [23]. Först skapas ett grundläggande baslager som sedan kan utökas med förbättringslager. Baslagret motsvarar vanlig oberoende kodning med låg datatakt. Beroende på tillgänglig bandbredd kan sedan ett antal förbättringslager läggas till för att uppnå högre kvalitet. Förbättringslagren är beroende av baslagret. Fördelen med skalbar kodning är att komplexiteten kan anpassas efter hur stora resurser avkodaren har samt att vid transmission över bandbegränsade kanaler kan antalet lager väljas och prioriteras efter tillgänglig bandbredd. 3.4 MPEG Moving Picture Expert Group, MPEG, bildades 1988 med syftet att utveckla en standard för hur videosekvenser skall kodas vid olika datatakter. MPEG skapades som ett samarbete mellan International Organization for Standardization, ISO, och International Electrotechnical Commission, IEC, och de inriktade sig från början på tre olika datatakter, 1.5 Mbps, 10 Mbps och 40 Mbps [3]. Dessa benämndes MPEG-1, MPEG-2 och MPEG-3. Senare visade det sig att MPEG-2 kunde hantera datakter ända upp till 60 Mbps och MPEG-3 behövdes därför inte. Denna lades därför ned. Några år senare bestämde sig MPEG-gruppen för att producera en ny standard inriktad på multimedia. Standarden benämndes MPEG-4 och målet var att skapa en gemensam bas för hur alla typer av ljud, video, bilder, 2D- och 3D-grafik och animeringar skall kodas och kombineras för att utgöra en hel presentation. I efterföljande avsnitt ges en kort beskrivning av den grundläggande funktionaliteten hos MPEG-1/2 och MPEG-4. MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder 19

34 Kapitel MPEG-1/2 En MPEG-kodad film är en sekvens bilder av tre olika typer. Dessa bilder kallas I-, P- och B-frames, se figur 9. I-frame P-frame B-frame Figur 9: En MPEG-kodad videosekvens. En I-frame, eller intra coded frame, är en bild som kan återskapas separat och helt utan referenser till andra bilder. En P-frame, eller predicted frame, är en bild som predikteras utifrån föregående I- eller P-frame. Den kräver alltså tillgång till en annan bild för att kunna återskapas. En B-frame, eller bidirectional frame, är en bild som predikteras med hjälp av föregående I- eller P-frame och nästkommande I- eller P-frame. Den behöver alltså två stycken andra bilder för att kunna återskapas. P- och B-frames kallas för inter coded frames. En videosekvens startar alltid med en I-frame och sedan återkommer dessa med jämna mellanrum. Ju större avstånd det är mellan dessa desto större kompression uppnås. En nackdel med för stora avstånd är att möjligheten att spola framåt eller bakåt i sekvensen försämras eftersom spolningsupplösningen minskar. Videokodningsalgoritmerna i både MPEG-1 och MPEG-2 bygger på att bilden, som kan vara en originalbild om en I-frame skall kodas eller skillnaden mellan en bild och en predikterad bild om en P- eller B-frame skall kodas, delas upp i block på 8 x 8 pixlar. Varje sådant block transformeras med hjälp av DCT, se avsnitt Fyra stycken luminansblock och ett antal krominansblock, beroende av vilket format som används, bildar ett macroblock. För 4:2:2 formatet motsvarar ett macroblock fyra luminansblock och två block av varje krominans typ. Rörelsekompenserad prediktering utförs på macroblock. Den generella strukturen för kodaren är samma som i figur 7. MPEG-2 kan ses som en utbyggnad av MPEG-1 och varje MPEG-2 kompatibel avkodare kan även avkoda MPEG-1. En av de stora skillnaderna mellan MPEG-1 och MPEG-2 är införandet av profiler och nivåer. MPEG-2 standarden kan liknas vid en verktygslåda med många olika verktyg för att koda ljud och bild. Ett eller flera av dessa verktyg kan användas och olika grad av kvalitet och kompression uppnås. Genom att 20 Linköpings tekniska högskola, Bildkodningsgruppen

35 Videokodning införa dessa profiler och nivåer går det att bestämma vilka av dessa verktyg som skall användas för att kodaren skall vara kompatibel med en viss profil och en viss nivå. Profilerna anger vilka algoritmer som skall användas och nivåerna begränsar vissa av parametrarna såsom datatakt och upplösning. MPEG-2 är idag frekvent förekommande inom en rad tillämpningar. Till exempel DVD och digital television, DVB, använder MPEG-2 kodat material. För en DVD-film ligger normalt bithastigheten på Mbps, vilket är vad som krävs för att få acceptabel filmkvalitet. För en utförligare beskrivning av MPEG-1/2, inklusive ljudkodning, hänvisas till [6] och [7] MPEG-4 Det ursprungliga målet med MPEG-4, som påbörjades 1993, var att skapa en flexibel standard som hanterar låga datatakter. Detta ändrades dock snart till en mer generell inriktning mot kodning av multimedia. Den första delen av standarden, version 1, färdigställdes 1999 och en utökning, version 2, blev klar Med MPEG-4 introducerades ett nytt tänkande inom multimediakodningen. Scener och videosekvenser ses som en hierarkisk sammansättning av olika objekt. Ett objekt kan till exempel vara en bakgrund, en eller flera personer, en animerad figur, ett ljudspår eller helt enkelt en klassisk videosekvens. Varje objekt kodas för sig med metoder anpassade för det objektets struktur. En komplett scen innehåller en eller flera sådana objekt samt en object description, OD, som är en beskrivning av hur scenen är sammansatt, både i rum och i tid. För beskrivningen används ett speciellt språk som kallas Binary Format for Scene Descriptions, BIFS. Den hierarkiska strukturen ges i figur 10. Video Session (VS) VS 1 VS 2 Video Object (VO) VO 1 VO 2 Video Object Layer (VOL) VOL 1 VOL 2 Video Object Plane (VOP) VOP 1 VOP 2 VOP 1 VOP 2 } } Layer 1 Layer 2 Figur 10: Den hierarkiska strukturen för en MPEG-4 scen [22]. MPEG-4-kompatibel settop-box för IP-nät baserad på öppna standarder 21

36 Kapitel 3 Video session är en komplett scen som kan bestå av ett eller flera video object. Ett video object motsvarar ett objekt i scenen och är i enklaste fallet en fyrkantig bild. Varje video object består i sin tur av ett eller flera video object layer. Ett video objekt layer motsvarar icke-skalbar kodning och flera video object layer motsvarar skalbar kodning, se avsnitt Slutligen består varje video object layer av flera video object plane. Dessa motsvarar ett tidsampel och för bilder kan de liknas med de olika frames som finns i MPEG- 2. Precis som för MPEG-2 finns också motsvarigheterna I-VOP, P-VOP och B-VOP och funktionen är densamma, se avsnitt Ett vanligt förekommande begrepp vid hantering av MPEG-4 kodat material är elementary stream, ES. Detta begrepp används för att beskriva den egentliga bitström som hanteras efter kodningen. Varje ES innehåller ett eller delar av ett kodat objekt, en scene description eller kontrollinformation. Till exempel kan en videoscen generera en ES som innehåller ljud, en ES som innehåller video och en ES som innehåller systeminformation i form av en OD. Standarden är uppdelad i tio delar [8]. Några av de mest intressanta är: Systems Definierar hur olika objekt skall hanteras för att bygga upp en scen. Innehåller en beskrivning av BIFS och filformat. Beskriver även hur olika ES hanteras och modifieras. Visual Definierar verktyg för att koda visuellt material i olika former. Stöd finns bland annat för vanliga bilder, syntetiska två- och tredimensionella bilder, skalbar kodning, ansiktskodning och texturkodning. Standarden hanterar både interlaced och progressivt material. Audio Definierar verktyg för att koda ljud i olika former. Speciella verktyg finns bland annat för tal och syntetiskt ljud. Bland de metoder som stöds kan nämnas AAC, TwinVQ och CELP [24]. Delivery Multimedia Integration Framework DMIF definierar ett gränssnitt mellan applikationen och transportlagret. Detta gör att ingen hänsyn till detta behöver tas på applikationsnivå. 4 on IP framework MPEG-4 definierar inte transportlagret men en del anpassningar till existerande transportlager har gjorts, till exempel MPEG-2 TS Profiler Precis som i MPEG-2 finns ett antal profiler definierade [24]. Varje profil är en delmängd av MPEG-4 standarden. Därmed behöver inte alla avkodare implementera hela standarden utan kan begränsas till en eller flera profiler. Profilerna sätter alltså en begränsning på vilka funktioner som måste implementeras i avkodaren och komplexiteten kan hållas nere utan att kompatibiliteten förloras. Till varje profil hör också en nivå, eller level, även detta som i MPEG-2. Nivåerna används för att begränsa den nödvändiga datorkraften. 22 Linköpings tekniska högskola, Bildkodningsgruppen