3D så långt ögat ögonen når Mårten Sjöström & Roger Olsson SSNfs Årskonferens, Örebro 22 Mars, 2011 1
Innehåll 3D nu igen? Ny 3D med ny teknik och ny kunskap Hur ser vi avstånd, och hur kan det återskapas? Välj själv var på arenan du vill sitta i realtid! Från ax till limpa Överförs 3D som x-y-z-koordinater? Hur trångt blir det i näten? Vad behöver utvecklas vidare? 3D är mer än 3DTV! 2
3D nu igen? Det är ju inte första gången 3D står för dörren! 1800-tal: Olika 3D-tekniker Tidigt 1900-tal: Integrerade bilder Hologram 3
3D nu igen? Det är ju inte första gången 3D står för dörren! 1903: Kortfilmer i röd/grön 3D 1920-tal: Långfilmer i röd/grön 3D 1950-tal: 3D-filmer i Holywood 1980-tal: Imax 3D 4
Ny 3D med ny teknik Ny digital teknik gör kameror och skärmar mer exakt som medför bättre precision och ger därför färre fel i synupplevelsen Kameror: 3ality, Panasonic, Ikonoskop Skärmar: RealD, Dolby 3D, Sony, JVC, Pansonic Distributionsteknik Blueray 3D, MPEG Multiview, DVB 3DTV 5
Ny 3D med ny kunskap Bättre förståelse för hur vi människor upplever 3D har lett till genomtänkta produktioner Bättre fotograferat Inga konflikter mellan djupupplevelser 3D-effekten ett av många verktyg 3D används för att förstärka berättelsen Bättre kvalitetskontroll 6
Hur ser vi avstånd, den tredje dimensionen? Psykologiska djupupplevelser Fysiologiska djupupplevelser 7
Psykologiska djupupplevelser Blockering Ljus och skuggor Strukturers lutning Perspektiv Relativ storlek och höjd Suddighet 8 Bilder : ACM Transactions on Graphics, Vol. 29, No. 2, Article 19, March 2010.
Fysiologiska djupupplevelser Binoculär parallax (Seende med två ögon) Ackommodation Konvergens Rörelseparallax (Relativ rörelse) Vy för höger öga Vy för vänster öga Bilder av Henri Clément 9
Hur återskapas avstånd? 3D-skärmar skapar (åtminstone) en vy för vänster och höger öga. Stereoskopiska skärmar Röd-gröna glasögon Polariserande glasögon Aktiva glasögon blockerar varannan vy Inbördes horisontell placering ger avståndet till bildens objekt Samma vy var du än sitter 10
Hur återskapas avstånd? 3D-skärmar skapar (åtminstone) en vy för vänster och höger öga. Multistereoskopiska skärmar 1. Parallaxbarriär skärmar bildelement beroende på ögats placering 2. Optiskt filter framför skärm 3. Fler tekniker Försämrad upplösning Olika vyer beroende på var du sitter 11
Välj själv var på arenan du vill sitta i realtid! Free-viewpoint TV Enklaste variant - välj kamera Återkoppling från användare till sändningsnod / distributionsnod Avancerad variant Interpolera nya kameravinklar från data Liknar förfarande för 3D-data Kan kombineras med 3D-TV Återkoppling el. all data samtidigt 12
Från ax till limpa Bearbetningskedjan för 3DTV Infångning Efterbehandling Kompression & lagring Stereokamera, multi-kamera, avståndskamera Produktionsformat Färg- och koordinatkorrigering Format-omvandling Kompression beroende på format (MPEG) Distribution Presentation Effektiv och felfri distribution MPEG TS, RTP, SIP, Syntetisering av mellanliggande vyer Olika slags 3D-skärmar 13
Överförs 3D som x-y-z-koordinater? Olika 3D-format har föreslagits Conventional Stereo Video (CSV) Vanlig stereo video (CSV) Filmas med två kameror eller med stereo-kamera Bildkälla: Interactive Visual Media Group of Microsoft Research 14
Överförs 3D som x-y-z-koordinater? Olika 3D-format har föreslagits Conventional Mixed Resolution Stereo Stereo Video (MRS) (CSV) Stereo video med olika upplösning (MRS) Ena vyn skalas ned. Skalas upp innan presentation Synsinnet kompenserar för förlorad upplösning i ena vyn Bildkälla: Interactive Visual Media Group of Microsoft Research 15
Överförs 3D som x-y-z-koordinater? Olika 3D-format har föreslagits Multiview Video (MVV) Multi-vy video (MVV) Filmas med tre eller fler kameror Bildkälla: Interactive Visual Media Group of Microsoft Research 16
Överförs 3D som x-y-z-koordinater? Olika 3D-format har föreslagits Video plus avstånd (V+D) Video+depth (V+D) Avstånd extraheras från stereopar eller från avståndskamera 3D överförs som x-y-z koordinater! Önskade sido-vyer syntetiseras Bildkälla: Interactive Visual Media Group of Microsoft Research 17
Överförs 3D som x-y-z-koordinater? Olika 3D-format har föreslagits Multiview plus depth (MVD) Multi-vy video + avstånd (MVD) Mer information för mellanliggande vyer ger bättre resultat Bildkälla: Interactive Visual Media Group of Microsoft Research 18
Layered depth video (LDV) Överförs 3D som x-y-z-koordinater? Video med avstånd i lager (LVD) Olika 3D-format har föreslagits Dolda ytor kodas i separata lager Dolda lager extraheras från multi-kameraset Önskade sido-vyer syntetiseras Bildkälla: Interactive Visual Media Group of Microsoft Research och Fraunhofer HHI 19
Depth Enhanced Stereo (DES) Överförs 3D som x-y-z-koordinater? Stereo med avstånd (DES) Stereopar med Olika 3D-format har föreslagits avstånd och dolda ytor i separata lager Bildkälla: Interactive Visual Media Group of Microsoft Research och Fraunhofer HHI 20
Hur trångt blir det i näten? MPEG AVC / H.264 - familjen Standardiserad komprimering idag Parallella strömmar (Simulcast) Stereo Dubbelt så mycket data 21
Hur trångt blir det i näten? MPEG AVC / H.264 - familjen Standardiserad komprimering idag Stereo Supplemental Enhance Information (SEI) Interlaced / över-under / sidav-vidsida / varannan ram Enkel eller dubbel datamängd Därefter komprimerad Stereo Likheter mellan vyer utnyttjas i komprimeringen 22
Hur trångt blir det i näten? MPEG AVC / H.264 - familjen Standardiserad komprimering idag Auxiliary Picture Syntax Hjälpdata till varje pixel avstånd Video plus avstånd (V+D) Rörelsevektorer återanvänds 23
Hur trångt blir det i näten? MPEG AVC / H.264 - familjen Standardiserad komprimering idag MPEG-C Part 3 Container-format för V+D Video och avståndskarta kodas separat 24
Hur trångt blir det i näten? MPEG AVC / H.264 - familjen Standardiserad komprimering idag MPEG MVC / H.264 Multi-vy videokodning Fler än två videoströmmar behandlas parallellt Utnyttjar likheter mellan Ramar (rörelsevektorer) Vyer (skillnadsvektorer) Används av Blu-ray 3D Möjliggör Free-viewpoint TV 25
Hur trångt blir det i näten? MPEG 3DVC Standardiserad komprimering imorgon MPEG utvecklar nu ny 3D video standard Frikoppla produktion från kompressionsformat MPEG AVC / H.264 optimerad för 2D färgvideo, inte för avståndsinformation Stereo: anpassa till olika skärmtyper, storlekar och djupupplevelse Multistereo: anpassa till olika antal vyer, storlekar och djupupplevelse Möjliga format som ska komprimeras: Multiview Video + Depth (MVD) Layered Depth Video (LDV) Depth-Enhanced Stereo (DES) 26
När kommer 3DTV? 3DTV är redan här! via satellit 27
3D är mer än 3DTV! Realistisk 3D kommer att skapa nya produkter och tjänster inom en rad områden Medicinsk diagnostik Marknadsföring Produktdesign och -konstruktion Videokonferenser Mobiltelefoni Underhållning Bio, TV, spel 28
Fortsatt utveckling Innan 3DTV finns i våra hem måste filmning, komprimering, distributionskedjan och 3D-skärmar förbättras och standardiseras Filmning Stereoskopisk filmning fungerar men är omständlig Multiskopisk filmning kräver nya kameror, bättre kalibrering och snabbare algoritmer Nya redigeringsverktyg krävs Komprimering Många vyer kräver mycket bandbredd Nya flexibla algoritmer utvecklas ständigt Standarder krävs för allmän distribution Distribution 3D kräver större kanalutrymme Nya standarder som fungerar med både 3D och 2D krävs 3D-skärmar Flexibelt gränssnitt från distributionen måste tas fram och standardiseras Högre upplösning för multiskopiska skärmar 29
Realistic 3D @ Mittuniversitetet Syntetisering och infångning av 3D-bilder och 3D-video Modellering och mätningar av 3D-enheter (kamera, skärmar) Kodning av 3D-bilder och 3D-video Kvalitetsutvärdering av 3Dbilder och 3D-video Forskningsinriktning 30
Var får jag reda på mer? Denna presentation var snabbversionen av Introduktionskurs till 3DTV (7,5 hp) Kvartsfart, HT 2011 vid Mittuniversitetet 31
Tack för uppmärksamheten 32
Kontakt Mittuniversitetet Realistic 3D Attn. Mårten Sjöström 851 70 Sundsvall www.miun.se/sr/3d marten.sjostrom@miun.se roger.olsson@miun.se 060-14 8836 / 060-14 8698