3D så långt ögat ögonen når

Storlek: px

Starta visningen från sidan:

Download "3D så långt ögat ögonen når"

Simon Lars-Olof Andersson
för 8 år sedan
Visningar:

1 3D så långt ögat ögonen når Mårten Sjöström & Roger Olsson SSNfs Årskonferens, Örebro 22 Mars,

2 Innehåll 3D nu igen? Ny 3D med ny teknik och ny kunskap Hur ser vi avstånd, och hur kan det återskapas? Välj själv var på arenan du vill sitta i realtid! Från ax till limpa Överförs 3D som x-y-z-koordinater? Hur trångt blir det i näten? Vad behöver utvecklas vidare? 3D är mer än 3DTV! 2

3 3D nu igen? Det är ju inte första gången 3D står för dörren! 1800-tal: Olika 3D-tekniker Tidigt 1900-tal: Integrerade bilder Hologram 3

4 3D nu igen? Det är ju inte första gången 3D står för dörren! 1903: Kortfilmer i röd/grön 3D 1920-tal: Långfilmer i röd/grön 3D 1950-tal: 3D-filmer i Holywood 1980-tal: Imax 3D 4

5 Ny 3D med ny teknik Ny digital teknik gör kameror och skärmar mer exakt som medför bättre precision och ger därför färre fel i synupplevelsen Kameror: 3ality, Panasonic, Ikonoskop Skärmar: RealD, Dolby 3D, Sony, JVC, Pansonic Distributionsteknik Blueray 3D, MPEG Multiview, DVB 3DTV 5

synupplevelsen Kameror: 3ality, Panasonic, Ikonoskop Skärmar: RealD,

6 Ny 3D med ny kunskap Bättre förståelse för hur vi människor upplever 3D har lett till genomtänkta produktioner Bättre fotograferat Inga konflikter mellan djupupplevelser 3D-effekten ett av många verktyg 3D används för att förstärka berättelsen Bättre kvalitetskontroll 6

fotograferat Inga konflikter mellan djupupplevelser 3D-effekten ett

7 Hur ser vi avstånd, den tredje dimensionen? Psykologiska djupupplevelser Fysiologiska djupupplevelser 7

8 Psykologiska djupupplevelser Blockering Ljus och skuggor Strukturers lutning Perspektiv Relativ storlek och höjd Suddighet 8 Bilder : ACM Transactions on Graphics, Vol. 29, No. 2, Article 19, March 2010.

Rörelseparallax (Relativ rörelse) Vy för höger

9 Fysiologiska djupupplevelser Binoculär parallax (Seende med två ögon) Ackommodation Konvergens Rörelseparallax (Relativ rörelse) Vy för höger öga Vy för vänster öga Bilder av Henri Clément 9

10 Hur återskapas avstånd? 3D-skärmar skapar (åtminstone) en vy för vänster och höger öga. Stereoskopiska skärmar Röd-gröna glasögon Polariserande glasögon Aktiva glasögon blockerar varannan vy Inbördes horisontell placering ger avståndet till bildens objekt Samma vy var du än sitter 10

Stereoskopiska skärmar Röd-gröna glasögon Polariserande glasögon

11 Hur återskapas avstånd? 3D-skärmar skapar (åtminstone) en vy för vänster och höger öga. Multistereoskopiska skärmar 1. Parallaxbarriär skärmar bildelement beroende på ögats placering 2. Optiskt filter framför skärm 3. Fler tekniker Försämrad upplösning Olika vyer beroende på var du sitter 11

12 Välj själv var på arenan du vill sitta i realtid! Free-viewpoint TV Enklaste variant - välj kamera Återkoppling från användare till sändningsnod / distributionsnod Avancerad variant Interpolera nya kameravinklar från data Liknar förfarande för 3D-data Kan kombineras med 3D-TV Återkoppling el. all data samtidigt 12

till sändningsnod / distributionsnod Avancerad variant Interpolera nya

13 Från ax till limpa Bearbetningskedjan för 3DTV Infångning Efterbehandling Kompression & lagring Stereokamera, multi-kamera, avståndskamera Produktionsformat Färg- och koordinatkorrigering Format-omvandling Kompression beroende på format (MPEG) Distribution Presentation Effektiv och felfri distribution MPEG TS, RTP, SIP, Syntetisering av mellanliggande vyer Olika slags 3D-skärmar 13

Format-omvandling Kompression beroende på format (MPEG) Distribution Presentation Effektiv och

14 Överförs 3D som x-y-z-koordinater? Olika 3D-format har föreslagits Conventional Stereo Video (CSV) Vanlig stereo video (CSV) Filmas med två kameror eller med stereo-kamera Bildkälla: Interactive Visual Media Group of Microsoft Research 14

(CSV) Vanlig stereo video (CSV) Filmas med två kameror

15 Överförs 3D som x-y-z-koordinater? Olika 3D-format har föreslagits Conventional Mixed Resolution Stereo Stereo Video (MRS) (CSV) Stereo video med olika upplösning (MRS) Ena vyn skalas ned. Skalas upp innan presentation Synsinnet kompenserar för förlorad upplösning i ena vyn Bildkälla: Interactive Visual Media Group of Microsoft Research 15

(MRS) (CSV) Stereo video med olika upplösning (MRS) Ena vyn skalas ned.

16 Överförs 3D som x-y-z-koordinater? Olika 3D-format har föreslagits Multiview Video (MVV) Multi-vy video (MVV) Filmas med tre eller fler kameror Bildkälla: Interactive Visual Media Group of Microsoft Research 16

17 Överförs 3D som x-y-z-koordinater? Olika 3D-format har föreslagits Video plus avstånd (V+D) Video+depth (V+D) Avstånd extraheras från stereopar eller från avståndskamera 3D överförs som x-y-z koordinater! Önskade sido-vyer syntetiseras Bildkälla: Interactive Visual Media Group of Microsoft Research 17

Avstånd extraheras från stereopar eller från avståndskamera 3D överförs som

18 Överförs 3D som x-y-z-koordinater? Olika 3D-format har föreslagits Multiview plus depth (MVD) Multi-vy video + avstånd (MVD) Mer information för mellanliggande vyer ger bättre resultat Bildkälla: Interactive Visual Media Group of Microsoft Research 18

19 Layered depth video (LDV) Överförs 3D som x-y-z-koordinater? Video med avstånd i lager (LVD) Olika 3D-format har föreslagits Dolda ytor kodas i separata lager Dolda lager extraheras från multi-kameraset Önskade sido-vyer syntetiseras Bildkälla: Interactive Visual Media Group of Microsoft Research och Fraunhofer HHI 19

kodas i separata lager Dolda lager extraheras från multi-kameraset Önskade

20 Depth Enhanced Stereo (DES) Överförs 3D som x-y-z-koordinater? Stereo med avstånd (DES) Stereopar med Olika 3D-format har föreslagits avstånd och dolda ytor i separata lager Bildkälla: Interactive Visual Media Group of Microsoft Research och Fraunhofer HHI 20

föreslagits avstånd och dolda ytor i separata lager Bildkälla:

21 Hur trångt blir det i näten? MPEG AVC / H familjen Standardiserad komprimering idag Parallella strömmar (Simulcast) Stereo Dubbelt så mycket data 21

22 Hur trångt blir det i näten? MPEG AVC / H familjen Standardiserad komprimering idag Stereo Supplemental Enhance Information (SEI) Interlaced / över-under / sidav-vidsida / varannan ram Enkel eller dubbel datamängd Därefter komprimerad Stereo Likheter mellan vyer utnyttjas i komprimeringen 22

23 Hur trångt blir det i näten? MPEG AVC / H familjen Standardiserad komprimering idag Auxiliary Picture Syntax Hjälpdata till varje pixel avstånd Video plus avstånd (V+D) Rörelsevektorer återanvänds 23

24 Hur trångt blir det i näten? MPEG AVC / H familjen Standardiserad komprimering idag MPEG-C Part 3 Container-format för V+D Video och avståndskarta kodas separat 24

Hur trångt blir det i näten? MPEG AVC / H.264 - familjen Standardiserad komprimering idag MPEG MVC / H.

25 Hur trångt blir det i näten? MPEG AVC / H familjen Standardiserad komprimering idag MPEG MVC / H.264 Multi-vy videokodning Fler än två videoströmmar behandlas parallellt Utnyttjar likheter mellan Ramar (rörelsevektorer) Vyer (skillnadsvektorer) Används av Blu-ray 3D Möjliggör Free-viewpoint TV 25

Hur trångt blir det i näten? MPEG 3DVC Standardiserad komprimering imorgon MPEG utvecklar nu ny 3D video standard Frikoppla produktion från kompressionsformat MPEG AVC / H.

26 Hur trångt blir det i näten? MPEG 3DVC Standardiserad komprimering imorgon MPEG utvecklar nu ny 3D video standard Frikoppla produktion från kompressionsformat MPEG AVC / H.264 optimerad för 2D färgvideo, inte för avståndsinformation Stereo: anpassa till olika skärmtyper, storlekar och djupupplevelse Multistereo: anpassa till olika antal vyer, storlekar och djupupplevelse Möjliga format som ska komprimeras: Multiview Video + Depth (MVD) Layered Depth Video (LDV) Depth-Enhanced Stereo (DES) 26

27 När kommer 3DTV? 3DTV är redan här! via satellit 27

28 3D är mer än 3DTV! Realistisk 3D kommer att skapa nya produkter och tjänster inom en rad områden Medicinsk diagnostik Marknadsföring Produktdesign och -konstruktion Videokonferenser Mobiltelefoni Underhållning Bio, TV, spel 28

29 Fortsatt utveckling Innan 3DTV finns i våra hem måste filmning, komprimering, distributionskedjan och 3D-skärmar förbättras och standardiseras Filmning Stereoskopisk filmning fungerar men är omständlig Multiskopisk filmning kräver nya kameror, bättre kalibrering och snabbare algoritmer Nya redigeringsverktyg krävs Komprimering Många vyer kräver mycket bandbredd Nya flexibla algoritmer utvecklas ständigt Standarder krävs för allmän distribution Distribution 3D kräver större kanalutrymme Nya standarder som fungerar med både 3D och 2D krävs 3D-skärmar Flexibelt gränssnitt från distributionen måste tas fram och standardiseras Högre upplösning för multiskopiska skärmar 29

Realistic 3D @ Mittuniversitetet Syntetisering och infångning

3D-enheter (kamera, skärmar) Kodning av 3D-bilder och 3D-video

30 Realistic Mittuniversitetet Syntetisering och infångning av 3D-bilder och 3D-video Modellering och mätningar av 3D-enheter (kamera, skärmar) Kodning av 3D-bilder och 3D-video Kvalitetsutvärdering av 3Dbilder och 3D-video Forskningsinriktning 30

31 Var får jag reda på mer? Denna presentation var snabbversionen av Introduktionskurs till 3DTV (7,5 hp) Kvartsfart, HT 2011 vid Mittuniversitetet 31

32 Tack för uppmärksamheten 32

33 Kontakt Mittuniversitetet Realistic 3D Attn. Mårten Sjöström Sundsvall /

Relevanta dokument

TBSK 03 Teknik för Advancerade Datorspel

TBSK 03 Teknik för Advancerade Datorspel Översikt 3D och Stereoskopi Introduktion Bildskärmsteknik Depth Cues Limiteringar Design-riktlinjer Texturkompression Introduktion Algoritmer & Standarder (DXT,