Virtuella miljöer 1. - Introduktion till Virtual reality

Transkript

1 Virtuella miljöer 1 - Introduktion till Virtual reality

2 Virtual Reality Virtual Reality (VR) saknar en allmänt erkänd definition. Många föredrar t.ex. att istället använda: Virtual Environments Simulated Environments Serious Gaming

3 Virtual Reality En artificiell, datorframställd verklighet, som användaren kan uppleva med flera sinnen, och interagera med på ett naturligt sätt.

4 Virtual Environments are synthetic sensory experiences that communicate physical and abstract components to a human operator or participant. The synthetic sensory experience is generated by a computer system. Kalawsky (1993), The Science of Virtual Reality and Virtual Environments, Addison Wesley.

5 Virtual Reality Det handlar om att framställa illusioner Hur bra kan vi göra dem?

6 Kort historik

7 Flyg-simulatorer började utvecklas redan i flygets barndom (foto från ca. 1910)

8 Ed Link s Aviation Trainer från tidigt tal. Konstruerad från orgelkomponenter.

9 Sensorama Av Morton Heilig i slutet på 1950-talet. En multimodal upplevelse, genom att ge stimuli för syn, hörsel, vibrationer, och lukt. Dock ingen interaktivitet (i princip en film som spelades upp).

10 I USAs rymdprogram ökade simulatorernas betydelse ännu mer. T.ex. för att träna navigering, dockning i rymden, månlandning, samverkan med markpersonal, etc. Men man förlitade sig till datorer i mycket liten utsträckning, och datorgrafik var fortfarande mycket litet utforskat. Gemini training pod

11 Ivan Sutherland s SketchPad, Första interaktiva datorgrafiken

12 Ivan Sutherland s Damokles svärd En föregångare till våra dagars Head Mounted Displays

13 NASAs multimodala koncept kallat VIEW (Virtual Interface Environment Workstation), som bestod bl.a. av HMD, hörlurar, röststyrning, och Dataglove

14 Vad kan man ha t till?

15 Inlärning & träning

16 Planering & design

17 Marknadsföring & kundanpassning Interaktiv anpassning av produkten efter kundens önskemål Säljstöd för exemplevis bostäder - Virtuella visningslägeheter - Interaktiv inreding

18 Fjärr-manipulering Remote surgery NASA Robonaut

19 Upplevelser / turism / kulturarv

20 Spel Det är spelindustrin som driver tekniken framåt och ibland är det svårt att dra en skiljelinje mellan underhållning och utbildning. Nintendo Wii controls Microsoft Flight Simulator

21 2 x Gibson

22 2x Gibson Visionären Psykologen William Gibson James J. Gibson

23 Gibson, visionären Gibson uppfann termen cyberspace ett världsomspännande nätverk, där alla datorer är sammankopplade (precis så som Internet fungerar idag). Visioner inom science-fiction har till viss del påverkat utvecklingen av både internet och VR-teknik. Neuromancer, 1984

24 Den totala illusionen Drömvisionen om det ultimata VRsystemet är att ge användaren en total illusion av att befinna sig i en alternativ värld. The Matrix, 1999 Star Trek s Holodeck

25 kanske aldrig går att uppnå Dagens teknologi är mycket långt ifrån fulländad

26 Komplexiteten i mänsklig perception Det är extremt svårt att ersätta naturliga stimuli med artificiella.

27 Hur många sinnen har vi? Aristoteles sade 5: syn hörsel känsel lukt smak En neurobiolog idag skulle kunna säga drygt 20

28 Känsel -sinnet Taktila systemet. Olika typer av receptorer i huden för tryck, drag, vibrationer, värme, hår-rörelser. Kinestetiska systemet. Receptorer i muskler, leder, och senor som ger information om kroppsställning, och belastning. Vestibulära systemet. Organ i innerörat som ger information om huvudets orientering, samt acceleration.

29 Multimodalitet I de flesta situationer förlitar vi oss på multimodal perception, dvs flera sinnesintryck samtidigt. Test: 1. Stå på ett ben i 30 sekunder. 2. Gör samma sak, men med slutna ögon.

30 Gibson, psykologen J. J. Gibson stiftade termen ecological psychology för att kunna ge en mera evolutionär förklaringsmodell till hur vår perception fungerar. Gibson betonar hur vi (och andra djur) har utvecklats ur vår miljö. Nästan allt vi gör handlar om ett utforskande och interaktion med vår omgivning. The Ecological Approach to Visual Perception (1979)

31 Ecological Approach I tidigare teorier, beskrevs ofta perception som ett passivt mottagande av sinnesintryck. Enligt Gibson däremot, är perception naturligt kopplade till handlingar (som kan vara mer eller mindre medvetna). Enbart ett nervstimuli leder inte nödvändigtvis till perception.

32 Exempel 1: Varför rör ugglan på huvudet?

33 Exempel 2 Vårt eget seende samverkar med många komplexa handlingsmönster (som ofta kan vara autonoma). Vad föreställer nästa bild?

34

35 Naturen har löst ett bandbredds-problem. Vi ser bara skarpt i fovea centralis. Ett område på ca. 0.1% av näthinnans area där de flesta av nerverna är koncentrerade. Därför: vi laddar inte en in en bild i sin helhet på en gång in i hjärnan. Vi snarare tolkar bilder baserat på kortvariga fixationer, och snabba saccadiska rörelser.

36 Spatiala tolkningar Viktigt för oss att kunna göra en korrekt bedömning av olika objekt i omgivningen, till exempel med avseende på dess avstånd, storlek och rörelse. Inte enbart synen som förser oss med stimuli för spatiala tolkningar. Men vanligtvis, det dominerande sinnet. Flera olika ledtrådar, bland annat s.k. depth-cues: Binocular depth cues Monocular depth cues Övrigt. T.ex. motion parallax

37 Binokulära cues De ledtrådar som vi får på grund av att vi har två ögon. Dessa är dock bara effektiva på objekt på nära håll: Vergens. Ju mer vi måste konvergera, desto närmare befinner sig ett objekt. Retinal disparity. Bilden som träffar högerrespektive vänsterögats näthinna är mer olika ju närmare objektet befinner sig (mest nytta i ett närområde, ca. 10 meter)

38 Monocular (pictorial) depth cues Interposition Relative size Relative height Texture gradient Linear perspective Shades & shadow Atmospheric Perspective

39 Interposition (Occlusion) When one object partially occludes another object, we assume that it is closer.

40 Relative size of familiar objects Comparison of the relative sizes of known objects on the retina give information about distance

41 Relative height Objects higher up is expected på be closer to the horizon, i.e. farther away.

42 Texture gradient A texture gradient arises whenever we view a surface from a slant, rather than directly from above. The texture becomes denser and less detailed as the surface recedes into the background.

43 Parallel lines, such as railroad tracks, appear to converge with distance, eventually reaching a vanishing point at the horizon. The more the lines converge, the farther away they appear. Linear perspective

44 Shades and shadows When we know the location of a light source and see objects casting shadows on other objects, we expect that the object shadowing the other is closer to the light source.

45 Atmospheric Perspective The mountains in the horizon look always slightly bluish or hazy, due to vapor and dust in the air. The farther the mountains, the hazier they look.

46 Parallaxförändring Kan kallas parallaxförändring eller rörelseparallax (motion parallax). När vi flyttar på huvudet, eller hela kroppen, får vi en ny projicering av omgivningen på våra näthinnor. Genom denna projektionsskillnad framträder de mest närliggande objekten som de som förflyttat sig mest på våra näthinnor. Ett exempel: Nintendos spelkonsoller på 80-talet var alldeles för primitiva för riktig 3D-grafik. Istället så utnyttjande man rörelseparallax för att ge en djupkänsla Youtube: Johnny Lee s headtracking med en Wii remote

47 Stereoskopi

48

49 Stereoskopi Det finns många olika tekniska lösningar för att framställa steroskopi: optisk separation anaglyfisk separation aktiv stereo polariserad separation (passiv stereo) auto-stereoskopi

50 Optisk separation Genom linser, prisman, speglar, etc., optiskt skiljer ut vad som når höger respekive vänster öga. Därmed kan man visa två separata bilder som motsvarar den retinala disparansen.

51 Optisk separation Tidigare exempel på optisk separation (som alternativ till en HMD).

52 Anaglyfisk separation Detta är en mycket billig och enkel teknik

53 Anaglyfisk separation Creature from the Black Lagoon, 1954

54 Aktiv stereo Med begreppet aktiv stereo syftar man på att betraktaren bär på ett par glasögon med aktiv elektronik.

55 Aktiv stereo

56 Shutter-glasses Flytande kristaller som antingen släpper igenom, eller blockerar allt ljus. Växlar mellan vänster och höger öga, så att man bara kan se med ett öga i taget. Datorsystemet renderar varannan frame för vänster öga, och varannan för höger öga. Växlingen synkroniseras med IR-emitter Behövs ca Hz i bildväxlingsfrekvens för att det ska uppfattas som flimmerfritt.

57 Polariserad separation (passiv stereo) Man kan beskriva ljus som transversella elektromagnetiska vågor. Det som oscillerar är den elektriska fältvektorn E, och är vinkelrät mot utbredningsriktningen. Det håll utmed vilken E- vektorn oscillerar kallas för vågens polarisationsriktning. Ljus från solen eller en vanlig lampa består av en mängd ljusvågor, vars E-vektorer oscillerar åt olika håll, och man talar om opolariserat, eller naturligt ljus. Om däremot vågorna svänger alla åt samma håll talar man om polariserat ljus, vilket kan åstadkommas med laser som källa, alternativt med ett polarisationsfilter.

58 Linjär polarisation Lampan avger ljus med E-vektorer åt alla håll, men filtret släpper bara igenom E-vektorer med vertikal orientering. Glasögonen, där enbart det ena filtret matchar det framför källan, släpper därför bara igenom ljuset på ena ögat

59 Cirkulär polarisation

60 Cirkulär polarisation Cirkulär-polarisering är en elegant vidareutveckling av linjärpolarisationstekniken. Principen är att man får E-vektorn till att rotera ett fullt varv under det att den tillryggalägger en våglängd i sin utbredningsriktning. Man kan se det som en skruvrörelse. Först filtrerar man fram ett vanligt linjärpolariserat ljus. Sedan tar man ett speciellt filter, en kvartsvåglängdssplatta. Kvartsvåglängdsplattan är tillverkad med ett så kallat dubbelbrytande material. Detta betyder att den har olika brytningsindex i olika riktningar. Det finns en snabb axel, lågt brytningsindex, och en långsam axel, högt brytningsindex. Detta får till följd att en fasskillnad uppstår. Fasskillnaden beror på plattans tjocklek, den relativa skillnaden i brytningsindex och ljusets våglängd. Tillverkas plattan på rätt sätt kan man alltså introducera en godtycklig fasskillnad. I fallet med cirkulär polarisation vill man åstadkomma ett fasskift på -π/2 (medurs), respektive π/2 (moturs). Tjockleken är typiskt en kvarts våglängd av grönt ljus (140 nm).

61 Cirkulär polarisation I övre fallet (högerorienterad skruvrörelse) släpps ljuset igenom filtret. I det nedre fallet (vänsterorienterad skruvrörelse) spärras ljuset