Introduktion till Virtual Reality (VR)

Transkript

1 Introduktion till Virtual Reality (VR)

2 Virtual Reality En artificiell, datorframställd verklighet, som användaren kan uppleva med flera sinnen, och interagera med på ett naturligt sätt.

3 Virtual Reality Det handlar om att framställa illusioner Hur bra kan vi göra dem?

4 Kort historik

5 Flyg-simulatorer började utvecklas redan i flygets barndom (foto från ca. 1910)

6 Ed Link s Aviation Trainer från tidigt 1930-tal. Konstruerad från orgelkomponenter.

7 Sensorama Av Morton Heilig i slutet på talet. En multimodal upplevelse, genom att ge stimuli för syn, hörsel, vibrationer, och lukt. Dock ingen interaktivitet (i princip en film som spelades upp).

8 I USAs rymdprogram ökade simulatorernas betydelse ännu mer. T.ex. för att träna navigering, dockning i rymden, månlandning, samverkan med markpersonal, etc. Men man förlitade sig till datorer i mycket liten utsträckning, och datorgrafik var fortfarande mycket litet utforskat. Gemini training pod

9 Ivan Sutherland s Damokles svärd En föregångare till våra dagars Head Mounted Displays (HMD)

10 NASAs multimodala koncept kallat VIEW (Virtual Interface Environment Workstation), som bestod bl.a. av HMD, hörlurar, röststyrning, och Dataglove

11 CAVE Väldigt populära under 00-talet Stora, dyra, krångliga

12 Oculus Rift Den snabba utvecklingen av små, högupplösta skärmar har lett till något av en renässans för VR och HMD s

13 Vad kan man ha t till?

14 Inlärning & träning

15 Planering & design

16 Upplevelser / turism / kulturarv

17 Fjärr-manipulering Remote surgery NASA Robonaut

18 2 x Gibson

19 2x Gibson Visionären Psykologen William Gibson James J. Gibson

20 Gibson, visionären Gibson uppfann termen cyberspace ett världsomspännande nätverk, där alla datorer är sammankopplade (precis så som Internet fungerar idag). Visioner inom science-fiction har till viss del påverkat utvecklingen av både internet och VR-teknik. Neuromancer, 1984

21 Den totala illusionen Drömvisionen om det ultimata VRsystemet är att ge användaren en total illusion av att befinna sig i en alternativ värld. The Matrix, 1999 Star Trek s Holodeck

22 kanske aldrig går att uppnå Dagens teknologi är mycket långt ifrån fulländad

23 Komplexiteten i mänsklig perception Det är extremt svårt att ersätta naturliga stimuli med artificiella.

24 Hur många sinnen har vi? Aristoteles sade 5: syn hörsel känsel lukt smak En neurobiolog idag skulle kunna säga drygt 20

25 Multimodalitet I de flesta situationer förlitar vi oss på multimodal perception, dvs flera sinnesintryck samtidigt. Test: 1. Stå på ett ben i 30 sekunder. 2. Gör samma sak, men med slutna ögon.

26 Gibson, psykologen J. J. Gibson stiftade termen ecological psychology för att kunna ge en mera evolutionär förklaringsmodell till hur vår perception fungerar. The Ecological Approach to Visual Perception (1979) Gibson betonar hur vi (och andra djur) har utvecklats ur vår miljö. Nästan allt vi gör handlar om ett utforskande och interaktion med vår omgivning.

27 Ecological Approach I tidigare teorier, beskrevs ofta perception som ett passivt mottagande av sinnesintryck. Enligt Gibson däremot, är perception naturligt kopplade till handlingar (som kan vara mer eller mindre medvetna). Enbart ett nervstimuli leder inte nödvändigtvis till perception.

28 Exempel: Varför rör ugglan på huvudet?

29 Spatiala tolkningar Viktigt för oss att kunna göra en korrekt bedömning av olika objekt i omgivningen, till exempel med avseende på dess avstånd, storlek och rörelse. Inte enbart synen som förser oss med stimuli för spatiala tolkningar. Men vanligtvis, det dominerande sinnet. Flera olika ledtrådar (cues): 1. Binocular depth cues 2. Monocular depth cues 3. Övrigt, t ex motion parallax

30 1. Binokulära depth cues De ledtrådar som vi får på grund av att vi har två ögon. Dessa är dock bara effektiva på objekt på nära håll: Vergens. Ju mer vi måste konvergera, desto närmare befinner sig ett objekt. Retinal disparity. Bilden som träffar höger- respektive vänsterögats näthinna är mer olika ju närmare objektet befinner sig (mest nytta i ett närområde, ca. 10 meter)

31 HMD s

32 2. Monocular depth cues Interposition Relative size Relative height Texture gradient Linear perspective Shades & shadow Atmospheric Perspective

33 Interposition (Occlusion) When one object partially occludes another object, we assume that it is closer.

34 Relative size of familiar objects Comparison of the relative sizes of known objects on the retina give information about distance

35 Relative height Objects higher up is expected på be closer to the horizon, i.e. farther away.

36 Atmospheric Perspective The mountains in the horizon look always slightly bluish or hazy, due to vapor and dust in the air. The farther the mountains, the hazier they look.

37 3. Övrigt (t ex Motion parallax) Kan kallas parallaxförändring eller rörelseparallax (motion parallax). När vi flyttar på huvudet, eller hela kroppen, får vi en ny projicering av omgivningen på våra näthinnor. Genom denna projektionsskillnad framträder de mest närliggande objekten som de som förflyttat sig mest på våra näthinnor. Ett exempel: Nintendos spelkonsoller på 80-talet var alldeles för primitiva för riktig 3D-grafik. Istället så utnyttjande man rörelseparallax för att ge en djupkänsla Youtube: Johnny Lee s headtracking med en Wii remote

38 Stereoskopi

39

40 Stereoskopi Det finns många olika tekniska lösningar för att framställa steroskopi: optisk separation anaglyfisk separation aktiv stereo polariserad separation (passiv stereo) auto-stereoskopi

41 Optisk separation Genom linser, prisman, speglar, etc., optiskt skiljer ut vad som når höger respekive vänster öga. Därmed kan man visa två separata bilder som motsvarar den retinala disparansen.

42 Optisk separation Tidigare exempel på optisk separation (som alternativ till en HMD).

43 Anaglyfisk separation Detta är en mycket billig och enkel teknik

44 Anaglyfisk separation Creature from the Black Lagoon, 1954

45 Aktiv stereo Med begreppet aktiv stereo syftar man på att betraktaren bär på ett par glasögon med aktiv elektronik.

46 Aktiv stereo

47 Shutter-glasses Flytande kristaller som antingen släpper igenom, eller blockerar allt ljus. Växlar mellan vänster och höger öga, så att man bara kan se med ett öga i taget. Datorsystemet renderar varannan frame för vänster öga, och varannan för höger öga. Växlingen synkroniseras med IR-emitter Behövs ca Hz i bildväxlingsfrekvens för att det ska uppfattas som flimmerfritt.

48 Passiv stereo (två bilder samtidigt)

49 Cirkulär polarisation I övre fallet (högerorienterad skruvrörelse) släpps ljuset igenom filtret. I det nedre fallet (vänsterorienterad skruvrörelse) spärras ljuset

50 Auto-stereoskopi Nintendo 3DS

51 Auto-stereoskopi

52 Presence & Immersion

53 How can presence be defined? The sence of being there The extent to which the VE becomes more real or present than reality The extent to which the VE is thought of as a place visited Slater & Wilbur (1997)

54 The gaming industry: Presence sells!

55 Immersion

56 Immersion Low immersion High immersion

57 Immersion The extent to which the actual system delivers a surrounding environment, one which shuts out sensations from the real world, which accomodates many sensory modalitites etc. Slater & Wilbur (1997)

58 Unfortunately the term immersion means approximately presence in the gaming community

59 Förhållandet mellan immersion och presence på VR-området Immersion Presence Mätbara egenskaper hos VRsystemet Upplösning Field-of-view Etc. Den subjektiva upplevelsen av närvaro hos användaren

60 Att fundera på Behövs det alltid hög immersion för att få hög presence?

61 The book problem Paradoxical that people can also experience presence in narratives presented in books, with a seemingly very low immersion!

62 and how come Amnesia is able to make some players almost physically scared?

63 Clearly, it s not only about fancy hardware...

64 Cognitive processes are central Mental models Attention

65 Mental models Immersion is only the source of stimuli from which the users creates a mental model of the virtual environment and his relation to it. The structure of this mental model determines whether the user experiences a sense of presence or not. Schubert et al (2002)

66 Attention Our attention is divided between the physical and the mental world

67 Three types of presence Physical presence the sence of being physically located somewhere Social presence the feeling of being together with someone else Co-presence the sence of being together in a shared space

68 Variables that influence presence 1. Ease of interaction 2. User-initiated control 3. Pictoral realism 4. Length of exposure 5. Social factors 6. Internal factors 7. System factors

69 The relationship between presence and task performance

70 The relationship between presence and task performance Still unclear Supported by cognitive and perceptual theories Some empirical evidence: correlation between presence and search task performance psychomotor and sensorimotor tasks spatial knowledge

71 ... still it makes sense to think that transfer of learning is positively correlated to presence

72 I nästa kurs Virtual humans