Introduktion till Virtual Reality (VR)
Virtual Reality En artificiell, datorframställd verklighet, som användaren kan uppleva med flera sinnen, och interagera med på ett naturligt sätt.
Virtual Reality Det handlar om att framställa illusioner Hur bra kan vi göra dem?
Kort historik
Flyg-simulatorer började utvecklas redan i flygets barndom (foto från ca. 1910)
Ed Link s Aviation Trainer från tidigt 1930-tal. Konstruerad från orgelkomponenter.
Sensorama Av Morton Heilig i slutet på 1950- talet. En multimodal upplevelse, genom att ge stimuli för syn, hörsel, vibrationer, och lukt. Dock ingen interaktivitet (i princip en film som spelades upp).
I USAs rymdprogram ökade simulatorernas betydelse ännu mer. T.ex. för att träna navigering, dockning i rymden, månlandning, samverkan med markpersonal, etc. Men man förlitade sig till datorer i mycket liten utsträckning, och datorgrafik var fortfarande mycket litet utforskat. Gemini training pod
Ivan Sutherland s Damokles svärd 1965. En föregångare till våra dagars Head Mounted Displays (HMD)
NASAs multimodala koncept kallat VIEW (Virtual Interface Environment Workstation), som bestod bl.a. av HMD, hörlurar, röststyrning, och Dataglove
CAVE Väldigt populära under 00-talet Stora, dyra, krångliga
Oculus Rift Den snabba utvecklingen av små, högupplösta skärmar har lett till något av en renässans för VR och HMD s
Vad kan man ha t till?
Inlärning & träning www.digitalcombustion.com
Planering & design
Upplevelser / turism / kulturarv
Fjärr-manipulering Remote surgery NASA Robonaut
2 x Gibson
2x Gibson Visionären Psykologen William Gibson James J. Gibson
Gibson, visionären Gibson uppfann termen cyberspace ett världsomspännande nätverk, där alla datorer är sammankopplade (precis så som Internet fungerar idag). Visioner inom science-fiction har till viss del påverkat utvecklingen av både internet och VR-teknik. Neuromancer, 1984
Den totala illusionen Drömvisionen om det ultimata VRsystemet är att ge användaren en total illusion av att befinna sig i en alternativ värld. The Matrix, 1999 Star Trek s Holodeck
kanske aldrig går att uppnå Dagens teknologi är mycket långt ifrån fulländad
Komplexiteten i mänsklig perception Det är extremt svårt att ersätta naturliga stimuli med artificiella.
Hur många sinnen har vi? Aristoteles sade 5: syn hörsel känsel lukt smak En neurobiolog idag skulle kunna säga drygt 20
Multimodalitet I de flesta situationer förlitar vi oss på multimodal perception, dvs flera sinnesintryck samtidigt. Test: 1. Stå på ett ben i 30 sekunder. 2. Gör samma sak, men med slutna ögon.
Gibson, psykologen J. J. Gibson stiftade termen ecological psychology för att kunna ge en mera evolutionär förklaringsmodell till hur vår perception fungerar. The Ecological Approach to Visual Perception (1979) Gibson betonar hur vi (och andra djur) har utvecklats ur vår miljö. Nästan allt vi gör handlar om ett utforskande och interaktion med vår omgivning.
Ecological Approach I tidigare teorier, beskrevs ofta perception som ett passivt mottagande av sinnesintryck. Enligt Gibson däremot, är perception naturligt kopplade till handlingar (som kan vara mer eller mindre medvetna). Enbart ett nervstimuli leder inte nödvändigtvis till perception.
Exempel: Varför rör ugglan på huvudet? http://www.youtube.com/watch?v=gt7tofy-9t4
Spatiala tolkningar Viktigt för oss att kunna göra en korrekt bedömning av olika objekt i omgivningen, till exempel med avseende på dess avstånd, storlek och rörelse. Inte enbart synen som förser oss med stimuli för spatiala tolkningar. Men vanligtvis, det dominerande sinnet. Flera olika ledtrådar (cues): 1. Binocular depth cues 2. Monocular depth cues 3. Övrigt, t ex motion parallax
1. Binokulära depth cues De ledtrådar som vi får på grund av att vi har två ögon. Dessa är dock bara effektiva på objekt på nära håll: Vergens. Ju mer vi måste konvergera, desto närmare befinner sig ett objekt. Retinal disparity. Bilden som träffar höger- respektive vänsterögats näthinna är mer olika ju närmare objektet befinner sig (mest nytta i ett närområde, ca. 10 meter)
HMD s
2. Monocular depth cues Interposition Relative size Relative height Texture gradient Linear perspective Shades & shadow Atmospheric Perspective
Interposition (Occlusion) When one object partially occludes another object, we assume that it is closer.
Relative size of familiar objects Comparison of the relative sizes of known objects on the retina give information about distance
Relative height Objects higher up is expected på be closer to the horizon, i.e. farther away.
Atmospheric Perspective The mountains in the horizon look always slightly bluish or hazy, due to vapor and dust in the air. The farther the mountains, the hazier they look.
3. Övrigt (t ex Motion parallax) Kan kallas parallaxförändring eller rörelseparallax (motion parallax). När vi flyttar på huvudet, eller hela kroppen, får vi en ny projicering av omgivningen på våra näthinnor. Genom denna projektionsskillnad framträder de mest närliggande objekten som de som förflyttat sig mest på våra näthinnor. Ett exempel: Nintendos spelkonsoller på 80-talet var alldeles för primitiva för riktig 3D-grafik. Istället så utnyttjande man rörelseparallax för att ge en djupkänsla Youtube: Johnny Lee s headtracking med en Wii remote
Stereoskopi
Stereoskopi Det finns många olika tekniska lösningar för att framställa steroskopi: optisk separation anaglyfisk separation aktiv stereo polariserad separation (passiv stereo) auto-stereoskopi
Optisk separation Genom linser, prisman, speglar, etc., optiskt skiljer ut vad som når höger respekive vänster öga. Därmed kan man visa två separata bilder som motsvarar den retinala disparansen.
Optisk separation Tidigare exempel på optisk separation (som alternativ till en HMD).
Anaglyfisk separation Detta är en mycket billig och enkel teknik
Anaglyfisk separation Creature from the Black Lagoon, 1954
Aktiv stereo Med begreppet aktiv stereo syftar man på att betraktaren bär på ett par glasögon med aktiv elektronik.
Aktiv stereo
Shutter-glasses Flytande kristaller som antingen släpper igenom, eller blockerar allt ljus. Växlar mellan vänster och höger öga, så att man bara kan se med ett öga i taget. Datorsystemet renderar varannan frame för vänster öga, och varannan för höger öga. Växlingen synkroniseras med IR-emitter Behövs ca. 90-120 Hz i bildväxlingsfrekvens för att det ska uppfattas som flimmerfritt.
Passiv stereo (två bilder samtidigt)
Cirkulär polarisation I övre fallet (högerorienterad skruvrörelse) släpps ljuset igenom filtret. I det nedre fallet (vänsterorienterad skruvrörelse) spärras ljuset
Auto-stereoskopi Nintendo 3DS
Auto-stereoskopi
Presence & Immersion
How can presence be defined? The sence of being there The extent to which the VE becomes more real or present than reality The extent to which the VE is thought of as a place visited Slater & Wilbur (1997)
The gaming industry: Presence sells!
Immersion
Immersion Low immersion High immersion
Immersion The extent to which the actual system delivers a surrounding environment, one which shuts out sensations from the real world, which accomodates many sensory modalitites etc. Slater & Wilbur (1997)
Unfortunately the term immersion means approximately presence in the gaming community
Förhållandet mellan immersion och presence på VR-området Immersion Presence Mätbara egenskaper hos VRsystemet Upplösning Field-of-view Etc. Den subjektiva upplevelsen av närvaro hos användaren
Att fundera på Behövs det alltid hög immersion för att få hög presence?
The book problem Paradoxical that people can also experience presence in narratives presented in books, with a seemingly very low immersion!
and how come Amnesia is able to make some players almost physically scared?
Clearly, it s not only about fancy hardware...
Cognitive processes are central Mental models Attention
Mental models Immersion is only the source of stimuli from which the users creates a mental model of the virtual environment and his relation to it. The structure of this mental model determines whether the user experiences a sense of presence or not. Schubert et al (2002)
Attention Our attention is divided between the physical and the mental world
Three types of presence Physical presence the sence of being physically located somewhere Social presence the feeling of being together with someone else Co-presence the sence of being together in a shared space
Variables that influence presence 1. Ease of interaction 2. User-initiated control 3. Pictoral realism 4. Length of exposure 5. Social factors 6. Internal factors 7. System factors
The relationship between presence and task performance
The relationship between presence and task performance Still unclear Supported by cognitive and perceptual theories Some empirical evidence: correlation between presence and search task performance psychomotor and sensorimotor tasks spatial knowledge
... still it makes sense to think that transfer of learning is positively correlated to presence
I nästa kurs Virtual humans