Kognition, virtualitet & interaktion A. Gulz (2008) Denna text introducerar grundföreteelser och grundbegrepp under temat kognition, virtualitet och interaktion. Syftet är att ge en grundkarta över begreppen utan att gå in på detaljer. Virtuella miljöer (Virtual Environments) I en vid mening har man att göra med en virtuell miljö, när något ett datorspel, en film, en bok, etc. medför att en människa upplevelsemässigt förflyttar sig till en annan miljö än den fysiska verklighet hon eller han befinner sig i, utan att personen i fysisk mening förflyttas. I en snävare mening, som också är den vanligare, är det mer eller mindre avancerad teknologi som medför att en person upplever en förflyttning till en annan miljö. Fortsättningsvis handlar denna text om det senare, när det inte uttryckligen sägs annat. Olika former av teknologi används för att skapa eller manipulera sensorisk och perceptuell information, som personer associerar med den virtuella miljön istället för med den fysiska miljö de befinner sig i. För de i någon mening kraftfullaste virtuella miljöerna kan personerna i princip inte skilja ut vilken miljö den virtuella eller den fysiska som är den verkliga. Men det som mer vanligen sker, och är väl så intressant, är att personer (i) å ena sidan mycket väl, på en rationell och reflekterande nivå, vet att den virtuella miljö de agerar i inte är den verkliga, men (ii) likväl agerar och reagerar som om den vore det. De är engagerade och involverade i det som sker i den virtuella miljön och har upplevelsen av att vara där (being there). I detta avseende skiljer sig inte nödvändigtvis en virtuell miljö genererad utifrån ett ordinärt desktop-dataspel från en som är genererad utifrån mer avancerad och kraftfull VR-teknologi. Fig. 1. Virtual Annelöv en rekonstruktion av en svensk bronsåldersbosättning, som möjliggör en form av upplevelser av denna historiska tid via virtuella rollspel [1]. VR-teknologi (Virtual Reality Technology) Det finns många former av teknologier för att skapa virtuella miljöer, eller mer precist för att göra det möjligt för människor att uppleva virtuella miljöer. Ty i slutändan är kognition (det man ser, hör, upplever, osv.) alltid en samverkan mellan det som sker i en fysisk värld och de informationsstrukturer och processer vi har i hjärna och nervsystem (kort: utan en mänsklig hjärna ingen virtuell miljö.) Vad gäller standardteknik desktop med bild och ljud samt tangentbord, mus, joystick och möjligen röstinput handlar virtuella miljöer i grunden mycket om berättartekniska grepp och tekniker för visuell framställning liknande dem som används i film och annan media. I de teknologiskt sett mer komplexa systemen används emellertid mer avancerade tekniker såsom: Tracking-system som genom magnetisk eller optisk tracking bestämmer användarens position och orientering. Datahandskar (datagloves) med tracking-system som t.ex. mäter position och orientering av användarens händer och/eller vinklar mellan lederna i fingrarna. På så sätt kan personen använda hand- och fingerrörelser för att agera i miljön. Verktyg för 3D-input som Spacemouse, SpaceBall. etc. Displayer monterade på huvudet, head mounted displays, som presenterar perceptuell information till ögonen på basis av optiska beräkningar samt tracking av positionen av huvudet i realtid. Stereoskopisk display, som innebär att vardera ögat får en egen bild. Ett sätt att åstadkomma detta är att använda glasögon som omväxlande stänger för höger och vänster öga medan displayen alternerar mellan att visa vänster eller höger bild. Haptiska/taktila gränssnitt, som ger taktil feedback (känselfeedback) av olika slag. Till exempel finns handskar med ytor strax under handskskinnet som kan vibrera och där var yta kan programmeras individuellt för att variera olika känselintryck. Man kan också simulera olika krafter på kroppen för att skapa upplevelser att röra vid och greppa virtuella objekt. PHAN- ToM OMNI låter personen känna form, vikt och textur hos virtuella objekt via en penna. CAVE, som är stor som ett rum och har högupplöst 3D-video och audio, där man kan projicera datorgenererade bilder på väggar och golv. En head tracker ger information om huvudets position och kalkylerar så att varje öga får rätt perspektiv, stereo-effekt, osv. (Kommersiellt tillgänglig som EON Icube, se figur 2)
Fig. 2. EON Icube Fakespace PowerWall, som använder en enda stor skärm som display. En mer detaljerad presentation av VR-tekniker ges i [14] och [15]. Virtuella karaktärer/agenter (Virtual characters) En väsentlig del av vissa virtuella miljöer är virtuella karaktärer eller agenter, dvs. datorgenererade, mer och mindre människoliknande visuella karaktärer. Två huvudgrupper finns. Dels så kallade avatarer där en människa styr, och använder karaktären som en representation av sig själv. Dels karaktärer som inte kräver styrning av människa utan som agerar på egen hand samt på basis av input från användare. Dessa senare kallas oftast virtuella agenter 1 eller bots. Fig 3. Virtuella agenter/karaktärer 1 Agent i datortekniskt sammanhang betecknar ett datorprogram som kan agera på egen hand (autonomt). Benänningen virtuell agent innefattar såväl dess bakomliggande moduler som ofta består av en uppsättning agenter i datorteknisk mening som den visuella gestalten och karaktären, vilken är det som användaren möter. Ytterligare beteckningar är: animerad agent eller animerad karaktär, syntetisk karaktär, affective agent, life-like character eller embodied conversational agent (förklaras mer nedan), gränssnittskaraktär eller gränssnittsagent. Grovt kan man säga att benämningen agent oftare används när man vill betona autonomin och intelligensen (baserad på AI) hos agenten. Beteckningen karaktär används oftare när man i högre grad använder sig av för-rendering och tricks-of-the-trade. Dessutom används beteckningen karaktär i en mer samlande betydelse för att inrymma samtliga varianter på visuella datorgenererade människoliknande artefakter. Det finns, som redan framgått, en stor uppsjö och ett stort spektrum av virtuella karaktärer. De skiljer sig åt med avseende på bland annat följande: Komplexiteten i modellerna som styr/driver/genererar dem Hur pass människoliknande de är i utseende, rörelser, beteenden Vilka former av output de använder, och hur pass rik/komplex denna output är: skrivet språk, talat språk och andra ljud, rörelser, kroppsspråk, osv. Vilka former av input de använder, och hur pass flexibla/rika motsvarande tolkningssystem är: skrivet språk, talat språk, röstläge och tonläge, rörelser, ansiktsuttryck, ögonrörelser, fysiologisk data från användare, etc. På vilken detaljnivå deras beteende är för-renderat och på vilken nivå det genereras eller sätts samman i realtid beroende på ageranden eller input från en användare Hur avancerad och rik interaktivitet mellan människa och karaktär som är möjlig, dvs. vilka ramar som finns för möjlig ömsesidiga påverkan baserad på vad agent respektive människa gör och säger ECA (Embodied Conversational Agent) ECA:s är en beteckning för den delgrupp virtuella karaktärer där man särskilt fokuserar på karaktärens förmåga att samtala eller konversera via naturligt språk [11]. Embodied står för att karaktären har en visuell gestalt eller kropp och att denna (virtuella) kropp används för kommunikation i form av kroppsspråk samt röst/tal. Målet med ECA:s är röstbaserad interaktion, även om många idag ännu använder sig av textbaserad interaktion. Affective Agent & Relational Agent Området affective computing [8, 9] innefattar datorteknologi som upptäcker, identifierar, tolkar, hanterar och/eller genererar emotionellt relaterad information. Exempel är system som utnyttjar fysiologisk data (hjärtfrekvens, hudkonduktans osv.), ögonrörelser och/eller röstläge hos en person för att avgöra i vilket känsloläge en person befinner sig (uttråkad, konfunderad, engagerad, etc.) för att anpassa system-outputen därefter. Till exempel finns stolar med inbyggda sensorer som genom att identifiera vilken hållning en person har gissar/värderar hur pass intresserad hon/han är av en pågående skärmaktivitet. 2
I sådana system förekommer affective agents [3] virtuella agenter med funktioner för att dels svara på användarens emotionella reaktioner och tillstånd och dels själva uttrycka emotioner på basis av modeller av (mänskliga) emotioner och deras koppling till ansiktsuttryck, kroppsspråk, röstläge, osv. En undergrupp av affective agents benämns relational agents [2]. Dessa är virtuella agenter som är byggda för att över tid kunna utveckla och upprätthålla socioemotionella relationer med användare. Dessa agenter kan till exempel ha en form av minnen av tidigare interaktioner med användaren, och bygga på modeller av hur relationer mellan människor utvecklas över tid. Fyra huvudegenskaper De finns följaktligen en stor variation och mångfald inom gruppen virtuella karaktärer. Likaså förekommer de i väldigt många olika sammanhang: Förutom i speloch underhållningsdomänen också inom medicin och hälsovård, web-info, web-handel, skola, högskola och universitet, vidareutbildning och specialistutbildning, osv. (Se vidare under användningsområden.) Trots variationen dem emellan kan man säga att en kombination av fyra huvudegenskaper återfinns, i olika grad, hos virtuella karaktärer: virtualitet interaktivitet människolikhet en socio-emotiv dimension Kombinationen av dessa fyra egenskaper förekommer inte hos någon annan produkt/artefakt som människan skapat. Detta gör virtuella agenter/karaktärer intressanta att utveckla och använda liksom att studera effekterna de har på människor. Teknologier för virtuella karaktärer 2 Virtuella karaktärer förekommer (framförallt) i desktopmiljöer samt i olika VR-miljöer. Interaktionsmetoder på input-sidan är bland annat: text (från helt styrd till fri text-input), tal (med taligenkänning hos den virtuella agenten), användarens rörelser och handlingar. Agenter kan, som nämnts ovan, också ta in signaler via ögonrörelsedetektorer, identifiera ansiktsuttryck med visionssystem av olika slag, identifiera tonlägen i röst, ta in fysiologisk data, positionsdata, hållning och gester, m.m. från användaren På output-sidan finns t.ex. röstsyntes och olika former av datormodeller för att styra karaktärens rörelser, kroppsspråk, m.m. Det finns också en grupp hybrid-agenter, som är ett mellanting mellan virtuell agent och robot, som t.ex. Philips i-cat (figur 4). 2 Avatarer och datorspel behandlas inte i detta stycke. Fig. 4. Philips i-cat Interaktionsbegreppet Ordet interaktion har redan använts i texten, men en kort definition är här på sin plats. Interaktion är både ett relativt brett använt vardagsbegrepp och ett begrepp med specialbetydelser inom olika domäner (som statistik, kemi, osv.) Inom människa-teknikinteraktion avser man: beteende och handlingar som äger rum när två eller flera parter ömsesidigt och kontinuerligt påverkar varandra. Dvs. det handlar inte om kausal envägspåverkan utan om system bestående av samverkande parter som ömsesidigt påverkar varandras ageranden. (Observera att kombinationer av en serie interaktioner kan leda till överraskande och många gånger komplexa resultat.) Det är detta interaktionsbegrepp vi syftar på när vi talar om människors interaktion med virtuella miljöer och virtuella karaktärer. Immersion, Presence, Believability & Social Presence Ovanstående är fyra mycket centrala begrepp inom kognition, interaktion och virtualitet. På grund av deras betydelse diskuteras de en hel del, och forskargrupper strider sinsemellan om innebörd och nyanser. Här presenteras begreppen huvudsakligen från ett kognitionsvetenskapligt perspektiv. Immersion Immersion beskriver i vilken utsträckning en VRteknologi har kapacitet att åstadkomma en rik, vidsträckt och livlig illusion av verklighet för en varseblivande människa [12]. Man talar alltså om olika grader av immersion men för enkelhets skull talar man ibland också om de två klasserna immersive och non-immersive VRteknologi. I ett VR-system som är immersive omges en person helt (eller nästan helt) av den virtuella miljön. De första VR-systemen av detta slag var flygsimulatorer, som genom en blandning av verklig hårdvara och virtuella bilder gjorde att en person omgavs hel av den virtuella miljön ifråga. CAVE som beskrevs ovan är ett VR-system med mycket hög grad av immersion, då man omges på tre sidor samt på golvet av projicerade bilder. VR med hjälp av vanlig desktop eller projektion på en enkel skärm är däremot exempel på non-immersive VR. 3
Presence Presence, och social presence (där det senare utvecklas mer nedan) beskriver inte teknologi utan är psykologiska, kognitiva begrepp. Presence refererar till en persons upplevelse av being there och social presence refererar till en persons upplevelse av att någon annan is there, eller av co-presence. En del forskare vill knyta presence till immersion, genom resonemanget att hög grad av presence är något som endast är möjligt vid hög grad av immersion. Ur kognitionsvetenskapligt perspektiv måste begreppen hållas isär, eftersom man vet att vilken given input som helst, genererad av vilken godtycklig teknologi som helst, kan ge olika upplevelser hos olika individer. (För individer med skador eller egenheter i hjärna och nervsystem kan egenartade och unika upplevelser genereras.) Dessutom tycks även brist på input kunna mycket kraftfullt generera upplevelser hos människor. En mycket stark upplevelse av being there, av presence, kan man (som de flesta vet av egen erfarenhet) få från sådant som en MUD-värld, ett datorspel, en tecknad film eller från en bok man läser. (För att inte tala om (dag)drömmar, där immersion är minimal men presence kan vara maximal.) Ett recept för ökad grad av immersion är att minska differensen mellan en virtuell miljö och den verkliga miljön. Men detta recept ger inte nödvändigtvis en ökad grad av presence. Believability Ett begrepp som används i synnerhet kring virtuella agenter är believability. En del agentforskare knyter det nära naturalism/realism och immersion: målet är att skapa virtuella karaktärer eller agenter som i slutändan inte går att skilja från en människa med avseende på utseende, rörelser, beteende, språk, osv. Andra använder believability i en vidare mening, där det handlar om trovärdigheten hos en karaktär (eller miljö) oavsett den naturalistiska/ realistiska likheten med en människa eller med verkligheten. Ett nyckelbegrepp här användbart för både virtuella agenter/karaktärer och för virtuella miljöer är suspension of disbelief. Det vill säga att tillfälligt upphäva sitt tvivel eller vetskap om att det inte är på riktigt. (Uttrycket används för övrigt också av Disney, som utan tvekan vet mycket om hur man får människor att uppleva presence i rena fantasivärldar.) Realism och naturalism till så hög grad att man inte vet vad som är verklighet och virtualitet blir i detta sammanhang ointressant. Det handlar istället om vad som krävs för att det ska vara tillräckligt lätt, motiverande, naturligt etc. att leva sig in i en annan värld och i andra karaktärer. Social presence Detta begrepp betecknar alltså upplevelsen av att någon annan finns där. Eller med andra ord känslan och intrycket av att man interagerar med en annan social och intelligent entitet även om man på ett reflekterande plan är fullt på det klara med att detta inte är fallet. Vid hög grad av social presence eller co-presence fungerar interaktionen mellan människa och agent i hög grad som social interaktion mellan människa och människa. Man modifierar sitt eget beteende i relation till agentens närvaro och beteenden. Detta kan mätas på olika sätt, t.ex. kan man jämföra hur nära man går människor respektive agenter i VR-miljöer, hur nervositet i form av hjärtslag och hudkonduktans påverkas av en verklig och en virtuell publik, osv. [5]. Computers Are Social Actors (CASA) I ett mycket stort antal studier har man visat att människor ur alla grupper olika åldrar, olika datorvana, från olika kulturer, osv. är benägna att spontant utnyttja sociala tolkningar och beteendemönster när de interagerar med datorer. Detta sker även när datorsystemet endast tillhandahåller minimala former av sociala ledtrådar som språk, skrift, röst, interaktivitet. I än högre grad uppträder sociala tolkningar och beteendemönster gentemot virtuella karaktärer, med sin rikedom av människoliknande egenskaper. Observera: det handlar inte om att människor på ett medvetet och reflekterande plan tillskriver datorer eller datorartefakter mänskliga egenskaper. Det finns inga vuxna människor som tror att vare sig datorer eller virtuella agenter är levande, sociala, kännande varelser (lika lite som de tror att karaktärerna i tecknad film är det). Men de sociala och emotionella reaktionerna, tolkningarna och handlingsmönstren är djupt inpräntade hos oss. Forskarna Byron Reeves och Cliff Nass [10] sammanfattar den stora mängd studier som visar detta med uttrycket Computers are Social Actors (det så kallade CASA-paradigmet). De presenterar också en möjlig förklaring till varför människor tolkar och agerar som de gör: dessa tolknings- och reaktionsmönster är tämligen hårdkodade i hjärnan. Under de långa tidsrymder människan evolverade var de facto allt som uppvisade sociala signaler (röst, språk, öga, mun, osv.) verkligen sociala aktörer (och på så sätt viktiga för oss). Våra tolkningssystem och reaktionsmönster när vi träffar på sådana system ligger på den automatiserade kognitiva nivån. Detta är alltså, enligt Reeves och Nass och många med dem, förklaringen till sådant som att: människor är artiga mot datorer [10] människor håller behörigt socialt avstånd till obekanta virtuella agenter i VR-miljö men går allt närmre i takt med att de lär känna dem [5] människor är benägna att avbryta sin medverkan i en studie där man ombeds ge virtuella elchocker till en virtuell karaktär [13] människor tillskriver en virtuell kvinnlig läkare med mer feminint utseende större grad av vänlighet och empatisk förmåga men lägre grad av kunskap och kompetens än en virtuell kvinnlig läkare med mindre feminint utseende [6] Osv. Återigen: det handlar om hur människor fungerar på en automatiserad kognitiv nivå, inte om vad de tror eller är 4
medvetna om ifall man frågar dem. (Då kommer majoriteten först inte tro på CASA-paradigmet alls. Därefter kommer de att insistera på att de själva aldrig skulle reagera eller agera enligt CASA-paradigmet.) Användningsområden för virtuella miljöer & virtuella karaktärer Träning i, hantering av och utforskande av farliga miljöer - Giftiga miljöer, radioaktiva miljöer, rymden, rökdykning, kontroll och övervakning av kemiska processer, flyg, fallskärmshoppning. Med mera. Visualiseringar och simuleringar i vetenskapligt syfte och/eller i syfte att förmedla historiska kulturer Utforskande av rymden och virtuella planeter (jfr planetgeologer), uppbyggnad av virtuella historiska byggnader, t.ex. för att utforska hur många människor som fått plats i dessa, hur det kan ha upplevts och sett ut. Med mera. Medicin och hälsovård Utbildning och träning inom kirurgi Rehabiliteringsstöd, t.ex. virtuella talassistenter vid afasi eller Parkinssons eller motorisk träning för personer med hjärnskador Virtuella coacher för att hjälpa personer att leva hälsosammare Träning för läkarstuderanden i patientkommunikation (som komplement till att träna på verkliga patienter) Träning för personer med fobier, t.ex. scenskräck, torgskräck, djurfobier, osv. Med mera. Undervisning och utbildning Visualiseringar av komplex information, användning av Google Earth t.ex. Simuleringar av olika slag: ett ekosystem, ett samhälle/en stad, energiförbrukningen i ett hem Virtuella rollspel: för förståelse av olika situationer och hur vi bemöter olika karaktärer, för språkinlärning, för social träning, för ledarskapsträning Möjlighet till individualiserad träning, t.ex. vid behov av mycket omfattande träning, när och hur ofta en elev/student vill Träning av olika förmågor och färdigheter utan att någon annan behöver finnas på plats (minskad stress, nervositet, skam) Avdramatisering av vissa kunskapsområden Med mera. Kommunikation och info Verktyg för stadsplanering och arkitektur Web-bots som guidar på hemsidor (kommunhemsidor, företagshemsidor, statliga verks hemsidor) Forskningsverktyg för att studera människan som social och interaktiv varelse Man har, som nämnts, noterat likheter i tolknings- och reaktionsmönster (kommunikativa, emotionella, neurologiska) i samband med interaktion människa människa respektive interaktion människa virtuell karaktär När en sådan likhet är identifierad i ett givet fall av virtuell miljö och virtuella karaktärer, är det möjligt att systematiskt kontrollera och variera parametrar av intresse hos karaktärerna: deras blickar, gester, röster, dialekter, utseende, kön, etnicitet, sätt att interagera, osv. Med hjälp av sådana välkontrollerade experimentella studier, kan man utforska mänsklig (social) interaktion på en detaljnivå som hittills varit omöjlig. Man får dessutom inte bara berättelser och intervjusvar från människor utan kan studera och jämföra deras faktiska ageranden och reaktionsmönster som inte alltid stämmer överens med berättelser och intervjusvar. Man kan också styra och kontrollera icke-verbal kommunikation hos en agent på ett helt annat sätt än hos en människa. I sådana här studier är det inte nödvändigt att använda sig av autonoma agenter, utan man kan ha en kombination av halv-autonoma agenter och en människa som (utan att användaren vet om detta) finns där bakom och sätter samman interaktionen i realtid så kallad Wizard-of-Oz-teknik [4]. Referenser [1] Benigno, A. (2005). Using Virtual Reality to make cultural environments more accessible to people with physical disabilities. Gradutae thesis, Politechnico di Milano, Italy. [2] Bickmore, T. (2003). Relational Agents: Effecting Change Through Human-Computer Relationships. PhD-Thesis, MIT Program in Media Arts and Science. [3] Burleson, R., Picard, Perlin, P. & Lippincott, J. (2004). A Platform for Affective Agent Research. Workshop on: Empathetic Agents, International Conference on Autonomous Agents and Multiagent Systems, NY. [4] Dahlbäck, N., Jönsson, A. &Ahrenberg, L. (1993). Wizard of Oz-studies why and how. Workshop on: Intelligent User Interfaces, Orlando, FL. [5] Garau, M., Slater, M., Pertaub, P. & Razzaque, S. (2005). The responses of people to virtual humans in an immersive virtual environment. Presence: Teleoperators and Virtual Environments, 14(1), 104-116. [6] Gulz, A., Ahlnèr, F. & Haake, M. (2007). Visual femininity and masculinity in synthetic characters & patterns of affect. Proceedings of: The Second International Conference on Affective Computing and Intelligent Interaction (ACII 2007), Springer- Verlag, Hedidelberg, 654-665. [7] Haake, M. & Gulz, A. (2007). Virtual Pedagogical Agents: Stylisation for Engagement. Interfaces, 70, 12-13. [ http://www.bcs-hci.org.uk/interfaces/ ] [8] Picard, R. (1997). Affective Computing. MIT Press, Cambridge. 5
[9] Picard, R. (2003). Affective Computing: Challenges. International Journal of Human-Computer Studies, 59(1-2), 55-64. [10] Reeves, B. & Nass, C. (1996). The Media Equation. Cambridge University Press, NY. [11] Ruttkay, Z. & Pelachaud, C. (2004). From Brows to Trust Evaluating Embodied Conversational Agents, Human-Computer Interaction Series, Vol. 7, Kluwer. [12] Slater, M. (1998). Measuring presence: A response to the Witmer and Singer questionnaire. Presence: Teleoperators and Virtual Environments, 8(5), 560-566. [13] Slater, M., Anltley A., Davison A., Swapp D., Guger C., Barker, C., Pistrand, N. & Sanchez-Vives, M. (2006). A Virtual Reprise of the Stanley Milgram Obedience Experiments. PLoS ONE 1(1); e39. [ Doi:10.1371/journal.pone.0000039 ] [14] Thalmann, D. (1996). Introduction to Virtual Environments. [ http://vrlab.epfl.ch/~thalmann/vr/intro.pdf ] [15] Wallergård, M. (2007). Virtual Environments as a Tool for People with Acquired Brain Injury. PhD- Thesis, Lund University. 6