Syfte Små enheter i fysisk och digital omgivning Anders Henrysson Ge överblick över områden som involverar mindre enheter och användare Koncept, visioner, definitioner och exempel Tänka utanför boxen Inte: Tekniska detaljer, standarder, historisk genomgång 2 Enheter Enheter i omgivningen på kroppen på skrivbordet runt om oss i omgivningen på kroppen på skrivbordet runt om oss Dolda Omslutande 3 4 Små enheter A brief history of time and computing i omgivningen på kroppen i handen Miljö Bord Hand Kropp 5 6 1
Distribution av vadå? Indata distribuerat mellan UI och digital/fysisk omgivning Distribution av enheter Vision Överbrygga den fysiska verkligheten och den digitala domänen 7 8 Innehåll Wearable Computing Context Awareness Context Aware Retrieval Pervasive Gaming Augmented Reality Ubiquitous Computing Intelligenta hem Sensornätverk Wearable Computing 9 Vision Bärbar dator integrerad i den vardagliga utstyrseln för att alltid vara behjälplig i olika situationer 1. Förstärkt perception 2. Kommunikationskapacitet 3. Tillgång till beräkningskraft och data i realtid Kroppsburen Alltid på Alltid tillgänglig Wearable Computing Förstärkning Databehandling är INTE det primära Inkapsling Dubbelriktad avskildhet 11 12 2
Egenskaper 1. Ickebegränsande 2. Ej monopol på uppmärksamhet 3. Observerbar 4. Kontrollerbar 5. Påpasslig 6. Kommunikativ Komponenter Dator Skärm Input 7. Proteslik 13 14 Exempel på system Forskning Xybernaut Nomad Land Warrior MIThril Video 15 16 Applikationsområden Rekreation Träning, spela, surfa Arbete Beräkningskraft i bortom skrivbordet Diskussion Socialt acceptabelt? Industriellt intresse? Hjälpmedel för handikappade Känna igen hinder, ansikten etc. Augmented Reality 17 18 3
Vad är kontext? Context Awareness Kontext är den information som kan användas för att beskriva en enhets situation. En enhet är en person, plats eller objekt som anses vara relevant för interaktionen mellan en användare och en applikation, inklusive användaren och applikationen själva. 20 Vad innebär det att vara kontextmedveten? Ett system är kontextmedvetet om det använder kontext för att förse användaren med relevant information eller tjänster där relevansen beror på användarens uppgift. Varför kontext? Situationsrelaterad information är nödvändig för beslutsfattande och kommunikation Förenkla interaktionen med datorer. Minska användarens input 21 22 Kontextparametrar Kontextparametrar Fysiska Position Tid Temperatur Virtuella Applikation Sociala Vänner Medarbetare Hälsotillstånd 23 24 4
Inhämtning av kontext Trend Sensorer i mobiler Fysisk och virtuell information Bearbetning av rådata och modellering av kontext Sensorfusion Att vara mobil = fysiska kontexten förändras (gradvis) Förutsäga framtida kontext 25 GPS Var är användaren? Accelerometrar och gyron Aktivitet? Kameror Vad tittar användaren på? Streckkoder för identifikation av objekt Mikrofon Bakgrundsljud, samtalspartner? Kompass RFID 26 Personalisering Anpassning av tjänst till användare Applikationsområden 27 28 Applikationsområden Applikationsområden Positionering Trafikinformation Affärer, restauranger etc. Posta meddelande på en fysisk plats. 29 30 5
Applikationsområden Active Badge Positionering inomhus Öppna dörrar, hitta kolleger 31 32 Memory Glasses Sublima påminnelser Flasha namn, inköpslista etc. Undermedveten förstärkning av minnet. Datorseende BlueToothsändare för grovsortering PhoneGuide 33 34 Context Aware Retrieval Hämta den information som användaren kan tänkas ha nytta av i en given situation. Inte begränsad till specialanpassade applikationer som t.ex. turistguide. Trivialt exempel: googla den adress man befinner sig på. Märkning (Semantic Web) eller intelligens (textanalys)? JITIR - Jimminy Fysisk kontext position, närvarande personer, tid och samtalsämne Användning: När man går in i ett rum hämtas anteckningar tagna där När en person kommer in i rummet hämtas anteckningar som gjorts med denna person närvarande 35 36 6
IDEXIS Diskussion Säkerhet? Office-gemet i fysisk kontext? 37 38 Pervasive Gaming Datorspel med verkligheten som spelplan Kontextmedvetet spel Pervasive Gaming 39 40 Can You See Me Now? 3 Runners GPS WLAN 15 Online 3D-modell Uncle Roy All Around You Gatuspelare Onlinespelare Webbkameror, textmeddeland en 41 42 7
Diskussion Fasta och tidsbegränsade installationer? Augmented Reality 43 44 Augmented Reality Kontextmedvetet gränssnitt Världen genom datorn Förstärkt Verklighet 1. Mix av virtuell och verklig information (jmf VR) 2. Registrerad i 3D 3. Realtid (jmf SFX) Genomskinlig skärm Potential Intelligensförstärkning Ökad produktivitet Bättre perception av och interaktion med den verkliga världen Eliminera kontextbyte Problemdomän Visualiseringsdomän 45 46 Milgrams kontinuum Mixed Reality Milgrams kontinuum Mixed Reality Real Environment Augmented Reality (AR) Augmented Virtuality (AV) Virtual Environment Real Environment Augmented Reality (AR) Augmented Virtuality (AV) Virtual Environment 47 48 8
Vad krävs? Gemensamt koordinatsystem (riktiga och virtuella världen) Tracking = positionering i 6 dimensioner (position + orientering) ELLER använda datorseende Registrering (på pixelnivå!) Skärm som tillåter mix av virtuell och verklig information Skärmar Optiskt genomskinlig (+VRD) Videogenomskinlig Projicera på verkligheten 49 50 Skärmar Applikationsområde 1 - Medicin Stationära Fönster Huvudburen Glasögon Handhållen Förstoringsglas Ficklampa 51 52 Applikationsområde 2 Montering och underhåll Applikationsområde 2 Montering och underhåll 53 54 9
Applikationsområde 3 Annotering av byggnader Övriga applikationsområden 55 56 Övriga applikationsområden MagicBook Två exempel: AR Scalemodel CMAR 57 Gränssnitt som spänner över hela Milgramkontinuumet Bok + display Kombination av tryckt 2D, AR och VR Gradvis övergång 58 Augmented Reality Gaming Epidemic Menace Jaga virus 59 60 10
CAD-modell som Quakebana Renderas ej enbart för att göra spelfigurer synliga på rätt plats vid rätt tillfälle Bärbar dator (Tinmith) ARQuake PDA-baserat Träbana Sköt växlar mha pennan Invisible Train 61 62 Mobiltelefon som racket Skärmen som input ARTennis Inget spel 6 frihetsgrader på en mobiltelefon! Alla traditionella spel (schack etc.)? AR LEGO 63 64 Datorkraft överallt Ubiquitous Computing Små billiga datorer inbyggda i vardagsobjekt Datorn som en del av vår miljö Jmf text, klockor, elektricitet m.m. Är idag Ubiquitous Pervasive-, Ambient-, Calm Computing 66 11
Tredje vågen Stordatorn 1 dator flera användare Personlig dator 1 dator 1 användare Ubiquitous Computing flera datorer 1 användare Gränssnitt för osynliga datorer Röst Gester Penna Tangible UI Sensorer är viktiga! 67 68 Gränssnitt för osynliga datorer Weisers skala Enheter kan upptäcka varandra Digital kontextmedvetenhet Fjärrgränssnitt på t.ex. mobiltelefon Ad-hoc-nätverk (Service Discovery) är viktigt! 69 Tum Tab individuell Fot Pad individuell Yard Board Grupp Transparent integration eclass UbiComp i klassrummet Project Oxygen (video) 70 Datorn i periferin MediaCup En stor del av vår hjärnkapacitet används för att analysera händelser i periferin Centrum Periferi centrum. The Dangeling String 8 fot plast slinga Elmotor kopplad till ethernetkabel Rörelse (och ljud) baserad på trafik Väder som Mondrian Position Temperatur Användning Färgkodat väder från sex städer 71 72 12
Intelligenta hem Intelligenta hem 73 Ubiquitous Computing i vardagsrummet Övervaka genom sensorer Fukt, intrång, brand Larm via sms etc. Spåra innehåll När går mjölken ut? Styr över Internet Stäng av spisen Starta mikron 74 Aware Home Intelligenta hem Video Roomba Trilobit SLAM 75 76 Sensornätverk Små kontextmedvetna element Mäter: Fukt, värme, närvaro, ljus, ljud, lukt, tryck, vibration m.m När dessa utrustas med positionering och trådlös kommunikation öppnas nya möjligheter att förstå miljön Kontextmedvetenhet innan: hämta digital information som är relevant i en viss kontext Med sensornätverk: skapa digital information som beskriver en viss kontext Sensornätverk Sensornätverk måste skördas Med t.ex organisk elektronik kommer man kunna bygga mycket billiga sensorer Tusentals trådlösa sensorer skapar mycket data som måste analyseras. 77 78 13
Reality Mining Data mining av sensordata Surfa verkligheten Få direkt insikt i aktuella förhållanden Trafiksituation Väder Skogsbränder Övervakning Surfa verkligheten Se sensorer som pixlar Raster av sensornätverk Mappa till färgvärde Visualisera 79 80 Visualisering av sensornätverk med Augmented Reality Skörda sensornätverket Mappa till färgvärden Interpolera Registrera med verkligheten Tracking med kameran och markör Mobiltelefon som magisk lins Video Diskussion Storebrorssamhället? Säkerhet vs. Ad-hoc? 81 82 Tangible Computing Tangible Computing/UI Människans finmotorik utnyttjas inte till fullo av dagens datorer och dess gränssnitt Miniatyrisering tillåter datorer att manipuleras som objekt Human beings are visually oriented, hands on and curious by nature. We may want to keep tangible interfaces to the real world and retain at least the impression that we know what is going on. Ian Pearson, BT Futurologist 83 84 14
Datorn känner av vad som byggs Video Active Cube Tangible Bits I/O Brush Topobo IP Network Design Workbench 85 86 Tablescape Plus Video Coola projekt 87 88 Augmented Coliseum Human Pacman Video Video 89 90 15
NeonRacer Kick Real video 91 92 Invisible - The Shadow Chaser Jaga osynliga spöken Se skuggorna Hör fotsteg Ljud + haptik video byob 93 94 Mer utanför-lådan-material Se www.we-make-money-not-art.com för fler projekt Summering Fått med det mesta, men har bara skrapat på ytan Sammansmältning av fysiskt och digitalt Mycket forskning återstår innan detta blir verklighet. Kan det överhuvudtaget realiseras? 95 96 16
Referenser 1. Googla 2. Hör av er till andhe@itn.liu.se ifall det är något speciellt ni vill ha mer info om 97 17