Föremålet som interaktör 2

Transkript

1 Föremålet som interaktör 2 Thomas Pederson doktorand vid inst. för datavetenskap rum B421 i MIT-huset forskningsområde: Augmented Reality e-post: top@cs.umu.se Föremålet som interaktör 2 Thomas Pederson doktorand vid inst. för datavetenskap rum B421 i MIT-huset forskningsområde: Augmented Reality e-post: top@cs.umu.se 1

2 Överblick Artificiell intelligens Fysisk-virtuella miljöer (min forskning) 2 Överblick Artificiell intelligens Fysisk-virtuella miljöer (min forskning) 2

3 REPETITION FRÅN FÖRRGÅR Intelligenta agenters intelligens Lite intelligens: iakttagelse -> handling Mer intelligens: iakttagelse -> val av (förmodligen) bästa handling -> handling Mycket intelligens: samspel mellan Plan Urval av möjliga handlingar bland alla Val av bästa handling bland de utvalda Utvärdering av handlingen efter genomförandet liten operationsdomän stor 3 Intelligenta agenters intelligens Lite intelligens: iakttagelse -> handling Mer intelligens: iakttagelse -> val av (förmodligen) bästa handling -> handling Mycket intelligens: samspel mellan Plan Urval av möjliga handlingar bland alla Val av bästa handling bland de utvalda Utvärdering av handlingen efter genomförandet 3

4 Olika grader av adaptivitet (David Benyon) 1. Stimulus-respons (S-R) 2. Som 1 + interaktionshistoria + handlingsevaluering -> nya handlingar genom adaption REPETITION FRÅN FÖRRGÅR 3. Som 2 + användarmodell + domänmodell -> interaktionsmodell med prediktion av hur handlingar skulle påverka interaktionen 4. Som 3 + men adaptiv interaktionsmodell 4 Olika grader av adaptivitet (David Benyon) 1. Stimulus-respons (S-R) 2. S-R + interaktionshistoria + handlings-evaluering -> nya handlingar genom adaption 3. S-R + interaktionshistoria + handlingsevaluering + användarmodell + domänmodell -> interaktionsmodell med prediktion av hur handlingar skulle påverka interaktionen 4. Som 3 men adaptiv interaktionsmodell 4

5 Artificiell Intelligens Tre viktiga områden: Kunskapsrepresentation Sökning (och kontroll) Lärande 5 Artificiell Intelligens AI= om gjort av människan, skulle kräva intelligens. Tre viktiga områden: Kunskapsrepresentation Sökning (och kontroll) Lärande 5

6 Kunskapsrepresentation - Intro [1] Vad finns för kunskap inom området? Hur representera denna i datorn? Hur manipulera/förändra? 6 Kunskapsrepresentation - Intro [1] Vad finns för kunskap inom området? Dvs vilka typer av delmoment ingår i arbetsuppgiften, hur är de strukturerade och organiserade? Hur representera denna i datorn? Mapping av kunskapen till kända sätt att representera kunskap. Hur manipulera/förändra? Dvs hur kan kunskapsbasen utveckla sig med tiden? 6

7 Kunskapsrepresentation - Intro [2] Syntax och semantik 2 delar: kunskapsbas och interpretator/motor Det finns inga rätt och fel Realism Prestanda Speciella problem (t.ex. granularitet) Avvägning! Ofta reduktionistisk kunskapssyn 7 Kunskapsrepresentation - Intro [2] Syntax och semantik = formella konventioner och ett tolkningssätt 2 delar: kunskapsbas och interpretator/motor Det finns inga rätt och fel utan valet av representation styrs av systemets behov, våra intentioner med representationen etc. Realism Prestanda Speciella problem (t.ex. granularitet) Avvägning! Ofta reduktionistisk kunskapssyn, dvs att all kunskap kan brytas ned i beståndsdelar tills dess att man kommit ned till atomära delar. 7

8 Översikt av tekniker för KR Semantiska nät Frames Scripts Regelbaserade representationer Logik 8 Översikt av tekniker för KR Semantiska nät Frames Scripts Regelbaserade representationer Logik 8

9 KR: Semantiska nät Propositionell kunskap ISA-, AKO-hierarki Ärvning av egenskaper vanligt Problem: (generellt) hur detaljerad ska man vara? 9 KR:Semantiska nät Propositionell kunskap ISA-, AKO-hierarki: ISA-nät när hierarkin är viktig, AKO när dekomposition är viktigt Ärvning av egenskaper vanligt Problem: (generellt) hur detaljerad ska manvara? 9

10 KR: Frames Flera informationsbitar => en En samling slots och slot fillers Default (förväntningar) Hierarkiska relationer 10 KR: Frames För att hantera Flera informationsbitar somen En samling slots (hålrum) och slot fillers. I Ex: Chair är en frame, Numberoflegs är en slot och Default 4 är en slot filler. Default (förväntningar) Hierarkiska relationer, en stol är exempelvis en sorts möbel 10

11 KR: Scripts Kausal kedja Typiska händelser Ofta ordnade i spec. ordning Används för att förstå korta berättelser Common sense krävs också 11 KR: Scripts Kausal kedja Typiska händelser Ofta ordnade i spec. ordning Används för att förstå korta berättelser Common sense krävs också för att kunna förstå och kunna svara på detaljerade frågor 11

12 KR: Regelbaserade representationer Produktionsregler Ofta expertsystem 3 delar: Regelbas (if then ) Kontext Interpretator 12 KR:Regelbaserade representationer Produktionsregler Ofta expertsystem inom exvis medicin 3 delar: Regelbas (if then ) Kontext Interpretator som väljer ut nån applicerbar regel ur regelbasen, applicerar den på kontexten och får nya slutsatser att lägga till regelbasen, o.s.v. 12

13 Typiska frågor inom KR Tydlighet Effektivitet Omfång Vokabulär Modularitet Utökbarhet Resonemang Modifierbarhet 13 Typiska frågor inom KR Tydlighet: transparent sätt att koda världskunskapen? Effektivitet: mycket dubbelrepresentation? Omfång: Vilken del av världenkan representeras? Vokabulär: enkelt och rakt sätt att koda världskunskapen? Modularitet: Hur lätt är det att förändra kunskapen? Utökbarhet: Hur relateras ny kunskap till gammal? Hur löses konflikter? Resonemang: Deduction? Induction? Kan man fortsätta resonemang även om info viss kunskap saknas? Modifierbarhet: Kan representationens struktur förändras? 13

14 Sökning - Intro [1] = Val bland alternativ Relaterat till kunskapsrepresentation Vad är en (tillräckligt) bra lösning? Vad är kostnaden för dåliga sökvägar? Finns det en lösning? När sluta? 14 Sökning - Intro [1] = Val bland alternativ Relaterat till kunskapsrepresentationen Vad är en (tillräckligt) bra lösning?# Dåliga sökvägar Finns det en lösning? När sluta? 14

15 Sökning Intro [2] Blind vs. heuristisk blind bara strukturen heuristisk värderar alternativen heuristisk överlägsen vid hög kostnad men värdering kostar också Stora sökträd vanliga schack: möjliga lägen 15 Sökning Intro [2] Blind vs. heuristisk blind bara strukturen heuristisk värderar alternativen heuristisk överlägsen vid hög kostnad (exempelvis som fotgängare med tung kappsäck i en okänd stad) men värdering kostar också Stora sökträd vanliga: schack: möjliga lägen 15

16 Sökning - Intro [3] Alla söktekniker har föroch nackdelar Val beror på typ av träd: buskigt? djupt? var är målnoderna? Önskvärt: garanterad att hitta målnod om det finns optimal lösning effektiv = minstantal undersökta alternativ 16 Sökning - Intro [3] Alla söktekniker har för- och nackdelar Valberor på typ av träd: buskigt? djupt? var är målnoderna? Önskvärt: garanterad att hitta målnod om det finns optimal lösning effektiv = minstantal undersökta alternativ 16

17 Blind sökning Tre vanliga: Bredden först Djupet först Uniform cost 17 Blind sökning Fyra vanliga: Bredden först: försiktig och konservativ. Hittar garanterat kortaste vägen till målnoden. Kan ta lång tid om målnoden ligger djupt. Djupet först: aggressiv men farlig. Kan hända att sent eller aldrig (om trädet byggs upp dynamiskt) kommer fram till målnoden. Uniform cost: bredden först där kopplingarna är viktade 17

18 Heuristisk sökning Blinda sökmetoder utforskar alla alternativ (om målnod saknas) Heuristiska metoder använder information om: domänen sökrymden målnoders egenskaper Heuristiska metoder: utforskar bara de intressantaste alternativen vilka är de? tumregler används 18 Heuristisk sökning Blinda sökmetoder utforskar alla alternativ (om målnod saknas) Heuristiska metoder använder information om: domänen sökrymden målnoders egenskaper Heuristiska metoder: utforskar bara de intressantaste alternativen vilka är de? tumregler används 18

19 Inlärning (adaptivitet) Vilken kunskap finns/ges från början? Hur genereras och integreras ny kunskap med gammal? Lärare, kritiker Vem? Hur? Vilken roll spelar exempel? 19 Inlärning (adaptivitet) Vilken kunskap finns/ges från början? Dvs finns hårdkodad in i systemet? Hur genereras och integreras ny kunskap med gammal? Lärare, kritiker Vem? Hur? Vilkenroll spelar exempel? 19

20 Fysisk-virtuella miljöer (min forskning) Det finns ett gap mellan den fysiska och virtuella världen som gör tillvaron onödigt jobbig Gapet måste överbryggas! Augmented Reality - förstärkt verklighet Mixed Reality - blandad verklighet 20 Fysisk-virtuella miljöer (min forskning) Det finns ett gap mellan den fysiska och virtuella världen som gör tillvaron onödigt jobbig Gapet måste överbryggas! Augmented Reality - förstärkt verklighet Mixed Reality - blandad verklighet 20

21 Physical-virtual artefacts bridging the gap (?) Informationsteknik ochdesign HT2002, föremålet som interaktör 2 (Pederson 1999) A physical-virtual artefact is an abstract artefact that (1) is instantiated in both the physical and virtual environment, where (2) these instantiations to a large extent utilize the unique affordances and constraints that the two different environments facilitate, and finally (3) where one instantiation of a specific physical-virtual artefact is easily identified if an equivalent instantiation in the other environment is known 21 Physical-virtual artefacts bridging the gap (?) A physical-virtual artefact is an abstract artefact that (1) is instantiated in both the physical and virtual environment, where (2) these instantiations to a large extent utilize the unique affordances and constraints that the two different environments facilitate, and finally (3) where one instantiation of a specific physical-virtual artefact is easily identified if an equivalent instantiation in the other environment is known 21

22 General system architecture for enabling PVAs Informationsteknik ochdesign HT2002, föremålet som interaktör 2 22 General system architecture for enabling PVAs 22

23 PV Prototype Environment: Magic Touch Informationsteknik ochdesign HT2002, föremålet som interaktör 2 Human hands as the link between physical and virtual 23 PV Prototype Environment: Magic Touch Human hands as the link between physical and virtual 23

24 Informationsteknik ochdesign HT2002, föremålet som interaktör 2 Magic Touch client-server model 24 Magic Touch client-server model 24