KISMET. En robot med känslor. Albin Pettersson Albpe851

KISMET En robot med känslor Albin Pettersson 8905181973 Albpe851

Sammanfattning Kismet är en robot med förmågan att uttrycka och reagera på känslor. Dess beteende kommer av ett system med sex delar där ett stimuli från om omgivningen tas upp via kameror och mikrofoner, blir filtrerad, påverkas av robotens nuvarande sinnestillstånd, och slutligen visa hur den känner. I denna text redogörs för hur systemet är uppbyggt och vad de olika delarna gör med ett stimuli från det att det uppfattas till att det blir ett svar från Kismet.

Innehållsförteckning 1.1 Inledning 1 2.1 Systemet 2 2.2 Low-Level Feature Extraction 2 2.3 Attention System 4 2.4 Perceptual System 4 2.5 Motivation system 5 2.5.1 Homeostatic Regulation 5 2.5.2 Emotion System 5 2.6 Behavior System 5 2.7 Motor System 7 3.1 Diskussion 9 4.1 Källor 10

1.1 Inledning Mängden användningsområden för robotar som arbetar självständigt är närmast oändligt. Att ersätta människans roll vid arbete med farligt material är ett av de största anledningarna forskningen går frammåt, men även arbete som innefattar sociala aspekter så finns det stor användning av robotar. Människan är en social varelse som interagerar med andra individer med tal, ansiktsuttryck och kroppsspråk. Att få robotar att kunna tänka och interagera med på samma sätt som människor är något forskare har eftersträvat sedan närmast artificiell intelligens födelse. Vid slutet av 1990 talet skapade Cynthia Breazeal roboten Kismet, som är inspirerad av hur småbarn utvecklas socialt. Roboten klarar av att tolka tonlägen i tal och olika ansiktsuttryck och svara på dessa. För att svara har Kismet ett huvud med ansikte vars delar den kan manipulera för att uppvisa hur den känner. Breazeal fick efter tidiga experiment posivit respons från människor som interagerat med Kismet som tyckte den verkade närmast mänsklig. 1

2.1 Systemet Systemet bakom Kismet har består av sex huvuddelar och dessa går att se på bilden under. Här kan vi se hur information från sensorerna på Kismet först tas in, tolkas, kopplas till Kismets behov, vilken emotionell respons som skall komma därav, och slutligen hur motorsystemet utför den handling som är kopplad till given respons. Hur dessa olika system fungerar kommer förklaras nu. Bild 1: Hur systemet bakom Kismet är designat. I Bild1 här ovan får vi en översikt på hur informationsflödet i Kismet går till. Hur det börjar med en stimuli från en sensor och sedan vidare och slutligen till en respons från en av alla motorer. 2.2 Low-level Feature Extraction System Först finns ett low-level feature extraction system som är inspirerat av hur människobarn reagerar på vissa features, egenskaper hos ett objekt. Egenskaperna bestämdes utifrån hur mycket de skulle hjälpa Kismet att urskilja social- samt ickesocial stimuli. Med ickesocial stimuli menas exempelvis objekt med utmärkande färger etc. Samt för att få Kismet att interagera utifrån dessa stimuli. Kismet har även en självförsvarsrespons på stora rörelser väldigt nära ansiktet. Systemet är programmerat att reagera på följande: mättade färger: röd, blå, grön och gul samt färger som kan tänkas vara hudfärg. Även rörelser,vad som kan tänkas vara ögon, avståndet till objekt, hägringar samt hot. Färger är en av de mest grundläggande av visuella features och Kismet söker och reagerar på framträdande färger. Först inkommer tre 8-bitars kanaler med röd, grön och blå som blir omvandlade till fyra färgopponentkanaler, motsatta kanaler, röd, grön, blå och gul. Färginputen blir först normaliserad och används för att skapa fyra opponentfärgkanaler. Med detta kan man skapa en 2-D-karta. Pixlarnas i kartans färger ökar då intensitetsvärdet för den pixeln. Färger som påminner om hudfärg blir även framfiltrerade. Det görs genom att försöka utesluta 2

områden som troligen ej innehåller ansikten eller händer. Områden som troligen innehåller ett ansikte kommer sedan bli utvärderade utifrån en funktion om olika typer av hudfärger. I hudfärgsfilteret i Bild2 nedanför reagerar filteret på 4.7 % av de möjliga röda, gröna och blå värdena. Varje ruta visar svaret från filteret på alla värden av rött och grönt. Blått är här bestämt. I cellerna representerar x-axeln rött och y-axeln grönt. Bild2: Hudfärgsfilter Rörelsedetektion görs även parallelt med sökandet av färger. Rörelser representerade av en binär 2- D-karta där områden med rörelse får ett högt intensitetsvärde. Bild3: Hur Kismet söker efter ögon i realtid. Att söka efter ögon i realtid svårt eftersom omständigheterna beträffande ett ansikte och ögonen kan variera på många sätt. Kismets ögondetektion fungerar så att den antar att ögonen är ett mörkare område, nära näsan, omgivet av ett stort hudfärgat område. Genom denna metod kan Kismet söka efter vad som tordes vara ögon i ett ansikte. Dock så förutsätts det att ansiktet är någorlunda horisontellt och att ögonen är på ett visst avstånd från Kismet. I Bild3 kan vi se hur Kismet hittar ögonen på flera personer och lyckas följa dem över tid varefter att ansiktena och ögonen flyttar på 3

sig. Närheten till ett objekt beräknas utifrån två kameror där deras output jämförs. Objektet i den centrala kameran sökes efter i vad den lägre kameran ser med jämförande av pixlar. Jämförelsen mäts genom normaliserad kross-korrelation. Jämförelsen upprepas för ett antal punkter för att konstatera att objektet har rätt typologi vilket gör att man ska avslå felaktiga matchningar. Upptorningsdetektion sker genom att de två parallela kameror som står för synfältet jämför sin output. Om det är stora skillnader i outputen tyder det på att ett objekt är väldigt nära och om ett objekt är en bit bort tordes outputen vara tämligen lika. Genom att låta Kismet se sig omkring går det sedan att räkna ut om ett objekt snabbt kommer nära honom då outputen kamerorna emellan väldigt snabbt förändras under en kort tid. Ett objekt som rör sig snabbt mot Kismet kommer tolkas som ett hot, utifrån hur upptorningsdetektionen fungerar. Det finns dock en risk för att Kismet uppfattar objekt som hot när han själv rör på sitt huvud. För undvika detta finns ett filter som jämför rörelsen i de yttredelarna av synfältet med de centrala delarna och kan på så sätt bestämma huruvida den uppfattade rörelsen beror på att Kismet själv rör på sig. Kismet kan i realtid skilja på ljud från människor och andra tänkbara bakgrundsljud genom att extrahera specifika features i mänskligt tal och ett antal andra saker. Dessutom kan Kismet skilja på ljud som påminner om tal och ej, han kan känna igen affektion via tal och vänta på sin tur i en konversation. Fonetisk information kan sedan användas för att påverka Kismets egna sätt att tala så den kan lära sig ett proto-språk. De features Kismet använder är först är om det ens finns något ljud i närheten. Därefter kommer den söka efter röster och tal och om detta finnes; röstlägen, energi i rösten och sist unika fonem.. 2.3 Attention System Kismet har ett uppmärksamhetssystem låter den rikta resurser mot utmärkande stimuli i en given miljö. På de flesta komplexa platser så finns dock ett större antal objekt som mycket väl skulle trigga detta system och därför måste uppmärksamhetssystemet vara uppgiftdrivet, leta efter något. Systemet är inspirerat av hur människans visuella sökbeteenden men inkluderar även exempelvis habituering. Systemet är uppdelat i två steg. Det första steget är processar visuell information från hela synfältet, så som färger. I det andra steget sker exempelvis ansiktsuttrycksigenkänning och ögonigenkänning. Det andra steget är limiterat på så sätt att Kismet endast kommer uppmärksamma en plats en viss tid. 2.4 Perceptual System Särdrag som överenstämmer med ett objekts stimuli enligt uppmärksamhetssystemet kommer gå vidare till perceptionssystem. Simulin blir sedan ett percept relevant till ett beteende. Alla beteenden har sedan en releaser, något som utlöser ett beteende. Releaserns uppgift är sedan att bekräfta att om alla percept är korrekta för att utlösa ett beteende hos Kismet. 4

2.5 Motivation System 2.5.1 Homeostatic Regulation Kismet har ett antal sociala och emotionella behov som kontiuelligt måste upprätthållas. Det ligger i Kismets natur att vara socialt engagerad och lära från människor. Kismet har därför tre stycken drifter; en social drift som motiverar honom att interagera med människor, en stimulationsdrift motiverar honom att leka med leksaker och en trötthetsdrift som motiverar honom att sova. Drifterna representerar de grundläggande behoven Kismet har. Drifterna är alltså skapade för att få Kismet i en balans när den interagerar med något och för att få honom att verka levande. Kismets drifter har alla en önskvärd nivå som Kismet kommer sträva efter att hålla dem på. Det är detta som är den själva homeostatiska regulationen. 2.5.2 Emotion System Varje känsla Kismet har ska påverka världen på ett visst sätt. Beroende på den resopons Kismet sedan får ska de motivera den att fortsätta göra det som får den att må bra eller sluta med det. Kismet har sex stycken känslor avsky, rädsla, sorg, lycka, liska och överraskning vilka är kombinationer av arousal-states, valence och stance. Dessa tre kan vara olika starka; och exempelvis känslan lycka är en kombiation av positive valence och neutral arousal. Även olika percept kan påverka Kismets känslor då percept kan påverka hans beteende som i sin tur kan förändra hans känslor. Om ingen har uppmärksammat Kismet så dens sociala behov är stort, kommer den se ledsen ut så att någon skall ge den uppmärksamhet samtidigt som den söker stimuli som kan tänkas tillfredställa drifterna så de hamnar på en önskvärd nivå. 2.6 Behavior System Beteendesystemet ser till att varje beteende tävlar andra beteenden om att göra en uppgift. En skiljedomsmekanism bestämmer vilket beteende som skall vara igång och hur länge. Tidsbestämelsen är för att Kismet har flera drifter. Systemets huvudsakliga uppgift är dock att bedöma beteendes relevans, samsammighet, ihärdighet och opportunism vilket gör att Kismet kan föra sig i komplexa miljöer. I Bild4 nedan för kan vi se hur informationsflödet i beteendesystemet ser ut. De tre drifterna högst upp och hur det sedan fortsätter nedåt mot en respons av något slag. Bild4: Beteendesystemet I beteendesystemet finns tre grenar efter de tre drifter Kismet har. Grenarna har i sin tur tre nivåer 5

där varje nivå är mer specifikt till Kismet och omgivningen. På den lägsta nivån, Nivå 0, bestäms det vilken av drifterna som skall bli stimulerad. Hur det bestämms beror på om det exempelvis finns människor i närheten vilket skulle öka chansen för att den sociala driften skulle prioriteras. Desto längre Kismet har varit utan stimulation av specifik drift ökar vilken drift som blir vald, lika så desto längre utan desto starkare blir känslan. På nivå 1 finns de beteenden som ska skapa en bra interaktion med omgivningen och det finns tre typer av beteenden. Sökande beteenden finns för att Kismet ska kunna leta efter något att stimulera sig med. Om Kismet exempelvis letar efter något kan den sätta sitt uppmärksamhetssystem att leta efter något. Sökbeteendena påverkas av Kismets arousal states samt hur länge avsaknaden av en stimuli varat. De undvikande beteenden så att Kismet kan backa undan från stimuli som på något sätt är oönskade. Detta görs genom att försöka skapa ett avstånd mellan Kismet och den oönskade stimulin. Hur Kismet gör detta beskrivs på nivå 2. De engagerande beteenden som får Kismet att engagera sig i önskad stimuli, så länge inget hot finns i närheten. Den sista nivån, nivå 2, finns två typer av beteenden, försvarsbeteenden och lekbeteenden. Inom den första gruppen finns typer av försvarsbeteenden som alla hanterar olika situationer. Dessa tre är flykt, tillbakadragande och avslag. Under flykten försöker Kismet fly från ett hotande stimuli genom att skicka en signal till motor systemet som svarar med att stänga Kismets ögon, göra så den grimarserar och för huvudet bort från hotet. Tillbakadragande beteenden uppstår när Kismet är i en otrevlig men ej hotande situation. Detta sker genom att Kismet signalerar till, om det är en människa som är problemet, att den ogillar situationen. Avslag är när Kismet blir erbjuden något den inte vill ha, vilket uppkommer ur känslan avsky. Kismet beter sig olika mot människor och leksaker, och kommer exempelvis inte prata med leksaker. Det går därför att säga att det finns en uppdelning med en sociala-lekande beteenden mot människor. När Kismet skall vara social har den ett antal strategier. Först kommer Kismet är ett call-to-person behavior, där Kismet försöker locka till sig en människa som är i närheten men för långt borta för ansikte mot ansiktesinteraktion. För att upptäcka om någon är i närheten kombineras hudfärg med mätning av avstånd till objektet. Om någon är tillräckligt nära aktiveras call-beteendet. Detta görs genom att Kismet skickar ledtrådar till människan, som att luta sitt huvud frammåt, vicka på öronen och prata. Den lutar sig sedan backåt och väntar på en respons tills den antingen får en respons eller blir irrelevant då omgivningen ej längre triggar beteendet. Därefter kommer Kismet att hälsa, greeting behavior, på människan för att starta en nära interaktion parterna emellan. Kismet kommer att söka ögonkontakt, le och vifta på öronen för att hälsa på en människa.hälsningen kommer endast ske en gång. När ansikte mot ansiktesinteraktion har påbörjats kommer Kismet påbörja Attentive Regard Behavior, uppmärksammande och hänsyns beteende. Detta beteende gör att Kismet kommer behålla ögonkontakt och vokalisera något mindre för att verka öppen för interaktion. Turtagandebeteendet som tar vid när en person börjar prata med Kismet går ut på att Kismet skall försöka ha en proto-dialog med en människa. Det viktigaste blir då att turtagandet i en dialog 6

lyckas, vilket kräver att perceptionssystemen får rätt information från människan, om det finns en människa alls och om den pratar eller ej. Motorsystemet kommer då skicka ledtrådar tillbaka till människan. Beteendet har i sin tur fyra faser ; avstå från att prata, lyssna på människans tal, att återuppta sin egen tur i konversation och till sist att prata själv. Avstå från att prata innebär att Kismet efter att ha slutat prata lutar sig frammåt, höjer på ögonbrynen och behåller ögonkontankt. Då det ofta händer massor runt omkring Kismet är det dock svårt att behålla en vettig ögonkontakt. Om personen Kismet försöker tala med inte svarar kommer Kismet börja tala igen för att starta upp dialogen igen. När Kismet sedan ska återuppta en dialog kommer den att luta sig tillbaka och avvärja sin blick. Därefter kommer Kismet att direkt börja tala i form av proto-meningar och Kismet kommer försöka söka ögonkontakt. Därefter kommer Kismet ta sig tillbaka till turtagandebeteendet. När Kismet lyssnar på en människa så spetsar den till öronen för att ge en cue till människan att den lyssnar. 2.7 Motor System Kismet är skapad för att interagera med människor på samma sätt som människor interagerar när de ställs ansikte mot ansikte. Kismets kropp består endast av ett huvud med rörlig nacke, samt ansikte bestående av ögon, ögonlock, ögonbryn, öron och mun. Ögonen, synsystemet, i sig består av fyra stycken kameror. Två av dessa sitter i pupillerna och används för att få högupplösta bilder av vad Kismet ser på, samt för att upptäcka ögon på Kismets konversationspartner då ögonkontakt är nödvändigt vid sociala situationer. De andra två kamerorna sitter mer centrerade på Kismets huvud och användes för att ge Kismet ett stort synfält som rör sig i med huvudet. Dessa används sedan för att ta in information om omgivningen och vad Kismet ska uppmärksamma. För att uttrycka känslor, för att kommunicera, har Kismet större antal rörliga delar i ansiktet, det expressiva motor-systemet. Öronen har möjlighet att röras bakåt och uppåt. Detta för att visa att den är ledsen eller intresserad. Ögonbrynen kan höjas och sänkas för att visa känslor som sorg och ilska. Ögonlocken kan även de höjas och sänkas oberoende av varandra. Munnens läppar kan även röras med fyra motorer. Käken kan även den sänkas till viss del. Slutligen har Kismet ett röstsystem. Ljud genereras med en artikulatorisk synthesizer som gör Kismet kapabel att låta som ett barn. Genom att låta Kismet låta som ett barn ska den få en viss personlighet och respons från människan den interagerar med. Det auditiva systemet består av två mikrofoner som är kopplade till en dator med specialutvecklad programvara för att processa och känna igen talad information. Vidare skickas den auditiva informationen till ytterligare en dator för att se om det finns någon affektiv intention hos talaren. För att generera ett yttrande används en algoritm. Algoritmen fungerar så att Kismet väljer ett nummer mellan ett och fem vilket är mängden proto-ord per yttrande. Kismet har ett antal accenter, sex stycken, varav en eller ingen kommer att väljas. Sedan bestämmer Kismet proto-ordens längd, mellan ett till tre stavelser per ord. Därefter bestäms vilken av alla stavelser som betonas i protoorden. Sedan genereras stavelserna. Om stavelsen enbart är en vokal som ska bli betonad bestäms betoning, vokal och längd på mellan 100ms och 500ms. Annars bestäms bara vokal och tid. Om stavelsen är en konsonant + vokal så fungerar det likadant. Om stavelsen ska betonas bestäms 7

konsonanten, betoning, vokalen och sist längden på vokalen. Om stavelsen är konsonant + vokal + konsonant så bestäms den sista konsonanten efter att längden på vokalen bestämts. Om stavelsen är två vokaler så bestäms betoning, vokal, längd, vokal, längd. Dessa stavelser sätts sedan ihop till ett proto-ord, accenten läggs till och yttrandet är därefter klart. 8

3.1 Diskussion Kismet är inspirerad av hur människan är uppbyggd, fastän vi ej vet hur vi exakt fungerar själva, men det är svårt att undgå att tänka på en primitiv människa när man ser Kismet interagera med någon. Olika system processar information i flera steg, där informationen och användningen av denna påverkas av ett givet state hos Kismet, vilket slutligen ger en respons. De känslor Kismet tycks uttrycka tolkas av konversationspartnern själv, utifrån de cues vi själva letar hos andra männisskor vilket ger intrycket att Kismet blir ledsen. Genom att uttrycka intentionalitet, fastän det egentligen inte finns någon, så skapar människan själv sin egna sociala erfarenhet. Utvecklingen kommer att gå frammåt med liknande robotar i framtiden, men redan nu finns det användningsområden för liknande robotar inom exempelvis psyk-, ålderdoms- och vanlig sjukvården. Personer som har diagnostiserats med Asperger skulle kunna ha utbyte av en mer avancerad robot som Kismet, då dessa ofta har svårt att tolka känslor men har enkelt att se system i omgivningen. Genom att träna på vad höjda ögonbryn innebär kan personer med denna typ av diagnoser därmed lära sig mer om hur social interaktion kan gå till. Systemet i sig behöver hållas simpelt, vilket dock blir svårt desto mer handlingar som det kan och ska utföra. Att öka mängden utförbara handlingar, sätt att tolka och se och förstå stimuli från omgivningen på är dock definitivt görbart i framtiden. Som vanligt kommer denna typ av robotar ej klara av oförutsägbara händelser men vid social interaktion med en människa kan en robot ha en else-funktion som kan förväntas trigga en emotionell respons hos den andra partnern för få den att ändra sitt beteende istället. Detta tror jag gör att denna typ av robotar kommer dyka upp mer i framtiden, varesig den är nära eller ej, då människan redan projicerar sina egna känslor till objekt. Frågan är dock om att utveckla systemet i sig, så det blir smartare, är relevant egentligen. Jag kan tänka mig att det redan finns situationer där en robot som Kismet kan vara användbar, bara man fräschar upp den lite. Det viktigaste med denna robot är dock inte hur avancerar den är. Det viktiga är att man ger stöd till att människan gör mycket av vår sociala interaktion själv. Att vi kan se intentionalitet hos något som inte har några intentioner egentligen och att vi ser system där ett sådant system egentligen inte finns. 9

4.1 Källor Breazeal, C. (2000), Proto-Conversations with an Anthropomorphic Robot, Proceedings of the 2000 IEEE International Workshop on Robot and Human Interactive Communication. 328-333. Breazal, C. Scassellati, B. How to build robots that make friends and influence people, IEEE International Conference on Intelligent Robots and Systems,Volume 2, 1999, Pages 858-863 Alla onlinekällor är hämtade 19/9 2011 klockan 16:54 http://www.ai.mit.edu/projects/humanoid-robotics-group/kismet/kismet.html http://www.ai.mit.edu/projects/sociable/overview.html http://www.ai.mit.edu/projects/sociable/baby-bits.html http://www.ai.mit.edu/projects/sociable/facial-expression.html http://www.ai.mit.edu/projects/sociable/visual-attention.html http://www.ai.mit.edu/projects/sociable/ocular-motor.html http://www.ai.mit.edu/projects/sociable/low-level-features.html http://www.ai.mit.edu/projects/sociable/expressive-speech.html http://www.ai.mit.edu/projects/sociable/homeostatic-regulation.html http://www.ai.mit.edu/projects/sociable/behavior.html http://www.ai.mit.edu/projects/sociable/emotions.html 10