LekBot. en talande och lekande robot Fredrik Kronlid, Talkamatic AB Ingrid Mattsson Müller, DART

Transkript

1 LekBot en talande och lekande robot 1

2 Inledning En lekande talande robot Talkamatic, Göteborgs Universitet och DART i samarbete med hjälp av Acapela Vinnova-finansierat projekt Nyttan underordnad nöjet Barnet, utan tillgång till (talat) språk, i dialog med en robot Kommunikationshjälpmedlet och barnet är en enhet 2

3 Innehåll Projektet Demo Tekniken LekBot ur ett Användarperspektiv Resultat Sammanfattning/Slutsatser/Framtiden 3

4 Projektet (1) 1 mars aug 2011 Utgångspunkt: Lek är sällsynt spontan, på barnets initiativ, ej vuxenstyrd ej målstyrd, (exempelvis träning) på låtsas lustfylld upprepande, att leken kan lekas hur många gånger som helst, om man vill. frivillig 4

5 Projektet (2) Vikten av lek Egen utveckling Samspel med andra Att använda tal och dialog utan att ha ett eget talat språk Mål: roligt Lättanvänt relativt billigt 5

6 Projektet - Metod (3) Metod: Användarstyrt XP Korta iterationer Täta releaser Utmaning: Feedback från användarna 6

7 Parter och finansiering Parter: Institutionen för Filosofi, Lingvistik och Vetenskapsteori, GU Talkamatic AB DART vid Drottining Silivas Barn- och Ungdomssjukhus Finansiering: VINNOVAs program Var dags IT-demonstratorer : 1,5 mkr till tre roller (forskare, utvecklare, användare) Nöje som drivkraft för innovationer Parterna själva (tid, teknik) Acapela: TTS 7

8 DEMO 8

9 Tekniken Dialog Använder Talkamatics teknik för naturlig dialog Stöd för talad, skriven och multimodal dialog Snabb utveckling genom hög abstraktionsnivå Den fysiska lekboten: Lego MindStorms NXT (Robotlego) Laptop med touchscreen Dialogprogramvara Acapela TTS PipeLine (trådlös ljudöverföring) 9

10 Roboten 10

11 Lekbot ur ett användarperspektiv Granskning av Etikprövningsnämnden (EPN) Rekrytering Användargruppen förfrågan hos habiliteringslogopeder i Göteborg Inklusionskriterier: Förskolebarn, omfattande funktionsnedsättning vg kommunikation och motorik, förmåga att peka med handen. Ansvarig förskolepersonal positiv till att medverka Information till och begäran om godkännande av vårdnadshavare Information till förskolan och förfrågan om att delta Informationsträff/öppet hus för alla (användargrupper, forskare, utvecklare, kliniker) hölls på DART 11

12 Användarna Pojke 6 år. Kommunicerar med hjälp av ljud, manuella tecken, blissymboler och bilder på papperskarta och i datorbaserat kommunikationshjälpmedel. Rör sig själv på golvet och med lite hjälp i rullstol. Pojke 5 år. Kommunicerar med enstaka ord och tecken. Förflyttar sig själv och med hjälp i rullstol. Flicka 4 år. Kommunicerar med enstaka ord och tecken samt med blissymboler och bilder på papperskarta. En kamrat på varje förskola valdes av ansvarig förskolepersonal. 3 flickor i matchande ålder. En personal på vardera förskola - samma varje gång 12

13 Bedömning av barnens språkliga och kommunikativa förmåga TROG (Test for Reception of Grammar) (Bishop et al., 1998), Communication Function Classification System (CFCS) for Individuals with Cerebral Palsy (Hidecker et al., 2009) Förskoleformulär (Granlund and Olsson, 1998) SECDI (Swedish Early Communicative Development Inventories) (Eriksson and Berglund,1999; Berglund and Eriksson, 2000) 13

14 Robotlek och utvärdering Informationsbok till barnen Vi ville veta hur väl systemet fungerade, hur man lekte med roboten och om det var roligt Film 14

15 Utvärderingsmetoder Loggbok för varje vecka Filmning av leken Samtalsmatta för robotfunktioner och uppfattning av nöjet med leken Fredrik Kronlid, Talkamatic AB 15

16 Några preliminära resultat (1) Enbart loggböcker och samtalsmattor release lektillfällen; 9 ggr med rel 2, 7 ggr med rel 3, 20 ggr med rel 4 och 20 ggr med rel 5. För par 1(äldsta) uppges vid flertalet tillfällen att förberedelse, planering och diskussion föregått leken. Pedagogiska tillfällen. Stöd från den vuxne omnämns. Ungefär lika många kommentarer om att LekBot fungerat bra som att den inte hade gjort det. (15/16) Missnöje med att tiden mellan kommando och robotaktivitet var för lång (4) 16

17 Några preliminära resultat (2) Alla tyckte om leksaken från början barnen med funktionsnedsättning mer än kompisarna Ju fler kommandon desto roligare även för kompisarna Robotens aktiviteter initierar interaktion mellan barnen t.ex. dans och handklappning Kommunikationskartorna kommer fram och används av alla Samtalsmatta: Genomförd på 5 av de 6 barnen. Inga problem att hantera, se och höra pekskärm och robot. 17

18 Olika förutsättningar (1) Barn Ålder Funktionsnivå Hälsotillstånd och närvaro Kommunikativ kompetens 18

19 Olika förutsättningar (2) Förskolor Fysiskt olika (lokalmässigt) Sociokulturellt Personal Olika utbildningsnivå och erfarenhet av AKK-användning Olika stöd från ledning Olika tydlighet i pedagogisk inriktning 19

20 Konceptet fungerar! Slutsatser teknik Prototypen är svår att hantera för förskolepersonal: För många delsystem Vart och ett med egen strömförsörjning (fyra laddare + lösa batterier) Stabilitetsproblem under projektets gång Betoning (ett av forskningsmålen) svårt att lösa med befintlig talsyntes Utvecklingsmodellen fungerar 20

21 Slutsatser Slutsatser Användarperspektiv Roligt att leka, från start till mål. Roligare ju mer man kan göra Roligt att leka tillsammans Fortsättning Hopp om framtida pilotprojekt mellan habilitering, HMC, Talkamatic, DART Utlåning av Lekbot till barn i hemmet/familj? 21

22 Fortsättning Kan LekBot ge: delaktighet hjälp att lära sig att använda kommunikationshjälpmedel interaktion med andra barn större underlag 3 barn ej nog mer spridning på typ av funktionsnedsättning mer spridning på styrsätt olika språk? fler dialoger. 22

23 Slutförande av projektet Fortsatt analys av insamlade data. Resterande loggböcker även från release 6 I filmerna undersöka interaktionen mellan barn och barn, mellan barnen och roboten samt mellan barn och vuxen. Undersöka förutsättningar för kommersialisering (identifiera partners för tillverkning och försäljning) 23