Pratmakaren. TiVOLi. Uppläsning av textremsor med talsyntes. Teckeninlärning via datorspel och lekfull interaktion

Transkript

1 Pratmakaren Uppläsning av textremsor med talsyntes TiVOLi Teckeninlärning via datorspel och lekfull interaktion Sandra Derbring, datalingvist Maria Olsson, logoped

2 Projekt via PTS Två projekt som finansieras av Post- och Telestyrelsen Idéerna hade vi bollat lite löst under något års tid Passade bra in i PTS tävling Innovation för alla med temat Kultur och fritid KTH är projektpartner i det ena projektet Projekten startade hösten 2011 och ska pågå i ett resp 2 år 2

3 Pratmakaren Uppläsning av textremsor med talsyntes

4 Bakgrund till projektet I projektet Pratmakaren kommer vi utveckla och utvärdera en programvara som låter en talsyntes läsa upp textremsor medan man ser på film. Många personer i Sverige idag har svårt att läsa. Dessa personer är uteslutna från att titta på filmer där de inte förstår det talade språket och därmed en stor del av vår tids kulturutbud. Även umgänge med familj och vänner blir svårare när man inte hänger med i snacket kring film och TV. 4

5 Målgrupp Personer kan ha svårt att läsa av olika anledningar: Dyslexi Utvecklingsstörning Afasi Synskada (svårt att läsa liten text) 5

6 Syfte Att utveckla en programvara som gör det möjligt att få textremsan uppläst Att ta reda på om detta sätt är bra för personerna i målgruppen att hänga med i handlingen på filmer de ser. Ge en ökad känsla av delaktighet i vardagligt liv. 6

7 Projektupplägg Ta fram specifikationer för programvaran Programvaran utvecklas av STTS, ett språkteknologiföretag i Stockholm Rekrytera försökspersoner Testa programvaran med första omgången användare Samarbeta med STTS kring eventuella förändringar under testperiodens gång En ny omgång användare provar programvaran Analysera data från utvärderingarna Eventuellt förändra programmet utifrån responsen 7

8 Produkten Programmet kommer köra mediaspelaren VLC för att visa filmen. Programmet kommer att kunna laddas ned via Internet och vara fritt och gratis. Windows, Mac och Linux De programkomponenter som krävs kommer att förpackas i en enda installationsfil för att underlätta för användarna. 8

9 Övergripande system Texten hämtas från undertexter.se eller dylikt och ställs in som textkälla. Filmen hämtas från en DVD och ställs in som videokälla. Programmet startar VLC med videofilen och startar en räknare. Varje replik har en tidsmarkör Varje gång filmen kommer till en tidpunkt där repliken ska visas, skickas replikerna från textfilen till en extern talsyntes. Talsyntesen läser upp repliken simultant med att videon spelas. 9

10 Pratmakaren - demo ubtts.html 10

11 Utvärdering av programvaran I första omgången testar 4-6 användare programvaran. De får support av oss på plats och hjälp att installera. I andra omgången testar personer programvaran. De får själva försöka ladda hem och installera och testa. Givetvis finns vi som support vid behov. Båda grupperna testar hemma i ca 3 veckor. Innan testperioden får användarna svara på frågor kring datorvana, filmintresse, hur vana de är vid talsyntes för att underlätta analysen. Efter testperioden ställer vi frågor om de har förstått filmen, positiva och negativa upplevelser och förbättringsområden. Metod för datainsamling kommer av att anpassas till personernas funktionsnedsättning. Vi kommer erbjuda att ses, telefonintervju och bild- och talstöd. 11

12 Till slut Efter feedbacken kommer programvaran att läggas ut på DARTs hemsida Där är det fritt att ladda hem och testa för de som vill Webbenkät där man kan fylla i sin respons Vi tar gärna emot fler testpersoner Ta gärna en broschyr 12

13 TiVOLi Teckeninlärning via datorspel och lekfull interaktion

14 Bakgrund till projektet I projektet TiVOLi kommer vi utveckla och utvärdera ett datorspel som styrs med hjälp av tecken Många barn behöver tecken som stöd för att förstå vad andra säger och för att göra sig förstådda. Alla får inte automatiskt rätt till teckenspråksundervisning Även personer runtomkring barnet kan behöva ett sätt att träna och lära sig nya tecken på Träning kan ibland upplevas som krävande och tung Vi vill hitta en lustfyllt sätt att lära sig tecken på och utnyttja modern teknik. 14

15 Målgrupp Barn med kommunikationssvårigheter Hörselskada Utvecklingsstörning Tal- och språkstörning Autism, Downs syndrom - Men också föräldrar, pedagoger, vänner, vårdpersonal, släktingar o s v. - Stor målgrupp 15

16 Syfte och mål Att ta reda på om man med hjälp av spelet lär sig tecken Att ta reda på om spelet höjer motivationen att lära sig tecken Att sprida spelet så att det finns antingen hemma eller på skola eller fritids Öka teckenanvändningen i barnens omgivning 16

17 Projektupplägg Informera målgruppen om projektet Fokusgrupper med föräldrar och personals önskemål Rekrytera försökspersoner Ta fram vokabulär (med hänsyn till handformsutveckling) Samarbete med projektpartner kring spelidé och utveckling av produkten Efter varje färdig prototyp kommer vi låta användare testa spelet och ge feedback För första prototypen kommer vi låta användarna ge respons enbart på gränssnitt För övriga prototyper kommer även teckeninput testas 17

18 Produkten Spelet utvecklas av spelföretaget Liquid Media Styrsättet utvecklas av KTH. Spelet styrs av tecken som barnet gör med händerna Spelet kommer att kunna laddas ned via Internet och kommer vara billigt PC och förhoppningsvis Mac Standardkrav på systemen för att göra det tillgängligt Webbkamera krävs för teckenigenkänning 18

19 Övergripande system Spelmotor Speldata med grafik, ljud, figurer, banor Teckendatabas med vokabulär för animation Teckentolkning (handigenkänning) Att systemet är uppbyggt i olika moduler (delar) gör att det är flexibelt och lätt att bygga på/byta ut. 19

20 Spelidé Berättelse som ram, som visas i tal, tecken (animation) och bilder. Vid olika tillfällen i berättelsen får spelaren själv interagera (teckna) i minispel. Detta ger spelaren övning både på produktion och avläsning. 20

21 Utvärdering av spelet Första och andra versionen av spelet kommer att testas ett par familjer vid ett tillfälle på DART. De blir intervjuade om spelets design och upplägg. Betaversionen testar 3-5 familjer i 2-3 månader hemma. De filmas och data loggas medan de spelar. Före och efter testperioden kommer vi testa spelarnas vokabulär för att kunna se om den förbättrades (tal + tecken). Frågor till både barn och föräldrar sker före och efter. Barnen kommer använda samtalsmatta. 21

22 Till slut Efter feedbacken på betaversionen (sista prototypen) kommer den färdiga produkten i en första version. Spelet kommer att släppas men kommer fortfarande vara begränsat i vad man kan göra med det, hur det ser ut o.s.v. Spelet kommer att vara påbyggbart på olika sätt. Vi tar gärna emot fler personer till våra fokusgrupper Ta gärna en broschyr om du vill veta mer 22