Syntetiska talare ger nya möjligheter till kommunikation. Joakim Gustafson Professor i Talteknologi Institutionen för Tal, Musik och Hörsel

Transkript

1 Syntetiska talare ger nya möjligheter till kommunikation Joakim Gustafson Professor i Talteknologi Institutionen för Tal, Musik och Hörsel

2 Introduktion

3 CV för Joakim Gustafson Civ. ing. Programmet i elektroteknik på KTH Lingvistik på Stockholms University Doktorand på KTH Forskare på Telia Research Biträdande Lektor, KTH Lektor, KTH 2013 Professor, KTH

4 Institutionen för Tal, Musik och Hörsel

5 TMH grundat av Gunnar Fant 1951 Gunnar Fant and OVE I 1953

6 60 år av talforskning på TMH Sven Öhman Professor i Fonetik Björn Granström Gunnar Fant Björn Lindblom Professor i Fonetik Rolf Carlson Prof Fonetik Prefekt lingvistik Avknoppningbolag: Infovox, Nyvalla, Honeysoft, PipeBeach, Voxi, Voxway, STTS, Veridict, Hörselbron, Synface, Fanchinima, FurHat robotics

7 Centrum för Talteknologi (CTT) TT Centre for Speech Technology Ett VINNOVA kompetenscenter ( ) 20 utexaminerade forskare: 12 doktorer, 8 licensiater 14 EU-projekt: - CAVE, PICASSO, VeriVox, SpeechDat, DISC, ENABL, DUMAS, SPEECON, SYNFAC, OLP, MULTISENSE, PF-STAR, CHIL, ASPI Publicering: - 31 journal artiklar, 29 bokkapitel, 239 int. konferensbidrag

8 CTTs Forskningsområden TT Centre for Speech Technology

9 CTTs 30 industripartners TT Centre for Speech Technology ABB Babel Infovox ACAPELA-group English Town Ericsson Radio Systems AB Flextronics GN Resound Hjälpmedelsinstitutet (fd Handikappinstitutet) HoneySoft Ice Peak Just Direct Dolphin audio publishing Levande Böcker i Norden AB Luftfartsverket Phoneticom AB PipeBeach AB Polycom Technologies AB SAAB AB SAAB Tech Systems AB SpeechCraft STTS Svenska Handelsbanken AB Sveriges Radio AB Sveriges TV Telia Sonera TPB Talboks och Punktskriftbibliotek Trio Informationssystem AB Vattenfall AB Voice Provider Volvo Teknisk Utveckling AB Voxi

10 Talgruppen 2014 OLOV ENGWALL JOAKIM GUSTAFSON DAVID HOUSE JONAS BESKOW GIAMPIERO SALVI GABRIEL SKANTZE ENS EDLUND ANNA HJALMARSSON PROFESSOR PROFESSOR PROFESSOR ASSOCIATE PROFESSOR ASSOCIATE PROFESSOR ASSOCIATE PROFESSOR RESEARCHER RESEARCHER JOSE DAVID LOPES MARGARET ZELLERS SAMER AL MOUBAYED SOFIA STRÖMBERGSSON RAVEESH MEENA KALIN STEFANOV SIMON ALEXANDERSSON CATHARINE OERTEL POSTDOC POSTDOC POSTDOC PhD STUDENT PhD STUDENT PhD STUDENT PhD STUDENT PhD STUDENT MARTIN JOHANSSON NIKLAS VANHAINEN BAJIBABU BOLLEPALLI SAEED DABBAGHCHIAN BO SCHENKMAN Peter Nordqvist BJÖRN GRANSTRÖM ROLF CARLSON PhD STUDENT PhD STUDENT PhD STUDENT PhD STUDENT GUEST RESEARCHER GUEST RESEARCHER PROGFESSOR EMERITUS PROFESSOR EMERITUS

11 Talgruppens grundforskning: förstå hur människor kommunicerar via tal Mänsklig perception/produktion av tal Multimodal interaktion Prosodi i samtal Samtalande system Datainsamlingar och infrastruktur

12 Samtalande maskiner?

13 Varför kommer datorer aldrig kunna förstå svenska? Jag stod och väntade på min fru Men redan efter 5 minuter... Sa hon vad tung du är! Fråga från Jan Alexandersson, svensk datalingvist arbetande i Tyskland sedan 20 år

14 För att verkligen förstå mänskligt språk måste man umgås med människor Människor säger inte alltid vad de menar rakt ut: - Vet du vad klockan är? - *Ja Ibland säger människor motsatsen till vad de menar - Jag råkade sätta i batterierna fel i klockan - Det var ju smart gjort Människor använder sig av kontexten när de talar: - Vad ska jag göra med klockan? - Ta den och ge till henne

15 Dessutom bestäms betydelsen av hur man uttalar det Har Lisa klippt gräset? (Neutral fråga, ja eller nej.) Har Lisa klippt gräset? (Förvånad, trodde inte hon hade gjort det) Har Lisa klippt gräset? (Det var ju vattna det hon skulle göra.) Har Lisa klippt gräset? (Det var ju Pelle som skulle göra det.) Har Lisa klippt gräset? (Det var ju häcken hon skulle klippa.)

16 Om en maskin kunde tänka, hur skulle vi veta det? Alan Turing formulerad Turingtestet 1950: om en människa konverserar med en maskin och inte kan avgöra om det är en maskin eller människa, uppfylls kriteriet för mänsklig intelligens. Praktiskt går det till så att en person sitter vid en dator i ett isolerat rum och ställer vilka frågor som helst till andra datorer via nätverk. Dessa andra datorer är antingen också bemannade av människor som helt enkelt skriver in svaren för hand, eller datorprogram som automatiskt svarar på frågorna. Om testpersonen efteråt inte kan avgöra vilka respondenter som är människor och vilka som är program sägs de sistnämnda ha klarat testet.

17 Kan vi bygga maskiner som är lika smarta som människor? Ja om vi begränsar uppgiften kan vi redan idag bygga maskiner som är intelligentare än människor IBM har de senaste åren gjort det inom två områden Deep Blue slår stormästaren Garri Kasparov i schack Watson slår stormästarna i Jeoperdy

18 Men, fokus i detta föredrag är inte hur maskiner kan tänka som människor.....utan snarare hur de kan tala som folk! Om man begränsar uppgiften är graden av förståelse som behövs för att lösa den via tal möjlig för en maskin En telefonist i kundtjänsten kan till exempel koppla samtalet till rätt expert utan expertkunskap Men om telefonisten talar otydligt eller väntar mycket länge innan hen svarar bryter kommunikationen ihop Detsamma gäller talande maskiner

19 Vår vision om samtalande maskiner

20 Talteknologi: från forskningsverktyg till kommersiella konsumentprodukter

21 Vision: artificial dialogues 2001

22 Verkligheten 2010?

23 Vad kan göras bättre? - Bättre förståelse - Spontant tal - Ignorera sidoprat - Emotioner -Bättre tal - Rappare talstil - Mer ledigt tal - Emotioner -Bättre dialog - Sunt förnuft - Bättre felmeddelanden - Längre minne

24 Varför är tal bra som gränssnitt till maskiner? Tillgängligt - kräver inte speciell hårdvara (telefon räcker) Enkelt - kräver inte att man lär sig speciellt gränssnitt Multitaskbart kräver inte tillgång till blick och händer

25 Typer applikationer kan dra nytta av ett talgränssnitt Informationssökning/bokning Spel och underhållning Expertsystem och guider Hjälpmedel för gamla och handikappade Undervisning, språkträning Sociala robotar

26 Nya maskiner som behöver tal Smarta mobiler och pekplattor Spelkonsoller och mediacenter Säkra bilar Robotar

27 Att skapa syntetiska talare

28 Vad behöver göras i samtalande system? Förstå vad som menas med det som sägs Bestämma vad som ska sägas tillbaka Generera och spela upp det som ska sägas

29 Taligenkänning nu och då 1952: Bell labs Audrey kunde känna siffrorna : IBMs Shoebox maskin kunde känna igen 16 ord 1971: CMUs Harpy kunde känna igen 1001 ord 1980-talet fonem och HMMer -> tusentals ord eller mer 1990-talet Dragon dictate känna igen tiotusentals ord i meningar 2000-talet Google, SIRI och Nuance släpper taligenkänning i molnet för mobiltelefoner. De har slutat räkna ord, kan lägga till nya vid behov. Kvalitén förbättras dagligen

30 Talare Kanal Lyssnare Mellan talare Ålder Kön Anatomi Dialekt Inom en talare Stress Humör Hälsa Formell / Spontant Omgivning Brus Rum Mikrofon Bandwidth Brus Lyssnare Ålder Första språk Hörselnivå Känd / Okänd Människa / Maskin

31 Flyget, tåget och bilbranschen tävlar om lönsamhet och folkets gunst. Född i USA ex-jugoslavien

32 Slappt uttal Talspråk Tesempel Åhamba Bafatt Sötälje Javende Skriftspråk Till exempel (for example) Och han bara (and he just ) Bara för att (just because) Södertälje Jag vet inte ( I don t know)

33 Att skapa syntetis tal

34 1791: Talsyntesens födelse? Wolfgang von Kempelen s bok Mechanismus der menschlichen Sprache nebst Beschreibung einer sprechenden Maschine (1791). De väsentliga delarna - En blåsbälg= lungor - Rörblad i elfenben = stämbanden - Ett läderrör = ansatsröret. Maskinen var - Handdriven - Kunde säga ord och fraser

35 1939: Första elektroniska talsyntesen Homer Dudley presentade VODER (Voice Operating Demonstrator) på Världsutställning i New York i1939 Den spelades som ett musikinstrument, röstkälla och bruskälla tillgängliga via pedaler och tio bandpassfilter

36 1953: Den första svenska talsyntesen Gunnar Fant på KTH bygger formantsyntesen OVE (Orator Verbis Electris) - OVE och OVE2 1962

37 Talsyntesens utveckling fram till idag Poor Intelligibility; Poor Naturalness, Small footprint Good Intelligibility; Poor Naturalness Good Intelligibility; Customer Quality Naturalness (Limited Context) Multi-speaker training, speaker adaptation; Naturalness, generative, Small footprint Formant Synthesis Bell Labs; Joint Speech Research Unit; MIT (DEC- Talk); Haskins Lab; KTH LPC-Based Diphone/Dyad Synthesis Bell Labs; CNET; Bellcore; Berkeley Speech Technology Unit Selection Synthesis ATR in Japan; CSTR in Scotland; BT in England; AT&T Labs (1998); L&H in Belgium HMM Synthesis HTS in Japan; CSTR in Scotland; Year

38 Krav på talsyntes i samtal Talsyntesen måst fungera i realtid Den måste låta som att den förstår vad den säger Den måste kunna visa känslor/attityd

39 En osäker dator måste kunna pausa

40 och humma för att vinna tid dia1

41 visa att den tänker fortsätta. dia0

42 och kanske till och med andas ljudligt

43 Det viktigaste är att talgränssnitten är intuitiva Användaren ska inte behöva lära sig: - När man kan tala - Hur man ska tala - Vad man kan säga Maskinen måste därför: - Klart visa när den lyssnar - Förstå när användaren har talat klart - Säga sånt som speglar det den förstår

44 Samtalskontroll Ett samtal har två kanaler -Själva informationsutbytet - Kontroll av informationutbytet Samtalskontroll Turtagning: avgöra vem som för tillfället har rätt att tala Återkoppling: visa att man lyssnar, att man förstår och vad man tycker om det som sägs

45 Konstgjorda sätt att kontrollera samtalet Tryck-för-att-tala-knapp (jmfr. Walkie-talkie) Tala efter pipet (jmfr. telefonsvarare) Tala-nu-ikon, arbetar-på-kursor (timglas) Visualisering av förstådd input (text/ikon)

46 Människolika metoder för samtalskontroll Satsmelodi och icke-ord Ansiktsgester och huvudrörelser

47 Ansiktsgester för samtalskontroll personlig agent MonAMI reminder - Input: trådlös mikrofon och webkamera - Output: talande huvud på skärm - Samtalskontroll: lyssnar bara på sin användare när denne tittar på skärmen

48 Ansiktsgester för samtalskontroll gemensam IURO FurHat - Input: Kinects array mikrofon och djupseende kameror - Output: talande huvud projicerat på mask - Samtalskontroll: väljer vem den lyssnar på genom att titta på denne

49 Att skapa syntetiska lyssnare Samarbete med skotska företaget Cereproc 9 återkopplingsljud: - ah, m-hm, m-m, n-hn, oh, okay, u-hu, yeah, yes 6 betydelser - Håller med - fortsätt.. - håller inte med - Förvånad - Entusiastisk - Osäker

50 En trestegsinspelning Små dialoger: - Excuse me do you know how I could get to an A T M? - Sure, let me explain - Okay! *enthusiastic* - If you continue for about five hundred metres - Okay.. *continuer* - You will see a large building. There you take left. - Okay. *acknowledgement* - You should continue for about three blocks and pass the opera building. - Okay?!? *uncertain* Småprat under schackspel Småprat

51 Virtuella syntetiska talare

52 Våra syntetiska talare

53 Waxholm: det första svenska dialogystemet

54 August vår första publika syntetiska talare (1998)

55 En av tusentals samtalspartner

56 En syntetisk språklärare

57 En syntetisk mimare som hörselstöd

58 Syntetiska tecknare lär barn teckenspråk

59 En syntetisk guide som hjälper dig att hitta i en virtuell stad

60 En syntetisk bilguide för säkrare färd hem

61 Fysiska syntetiska talare

62 Robotar från filmens värld I ache, therefore I am Pipande eller Talande Glada eller Ledsna Goda eller Onda Plåtniklas eller Androider

63 Vill vi verkligen ha riktigt människolika robotar? ( TV-series Äkta människor)

64 Dagens humanoida robotar Gående Leksaker Betjänter Sällskap Androider

65 Man on the moon -utmaningar VOA's Suzanne Presto reports on 50th aniversary of the Man on the moon challenge

66 I USA: DARPAs Robotutmaningen 1. Köra fordon 2. Ta sig över hinder 3. Ta bort hinder 4. Öppna dörr gå in i hus 5. Gå upp för stege 6. Använda verktyg för att ta sig igenom betong 7. Leta upp och stänga en ventil i närheten av ett läckande rör

67 EU FET Flagship candidate: Robot Companions for Citizens Sällskapsrobotar som universella assistenter - Förbättrad livskvalitet för alla - Kunna användas av alla åldrar och utbildningsnivåer - I hemmet, industrin, publikt

68 Stora robotutmaningar som forskningsverktyg Bygga en robot som kan hitta i en stad genom att be människor om hjälp Bygga en robot som lär sig mänskligt språk på samma sätt som en barn

69 Biologiskt inspirerade statistiska metoder för flexibel automatisk talförståelse Kan robotar att lära sig förstå mänskligt tal på samma sätt som barn? Förbättra våra algoritmer genom att studera barns språkinlärning Förbättra vår förståelse om hur barn lär sig tala

70 Språkinlärning är audiovisuell och interaktiv

71 Talande robotar behöver ett ansikte SynFace, KTH George, CMU Kismet, MIT Beskow, J et al. (2009). SynFace - Verbal and Nonverbal Face Animation from Audio. Gockley, R. et al. (2004) Grace and George: Social Robots at AAAI The Mona Lisa effect Sosnowski, S. et al. (2010) Mirror my emotions! Combining facial expression analysis and synthesis on a robot. COST 2102, Dresden Feb

72 Vad ansiktet förmedlar Orden read my lips Identiteten Känslan Nästa talare

73 Två ansiktslösningar till robotar Projicerat Mechatroniskt

74 Utvecklingen av FurHat Ansiktet 1. en ansiktssyntesmodel 2. En 3D-utskriven mask Huvud och nacke 3. Mask, projector och spegel fasts samman 4. En nacke med 2-3 motorer 5. Huvudtäckning (pälsmössan) Al Moubayed, S., Beskow, J., Skantze, G. and Granström, B. (2012). Furhat: A Back-projected Human-like Robot Head for Multiparty Human-Machine Interaction, In Esposito, A. et al. (Eds.) Cognitive behavioural systems Lecture Notes in Computer Science Springer.

75 Resultatet en social robot

76 Tällberg video

77 Social Robots in the future?

78 En kropp på distans (tele presence)

79 An interactive mannequin

80 A coordinating teacher

81 Virtual Santa clause

82 Member of a entertainment group

83 A discrete shrink for maffia bosses

84 A neutral peace maker

85 Sammanfattning Vi kommer behöva kunna tala med framtidens maskiner Det är viktigt att vi designar dem väl så de fungerar bra