Talteknologi (AAST) 1 mars 2006 1 Talteknologi (AAST) 1 mars 2006 2 Naturligt Språk-Generering (NLG), Text-till-Talsyntes (TTS) och prosodi, i dialogsystem Problemet Föreställ dig ett dialogsystem som ger reseinformation Att generera: Vilken stad vill du åka till? (1) Vilken stad vill du åka TILL? Stina Ericsson, Talteknologi VT06 Vilken stad vill DU åka till? Vilken STAD vill du åka till? Talteknologi (AAST) 1 mars 2006 3 Talteknologi (AAST) 1 mars 2006 4 Passande intonation beror på kontexten (1) Passande intonation beror på kontexten (2) (2) A: Jag vill boka en resa och jag vill åka från Göteborg S: Vilken stad vill du åka TILL? S :? Vilken stad vill DU åka till? S :? Vilken STAD vill du åka till? (3) A: Min kusin och jag vill resa till varsin stad. Hon vill åka till Prag. S: Vilken stad vill DU åka till? S :? Vilken stad vill du åka TILL? S :? Vilken STAD vill du åka till?
Talteknologi (AAST) 1 mars 2006 5 Talteknologi (AAST) 1 mars 2006 6 Ett TTS-test Passande intonation beror på kontexten (3) (5) a. When do you WANT to leave? Festival a and ViaVoice b b. When DO you want to leave? Lucent s Articulator c (4) A: Jag vill gärna åka till USA c. When do you want TO leave? AT&T s TTS d S: Vilken STAD vill du åka till? S :? Vilken stad vill du åka TILL? S :? Vilken stad vill DU åka till? a festvox.org/voicedemos.html demo version October 2002. b www-3.ibm.com/software/speech/enterprise/dcenter/demo-tts.html; demo version March 2002. c www.tts-talk.com; demo version March 2002. d www.naturalvoices.att.com/demos; ; demo version March 2002. Talteknologi (AAST) 1 mars 2006 7 Talteknologi (AAST) 1 mars 2006 8 Generera tal Martin & Jurafsky Föreläsningsinnehåll Ett stort problem for generering av tal: prosodi (satsmelodi, betoning) Enkla lösningar för satsmelodi: skilja frågor från icke-frågor, utnyttja punkter och kommatecken Behov: tillgång till kontexten The system could annotate the output with discourse structure information to help synthesise the proper prosody. To date, there has been very little work on this area in NLG. [J&M s.792] 1. Prosodi 2. TTS och prosodi-markup 3. Informationsstruktur och prosodi 4. Ett exempel: generering av prosodiskt passande yttranden i dialogsystemet GoDiS
Talteknologi (AAST) 1 mars 2006 9 Talteknologi (AAST) 1 mars 2006 10 Prosodi 1. Prosodi Aspekter av uttal som rör större enheter än lexikoningångar, dvs det rör sig om suprasegmentala fenomen Talteknologi (AAST) 1 mars 2006 11 Talteknologi (AAST) 1 mars 2006 12 Fonologisk prosodi Prominens Fonologisk prosodi Prosodisk struktur Betoning Rör stavelsenivå Ett relativt begrepp Exempelvis kontexten (texten, dialogen, osv) påverkar vad som är prominent och inte i ett yttrande Prosodisk frasering: yttranden består av prosodisk frasstruktur (jfr. syntaktisk frasstruktur) Ex. Jag vill boka en resa, och jag vill åka från Göteborg Två stora fraser: Jag vill boka en resa och jag vill åka från Göteborg Intermediära fraser: Jag vill boka en resa... Debatt kring definitionen av prosodiska fraser, och deras relation till syntaktiska och semantiska enheter
Talteknologi (AAST) 1 mars 2006 13 Talteknologi (AAST) 1 mars 2006 14 Fonologisk prosodi Tonala kategorier (tunes) Grundtonsmönster ( pitch accents ): rör F0-konturen En modell för grundtonsmönster: ToBI (Tones and Break Indices) Tonala kategorier och gruppering Språkspecifikt Engelska: Två enkla toner: H(igh), L(ow). Asterisk (*) anger ton på betonad stavelse. H+L: ett fallande mönster, L+H: en stigning H*, L*, L+H*, L*+H, H+L* Dessutom: två gränstoner: L%, H% Fonologisk prosodi ToBI exempel Jurafsky & Martin: oh, really L+H*: glad L*+H: skeptisk L*: arg Talteknologi (AAST) 1 mars 2006 15 Talteknologi (AAST) 1 mars 2006 16 Parametrar för prosodi-generering Tonhöjd/frekvenstoppar Melodi/Grundtonsmönster 2. TTS och prosodi-markup Hastighet Volym Pauser Ex. prominenta stavelser har ofta högre volym och lägre hastighet än icke-prominenta Ex. prosodiska frasgränser följs ofta av pauser
Talteknologi (AAST) 1 mars 2006 17 Talteknologi (AAST) 1 mars 2006 18 TTS markup-språk för (bl.a) prosodi Markup for speech synthesis SABLE ToBI för olika språk, exv. GToBI för tyska http://www.coli.uni-sb.de/phonetik/projects/tobi/ gtobi.php3 SSML (Speech Synthesis Markup Language) http://www.w3.org/tr/speech-synthesis/ SABLE Aim: a standard markup language for speech synthesis A collaboration between Sun, AT&T, Bell Labs, Edinburgh, and CMU Builds on three previous markup languages: SSML, STML, JSML XML-based http://www.bell-labs.com/project/tts/sable.html Talteknologi (AAST) 1 mars 2006 19 Talteknologi (AAST) 1 mars 2006 20 Några SABLE-taggar EMPH: betoning The leaders of <EMPH>Denmark</EMPH> and <EMPH>India</EMPH> meet on Friday PITCH: Tonhöjd som ökning eller minskning i förhållande till aktuellt värde Without his penguin, <PITCH BASE=-20%"> which he left at home, </PITCH> he could not enter the restaurant RATE: Talhastighet TTS FESTIVAL http://www.cstr.ed.ac.uk/projects/festival/ Utvecklat i Edinburgh Brittisk engelska, amerikansk engelska, spanska, walesiska SABLE markup På experimentnivå: ToBI VOLUME: Volym
Talteknologi (AAST) 1 mars 2006 21 Talteknologi (AAST) 1 mars 2006 22 TTS MARY http://mary.dfki.de/ 3. Informationsstruktur och prosodi Utvecklat vid DFKI i Tyskland GToBI och SABLE för tyska SABLE för engelska Talteknologi (AAST) 1 mars 2006 23 Talteknologi (AAST) 1 mars 2006 24 Påminnelse: Kontexten påverkar prosodin Informationsstruktur Mark Steedmans tema och rema 1. Tema/Rema-indelning (6) A: Vilken lampa är tänd? S: Lampan i KÖKET är tänd (7) A: Är lampan i köket släckt? S: Lampan i köket är TÄND Tema: reflekterar kontexten, det som diskuteras Rema: det informativa i förhållande till temat Exempel: Q: Vilken lampa är tänd? A: Lampan i köket är tänd De två S-yttrandena är relaterade till kontexten på olika sätt de har olika informationsstruktur Tema i A: är tänd Rema i A: Lampan i köket
Talteknologi (AAST) 1 mars 2006 25 Talteknologi (AAST) 1 mars 2006 26 Informationsstruktur Mark Steedmans fokus och bakgrund Informationsstruktur och prosodi 2. Fokus/bakgrunds-indelning Fokus: den del av tema eller rema som skiljer det från liknande element Bakgrund: det som inte är fokus Exempel: Q: Vilken lampa är tänd? A: Lampan i köket är tänd Tema i A: är tänd Rema i A: Lampan i köket Fokus i temat i A: tänd (jfr. släckt) Fokus i remat i A: köket (jfr. hallen, badrummet,..) Steedman kopplar tema/rema och fokus/bakgrund till prosodi: Tema och rema är olika prosodiska fraser, med olika intonationsmönster Fokus bestämmer placeringen av intonationsaccenter i tema och rema Rema-fokus: H* Tema-fokus: L+H* Talteknologi (AAST) 1 mars 2006 27 Talteknologi (AAST) 1 mars 2006 28 (8) U: Which heaters are on? S: The heater in the KITCHEN H* L+H*LH% } {{ } } {{ } }{{} } {{ } Background F ocus Background F ocus } {{ }} {{ } Rheme T heme is ON. (9) U: What is the status of the heaters? S: The heater in the KITCHEN L+H*LH% H*LL% } {{ } } {{ } }{{} } {{ } Background F ocus Background F ocus } {{ }} {{ } T heme Rheme is ON.
Talteknologi (AAST) 1 mars 2006 29 Talteknologi (AAST) 1 mars 2006 30 GoDiS (Gothenburg Dialogue System) 4. Ett exempel: Generering av prosodiskt passande yttranden i dialogsystemet GoDiS Ett experimentellt dialogsystem för forskning kring människa-människa- och människa-maskin-interaktion Ett flertal applikationer: resebyråinformation, video, kalender, m.m Systemet bygger en bild av vad som sagts och gjorts (och ska sägas och göras) i dialogen; ett informationstillstånd Talteknologi (AAST) 1 mars 2006 31 Talteknologi (AAST) 1 mars 2006 32 GoDiS informationstillstånd Bestämma informationsstruktur för generering i GoDiS Tema-rema utifrån Question Under Discussion 2 6 4 PRIVATE SHARED h i... 2 COM QUD 6 4 LU SET(PROPOSITION) STACK(QUESTION) 2 4 SPEAKER.. MOVES.. S: Vart vill du åka? Question Under Discussion:?λx.destination(user, x) U: Jag vill åka till Berlin Commitment: destination(user, berlin) 3 5 3 7 5 3 7 5 QUD-baserad bestämning av tema-rema (QudTR): Tema är den del av yttrandet som motsvarar frågan på QUD. Resten av yttrandet är rema (den informativa delen). (10) U: How much is the flight? S: The price is 423 Euros. } {{ }} {{ } T heme Rheme QUD före svaret:?λx.λy.price(x, y) Svaret: price(423, euros) Svarets tema: λx.λy.price(x, y) Svarets rema: 423, euros
Talteknologi (AAST) 1 mars 2006 33 Talteknologi (AAST) 1 mars 2006 34 Bestämma informationsstruktur för generering i GoDiS Fokus-bakgrund utifrån commitments Commitments-baserad bestämning av fokus-bakgrund (ComFB): Fokus är den del av tema eller rema som har ett alternativ i en parallel struktur i commitments. Resten är bakgrund. (11) U1: How much is the business flight? S1: The price is one thousand Euros Bland commitments: price(1000, euros) U2: And how much is the economy flight? QUD:?λx.λy.price(x, y) Svar att generera: price(500, euros) S2: The price is } {{ } T heme five hundred } {{ } F ocus Euros } {{ } Background } {{ } Rheme Talteknologi (AAST) 1 mars 2006 35 Talteknologi (AAST) 1 mars 2006 36 Bestämma informationsstruktur för generering i GoDiS Fokus-bakgrund utifrån domänen Domän-baserad bestämning av fokus-bakgrund (DomFB): Fokus är den del av tema eller rema som har ett alternativ i en parallel struktur i domänen. Resten är bakgrund. There is a } {{ } } {{ } Background business F ocus flight } {{ } Background } {{ } Rheme (12) U: Is there a flight from Saarbrücken to Frankfurt on Monday? QUD:?(how(f ly)&dep(sb)&dest(f ra)&dep day(mo)) Svar att generera: class(business) S:
Talteknologi (AAST) 1 mars 2006 37 Talteknologi (AAST) 1 mars 2006 38 Propositional content QudTR TR-partitioned propositional. content ComFB Output from information structure determination GoDiS tags DomFB Example: <F TH> Business </F TH> class costs <RH> <F RH> 1234 </F RH> Euros </RH>. IS partitioned propositional content Figur 1: Assignment of information structure in GoDiS Talteknologi (AAST) 1 mars 2006 39 Talteknologi (AAST) 1 mars 2006 40... IS-Partitioning GoDiS med SABLE i MARY och FESTIVAL Generation module Output module Dialogexempel (generera S1): Text interface Festival interface MARY interface Audio player (13) U1: How much is the economy flight? S1: The price is THREE HUNDRED Euros. Text SABLE/ AMPL SABLE/ MaryXML Audio output Efter informationsstrukturbestämning: Text output Festival MARY (14) The price is <RH> <F RH> three hundred </F RH> Audio output Audio file Euros </RH>. Figur 2: Assignment of information structure in GoDiS
Talteknologi (AAST) 1 mars 2006 41 Talteknologi (AAST) 1 mars 2006 42 Konvertering till SABLE, alternativ 2: Konvertering till SABLE, alternativ 1: <?xml version="1.0"?> <!DOCTYPE SABLE PUBLIC "-//SABLE//DTD SABLE speech mark up//en" "Sable.v0_2.dtd" []> <SABLE> <SPEAKER NAME="male1"> The price is <EMPH> three hundred </EMPH> </SPEAKER> </SABLE> Euros. <?xml version="1.0"?> <!DOCTYPE SABLE PUBLIC "-//SABLE//DTD SABLE speech mark up//en" "Sable.v0-2.dtd" []> <SABLE> <SPEAKER NAME="male1"> The price is <EMPH> <PITCH BASE="+15%"> three hundred </PITCH> </EMPH> Euros. </SPEAKER> </SABLE> Talteknologi (AAST) 1 mars 2006 43 Talteknologi (AAST) 1 mars 2006 44 GoDiS med GToBI i MARY Konvertering till GToBI: Dialogexempel (generera S1): (15) U1: Wieviel kostet die zweite Klasse? S1: Der Preis ist DREIHUNDERT Euros. Efter informationsstrukturbestämning: (16) Der Preis ist <RH> <F RH> dreihundert </F RH> Euros </RH>. <?xml version="1.0" encoding="iso-8859-1"?> <!DOCTYPE maryxml SYSTEM "http://mary.dfki.de/ lib/maryxml.dtd"> <maryxml> <speaker gender="female"> Der Preis ist <t accent="h*"> dreihundert </t> Euro. </speaker> </maryxml>
Talteknologi (AAST) 1 mars 2006 45 Lyssna på GoDiS-output med varierad prosodi http://www.coli.uni-saarland.de/projects/siridus Klicka på Experiments