Naturligt Språk-Generering (NLG), Text-till-Talsyntes (TTS) och prosodi, i dialogsystem. Stina Ericsson, Talteknologi VT06.

Transkript

1 Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars Naturligt Språk-Generering (NLG), Text-till-Talsyntes (TTS) och prosodi, i dialogsystem Problemet Föreställ dig ett dialogsystem som ger reseinformation Att generera: Vilken stad vill du åka till? (1) Vilken stad vill du åka TILL? Stina Ericsson, Talteknologi VT06 Vilken stad vill DU åka till? Vilken STAD vill du åka till? Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars Passande intonation beror på kontexten (1) Passande intonation beror på kontexten (2) (2) A: Jag vill boka en resa och jag vill åka från Göteborg S: Vilken stad vill du åka TILL? S :? Vilken stad vill DU åka till? S :? Vilken STAD vill du åka till? (3) A: Min kusin och jag vill resa till varsin stad. Hon vill åka till Prag. S: Vilken stad vill DU åka till? S :? Vilken stad vill du åka TILL? S :? Vilken STAD vill du åka till?

2 Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars Ett TTS-test Passande intonation beror på kontexten (3) (5) a. When do you WANT to leave? Festival a and ViaVoice b b. When DO you want to leave? Lucent s Articulator c (4) A: Jag vill gärna åka till USA c. When do you want TO leave? AT&T s TTS d S: Vilken STAD vill du åka till? S :? Vilken stad vill du åka TILL? S :? Vilken stad vill DU åka till? a festvox.org/voicedemos.html demo version October b www-3.ibm.com/software/speech/enterprise/dcenter/demo-tts.html; demo version March c demo version March d ; demo version March Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars Generera tal Martin & Jurafsky Föreläsningsinnehåll Ett stort problem for generering av tal: prosodi (satsmelodi, betoning) Enkla lösningar för satsmelodi: skilja frågor från icke-frågor, utnyttja punkter och kommatecken Behov: tillgång till kontexten The system could annotate the output with discourse structure information to help synthesise the proper prosody. To date, there has been very little work on this area in NLG. [J&M s.792] 1. Prosodi 2. TTS och prosodi-markup 3. Informationsstruktur och prosodi 4. Ett exempel: generering av prosodiskt passande yttranden i dialogsystemet GoDiS

3 Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars Prosodi 1. Prosodi Aspekter av uttal som rör större enheter än lexikoningångar, dvs det rör sig om suprasegmentala fenomen Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars Fonologisk prosodi Prominens Fonologisk prosodi Prosodisk struktur Betoning Rör stavelsenivå Ett relativt begrepp Exempelvis kontexten (texten, dialogen, osv) påverkar vad som är prominent och inte i ett yttrande Prosodisk frasering: yttranden består av prosodisk frasstruktur (jfr. syntaktisk frasstruktur) Ex. Jag vill boka en resa, och jag vill åka från Göteborg Två stora fraser: Jag vill boka en resa och jag vill åka från Göteborg Intermediära fraser: Jag vill boka en resa... Debatt kring definitionen av prosodiska fraser, och deras relation till syntaktiska och semantiska enheter

4 Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars Fonologisk prosodi Tonala kategorier (tunes) Grundtonsmönster ( pitch accents ): rör F0-konturen En modell för grundtonsmönster: ToBI (Tones and Break Indices) Tonala kategorier och gruppering Språkspecifikt Engelska: Två enkla toner: H(igh), L(ow). Asterisk (*) anger ton på betonad stavelse. H+L: ett fallande mönster, L+H: en stigning H*, L*, L+H*, L*+H, H+L* Dessutom: två gränstoner: L%, H% Fonologisk prosodi ToBI exempel Jurafsky & Martin: oh, really L+H*: glad L*+H: skeptisk L*: arg Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars Parametrar för prosodi-generering Tonhöjd/frekvenstoppar Melodi/Grundtonsmönster 2. TTS och prosodi-markup Hastighet Volym Pauser Ex. prominenta stavelser har ofta högre volym och lägre hastighet än icke-prominenta Ex. prosodiska frasgränser följs ofta av pauser

5 Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars TTS markup-språk för (bl.a) prosodi Markup for speech synthesis SABLE ToBI för olika språk, exv. GToBI för tyska gtobi.php3 SSML (Speech Synthesis Markup Language) SABLE Aim: a standard markup language for speech synthesis A collaboration between Sun, AT&T, Bell Labs, Edinburgh, and CMU Builds on three previous markup languages: SSML, STML, JSML XML-based Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars Några SABLE-taggar EMPH: betoning The leaders of <EMPH>Denmark</EMPH> and <EMPH>India</EMPH> meet on Friday PITCH: Tonhöjd som ökning eller minskning i förhållande till aktuellt värde Without his penguin, <PITCH BASE=-20%"> which he left at home, </PITCH> he could not enter the restaurant RATE: Talhastighet TTS FESTIVAL Utvecklat i Edinburgh Brittisk engelska, amerikansk engelska, spanska, walesiska SABLE markup På experimentnivå: ToBI VOLUME: Volym

6 Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars TTS MARY 3. Informationsstruktur och prosodi Utvecklat vid DFKI i Tyskland GToBI och SABLE för tyska SABLE för engelska Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars Påminnelse: Kontexten påverkar prosodin Informationsstruktur Mark Steedmans tema och rema 1. Tema/Rema-indelning (6) A: Vilken lampa är tänd? S: Lampan i KÖKET är tänd (7) A: Är lampan i köket släckt? S: Lampan i köket är TÄND Tema: reflekterar kontexten, det som diskuteras Rema: det informativa i förhållande till temat Exempel: Q: Vilken lampa är tänd? A: Lampan i köket är tänd De två S-yttrandena är relaterade till kontexten på olika sätt de har olika informationsstruktur Tema i A: är tänd Rema i A: Lampan i köket

7 Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars Informationsstruktur Mark Steedmans fokus och bakgrund Informationsstruktur och prosodi 2. Fokus/bakgrunds-indelning Fokus: den del av tema eller rema som skiljer det från liknande element Bakgrund: det som inte är fokus Exempel: Q: Vilken lampa är tänd? A: Lampan i köket är tänd Tema i A: är tänd Rema i A: Lampan i köket Fokus i temat i A: tänd (jfr. släckt) Fokus i remat i A: köket (jfr. hallen, badrummet,..) Steedman kopplar tema/rema och fokus/bakgrund till prosodi: Tema och rema är olika prosodiska fraser, med olika intonationsmönster Fokus bestämmer placeringen av intonationsaccenter i tema och rema Rema-fokus: H* Tema-fokus: L+H* Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars (8) U: Which heaters are on? S: The heater in the KITCHEN H* L+H*LH% } {{ } } {{ } }{{} } {{ } Background F ocus Background F ocus } {{ }} {{ } Rheme T heme is ON. (9) U: What is the status of the heaters? S: The heater in the KITCHEN L+H*LH% H*LL% } {{ } } {{ } }{{} } {{ } Background F ocus Background F ocus } {{ }} {{ } T heme Rheme is ON.

8 Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars GoDiS (Gothenburg Dialogue System) 4. Ett exempel: Generering av prosodiskt passande yttranden i dialogsystemet GoDiS Ett experimentellt dialogsystem för forskning kring människa-människa- och människa-maskin-interaktion Ett flertal applikationer: resebyråinformation, video, kalender, m.m Systemet bygger en bild av vad som sagts och gjorts (och ska sägas och göras) i dialogen; ett informationstillstånd Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars GoDiS informationstillstånd Bestämma informationsstruktur för generering i GoDiS Tema-rema utifrån Question Under Discussion PRIVATE SHARED h i... 2 COM QUD 6 4 LU SET(PROPOSITION) STACK(QUESTION) 2 4 SPEAKER.. MOVES.. S: Vart vill du åka? Question Under Discussion:?λx.destination(user, x) U: Jag vill åka till Berlin Commitment: destination(user, berlin) QUD-baserad bestämning av tema-rema (QudTR): Tema är den del av yttrandet som motsvarar frågan på QUD. Resten av yttrandet är rema (den informativa delen). (10) U: How much is the flight? S: The price is 423 Euros. } {{ }} {{ } T heme Rheme QUD före svaret:?λx.λy.price(x, y) Svaret: price(423, euros) Svarets tema: λx.λy.price(x, y) Svarets rema: 423, euros

9 Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars Bestämma informationsstruktur för generering i GoDiS Fokus-bakgrund utifrån commitments Commitments-baserad bestämning av fokus-bakgrund (ComFB): Fokus är den del av tema eller rema som har ett alternativ i en parallel struktur i commitments. Resten är bakgrund. (11) U1: How much is the business flight? S1: The price is one thousand Euros Bland commitments: price(1000, euros) U2: And how much is the economy flight? QUD:?λx.λy.price(x, y) Svar att generera: price(500, euros) S2: The price is } {{ } T heme five hundred } {{ } F ocus Euros } {{ } Background } {{ } Rheme Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars Bestämma informationsstruktur för generering i GoDiS Fokus-bakgrund utifrån domänen Domän-baserad bestämning av fokus-bakgrund (DomFB): Fokus är den del av tema eller rema som har ett alternativ i en parallel struktur i domänen. Resten är bakgrund. There is a } {{ } } {{ } Background business F ocus flight } {{ } Background } {{ } Rheme (12) U: Is there a flight from Saarbrücken to Frankfurt on Monday? QUD:?(how(f ly)&dep(sb)&dest(f ra)&dep day(mo)) Svar att generera: class(business) S:

10 Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars Propositional content QudTR TR-partitioned propositional. content ComFB Output from information structure determination GoDiS tags DomFB Example: <F TH> Business </F TH> class costs <RH> <F RH> 1234 </F RH> Euros </RH>. IS partitioned propositional content Figur 1: Assignment of information structure in GoDiS Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars IS-Partitioning GoDiS med SABLE i MARY och FESTIVAL Generation module Output module Dialogexempel (generera S1): Text interface Festival interface MARY interface Audio player (13) U1: How much is the economy flight? S1: The price is THREE HUNDRED Euros. Text SABLE/ AMPL SABLE/ MaryXML Audio output Efter informationsstrukturbestämning: Text output Festival MARY (14) The price is <RH> <F RH> three hundred </F RH> Audio output Audio file Euros </RH>. Figur 2: Assignment of information structure in GoDiS

11 Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars Konvertering till SABLE, alternativ 2: Konvertering till SABLE, alternativ 1: <?xml version="1.0"?> <!DOCTYPE SABLE PUBLIC "-//SABLE//DTD SABLE speech mark up//en" "Sable.v0_2.dtd" []> <SABLE> <SPEAKER NAME="male1"> The price is <EMPH> three hundred </EMPH> </SPEAKER> </SABLE> Euros. <?xml version="1.0"?> <!DOCTYPE SABLE PUBLIC "-//SABLE//DTD SABLE speech mark up//en" "Sable.v0-2.dtd" []> <SABLE> <SPEAKER NAME="male1"> The price is <EMPH> <PITCH BASE="+15%"> three hundred </PITCH> </EMPH> Euros. </SPEAKER> </SABLE> Talteknologi (AAST) 1 mars Talteknologi (AAST) 1 mars GoDiS med GToBI i MARY Konvertering till GToBI: Dialogexempel (generera S1): (15) U1: Wieviel kostet die zweite Klasse? S1: Der Preis ist DREIHUNDERT Euros. Efter informationsstrukturbestämning: (16) Der Preis ist <RH> <F RH> dreihundert </F RH> Euros </RH>. <?xml version="1.0" encoding="iso "?> <!DOCTYPE maryxml SYSTEM " lib/maryxml.dtd"> <maryxml> <speaker gender="female"> Der Preis ist <t accent="h*"> dreihundert </t> Euro. </speaker> </maryxml>

12 Talteknologi (AAST) 1 mars Lyssna på GoDiS-output med varierad prosodi Klicka på Experiments