Litteratur ASR. Taligenkänning Introduktion till taligenkänning. Upplägg taligenkänningsdelen. Dagens litteratur. Varför taligenkänning?

Transkript

1 Litteratur ASR Taligenkänning Introduktion till taligenkänning Talteknologi, VT 2006 Rebecca Jonson Jurafsky & Martin. Kap 5,6,7 + delar fr. andra kapitel (t ex kap 19) Blomberg, M & Elenius, K. Automatisk igenkänning nning av tal. R.P. Lippman (1997) Speech recognition by machinesand and humans Steve Young,(1996). Large Vocabulary Continuous Speech Recognition: a review Upplägg taligenkänningsdelen Mån: Introduktion till ASR, Varför är ASR så svårt? Ons: Parametrisk representation,taligenkänningstekniker och Talarigenkänningstekniker Fre: Språkmodeller + Taligenkänningsgrammatiker Mån: Avkodning, N-Bästa, Prestanda Ons: Talförståelse (ASU), dialogsystem och talteknologi Ons em: Nuance Tutorial Nuance-labb (veckorna därpå fram till/efter tentan) Dagens litteratur Jurafsky & Martin. Kap (ej 5.2,5.3,5.5), 7.5, s. 347, 16.1 Blomberg, M & Elenius, K. Automatisk igenkänning nning av tal. sid Vad är taligenkänning? Automatic Speech Recognition (ASR) En dators igenkänning av naturligt tal System som identifierar en talsignal och mappar den till ett språkligt yttrande Omvandling av tal till text Automatic Speech Understanding (ASU) En dators förståelse av naturligt tal En talsignal tolkas till en representation av ett språkligt yttrande Varför taligenkänning? Effektivt gränssnitt Mskor i grupp löser problem mycket snabbare om de kan kommunicera verbalt med varandra Talet naturligt sätt att interagera (snabbare inlärning) Mycket information koncist Språket kan uttrycka komplexa saker Tillåter fria händer och syn Ersätter tangentbord/knappsats (handdator, mobil) Fungerar i mörker, kyla etc. Slipper menystruktur med alternativ Stort kommersiellt intresse! Telefontillämpningar

2 Användningsområden Indelning av igenkänningsmetoder Handikapphjälpmedel Blinda Rörelsehandikappade Interaktion med mobiltelefon, handdator, bil (hands-free) Diktering (läkare, dåliga skrivmaskinister ) Telefontillämpningar (t ex voic ) Dialogsystem (t ex SJ s tidtabellupplysning) Översättning (t ex Verbmobil) Sökning Indexering av audio Språkinl ärning (uttalsundervisning) Vadkänner systemet igen? Ord Kommandon Keywords Diktering Dialog Spontant tal Vem känner systemet igen? Talarberoende (SD) (en/flera talare) Talaroberoende (SI) (godtyckliga talare, non-native?) De tre variablerna 1. Talarberoende Talaroberoende Speaker dependent/independent (SD/SI) Multispeaker 2. Vokabulärstorlek 10 till ord 3. Isolerat Spontant tal Isolerade ord, Kommandon, Keywords, Kontinuerligt tal, Spontant tal Isolerat tal Känner igen vissa ord/fraser Kommandon Motsvarigheten till tryckknapparna på telefonen fast med tal eller tryckkommandon på datorn Fungerar enligt menyer -Om du vill höra saldot på ditt kontot, säg saldo eller tryck 2. -Saldo Diktering Types what you say Känner igen ord sagda i uppläst tempo Känner igen EN talare Adaptering till talarens röst (träning) Vokabuläranpassning Korrekthet >90 % Skrivhastighet 20 ord/min (inkl korrektioner) Persondator med mikrofon Används av rörelsehindrade, läkare, advokater, dyslektiker

3 Dikteringsmjukvara Företag/Produkter: Scansoft Dragon Systems IBM ViaVoice Philips speech products - FreeSpeech 2000, SpeechMike. WindowsXP (amerikanska versionen) Apple Dictaphone (domänspecifika) Spontant tal Talaroberoende Taligenkänningen fungerar för (nästan) vem som helst (på det språk och med den vokabulär som den är anpassad för) Ej tränad på användaren Kontinuerligt tal Medelstor vokabulär (klarar inte vokabulärer så stora som för diktering) Låter användaren uttrycka sig friare och mer komplext (mer naturligt) Används bl a i Dialogsystem, Telefontjänster, Datainmatning Kommersiella Taligenkänningsprodukter SRI: Decipher (Eduspeak, Dynaspeak) AT&T: Watson Nuance: Nuance 8.0 SoftSound SpeechMachines Vocalis Philips Apple: PlainTalk Microsoft: SAPI (ASR & TTS) Whisper Nuance Introduktion Nuance är ett talteknologiföretag som erbjuder kommersiell: Taligenkänning, talarverifiering och talsyntes Samt APIs för att bygga ASR och TTS-klienter VoiceXML plattform Olika program som t ex. språkmodellgenerering Språk som Nuance stödjer Ett urval av Nuance program Arabic Cantonese Czech Danish Dutch English (5 varieties) French (2 varieties) German (2 varieties) Greek Hebrew Italian Japanese Korean Mandarin (2 varieties) Norwegian Portuguese Spanish (2 varieties) Swedish Turkish nlm license manager Xapp for testing ASR resource-manager distributes client requests recserver ASR server vocalizer TTS server Batchrec Evaluates LMs and grammars nuance-compile compiles recognition grammars train-slm trains statistical language models parse-tool checks if a recognition grammar accepts a string generate checks what strings a recognition grammar can generate

4 Verktygslådor för att bygga taligenkänning CMU Sphinx (Finns i Java-version) HTK toolkit (ATK) Sonic ASR CSLU toolkit (enkel taligenkänning + TTS, animerade huvuden, dialogsystem) ASR-system En talsignal ska parametriseras till en datarepresentation och sedan matchas till akustiskt och lingvistiskt innehåll och den ordsekvens som verkar mest sannolik i förhållande till input ska sökas upp. Delar i ett ASR-system Input (mikrofon/telefon) A/D omvandling Särskilja talsignalen från andra ljud, brus etc. Front End ( Parametrisering) Komputationell representation av talsignalen Ta ut de värden som inte ändrar sig så mycket när samma ord sägs men som ändras mycket när andra ord sägs Lokal matchning Sannolikhetsberäkning Hitta möjliga matchningar mellan ett talsegment och referenser Avkodning Beräknar likheten mellan ett segment och dess referens Ta hänsyn till tid! Spr åkmodeller (Trigram) Tar in lingvistisk information för att avgöra matchning Vilka ord är sannolika att förekomma tillsammans Akustik/ ljud våg Frekvens Spektrum Features (Fonem; Kontext) Fonem Fonemsekvenser/Ord Ord Sekvenser/ Mening Filtrering, Sampling Spektral Analys; FFT Signalbehandling / Analys Fonem Igenkänning: HMM, Neural Nät GrammatikellerStatistik Grammatik/Statistikför troliga ordsekvenser Översikt ASR-system En talsignal ska först detekteras ur inputsignalen och brus, bakgrundsljud, tystnader, eko, andra r öster ska filtreras bort. Talsignalen ska sedan parametriseras till en datarepresentation (sekvens av akustiska vektorer), Varje vektor är en representation av ett korttidsspektrum(10 ms). Yttrandet består av en sekvens av ord och ASR systemets uppgift är att hitta den mest sannolika ordsekvensen givet den observerade akustiska signalen. Igenkänningsmetoder Mönsterigenkänning (Äldst) Jämförelse av två spektrala tidsserier Dynamisk Programmering används för att kompensera för varierande talhastighet Hidden Markov Models (HMM) (Vanligast) Representerar talets segmentella struktur Viterbi-avkodning (form av DP) Artificiella Neurala Nätverk (ANN) Huvudsakligen för fonetisk klassning I kombination med HMM (Hybridsystem) Kunskapsbaserade system Baserar sig p å fonetisk, lingvistisk kunskap om tal. Ex: som en skicklig spektrogramläsare

5 Varför är ASR så svårt? Let s talk about how to wreck a nice beach or about how to recognize speech? Komplexiteten hos naturligt språk Talet är kontinuerligt ej isolerat (inga pauser mellan ord) Talspråkets karaktär (spontant misstag) Talvariabilitet Talarvariabilitet Talsignal vs andra ljud (Brus, Eko, Tystnad, Andning) Akustisk/Kanal variabilitet Databrist (OOV, akustiska modeller) Tekniska hinder Processhungrigt/Kräver stor Minneskapacitet Kräver prestation i realtid Många metoder/algoritmer måste väljas bort, för långsamma Variabilitet i talsignalen Svårigheter - talarvariabilitet Variabiliteten hos tal är den största svårigheten, olika talare eller samma talare kan producera ett sekvens som motsvarar samma ord men som skiljer sig akustiskt (ger t ex olika spektrogram) Samma ord kan realiseras med olika styrka och med olika talhastighet. Måste träna systemet med olika akustiska realiseringar av ljud Kräver lång träning Stora mängder träningsdata Extrahera ur talsignalen de faktorer som hålls likvärdiga mellan olika realiseringar av t ex samma ord. Röstskillnader mellan talare: Kön Män: Hz Kvinnor: Hz Ålder Barn: Hz Anatomiska skillnader Dialekt Skillnad i t ex. uttal, betoning, intonation, accent, språkljud Sociolekt T ex Uttal Röstskillnad samma talare: Sinnestillstånd Glad, ledsen Hälsotillstånd Förkyld Stress Talstil Formellt Spontant Talhastighet Modellera talarvariabiliteten Talarvariabilitet kräver att vi har tillräckligt med data för att träna upp våra modeller Olika talare realiserar samma språkljud akustiskt olikt Tatvå spektrogram från två talare som säger samma ord Eller från samma talare! Vad är det som gör att vi uppfattar akustiska realiseringar från olika talare som samma ord? Vi måste hitta de oförändrade egenskaperna samt filtrera bort de irrelevanta skillnaderna Ta bort nivåer i styrka, skillnader i tid (DP!) Hitta gemensamma nämnare på frekvensnivå Akustiska modeller Akustiska modeller: statistiska modeller som beräknar likheten mellan en akustisk realisering och ett ord (el. fonemsekvens) Stort tr äningsmaterial behövs för att ta hänsyn till talarvariabiliteten. Speech dat talare inspelade, >11 språk Dialekt, ålder, kön 5000 talare i Sverige vanlig telefon 1000 talare via mobil Swedia2000 Dialektinspelningar (110 dialekter) 1284 personer inspelade

6 Svårigheter- uttalsvariation Exempel: Uttalsvarianter Koartikulation(talljuden påverkar varandra och fonem uttalas därför olika i olika kontext, och olika hos olika talare) /t/ i take, stake, tray, straight, butter, Kate TTS = mimic coarticulation ASR = overcome it!!! Reduktion (fonem och stavelser reduceras, uttalas otydligt eller utelämnas helt) Fokusordofta tydliga men ändelser och artiklar reduceras Bara för att bafatt Do you want to eat Juwana Eat Uttalsvarianter Ur talspråkskorpusen: vi{l}ken va{r} de{t} här den elle{r} den Ambiguitet i talsignalen Homofoner The tailof a dog/ the taleof a dog There/Their Talet kontinuerligt (ej segmenterat som skriften) Frasnivå: avgöra ordgränser (OBS! Ord förekommer bara isolerat i skrift) It s not easy to wrecka nicebeach It s not easy to recognise speech It s not easy to wreckan icebeach Says Sayyes [ay d ih s hh er d s ah m th ih ng ax b aw m uh v ih ng r ih s en l ih] I just heard something about moving recently Svårigheter - talspråk Talspråkssyntax Jag skulle vilja åka tror jag mellan öh fem nej sex och sju kanske. På eftermiddagen alltså. Flesta NLP-metoderna bygger på skriftlig syntax Inte bara språkljud Extralingvistiska ljud (l äppsmack,flås) Spontant tal är spontant! Vi tvekar, ändrar oss, säger fel etc. Talspråk svårt att förstå om taget ur kontexten? Disfluenser Exempel ur talkorpus Omstarter Pauser Tvekljud (öh, eh) Repetitioner Ändrar sig Slips of the tounge Teep a kape Hela ordet uttalas inte (truncated words) Säger fel Which flights leave bef- after noon? Which flights leave uh after noon? Which flights leave (pause) leave after noon?

7 Disfluenser Disfluenser väldigt vanliga men dock verkar människor skärpa till sig lite i H-M dialoger i motsvarighet till H-H dialoger. För att kunna klara av disfluensermåste vi modellera tvekljud, fyllda pauser, repetitioner etc. T ex att Öh räknas som ett ord i lexikon. Många av dagens taligenkänningssystem klarar dock inte detta Slips of the tounge väldigt svårt att modellera Så här låter ni: Disfluenser: Som ni ser både stakar ni er, flåsar, fnissar, säger fel, gör omstarter och tvekar en hel del Talvariabilitet: Samt kan vi se hur ljudnivån varierar väldigt och att bakgrundsljud hörs. Talarvariabilitet: och visst låter ni väldigt olika OOV (out of vocabulary words) Storleken på vokabulären är ett annat problem. Ju större vokabulär desto fler ord som liknar varandra akustiskt. Kommer aldrig täcka alla ord. ASR kan inte känna igen nya ord eftersom de bygger på lexikon. OOV blir istället igenkända som invocabulary words vilket påverkar igenkännandet av omkringliggande ord. Svårigheter - kanalvariabilitet Uttalet av samma ord kommer variera beroende på den akustiska/kanal variabiliteten: Omgivning Rumsakustik Brus: överflödig information i signalen, skilja ut talsignalen. Bakgrundsljud (cross-talking) Input modalitet Mikrofon, Telefon, Mobil Bandbredd (telefon khz, mikro 8khz, /s/ vs /f/ högfrekvensa skillnader) Störningar (Eko, brus, cross talk) Kanalen påverkar signalen Talarens position i förhållande till mikrofon/telefon (nasala ljud starkare om närmare näsan, flås etc.) Tekniska hinder Taligenkänning kr äver mycket processorkraft och minne Många algoritmer intressanta teoretiskt men oanvändbara för att de tar för lång tid för att fungera i realtidssystem Träningsalgoritmer kan inte heller ta för lång tid (buggar!, måste få fram en produkt) Sammanställning svårigheter Vi måste modellera talarvariabiliteten Och talvariabiliteten Disambiguera talsignalen(ordgränser) Modellera disfluenser för att kunna extrahera dessa Identifiera OOV Särskilja talsignalen från andra ljud Modellera den akustiska omgivningens variabilitet, kompensera för distortion på talsignalen Ta hänsyn till olika kanalers påverkan Använda oss av effektiva algoritmer och smarta lagringsmetoder