Svårigheter - stor variabilitet. Översikt - taligenkänning Automatisk igenkänning av tal Del 1. Varför taligenkänning?

Transkript

1 Talteknologi [ ] Översikt - taligenkänning Automatisk igenkänning av tal Del Mats Blomberg Tal, musik och hörsel KTH Inledning Problem Akustiska analysmetoder Igenkänningstekniker mönstermatchning olinjär tidstöjning (dynamisk programmering) dolda Markovmodeller kunskapsbaserade metoder neurala nät Databaser Resultat Aktuell forskning Tillämpningar Talteknologi [ 2 ] Varför taligenkänning? Tillämpningar Naturligt sätt att kommunicera Snabbare inlärning Effektivare kommunikation Komplexa samband kan uttryckas enkelt i ett språk vi redan kan Ersätter tangentbord eller knappsats handdator, telefon, mobiltelefon Fungerar i besvärliga miljöer mörker, kyla etc. (dock sämre i buller) Händer och syn blir fria för andra uppgifter Talteknologi [ 3 ] Handikapphjälpmedel Personer med rörelsehinder och hörselskada Telefontjänster intelligenta telefonsvarare informationssökning, biljettbokning Fria händer diktering styra mobiltelefon Studiehjälp tålmodig lärare språkinlärning, uttalsundervisning Indexering och sökning radio- och TV-program Talteknologi [ 4 ] Svårighet: tal kontra skrift I fonetisk transkription eller vanlig ortografi beskrivs talet med avgränsade, diskreta enheter Talet har ett kontinuerligt förlopp pga artikulatorernas mekaniska tröghet Koartikulation: Rörelser från/till intilliggande fonem Fonem uttalas olika i olika kontext ( jfr /s/ i visir och ozon ) Reduktion: I snabbt tal och i obetonade stavelser uppnås inte det avsedda uttalet Fonem och stavelser kan falla bort ( bafatt, Sötälje, dnasba ) Svårigheter - stor variabilitet Talare Kanal Lyssnare Mellan talare Ålder Kön Anatomi Dialekt Inom en talare Stress Sinnesstämning Hälsotillstånd Formellt / Spontant Minsta ansträngning Omgivning Additivt brus Rumsakustik Lombardeffekt Mikrofon, Telefon Bandbredd Störningar brus frekvensgång transienter klickar Lyssnare Ålder Modersmål Hörsel Bekant / Okänd Människa / Maskin Talteknologi [ 5 ] Talteknologi [ 6 ]

2 Talteknologi [ 7 ] Överlappning mellan vokaler för olika talare Spontant och hyper-artikulerat tal Spridning för de två lägsta resonans-frekvenserna (F och F2) hos isolerade svenska vokaler uttalade av manliga och kvinnliga talare (G Fant) Va jobbaru me Främre vokaler har väsentlig överlappning. Vad jobbar du med Talteknologi [ 8 ] Spontant vs uppläst tal Talspråk: extra svårigheter Spontant tal ur ett samtal Text: Det är naturligtvis bara roligt Senare samma yttrande uppläst från text /dnasparolit/ /natulitvispara/ Talteknologi [ 9 ] Uttalsreduktioner ofullständigt uttalade ord Icke-grammatiska meningar Stakningar omstarter, instopp, strykningar Extralingvistiska ljud läppsmack, andning, tvekljud Störningar omgivningsljud, teknisk distortion Talteknologi [ ] En normalt besvärlig talare reduktion knarr Tal i brus Inspelat i bil, hastighet 9 km/t. Riktad mikrofon i instrumentpanelen ja det är väl fredag idag... lång konsonant knarr, tvekan så det blir väl ehh... fredag kväll Yttrande: Inga Talteknologi [ ] Talteknologi [ 2 ]

3 Talteknologi [ 4 ] Inverkan av mikrofonavstånd Samma yttrande inspelat med 2 mikrofoner i tyst kontorsrum Det generella problemet är olöst Åtgärder i praktiska system Headsetmikrofon 2 m avstånd Begränsa uppgiften Vad känner man igen? enstaka ord, kommandon, diktering, dialog, spontant tal Vem känner man igen? en talare: talarberoende, -adaptivt alla talare talaroberoende Hur känner man igen? kunskapsbaserade metoder inlärande metoder (statistiskt baserade) Distortion från brus och rumsakustik Talteknologi [ 6 ] Analys Delar i ett taligenkänningssystem 6 khz Hz FFT Parametrisering Spektralanalys Fonem/ord-modeller akustisk beskr. Lexikon vokabulär + fonemtranskription Språkmodell möjliga ordföljder Kunskap Kontinuerlig Klassificering Diskret Sökning Jämförelse N-best N-best N-best N-bästa Ev. Ev. mer mer sökning (ex. (ex. förståelse, prosodi) Igenkänningsresultat Talteknologi [ 7 ] Kunskapsbaserade system Explicit utnyttjande av fonetisk kunskap Begränsad framgång eftersom det är svårt att kvantifiera expertkunskapen svårt att integrera mänsklig kunskap om fonetik, fonotax, lexikal access, syntax, semantik, pragmatik... Kombinera expertkunskap och självlärande system Algoritmer statistiskt baserade metoder Kunskap mel-skala, trifoner, modellera funktionsord i HMM-system Algoritmer gör det möjligt att lösa problem. Kunskap gör algoritmerna bättre. (Victor Zue vid MIT (Massachusetts Inst of Technology) ) Talteknologi [ 8 ] Datadrivna metoder För att ett system ska känna igen tal oberoende av talare och miljö behövs kvantitativa mått på denna variabilitet. Ett stort träningsmaterial (tal och text) krävs för att uppskatta dessa Automatiska träningsmetoder nödvändiga Talteknologi [ 9 ] Den akustiska databasen EU-projekt Inspelat tal över telefonnätet för att träna och testa taligenkänningssystem alla officiella EU-språk samt samt varianter som finlandssvenska, schweizertyska, walesiska totalt över 6 talare inspelade balansera talare enligt dialekt, ålder och kön ca 5 yttranden per talare siffror, datum, tider, penningbelopp, enkla kommandon, fonetiskt rika meningar och ord SpeechDat i Sverige 5 talare inspelade över vanlig telefon talare inspelade över mobiltelefon Talteknologi [ 2 ]

4 Talteknologi [ 23 ] TMH:s textdatabas Totalt ca 5 miljoner ord Texter Pressens Bild ca 9 miljoner ord Samhall ca 37 miljoner ord Datalingvistik Göteborg ca 2 miljoner ord Göteborgs-Posten ca 5 miljoner ord,9 miljoner olika ord ca miljon ord förekommer bara en gång ca 5 miljoner ord totalt,88 miljoner olika ord miljon ord förekommer bara en gång TMH:s textdatabas - de 5 vanligaste orden Totalt gemena gemen form Totalt gemena gemen form Totalt gemena gemen form och eller vill i efter fick att ska dem det ut blev en mot något som vid måste på här sina är också utan av du går för år detta med under allt den då kunde till säger kom inte över många han bara någon de upp mer har alla sa jag vad bli om mig sitt var vara första ett mycket några men in varit sig än fram hon hans hela så andra henne vi får ta från ha genom man sedan mellan hade kommer dag kan få ingen när honom kronor nu två nya skulle hur göra där finns även sin blir sverige Talteknologi [ 24 ] Akustisk analys - önskemål Hög fonetisk diskrimination Litet antal parametrar Låg korrelation mellan parametrar Hög tidsupplösning men okänslighet för grundton - konflikt Teoretiskt bäst: grundtonssynkron mätning I praktiken konstant analysfönster (ca 25 ms) konstant tidsavstånd mellan mätningar (ca ms) Analys Analys av signalen till en följd av korttidsspektra (ramar) Samplingsfrekvens: 8 2 khz; analysbandbredd: 4 khz Analysfönster 5 ms, (här 2 ms) Ram nr n n+ n+2 n+3 n+4 Ramintervall: 5 25 ms (här ms) Talteknologi [ 25 ] Talteknologi [ 26 ] Parameter-representation Filterbanksamplituder (från FFT, Fast Fourier Transform) Hörselbaserad filterbank Mel-skala - baserad på örats frekvensupplösning Tids- och frekvensmaskering, ger förbättring främst vid buller och brus LPC Linjär prediktion - Linear Predictive Coding Cepstrum Invers Fouriertransform av logaritmiskt spektrum ortogonala koefficienter Cepstrum på Mel-spektrum: MFCC - standardmetoden Formanter Främst i kunskapsbaserade system Svåra att bestämma enkel approximation: mät tyngdpunkter i frekvensband Artikulatoriska parametrar Nära kopplad till talproduktionen Mycket svåra att beräkna Talteknologi [ 27 ] Cepstrumanalys Den dominerande analysmetoden inom taligenkänning Invers Fouriertransform av logaritmerat frekvensspektrum Spektralanalys av spektrum Grovstrukturen i spektrum beskrivs med ett litet antal parametrar Hög fonemdiskrimination (har det visat sig) Ortogonala (okorrelerade) koefficienter Ordlek: Spectrum-cepstrum, filtering-liftering, frequencyquefrency, phase-saphe Bogert,, Healy & Tukey (963) The Quefrency Alanysis of Time Series for Echoes: Cepstrum,, Pseudo-autocovariance autocovariance,, Cross-Cepstrum Cepstrum and Saphe Cracking Proc. Symp.. Time Series Analysis, J. Wiley & Sons, 963 Talteknologi [ 28 ]

5 Talteknologi [ 29 ] Cepstral Processing Cepstral processing From Oppenheim & Schafer, 975 Holmes & Holmes, 2 Talteknologi [ 3 ] Cepstrum från filterbankspektra Spektrum av /a:/ Spektrum av /s/ I Cn = Ai cos( nπ( i. 5) / I) i=,5 -,5 - * =,5 -,5 -,5 -,5 - * =,5 -,5 - Viktfunktioner W W2 W3 W Cepstrum av /a:/ C C2 C3 C4 Cepstrum av /s/ C C2 C3 C4 Talteknologi [ 3 ] Vanligast: MFCC-analys Mel Frequency Cepstral Coefficients FFT Spektralanalys med Fast Fourier Transform db Mel-filterbank - 4 filter Hörselanpassad delning Linjär < Hz Log > Hz Amplitud-frekvensspektrum av /a:/ ~6 Hz Bark/mel - -2 Cepstrumtransform C C2 C3 C4 Cepstrum av /a:/ Talteknologi [ 32 ] 8-6 cepstrumkoefficienter var :e ms + energi + deras :a och 2:a tidsderivator Vanlig parameteruppsättning Cepstrum 2 cepstrumkoefficienter 2 -cepstrumkoefficienter (:a tidsderivata - lutning) 2 -cepstrumkoefficienter (2:a tidsderivata - krökning) Energi energi (ofta normaliserad mot medel/max energi i yttrandet) -energi -energi Sammanlagt = 39 inparametrar för varje spektral mätning var :e ms Talteknologi [ 33 ] Vektorkvantisering (VQ) Transformering från kontinuerliga till diskreta parametrar Automatisk indelning av parameterrymden i ett litet antal (~256) områden. Minimera distorsion i träningsdata Klassa varje tidpunkt av ett yttrande till ett av dessa områden. Hela yttrandet beskrivs som en följd av indextal. Kraftig datareduktion på bekostnad av kvantiseringsdistorsion. 6 khz FFT FFT Spektralanalys Hz Parametrisering Parametrisering Kontinuerlig VQ Klassificering Klassificering Talteknologi [ 34 ] Diskret Ex. enl trajektorien ovan: 2,,,5,5,6,6,6,7

6 Talteknologi [ 35 ] Olika igenkänningsmetoder Artificiella NeuronNät - ANN Mönsterigenkänning (Pattern Recognition) (Äldst) Ingen fonetisk representation Enkel jämförelse av två spektrala tidsserier Kompensation för varierande talhastighet (Dynamisk programmering, DP) Expertsystem (Övergiven i sin direkta form) Fonetikerns kunskap uttryckt i regler för fonetisk klassning Svårt och inflexibelt Artificiella Neurala Nät (ANN) (Bra för fonemklassificering) Huvudsakligen för fonetisk klassning Används i hybridsystem tillsammans med HMM Hidden Markov Models (HMM) (Mest använd) Representerar talets segmentella struktur Sökning med dynamisk programmering (Viterbi-avkodning) Θ N = y f w i x i θ Modell av nervcell i= Talteknologi [ 36 ] Utlager Aktiveringsgrad för varje kategori Dolt lager Inlager Filteramplituder Artificiella neuronnät - exempel Klassificering av fonemkategorier Hybridsystem - ANN/HMM ANN används för att klassificera talsignalen i fonem återkopplade noder ger bättre resultat HMM-system för övrigt Ungefär samma prestanda som enbart HMM, men med en storleksordning färre antal parametrar Talteknologi [ 37 ] Talteknologi [ 38 ] Enkel mönsterigenkänning () Ingen kompensering för olika talhastighet Förenklat exempel: Yttrande analyserat i 32 tidsintervall och 2 parametrar Enkel mönsterigenkänning (2) Distansen mellan yttrandet och ett referensmönster är summan av distanserna för resp. parameter vid varje tidpunkt. 5 5 Referensmönster nr k Okänt yttrande Par 2 Par Par 2 Par Igenkänning: Mät distans för alla referensmönster. < k < K Välj det mönster (k) som ger minst distans mot yttrandet Enkelt lokalt distansmått: d(t) = Ref(Par,t) - Ytt(Par,t) + Ref(Par2,t) - Ytt(Par2,t) Talteknologi [ 39 ] Talteknologi [ 4 ]

7 Talteknologi [ 4 ] Enkel mönsterigenkänning (3) Ackumulerad (global) distans: Par Par D( t) = d( t) + D( t ) = Total distans D(T) Problem: Distansen beror till stor del på tidsavvikelser mellan kurvorna. t i= d( t) Olinjär normalisering av talhastighet Varierande känslighet för olika taltempo Vokaler förlängs mer än konsonanter vid långsamt tal Obetonade stavelser kan försvinna i snabbt och reducerat tal Tidsvarierande töjning behövs Dynamic Time Warping, DTW Problem: mycket stort antal möjliga töjningskurvor Matchning längs varje enskild kurva orimlig För mönsterlängd=32: 5.5 * 22 olika kurvor, varje kurva ca 32 spektrala jämförelser Lösning Utnyttja att många kurvor har delar gemensamma Utför varje spektrumjämförelse bara en gång Metod: Dynamisk Programmering (DP) Antal spektrala jämförelser: 32 2 = 24 Talteknologi [ 42 ] Normalisera för talhastighet Ingen kompensering DP - Dynamisk programmering snabb, optimal kombinering av delbeslut Va jobbaru me Linjär töjning (mappning av ändpunkter) Olinjär töjning, Dynamic Time Warp (DTW) Utförs med dynamisk programmering (DP) Analogi Sök bästa väg mellan två adresser i en stad. Ett mycket stort antal möjliga vägar, men: Vid varje korsning är den bästa fortsättningen oberoende av hur man kom till denna punkt. Endast den bästa vägen hit kan alltså ingå i den totalt bästa vägen. Övriga vägar hit innebär en sämre totalväg och strykes. Antalet sökningar minskas dramatiskt. Vad jobbar du med Talteknologi [ 43 ] Talteknologi [ 44 ] DP-matchning mellan ett okänt yttrande och ett referensmönster Tid (j) Förenklad algoritm: for(i=; i<=i,++i) for(j=; j<=j,++j) D[i,j] = d[i,j] + min(d[i-,j], D[i-,j-], D[i,j-]); return( D[I,J]); Rekursiv formulering av DP Den ackumulerade distansen i en punkt är summan av den lokala distansen och den minsta ackumulerade distansen av de anslutna vägarna. D(I,J) = d(i,j) + min[ D(I,J-), D(I-,J-), D(I-,J)] D(,) = d(,) Tid ( j ) Referensmönster Yttrande Tid (i) I Tid (i) Talteknologi [ 45 ] Talteknologi [ 46 ]

8 Talteknologi [ 47 ] Exempel på DP - textjämförelse Jämförelse mellan textsträngar Sträng A: ALDRIG (korrekt, referens) Sträng B: ALLDRIG (okänt) Frågeställning: Vad är den minimala distansen mellan strängarna efter bästa synkronisering? (Avsåg författaren troligen detta ord? Är det felstavat? I så fall hur?) Lokal distans: d[i,j] = om A[i] = B[j]; annars =. Global distans: D[i,j] = d[i,j] + Min(D[i-,j], D[i-,j-], D[i,j-]) D[,] = d[,] För- och nackdelar med ordmönsterigenkänning + Kräver ej fonetisk beskrivning Lätt för användare att lägga till nya ord + Koartikulation inom ord tas om hand - Koartikulation i ordgräns tas ej om hand - Kräver inläsning av alla ord vid träning - Separat test av varje ord i vokabulären Långsam vid stor vokabulär - Spektralt distansmått olämpligt - Små skillnader kan vara mer betydelsefulla än stora En fonetisk, sannolikhetsbaserad inriktning behövs Talteknologi [ 5 ] Sannolikhetsbaserad igenkänning Bayes regel för betingade sannolikheter P( Ord / Akustik ) = P( Akustik / Ord ) P( Ord ) P( Akustik ) P(Ord/Akustik) är a posteriori sannolikheten för en ordföljd givet den akustiska informationen. P(Akustik/Ord) är sannolikheten att ordföljden genererar den akustiska informationen och beräknas i ett träningsmaterial. P(Ord) ges av språkmodellen och är a priori sannolikheten för ordföljden. P(Akustik) kan ses som en konstant eftersom den är oberoende av ordföljden och kan ignoreras Kombinerar akustisk och språklig kunskap! Talteknologi [ 5 ] Dolda Markovmodeller HMM, Hidden Markov Models From Bourlard & Morgan Connectionist Speech Recognition - A Hybrid Approach 994 Talteknologi [ 52 ] En enkel Markovprocess En Markovprocess är en produktionsprocess processen består av en följd av tillstånd (states) som t ex producerar en följd symboler sannolikheten att gå från ett tillstånd till ett annat benämns övergångssannolikhet. förloppet beror enbart på det aktuella tillståndet, inte på historien Nederbörd Synlig Markovprocess Exempel: Vädret Molnigt a b c Några möjliga sekvenser abc P =.35 abbcccc P =.7 aaabbccccc P =.6 Talteknologi [ 54 ] Soligt Processens tillstånd är direkt observerbart Talteknologi [ 55 ]

9 Talteknologi [ 56 ] Dold (Hidden) Markovprocess Exempel: Vädret betraktat genom en gardin Nederbörd Molnigt Soligt Processens tillstånd är inte direkt observerbar Man kan göra indirekta, relaterade observationer som ljusstyrka, skarpa skuggor, ljud av regndroppar, lyssna på radio, osv. Tre frågor vid HMM-igenkänning Med vilken sannolikhet har modellen genererat observationerna? Igenkänning; välj den modell som ger högst sannolikhet Vilken är den troligaste tillståndssekvensen? Hur bestämmer man modellparametrarna? Inlärning på känt talmaterial Talteknologi [ 57 ] HMM för taligenkänning Talsignalen betraktas som producerad av en HMM som beskrivs av tillstånd representerar ofta fonem eller delar därav övergångssannolikheter mellan tillstånd Alternativa uttal och en enkel modell av segmentdurationer (exponentialfördelning) observationssannolikheter i tillstånd VQ[]:.3 statistiska modeller av talljudens akustik VQ[2]:.6 µ: 27.3 diskreta eller kontinuerliga observationer: VQ[3]:. resp. σ: 4.6 kontinuerlig modell: sammansatt normalfördelning (Gaussian mixture) Snabbare än mönsterigenkänning på grund av sin segmentella struktur Lämplig för användande av statistiska metoder för akustik och språklig information Två algoritmer: Sannolikhetsberäkning att en HMM genererat yttrandet Viterbi: Sannolikheten är produkten av observationssannolikheter och transitionssannolikheter för den bästa tillståndssekvensen ( T ) = p( st st ) p( Ot st ) P O M t= Maximum likelihood (Baum-Welch): Sannolikheten är summan för alla tillåtna tillståndssekvenser Fonemmodeller (ej ord-) Snabbare, vokabuläroberoende Lämplig för stora vokabulärer och kontinuerligt tal Talteknologi [ 58 ] α t N ( t+ s j ) t ( i P( s j si ) + ( j) = P O α ) i= N ( O M ) = P i= α i T ( ) Talteknologi [ 6 ] Representation av allofoner - fonem med varianter (drygt 4 i svenskan) Kontextberoende allofoner trifoner, difoner, monofoner beroende på om båda, ena eller inget av de omgivande allofonerna är bestämd Varje allofon är ofta uppdelad i flera tillstånd beskriver t. ex. initiala, mediala och finala delar. Varje tillstånd bestäms med fördelningar för observationssannolikheter övergångssannolikheter HMM Viterbi-matchning HMM-modell mot ett yttrande Förenklad algoritm för modellen nedan: for(t=; t<=t,++t) for(s=; s<=s,++s) P(t,s) = P(O t S s ) * Max[P(t-,s)*P tr (s s), P(t-,s-)*P tr (s s-), P(t-,s-2)*P tr (s s-2) ]; return( P(T,S)); Talteknologi [ 6 ] Beg Yttrande End Tid Talteknologi [ 62 ]

10 Talteknologi [ 63 ] P(W4 W2) P(W3 W) Igenkänning av ordsekvens med Viterbisökning Bygg en meningsmodell (här:: bigram) av ordmodellerna Samma sökmetod som vid enkla ord (Viterbi) W2 P(W2 W) W P(W W) P(W W2) Tid