Språkteknologiska problem specifika för japanska

Transkript

1 Språkteknologiska problem specifika för japanska Nils Liberg, 18 oktober 2003 Sammanfattning I denna uppsats beskrivs språkteknologiska problem som dyker upp vid analys av japanska. En översiktlig introduktion till det japanska språket ges, samt lösningar på bl. a. problemet att dela upp texter i enskilda ord, s.k. ordsegmentering.

2 Inledning Det ökande datoranvändandet och möjligheten att få tillgång till stora informationsmängder på internet har skapat ett växande behov av metoder för att med datorers hjälp kunna analysera språk. En mängd olika språkteknologiska tillämpningar gör det möjligt att exempelvis mata in, lagra, rätta, och söka i texter. Asiatiska språk som t ex. kinesiska, koreanska och japanska skiljer sig i många avseenden från de indoeuropeiska. Det faktum att dessa språk talas av ett mycket stort antal människor (som i fallet Kina) eller hör hemma i land med stort ekonomisk betydelse (som i fallet Japan) gör det extra intressant att studera de språkteknologiska problem som eventuellt är annorlunda för dessa språk. Bakgrund och syfte Jag är själv intresserad av japanska och har så valt att inrikta mig på detta språk i det här arbetet. Syftet med arbetet är att ge en kortare introduktion till det japanska språket och dess struktur, samt att ge en överblick av, och exempel på, språkteknologiska problem som aktualiseras vid analys av japanska och lösningsmetoder för dessa problem. Jag önskar speciellt belysa de typer av tvetydigheter som finns, då språkanalys ofta kan ses just som ett sätt att hantera sådana. Japanska en översikt Japanska hör, i sällskap med exempelvis finska och turkiska, till den agglutinerade språkgruppen. Gemensamt för dessa är att ett flertal ändelser kan fogas ihop, ofta i form av suffix, där varje ändelse kan innebära en förändring av stamordets mening. Japanska i skriven form består av tre uppsättningar symboler: Kanji är ideogram som ursprungligen lånats in från Kina. Ett ord kan representeras antingen av ett ensamt sådant tecken eller av en kombination av ett eller flera tecken. Trots att utvecklingen av tecknen i Kina respektive Japan i viss mån har divergerat, kan man alltjämt ana stora likheter utseendemässigt. Det japanska skrivsystemet skulle kunna sägas vara mer komplicerat än det kinesiska i den mening att ett och samma kanji kan ha flera olika möjliga uttal och flera olika betydelser. Den utläsning och innebörd som används bestäms av hur ett tecken kombineras こんにちは 花 火 大 会 med andra, och beror i vissa fall även på satsens semantiska tolkning. När de kinesiska tecknen importerades till Japan användes först endast det kinesiska uttalet (anpassat till det japanska språket). Efter hand kom man även att associera det japanska ord som beskrev ett visst kanjis innebörd med det tecknet, och så uppstod denna flertydighet i sätt att läsa ett tecken. Exempel: ( fyrverkeri-uppvisning ) Hiragana utgör det japanska fonetiska stavelsealfabetet, som består av alla enstaviga kombinationer av konsonanter 1 med vokalerna a, i, u, e, o. Därtill kommer ett ensamt n. Ovanstående exempel består av tecknen ko-n-ni-ti-ha. Exempel: ( god dag ) 1 Dessa konsonanter sammanfaller till stor del med svenskans, med undantag för exempelvis tonande s. Konsonanterna r och l blir i japanskan till en enda, som uttalsmässigt ligger mellan det svenska uttalet av r och l.

3 山 コンピュータ Katakana ると är (förutom bokstävernas utseende) identiskt med det ovanstående hiragana. ろまで 中 さんは11 瀋 滞 夫 陽 在 婦 ( は Skillnaden し 中 日 国 帰 遼 側 国 寧 の ligger する 妻 省 と 事 ) 予 瀋 件 浦 i användningsområde 定 陽 捜 松 だという 市 査 丈 に 内 二 で 協 面 力 中 するため 会 国 した 旅 行 中 日 に 中 同 誘 関 市 拐 係 内 され に のホテルに13 詳 しい 無 事 消 保 息 護 筋 された によ 日 ご medan hiragana används för japanska ord används katakana för låneord. Japanskan hyser en stor mängd sådana låneord, i synnerhet från engelskan. Exempel: ( dator ) Ett samlingsnamn för bokstäver ur de två alfabeten är Kana. Ett exempel på ett stycke ur en japansk tidningsartikel följer: Som exemplet ovan illustrerar 2, skrivs ideogram och bokstäver efter varandra i en enda lång följd, utan att vara separerade av blanka. Texter matas i regel in med datorstöd, där en sekvens av bokstäver från hiragana eller katakana automatiskt - dock med viss manuell rättning - konverteras till kanji, hiragana och katakana. Något som ytterligare förstärker inslaget av tvetydigheter är den stora mängd homonymer som japanskan rymmer, dvs olika ord som uttalas på samma sätt. Bland språkteknologiska problem som uppstår i japanskan kan följande nämnas: Att finna ordgränser en viktig tillämpning här är informationsökning. Att bestämma hur en sekvens bokstäver (hiragana/katakana) skall 蛙 konverteras till kanji och bokstäver (t ex. vid inmatning av text). 換 Att bestämma hur en text innehållande kanji skall konverteras till enbart 反 hiragana/katakana (t ex. vid en tillämpning av text-till-tal). 帰 還 える る Konverting från Kana till Kanji Vid översättning från Kana till Kanji stöter man väsentligen på två problem: att finna ordgränser och att bestämma vilken i en mängd av möjliga homonymer som avses. Ett exempel på homonymer är ordet kaeru, vilket kan betyda: groda utbyta ändra - återvända returnera m.m. Frasen kokodehairu är ett exempel på tvetydighet i ordgränser och kan betyda: kokodeha / iru det finns här kokode / hairu ingång här 2 Det kan vara svårt för ett ovant öga att direkt skilja på utseendet på de olika symbolerna. Som en tumregel kan sägas att tecknen som är invecklade och har många streck är ideogram, de som är enkla och runda till sin form är hiragana, samt de som är enkla men kantiga i formen är katakana.

4 Det finns många förslag på system där dessa tvetydigheter behandlas i två faser först försöker man finns ordgränser och sedan den rätta betydelsen för orden. Det har emellertid visat sig fördelaktigt att behandla dessa tvetydigheter simultant. Det kan här vara på sin plats att nyansera det tidigare använda begreppet ord. Japanska lingvister använder sig av begreppet bunsetsu, vilket ordagrant betyder fras. Bunsetsu är den minsta beståndsdel i det japanska språket som fortfarande har en semantisk tolkning. En bunsetsu utgörs typiskt av ett oberoende ord följt av noll eller fler beroende ord, i sin tur följda av eventuella postposition eller partiklar. Ett exempel är: watashiha taberarenakatta jag kunde inte äta Första bunsetsu: watashi [ jag ] ha [ämnesgivande partikel] Andra bunsetsu: tabe [ äta ] rare [uttrycker möjlighet] na katta [hjälpverb inte finnas / inte böjt till imperfekt] Inom en bunsetsu är relationen mellan tidigare och senare morfem starkt reglerad på så sätt, att tidigare morfem på ett systematiskt sätt bestämmer vilka morfem som kan följa. Dessa begränsningar finns dock inte i gränsen mellan bunsetsu och detta kombinerat med det faktum att sammansättningar kan växa obegränsat i längd, ger ett stort antal möjliga sätt att läsa meningar. Japaner använder vid läsning av en text sig av sin världskunskap och växlingen mellan de olika alfabeten, för att kunna utläsa en otvetydig mening. Metoder för analys av japansk text Här nedan visas på ett antal metoder för att dels göra morfologisk analys på japansk text, dels segmentera (dela upp i ord) sekvenser av kanji. Morfemkedjemetoden Denna metod går ut på att analysera sekvenser av morfem och sannolikheter för dessa. Till grund ligger följande viktiga statistiska iakttaganden: Omkring 90 % av alla morfem i sammansatta ord är substantiv eller prefix / suffix till substantiv. Omkring 77 % av alla morfem i sammansatta ord har kinesiskt ursprung. Omkring 93 % av de sammansatta orden är tre till fem bokstäver långa. Masahiro et. al. föreslår att varje morfem, med utgångspunkt i ovanstående, klassas enligt POS (part-of-speech), ordkategori och längd. Dessa egenskaper kan sedan användas för att begränsa sökningen bland alla möjliga sammansättningar till endast de mest sannolika. Mängden av alla möjliga beroende ord delas in i tre grupper, där den första gruppen innehåller endast de ord som har hög sannolikhet enligt ovannämnda klassningar, den andra gruppen är mer frikostig, osv.

5 Algoritmen består av upp till tre faser där dessa grupper betraktas en i taget. I första fasen söks inledningsvis alla strängar som bildar självständiga ord eller med hjälp av grammatiska regler kan sammanfogas med tidigare upptäckta ord. Sedan söks i den första gruppen (se ovan) beroende ord som enligt grammatiska regler kan kopplas samman med tidigare funna oberoende ord. Om denna sökning resulterar i alltför få funna ord, går man vidare till nästa fas där orden ur grupp två används vid sökning efter beroende ord, osv. Detta resulterar i en graf enligt figuren nedan (hämtat ur en artikel av Masahiro et. al). Alternativa stigar representerar här olika möjliga (lokala) tolkningar av insekvensen och de dubbla ringarna symboliserar slutet på en bunsetsu. Nu görs ett urval av de mest sannolika morfemsekvenserna. En vanlig heuristik för att finna den rätta uppdelningen av en japansk text är att försöka minimera antalet bunsetsu. Ett sätt att hitta sannolika kandidater där det finns flera alternativ är att finna den bästa stigen som minimerar antalet bunsetsu samt även inkludera stigar som gör mindre avsteg från grundstigen. En syntaktisk och eventuellt även semantisk analys får sedan avgöra vilken stig som representerar den mest troliga följden av bunsetsu. Segmentering av japanska kanji utan ordlista Ett problem med metoder som den ovan beskrivna är det stora tidskrävande och kostsamma arbete som krävs för att skapa och underhålla de lexikon och semantiska databaser som används. Här presenteras en teknik för att på grundval av statistik gjord på stora mängder osegmenterad text finna ordgränser i sekvenser av kanji. Viktiga tillämpningar finns bl. a. i informationsökning och nyckelordsextraktion. Problemet inskränks här till att gälla enbart sekvenser av kanji. Dessa utgör i praktiken en stor del av japansk text och är oftast den mest betydelsebringande delen av texten och därför särskilt viktiga att ta hänsyn till t ex. då man önskar göra texten sökbar. Nedan visas en metod beskriven av Rie Kubota Ando och Lillian Lee (2003). Låt ABCD EFGH representera en sekvens av åtta kanji där vi önskar avgöra om den består av två delar, avdelade mellan D och E. Idén bakom metoden är att jämföra frekvenser av kombinationerna ABCD och EFGH som ligger på vardera sidan av vår förmodade ordgräns med frekvensen av t ex. BCDE och CDEF som löper över gränsen. Om vår förmodan är riktig kan vi förvänta oss att frekvensen av de senare orden är mycket lägre än för de riktiga orden ABCD och EFGH. Bokstavsföljden som löper över gränsen är troligen av en slumpvis

6 karaktär och borde således dyka upp mer sällan i texter. Också viktigt att notera är att följden BCDE, som har tre tecken som är del av ett ord, skulle kunna vara mer frekvent än följden CDEF som har två tecken i vardera ord. Man kan resonera som så, att ordet ABCD ibland följs av ord som börjar på E, men att det följs av följden EF är mindre troligt. Rie Kubota Ando och Lillian Lee visar hur de bildar en indikatorfunktion som besvarar frågan om ABCD respektive EFGH är vanligare än en sekvens som går över den misstänkta ordgränsen mellan D och E. Om de förstnämnda är mest vanliga erhålls värdet 1, annars 0. Genom att summera indikatorvärdet för olika N och för alla sekvenser som löper över den misstänkta gränsen fås ett värde som kan jämföras för olika misstänkta gränser. Enligt ovanstående resonemang är det troligt att denna når ett lokalt maximum när en giltig ordgräns träffas på (visas i bilden ovan). Erfarenhet visar att det även lönar sig att förmoda existensen av en ordgräns då summan av indikatorvärdena når ett visst tröskelvärde (den streckade linjen i bilden). Eftersom det för positionerna i kanterna av en sekvens inte finns lika många N-gram, normeras summas med det faktiska antalet som existerar. Det bör tilläggas att det finns mer avancerade sätt att jämföra förekomster av N- gram och korrelationen mellan sådana. En fördel med metoden ovan är dock att det finns relativt få 社 長 兼 業 務 部 長 parametrar att bestämma (N och tröskelvärdet). Med hjälp av endast en mindre mängd träningsdata kan dessa parametrarna framgångsrikt ställas in. 社 長 兼 業 務 部 長 Segmentering av japanska kanji med ordlista Sproat et al. (1996) ger en metod för att segmentera kanjisekvenser med hjälp av en ordlista genom att välja ut de ord som är vanligast förekommande först. För att förklara lösningen använder vi oss av det tvetydiga ordet, som kan delas upp på följande sätt: 社 業 (VD båda-två business arbetsledare) 兼 長 (VD verksamhet vid sidan av Tsutomu (namn) arbetsledare), varav 部 務 det första är det korrekta. Metoden använder sig av en ordlista representerad som en ändlig-automat-omvandlare 長 社 長 (eng. finite state transducer). Detta är en speciell typ av ändlig automat där varje : chou :sha övergång består av ett par, i:o, där i ε : ε läses och o skrives ut då övergången följs. I bilden nedan visas ett :gyou :mu ε : ε exempel på ett lexikon representerad i denna form. Om vi skulle ge : ken ε : ε som inmatning skulle vi erhålla shachou som utmatning. Denna : bu ε : ε utmatning skulle kunna kompletteras vid ε-övergångarna till :chou 兼

7 兼 höger för att ge yttligare information om t ex. ordklass. 社 社 長 兼 業 務 部 長 Automaten utökas nu med sannolikheter för varje ord vid respektive ε-övergång. Dessa representeras typiskt som den negativa logaritmen av sannolikheten och betecknar 長 så kostnaden för 兼 業 orden. Övriga 業 務 部 övergångar tilldelas kostnad noll. Genom att lägga till en övergång från det accepterande tillståndet tillbaka till starttillståndet (den streckade linjen i ovanstående figur) kan vår modell nu användas för att beskriva en följd av ord där vi mellan varje ord matar ut ett +. För ordet erhåller vi två möjliga följder av tillstånd: :mu :gyou :sha :mu : bu :chou : ken :gyou :chou Då varje ε-övergång har en associerad (om än inte i figuren utmärkt) kostnad, önskar 長 社 長 業 長 vi i enlighet med det tidigare resonemanget finna den stig som har den lägsta summan av kostnader. Detta åstakoms med hjälp algoritmen Viterbi. Om vi skulle ha tillgång till tillförlitliga sannolikhetsuppskattningar skulle vi då erhålla den riktiga uppdelningen: shachou+kengyou+mu+buchou (svarande mot + + ). Resultat Kanjisekvenser kan med ganska hög tillförlitlighet delas upp i delord. Metoden ovan som inte använde ordlista har kunnat visas ge en ordprecision på upp till 85% och en täckning runt 75 %, vilket måste sägas vara ett gott resultat. Utvärderingen av metoden med ordlista är en aning mer svårtolkad, men man har här i alla fall lyckats få 62 % precision och 81 % täckning på segmentering av kinesiska namn 3. 務 部 + Referenser Sproat, R., Shih, C., Gale, W. and Chang, N. (1996). A stochastic finite-state word-segmentation algorithm for Chinese, Computational Linguistics, 22 (3), Ando, R.K. and Lee, L. (2003). Mostly-Unsupervised Statistical Segmentation of Japanese: Applications to Kanji, ANLP First Conference of the NAACL, pp , Abe, M., Y. Oshima, K. Yuura and N. Takeichi. (1986). A Kana-Kanji Translation System for Non- Segmented Input Sentences Based on Syntactic and Semantic Analysis, Proceedings of the Eleventh International Conference on Computational Linguistics, Yoshiko Fujinami. (1996) An implementation of Japanese grammar based on HPSG. Master's thesis, Department of Articial Intelligence. University of Edinburgh, Edinburgh. citeseer.nj.nec.com/fujinami96implementation.html Masahiro Abe, A Kana-Kanji Translation System for Non-Segmented Input Sentences Based on syntactic and Semantic Analysis, Central Research Laboratory, Hitachi,.Ltd. Kokubunji, Tokyo, Japan 3 Den senare metoden är avsedd för kinesiska men går naturligtvis att använda även för japanska. Man skall dock vara försiktig med att jämföra värdena för de två metoderna med varandra.