Morfologisk analys av japanska verb

Morfologisk analys av japanska verb Rishie Sharma 9 januari 2013 1 Bakgrund Detta projekt utfördes höstterminen 2012 på Kungliga Tekniska Högskolan i kursen Språkteknologi (DD2418). Tanken med projektet var att ta fram en funktion som givet ett japanskt verb i vilken form som helst lemmatiserar verbet och ger en kort beskrivning om vilken form verbet är i. 1.1 Lexikonet Lexikonet jag har använt är det fritt tillgängliga EDICT [1] som är ett väldigt omfattande japansk-engelskt lexikon i digitalt format med över 160 000 uppslagsord. EDICT är fritt att använda med följande kriterium från dess hemsida: EDICT can be freely used provided satisfactory acknowledgement is made in any software product, server, etc. that uses it. Lexikonet är del av ett projekt startat av Jim Breen från Monash University och används i till exempel det populära Denshi Jisho [2] av Kim Ahlström. 1.2 Kort om skriven japanska Det skrivna japanska språket består av 3 olika skriftspråk: hiragana, katakana och kanji. Räknar man också med alfabetet (romaji) blir det 4. Japanerna hade från början inget eget skriftspråk och använde sig enbart av kinesiska tecken (kanji). Japanska är dock väldigt olikt kinesiska och därför passade de kinesiska tecknena inte särskilt bra för att beskriva japanska partiklar, böjningar och ljud. Från skrivstilsvarianter av de kinesiska tecknena utvecklades med tiden de ljudbaserade skriftspråken hiragana och katakana. Som i kinesiskan finns inga markerare som visar var ord börjar och slutar. Välskriven japanska bör ha en god balans mellan de tre olika skriftspråken. Om det är obalans blir det svårt att läsa och avgöra var ord börjar och slutar. 1.3 Japanska verbformer I japanska böjs inte verb beroende på numerus som i engelska: he runs, they run. Verb böjs inte heller beroende på pronomen som i många romanska språk som franska: mange, manges, mangeons etc. På så sätt är japanska likt svenska. I svenska finns dock en tydlig skillnad mellan en verbböjning som ätandes och en sammansättning med hjälpverb som hade kunnat äta på grund av mellanrummen. I japanska där det inte finns några mellanrum finns ingen sådan tydlig distinktion. Alla hjälpverb kommer också som ett prefix till verben i japanska vilket förstärker idéen om att det är verbböjningar man har att göra med. Det som jag har valt att se som verbformer på japanska skulle alltså i de flesta fall motsvaras med en sammansättning med en eller flera hjälpverb och/eller ord som inte, om, råkade, låt med flera på svenska. Som exempel är grundformen äta på japanska taberu och äter inte är tabenai medan åt inte är tabenakatta. Ett mer komplicerat exempel är taberarenakattara som skulle motsvaras av om (jag) inte kunde äta där (jag) bara är insatt på grund av subjektstvånget i svenska. Studerar man formerna noga ser man att stammen tabe inte förändras vilket är sant för alla verb utom 3 oregelbunda verb. 2 Analys Eftersom stammen aldrig förändras är det inte särskilt svårt att lemmatisera i japanska. Metoden jag har använt är att skapa en lista av verbstammar. Varje verbstam associeras sedan med en eller flera verbklasser 1

(två olika verb kan ha samma stam). För att kunna klara av oregelbundna verb får varje oregelbundet verb en egen klass. För varje verbklass har jag sedan försökt skapa en omfattande lista av möjliga verbböjningar med tillhörande beskrivningar vilket visade sig vara svårare än jag trodde. I lexikonet EDICT finns 25 verbklasser men jag har endast använt mig av de 15 vanligaste. 2.1 Verbform, eller inte? Ingen av de listor över japanska verbformer som jag kunde hitta var så fullständiga som jag ville att de skulle vara. Jag började därför skapa min egen lista där jag tog med alla verbformer jag kunde hitta och hört talas om, men ganska snart stötte jag på problem. Vissa av verbformerna kan i sig själv böjas. Det finns till exempel en verbform för att uttrycka att man kan göra något. Med verbet att äta, taberu, får man då formen att kunna äta, taberareru. Men den verbformen kan i sin tur ses som ett eget verb som också kan böjas, till exempel blir kunde äta, taberareta. Självklart går det dock inte att säga att kunna kunna äta, till exempel. Det är också svårt att beordra någon att kunna äta, vad är imperativformen av att kunna? Problemet är alltså att vissa verbformer kan i sin tur böjas som självständiga verb, fast inte nödvändigtvis på alla möjliga sätt. Därmed uppstår det snabbt många svåra frågor om huruvida det går att uttrycka sig på ett visst sätt på japanska eller inte, som jag med min begränsade kunskap av japanska inte kan besvara. Till exempel så går det att bilda en passiv kausativ form genom att böja den kausativa formen tabesaseru till tabesaserareru, men det går inte att böja den passiva formen taberareru till en kausativ form taberaresaseru. Frågan är dock hur stort problem det är att släppa igenom former som inte är grammatiskt korrekta för det ändamål vi har tänkt oss. Vårt mål är att ge information om korrekta verbformer snarare än att avgöra om en verbform är korrekt. Alltså har vi bara anledning till att vara restriktiva om vi vill hitta verb i en längre text. Då vill vi inte råka matcha något som en verbform som inte är det. Om man till exempel tillåter na-ändelsen med betydelsen av en negativ befallning på former av verbet som inte är grundformen kommer man att tolka tabeteiruna- som något i stil med håll inte på och ät när det egentligen betyder ungefär (jag) äter verkligen. När jag gjorde verbformslistan var det också svårt att avgöra vad som kan sägas vara en verbform och vad som kan sägas vara ett uttryck igen på grund av att det saknas mellanrum. En vettig indelning är att se alla former som är sammansättningar av två självständiga ord som uttryck, fast då skulle alla te-former vara uttryck inklusive teiru-formen vilket inte är intuitivt eftersom den är väldigt lik -ing formen i engelskan. Därför har jag tagit med alla te-former som verbböjningar men inte gått längre än så och undvikit uttryck som...koto ga dekiru och...ou to suru. En sammanfattning av ungefär (förändringsbenägen) de verbformerna som används för verbet att äta, taberu, som är ett så kallat ru-verb eller godan-verb finns bifogat i Bilaga 1. 2.2 Segmentering Som en nybörjare av japanska behöver man givetvis slå upp många ord. Men ganska snabbt stöter nybörjaren på ett antal problem. Ett problem är att i lexikonet finns ord men du har inget sätt att avgöra var ord börjar och slutar i den text du studerar. Dock blir det lättare ju fler ord du lär dig eftersom om du kan orden som omger ordet du inte kan är det trivialt att se vad som är det ord du inte kan. 2.2.1 Verbidentifiering För att vara nybörjarvänligt bestämde jag mig för att tillåta inte bara verb utan en godtycklig sträng av japansk text. Programmets uppgift är då att leta upp de verb som finns i texten, lemmatisera dem och beskriva deras verbformer. Vill man bara hitta verben i meningen kan man börja med att leta efter verbformer av längd n där n är längden på indatat. Sedan kan man fortsätta och leta efter verb av längd n 1 och fortsätta att iterera så ända ned till en längd av 1. På så sätt är man helt säker på att man hittat de verb som faktiskt finns i texten, med nackdelen att man kan få många verb som inte finns i texten också. För att illustrera är en rimlig uppdelning av oiegakurisumasunafuinkininatteta o ie ga kurisumasu na fuinki ni natteta där natteta är det enda verbet i texten. Med den ovannämda metoden skulle man hitta följande verb i texten: 2

Böjning kininatteta kininatte ninatteta natteta ninatte natte nina Grundform kininaru kininaru ninau naru ninau naru niru Av sju funna verb är endast det tredje, natteta, korrekt. Detta gör att denna metod inte är särskilt användbar för en nybörjare eftersom som han eller hon fortfarande måste lyckas identifiera vilken av dessa sju som är korrekt. 2.2.2 En enkel heuristik Om kan man lösa problemet av att dela upp texten i ord, segmentera, helt korrekt kan man också lösa problemet av att hitta verben i texten helt korrekt. I Speech and Language Processing [3] nämns att vid ordsegmentering av kinesiska fungerar en väldigt simpel heuristik förvånansvärt bra. Man börjar från vänster och försöker matcha ett så långt ord som möjligt, sedan forsätter man från där man slutade och försöker igen matcha så långt som möjligt. Denna algoritm verkar fungera bättre i språk med korta ord som kinesiska där medelordlängden är 2,4 tecken än i språk med långa ord som engelska enligt Jurafsky&Martin. Japanska har väldigt många kinesiska låneord men ordlängden är i regel längre än i kinesiska och vid mina tester skulle jag säga att heuristiken fungerar ganska bra snarare än förvånansvärt bra. Problemet är när det är många hiragana (ett av skriftsystemen som bygger på ljud) i rad och i synnerhet när grammatiska partiklar, som alltid skrivs med hiragana, följs av ord skrivna med hiragana. I välskriven text med mycket kanji (japanska kinesiska tecken) och kinesiska låneord, typ nyhetstext, gör heuristiken bättre ifrån sig. Till exempel skulle den tidigare nämnda texten o ie ga kurisumasu na fuinki ni natteta felaktigt segmenteras till o ie ga kurisumasu na fuinki ninatteta om natteta skrivs med hiragana vilket det oftast görs. ni är här då en grammatisk partikel som bör stå för sig själv. För att få ett hum om hur bra heuristiken gör ifrån sig valde jag slumpmässigt ut 20 korta texter på japanska från facebook med en sammanlagd längd på 1122 tecken och använde den ovannämnda heuristiken för att ordsegmentera. Med undantag för felstavningar, namn och adjektivböjningar gjorde heuristiken 14 fel där följdfel inte räknats som extra fel. 9 av felen berodde på att en grammatisk partikel följdes av ett ord skrivet med hiragana, 4 av felen berodde på att det var många ord skrivna med hiragana i rad och 1 fel var ett mer esoteriskt fel som är svårt att förklara utan att gå in på detaljer om japanska. Jag valde också ut några texter från den japanska nyhetssidan Asahi [4] på sammanlagt 1076 tecken. Heuristiken gjorde den här gången 7 fel där 6 fel var av typen där en partikel följs av ett ord skrivet med hiragana och 1 fel var på grund av att flera ord var skrivna med kanji på rad. 2.2.3 En lite annorlunda heuristik I ett försök att undvika problemet när grammatiska partiklar följs av ord skrivna med hiragana prövade jag en mer komplicerad heuristik. Man börjar med att leta efter det längsta ordet som matchar i texten oberoende av startposition och väljer matchningen längst till höger när det finns flera matchningar av samma längd för att undvika det ovannämnda problemet. Sedan delar man in texten i kvarvarande text till vänster om matchningsordet, kvarvarande text till höger om matchningsordet och applicerar heuristiken rekursivt på de två delar. På facebooktexten gjorde den här heuristiken 8 fel. 4 av felen var på grund av att valet att ta den längsta till höger när det är flera ord av samma längd inte var rätt svar utan man skulle ha hållt sig till vänster. 3 av felen var på grund av att den längsta matchningen inte var rätt ord och 1 fel var samma esoteriska fel som med den enkla heuristiken. På nyhetstexten gjorde heuristiken 2 fel. Ett fel var på grund av att många ord var skrivna med kanji på rad och ett annat fel var på grund av att heuristiken borde ha valt den längsta matchningen till vänster istället för till höger i det fallet. 3

3 Avslutning Av sammanlagt 2198 tecken gjorde den enkla heuristiken 21 fel och den mer komplicerade heuristiken gjorde 10 fel. Detta antyder att den komplicerade heuristiken gör lite bättre ifrån sig generellt sätt. Om jag skulle försöka göra en ännu bättre heuristik skulle jag använda mig av den enklare heuristiken och införa en undantagsregel. Den regeln skulle vara: om algoritmen står vid en hiragana som skulle kunna vara en partikel och den längsta matchningen du kan få från nästa tecken är lika lång eller längre som den längsta matchningen du kan få från där du står nu, då ser du tecknet du står vid som en grammatisk partikel och ensamt ord. Regeln är lite omständig att uttrycka i ord men simpel och jag tror att regeln skulle göra den enkla heuristiken minst lika bra som den komplicerade heuristiken samtidigt som den skulle vara mycket snabbare. Jag har implementerat algoritmerna i Python och gjort en hemsida som använder sig av algoritmerna där man kan pröva på att segmentera japanska på http://www.nada.kth.se/~rishie/analyser/analyser.php. Referenser [1] Jim Breen. The EDICT Dictionary File. http://www.csse.monash.edu.au/~jwb/edict.html. [2] Kim Ahlström. Denshi Jisho - Online Japanese Dictionary. http://jisho.org/. [3] D. Jurafsky and J.H. Martin. Speech And Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition. Prentice Hall, 2009. [4] The Asahi Shimbun. http://www.asahi.com/. 4

Bilaga 1: Verbformer för 食べる (taberu) - att äta Notera att följande förklaringar och översättningar i vissa fall är mycket krystade på grund av brist på passande motsvarigheter. 食べる grundform äta/äter 食べた dåtid åt 食べない negativ inte äta/äter inte 食べなかった negativ dåtid åt inte 食べれば konditionalis om (jag) äter/åt 食べたら "dåtids"-konditionalis om (jag) äter/åt 食べなければ negativ konditionalis om (jag) inte äter/åt 食べなかったら negative "dåtids"-konditionalis om (jag) inte äter/åt 食べます artig äta/äter 食べました artig dåtid åt 食べません artig negativ inte äta/äter inte 食べませんでした artig negativ dåtid åt inte 食べますれば artig konditionalis (ovanlig) om (jag) äter/åt 食べましたら artig "dåtids"-konditionalis om (jag) äter/åt 食べませんでしたら artig negativ "dåtids"-konditionalis om (jag) inte äter/åt 食べよう förslag låt oss äta 食べましょう artigt förslag låt oss äta 食べろ befallning ät! 食べるな negativ befallning ät inte! 食べず formell "utan"-form utan att äta 食べたり uppräkningsform äter/åt "och sånt" 食べないで negativ uppmaning "utan"-form ät inte utan att äta 食べなくて negativ konjunktionsform äter/åt inte och 食べなくちゃ talspråkligt "måste" måste äta

食べなきゃ talspråkligt "måste" måste äta 食べないと talspråkligt "måste" måste äta 食べて konjunktionsform uppmaning äter/åt och ät 食べてください artig uppmaning varsågod och ät 食べ formell konjunktionsform äter/åt och 食べな talspråklig mjuk befallning ät 食べなさい mjuk befallning ät (är du snäll) 食べながら medan medan (jag) äter Böjbara former 食べられる potentialis passiv att kunna äta bli uppäten/äts 食べれる talspråklig potentialis att kunna äta 食べさせる kausativ mata/låta äta/tvinga äta 食べさす talspråklig kausativ mata/låta äta/tvinga äta 食べている pågående äter/håller på och äter 食べてる talspråklig pågående äter/håller på och äter 食べておる ödmjuk/dialektal pågående äter/håller på och äter 食べてくれる subjekt gör för talares skull att äta för...s skull 食べてあげる subjekt gör för dativobjekts skull att äta för...s skull 食べてもらう dativobjekt gör för subjekts skull att äta för...s skull 食べていく teiku att äta fram tills (framtid) 食べてくる tekuru att äta fram tills (nutid) 食べておく förväg äta i förväg/äta innan 食べてしまう oavsiktligt att råka äta 食べてみる pröva att pröva äta/smaka 食べとく talspråklig förväg äta i förväg/äta innan 食べちゃう talspråklig oavsiktligt att råka äta 食べちまう talspråklig oavsiktligt att råka äta 食べたい önske-form att vilja äta

Specialare 食べぬ föråldrad negativ inte äta/äter inte 食べへん dialektal negativ inte äta/äter inte 食べへんかった dialektal negativ dåtid åt inte 食べん dialektal negativ inte äta/äter inte 食べんかった dialektal negativ dåtid åt inte