A graphotactic language metric En grafotaktisk språkmetrik

Transkript

1 A graphotactic language metric En grafotaktisk språkmetrik Joar Bagge 16 maj 2013 Handledare: Henrik Hult Timo Koski

2 Innehåll Introduktion Problem Problemformulering Varför är det här intressant? Modell Att modellera språk Markovkedjor Vägen mot språkträdet Insamling av textdata Geografisk spridning Exempel på övergångsmatris Att mäta avståndet Att bygga ett träd Språkidentifiering Sammanfattning

3 Vad är det här för språk? Is éard is fisic ann ná eolaíocht nádúrtha a bhfuil mar chuspóir aige imscrúdú a dhéanamh ar dhamhna agus gluaisne an damhna trí spás agus am, mar aon le coincheapa atá bainteach leis amhail fuinneamh agus fórsa. Ag caint go forleathan, anailís an nádúir atá ann, chun teacht ar thuiscint ar iompar na cruinne.

4 Vad är det här för språk? Is éard is fisic ann ná eolaíocht nádúrtha a bhfuil mar chuspóir aige imscrúdú a dhéanamh ar dhamhna agus gluaisne an damhna trí spás agus am, mar aon le coincheapa atá bainteach leis amhail fuinneamh agus fórsa. Ag caint go forleathan, anailís an nádúir atá ann, chun teacht ar thuiscint ar iompar na cruinne. Svar: iriska

5 Vad är det här för språk? Fizikia ni sayansi inayohusu maumbile ya Dunia, ambayo inahusu asili ya viungo vya ulimwengu. Ni taaluma kutoka shina la sayansi yenye kushughulika na Maada na uhusiano wake na Nishati.

6 Vad är det här för språk? Fizikia ni sayansi inayohusu maumbile ya Dunia, ambayo inahusu asili ya viungo vya ulimwengu. Ni taaluma kutoka shina la sayansi yenye kushughulika na Maada na uhusiano wake na Nishati. Svar: swahili

7 Vad är det här för språk? De natuurkunde of fysica is van oorsprong de tak van wetenschap die algemene eigenschappen van materie, straling en energie onderzoekt en beschrijft, zoals kracht, evenwicht en beweging, fasen en faseovergangen, straling, warmte, licht, geluid, magnetisme en elektriciteit, voor zover hierbij geen scheikundige veranderingen optreden.

8 Vad är det här för språk? De natuurkunde of fysica is van oorsprong de tak van wetenschap die algemene eigenschappen van materie, straling en energie onderzoekt en beschrijft, zoals kracht, evenwicht en beweging, fasen en faseovergangen, straling, warmte, licht, geluid, magnetisme en elektriciteit, voor zover hierbij geen scheikundige veranderingen optreden. Svar: nederländska

9 Vad är det här för språk? Is éard is fisic ann ná eolaíocht nádúrtha a bhfuil mar chuspóir aige imscrúdú a dhéanamh ar dhamhna agus gluaisne an damhna trí spás agus am, mar aon le coincheapa atá bainteach leis amhail fuinneamh agus fórsa. Ag caint go forleathan, anailís an nádúir atá ann, chun teacht ar thuiscint ar iompar na cruinne.

10 Vad är det här för språk? Fizikia ni sayansi inayohusu maumbile ya Dunia, ambayo inahusu asili ya viungo vya ulimwengu. Ni taaluma kutoka shina la sayansi yenye kushughulika na Maada na uhusiano wake na Nishati.

11 Vad är det här för språk? De natuurkunde of fysica is van oorsprong de tak van wetenschap die algemene eigenschappen van materie, straling en energie onderzoekt en beschrijft, zoals kracht, evenwicht en beweging, fasen en faseovergangen, straling, warmte, licht, geluid, magnetisme en elektriciteit, voor zover hierbij geen scheikundige veranderingen optreden.

12 En grafotaktisk språkmetrik grafotaktik = hur bokstäver ordnas i ord språkmetrik = avståndsmått mellan språk Det här projektet handlar om hur man kan mäta avstånd mellan språk genom att titta på hur bokstäver ordnas i text.

13 Innehåll Introduktion Problem Problemformulering Varför är det här intressant? Modell Att modellera språk Markovkedjor Vägen mot språkträdet Insamling av textdata Geografisk spridning Exempel på övergångsmatris Att mäta avståndet Att bygga ett träd Språkidentifiering Sammanfattning

14 Problemformulering Hur kan man med hjälp av statistik mäta skillnader mellan språk? Kan man använda ett statistiskt avståndsmått för att bygga upp ett språksläktträd? Kan man med hjälp av avståndsmåttet bestämma vilket språk en text är skriven på?

15 Varför är det här intressant? Att bygga ett språkträd: Se om avståndsmåttet stämmer med hur man brukar dela in språk Se om språkens historiska relationer motsvaras av mätbara skillnader Att identifiera språket hos en text: Användbart för indexering av text, t.ex. sökmotorer Automatisk översättning och tolkning av text Rättstavning, ordkomplettering osv...

16 Innehåll Introduktion Problem Problemformulering Varför är det här intressant? Modell Att modellera språk Markovkedjor Vägen mot språkträdet Insamling av textdata Geografisk spridning Exempel på övergångsmatris Att mäta avståndet Att bygga ett träd Språkidentifiering Sammanfattning

17 Att modellera språk Svårt att få med ett språks alla egenskaper i en modell Nöjer oss med att fokusera på hur ofta olika bokstäver står bredvid varandra i olika språk Tittar på språk som använder det latinska alfabetet Markovkedjor används för att modellera språk

18 Markovkedjor En Markovkedja är en stokastisk process som rör sig mellan ett antal tillstånd i detta fall bokstäver i en text Processens framtida tillstånd beror bara av nuet, ej av det förflutna minneslöshet Sannolikheterna att gå från ett tillstånd till ett annat kallas övergångssannolikheterna de definierar entydigt Markovkedjan Övergångsgraf och övergångsmatris 0.1 b a c 0.2

19 Innehåll Introduktion Problem Problemformulering Varför är det här intressant? Modell Att modellera språk Markovkedjor Vägen mot språkträdet Insamling av textdata Geografisk spridning Exempel på övergångsmatris Att mäta avståndet Att bygga ett träd Språkidentifiering Sammanfattning

20 Insamling av textdata Målet: Att bygga upp övergångsmatriser för ett antal språk och sedan använda dem för att göra ett språkträd Träningstexter behövs för att bygga upp matriserna Som träningstexter används Matteusevangeliet samt Wikipedia Följande språk tas med: Danska Engelska Finska Franska Italienska Norska, bokmål Norska, nynorsk Portugisiska Spanska Svenska Tyska

21 Geografisk spridning pt es en fr no sv da de it fi Historisk klassificering av språk Danska Norska (Bokmål) Svenska Norska (Nynorsk) Engelska Tyska Franska Spanska Portugisiska Italienska Finska

22 Exempel på övergångsmatris a b c d ef g h ij Spanska enligt Matteusevangeliet a b c d e f g h i j k l m n o p q r s t u v w x y z a b c d ef g h ij Rader motsvarar startbokstäver k l m n o pq k l m n o pq Raderna summerar till ett r s t u v w x y z r s t u v w x y z a b c d e f g h i j k l m n o p q r s t u v w x y z Kolumner motsvarar slutbokstäver

23 Att mäta avståndet Hur ska man mäta avståndet mellan språkens övergångsmatriser? Idé: Använd en matrisnorm avståndet mellan språk A och B ges då av d(a, B) = PA P B om P A och P B är motsvarande övergångsmatriser Men det finns många matrisnormer! I det här projektet betraktades Frobeniusnormen, 1-normen, 2-normen och -normen

24 Språkavstånd för Wikipedia med 1-normen (100 MB slumvis utvald text per språk) Danish English Finnish French German Italian Nor. Nynorsk Nor. Bokmål Portuguese Spanish Swedish Danish English Finnish French German Italian Nor. Nynorsk Nor. Bokmål Portuguese Spanish Language distance [arbitrary unit] Swedish 0.6

25 Att bygga ett träd Använd språkavstånden för att göra ett dendrogram Rita en gren för varje språk Låt ett tröskelvärde δ gå från noll och uppåt För varje värde på δ, förbind språk som ligger på avstånd δ från varandra Räkna förbundna språk som en enhet när avstånd till ett tredje språk beräknas i fortsättningen kommer det minsta avståndet gälla för båda de förbundna språken

26 Dendrogram för Wikipedia med 1-normen (100 MB slumvis utvald text per språk) Portuguese Spanish Italian French Nor. Bokmål Danish Nor. Nynorsk Swedish German Finnish English Language distance [arbitrary unit]

27 Blev det vettigt då? 1-normens resultat Portuguese Spanish Italian French Nor. Bokmål Danish Nor. Nynorsk Swedish German Finnish English Historisk klassificering Danska Norska (Bokmål) Svenska Norska (Nynorsk) Engelska Tyska Franska Spanska Portugisiska Italienska Finska

28 Blev det vettigt då? 1-normens resultat Portuguese Spanish Italian French Nor. Bokmål Danish Nor. Nynorsk Swedish German Finnish English Historisk klassificering Jovars, men det finns mer att säga! Danska Norska (Bokmål) Svenska Norska (Nynorsk) Engelska Tyska Franska Spanska Portugisiska Italienska Finska Resultaten beror på vilken norm man använder Frobeniusnormen och 1-normen gav bäst resultat -normen var ganska oanvändbar Vissa språk var lättare att placera rätt än andra

29 Innehåll Introduktion Problem Problemformulering Varför är det här intressant? Modell Att modellera språk Markovkedjor Vägen mot språkträdet Insamling av textdata Geografisk spridning Exempel på övergångsmatris Att mäta avståndet Att bygga ett träd Språkidentifiering Sammanfattning

30 Språkidentifiering 99 relativt långa texter från varje språk valdes ut som testtexter 28 kapitel från Matteusevangeliet 21 kapitel från Johannesevangeliet 50 slumpmässiga artiklar från Wikipedia För varje text skapades en övergångsmatris och avståndet till de tidigare skapade matriserna från Wikipedia räknades ut Det kortaste avståndet avgjorde vilket språk texten identifierades som Frobeniusnormen fick störst andel rätt: 94 procent 1-normen kom tvåa med 83 procent 2-normen fick 72 procent -normen fick 45 procent

31 Språkidentifiering Vad texterna identifierades som Resultat från Frobeniusnormen da de en es fi fr it nn no pt sv 0 da de en es fi fr it nn no pt sv Texternas verkliga språk

32 Innehåll Introduktion Problem Problemformulering Varför är det här intressant? Modell Att modellera språk Markovkedjor Vägen mot språkträdet Insamling av textdata Geografisk spridning Exempel på övergångsmatris Att mäta avståndet Att bygga ett träd Språkidentifiering Sammanfattning

33 Sammanfattning Markovkedjor och matrisnormer har använts för att skapa språkträd identifiera språket en text är skriven på Frobeniusnormen och 1-normen är de bästa matrisnormerna för dessa syften Går att få språkträd som hyfsat stämmer överens med vad man förväntar sig Språkidentifiering är möjlig med hög träffsäkerhet för relativt långa texter Resultaten beror i hög grad på vilken matrisnorm man väljer

34 Frågor?