Språkgranskningsverktyg, vt 2008

Transkript

1 , vt 2008 Föreläsning 2 Stavningskontroll evapet@stp.lingfil.uu.se 1

2 Föreläsningsöversikt Feligenkänning Felkorrigering Produktivt bildade ord Kort om labben 2

3 Vad förväntas av det ideala stavningskontrollprogrammet? Känna igen och larma för alla felstavade ord Känna igen och acceptera alla rättstavade ord Ge ett korrekt rättningsförslag för alla felstavade ord 3

4 Mer realistiska förväntningar Känna igen och larma för de mest frekventa och lättidentifierade felstavningarna Känna igen och acceptera alla rättstavade ord, som är tillräckligt frekventa i språket Ge ett troligt rättningsförslag för alla felstavade ord (frekvens) 4

5 Stavningskontrollens två delar 1) Feligenkänning att hitta felen 2) Felkorrigering att ge ersättningsförslag 5

6 Feligenkänning i Microsoft Word

7 Felkorrigering i Microsoft Word

8 Feligenkänning Isolerade ord stavfel som resulterar i icke-ord: och --> coh Ord i kontext stavfel som resulterar i riktiga ord (real word errors): jag er dålig på att stava språk teknologi är kul bättre korrigeringsförslag: det är sårt att stava Word 2003 föreslår: såret, svårt, sårat, såt, sått 8

9 Feligenkänningsstrategier Trigram av tecken Larmar för ovanliga teckenkombinationer Används främst inom OCR Lexikon Fullformslexikon eller stamlexikon Lexikonstorleken avgörande: För stort lexikon = många fel missas (låg täckning) För litet lexikon = många falska alarm (låg precision) 9

10 Feligenkänning mha lexikon (1) Problem: språket är produktivt omöjligt att lista alla ord i lexikonet Brist på täckning kan lura skribenten att faktiskt stava fel, t. ex. särskriva sammansättningar: jätte trött 10

11 Feligenkänning mha lexikon (2) Kompletterande strategier: Morfologiska regler för t.ex. avledningar Sammansättningsregler Egennamnsigenkänning Samförekomst Tillåt användaren att lägga till egna ord i lexikonet 11

12 Feligenkänning: sammansättningar (1) Enklast strategi: ord = ord + ord dator + lingvistik = datorlingvistik Förfinad strategi: ord = förled + ord flicka + klänning = flickklänning äpple + paj = äppelpaj kvinna + parti = kvinnoparti cigarr + rök = cigarrök 12

13 Feligenkänning: sammansättningar (2) Lösning: Lista alla fogeformer i lexikonet Problem: Sammansättningar bildas rekursivt och fogeformen kan ändras i flerledade sammansättningar: kakdeg > pepparkaksdeg barnbokhylla/barnbokshylla 13

14 Feligenkänning: sammansättningar (3) Sms-analys minskar antalet falska alarm Sms-analys kan dock öka antalet missade fel! Missade fel i Word97: kotakt makelera medalg cykelsäll kontakt makulera medalj cykelställ särkskilt särskilt 14

15 Några frågeställningar kring feligenkänning Hur göra med sällsynta/fackspråkliga ord, som ligger nära felskrivningar av frekventa ord? verv/värv (verv = kraft, livfullhet, glöd enligt SAOL) boke/boken (boke = bokvirke) Dialektala ord? Hur sträng bör man vara? (mej, direktörn) 15

16 Felkorrigeringens två delar 1) Ta fram ett antal korrigeringskandidater 2) Rangordna korrigeringskandidaterna 16

17 Felkorrigering: feltyper Kompetensfel Fonetiska fel: restaurang ---> resturang Homofonfel: gott ---> gått Performansfel Insättning språkteknologii Borttagning spåkteknologi Substitution sprokteknologi Transposition spårkteknologi 17

18 Felkorrigering: feltyper Kompetensfel eller performansfel? tunnt Feltyp ofta inte nödvändig att fastställa för att få fram lämpligt korrigeringsförslag, dock: Kompetensfel: hemta ---> hämta, hämtade Performansfel: hemta --> hemtam 18

19 Felkorrigering: empiriskt grundade iakttagelser De flesta felstavningar är performansfel (insättning, borttagning, substitution eller transposition) De flesta felstavningar påverkar inte ordets längd med mer än en bokstav Första bokstaven i ordet är sällan felaktig Tangenternas placering påverkar Bokstävernas frekvenser påverkar 19

20 Korrigeringsstrategier Minimum Edit Distance Likhetsnycklar N-gramsbaserade tekniker Regelbaserade tekniker Probabilistiska tekniker Neurala nätverk 20

21 Minimum Edit Distance Stränglikhet Minsta antalet editeringsoperationer som behövs för att omvandla en sträng till en annan Editeringsoperationer: Insättning Borttagning Substitution (alt. borttagning + insättning) Transposition (alt. borttagning + insättning) 21

22 Minimum Edit Distance dist(0,0) = 0 dist(i,0) = i dist(j,0) = j dist(i-1, j) + 1 (insättning) dist(i,j) = min dist(i, j-1) + 1 (borttagning) dist(i-j, j-1)+ d(s i, t j ) (substitution) där i är strängen s fram till i:te tecknet, och j är strängen t fram till j:te tecknet, och d(s i,t j ) är 0 om s i =t j och 1 i övriga fall 22

23 Minimum Edit Distance r ä n g n a r e g n a r 23

24 Minimum Edit Distance r ä n g n a r e g n a r substitution + insättning + borttagning = 3 24

25 Minimum Edit Distance 25

26 Minimum Edit Distance 26

27 Minimum Edit Distance 27

28 Likhetsnycklar Strängar matchas mot nycklar Ord som stavas på liknande sätt har likadana eller nästan likadana nycklar 28

29 Likhetsnycklar: SOUNDEX (1) SOUNDEX: Indexing on Sound Odell & Russel, 1918 (!) Fonetisk likhet Vokaler ignoreras Konsonanter grupperas tillsammans om de liknar varandra fonetiskt Användning: Flygbokningssystem (Davidson 1962) 29

30 Likhetsnycklar: SOUNDEX (2) 1) Behåll det första tecknet 2) Ersätt efterföljande tecken enligt nedan: a, e, i, o, u, y, h, w: 0 b, f, p, v: 1 c, g, j, k, q, s, x, z: 2 d, t: 3 l: 4 m, n: 5 r: 6 3) Ta bort alla nollor 4) Ta bort alla på varandra följande dubbletter 5) Spara de tre första siffrorna 30

31 Likhetsnycklar: SOUNDEX (3) disappoint disapont ---> D > D215 Ersättningsförslag för disapont: disband, disbands, disbanded, disbanding, disbandment, disbandments, dispense, dispenses, dispensed, dispensing, dispenser, dispensers, dispensary, dispensaries, dispensable, dispensation, dispensations, deceiving, deceivingly, despondent, despondency, despondently, disobeying, disappoint, disappoints, disappointed, disappointing, disappointedly, disappointingly, disappointment, disappointments, disavowing 31

32 N-gramsbaserade tekniker Stränglikhet: andelen gemensamma n-gram (trigram) Likhet(i, j) = 2C/(n+n ) där n är antalet trigram i i och n är antalet trigram i j och C är antalet trigram gemensamma för i och j 32

33 N-gramsbaserade tekniker Hur lika är concider och consider? ##c #co con onc nci cid ide der er# r## ##c #co con ons nsi sid ide der er# r## C (antalet gemensamma trigram) = 7 n (antalet trigram i concider) = 10 n (antalet trigram i consider) = 10 Likhet(concider, consider) = 2C/n+n = 14/20 = 0,70 33

34 N-gramsbaserade tekniker Hur lika är concider och cider? ##c #co con onc nci cid ide der er# r## ##c #ci cid ide der er# r## C (antalet gemensamma trigram) = 6 n (antalet trigram i concider) = 10 n (antalet trigram i cider) = 7 Likhet(concider, cider) = 2C/n+n = 12/17 = 0,71 34

35 N-gramsbaserade tekniker Modifierat likhetsmått: Likhet(i, j) = C/max(n, n ) Likhet(concider, consider) = 7/10 = 0,70 Likhet(concider, cider) = 6/10 = 0,60 35

36 Kort om labben Enkelt stavningskontrollprogram: Förprocessning och tokenisering Orduppslagning Versaler och egennamn Sammansättning Avledning Examination: skriftlig rapport, 1-2 personer Inlämning: 12 maj (mejlledes, har inget postfack) 36

37 Uppgift Antag att en skribent av misstag har skrivit in käran. Antag vidare att ett stavningskontrollprogram har kommit fram till att det rör sig om en felstavning och att möjliga ersättningsförslag är tjäran och kärran. Hur skulle dessa ersättningsförslag rangordnas enligt det (modifierade) n-gramsbaserade måttet? Hur skulle ersättningsförslagen rangordnas enligt Minimum Edit Distance? Kommentera resultatet: Är rangordningen lika bra för alla typer av skribenter? Skulle båda alternativen finnas med bland ersättningsförslagen om man istället hade använt sig av likhetsnycklar på samma sätt som i SOUNDEX? Varför/varför inte? Kommentera! 37

38 Referenser Karen Kukich, 1992, Techniques for Automatically Correcting Words in Text Daniel Jurafsky & James H. Martin, 2000 (avsnitt ), Speech and Language Processing Stina Nylander, 2000, Statistics and Phonotactical Rules in Finding OCR errors. Roger Mitton, 1996, Spellchecking by Computer. 38