Maskinöversättning och språkgranskning F5 Allmänt om språkgranskning + ordkontroll

Transkript

1 Maskinöversättning och språkgranskning 2008 F5 Allmänt om språkgranskning + ordkontroll

2 Språkgranskningsverktyg Datorprogram som fungerar som skrivstöd genom att kontrollera språkriktighet och ev. stil i text. Språkriktighet och stil bedöms i relation till en given norm

3 Språkgranskningsområden Stavningskontroll Stilkontroll Avstavning Grammatikkontroll

4 Deluppgifter för ett språkgranskningsprogram Känna igen fel Diagnosticera dem Rätta el. föreslå rättelser

5 Önskemål Igenkänning fullständighet (recall) alla fel ska kännas igen träffsäkerhet (precision) inga falska alarm Diagnos korrekt diagnos ska ställas/väljas tillräckligt specifik för att ge grund för rättelse el. rättelseförslag

6 Önskemål, forts. Rättelseförslag Träffsäkerhet Formulering med hänsyn tagen till användaren

7 Olika användare Den vane användaren Journalister Tekniska skribenter Inlärare Barn etc.

8 Användaranpassning Lexikon Terminologi Grammatik Kontrollerat språk

9 Kommersiella språkgranskningsprogram för svenska WORD Tansa Skribent Scania Checker etc.

10 Språklig norm Preskriptiv, ej deskriptiv, lingvistik Skriftspråk, ej talspråk Vem fastställer normen för det svenska standardspråket? Svenska Akademien Språkrådet (f.d. Svenska språknämnden)

11 Svenska Akademien Svenska Akademien instiftades 1786 av Gustaf III. Den främsta uppgiften skulle vara att arbeta på svenska språkets "renhet, styrka och höghet", dvs. dess klarhet, uttrycksfullhet och anseende. För att uppnå det målet skulle Akademien bland annat utarbeta en ordbok och en grammatik. Svenska Akademiens ordlista Svenska Akademiens ordbok Svenska Akademiens grammatik

12 Svenska Akademiens ordlista SAOL (1986), 11 upplagan av Svenska Akademiens Ordlista c:a uppslagsord SAOL (2006), 13 upplagan Ungefärligt antal uppslagsord? Vilka stilar och ämnesområden urskiljs?

13 Användning av SAOL Huvudkälla för svensk stavning vid manuell stavningskontroll. Källa till flera svenska stavningsprogram. Uppslagsord originalversionen = grundform Manuellt bruk uppblåst version = böjningsform Maskinellt bruk

14 Ex. på uppslag i SAOL(1986) form -en s. 1 pl. -ar i sms. som gjutform, bakform 2 pl. -er skapnad, gestalt, yttre beskaffenhet -beständig -bröd -bunden -enlig -experiment -fast -fel -flaska tekn. -franska bröd -fråga s. -fulländad -fulländning -förändring -ge el. giva -givare -givning -gjuta -kurva sport. -känsla -lära -lös -löshet -maskin tekn. -massa -ord t.ex. pronomen, preposition -pressa tekn. -pressning -ren adj. -rik-rikedom -rytteri -sak -sand tekn. -skön -spruta v. tekn. -sprutning -språk -stridig -sträng adj. -svacka s. sport. -system -topp sport. -verktyg -vilja -värld 1form a 1 -an -or s. liten öppning i ugns vägg för tillförsel av blästerluft m.m. 2 -ade v. ge form åt; gestalta; skapa m.m.; sms. se under form -ad -at adj.

15 Svenska Akademiens ordbok Svenska Akademiens ordbok, SAOB, är en historisk ordbok som beskriver svenskt skriftspråk från 1521 till våra dagar. Man har hunnit från A till Trivsel. Deskriptiv, inte preskriptiv

16 Språkrådet Språkrådet (f.d. Svenska språknämnden) är Sveriges officiella språkvårdsorgan. Rådet är en del av den nya språkmyndigheten Institutet för språk och folkminnen. Språkrådet ger bland annat ut Språk- och skrivråd.

17 Mål för ordkontroll Skrivfel Fel som beror på bristande uppmärksamhet och som leder till icke-ord,t.ex. coh Rätt ord men fel i sammanhanget, t.ex. Föredraget vad intressant. Den här karten med inlagda höjdschatteringar blev årets karta både 2006 och 2007 (UNT )

18 Stavningskontroll, forts. Stavfel Fel som beror på bristande kunskap, t.ex alldrig, altid, undervisitet, åtminstonde bad design, stekt kyckling lever Tjära vän!

19 Stilkontroll Avvikelser från standardspråket Ålderdomlig, byråkratisk, talspråklig etc. Uttryck Ordval, t.ex. ity, pimpad Böjningsform, t.ex. sig/sej, de/dom Struktur, t.ex. större än jag/ större än mig; före middagen/innan middagen

20 Huvudmetoder för feligenkänning vid stavningskontroll Lexikalisk Avstämning mot lexikon (lab) Problem med produktiva ordbildningar Statistisk avstämning mot trigram (Nylander 2000) problem med täckning Grafotaktisk avstämning mot grafotaktiska regler (Nylander 2000) problem med täckning

21 Avstavning i svenska Mekanisk avstavning enkonsonantregeln En konsonant till nästa rad, men Bryt ej ck, ng som betecknar ett ljud (fonem) vid sammansättningsgräns Morfematisk avstavning Avstavning mellan ordled Den morfematiska avstavningen lanserades i SAOL 1986

22 Omskrivningsregler för stavelseigenkänning vid mek. avstavning SYLL1 (C1) V (C2) V {a, e, i, o, u,...} C1 {b, c, d, f,...} C2 {b, c, d, f,.., ck, ng,...} (från Sågvall Hein 97) Introduktion till språkteknologi 1997

23 Avstavning enl. den mekaniska och den morfematiska principen mekanisk morfematisk fyrkant fyr-kant fyr-kant ankor an-kor ank-or elitutbildning eli-tutbildning elit-utbildning andras and-ras andr-as (annan) andras and-ras an-dras (andra) bildrulle bild-rulle bild-rulle bildrulle bild-rulle bil-drulle (från Sågvall Hein 97) Introduktion till språkteknologi 1997

24 Ordfel som kräver grammatikkontroll Ett stor hus Böckerna var intressant. En av de många fallen Där samlade då hela universitetets spridda administration (UNT ) Det är tänkbart att vi flyttar ut Skandalhuset, men jag kan inte föregripa utvecklingen (UNT ) En idé har varit att göra Carolina till bli universitetets ansikte med en informationsdisk i entrén för studenter och besökare (UNT )

25 Vad förväntas av det ideala ordkontrollprogrammet? Känna igen och larma för alla felskrivna ord Känna igen och acceptera alla rättstavade ord Ge ett korrekt rättningsförslag för alla felskrivna ord

26 Mer realistiska förväntningar Känna igen och larma för de mest frekventa och lättidentifierade felstavningarna Känna igen och acceptera alla rättstavade ord, som är tillräckligt frekventa i språket Ge ett troligt rättningsförslag för alla felstavade ord (frekvens)

27 Feligenkänningsstrategier Trigram av tecken Larmar för ovanliga teckenkombinationer Används främst inom OCR Lexikon Fullformslexikon eller stamlexikon Lexikonstorleken avgörande: För stort lexikon = många fel missas (låg täckning) För litet lexikon = många falska alarm (låg precision)

28 Feligenkänning mha lexikon Problem: språket är produktivt omöjligt att lista alla ord i lexikonet Brist på täckning kan lura skribenten att faktiskt stava fel, t. ex. särskriva sammansättningar: jätte trött

29 Feligenkänning mha lexikon, forts Kompletterande strategier: Morfologiska regler för t.ex. avledningar Sammansättningsregler Egennamnsigenkänning Tillåt användaren att lägga till egna ord i lexikonet

30 Feligenkänning: sammansättningar Enklast strategi: ord = ord + ord dator + lingvistik = datorlingvistik Förfinad strategi: ord = förled + ord flicka + klänning = flickklänning äpple + paj = äppelpaj kvinna + parti = kvinnoparti cigarr + rök = cigarrök

31 Feligenkänning: sammansättningar, forts Sammansättningsanalys minskar antalet falska alarm Sammansättningsanalys kan dock öka antalet missade fel kotakt kontakt makelera makulera medalg medalj cykelsäll cykelställ särkskilt särskilt

32 Felkorrigering: feltyper Kompetensfel Fonetiska fel: restaurang ---> resturang Homofonfel: gott ---> gått Performansfel Insättning språkteknologii Borttagning spåkteknologi Substitution sprokteknologi Transposition spårkteknologi

33 Felkorrigering: empiriskt grundade iakttagelser De flesta felstavningar är performansfel (insättning, borttagning, substitution eller transposition) De flesta felstavningar påverkar inte ordets längd med mer än en bokstav Första bokstaven i ordet är sällan felaktig Tangenternas placering påverkar Bokstävernas frekvenser påverkar

34 Korrigeringsstrategier Minimum Edit Distance Likhetsnycklar N-gramsbaserade tekniker Regelbaserade tekniker Probabilistiska tekniker Neurala nätverk

35 Minimum Edit Distance Stränglikhet Minsta antalet editeringsoperationer som behövs för att omvandla en sträng till en annan Editeringsoperationer: Insättning Borttagning Substitution (alt. borttagning + insättning) Transposition (alt. borttagning + insättning)

36 Minimum Edit Distance r ä n g n a r e g n a r

37 Minimum Edit Distance r ä n g n a r e g n a r substitution + borttagning + insättning = 3

38 Likhetsnycklar Strängar matchas mot nycklar Ord som stavas på liknande sätt har likadana eller nästan likadana nycklar

39 Likhetsnycklar: SOUNDEX (1) SOUNDEX: Indexing on Sound Odell & Russel, 1918 (!) Fonetisk likhet Vokaler ignoreras Konsonanter grupperas tillsammans om de liknar varandra fonetiskt Användning: Flygbokningssystem (Davidson 1962)

40 Likhetsnycklar: SOUNDEX (2) Behåll det första tecknet Ersätt efterföljande tecken enligt nedan: a, e, i, o, u, y, h, w: 0 b, f, p, v: 1 c, g, j, k, q, s, x, z: 2 d, t: 3 l: 4 m, n: 5 r: 6 Ta bort alla nollor Ta bort alla på varandra följande dubbletter Spara de tre första siffrorna

41 Likhetsnycklar: SOUNDEX (3) disappoint disapont ---> D > D215 Ersättningsförslag för disapont: disband, disbands, disbanded, disbanding, disbandment, disbandments, dispense, dispenses, dispensed, dispensing, dispenser, dispensers, dispensary, dispensaries, dispensable, dispensation, dispensations, deceiving, deceivingly, despondent, despondency, despondently, disobeying, disappoint, disappoints, disappointed, disappointing, disappointedly, disappointingly, disappointment, disappointments, disavowing

42 N-gramsbaserade tekniker Stränglikhet: andelen gemensamma n-gram (trigram) Likhet(i, j) = 2C/(n+n ) där n är antalet trigram i i och n är antalet trigram i j och C är antalet trigram gemensamma för i och j

43 N-gramsbaserade tekniker Hur lika är concider och consider? ##c #co con onc nci cid ide der er# r## ##c #co con ons nsi sid ide der er# r## C (antalet gemensamma trigram) = 7 n (antalet trigram i concider) = 10 n (antalet trigram i consider) = 10 Likhet(concider, consider) = 2C/n+n = 14/20 = 0,70

44 N-gramsbaserade tekniker Hur lika är concider och cider? ##c #co con onc nci cid ide der er# r## ##c #ci er# r## cid ide der C (antalet gemensamma trigram) = 6 n (antalet trigram i concider) = 10 n (antalet trigram i cider) = 7 Likhet(concider, cider) = 2C/n+n = 12/17 = 0,71

45 Vidareläsning, för den som vill Karen Kukich, 1992, Techniques for Automatically Correcting Words in Text Daniel Jurafsky & James H. Martin, 2000 (avsnitt ), Speech and Language Processing Stina Nylander, 2000, Statistics and Phonotactical Rules in Finding OCR errors. Roger Mitton, 1996, Spellchecking by Computer.