Maskinöversättning och språkgranskning F6: Grammatikkontroll
Grammatikkontroll av svenska För svenska finns huvudsakligen tre olika modeller Word Scarrie Granska Scarrie och Granska är forskningsprototyper.
Allmänt om grammatikkontroll Grammatikkontrollprogrammen inriktas mot en i förväg definierad felrepertoar. Fastställs vanligen genom analys av korpusmaterial. Texten analyseras och felregler tillämpas på den analyserade texten. Utvärdering sker med avseende på recall och precision Jämförbara felrepertoarer i de svenska grammatikkontrollprogrammen
Grammatikkontroll i Word Grammatikkontrollen i Word bygger på analys med Constraint grammar, CG, och tillämpning av felregler. Analysen sker med lokala regler och resulterar i en taggad - morfologiskt analyserad och disambiguerad - version av texten. Felregler appliceras på den analyserade texten.
Grundversionen av CG Förberedande bearbetning Lexikal analys Morfologisk disambiguering Tilldelning av möjliga syntaktiska funktioner Syntaktisk disambiguering Se vidare Birn 1998, http://www.lingsoft.fi/doc/swecg/intro/
Förberedande bearbetning Tokenisering Ord Förkortningar Skiljetecken Fasta förbindelser som man vill behandla som enheter, t.ex. till hands, så snart som, som fungerar som adverb resp. konjunktion
Lexikal analys Morfologisk analys SWETWOL SVENSK TVÅNIVÅGRAMMATIK (Karlsson 1992) Tillståndsgrammatik (finite state) http://www.nada.kth.se/kurser/kth/2d1418/uppsats er04/lisa_lagerkvist.pdf Morfologisk heuristik t.ex. entreprenöriella
Anpassning av SWECG för grammatikkontroll Förberedande bearbetning Lexikal analys Morfologisk disambiguering Taggning av varje ord: @ERR och @OK Feligenkänningsregler, dvs. regler som arbetar på taggarna och väljer ut felen
Ett exempel Det finns många engelska lånord vilkas diskontinuerliga stavningen inte tycks bereda språkbrukarna några problem. Vad är fel?
Morfologisk analys många mången <ID> DET UTR/NEU INDEF PL NOM mången PRON UTR/NEU INDEF PL NOM engelska engelsk A UTR/NEU DEF SG NOM engelsk A UTR/NEU DEF/INDEF PL NOM engelska N UTR INDEF SG NOM lånord lån-ord N NEU INDEF SG/PL NOM vilkas vilken <WH><CLB><MD> DET UTR/NEU INDEF PL GEN vilken <WH> <CLB> PRON UTR/NEU INDEF PL GEN diskontinuerliga diskontinuerlig A UTR/NEU DEF SG NOM diskontinuerlig A UTR/NEU DEF/INDEF PL NOM stavningen stavning N UTR DEF SG NOM
Disambiguering många mången <ID> DET UTR/NEU INDEF PL NOM engelska engelsk A UTR/NEU DEF/INDEF PL NOM lånord lån-ord N NEU INDEF SG/PL NOM vilkas vilken <WH> <CLB> PRON UTR/NEU INDEF PL GEN diskontinuerliga diskontinuerlig A UTR/NEU DEF SG NOM stavningen stavning N UTR DEF SG NOM
Taggning Varje läsning (analys) tilldelas två taggar: en feltagg och en ok-tagg många mången <ID> DET UTR/NEU INDEF PL NOM @ERR@OK
Tillämpning av feligenkänningsregler många mången <ID> DET UTR/NEU INDEF PL NOM @OK engelska engelsk A UTR/NEU DEF/INDEF PL NOM @OK lånord lån-ord N NEU INDEF SG/PL NOM @OK vilkas vilken <WH> <CLB> PRON UTR/NEU INDEF PL GEN @OK diskontinuerliga diskontinuerlig A UTR/NEU DEF/INDEF PL NOM @OK stavningen stavning N UTR DEF SG NOM @ERR
Ex. på en regel (@w=s!(@err) ;For a word in focus, select the error tag (0 N-DEF) ;if the word itself is a noun in definite form (-2 GEN) ;if the second word to the left is a genitive (-1 A-DEF)) ;if the first word to the left is an adjective in ;definite form ================================= @w the word itself s! select @ERR error tag
Feligenkänningsgrammatiken Totalt 659 regler Till varje regel kopplas ett felmeddelande, som omfattar benämning på felet förklaring rättelse
Ett felmeddelande Benämning: Substantivets bestämdhetsform Förklaring: Kontrollera ordformen (0). Om ett substantiv styrs av en genitiv, t.ex. (-2), bör det stå i obestämd form Rättelse: (0 N DEF)=>(0 N INDEF) ==================================== Förklaring och rättelse i det aktuella exemplet: Förklaring: Kontrollera ordformen stavningen. Om ett substantiv styrs av en genitiv, t.ex. vilkas, bör det stå i obestämd form. Rättelse: stavningen => stavning
En felregel i CG Regeln har fyra delar Domän @w el. <..> /ett speciellt ord/ Operator =s! (select) el. =s0 (remove) Måltavla @ERR el. @OK Kontextvillkor
Ytterligare exempel Ett@ERR högtrycksrygg förskjuts norrut. ( <ett> =s!@err (1N-UTR))
Möjligheter och problem Fel i mycket lokala kontexter kan beskrivas enkelt och väl Grundläggande konflikt mellan disambiguering och feligenkänning, vilket gör formalismen som helhet svår att överblicka Svårt att beskriva fel som spänner över längre kontexter Svårt att fånga alla specifika kontexter för ett visst fel
Ett exempel Femtiofem brunsmutsiga tygbitar kanske inte verkar vara mycket för världen, men när textilfragmenten är drygt 300 år gamla och härrör från drottning Kristinas kläder ser det bruna trasorna genast mycket intressantare ut. Det bruna trasorna ser intressanta ut.
Feltyper, 1 1. 2. 3. 4. 5. 6. Bestämdhetsform hos substantiv:... samhällets utvecklingen(@err)... Bestämdhetsform hos adjektiv:... sin egna(@err) energi... Numeruskongruens: determinerare och substantiv:... de(@err) statliga monopolet... Numeruskongruens: adjektiv och substantiv: Ny(@ERR) upplagor... Genuskongruens: determinerare och substantiv:... vardera(@err) laget... Genuskongruens: adjektiv och substantiv: Effektiv(@ERR) ledarskap...
Feltyper, 2 7. 8. 9. 10. 12. 13. Maskulinform hos adjektiv:... den rödhårige(@err) kvinnan. Predikativkongruens: Den nya apparaturen är inte praktiska(@err) att använda. Supinum utan ''ha'': Där borde nog polisen ryckt(@err) in med detsamma. Dubbelt supinum: Vi hade velat sett(@err).... Dubbelt passiv: Saken har försökts att tystas(@err) ner. S-passiv efter vissa verb: Huset ämnar byggas(@err). Infinitiv utan ''att'': Han kunde inte undvika möta(@err) hennes blick.
Feltyper, forts 14. 15. 16. 17. 18. 19. 20. Infinitiv med ''att'': Sverige började att(@err) klassa... Antalet finita verb: I Ryssland är betalar(@err) nästan ingen någon skatt... Inget finit verb: Det bli(@err) viktigt. Inget verb: Ingenting här.(@err) Placering av adverb i bisats:... att den lär knappast(@err) gå över... Placering av negerat led i bisats:... påstår att lite stryk gör ingen(@err) skada. Ordföljd i indirekt frågesats: Jag undrar vad gör(@err) de de unga männen i Finland.
Feltyper, 4 21. Genuskongruens: pronomen och substantiv.. en(@err) av de tre aggregaten 22. Pronomenets form efter preposition: Jag tänker på de(@err) som kommer sist. 23. Infinitiv efter preposition:... för stödja(@err) myndigheters och företags miljöarbete. 24. Dubbel negation:... om man inte har varken(@err) pengar eller familj... 25. Prepositionsbruk vid tvåledad konjunktion:... vare sig i Lund eller Malmö(@ERR). 26. Konstruktionen ''möjligast'' + adjektiv: Han körde med möjligast(@err) stora snabbhet.
Grammatikkontroll i Scarrie Bygger på en partiell analys av texten enligt en utvidgad frasstrukturgrammatik. Reglerna relaxeras för att släppa igenom fel beträffande särdrag inom fraskonstituenter, t.ex. kongruensfel, och felen noteras. Särskilda felregler för strukturella fel, t.ex. avsaknad av predikatsverb. Analys med en chartparser, UCP-parsern.
Utvärdering Recall hur stor andel av felen i texten har programmet upptäckt? Undergenerering innebär missade fel. Precision - hur många av de upptäckta felen är verkliga fel? Övergenerering innebär falska alarm.
Språkgranskning och MT RBMT Om orden innehåller stav- el. skrivfel, så återfinns de inte i lexikonen. Det innebär att inte heller den grammatiska analysen fungerar Om det är fel i den grammatiska strukturen, så kommer den grammatiska analysen att misslyckas och översättningskvaliteten blir lidande Sålunda bör översättningen föregås av ord- och grammatikkontroll SMT Om orden innehåller stav- el. skrivfel, så får man glesa statistiska data och översättningskvaliteten blir lidande Sålunda bör översättningsprocessen föregås av ordkontroll
Språkgranskning och datorstödd språkinlärning Språkgranskningsverktygen kan användas för datorstödd språkinlärning Ordkontroll för träning av stavning, böjning och ordbildning Grammatikkontroll för träning av grammatisk struktur, Särskilt viktigt är det att diagnosen är anpassad till den aktuella inlärningsnivån Kan Words diagnoser användas i inlärningssammanhang?
Språkgranskning och informationssökning Ordkontroll är nyttig vad gäller sökfrågorna, jfr. Google.