Språkgranskningsverktyg. Grammatikkontroll i Word

Transkript

1 Språkgranskningsverktyg Grammatikkontroll i Word

2 Allmänt om grammatikkontroll Grammatikkontrollprogrammen inriktas mot en i förväg definierad felrepertoar. Fastställs vanligen genom analys av korpusmaterial. Texten analyseras och felregler tillämpas på den analyserade texten. Utvärdering sker med avseende på recall och precision. Jämförbara felrepertoarer i de svenska grammatikkontrollprogrammen (Granska, Word, Scarrie)

3 Word: Grammatifix Grammatifix är resultat av ett utvecklingsprojekt som genomfördes av Lingsoft, Inc., ett finskt språkteknologiskt företag. Lingsoft har licensierat Grammatifix till Microsoft som grammatikkontrollkomponent i den svenska versionen av Microsoft Office Grammatifix finns också som en fristående produkt och i en specialversion för kontroll av finlandssvenska.

4 Huvudgrupper av fel Grammatikfel SWECG Typografiska fel Reguljära uttryck över teckensträngar Stilistiska avvikelser Lexikal taggning

5 Grammatikkontroll med SWECG Grammatikkontrollen bygger på morfologisk och syntaktisk analys med hjälp av SWECG (Constraint Grammar, CG, for Swedish) Analysen resulterar i en platt struktur en taggad version av texten. På den taggade versionen tillämpas felregler.

6 Constraint Grammar CG bygger på lokala regler och skiljer sig därigenom från tidigare formella grammatikmodeller som t.ex. frasstrukturgrammatik. I CG finns inga globala meningsregler; reglerna beskriver förhållanden mellan närstående delar av satsen. Den resulterande analysen blir ytligare än den som en frasstruktur genererar; å andra sidan lämnar den inga delar helt oanalyserade. CG, inkl. dess morfologiska komponent TWOL (tvånivåmorfologi), är resultat av datorlingvistisk forskning som utförts vid Institutionen för lingvistik vid Helsingfors universitet. Båda programmen skapades ursprungligen för allmän språkanalys utan särskild inriktning mot grammatikkontroll.

7 Grundversionen av CG Förberedande bearbetning Lexikal analys Morfologisk disambiguering Morfosyntaktisk mappning Tilldelning av möjliga syntaktiska funktioner Syntaktisk disambiguering Se vidare Birn 1998,

8 Förberedande bearbetning Tokenisering Ord Förkortningar (t.ex. bl.a.) Skiljetecken Fasta förbindelser som man vill behandla som enheter, t.ex. till hands, så snart som, som fungerar som adverb resp. konjunktion

9 Lexikal analys Morfologisk analys SWETWOL Lexikonbaserad morfologisk analys Segmentering i stammar och affix Alla alternativ presenteras Tillståndsgrammatik (finite state) Morfologisk heuristik t.ex. entreprenöriella Se vidare: Svensk tvånivågrammatik (Karlsson 1992), vist.pdf

10 Ett exempel Dessa entreprenöriella faktorer hade än så länge dämpat explosionen. Efter tokenisering: *dessa entreprenöriella faktorer hade än_så_länge dämpat explosionen $.

11 Efter morfologisk analys "<*dessa>" "denna" <**c> <DEM> <MD> DET UTR/NEU DEF PL "denna" <**c> <DEM> PRON UTR/NEU DEF PL NOM "<entreprenöriella> "<faktorer>" "faktor" N UTR INDEF PL NOM "<hade>" "ha" <AUX> V ACT PAST "<än_så_länge>" "än_så_länge" <COLLOCATION> ADV "<dämpat>" "dämpa" V ACT SUPINE "dämpa" <PCP2> A NEU INDEF SG NOM "<explosionen>" "explosion" N UTR DEF SG NOM <$.> "$." CLB <PUNCT>

12 Ex. på en disambigueringsregel (informellt uttryckt) For a word, W, ambiguous between V SUPINE and <PCP2> A NEU, select the V reading if, somewhere to the left of W, there is a form of the verb ha, and if, between ha and W, there is no other verb and no clause boundary indicator, and if W is not preceded by a neuter indefinite singular determiner or by a coordinator, and if W is not followed by a neuter indefinite singular noun or by a coordinator.

13 Syntaktisk analys (efter morfosyntaktisk mappning, tilldelning av möjliga syntaktiska funktioner samt disambiguering) "<*dessa>" "denna" <**c> <DEM> <MD> DET UTR/NEU DEF PL "<entreprenöriella>" "entreprenöriella" <NON-SWETWOL> A UTR/NEU DEF/INDEF PL "<faktorer>" "faktor" N UTR INDEF PL "<hade>" "ha" <AUX> V ACT "<än_så_länge>" "än_så_länge" <COLLOCATION> "<dämpat>" "dämpa" V ACT "<explosionen>" "explosion" N UTR DEF SG "<$.>" "$." CLB

14 Anpassning av SWECG för grammatikkontroll Förberedande bearbetning Lexikal analys Disambiguering ******************* Taggning av varje Feligenkänningsregler, dvs. regler som väljer ut de korrekta taggarna

15 Ett exempel Det finns många engelska lånord vilkas diskontinuerliga stavningen inte tycks bereda språkbrukarna några problem. Vad är fel? Finns feltypen med i Scarrie-typologin?

16 Efter morfologisk analys många mången <ID> DET UTR/NEU INDEF PL NOM mången PRON UTR/NEU INDEF PL NOM engelska engelsk A UTR/NEU DEF SG NOM engelsk A UTR/NEU DEF/INDEF PL NOM engelska N UTR INDEF SG NOM lånord lån-ord N NEU INDEF SG/PL NOM vilkas vilken <WH><CLB><MD> DET UTR/NEU INDEF PL GEN vilken <WH> <CLB> PRON UTR/NEU INDEF PL GEN diskontinuerliga diskontinuerlig A UTR/NEU DEF SG NOM diskontinuerlig A UTR/NEU DEF/INDEF PL NOM stavningen stavning N UTR DEF SG NOM

17 Efter disambiguering många mången <ID> DET UTR/NEU INDEF PL NOM engelska engelsk A UTR/NEU DEF/INDEF PL NOM lånord lån-ord N NEU INDEF SG/PL NOM vilkas vilken <WH> <CLB> PRON UTR/NEU INDEF PL GEN diskontinuerliga diskontinuerlig A UTR/NEU DEF SG NOM stavningen stavning N UTR DEF SG NOM

18 Taggning och feligenkänning Varje analys tilldelas två taggar: en feltagg och en ok-tagg, t.ex. många mången <ID> DET UTR/NEU INDEF PL NOM Feligenkänningsreglerna väljer rätt tagg.

19 Efter feligenkänningsregler många mången <ID> DET UTR/NEU INDEF PL engelska engelsk A UTR/NEU DEF/INDEF PL lånord lån-ord N NEU INDEF SG/PL vilkas vilken <WH> <CLB> PRON UTR/NEU INDEF PL diskontinuerliga diskontinuerlig A UTR/NEU DEF/INDEF PL stavningen stavning N UTR DEF SG

20 En felregel i CG Regeln har fyra delar el. <..> /ett speciellt ord/ Operator =s! (select) el. =s0 (remove) Kontextvillkor

21 Ex. på regler ;For a word in focus, select the error tag (0 N-DEF) ;if the word itself is a noun in definite form (-2 GEN) ;if the second word to the left is a genitive (-1 A-DEF)) ;if the first word to the left is an adjective in ;definite form

22 Feligenkänningsgrammatiken Totalt 659 regler Till varje regel kopplas ett felmeddelande, som omfattar benämning på felet förklaring rättelse

23 Ett felmeddelande Benämning: Substantivets bestämdhetsform Förklaring: Kontrollera ordformen (0). Om ett substantiv styrs av en genitiv, t.ex. (-2), bör det stå i obestämd form Rättelse: (0 N DEF)=>(0 N INDEF) ==================================== Förklaring och rättelse i det aktuella exemplet: Förklaring: Kontrollera ordformen stavningen. Om ett substantiv styrs av en genitiv, t.ex. vilkas, bör det stå i obestämd form. Rättelse: stavningen => stavning

24 Ytterligare exempel högtrycksrygg förskjuts norrut. ( <ett> =s!@err (1C N-UTR))

25 Kontextvillkor Polaritet Positiv el. negativ Position Target 0 Absolut 1,2.., -1, -2 Obunden *1, *2..,-1*, -2* Länkad (flera villkor..) R+1, R+2, *R. L-1,L-2,..*L Försiktig läsning villkoret är uppfyllt bara om läsningen är entydig Mängd Allt som refereras till i kontextvillkoren måste deklareras som en mängd, t.ex. set set elements (N-NEU (N NEU))

26 Möjligheter och problem Fel i mycket lokala kontexter kan beskrivas enkelt och väl Grundläggande konflikt mellan disambiguering och feligenkänning, vilket gör formalismen som helhet svår att överblicka Svårt att beskriva fel som spänner över längre kontexter Svårt att fånga alla specifika kontexter för ett visst fel

27 Ett exempel Det bruna trasorna ser intressanta ut. Femtiofem brunsmutsiga tygbitar kanske inte verkar vara mycket för världen, men när textilfragmenten är drygt 300 år gamla och härrör från drottning Kristinas kläder ser det bruna trasorna genast mycket intressantare ut.

28 Feltyper 1. Bestämdhetsform hos substantiv:... samhällets 2. Bestämdhetsform hos adjektiv:... sin energi Numeruskongruens: determinerare och substantiv:... statliga monopolet Numeruskongruens: adjektiv och substantiv: upplagor Genuskongruens: determinerare och substantiv:... laget Genuskongruens: adjektiv och substantiv: ledarskap...

29 Feltyper, forts, 7. Maskulinform hos adjektiv:... den kvinnan. 8. Predikativkongruens: Den nya apparaturen är inte att använda. 9. Supinum utan ''ha'': Där borde nog polisen in med detsamma. 10. Dubbelt supinum: Vi hade velat 11. Dubbelt passiv: Saken har försökts att ner. 12. S-passiv efter vissa verb: Huset ämnar 13. Infinitiv utan ''att'': Han kunde inte undvika hennes blick.

30 Feltyper, forts 14. Infinitiv med ''att'': Sverige började klassa Antalet finita verb: I Ryssland är betalar(@err) nästan ingen någon skatt Inget finit verb: Det bli(@err) viktigt. 17. Inget verb: Ingenting här.(@err) 18. Placering av adverb i bisats:... att den lär knappast(@err) gå över Placering av negerat led i bisats:... påstår att lite stryk gör ingen(@err) skada. 20. Ordföljd i indirekt frågesats: Jag undrar vad gör(@err) de de unga männen i Finland.

31 Feltyper, forts. 21. Genuskongruens: pronomen och substantiv:... av de tre aggregaten 22. Pronomenets form efter preposition: Jag tänker på som kommer sist. 23. Infinitiv efter preposition:... för myndigheters och företags miljöarbete. 24. Dubbel negation:... om man inte har pengar eller familj Prepositionsbruk vid tvåledad konjunktion:... vare sig i Lund eller Malmö(@ERR). 26. Konstruktionen ''möjligast'' + adjektiv: Han körde med möjligast(@err) stora snabbhet.

32 Språklig norm Finns det några grammatiska feltyper i SWECG som inte finns med i Scarrietypologin? Vilka? Är det skillnader i den språkliga normen?