Stavningskontroll. Metoder och tillämpningar inom språkteknologin. ht Allmänt om språkgranskning. Stavningskontroll.
|
|
- Martin Hermansson
- för 7 år sedan
- Visningar:
Transkript
1 Föreläsningsöversikt Metoder och tillämpningar inom språkteknologin, ht 2006 Språkgranskning Allmänt om språkgranskning Stavningskontroll Grammatikkontroll Stilkontroll Några exempel på språkgranskningssystem 1 2 Språkgranskning Tre delar: Stavningskontroll Grammatikkontroll Stilkontroll Stavningskontroll Applikationer för svenska Microsoft Word SCARRIE Granska (Stava) Skribent 3 4
2 Vad förväntas av det ideala stavningskontrollprogrammet? Känna igen och larma för alla felstavade ord Känna igen och acceptera alla rättstavade ord Ge ett korrekt ersättningsförslag för alla felstavade ord Mer realistiska förväntningar Känna igen och larma för de mest frekventa och lättidentifierade felstavningarna Känna igen och acceptera alla rättstavade ord, om de är tillräckligt frekventa i språket Ge ett troligt ersättningsförslag för alla felstavade ord (frekvens) 5 6 Stavningskontrollens två delar Feligenkänning i Microsoft Word 1) Feligenkänning - att hitta felen 2) Felkorrigering - att ge ersättningsförslag 7 8
3 Felkorrigering i Microsoft Word Feligenkänning Isolerade ord stavfel som resulterar i icke-ord: och --> coh Ord i kontext stavfel som resulterar i riktiga ord (real word errors): jag er dålig på att stava språk teknologi är kul 9 10 Feligenkänningsstrategier Lexikon Lexikonstorleken avgörande: För stort lexikon = många fel missas (låg täckning) För litet lexikon = många falska alarm (låg precision) Trigram av tecken Används mest inom OCR (Optical Character Recognition, d.v.s. scanning) Feligenkänning m.h.a. lexikon Problem: språket är produktivt omöjligt att lista alla ord i lexikonet Brist på täckning kan lura skribenten att faktiskt stava fel, t. ex. särskriva sammansättningar: jätte trött Ovanliga trigram antas utgöra felstavningar 11 12
4 Feligenkänning m.h.a. lexikon Feligenkänning: sammansättningar Kompletterande strategier: Tillåt användaren att lägga till egna ord i lexikonet Morfologiska regler för t.ex. avledningar Sammansättningsregler Egennamnsigenkänning Samförekomst: Stoet och dess fol -> fel eller föl? Enklast strategi: ord = ord + ord dator + lingvistik = datorlingvistik Förfinad strategi: ord = förled + ord flicka + klänning = flickklänning äpple + paj = äppelpaj kvinna + parti = kvinnoparti cigarr + rök = cigarrök Feligenkänning: sammansättningar Dock! Sammansättningar bildas rekursivt och fogeformen kan ändras i flerledade sammansättningar: kakdeg ---> pepparkaksdeg barnbokhylla/barnbokshylla Feligenkänning: sammansättningar Sammansättningsanalys minskar antalet falska alarm Sms-analys kan dock öka antalet missade fel! kotakt makelera medalg cykelsäll kontakt makulera medalj cykelställ särkskilt särskilt 15 16
5 Några frågeställningar kring feligenkänning Felkorrigeringens två delar Hur göra med sällsynta/fackspråkliga ord, som ligger nära felskrivningar av frekventa ord? verv/värv (verv = kraft, livfullhet, glöd enligt SAOL) boke/boken (boke = bokvirke) Dialektala ord? Hur sträng bör man vara? (mej, direktörn) 1) Ta fram ett antal korrigeringskandidater 2) Rangordna korrigeringskandidaterna Felkorrigering: feltyper Kompetensfel (man vet inte hur ett ord stavas) Fonetiska fel: restaurang ---> resturang Homofonfel: gott ---> gått Performansfel (man slarvar) Insättning språkteknologii Borttagning spåkteknologi Substitution sprokteknologi Felkorrigering: feltyper Kompetensfel eller performansfel? tunnt Feltyp ofta inte nödvändig att fastställa för att få fram lämpligt korrigeringsförslag, dock: Kompetensfel: hemta ---> hämta, hämtade Performansfel: hemta --> heta, hetta, hemtam Transposition spårkteknologi 19 20
6 Hur ska man få fram sina korrigeringskandidater? Empiriskt grundade iakttagelser: De flesta felstavningar är performansfel (insättning, borttagning, substitution eller transposition) De flesta felstavningar påverkar inte ordets längd med mer än en bokstav Första bokstaven i ordet är sällan felaktig Tangenternas placering påverkar Bokstävernas frekvenser påverkar 21 Minimum Edit Distance Vanlig metod för felkorrigering Bygger på stränglikhet Minsta antalet editeringsoperationer som behövs för att omvandla en sträng till en annan: Insättning språkteknologii Borttagning spåkteknologi Substitution sprokteknologi Transposition spårkteknologi 22 Minimum Edit Distance Minimum Edit Distance felstavning: r ä n g n a Substitution: ersättningskandidat: r e g n a r r ä n g n a r e g n a r 23 24
7 Minimum Edit Distance Minimum Edit Distance Insättning: r ä n g n a Borttagning: r ä n g n a r e g n a r r e g n a r Minimum Edit Distance r ä n g n a r e g n a r substitution + insättning + borttagning = 3 Stavningskontroll: sammanfattning Vanligaste strategin för stavningskontroll: lexikonuppslagning Ordlistans storlek är avgörande: För stort lexikon -> många fel missas För litet lexikon -> många falska alarm Felkorrigering i två steg: Ta fram ersättningsförslag 27 Rangordna ersättningsförslagen Vanlig korrigeringsstrategi: Minimum Edit Distance 28
8 Grammatikkontroll Grammatikkontroll Grammatikkontroll behövs för: Stavningskontroll, när felet resulterar i s.k. Real Word Errors : Jag er dålig på att stavar vi är tjära dator lingvistik Grammatikfel: Vi är kär samhällets utvecklingen Grammatikkontrollens delar Feldetektering (detection) Fel i nominalfrasen: *det tidiga 1800-talen Feligenkänning (recogntion) Numerusinkongruens: determinerare - huvudord Feldiagnos (diagnosis) 1) Substantivet står i plural istf singular 2) Determineraren står i singular istf plural Felkorrigering (correction) 1) det tidiga 1800-talet 2) de tidiga 1800-talen 31 Vad förväntas av det ideala grammatikkontrollprogrammet? Känna igen och larma för alla grammatiska fel Känna igen och acceptera alla grammatiskt korrekta strukturer Ge ett korrekt rättningsförslag för alla ogrammatiska strukturer och kontextuellt felaktiga ordformer 32
9 Mer realistiska förväntningar Endast larma för riktiga grammatikfel, även om inte alla fel upptäcks Fokusera på typiska och/eller frekventa feltyper: Korpusundersökning Anpassning till olika typer av skribenter, t.ex. dyslektiker eller andraspråksinlärare 33 Problem inom grammatikkontroll Hur kan man känna igen så många fel som möjligt utan att få för många falska alarm? Långa och komplexa strukturer svåra att hantera *De i paragraf 5 stadgade undantaget Undantag från normalfallet svåra att känna igen *Strindbergs stora rummet Strindbergs Röda Rummet 34 Fler problem inom grammatikkontroll Grammatikkontroll I dagsläget begränsat till meningsnivå. Kan alltså inte hantera pronomenreferens o dyl. Jag träffade en flicka igår. Han var mycket söt. Hur sträng bör man vara? Jag insåg att det här går inte Vilka fel ska prioriteras? Hur pass vanligt är felet? (korpusundersökning) Hur pass lätt är felet att hitta automatiskt? Hur pass viktigt är det att felet upptäcks? (målgrupp) Hur göra med dialektala uttryck? Denna boken (skånska m.fl.) 35 36
10 Grammatikkontroll Hur hittar systemet grammatiska fel? Två huvudstrategier: Grammatikbaserad kontroll fullständig syntaktisk analys Fenomenbaserad kontroll - lokala felregler för förutsedda fel Grammatikbaserad grammatikkontroll Fullständig syntaktisk analys Kan hantera strukturer där två av varandra beroende ord inte står intill varandra, t.ex. Problemet med den kommunala fördelningen från inkomstskatter för säsongsanställda är svår att lösa Svaga punkter: Robusthet (inte alltid möjligt att hitta en syntaktisk analys) 37 Effektivitet (resurskrävande) 38 Fenomenbaserad grammatikkontroll Lokala felregler för förutsedda fel Begränsat till grammatiska felaktigheter mellan ord som står nära varandra: kunnat kommit Exempel på regel i den svenska grammatikkontrollen i Microsoft Word: om ett substantiv i bestämd form föregås av en genitivform, så ska substantivet istället stå i obestämd form 39
11 Stilkontroll Stilkontroll Genomsnittlig ord- och meningslängd Minusord ålderdomliga vardagliga/talspråkliga byråkratiska Vissa syntaktiska konstruktioner passiv Konsekvenskontroll 41 ska skall, mej - mig 42 Critique Några språkgranskningssystem Första praktiska grammatikbaserade språkkontrollsystemet (1980-talet) IBM Engelska och franska Föregångare till språkkontrollen i den engelska versionen av Microsoft Word 43 44
12 Critique CORRie 25 grammatiska feltyper, fördelade på fem kategorier: Numerusinkongruens: many book, he go Fel pronomenform: Fel verbform: Skiljeteckenfel between you and I seems to been, had expect Sammanblandningar av ord: who s whose 85 stilistiska fel 45 Utvecklat för holländska Fem generella feltyper Insättning: Borttagning: Substitution: Transposition: Feature mismatch: tåget har har gått, hus bil tåget redan gått the well performance jag tror att tåget går inte idag den lilla huset, männen är glad 46 Språkgranskningssystem för svenska Grammatifix Grammatifix, Lingsoft SCARRIE, Uppsala universitet Modifierad variant, ScaniaChecker, används på Scania Granska, Nada, KTH Skribent, Norstedts Ordbok Utvecklat av Lingsoft i Finland Används i den svenska versionen av Microsoft Word Stavfel hanteras separat (Orthografix) 47 48
13 Grammatifix: Feltyper 43 feltyper fördelade på tre kategorier: Grammatiska fel (26) Främst verbkedjor och kongruens inom nominalfraser Stilbrott på ordnivå (3) Byråkratiska ord: hemställan, vederlag Talspråkliga ord: dej, redaktörn Ålderdomliga ord: särla, tillförne Brott mot skrivkonventioner (14) Parenteser, datumformatering, interpunktion m.m. 49 Grammatifix Syntaktisk analys med SWECG (Swedish Constraint Grammar) i fyra huvudsteg: Tokenisering (ett ord per rad) Morfologisk analys (alla möjliga analyser från lexikon) Morfologisk disambiguering (välj den rätta analysen) Syntaktisk disambiguering (feligenkänningsregler tittar på de omgivande orden och letar efter grammatikfel) 50 Grammatifix: Förbehandling Tokenisering (ett ord per rad) Ca 150 fraser Ca förkortningar *dessa entreprenöriella faktorer hade än_så_länge dämpat explosionen $. 51 Grammatifix: Morfologisk analys Hämta alla möjliga analyser från lexikon "<*dessa>" "denna" <**c> <DEM> <MD> DET UTR/NEU DEF PL "denna" <**c> <DEM> PRON UTR/NEU DEF PL NOM "<entreprenöriella>" "<faktorer>" "faktor" N UTR INDEF PL NOM "<hade>" "ha" <AUX> V ACT PAST "<än_så_länge>" "än_så_länge" <COLLOCATION> ADV "<dämpat>" "dämpa" V ACT SUPINE "dämpa" <PCP2> A NEU INDEF SG NOM "<explosionen>" "explosion" N UTR DEF SG NOM "<$.>" "$." CLB <PUNCT> 52
14 Grammatifix: Morfologisk analys av okända ord Morfologisk analys av ord som saknas i lexikonet: Ca 60 regler baserade på suffix (efterled) Okända ord som inte matchas av någon regel antas vara substantiv "<entreprenöriella>" "entreprenöriella" <NON-SWETWOL> A UTR/NEU DEF SG NOM "entreprenöriella" <NON-SWETWOL> A UTR/NEU DEF/INDEF PL NOM 53 Grammatifix: Morfologisk disambiguering Välj den rätta analysen m.h.a. regler: "<*dessa>" "denna" <**c> <DEM> <MD> DET UTR/NEU DEF PL "<entreprenöriella>" "entreprenöriella" <NON-SWETWOL> A UTR/NEU DEF/INDEF PL NOM "<faktorer>" "faktor" N UTR INDEF PL NOM "<hade>" "ha" <AUX> V ACT PAST "<än_så_länge>" "än_så_länge" <COLLOCATION> ADV "<dämpat>" "dämpa" V ACT SUPINE "<explosionen>" "explosion" N UTR DEF SG NOM "<$.>" "$." CLB <PUNCT> 54 Grammatifix: Syntaktisk disambiguering Felregler letar efter felaktigheter i den analyserade texten, t.ex. För ett ord sätt fel om: ordet själv är ett substantiv i bestämd form och det andra ordet till vänster är en genitiv och det första ordet till vänster är ett adjektiv i bestämd form unionens snabba utvidgningen Kontrollera ordformen utvidgningen. Om ett substantiv styrs av en genitiv, t.ex. unionens, bör det stå i obstämd form 55 Granska Grundar sig på tidigare forskningsprojekt: Plita Stava Lokal syntaktisk analys Omfattande analys endast om meningen verkar vara felaktig 56
15 Granska Fokus på tre feltyper: Särskrivna sammansättningar Han orkade inte flytta sten bumlingarna Inkongruens i nominalfrasen ett villa Inkongruens i predikativ Äktenskapet är baserad på kärlek Granska: Uppbyggnad Tokeniserare Taggare Lexikon: SUC, SAOL Statistik: SUC Regelmatchare Grafiskt gränssnitt SCARRIE Scandinavian Proof-Reading Tools Svenska, norska och danska Korrekturläsningsverktyg för tidningsskribenter Stavnings- och grammatikkontroll Stor empirisk felundersökning: SCARRIE Error Corpora Database (ECD) Ca autentiska fel från SvD och UNT Fel med korrigering utförd av korrekturläsare 59
16 SCARRIE: ECD Hierarkisk feltypologi i fyra nivåer Ca 500 feltyper Fem feltyper på översta nivån: Stavfel (SE) 43% Interpunktionsfel (PU) 17% Stil, mening och referens (SP) 16% Grammatiska fel (GP) 15% Grafiska fel (GR) 9% 61 SCARRIE: Vanliga grammatiska feltyper Nominalfrasen 41% Numerusinkongruens framförställt attribut-huvud (GPNPAG01): en upptrappad psykologiska krigföring Verbvalens 17% Infinitivmärke saknas (GPVVIP01): Vi kommer också jobba med OS-arenan Prepositionsfras 11% Fel preposition (GPPPPR04): prognoserna över arbetslöshetens utveckling 62 SCARRIE: Uppbyggnad Stavningskontroll baserad på CORRie: Lexikonuppslagning Sammansättningsregler Grammatikkontroll: Partiell grammatisk analys med Uppsala Chart Parser (UCP) Chart scanner: ReportChart Letar igenom den grammatiska analysen efter felsärdrag 63 SCARRIE: Grammatikkontroll Hanterar ca 30 feltyper i enlighet med feltypologin (utöver stavfel) Exempel på feltyper som hanteras: Fel i nominalfrasen: En eventuellt segerfest får vänta Pronomenkasus: Och ingen kan väl klandra de som deltog? Fel i verbkedjan: Om människor börja tro på förändring Ordföljdsfel: Jag undrar vad gör de små busungarna Särskrivna sammansättningar: Upplands kusten 64
17 ScaniaChecker ScaniaChecker Variant av SCARRIE som anpassats till att hantera Scanias kontrollerade språk Används av Scanias skribenter som skrivstöd Minusord används för att uppnå konsistens vid val av terminologi fotkontakt, golvkontakt, fotströmställare, fotomkopplare Ersätt med: golvströmställare Varför vill ett företag som Scania ha språkgranskning? En mängd tekniska manualer produceras årligen och för dessa vill man ha: Enhetlig terminologi Enhetlig stil Enhetlig grammatik som gör texten lättförståelig Försteg till maskinöversättning Grammatikkontroll: Sammanfattning Behövs för både stavningskontroll och grammatikfel Två strategier: Grammatikbaserad kontroll Fenomenbaserad kontroll Språkgranskningssystem för svenska: Critique, CORRie Språkgranskningssystem för andra språk: Grammatifix, SCARRIE, Granska, Skribent 67
Grundläggande textanalys, VT 2011 Stavnings- och grammatikkontroll i Microsoft Word. Eva Pettersson UU/Convertus
Grundläggande textanalys, VT 2011 Stavnings- och grammatikkontroll i Microsoft Word Eva Pettersson UU/Convertus evapet@stp.lingfil.uu.se Föreläsningsöversikt Allmänt om grammatikkontroll Allmänt om stilkontroll
Läs merspråkgranskning, ht 2007
Maskinöversättning och språkgranskning, ht 2007 Föreläsning 3 Grammatikkontroll evapet@stp.lingfil.uu.se 1 Föreläsningsöversikt Allmänt om grammatikkontroll Allmänt om stilkontroll Språkgranskningssystem
Läs merMaskinöversättning och språkgranskning, ht 2006
Maskinöversättning och språkgranskning, ht 2006 Föreläsning 2 Stavningskontroll evapet@stp.lingfil.uu.se 1 Föreläsningsöversikt Allmänt om språkgranskning Allmänt om stavningskontroll Stavningskontroll:
Läs merspråkgranskning, ht 2007
Maskinöversättning och språkgranskning, ht 2007 Föreläsning 2 Stavningskontroll evapet@stp.lingfil.uu.se 1 Föreläsningsöversikt Kursöversikt Allmänt om språkgranskning Allmänt om stavningskontroll Stavningskontroll:
Läs merSpråkgranskningsverktyg, vt 2008
, vt 2008 Föreläsning 2 Stavningskontroll evapet@stp.lingfil.uu.se 1 Föreläsningsöversikt Feligenkänning Felkorrigering Produktivt bildade ord Kort om labben 2 Vad förväntas av det ideala stavningskontrollprogrammet?
Läs merSpråkgranskningsverktyg, vt 2009
, vt 2009 Föreläsning 2 Stavningskontroll evapet@stp.lingfil.uu.se 1 Föreläsningsöversikt Feligenkänning Felkorrigering Produktivt bildade ord Kort om labben 2 Vad förväntas av det ideala stavningskontrollprogrammet?
Läs merGrundläggande Textanalys VT Språkgranskning (2) Eva Pettersson
Grundläggande Textanalys VT 2014 Språkgranskning (2) Eva Pettersson eva.pettersson@lingfil.uu.se Översikt Förra gången Stavningskontroll Allmänt om stavningskontroll Feligenkänning Felkorrigering Samarbetsuppgift
Läs merGrundläggande Textanalys VT Språkgranskning (2) Eva Pettersson
Grundläggande Textanalys VT 2016 Språkgranskning (2) Eva Pettersson eva.pettersson@lingfil.uu.se Översikt Förra gången Stavningskontroll Allmänt om stavningskontroll Feligenkänning Felkorrigering Samarbetsuppgift
Läs merGrundläggande Textanalys VT Språkgranskning (1) Eva Pettersson
Grundläggande Textanalys VT 2015 Språkgranskning (1) Eva Pettersson eva.pettersson@lingfil.uu.se Referatuppgiften 10 minuters muntlig presentation av vetenskaplig artikel med 5 minuters efterföljande diskussion
Läs merGrundläggande Textanalys VT 2014. Språkgranskning (1) Eva Pettersson eva.pettersson@lingfil.uu.se
Grundläggande Textanalys VT 2014 Språkgranskning (1) Eva Pettersson eva.pettersson@lingfil.uu.se Översikt Denna gång Stavningskontroll Allmänt om stavningskontroll Feligenkänning Felkorrigering Samarbetsuppgift
Läs merIntroduktion till språkteknologi. Datorstöd för språkgranskning
Introduktion till språkteknologi OH-serie 2: Datorstöd för språkgranskning oktober 2008 Mats Dahllöf (efter Sofia Gustafson-Capková) Institutionen för lingvistik och filologi UPPSALA UNIVERSITET Huvudpunkter
Läs merMaskinöversättning och språkgranskning F5 Allmänt om språkgranskning + ordkontroll
Maskinöversättning och språkgranskning 2008 F5 Allmänt om språkgranskning + ordkontroll Språkgranskningsverktyg Datorprogram som fungerar som skrivstöd genom att kontrollera språkriktighet och ev. stil
Läs merSpråkgranskningsverktyg. Grammatikkontroll i Word
Språkgranskningsverktyg Grammatikkontroll i Word Allmänt om grammatikkontroll Grammatikkontrollprogrammen inriktas mot en i förväg definierad felrepertoar. Fastställs vanligen genom analys av korpusmaterial.
Läs merGrundläggande textanalys, VT2013
Grundläggande textanalys, VT2013 evelina.andersson@lingfil.uu.se Rum 9-2035 http://stp.ling.uu.se/~evelina/uv/uv13/gta/ (Tack till Sofia Gustafson-Capkovâ för material.) Idag - Stavningskontroll - Granska
Läs merMaskinöversättning och språkgranskning. F6: Grammatikkontroll
Maskinöversättning och språkgranskning F6: Grammatikkontroll Grammatikkontroll av svenska För svenska finns huvudsakligen tre olika modeller Word Scarrie Granska Scarrie och Granska är forskningsprototyper.
Läs merObesvarade frågor från F1
Obesvarade frågor från F1 Antal ord i sista upplaga av SAOL Ex. på ord som försvunnit Ex. på nyord Varför är SAOL bättre som norm för stavningskontroll än SAOB? Språkgranskningsverktyg F4: Grammatikkontroll
Läs merInnehåll. Grammatikkontroll i Granska. Problemställning. Datorstöd för skrivande. Vilka metoder finns? Granskas uppbyggnad
Grammatikkontroll i Granska Ola Knutsson knutsson@csc.kth.se Innehåll Datorstöd för skrivande Olika metoder och system för grammatikgranskning Granska Granskas regelspråk Att skriva regler i Granska Kort
Läs merGrundläggande Textanalys VT Språkgranskning (1) Eva Pettersson
Grundläggande Textanalys VT 2016 Språkgranskning (1) Eva Pettersson eva.pettersson@lingfil.uu.se Översikt Denna gång Stavningskontroll Allmänt om stavningskontroll Feligenkänning Felkorrigering Samarbetsuppgift
Läs merGrundläggande Textanalys VT Språkgranskning (1) Eva Pettersson
Grundläggande Textanalys VT 2017 Språkgranskning (1) Eva Pettersson eva.pettersson@lingfil.uu.se Först några ord om referatuppgiften Sammanfatta en vetenskaplig artikel, vilket ger färdigheter i att: läsa
Läs merSpråkgranskningsverktyg, vt 2009
, vt 2009 Föreläsning 8 Scania Checker evapet@stp.lingfil.uu.se 1 Föreläsningsöversikt Kontrollerat språk Scania-svenska Scania Checker Demo 2 Kontrollerat språk Delmängd av naturligt språk Restriktioner
Läs merLingvistik I Delmoment: Datorlingvistik
Lingvistik I Delmoment: Datorlingvistik evapet@stp.lingfil.uu.se 1 Lingvistik I, 12 februari 2007 Föreläsningsöversikt Datorlingvistik/språkteknologi vad är det? Några språkteknologiska tillämpningsområden:
Läs merGrammatifix Svensk grammatikkontroll i MS Word
2D1418, Språkteknologi Grammatifix Svensk grammatikkontroll i MS Word Innehållsförteckning Sida 1 Inledning 3 2 Grammatifix 3 2.1 Detektering av grammatiska fel i Grammatifix 4 2.1.1 Förbehandling 4 2.1.2
Läs mer2. Utgångspunkter och angreppssätt för automatisk språkgranskning
Översikt och läsanvisning 2. Utgångspunkter och angreppssätt för automatisk språkgranskning Detta kapitel beskriver utgångspunkter och angreppssätt för automatisk språkgranskning för svenska. I kapitlet
Läs merOrdklasstaggning med funktionsordslexikon. Språklig ytanalys med regler. Jabberwocky (Källgren, 1992) Mer Jabberwocky (Lewis Carrol)
Språklig ytanalys med regler Några olika system för: Ordklasstaggning Dependensgrammatik Constraint Grammar presenteras i detalj Ordklasstaggning med funktionsordslexikon Gunnel Källgrens MorP parser Den
Läs merLingvistik I Delmoment: Datorlingvistik
Lingvistik I Delmoment: Datorlingvistik evapet@stp.lingfil.uu.se 1 Lingvistik I, 9 februari 2006 Föreläsningsöversikt Datorlingvistik/språkteknologi vad är det? Några språkteknologiska tillämpningsområden:
Läs merSvårigheter med kurslitteraturen
Svårigheter med kurslitteraturen Forskningsanknuten kurs Litteraturen är skriven i syfte att presentera forskningsresultat och ofta argumentera för vissa lösningar; undantag: uppfriskningslitteraturen
Läs merSkrivstöd. Joakim Nivre. Introduktion till språkteknologi. Skrivstöd. Inledning. Orsaker till stavfel. Detektering av icke-ord
Joakim Nivre / 30 Varför bry sig om stavning? Stavfel kan skapa missförstånd Stavfel kan dölja innehåll Standardiserad stavning underlättar många uppgifter Slå upp ord i ordbok Identifiera svårlästa ord
Läs merLingvistik I Delmoment: Datorlingvistik
Lingvistik I Delmoment: Datorlingvistik evapet@stp.lingfil.uu.se 1 Föreläsningsöversikt Datorlingvistik/språkteknologi vad är det? Några språkteknologiska tillämpningsområden: Korpuslingvistik Talteknologi
Läs merDatorn har utvecklats till vårt viktigaste. Datorn som språkgranskare SPRÅKTEKNOLOGI OLA KNUTSSON
SPRÅKTEKNOLOGI Datorn som språkgranskare OLA KNUTSSON Datorerna kan inte bara rätta stavfel utan också särskrivningar, böjningsfel, syftningsfel och grammatiska fel. Men fortfarande förslår språkgranskningsprogrammen
Läs merMålet är att ge maskiner förmågan att plocka ut information ur
Språkteknologi Mats Dahllöf & Eva Pettersson Institutionen för lingvistik och filologi Språkhantering i datorer med känslighet för språket som språk: Den språkvetenskapliga teorin: datorlingvistik Tillämpningsområdet:
Läs merInnehåll GRAMMATIKKONTROLL I GRANSKA. Datorstöd för skrivande. Problemställning. Ola Knutsson
GRAMMATIKKONTROLL I GRANSKA Ola Knutsson knutsson@csc.kth.se Innehåll Datorstöd för skrivande Olika metoder för grammatikkontroll Granska Granskas regelspråk Att skriva regler i Granska Inför laborationen
Läs merInnehåll. Definition av språkgranskningsverktyg. Datorn som skrivverktyg. Ola Knutsson KTH CSC, SPRÅKGRANSKNINGSVERKTYG
Innehåll SPRÅKGRANSKNINGSVERKTYG F1:INTRODUKTION Ola Knutsson KTH CSC, knutsson@csc.kth.se Språkgranskningsverktyg Språk vs. skrivet språk Språkriktighet och grammatikalitet, vad är en bra text? Felanalysens
Läs merInnehåll. Datorstöd för skrivande och grammatikkontroll Ola Knutsson DH2418 Språkteknologi. Datorstöd för skrivande. Vilka metoder finns?
Datorstöd för skrivande och grammatikkontroll Ola Knutsson DH2418 Språkteknologi Innehåll Datorstöd för skrivande Olika metoder och system för grammatikgranskning. Granska Att skriva regler i Granska.
Läs merEn arbetsdag på kontoret kan innehålla. Så klarar man språkkontrollen DATORER RICKARD DOMEIJ
DATORER Så klarar man språkkontrollen RICKARD DOMEIJ Är datorns språkkontroll skribentens bästa vän? Eller kommer den mest med löjliga förslag? I april gav Svenska språknämnden ut Datorn granskar språket,
Läs merSkrivstöd. Varför bry sig om stavning? Hur används stavningskontroll? Christian Hardmeier
Skrivstöd Christian Hardmeier (efter Joakim Nivre) 205-- Varför bry sig om stavning? Stavfel kan skapa missförstånd Stavfel kan dölja innehåll Stavning fungerar som bildningsmarkör Standardiserad stavning
Läs merSpråkgranskningsverktyg. Felmodellering
Språkgranskningsverktyg Felmodellering Varför felmodellering? Återkoppling till användaren Vad kan betraktas som ett fel? Hur kan det beskrivas? Hur kan det förklaras? Hur kan det åtgärdas? Utvärdering
Läs merSpråkgranskningsverktyg. F1: Introduktion
Språkgranskningsverktyg F1: Introduktion Kursplan http://www.selma.uu.se/publik/main?af=0200&funktion=kplan&kurs=5ln442&startv=200804 Kurssida http://stp.lingfil.uu.se/~evapet/undervisning/sgv08/ Språkgranskningsverktyg
Läs merParsningens olika nivåer
Parsning Språkteknologi DH418 Ola Knutsson Varför parsning? Grammatikkontroll Fråge-svarsystem Maskinöversättning Semantisk analys (vad menas?) Testa grammatikformaliser och grammatiker (undvika länsstolslingvistik)
Läs merObesvarade frågor från F4
Obesvarade frågor från F4 Antal ord i sista upplaga av SAOL 90 000 el 120 000? Varför har barnförbjuden tagits bort och barnförbjuda införts? Formellt singularis, reellt pluralis Mången fotbollsspelare
Läs merGrammatik för språkteknologer
Grammatik för språkteknologer Introduktion http://stp.lingfil.uu.se/~matsd/uv/uv11/gfst/ Mats Dahllöf Institutionen för lingvistik och filologi Oktober 2011 Lärandemål Efter avslutad kurs skall studenten
Läs merSpråkgranskningsverktyg. Grammatikkontroll med Scarrie
Språkgranskningsverktyg Grammatikkontroll med Scarrie Strategi för grammatikkontroll Vision Fullständig parsning enligt en heltäckande grammatik som skiljer ut avvikande konstruktioner och diagnosticerar
Läs merStatistisk grammatikgranskning
Statistisk grammatikgranskning Johnny Bigert johnny@nada.kth.se Traditionell grammatikgranskning Hitta stavningsfel och grammatiska fel: Regler Lexikon Traditionell grammatikgranskning Fördelar: Säkert
Läs merTaggning av räkneord som årtal eller andra räkneord, Språkteknologi 2D1418, HT 01 Jonas Sjöbergh, , 15 oktober 2001
Taggning av räkneord som årtal eller andra räkneord, Språkteknologi 2D1418, HT 01 Jonas Sjöbergh, 761029-0178, jsh@nada.kth.se 15 oktober 2001 1 Bakgrund 1.1 Kort om taggning Taggning innebär att man ger
Läs merSkriftspråk i förändring möter förlegade skrivstöd
Skriftspråk i förändring möter förlegade skrivstöd Ylva Hård af Segerstad Hasselgren, fil.dr i allmän språkvetenskap Sylvana Sofkova Hashemi, fil.dr i allmän språkvetenskap Skriftspråket spelar allt större
Läs merGrim. Några förslag på hur du kan använda Grim. Version 0.8
Grim Några förslag på hur du kan använda Grim Ingrid Skeppstedt Nationellt centrum för sfi och svenska som andraspråk Lärarhögskolan Stockholm Ola Knutsson IPlab Skolan för datavetenskap och kommunikation,
Läs merLexikon: ordbildning och lexikalisering
Svenskan i tvärspråkligt perspektiv Lexikon: ordbildning och lexikalisering Solveig Malmsten Vår inre språkförmåga Lexikon Ordförråd : Uttryck i grundform + deras betydelse Enkla ord, t.ex. blå, märke
Läs merGrundläggande textanalys. Joakim Nivre
Grundläggande textanalys Joakim Nivre Om kursen Ni har hittills läst Lingvistik Datorteknik Matematik Språkteknologiska tillämpningar Nu ska vi börja med språkteknologi på allvar Hur gör man text hanterbar
Läs merGrammatik för språkteknologer
Grammatik för språkteknologer Introduktion http://stp.lingfil.uu.se/~matsd/uv/uv11/gfst/ Mats Dahllöf Institutionen för lingvistik och filologi Oktober 2011 1 Lärandemål Efter avslutad kurs skall studenten
Läs merSpråkgranskningsverktyg, vt 2008
, vt 2008 Föreläsning 7 Chartparsning i allmänhet och UCP i synnerhet evapet@stp.lingfil.uu.se 1 Djupstruktur och ytstruktur Jag läste en bok igår Igår läste jag en bok 2 Chartparsning - bakgrund Utvecklades
Läs merDATORSTÖDD SPRÅKGRANSKNING OCH
Institutionen för lingvistik Stockholms Universitet VT-2000 DATORSTÖDD SPRÅKGRANSKNING OCH ANDRASPRÅKSINLÄRARE Lena Öhrman I denna uppsats undersöks vilka fel några andraspråksinlärare gör när de lär sig
Läs merTekniker för storskalig parsning
Tekniker för storskalig parsning Grundläggande begrepp och metoder Joakim Nivre Uppsala Universitet Institutionen för lingvistik och filologi joakim.nivre@lingfil.uu.se Tekniker för storskalig parsning
Läs merGrammatik för språkteknologer
Grammatik för språkteknologer Språkteknologi och grammatiska begrepp http://stp.lingfil.uu.se/~matsd/uv/uv11/gfst/ Mats Dahllöf Institutionen för lingvistik och filologi November 2011 Lite mer om språkteknologisk
Läs merInkongruens och särskrivna sammansättningar en beskrivning av två typer av fel och möjligheten att granska dem automatiskt
SveBe 24/05 Domeij et al 1 Inkongruens och särskrivna sammansättningar en beskrivning av två typer av fel och möjligheten att granska dem automatiskt Rickard Domeij, Ola Knutsson och Lena Öhrman Sammanfattning
Läs merLathund för SpellRight
Lathund för SpellRight för PC SpellRight är ett avancerat rättstavningsprogram för personer med svenska som modersmål, som skriver på engelska som sitt andraspråk. Programmet rättar grava stavfel, lättförväxlade
Läs merAtt lära sig skriva i IT-samhället
Att lära sig skriva i IT-samhället Ylva Hård af Segerstad Sylvana Sofkova Hashemi Institutionen för lingvistik Göteborgs Universitet Projektets syfte Att undersöka barns och ungdomars skrift med olika
Läs merOrdklasser. Särdrag, lexikon och syntax. Ordklasskriterier II. Ordklasskriterier. Öppna klasser. Slutna klasser
Ordklasser Särdrag, lexikon och syntax Ola Knutsson knutsson@nada.kth.se Slutna klasser: prepositioner, konjunktioner, subjunktioner m.fl. (funktionsord) Inga nya ord bildas. Öppna klasser: substantiv,
Läs merBehov av språklig granskning. Granska och automatisk språkgranskning av svensk text. Datorn som språkgranskare
Granska och automatisk språkgranskning av svensk text Ola Knutsson knutsson@nada.kth.se Behov av språklig granskning Datorn är det viktigaste skrivverktyget Det är enkelt att producera text som ser bra
Läs merKursplaneöversättaren. Lina Stadell
Kursplaneöversättaren Lina Stadell lina.stadell@convertus.se 2017-11-13 Innehåll Allmänt Språkliga resurser Översättningsprocessen Översättningsproblem Stavningskontroll Allmänt Bygger på egenutvecklad
Läs merGrammatik för språkteknologer
Grammatik för språkteknologer Fraser http://stp.lingfil.uu.se/~matsd/uv/uv12/gfs/ Språkteknologiska grammatikkomponenter Tokenisering urskilja graford. Ordklasstaggning och annan taggning tilldela dem
Läs merInkongruens och särskrivna sammansättningar
SveBe 24/05 Domeij et al 1 Inkongruens och särskrivna sammansättningar En beskrivning av två typer av fel och möjligheten att granska dem automatiskt Rickard Domeij, Ola Knutsson och Lena Öhrman Sammanfattning
Läs merFraser, huvuden och bestämningar
UPPSALA UNIVERSITET Grammatik för språkteknologer Institutionen för lingvistik och filologi Föreläsningsanteckningar Mats Dahllöf November 2015 Fraser, huvuden och bestämningar Översikt i stolpform. Terminologin
Läs merAutomatisk utvinning av felaktigt särskrivna sammansättningar
Automatisk utvinning av felaktigt särskrivna sammansättningar Sofia Hedén Institutionen för lingvistik och filologi Språkteknologiprogrammet Kandidatuppsats i språkteknologi, 15 hp 8 juni 2017 Handledare:
Läs merFeltaxonomi. för automatisk språkgranskning av svensk text
Stockholms universitet Institutionen för lingvistik Påbyggnadskurs i datorlingvistik C-uppsats HT 2001 Feltaxonomi för automatisk språkgranskning av svensk text Jens Eeg-Olofsson Handledare: Ola Knutsson,
Läs merFOR BETTER UNDERSTANDING. Kom igång med. WordFinder Snabbguide
FOR BETTER UNDERSTANDING Kom igång med WordFinder Snabbguide Installationsanvisning 1 Sätt i programskivan i datorn. Installationsprogrammet startar automatiskt. En gemensam startbild för WordFinder Professional,
Läs merDjupstruktur och ytstruktur
Djupstruktur och ytstruktur En gammal man bodde på vinden. På vinden bodde en gammal man. Chomsky 1965 baskomponent transformationskomponent Föregångare till UCP Augmented Transition Network (Woods 1970)
Läs merTextstil/tonalitet med Acrolinx
Textstil/tonalitet med Acrolinx Magnus Merkel magnus.merkel@fodina.se Fodina Language Technology FRÅGOR Hur förbättrar man texter med ett skribentstödsverktyg? Är läsbarhetsmått ett bra hjälpmedel? Visar
Läs merTvå-nivåmodellen, TWOL. 2D1418 Språkteknologi, Nada KTH Höstterminen 2004 Lisa Lagerkvist, Me-01
Två-nivåmodellen, TWOL 2D1418 Språkteknologi, Nada KTH Höstterminen 2004 Lisa Lagerkvist, Me-01 Inledning Morfologisk parsning är nödvändig i de flesta språkteknologiska tillämpningar eftersom man nästan
Läs merDatorlingvistik och språkteknologi
Datorlingvistik och språkteknologi Mats Dahllöf Institutionen för lingvistik och filologi Att bearbeta språk i datorer med känslighet för språket som språk: Språkvetenskapligt forskningsområde: datorlingvistik
Läs merLathund för Stava Rex
Lathund för Stava Rex för PC Stava Rex är ett avancerat svenskt rättstavningsprogram som kan rätta grava stavfel, lättförväxlade ord samt enklare grammatikfel. Stava Rex klarar av att rätta text i de vanligaste
Läs merStava Rex. för Google Docs. Manual för Stava Rex för Google Docs
Stava Rex för Google Docs Manual för Stava Rex för Google Docs Stava Rex för Google Docs i korthet.... 2 Allmänt om tillägg... 2 Om lärplattor och tillägg... 3 Kontroll av text... 3 De vanligaste meddelandena....
Läs merOrdklasser. Särdrag, lexikon och syntax. Öppna klasser. Slutna klasser. Vilka ord i lexikon? Vad skall man med en grammatik till?
Ordklasser Särdrag, lexikon och syntax Slutna klasser: prepositioner, konjunktioner, subjunktioner m.fl. (funktionsord) Inga nya ord bildas. Öppna klasser: substantiv, adjektiv, verb, adverb Ständiga nybildningar
Läs merSpråkteknologi och Open Source
Språkteknologi och Open Source Erik Edin F01 erikedin@kth.se 15 oktober 2004 1 1 Open Source Open Source är en rörelse som syftar till att skriva datorprogram som släpps fria utan kommersiella intressen.
Läs merGrammatisk teori II Attributvärdesgrammatik
Grammatisk teori II Attributvärdesgrammatik 1. Lexikon and syntaktiska regler Inom lingvistisk teori delas den mentala representationen av språket upp i två centrala komponenter: lexikon och syntaktiska
Läs merInnehåll. Två olika sätt att utvärdera. Varför skall man utvärdera språkgranskningssystem? F6: UTVÄRDERING AV SPRÅKGRANSKNINGSVERKTYG
Innehåll Korpusbaserad utvärdering F6: UTVÄRDERING AV SPRÅKGRANSKNINGSVERKTYG Ola Knutsson knutsson@csc.kth.se Automatisering av utvärdering!uppmärkta fel" Helautomatisk utvärdering!artificiella fel" ISO
Läs mer12 Programstege Substantiv
Det här är en programstege för substantiv. Du kan alltså lära dig om substantiven på ett enkelt sätt, en liten bit i taget. Varje sida innehåller fakta om substantiv, tillsammans med uppgifter som du också
Läs merAnvända SpellRight 2 i Word 2010
Använda SpellRight 2 i Word 2010 1. Skriva i Word 1. Öppna Word och skriv av följande mening med fel och allt: 2. Stäng av Words rättstavningsfunktion Om stavningskontrollen i Word är aktiverad kommer
Läs merSpellRight. för Google Docs. Manual för SpellRight för Google Docs
SpellRight för Google Docs Manual för SpellRight för Google Docs SpellRight för Google Docs i korthet.... 2 Allmänt om tillägg... 2 Om lärplattor och tillägg... 3 Kontroll av text... 3 De vanligaste meddelandena....
Läs merLingvistiskt uppmärkt text
729G09 Språkvetenskaplig databehandling (2018) Lingvistiskt uppmärkt text Marco Kuhlmann Institutionen för datavetenskap Korpusdata: Ett konkret exempel 1 Genom genom ADP 2 case 2 skattereformen skattereform
Läs merDatorlingvistisk grammatik
Datorlingvistisk grammatik Kontextfri grammatik, m.m. http://stp.lingfil.uu.se/~matsd/uv/uv11/dg/ Mats Dahllöf Institutionen för lingvistik och filologi Februari 2011 Denna serie Formella grammatiker,
Läs merAnvända Stava Rex i Word 2010
Använda Stava Rex i Word 2010 1. Skriva i Word Öppna Word och skriv av följande mening med fel och allt: 2. Stäng av Words rättstavningsfunktion Om stavningskontrollen i Word är aktiverad kommer de ord
Läs merInlämningsuppgift: Pronomenidentifierare
1 (7) Inlämningsuppgift: Pronomenidentifierare 2D1418 Språkteknologi landes@bredband.net johnne@kth.se 1 2 (7) 1 Uppgiften... 3 2 Algoritmen i korthet... 3 3 Representation av data... 3 4 Indikatorer...
Läs merDatum: Date: Provkodr: KTR1 Exam code:
Del 1. Ordklasser (5p) Ange ordklass för de understrukna orden i texten. En dag upptäcker min treåriga dotter (1) att det finns kärnor i äpplen. En snabb (2) genomgång av hur och varför visar (3) sig bli
Läs merSå här fungerar Stava Rex
Så här fungerar Stava Rex Stava Rex är ett program som rättar stavfel och grammatikfel i svensk text. Stava Rex kan rätta grava stavfel och hjälper till att skilja på lättförväxlade ord. Stava Rex kan
Läs merAllt fler svenskar skriver dagligen texter. Kontrollera språkkontrollen FRAMTIDEN OLA KARLSSON
FRAMTIDEN Kontrollera språkkontrollen OLA KARLSSON Stavnings- och grammatikkontroll används flitigt trots att den fungerar dåligt för många användare. Det visar flera undersökningar. Språknormerna i programmen
Läs merORDKLASSTAGGNING. Marco Kuhlmann Institutionen för datavetenskap
ORDKLASSTAGGNING Marco Kuhlmann Institutionen för datavetenskap Ordpredicering n-gram-modeller (definition, skattning) den brusiga kanalen: P(R F) = P(F R) P(R) redigeringsavstånd, Levenshtein-avstånd
Läs merLösningsförslag till tentamen i Språkteknologi 2D1418,
Lösningsförslag till tentamen i Språkteknologi 2D1418, 2004-10-18 1. Stavningskontroll utan ordlista (10 poäng) a) Med 29 bokstäver i alfabetet och en specialbokstav för ordbörjan/ordslut så finns det
Läs merVarför är morfologi viktigt? Morfologisk analys och generering. Vad är ett ord (idag vs. i dag) Kan man inte lägga alla ord i en lexikonfil?
Morfologisk analys och generering Språkteknologi för språkkonsulter Ola Knutsson 2009 Varför är morfologi viktigt? Ord är grunden i alla världens språk Alla språkteknologiska aktiviteter kräver kunskap
Läs merSpråkliga strategier för att minnas och lära, till exempel tankekartor och stödord. Mål:
Grammatikprov svenska Nu är det dags att kolla av vad eleverna lärt sig under vårens grammatik arbete. Efter påsklovet tar vi paus från veckans-ord och pluggar grammatik. För att det inte ska bli för mycket
Läs merGrammatik skillnader mellan svenska och engelska
UPPSALA UNIVERSITET Grammatik för språkteknologer Institutionen för lingvistik och filologi Föreläsningsanteckningar Mats Dahllöf December 2012 Grammatik skillnader mellan svenska och engelska 1 Inledning
Läs merTeoretisk lingvistik och datalingvistik. Robin Cooper
Teoretisk lingvistik och datalingvistik Robin Cooper Syftet med dagens föreläsning Sammanfattning av lingvistisk teori och datalingvistik/språkteknologi Diskussion av teorins roll i olika språkteknologiska
Läs merKom igång med SpellRight
Kom igång med SpellRight SpellRight är ett program som rättar engelska stavfel. Programmet är i första hand avsett för personer som har svenska som modersmål och skriver på engelska som andraspråk. Starta
Läs merNågra skillnader mellan svenska och engelska
UPPSALA UNIVERSITET Grammatik för språkteknologer Institutionen för lingvistik och filologi Föreläsningsanteckningar Mats Dahllöf December 2011 Några skillnader mellan svenska och engelska 1 Inledning
Läs merENGELSKA ÅRSKURS 3 ÅRSKURS 4
ENGELSKA ÅRSKURS 3 - utveckla ett intresse för engelska språket. - lära sig att uppfatta, förstå och våga tala engelska och agera enligt individuell förmåga. - göra sig förstådda i för dem nära och vardagliga
Läs merSpråkfärdighet 3 hp, ht 07
Språkfärdighet 3 hp, ht 07 Gemensamt syfte för samtliga kurser: I denna inriktning/kurs ska de studerande utveckla sina kunskaper och färdigheter inom svenska för undervisning i grundskolans tidigare år.
Läs merGränssnitt för FakeGranska. Lars Mattsson
Gränssnitt för FakeGranska av Lars Mattsson (larsmatt@kth.se) Innehållsförteckning 1 Introduktion...3 2 Genomförande:...3 3 Användning...5 4 Kända buggar:...6 5 Källförteckning...6 2 1 Introduktion Taken
Läs merHur böjs Astrid Lindgrens hjältar i (i) Empirisk språkforskning i ett nötskal
Artikel Hur böjs Astrid Lindgrens hjältar? Empirisk språkforskning i ett nötskal Muriel Norde 1. Inledning Då Huginn ok Muninns huvudredaktion bad mig att skriva ett bidrag inom ämnet barn- och ungdomslitteratur,
Läs merNORDISKE STUDIER I LEKSIKOGRAFI
NORDISKE STUDIER I LEKSIKOGRAFI Titel: Forfatter: Morfologisk analys och disambiguering som stöd i skapandet av frekvensordlistor Fredrik Westerlund, Sjur Nørstebø Moshagen, Eva Grava og Juhani Birn Kilde:
Läs merHandicom. Symbol for Windows. Encyklopedi. Version 3.4
Handicom Symbol for Windows Encyklopedi Version 3.4 Handicom, Nederländerna/Frölunda Data AB 2009 Innehåll Installation och licenser...2 1. Inledning...4 1.1 Vad är Encyklopedi?...4 2. Encyklopedis huvudmeny...5
Läs merHar adjektivets a och e former någon reell betydelse i dagens svenska? Om den så kallade sexusböjningen. Theres Brännmark Grammatikdagen 17 mars 2017
Har adjektivets a och e former någon reell betydelse i dagens svenska? Om den så kallade sexusböjningen Theres Brännmark Grammatikdagen 17 mars 2017 Den nye/nya Nils Erik den helige Anna den allsmäktig?
Läs merStava Rex för Mac. Innehåll. Rättstavning på svenska. Stava Rex för Mac i korthet 2. Inställningar 13 Allmänt 13 Ordlistor 15
Rättstavning på svenska Stava Rex för Mac Innehåll Stava Rex för Mac i korthet 2 Kom igång snabbt 2 Installation 2 Olika användare, olika inställningar 2 Kontroll av text 3 Stava Rex för Mac som fristående
Läs mer