Tekniker för storskalig parsning
|
|
- Magnus Lindström
- för 7 år sedan
- Visningar:
Transkript
1 Tekniker för storskalig parsning Grundläggande begrepp och metoder Joakim Nivre Uppsala Universitet Institutionen för lingvistik och filologi Tekniker för storskalig parsning 1(20)
2 Parsning Parsning Parsing (eng) Pars orationis (lat) Allmän betydelse: ta ut satsdelar Specialiserad betydelse inom datavetenskap/språkteknologi Mappningsproblem (jfr igenkänning): Indata: Språkligt uttryck (ord, sats, mening,... ) Utdata: Strukturell representation (sekvens, träd, graf,... ) Många olika typer av representationer: Linjära: morfem, ordklasstaggar, syntaktiska funktioner,... Hierarkiska: frasstrukturträd, dependensträd,... Tekniker för storskalig parsning 2(20)
3 De rödgröna knappar in Uppdaterat i dag. 09:42. Publicerat i dag. 09:11 De borgerliga partiernas ledning över de rödgröna minskar i DN/Synovates nya opinionsmätning. Vänsterpartiet ökar och närmar sig nu Miljöpartiet. De fyra borgerliga partierna får tillsammans 47,6 procent mot 45,8 för de tre oppositionspartierna. Det är ett övertag på endast 1,8 procentenheter, jämfört med 3,7 förra veckan. Läget är fortsatt jämnt mellan blocken, som det varit i samtliga mätningar efter sommaren, Men den borgerliga alliansen har varit i ledningen i fem mätningar i rad, så det är ändå ett systematiskt övertag, säger Synovates opinionsanalytiker Nicklas Källebring.... (DN.se, ) Tekniker för storskalig parsning 3(20)
4 Segmentering Dela upp texten i ord och meningar Ganska enkelt för svenska (och liknande språk): Ordgräns = mellanrum eller skiljetecken Meningsgräns = stort skiljetecken följt av stor bokstav Dock inte helt oproblematiskt: Rubriker utan skiljetecken: De rödgröna knappar in Skiljetecken i andra funktioner: 09:42, 47,6 Korrekturfel:... efter sommaren, Men... Ett eller två ord: DN/Synnovates Icke-trivialt problem för många skriftsystem (t.ex. kinesiska) Tekniker för storskalig parsning 4(20)
5 Morfologisk analys Identifiera ordens grundform och morfosyntaktiska särdrag De den PN UTR/NEU PLU DEF SUB DT UTR/NEU PLU DEF rödgröna rödgrön JJ POS UTR/NEU SIN DEF NOM JJ POS UTR/NEU PLU DEF NOM knappar knappa VB PRS AKT knapp NN UTR PLU IND NOM in in AB PL Kan delas upp i olika delproblem: Lemmatisering identifiera (möjliga) grundform(er) Morfologisk analys identifiera (möjliga) särdrag Disambiguering (kräver kontext) Tekniker för storskalig parsning 5(20)
6 Ordklasstaggning Identifiera ordens ordklass (och särdrag) i kontext De DT UTR/NEU PLU DEF rödgröna JJ POS UTR/NEU PLU DEF NOM knappar VB PRS AKT in PL Förenklad form av morfologisk analys: Ingen uttömmande (kontextoberoende) morfologisk analys Ingen lemmatisering Tekniker för storskalig parsning 6(20)
7 Namnigenkänning Identifiera (och kategorisera) namnuttryck i texten De borgerliga partiernas ledning över de rödgröna minskar i [DN]org/[Synovates]org nya opinionsmätning. [Vänsterpartiet]org ökar och närmar sig nu [Miljöpartiet]org. De fyra borgerliga partierna får tillsammans 47,6 procent mot 45,8 för de tre oppositionspartierna. Det är ett övertag på endast 1,8 procentenheter, jämfört med 3,7 förra veckan. Läget är fortsatt jämnt mellan blocken, som det varit i samtliga mätningar efter sommaren, Men den borgerliga alliansen har varit i ledningen i fem mätningar i rad, så det är ändå ett systematiskt övertag, säger [Synovates]org opinionsanalytiker [Nicklas Källebring]per. Tekniker för storskalig parsning 7(20)
8 Syntaktisk analys Analysera meningars syntaktiska struktur Två traditioner: Konstituentanalys dela upp meningen i mindre delar Dependensanalys identifiera relationer mellan ord Två varianter: Full parsning globalt uttömmande analys Partiell parsning underspecificerad analys Konstituens Dependens Full Frasstrukturparsning Dependensparsning Partiell Chunkning Funktionstaggning Tekniker för storskalig parsning 8(20)
9 Frasstrukturparsning Rekursiv uppdelning av meningar i fraser ända ner till ord S NP VP NP DT RG JJ NN VB AB RG NN De fyra borgerliga partierna får tillsammans 47,6 procent Tekniker för storskalig parsning 9(20)
10 Chunkning Segmentering av meningar i basfraser (ej rekursiva) [ DT RG JJ NN] NP [ VB] VB [ AB] AB [ RG NN De fyra borgerliga partierna får tillsammans 47,6 procent ] NP Tekniker för storskalig parsning 10(20)
11 Chunkning Segmentering av meningar i basfraser (ej rekursiva) S NP VP NP [ DT RG JJ NN] NP [ VB] VB [ AB] AB [ RG NN De fyra borgerliga partierna får tillsammans 47,6 procent ] NP Tekniker för storskalig parsning 10(20)
12 Dependensparsning Identifiering av funktionella relationer mellan ord i meningar DT DET DET OBJ ATT SBJ ADV RG JJ NN VB AB DET RG NN De fyra borgerliga partierna får tillsammans 47,6 procent Tekniker för storskalig parsning 11(20)
13 Funktionstaggning Identifiering av funktioner hos ord i meningar DET> DET> ATT> SBJ> MAIN <ADV DT> <OBJ DT RG JJ NN VB AB RG NN De fyra borgerliga partierna får tillsammans 47,6 procent Tekniker för storskalig parsning 12(20)
14 Funktionstaggning Identifiering av funktioner hos ord i meningar DET DET OBJ ATT SBJ ADV DET DET> DET> ATT> SBJ> MAIN <ADV DT> <OBJ DT RG JJ NN VB AB RG NN De fyra borgerliga partierna får tillsammans 47,6 procent Tekniker för storskalig parsning 12(20)
15 Semantisk analys På ordnivå: Disambiguering av ordbetydelser Exempel: [partiernas] ledning elkabel eller chefskap? På meningsnivå: Semantisk rollanalys predikat och argument Kompositionell semantik logiska operatorer Tekniker för storskalig parsning 13(20)
16 Semantisk rollanalys Proposition = Predikat + Argument Ej uttömmande segmentering eller hierarki Arg1 ArgM [De borgerliga partiernas ledning över de rödgröna] [minskar] [i DN/Synovates nya opinionsmätning]. [Vänsterpartiet] [ökar] och [närmar] [sig] [nu] [Miljöpartiet]. Arg1 ArgR Arg1 ArgM Arg2 Tekniker för storskalig parsning 14(20)
17 Hur kombinerar vi olika sorters analys? Vilka delar behövs? Vissa tillämpningar kräver inte fullständig analys Redundans mellan olika sorters analys Hur ser den optimala kombinationen ut? Är morfologisk analys en förutsättning för syntaktisk analys? Blir syntaktisk parsning lättare med namnigenkänning? Aktivt forskningsfält Tekniker för storskalig parsning 15(20)
18 Arkitekturer Klassisk pipeline varje steg avslutas innan nästa påbörjas Effektivt, enkelt att implementera Risk för felpropagering Holistisk integrering alla nivåer analyseras tillsammans Lättare att modellera beroenden mellan olika nivåer Svårt att implementera effektivt N-best pipeline varje steg levererar sina n bästa hypoteser Bättre avvägning mellan effektivitet och felpropagering? Tekniker för storskalig parsning 16(20)
19 Hur vet vi om det fungerar? Intrinsikal utvärdering Tillämpa systemet på representativ indata Jämför utdata med facit (gold standard) Diskutera: Hur hittar vi facit? Extrinsikal utvärdering Integrera systemet i en tillämpning Utvärdera tillämpningen före och efter (indirekt utvärdering) Intrinsikal och extrinsikal utvärdering kompletterar varandra Tekniker för storskalig parsning 17(20)
20 Täckning och precision Vanliga mått: Precision (P) = Antal korrekt analyserade fall Antal analyserade fall Täckning (R) = Antal korrekt analyserade fall Antal fall i facit Observera: P och R sammanfaller om antalet fall är givet (t.ex. taggning) P och R kan kombineras till F 1 (harmoniskt medelvärde): F 1 = 2 P R P + R Tekniker för storskalig parsning 18(20)
21 Exempel: Namnigenkänning Systemutdata: [DN/Synovates]org, [Miljöpartiet]org, [Synovates]org, [Nicklas]per Resultat: P = 0.5 R = 0.4 F1 = 0.44 De borgerliga partiernas ledning över de rödgröna minskar i [DN]org/[Synovates]org nya opinionsmätning. [Vänsterpartiet]org ökar och närmar sig nu [Miljöpartiet]org. De fyra borgerliga partierna får tillsammans 47,6 procent mot 45,8 för de tre oppositionspartierna. Det är ett övertag på endast 1,8 procentenheter, jämfört med 3,7 förra veckan. Läget är fortsatt jämnt mellan blocken, som det varit i samtliga mätningar efter sommaren, Men den borgerliga alliansen har varit i ledningen i fem mätningar i rad, så det är ändå ett systematiskt övertag, säger [Synovates]org opinionsanalytiker [Nicklas Källebring]per. Tekniker för storskalig parsning 19(20)
22 Korrekthet är inte allt Täckning och precision mäter korrekthet (accuracy) Andra viktiga utvärderingsaspekter: Robusthet hur ofta misslyckas parsningen? Disambiguering hur ofta får vi inte en entydig analys? Effektivitet hur mycket tid och minne går det åt? Diskutera: Är dessa aspekter oberoende av varandra? Tekniker för storskalig parsning 20(20)
Tekniker för storskalig parsning: Grundbegrepp
Tekniker för storskalig parsning: Grundbegrepp Joakim Nivre Uppsala Universitet Institutionen för lingvistik och filologi joakim.nivre@lingfil.uu.se Tekniker för storskalig parsning: Grundbegrepp 1(17)
Läs merTekniker för storskalig parsning
Tekniker för storskalig parsning Introduktion till projektet Joakim Nivre Uppsala Universitet Institutionen för lingvistik och filologi joakim.nivre@lingfil.uu.se Tekniker för storskalig parsning 1(17)
Läs merGrundläggande textanalys. Joakim Nivre
Grundläggande textanalys Joakim Nivre Om kursen Ni har hittills läst Lingvistik Datorteknik Matematik Språkteknologiska tillämpningar Nu ska vi börja med språkteknologi på allvar Hur gör man text hanterbar
Läs merTekniker för storskalig parsning
Tekniker för storskalig parsning Introduktion Joakim Nivre Uppsala Universitet Institutionen för lingvistik och filologi joakim.nivre@lingfil.uu.se Tekniker för storskalig parsning 1(18) Kursöversikt Kursnamn:
Läs merFöreläsning 5: Modellering av frasstruktur. 729G09 Språkvetenskaplig databehandling Lars Ahrenberg
Föreläsning 5: Modellering av frasstruktur 729G09 Språkvetenskaplig databehandling Lars Ahrenberg 2014-05-05 1 Översikt Introduktion generativ grammatik och annan syntaxforskning Att hitta mönster i satser
Läs merPartiell parsning Parsning som sökning
Språkteknologi: Parsning Parsning - definition Parsningsbegrepp Chartparsning Motivering Charten Earleys algoritm (top-down chartparsning) Partiell parsning (eng. chunking) med reguljära uttryck / automater
Läs merFil: /home/lah/undervisning/sprakteknologi/ohbilder/oh1_kv.odp. Tjänster
Taligenkänning 729G17/729G66 Språkteknologi 1 Vad är språkteknologi? Vad är språkteknologi? Kursens mål och uppläggning Att analysera textdata Korpusar och korpusarbete Textanalys med reguljära uttryck
Läs merParsningens olika nivåer
Parsning Språkteknologi DH418 Ola Knutsson Varför parsning? Grammatikkontroll Fråge-svarsystem Maskinöversättning Semantisk analys (vad menas?) Testa grammatikformaliser och grammatiker (undvika länsstolslingvistik)
Läs merGrammatik för språkteknologer
Grammatik för språkteknologer Språkteknologi och grammatiska begrepp http://stp.lingfil.uu.se/~matsd/uv/uv11/gfst/ Mats Dahllöf Institutionen för lingvistik och filologi November 2011 Lite mer om språkteknologisk
Läs merLösningsförslag till tentamen i Språkteknologi 2D1418,
Lösningsförslag till tentamen i Språkteknologi 2D1418, 2004-10-18 1. Stavningskontroll utan ordlista (10 poäng) a) Med 29 bokstäver i alfabetet och en specialbokstav för ordbörjan/ordslut så finns det
Läs merOrdklasstaggning med funktionsordslexikon. Språklig ytanalys med regler. Jabberwocky (Källgren, 1992) Mer Jabberwocky (Lewis Carrol)
Språklig ytanalys med regler Några olika system för: Ordklasstaggning Dependensgrammatik Constraint Grammar presenteras i detalj Ordklasstaggning med funktionsordslexikon Gunnel Källgrens MorP parser Den
Läs merVarför är morfologi viktigt? Morfologisk analys och generering. Vad är ett ord (idag vs. i dag) Kan man inte lägga alla ord i en lexikonfil?
Morfologisk analys och generering Språkteknologi för språkkonsulter Ola Knutsson 2009 Varför är morfologi viktigt? Ord är grunden i alla världens språk Alla språkteknologiska aktiviteter kräver kunskap
Läs merParsningens olika nivåer
Parsning Språkteknologi DH418 Ola Knutsson 008 Varför parsning? Grammatikkontroll Fråge-svarsystem Maskinöversättning Semantisk analys (vad menas?) Testa grammatikformaliser och grammatiker (undvika länsstolslingvistik)
Läs merSyntax S NP VP. AdjP. sleep. ideas. DH2418 Språkteknologi Johan Boye. Syntax
Syntax S NP VP AdjP NP JJ AdjP JJ NP N V sleep AdvP Adv Colorless green ideas furiously DH2418 Språkteknologi Johan Boye Syntax Frågor vi vill besvara: Vilka sekvenser av ord tillhör språket? Vilka relationer
Läs merGrammatik för språkteknologer
Grammatik för språkteknologer Fraser http://stp.lingfil.uu.se/~matsd/uv/uv12/gfs/ Språkteknologiska grammatikkomponenter Tokenisering urskilja graford. Ordklasstaggning och annan taggning tilldela dem
Läs merTentamen 2016-01-13. Marco Kuhlmann
TDDD02 Språkteknologi för informationssökning (2015) Tentamen 2016-01-13 Marco Kuhlmann Denna tentamen består av 10 frågor. Frågorna 8 10 ligger på en högre kunskapsnivå än de övriga och kräver utförliga
Läs merOrdklasser. Särdrag, lexikon och syntax. Ordklasskriterier II. Ordklasskriterier. Öppna klasser. Slutna klasser
Ordklasser Särdrag, lexikon och syntax Ola Knutsson knutsson@nada.kth.se Slutna klasser: prepositioner, konjunktioner, subjunktioner m.fl. (funktionsord) Inga nya ord bildas. Öppna klasser: substantiv,
Läs merKorpuslingvistik vt 2007
Korpuslingvistik vt 2007 Metoder för annotering I Beáta B. Megyesi bea@stp.lingfil.uu.se 1 Annotation: Morfo-syntaktisk analys teckenkodning meningssegmentering tokenisering morfologisk segmentering/analys,
Läs merTentamen Del A. Marco Kuhlmann
TDDD01 Språkteknologi (2016) Tentamen 2016-03-16 Marco Kuhlmann Tentamen består två delar, A och B. Varje del omfattar ett antal frågor à 3 poäng. Del A omfattar 8 frågor som kan besvaras kortfattat. Det
Läs merTDDD02 Språkteknologi för informationssökning (2016) Introduktion. Marco Kuhlmann Institutionen för datavetenskap
TDDD02 Språkteknologi för informationssökning (2016) Introduktion Marco Kuhlmann Institutionen för datavetenskap Vad är språkteknologi? Vad är språkteknologi? Språkteknologi är all teknologi som skapas
Läs mer729G09 Språkvetenskaplig databehandling
729G09 Språkvetenskaplig databehandling Modellering av frasstruktur Lars Ahrenberg 2015-05-04 Plan Formell grammatik språkets oändlighet regler Frasstrukturgrammatik Kontextfri grammatik 2 Generativ grammatik
Läs merTDDA94 LINGVISTIK, 3 poäng tisdag 19 december 2000
Lars Ahrenberg, sid 1(5) TENTAMEN TDDA94 LINGVISTIK, 3 poäng tisdag 19 december 2000 Inga hjälpmedel är tillåtna. Maximal poäng är 36. 18 poäng ger säkert godkänt. Del A. Besvara alla frågor i denna del.
Läs merLingvistiska grundbegrepp
729G09 Språkvetenskaplig databehandling (2016) Lingvistiska grundbegrepp Marco Kuhlmann Institutionen för datavetenskap Vad är korpuslingvistik? Korpuslingvistik handlar om att undersöka språkvetenskapliga
Läs merORDKLASSTAGGNING. Marco Kuhlmann Institutionen för datavetenskap
ORDKLASSTAGGNING Marco Kuhlmann Institutionen för datavetenskap Ordpredicering n-gram-modeller (definition, skattning) den brusiga kanalen: P(R F) = P(F R) P(R) redigeringsavstånd, Levenshtein-avstånd
Läs merDatorlingvistisk grammatik
Datorlingvistisk grammatik Introduktion http://stp.lingfil.uu.se/~matsd/uv/uv11/dg/ Översikt, denna gång (och nästa?) Kursformalia, lärandemål Språkteknologi och grammatik Grunder för grammatisk analys
Läs merKorpusannotering. Beáta Megyesi. Uppsala universitet Institutionen för lingvistik och filologi Korpusannotering 1(31)
Korpusannotering Beáta Megyesi Uppsala universitet Institutionen för lingvistik och filologi beata.megyesi@lingfil.uu.se Korpusannotering 1(31) Förra gången Att bygga en korpus sampling uppmärkning annotering
Läs merTDDD02 Språkteknologi för informationssökning (2016) Ordklasstaggning. Marco Kuhlmann Institutionen för datavetenskap
TDDD02 Språkteknologi för informationssökning (2016) Ordklasstaggning Marco Kuhlmann Institutionen för datavetenskap Ordklasstaggning Tagga varje ord i en sekvens av ord (oftast en mening) med dess korrekta
Läs merOrd och morfologi. Morfologi
Ord och morfologi DD2418 Språkteknologi Johan Boye Morfologi Läran om hur orden är uppbyggda av mindre betydelsebärande enheter som kallas morfem. Morfem tillhör en av två klasser: stam: den grundläggande
Läs merSärdrag, lexikon och syntax. Ordklasser. Ordklasskriterier II. Ordklasskriterier. Öppna klasser. Slutna klasser
Särdrag, lexikon och syntax Ordklasser Slutna klasser: prepositioner, konjunktioner, subjunktioner m.fl. (funktionsord) Inga nya ord bildas. Ola Knutsson knutsson@nada.kth.se Öppna klasser: substantiv,
Läs mer729G09 Språkvetenskaplig databehandling (2018) Kursintroduktion. Marco Kuhlmann Institutionen för datavetenskap
729G09 Språkvetenskaplig databehandling (2018) Kursintroduktion Marco Kuhlmann Institutionen för datavetenskap Denna föreläsning Kursens innehåll och organisation Korpuslingvistik och språkteknologi Textsegmentering
Läs merDatorlingvistisk grammatik
Datorlingvistisk grammatik Kontextfri grammatik, m.m. http://stp.lingfil.uu.se/~matsd/uv/uv11/dg/ Mats Dahllöf Institutionen för lingvistik och filologi Februari 2011 Denna serie Formella grammatiker,
Läs merLinköpings universitet. Kognitionsvetenskap. Instutitionen för datavetenskap. Kandidatuppsats 15 ECTS. CogFLUX
Linköpings universitet Kognitionsvetenskap Instutitionen för datavetenskap Kandidatuppsats 15 ECTS CogFLUX Grunden till ett automatiskt textförenklingssystem för svenska Författare: Jonas Rybing Christian
Läs merTaltaggning. Rapport av Daniel Hasselrot 781105-0157, d98-dha@nada.kth.se 13 oktober 2003
Taltaggning av Daniel Hasselrot 781105-0157, d98-dha@nada.kth.se 13 oktober 2003 Sammanfattning Denna rapport är skriven i kursen Språkteknologi och behandlar taggning av årtal i en text. Metoden som används
Läs merSyntaktisk parsning (Jurafsky & Martin kapitel 13)
Syntaktisk parsning (Jurafsky & Martin kapitel 13) Mats Wirén Institutionen för lingvistik Stockholms universitet mats.wiren@ling.su.se DH2418 Språkteknologi DA3010 Språkteknologi för datorlingvister Föreläsning
Läs merNeurolingvistik - Grammatik
Neurolingvistik - Grammatik Innehåll Grammatik-störningar vid afasi: syndrom, agrammatism och paragrammatism Verbets roll Morfologi - forskning och resultat från olika språk 3 teorier om agrammatism -
Läs merMatematik för språkteknologer
1 / 21 Matematik för språkteknologer 3.3 Kontext-fria grammatiker (CFG) Mats Dahllöf Institutionen för lingvistik och filologi Februari 2014 2 / 21 Dagens saker Kontext-fria grammatiker (CFG). CFG kan
Läs merPAROLE Exempel Förklaring SUC. PARTICIP AF00000A tf particip förkortning PC AN. pluralis obestämd/bestämd genitiv. pluralis obestämd/bestämd nominativ
Nyckel till SUCs taggset i PAROLE-format Från Språkbanken: http://spraakbanken.gu.se/ PAROLE Exempel Förklaring SUC PARTICIP AF00000A tf particip förkortning PC AN AF00PG0S deporterades AF00PN0S kallade
Läs merMorfologi, särdrag, lexikon och syntax. När är det bra med morfologi? Vad är ett ord? Morfem. Stam och affix
Morfologi, särdrag, lexikon och syntax Ordbildning och ordböjning Automatisk morfologisk analys Lexikon Särdrag, attribut och värden Syntax När är det bra med morfologi? Stavnings- och grammatikkontroll
Läs merKorpuslingvistik vt 2007
Korpuslingvistik vt 2007 Metoder för annotering II och utvärdering Beata B. Megyesi bea@stp.lingfil.uu.se 1 Annotation: Morfo-syntaktisk analys teckenkodning meningssegmentering tokenisering morfologisk
Läs merMatematik för språkteknologer (5LN445) Institutionen för lingvistik och filologi VT 2014 Författare: Marco Kuhlmann 2013
UPPSALA UNIVERSITET Matematik för språkteknologer (5LN445) Institutionen för lingvistik och filologi VT 2014 Författare: Marco Kuhlmann 2013 4 Grafer En graf är en struktur av prickar förbundna med streck.
Läs merDjupstruktur och ytstruktur
Djupstruktur och ytstruktur En gammal man bodde på vinden. På vinden bodde en gammal man. Chomsky 1965 baskomponent transformationskomponent Föregångare till UCP Augmented Transition Network (Woods 1970)
Läs merIntroduktion till språkteknologi. Datorstöd för språkgranskning
Introduktion till språkteknologi OH-serie 2: Datorstöd för språkgranskning oktober 2008 Mats Dahllöf (efter Sofia Gustafson-Capková) Institutionen för lingvistik och filologi UPPSALA UNIVERSITET Huvudpunkter
Läs merGrammatik för språkteknologer
Grammatik för språkteknologer Introduktion http://stp.lingfil.uu.se/~matsd/uv/uv11/gfst/ Mats Dahllöf Institutionen för lingvistik och filologi Oktober 2011 Lärandemål Efter avslutad kurs skall studenten
Läs merAutomatisk identifiering av konstruktionskandidater för ett svenskt konstruktikon
Automatisk identifiering av konstruktionskandidater för ett svenskt konstruktikon Markus Forsberg Språkbanken Göteborgs universitet 2013-03-19 Föredraget Föredraget är baserat på en artikel inskickad igår
Läs merIntroduktion till algoritmer - Lektion 4 Matematikgymnasiet, Läsåret 2014-2015. Lektion 4
Introduktion till algoritmer - Lektion 4 Matematikgymnasiet, Läsåret 014-015 Denna lektion ska vi studera rekursion. Lektion 4 Principen om induktion Principen om induktion är ett vanligt sätt att bevisa
Läs merForskning och utveckling inom språkteknologi Uppgift 3: Projektförslag Parallelliserad dependensparsning i CUDA
Forskning och utveckling inom språkteknologi Uppgift 3: Projektförslag Parallelliserad dependensparsning i CUDA Evelina Andersson 18 maj 2011 1 Introduktion Att träna mycket för att bli duktig på ett språk
Läs merMeningssegmentering i SUC och Talbanken
Meningssegmentering i SUC och Talbanken Mattias Edlund och Gvargis Demir Institutionen för lingvistik och filologi Uppsala Universitet Box 635 SE-751 26 Uppsala SWEDEN {matted,gevargis}@stp.lingfil.uu.se
Läs merFrasstrukturgrammatik
729G09 Språkvetenskaplig databehandling (2016) Frasstrukturgrammatik Marco Kuhlmann Institutionen för datavetenskap Korpusdata 1 Folkpensionen folkpension NOUN 2 dobj 2 får få VERB 0 root 3 man man PRON
Läs merUPPSALA UNIVERSITET Institution för lingvistik och filologi Föreläsningsanteckningar Mats Dahllöf HT 2015 (korrigerad 151126) Depdsgrammatik Dna introduktion till depdsgrammatik försöker följa d standard
Läs merStudenter drillar Lärkas sång om hur studenter lär grammatik via korpusverktyget Lärka
Studenter drillar Lärkas sång om hur studenter lär grammatik via korpusverktyget Lärka Håkan Jansson*, Therese Lindström Tiedemann**, Elena Volodina*** *Högskolan Väst, **Helsingfors universitet / Uppsala
Läs merLingvistiskt uppmärkt text
729G09 Språkvetenskaplig databehandling (2018) Lingvistiskt uppmärkt text Marco Kuhlmann Institutionen för datavetenskap Korpusdata: Ett konkret exempel 1 Genom genom ADP 2 case 2 skattereformen skattereform
Läs merBevis för ett modulärt perspektiv: (tidiga studier av) afasi.
UPPSALA UNIVERSITET Institutionen för lingvistik och filologi SPRIND, HT 2006, Tillfälle 6 SPRÅKPSYKOLOGI SPRÅKPSYKOLOGISKA GRUNDBEGREPP (kap 1 + 2) I språkpsykologin finner man begrepp från - språkvetenskap
Läs merObesvarade frågor från F1
Obesvarade frågor från F1 Antal ord i sista upplaga av SAOL Ex. på ord som försvunnit Ex. på nyord Varför är SAOL bättre som norm för stavningskontroll än SAOB? Språkgranskningsverktyg F4: Grammatikkontroll
Läs merKungliga Tekniska Högskolan 2006-03-26. Patrik Dallmann 821107-0274
Kungliga Tekniska Högskolan 2006-03-26 Patrik Dallmann 821107-0274 Patrik Dallmann dallmann@kth.se Inledning Syftet med detta arbete är att undersöka metoder för att upptäcka syftningsfel i vanlig text.
Läs merSpråkteknologi och Open Source
Språkteknologi och Open Source Erik Edin F01 erikedin@kth.se 15 oktober 2004 1 1 Open Source Open Source är en rörelse som syftar till att skriva datorprogram som släpps fria utan kommersiella intressen.
Läs merDatorlingvistisk grammatik
Datorlingvistisk grammatik Svenskans satser m.m. http://stp.lingfil.uu.se/~matsd/uv/uv11/dg/ Mats Dahllöf Institutionen för lingvistik och filologi Januari 2011 Satser Satserna utgör den mest mångfacetterade
Läs merLinköpings universitet
2014-09-08 Översikt Kognitionsvetenskaplig introduktionskurs Föreläsning 5 Integrationsutmaningen Vad är kognitionsvetenskap? Kort bakgrund/historik Representation och bearbetning av information Vetenskapliga
Läs merSemantik och pragmatik
Semantik och pragmatik Lingvistik 1 vt06 Uppsala universitet 1 Nyckelord idag Semantik Fras- och satssemantik Semantiska roller Kompositionalitetsprincipen Metaforer och idiom Pragmatik Språklig kontext
Läs merKorpuslingvistik. Metoder och tillämpningar inom språkteknologin - ht 07. Innehåll. Vad är en korpus? Vad är korpuslingvistik?
Metoder och tillämpningar inom språkteknologin - ht 07 Korpuslingvistik Innehåll Vad är en korpus? Vad är korpuslingvistik? Korpusurval och sammanställning Annotering Korpusexempel Parallellkorpusar Internet
Läs merInstruktioner - Datortentamen TDDE24 och TDDD73 Funktionell och imperativ programmering (i Python)
Instruktioner - Datortentamen TDDE24 och TDDD73 Funktionell och imperativ programmering (i Python) Hjälpmedel Följande hjälpmedel är tillåtna: Exakt en valfri bok, t.ex. den rekommenderade kursboken. Boken
Läs merSpråkgranskningsverktyg. Grammatikkontroll i Word
Språkgranskningsverktyg Grammatikkontroll i Word Allmänt om grammatikkontroll Grammatikkontrollprogrammen inriktas mot en i förväg definierad felrepertoar. Fastställs vanligen genom analys av korpusmaterial.
Läs merLabb 2: Syntax och ordklasstaggning. Att arbeta med grammatiskt analyserade data
Labb 2: Syntax och ordklasstaggning Att arbeta med grammatiskt analyserade data Labb 2 Arbete med grammatiskt analyserad text Vilka ord finns i texten? Hur många ordtyper innehåller den? Hur ser fördelningen
Läs merGrammatisk teori III Praktisk analys
Grammatisk teori III Praktisk analys 1. Satser Till skillnad från fraser har satser inga givna strukturella huvuden. Olika teorier gör olika antaganden om vad som utgör satsens huvud. Den lösning som förespråkas
Läs merInstruktioner - Datortentamen TDDD73 Funktionell och imperativ programmering i Python
Instruktioner - Datortentamen TDDD73 Funktionell och imperativ programmering i Python Hjälpmedel Följande hjälpmedel är tillåtna: Exakt en valfri bok, t.ex. den rekommenderade kursboken. Boken får ha anteckningar,
Läs merOrdklasser. Särdrag, lexikon och syntax. Öppna klasser. Slutna klasser. Vilka ord i lexikon? Vad skall man med en grammatik till?
Ordklasser Särdrag, lexikon och syntax Slutna klasser: prepositioner, konjunktioner, subjunktioner m.fl. (funktionsord) Inga nya ord bildas. Öppna klasser: substantiv, adjektiv, verb, adverb Ständiga nybildningar
Läs merSkåningarna om E6 och riksdagsvalet
Skåningarna om E6 och riksdagsvalet En opinionsundersökning 2018-02-08 Sammanfattning Kantar Sifo har på Sydsvenska Industri- och Handelskammarens uppdrag genomfört en undersökning om inställningen för
Läs merGrundläggande logik och modellteori
Grundläggande logik och modellteori Kapitel 6: Binära beslutsdiagram (BDD) Henrik Björklund Umeå universitet 22. september, 2014 Binära beslutsdiagram Binära beslutsdiagram (Binary decision diagrams, BDDs)
Läs merMaskinöversättning och språkgranskning. F6: Grammatikkontroll
Maskinöversättning och språkgranskning F6: Grammatikkontroll Grammatikkontroll av svenska För svenska finns huvudsakligen tre olika modeller Word Scarrie Granska Scarrie och Granska är forskningsprototyper.
Läs mer729G09 Språkvetenskaplig databehandling (2017) Kursintroduktion. Marco Kuhlmann Institutionen för datavetenskap
729G09 Språkvetenskaplig databehandling (2017) Kursintroduktion Marco Kuhlmann Institutionen för datavetenskap Denna föreläsning Kursens innehåll och organisation Språk och datorer Korpuslingvistik och
Läs merTDDD02 Föreläsning 6 HT-2013
TDDD02 Föreläsning 6 HT-2013 QA: Frågebesvarande system Lars Ahrenberg Litteratur: Brill m.fl. An Analysis of the AskMSR QA system Översikt Definition och exempel Utvärdering Standardkomponenter i QA-system
Läs merLogisk semantik I. 1 Lite om satslogik. 1.1 Konjunktioner i grammatisk bemärkelse. 1.2 Sant och falskt. 1.3 Satssymboler. 1.
UPPSALA UNIVERSITET Datorlingvistisk grammatik I Institutionen för lingvistik och filologi Oktober 2007 Mats Dahllöf http://stp.ling.uu.se/ matsd/uv/uv07/dg1/ Logisk semantik I 1 Lite om satslogik 1.1
Läs merModellering med kontextfri grammatik Kontextfri grammatik - definition En enkel kontextfri grammatik Klasser av formella språk
Modellering med kontextfri grammatik Kontextfri grammatik - definition Kontextfri grammatik (CFG) definition modellering av frasstruktur andra exempel Dependensgrammatik Trädbanker Varianter av kontextfri
Läs merInnehåll. Syntax. Kan allt delas upp i små delar? Varför är syntax fascinerande? Vad är syntax? Olika språksyn
Syntax Språkteknologi DH2418 Ola Knutsson knutsson@csc.kth.se Innehåll Grundläggande begrepp Två perspektiv på syntax Frasstrukturgrammatiker Olika frastyper och regler för dessa Dependensgrammatik Olika
Läs merFÖRELÄSNING 2, TDDC74, VT2018 BEGREPP PROBLEMLÖSNING MED HJÄLP AV FALLANALYS PROBLEMLÖSNING MED HJÄLP AV REKURSION
FÖRELÄSNING 2, TDDC74, VT2018 Begrepp och definitioner (delvis från föreläsning 1) Fallanalys som problemlösningsmetod Rekursivt fallanalys Rekursiva beskrivningar och processer de kan skapa Rekursiva
Läs merLingvistiskt uppmärkt text
729G09 Språkvetenskaplig databehandling (2016) Lingvistiskt uppmärkt text Marco Kuhlmann Institutionen för datavetenskap Från form till betydelse pragmatik semantik analys generering syntax morfologi Skolans
Läs merA. MENING OCH SANNINGSVÄRDE HOS IDENTITETSPÅSTÅENDE. antag att namn A står för objekt a och namn B står för objekt b antag att a och b är distinkta
FREGE, FÖRELÄSNINGSANTECKNINGAR HT17 IB A. MENING OCH SANNINGSVÄRDE HOS IDENTITETSPÅSTÅENDE Freges analys av identitetspåståenden antag att namn A står för objekt a och namn B står för objekt b antag att
Läs merAnsvarig lärare: Jörgen Larsson Mariann Bourghardt Telefonnummer:
11F320 15 högskolepoäng Provmoment: Salstentamen svenska, nr 1 Ladokkod: Tentamen ges för: Grundläggande svenska och matematik i förskoleklass och årskurs 1-3 TentamensKod: Tentamensdatum: 8 mars 2012
Läs merSatser och satsdelar. 1 Satser och satsdelar inledning. 2 Primära satsdelar predikatet. 2.1 Översikt. Grammatik för språkteknologer
UPPSALA UNIVERSITET Grammatik för språkteknologer Institutionen för lingvistik och filologi Föreläsningsanteckningar Mats Dahllöf November 2015 Satser och satsdelar Översikt i stolpform. Terminologin följer
Läs merInnehåll. Datorstöd för skrivande och grammatikkontroll Ola Knutsson DH2418 Språkteknologi. Datorstöd för skrivande. Vilka metoder finns?
Datorstöd för skrivande och grammatikkontroll Ola Knutsson DH2418 Språkteknologi Innehåll Datorstöd för skrivande Olika metoder och system för grammatikgranskning. Granska Att skriva regler i Granska.
Läs merKursintroduktion. Marco Kuhlmann Institutionen för datavetenskap. 729G49 Språk och datorer (2019)
729G49 Språk och datorer (2019) Kursintroduktion Marco Kuhlmann Institutionen för datavetenskap Detta verk är licensierat under en Creative Commons Erkännande 4.0 Internationell Licens. Filosofi Psykologi
Läs merVÄLJARBAROMETER FRÅN UNITED MINDS: Väljarna om Sverige och regeringsalternativen
2014-09-10 VÄLJARBAROMETER FRÅN UNITED MINDS: Väljarna om Sverige och regeringsalternativen I United Minds och Cints väljarbarometer, publicerad i samarbete med Aftonbladet, presenteras rapporten Väljarna
Läs merMorfologi och automatisk morfologisk analys och generering. Varför är morfologi viktigt? Vad är ett ord (idag vs. i dag)
Morfologi och automatisk morfologisk analys och generering Språkteknologi DH2418 Ola Knutsson 2009 Varför är morfologi viktigt? Ord är grunden i alla världens språk Alla språkteknologiska aktiviteter kräver
Läs merInstitutionen för lingvistik och filologi HT 2007
Övningsfrågor för Dag 1, 3 september 2007: Lingvistik och grammatik, världens språk, språktyper och skriftsystem 1. Vad är skillnaden mellan infallsvinklarna deskriptiv och preskriptiv lingvistik? Vilken
Läs merSpråkteknologi vt09. Diskursmodellering. Diskursmodell: exempel. Koherensrelationer. Koreferens. Att bestämma koherensrelationer
Språkteknologi vt09 Diskursmodellering Diskursmodellering koherensrelationer anaforisk referens Informationsutvinning Mallar Delproblem Namnigenkänning Referensresolution Mallifyllning / Relationsigenkänning
Läs merGrundläggande datalogi - Övning 9
Grundläggande datalogi - Övning 9 Björn Terelius January 30, 2009 Ett formellt språk är en (oftast oändlig) mängd strängar. Språket definieras av en syntax som är en samling regler för hur man får bilda
Läs merDN/Ipsos väljarbarometer februari 2015 Stockholm, 24 februari Kontakt:
DN/Ipsos väljarbarometer februari 2015 Stockholm, 24 februari 2015 Kontakt: david.ahlin@ipsos.com Ipsos. Ipsos. All rights All rights reserved. DN/Ipsos väljarbarometer februari: stabilt rödgrönt övertag
Läs merPerceptron som ordklasstaggare: ett fördjupningsarbete i 729G43 -Artificiell Intelligens
Perceptron som ordklasstaggare: ett fördjupningsarbete i 729G43 -Artificiell Intelligens Niklas Blomstrand Linköpings Universitet Inledning Att veta vilken ordklass ett ord tillhör är en viktig del i bearbetning
Läs merVarför tror vi att Värmland lutar åt vänster? Knappast på grund av de stora författarna
Vänstervridna värmlänningar Vänstervridna värmlänningar Sören Holmberg Varför tror vi att lutar åt vänster? Knappast på grund av de stora författarna eller den vackra naturen. Nej, mer beroende på industrierna,
Läs merInstruktioner - Datortentamen TDDD73 Funktionell och imperativ programmering i Python TDDE24 Funktionell och imperativ programmering del 2
Instruktioner - Datortentamen TDDD73 Funktionell och imperativ programmering i Python TDDE24 Funktionell och imperativ programmering del 2 Hjälpmedel Följande hjälpmedel är tillåtna: Exakt en valfri bok,
Läs merInnehåll. Syntax. Kan allt delas upp i små delar? Varför är syntax fascinerande? Olika språksyn. Vad är syntax?
Syntax Språkteknologi DH2418 Ola Knutsson knutsson@csc.kth.se Grundläggande begrepp Två perspektiv på syntax Frasstrukturgrammatiker Innehåll Olika frastyper och regler för dessa Dependensgrammatik Olika
Läs merBootstrapping för substantivtaggning
Kungliga Tekniska Högskolan NADA Bootstrapping för substantivtaggning -Djur eller icke djur Hösten 2004 Kurs: Språkteknologi 2D1418 Jonathan Johnson j0j0@kth.se Mikael Melin mime@kth.se Handledare: Jonas
Läs merGrammatik för språkteknologer
Grammatik för språkteknologer Introduktion http://stp.lingfil.uu.se/~matsd/uv/uv11/gfst/ Mats Dahllöf Institutionen för lingvistik och filologi Oktober 2011 1 Lärandemål Efter avslutad kurs skall studenten
Läs merMed Zipf mot framtiden En integrerad lexikonresurs för svensk språkteknologi
Med Zipf mot framtiden En integrerad lexikonresurs för svensk språkteknologi Lars Borin Språkbanken Inst. för svenska språket Göteborgs universitet Schæffergårdssymposiet 30/1 2010 bakgrund och förutsättningar
Läs merTvå-nivåmodellen, TWOL. 2D1418 Språkteknologi, Nada KTH Höstterminen 2004 Lisa Lagerkvist, Me-01
Två-nivåmodellen, TWOL 2D1418 Språkteknologi, Nada KTH Höstterminen 2004 Lisa Lagerkvist, Me-01 Inledning Morfologisk parsning är nödvändig i de flesta språkteknologiska tillämpningar eftersom man nästan
Läs merProblemlösning och funktioner Grundkurs i programmering med Python
Hösten 2009 Dagens lektion Problemlösningsstrategier Repetition av funktioner Mer om funktioner 2 Problemlösningsstrategier 3 PROBLEMLÖSNINGSSTRATEGIER Strategier Det finns ett flertal olika ansatser till
Läs merAtt bygga en korpus. Beáta Megyesi. Uppsala universitet Institutionen för lingvistik och filologi beata.megyesi@lingfil.uu.se
Att bygga en korpus Beáta Megyesi Uppsala universitet Institutionen för lingvistik och filologi beata.megyesi@lingfil.uu.se Att bygga en korpus 1(42) Förra gången Mer om ordfrekvenser, nyckelord, kollokationer
Läs merMarco Kuhlmann, Institutionen för datavetenskap, Linköpings universitet 17 mars 2014
Tentamen Marco Kuhlmann, Institutionen för datavetenskap, Linköpings universitet marco.kuhlmann@liu.se 17 mars 2014 Inga hjälpmedel är tillåtna. Maximal poäng finns angiven för varje fråga. Maximal poäng
Läs merFöreläsning 9: NP-fullständighet
Föreläsning 9: NP-fullständighet Olika typer av problem: 1. Beslutsproblem: A(x) =Ja. 2. Optimeringsproblem: A(x) =m Vanligen max/min. 3. Konstruktionsproblem: A(x) =En struktur. Vanligen lösningen till
Läs merSemantik VT Introduktion. Dagens föreläsning. Morfem-taxonomi forts. Morfem-taxonomi. Lexikal semantik: studerar ords betydelse
Dagens föreläsning Semantik VT07 Ordbetydelse (Lexikal semantik) Stina Ericsson 1. Introduktion 2. Extensioner 3. Begrepp 4. Extensioner och begrepp - några ytterligare saker Lexikal semantik: studerar
Läs merMÖSG ht 2005 Maskinöversättningssystemet MATS
MÖSG ht 2005 Maskinöversättningssystemet MATS Per Weijnitz perweij@stp.ling.uu.se Om detta kursmoment främja förståelse av översättningsproblem MÖ-arbete regelbaserade MÖ-system godtyckligt valt system?
Läs mer