ORDKLASSTAGGNING. Marco Kuhlmann Institutionen för datavetenskap

Storlek: px

Starta visningen från sidan:

Download "ORDKLASSTAGGNING. Marco Kuhlmann Institutionen för datavetenskap"

Ingvar Sandström
för 8 år sedan
Visningar:

1 ORDKLASSTAGGNING Marco Kuhlmann Institutionen för datavetenskap

2 Ordpredicering n-gram-modeller (definition, skattning) den brusiga kanalen: P(R F) = P(F R) P(R) redigeringsavstånd, Levenshtein-avstånd

3 Markov-modell En Markov-modell är en (deterministisk) finit automat vars övergångar är försedda med sannolikheter. Exempel: tillstånd = ord, övergångar = P(w 1 w 2 ) Man kan använda den för att räkna ut sannolikheten för tillståndssekvenser eller generera tillståndssekvenser. Exempel: bigram-modell ordsekvenser

Exempel: tillstånd = ord, övergångar = P(w 1 w 2 ) Man kan använda den för

4 P(w 1 w 1 ) w 1 P(w 1 -BOS-) P(-EOS- w 1 ) -BOS- P(w 2 w 1 ) P(w 1 w 2 ) -EOS- P(w 2 -BOS-) P(-EOS- w 2 ) w 2 P(w 2 w 2 )

5 Struktur Ordklasstaggning Metod 1: Regelbaserad taggning Utvärdering av ordklasstaggare Metod 2: Taggning med Hidden Markov-modeller (HMM)

6 Ordklasstaggning

7 Ordklasser En ordklass är en mängd av ord som delar någon egenskap. Exempel: substantiv (kan deklineras), verb (kan konjugeras) Man brukar skilja mellan två typer av ordklasser: öppna ordklasser slutna ordklasser Exempel: substantiv, adjektiv, verb Exempel: artiklar, pronomen, prepositioner

skilja mellan två typer av ordklasser: öppna ordklasser slutna

8 Stockholm Umeå Corpus (SUC) Den största manuellt annoterade textkorpusen för skriven svenska; ett samarbete mellan Stockholms och Umeås universitet. Innehåller 1,2 miljon ord (token) annoterade med bl.a. ordklass, morfologisk analys och lemma (grundform). Balanserad korpus med texter från olika genrer.

9 Ordklasser i SUC (1) förkortning kategori exempel NN substantiv pudding VB verb kasta PP preposition över AB adverb inte JJ adjektiv glad PN pronomen hon DT determinerare denna KN konjunktion och PM egennamn Mats SUC manual:

glad PN pronomen hon DT determinerare denna KN konjunktion och PM

10 Ordklasser i SUC (2) förkortning kategori exempel PC particip utsänd SN subjunktion att RG räkneord (grundtal) tre HP frågande/relativt pronomen som IE infinitivmärke att PL partikel ut SUC manual:

frågande/relativt pronomen som IE infinitivmärke att PL

11 Ordklasser i SUC (3) förkortning kategori exempel PS possessivt pronomen hennes HA frågande/relativt adverb när UO utländskt ord the RO räkneord (ordningstal) tredje IN interjektion ja HD frågande/relativt determinerare vilken HS frågande/relativt possessivt pronomen vars SUC manual:

IN interjektion ja HD frågande/relativt determinerare vilken HS frågande/relativt

12 Universella ordklasser (öppna klasser) förkortning kategori exempel ADJ adjektiv glad ADV adverb inte INTJ interjektion ja NOUN substantiv pudding PROPN proper noun Ingmar VERB verb kasta Universal Dependencies:

NOUN substantiv pudding PROPN proper noun Ingmar VERB verb

13 Universella ordklasser (slutna klasser) förkortning kategori exempel ADP adposition (preposition, postposition) över AUX hjälpverb har CONJ konjunktion och DET determinerare denna NUM räkneord för grundtal tre PART partikel ut PRON pronomen hon SCONJ subjunktion att Universal Dependencies:

determinerare denna NUM räkneord för grundtal tre PART partikel ut PRON pronomen

14 Ordklasstaggning Predicera den korrekta klassen för ett ord, given en mängd möjliga ordklasser. Ordklasstaggning måste även kunna hantera okända ord. Exempel: Hon tog fram tre nya boskar ur skåpet.

Ordklasstaggning måste även kunna hantera okända

15 Kombinatorisk explosion jag bad om en kort bit PN VB PP DT JJ NN NN NN SN PN AB VB PL RG NN AB NN 384 möjliga analyser

16 Utvärdering av ordklasstaggare

17 Att utvärdera taggare För att träna och utvärdera taggare behöver vi en guldstandard, dvs. redan taggade ord. Exempel: Stockholm Umeå Corpus (SUC) Utvärderingen kan då ske med avseende på standardmått: korrekthet, precision och täckning (per klass)

Exempel: Stockholm Umeå Corpus (SUC) Utvärderingen kan då ske

18 Förväxlingsmatris DT JJ NN PP VB guldstandard DT JJ NN PP VB system

19 Precision DT JJ NN PP VB DT JJ NN precision på NN PP VB

20 Täckning (recall) DT JJ NN PP VB DT JJ NN PP VB täckning på NN

21 Utvärderingsmetodologi träningsdata (80%): används för att skatta sannolikheter eller på annat sätt träna taggaren utvecklingsdata (10%): används för att utvärdera taggarens kvalité under utvecklingsperioden testdata (10%): används för att utvärdera den färdiga taggaren innan den finaliseras, t.ex. innan den skickas till en kund

22 Övningsuppgift En Shared Task är en tävling där ett antal forskningsteam tävlar om att bygga det bästa systemet för att lösa en given uppgift. Utvärderingen av systemen sker ofta med hjälp av guldstandarddata. Det är vanligt att testdatan för en Shared Task hålls hemliga för deltagarna; de skickar istället in sina system till organisatörerna som sedan genomför utvärderingen. Förklara varför man gör så!

23 Gränser Baseline: välj den mest frekventa taggen för varje ord Exempel: Brown corpus: 91% korrekthet Ceiling: jämför med mänskliga experter Exempel: Brown corpus: överensstämmelse på 96% av taggarna

24 Metod 1: Regelbaserad taggning

25 Regelbaserad taggning Använd ett tagglexikon för att tilldela varje ord en mängd möjliga taggar. Använd handskrivna disambigueringsregler för att reducera antalet möjliga taggar per ord till 1.

26 Zipfs lag f(w r ) 1/r Ett ords frekvens är invers proportionell mot dess position i frekvensrangordningen. Källa:

27 Zipfs lag i samband med ordklasstaggning Många ord(typer) förekommer med endast en tagg. SUC: 96,18% Några ord förekommer med många olika taggar. SUC: en kan vara DT, PN, RG, AB, UO, PM eller NN

28 Disambigueringsregler Formulerad som transformationsregler, till exempel: Om ordet slutar på -iska, ersätt taggen med JJ. Exempel: portugisiska/jj Ändra VB till NN om nästa tag är VB. Exempel: mina/ps händer/vb är/vb så/ab kalla/jj

29 Lite knep Använd reguljära uttryck för att tagga enkla eller strukturerade token som tal och telefonnummer. Hitta en bra defaulttagg som kan sättas på ord vars ordklass inte kunnat bestämmas på annat sätt. SUC: NN (ca. 20%)

30 Metod 2: HMM-taggning

31 Olika taggar har olika frekvenser jag bad om en kort bit PN VB PP DT JJ NN NN 25 NN 10 SN 2333 PN 402 AB 35 VB 0 PL 402 RG 388 NN 18 AB 150 NN 1

32 Ord/tagg-frekvenser PN VB PP DT JJ NN jag bad om en kort bit

33 Tagg/följande tagg-frekvenser PN VB PP DT JJ NN följande tagg PN VB PP DT JJ NN tagg

34 Hidden Markov-modell En Hidden Markov-modell (HMM) är en generaliserad Markovmodell med två olika typer av sannolikheter: övergångssannolikheter observationssannolikheter P(tagg tagg) P(ord tagg)

35 w P(w VB) jag 0, P(VB VB) bad 0, VB P(VB -BOS-) P(-EOS- VB) -BOS- P(PN VB) P(VB PN) -EOS- P(PN -BOS-) P(-EOS- PN) PN P(PN PN) w P(w PN) jag 0, bad 0,000006

36 HMM-taggning Vi vill räkna ut en taggsekvens med maximal sannolikhet. Problem: För en och samma ordsekvens finns det många olika taggsekvenser; sökrymden är stor. Lösning: Viterbi-algoritmen (dynamisk programmering; JM kapitel 5.5.3)

37 Taggning med HMM:er Börja med p = -BOS-. För varje ord w i sekvensen, från vänster till höger: Tagga ordet w med någon tagg t. Betala log P(t p) och log P(w t). Sätt p = t. Betala log P(-EOS- p).

38 Viterbi-tabellen Obs! Istället för sannolikheter anges negerade logaritmer! jag bad om en kort bit DT 14,49 21,33 29,38 24,82 42,62 50,67 JJ 15,46 21,13 29,88 35,22 33,00 48,36 NN 11,22 19,53 29,74 33,58 35,44 41,63 PN 5,35 21,43 28,86 29,86 42,50 50,81 PP 14,59 20,02 20,70 38,53 42,41 48,32 VB 16,11 14,83 29,53 39,65 43,08 49,15

39 Fas 1: Initialisering; räkna ut värdena i den första kolumnen jag bad om en kort bit DT 14,49 JJ NN PN PP VB T[DT][0] = P(DT -BOS-) + P(jag DT) = 2, ,99 = 14,49

40 Fas 1: Initialisering; räkna ut värdena i den första kolumnen jag bad om en kort bit DT 14,49 JJ 15,46 NN 11,22 PN 5,35 PP VB T[PN][0] = P(PN -BOS-) + P(jag PN) = 1,69 + 3,66 = 5,35

41 Fas 2: Rekursion; räkna ut värdena i de mellersta kolumnerna jag bad om en kort bit DT 14,49 21,33 29,38 35,15 JJ 15,46 21,13 29,88 NN 11,22 19,53 29,74 PN 5,35 21,43 28,86 PP 14,59 20,02 20,70 VB 16,11 14,83 29,53 T[PN][2] + P(DT PN) + P(en DT) = 28,86 + 4,00 + 2,29 = 35,15

42 Fas 2: Rekursion; räkna ut värdena i de mellersta kolumnerna jag bad om en kort bit DT 14,49 21,33 29,38 24,82 JJ 15,46 21,13 29,88 NN 11,22 19,53 29,74 PN 5,35 21,43 28,86 PP 14,59 20,02 20,70 VB 16,11 14,83 29,53 T[PP][2] + P(DT PP) + P(en DT) = 20,70 + 1,82 + 2,29 = 24,82

43 Fas 2: Rekursion (slut) jag bad om en kort bit DT 14,49 21,33 29,38 24,82 42,62 50,67 JJ 15,46 21,13 29,88 35,22 33,00 48,36 NN 11,22 19,53 29,74 33,58 35,44 41,63 PN 5,35 21,43 28,86 29,86 42,50 50,81 PP 14,59 20,02 20,70 38,53 42,41 48,32 VB 16,11 14,83 29,53 39,65 43,08 49,15

44 Fas 3: Terminering; hitta den bästa cellen i den sista kolumnen jag bad om en kort bit DT 14,49 21,33 29,38 24,82 42,62 50,67 JJ 15,46 21,13 29,88 35,22 33,00 48,36 NN 11,22 19,53 29,74 33,58 35,44 41,63 PN 5,35 21,43 28,86 29,86 42,50 50,81 PP 14,59 20,02 20,70 38,53 42,41 48,32 VB 16,11 14,83 29,53 39,65 43,08 49,15 T[NN][6] + P(-EOS- NN) = 41,63 + 4,30 = 45,93

45 Extrahera den bästa taggsekvensen jag bad om en kort bit DT 14,49 21,33 29,38 24,82 42,62 50,67 JJ 15,46 21,13 29,88 35,22 33,00 48,36 NN 11,22 19,53 29,74 33,58 35,44 41,63 PN 5,35 21,43 28,86 29,86 42,50 50,81 PP 14,59 20,02 20,70 38,53 42,41 48,32 VB 16,11 14,83 29,53 39,65 43,08 49,15

Relevanta dokument

TDDD02 Språkteknologi för informationssökning (2016) Ordklasstaggning. Marco Kuhlmann Institutionen för datavetenskap

TDDD02 Språkteknologi för informationssökning (2016) Ordklasstaggning Marco Kuhlmann Institutionen för datavetenskap Ordklasstaggning Tagga varje ord i en sekvens av ord (oftast en mening) med dess korrekta