Kungliga Tekniska Högskolan NADA Bootstrapping för substantivtaggning -Djur eller icke djur Hösten 2004 Kurs: Språkteknologi 2D1418 Jonathan Johnson j0j0@kth.se Mikael Melin mime@kth.se Handledare: Jonas Sjöbergh
Inledning Den här rapporten beskriver vårt arbete med inlämningsuppgiften i språkteknologi kursen 2D1418. Vi har valt att göra en laborations uppgift med maskininlärning. Det problem vi valt är att klassificera substantiv som djur eller icke djur. Vi har modifierat det python program som används i laboration 5 i denna kurs. I stället för egennamn arbetar det nu med substantiv. Vi har skapat små träningstexter, optimeringstexter och testtexter. För att förenkla inlärningen av djur i träningstexten har vi tagit fram ett enkelt program som använder sig av Granska för att göra om alla substantiv till grundform. Vi har provat lite olika regler och hittat några som ger ett resultat som är bättre än slumpen. Rapport Uppgiftsbeskrivning Försöka klassificera substantiv som djur eller inte, med hjälp av en modifierad version av maskininlärningsprogrammet som användes i laboration 5. Allmänt om uppgiften Vi ska försöka hitta vilka substantiv som är djur. Till detta använder vi maskininlärningsprogrammet som används på laboration 5 i denna kurs. Programmet bygger på bootsrapping tekniken. Det innebär att programmet får exempel på vilka ord som tillhör de klasser som de ska klassificeras i. Programmet får även regler som säger vad de ska titta på när den ska göra generella regler från exemplen. Reglerna kan antingen titta på ord, taggning eller tidigare gissning på ord runt omkring det aktuella ordet eller på detta. Förberedande arbete. För att kunna träna och utvärdera substantivs igenkänningen har vi samlat in texter från internet. Vi har tagit texter om djur i huvudsak från djurparker t.ex. Borås djurpark. Texten utan djur är tagen från Aftonbladet. Texterna är fördelade enligt följande: Mängd Antal ord ca Substantiv Djur % djur Träning 5000 ca 1350 ca 300 ca 22 Optimering 700 165 42 25 Test 700 166 52 31 Utan djur 1100 246 0 0 Tabell 1. Textmängder Tokenisering och taggning. Vi har använt ett tillhandahållet program som tokeniserar och taggar texten. Det för att indatat till maskininlärningsprogrammet måste vara tokeniserat och taggat. Substantiven i träningstexten har lemmatiserats efter att den taggats, så vi har alla substantiv i grundfrom men taggning som i texten. Detta gjordes för att inte behöva ta med alla böjningsformer av orden i träningsexemplen. Vi har gjort ett program som för varje substantiv anropar granska servern. Från den data som returneras plockar vi ut lemmatiseringen.
Modifiering av program Programmet från bootsrappings labben har modifierats så att det känner igen substantiv i stället egennamn. Detta har gjorts genom att generera alla möjliga taggningar av substantiv och sedan jämföra dem med taggingen av det aktuella ordet. Vi har bytt ut dom olika klasserna i ursprungsprogrammet till djur och icke djur. Vi har gjort en ganska vid klassificering av vilka substantiv som är djur. Förutom dom uppenbara som t.ex. björn och älg har vi valt att även klassificera substantiv som syftar på djur som djur. Exempelvis klassificerar vi människa, insekt, hona och unge som substantiv. Detta för att dom förekommer i samma kontext i texten och nästan alltid kan bytas ut mot ett djur namn. Startgissningen har bytts från entity till att vara djur om substantivet finns med i djurexempel listan annars icke djur. Träning av program Träningen började med att vi letade igenom våran träningsmängd efter substantiv. Vi tog ut dem som förekom flest gånger och skrev in dem som exempel för de olika klasserna. Vi testade sedan många olika regler. Några regler var mer genomtänkta andra mindre. Reglerna testades på optimeringsmängden med varierande resultat. Vi testade även att variera antalet exempelord i varje klass. Resultat I optimeringsmängden och testmängden var det enligt våran klassificering 25 respektive 31 % av substantiven som var djur. Vi bestämde att baseline skulle vara att de som inte var djur skulle få en täckning på ca 70 % och de som var djur skulle få en täckning på 30 %. Detta då det är vad som fås om slumpning med 30 % chans att det blir djur tillämpas. Vårt mål med träningen av reglerna var att få upp täckningen av djur så högt som möjligt utan att försämra täckningen av icke djur. Detta då det är djur som är intressanta att klassificera, men förbättringen får inte ske på bekostnad av icke djuren. Det bästa resultatet vi lyckade komma fram till visas i tabellen nedan. Mängd Täckning Täckning Precision Precision Totalt djur icke djur djur icke djur Baseline 30 70 30 70 58 Optimering 62 78 49 86 74 Test 58 71 48 79 67 Utan djur 72 100 72 Test (utan Lemma) 50 71 44 76 64 Tabell 2. Resultat, alla värden i procent. I resultaten ovan använde vi 24 exempel på djur och 50 exempel på icke djur i våran träning. Varje exempel förekommer flera gånger i träningstexten, tre gånger eller fler. Vi har valt att ha fler icke djur då hela texten innehåller fler icke djur. Detta för att om vi hade för många djur så drogs djur precision och icke djurs täckning ner.
Analys av resultat. Det framgår av resultatet att vi kanske har optimerat lite för mycket då det blev ett tydligt sämre resultat på testmängden än på optimeringsmängden. Detta beror på att fler icke djur blev klassificerade som djur. När vi inte använde lemmatiserade substantiv i träningsmängden så drogs täckningen på djur ner och precisionen på både djur och icke djur sjönk. Detta beror på att vi täcker in en mycket mindre del av alla substantiv i träningsmängden med våra exempel. Regler De regler vi använde för att komma fram till resultatet ovan var: 1. [(1,1), (0, 1)] taggning av ordet efter och ordet före. 2. [(1, 1)] taggning av ordet före 3. [(1,0)] taggning av ordet 4. [(0,1), (0, 1)] ordet efter och ordet före 5. [(1,1), (1, 1)] taggning av ordet efter och taggning av ordet före Det som står innanför varje hakparenteserna är en regel. Inom parenteserna står vad som ska kontrolleras och var. I den första positionen betyder en 0 ord, 1 taggning och 2 tidigare gissning. I den andra positionen anges var i texten ordet står i för hållande till det aktuella. Där 0 betyder ordet själv, 1 ordet före, 1 ordet efter o.s.v.. Om reglerna Regel 3 tittar på ordklassen på ordet och gör att dom flesta substantiven blir klassificerade som djur eller icke djur. Syftet är att alla substantiv ska klassificeras som något och de andra reglerna ska ändra på klassificeringen i dom fall som det inte blev rätt. Regel 5 tittar på vilka ordklasser som omger det aktuella ordet. Den hittar t.ex. verb i aktiv form något som kan tänkas skilja djur från icke djur, då djur gör saker och icke djur görs det saker med. Regel 2 tittar på vilken ordklass ordet före har. Den hittar bl.a. att det ofta står prepositioner före icke djur. Man är oftare t.ex. på eller i platser, men det går inte att relatera till djur på det sättet så ofta. Regel 1 tittar på taggningen efter och ordet för. Hittar mönster för hur det brukar se ut runt djur och icke djur. Har visat sig vara effektiv att hitta saker som reglerna ovan inte klarat av att klassificera rätt. Regel 4 tittar på vilka ord som omger det aktuella ordet. Hittar mönster för hur det brukar se ut runt djur och icke djur. Har visat sig vara effektiv att hitta saker som reglerna ovan inte klarat av att klassificera rätt. Felkällor En felkälla är att vi har en liten träningsmängd. Detta leder till att vi inte får tillräckligt generella regler utan att de blir för specialiserade. Vi vet även att taggaren taggar bara rätt med ca 96% säkerhet, detta kan medföra (speciellt med liten träningsmängd) att regler som egentligen inte finns skapas. Våran definition av djur är även det en felkälla då vi t.ex. i texten utan djur har ett ord
som "kasinobesökare" som enligt våran definition inte är ett djur. Ordet har dock klassificerats som djur och ju kan ses syfta på en människa som enligt våran definition är ett djur. Sammanfattning Vi har gjort ett program för att klassificera substantiv som bygger på bootstrapping. Vi har lyckats få upp både täckningen och precisionen för djur utan att detta skett på bekostnad av klassificeringen av icke djur. Att vi inte fått bättre resultat än vi fått kan delvis bero på att vi har en relativt liten träningsmängd. Vi upptäckte även att om vi lemmatiserade substantiven så fick vi bättre täckning och precision på djuren. Referenser Kursboken Speech and Language Processing, Jurafsky & Martin, ISBN 0 13 095069 6, Prentice Hall. Föreläsningsanteckningar i kursen 2D1418 (Språkteknologi). Program som taggar och tokeniserar text tillhandahållet av handledaren. Bilagor Koddelar vi ändrat Körningsresultat av testmängden
Bilaga 1, Koddelar vi ändrat # det här är gissningarna animals = ["älg","insekt","lodjur","zebra","hona","fågel","människa","skogshare","rovdjur","må rd","kattdjur","kyckling","elandantilopen","däggdjur","djur","unge","tjäder","rådjur", "orren","kalv","höna","hare","älgtjur","grävling"] # alla ord listade här kommer annoteras med "animal" nomals = ["år","vinter","tid","sjö","kg","älgstam","träd","plats","horn","föda","dag","art","vatte n","skog","meter","del","skada","land","jakt","grund","form","gran","form","del","be stånd","ved","ph värde","förekomst","hänsyn","bestånd","vintertid","tillgång", "terräng","tallskog","tall","stam","sommartid","sommar","skydd","skogsbruk","rand", "område","natur","myr","mark","jakttid","hänsyn","förekomst","björk","asp"] # allt utom djur possible_tags = ["entity", " ","animal","nomal"] # en lista på alla annoteringar som får förekomma #Regler patterns = [ [(1,1),(0, 1)], #taggning av ordet efter och ordet före. [(1, 1)], #taggning av ordet före [(1,0)], #taggning av ordet [(0,1),(0, 1)], #ordet efter och ordet före [(1,1),(1, 1)], #taggning av ordet efter och taggning av ordet före ] #Startgissning # sätt initialtillståndet, ge alla Substantiv # taggen "animal" om de finns med i exemplen för animal # annars "nomal", alla andra ord taggen " " def initial_guess(): for i in range(size): if corpus[1][i] in nn: if invlex[0][corpus[0][i]] in animals: corpus[ 2].append(int(lex[ 2]["animal"])) else: corpus[ 2].append(int(lex[ 2]["nomal"])) else: corpus[ 2].append(int(lex[ 2][" "]))
#läser in och sparar substantiv global nn # sparar alla substantiv gender = [".utr",".neu",".utr/neu",".mas",""] num = [".sin",".plu",".sin/plu",""] spec = [".ind",".def",".ind/def",""] case = [".nom",".gen",""] nntype = [".set",".dat",""] for i in gender: tmp = "nn" tmp = tmp + i for j in num: tmp2 = tmp tmp2 = tmp2 + j for k in spec: tmp3 = tmp2 tmp3 = tmp3 + k for l in case: tmp4 = tmp3 tmp4 = tmp4 + l for m in nntype: tmp5 = tmp4 tmp5 = tmp5 + m try: nn.append(lex[1][tmp5]) except KeyError: pass
Bilaga 2, körningsresultat av testmängden Resultat magenta12:~/sprak/inlupp>python inlupp.py eval test.facit test.resultat Då rätt svar var animal gissades: animal 30 ; nomal 22 ; 57.6923076923 % Då rätt svar var nomal gissades: animal 33 ; nomal 81 ; 71.0526315789 % 111 av 166 blev rätt, 66.8674698795 % Regler. magenta12:~/sprak/inlupp>python inlupp.py train text.annoterad 1... kör TBL best score: 78 byt gissning till nomal OM: PoS 0 är nn.utr.sin.ind.nom best score: 51 byt gissning till nomal OM: PoS 1 är pp best score: 41 byt gissning till nomal OM: PoS 0 är nn.utr.plu.ind.nom best score: 31 byt gissning till animal OM: PoS 0 är nn.utr.sin.def.nom best score: 24 byt gissning till nomal OM: PoS 0 är nn.neu.plu.ind.nom best score: 16 byt gissning till animal OM: PoS 0 är nn.neu.sin.ind.nom best score: 12 byt gissning till nomal OM: PoS 1 är pp best score: 10 byt gissning till nomal OM: PoS 0 är nn.neu.sin.ind.nom.set best score: 10 byt gissning till animal OM: PoS 0 är nn.utr.plu.def.nom best score: 9 byt gissning till nomal OM: PoS 0 är nn.neu.sin.def.nom best score: 6 byt gissning till nomal OM: PoS 0 är nn.neu.plu.def.nom best score: 5 byt gissning till nomal OM: PoS 0 är nn.utr.sin.ind.nom.set best score: 5 byt gissning till animal OM: PoS 1 är mad best score: 5 byt gissning till animal OM: PoS 1 är kn best score: 4 byt gissning till nomal OM: PoS 0 är nn.utr.sin.ind.nom best score: 3 byt gissning till animal OM: PoS 1 är kn OM: ord 1 är, best score: 3 byt gissning till nomal OM: PoS 1 är jj.pos.neu.sin.ind.nom best score: 3 byt gissning till animal OM: PoS 1 är vb.prs.akt.mod best score: 3 byt gissning till nomal OM: PoS 1 är ps.neu.sin.def best score: 3 byt gissning till animal OM: PoS 0 är nn.utr.plu.def.gen best score: 3 byt gissning till nomal OM: PoS 0 är nn.utr.sin.def.gen best score: 3 byt gissning till animal OM: PoS 1 är nn.neu.sin.def.nom.set best score: 2 byt gissning till nomal OM: PoS 1 är sn best score: 2 byt gissning till animal OM: PoS 1 är ab OM: PoS 1 är sn best score: 2 byt gissning till nomal OM: PoS 1 är pp OM: ord 1 är. best score: 2 byt gissning till animal OM: ord 1 är, OM: ord 1 är även best score: 2 byt gissning till nomal OM: PoS 1 är mad OM: ord 1 är i best score: 2 byt gissning till animal OM: PoS 1 är kn OM: ord 1 är. best score: 2 byt gissning till animal OM: ord 1 är. OM: ord 1 är med best score: 2 byt gissning till animal OM: PoS 1 är kn OM: PoS 1 är jj.kom.utr/neu.sin/plu.ind/def.nom best score: 2 byt gissning till animal OM: PoS 1 är kn OM: PoS 1 är kn best score: 2 byt gissning till nomal OM: PoS 1 är jj.suv.utr/neu.sin/plu.def.nom best score: 2 byt gissning till nomal OM: PoS 1 är pp OM: PoS 1 är pp best score: 2 byt gissning till animal OM: PoS 1 är nn.utr.sin.ind.nom OM: ord 1 är av best score: 1 byt gissning till animal OM: PoS 1 är nn.utr.plu.ind.nom OM: ord 1 är moderna best score: 1 byt gissning till animal OM: ord 1 är, OM: ord 1 är är
best score: 1 byt gissning till animal OM: PoS 1 är ab OM: PoS 1 är pc.prs.utr/neu.sin/plu.ind/def.nom best score: 1 byt gissning till nomal OM: PoS 1 är vb.prs.akt.kop OM: PoS 1 är jj.pos.utr/neu.sin.def.nom best score: 1 byt gissning till animal OM: ord 1 är uppväxande OM: ord 1 är även best score: 1 byt gissning till animal OM: ord 1 är är OM: ord 1 är med best score: 1 byt gissning till nomal OM: PoS 1 är ab OM: PoS 1 är jj.pos.utr/neu.plu.ind/def.nom best score: 1 byt gissning till animal OM: PoS 1 är vb.prs.akt.kop OM: ord 1 är att best score: 1 byt gissning till nomal OM: PoS 1 är nn.neu.sin.ind.nom OM: PoS 1 är vb.prs.akt best score: 1 byt gissning till animal OM: PoS 1 är vb.prt.akt best score: 1 byt gissning till animal OM: ord 1 är som OM: ord 1 är till best score: 1 byt gissning till animal OM: PoS 1 är nn.neu.sin.ind.nom OM: ord 1 är är best score: 1 byt gissning till animal OM: PoS 1 är pad OM: PoS 1 är jj.pos.utr/neu.plu.ind/def.nom best score: 1 byt gissning till nomal OM: PoS 1 är nn.utr.sin.ind.nom OM: PoS 1 är pc.prs.utr/neu.sin/plu.ind/def.nom best score: 1 byt gissning till animal OM: PoS 1 är mad OM: ord 1 är vinter best score: 1 byt gissning till animal OM: PoS 1 är vb.sup.akt OM: PoS 1 är jj.pos.utr/neu.plu.ind/def.nom best score: 1 byt gissning till animal OM: PoS 1 är vb.prs.akt.kop OM: ord 1 är många best score: 1 byt gissning till animal OM: PoS 1 är hp OM: ord 1 är grupp best score: 1 byt gissning till animal OM: ord 1 är som OM: ord 1 är antal best score: 1 byt gissning till animal OM: PoS 1 är kn OM: PoS 1 är jj.suv.utr/neu.sin/plu.def.nom best score: 1 byt gissning till animal OM: PoS 1 är pad OM: ord 1 är " best score: 1 byt gissning till animal OM: PoS 1 är sn OM: PoS 1 är jj.pos.utr/neu.plu.ind.nom best score: 1 byt gissning till animal OM: PoS 1 är ab.pos OM: ord 1 är mot best score: 1 byt gissning till animal OM: PoS 1 är kn OM: PoS 1 är ab best score: 1 byt gissning till animal OM: PoS 1 är pp OM: ord 1 är dressera best score: 1 byt gissning till nomal OM: PoS 1 är dt.utr.sin.def OM: PoS 1 är vb.prs.akt best score: 1 byt gissning till animal OM: ord 1 är, OM: ord 1 är, best score: 1 byt gissning till animal OM: ord 1 är, OM: ord 1 är attackerande best score: 1 byt gissning till animal OM: ord 1 är gärna OM: ord 1 är jagar best score: 1 byt gissning till nomal OM: ord 1 är för OM: ord 1 är t.ex. best score: 1 byt gissning till animal OM: ord 1 är vistas OM: ord 1 är ensamma best score: 1 byt gissning till animal OM: PoS 1 är hp OM: PoS 1 är pm.gen best score: 1 byt gissning till nomal OM: PoS 1 är mad OM: PoS 1 är pad best score: 1 byt gissning till animal OM: PoS 1 är mad OM: ord 1 är europeiska best score: 1 byt gissning till nomal OM: PoS 1 är ab.pos OM: ord 1 är återetablerades best score: 1 byt gissning till nomal OM: PoS 1 är ps.neu.sin.def OM: ord 1 är får best score: 1 byt gissning till animal OM: PoS 1 är kn OM: ord 1 är med best score: 1 byt gissning till animal OM: ord 1 är inte OM: ord 1 är andra best score: 1 byt gissning till animal OM: PoS 1 är mad OM: ord 1 är kontroversiellt best score: 1 byt gissning till nomal OM: ord 1 är ökar OM: ord 1 är då
best score: 1 byt gissning till animal OM: ord 1 är hör OM: ord 1 är grants best score: 1 byt gissning till animal OM: PoS 1 är mid OM: PoS 1 är jj.pos.utr/neu.plu.ind/def.nom best score: 1 byt gissning till nomal OM: PoS 1 är mid OM: ord 1 är svarta best score: 1 byt gissning till nomal OM: ord 1 är, OM: ord 1 är forna best score: 1 byt gissning till animal OM: PoS 1 är kn OM: PoS 1 är rg.utr/neu.plu.ind/def.nom best score: 1 byt gissning till animal OM: PoS 1 är vb.prt.akt OM: ord 1 är egna best score: 1 byt gissning till animal OM: PoS 1 är hp OM: ord 1 är stora best score: 1 byt gissning till animal OM: PoS 1 är pp OM: ord 1 är sina best score: 1 byt gissning till nomal OM: PoS 1 är pp OM: ord 1 är allmänna best score: 1 byt gissning till nomal OM: ord 1 är vinner OM: ord 1 är. best score: 1 byt gissning till animal OM: PoS 1 är mad OM: PoS 1 är pc.prs.utr/neu.sin/plu.ind/def.nom best score: 1 byt gissning till nomal OM: ord 1 är. OM: ord 1 är uppväxande best score: 1 byt gissning till nomal OM: PoS 1 är pp OM: ord 1 är och best score: 1 byt gissning till nomal OM: ord 1 är har OM: ord 1 är men best score: 1 byt gissning till animal OM: ord 1 är i OM: ord 1 är visst best score: 1 byt gissning till animal OM: PoS 1 är mad OM: ord 1 är mot best score: 1 byt gissning till nomal OM: ord 1 är. OM: ord 1 är minska best score: 1 byt gissning till animal OM: PoS 1 är pp OM: ord 1 är jagades best score: 1 byt gissning till nomal OM: PoS 1 är mad OM: PoS 1 är hp best score: 1 byt gissning till nomal OM: PoS 1 är mad OM: PoS 1 är dt.neu.sin.ind best score: 1 byt gissning till nomal OM: ord 1 är minst OM: ord 1 är är best score: 1 byt gissning till animal OM: PoS 1 är mad OM: ord 1 är 10 20 best score: 1 byt gissning till animal OM: PoS 1 är vb.prs.akt OM: PoS 1 är jj.pos.utr.sin.ind.nom best score: 1 byt gissning till nomal OM: PoS 1 är dt.utr.sin.def best score: 1 byt gissning till animal OM: PoS 1 är kn OM: ord 1 är sig best score: 1 byt gissning till nomal OM: PoS 1 är ab OM: ord 1 är börjar best score: 1 byt gissning till nomal OM: PoS 1 är pp OM: PoS 1 är vb.inf.akt.kop best score: 1 byt gissning till animal OM: ord 1 är kan OM: ord 1 är åt best score: 1 byt gissning till animal OM: PoS 1 är vb.prs.sfo OM: ord 1 är vuxna best score: 1 byt gissning till nomal OM: ord 1 är återhämtade OM: ord 1 är. best score: 1 byt gissning till nomal OM: PoS 1 är vb.sup.akt.mod OM: PoS 1 är vb.prs.akt.aux best score: 1 byt gissning till animal OM: ord 1 är finner OM: ord 1 är med best score: 1 byt gissning till animal OM: ord 1 är beräknas OM: ord 1 är av best score: 1 byt gissning till animal OM: PoS 1 är vb.prs.akt OM: ord 1 är mängd best score: 1 byt gissning till animal OM: ord 1 är framför OM: ord 1 är bergslagsskogarnas best score: 1 byt gissning till nomal OM: PoS 1 är mid OM: ord 1 är något best score: 1 byt gissning till animal OM: PoS 1 är nn.neu.plu.ind.nom OM: PoS 1 är pp best score: 1 byt gissning till nomal OM: PoS 1 är pp OM: ord 1 är hålla best score: 1 byt gissning till nomal OM: ord 1 är, OM: ord 1 är täta best score: 1 byt gissning till animal OM: ord 1 är. OM: ord 1 är andra best score: 1 byt gissning till animal OM: ord 1 är, OM: ord 1 är sort best score: 1 byt gissning till animal OM: ord 1 är med OM: ord 1 är förutom best score: 1 byt gissning till animal OM: ord 1 är ) OM: ord 1 är vanlig best score: 1 byt gissning till animal OM: ord 1 är under OM: ord 1 är om
best score: 1 byt gissning till animal OM: ord 1 är ner OM: ord 1 är ofta best score: 1 byt gissning till nomal OM: ord 1 är började OM: ord 1 är och best score: 1 byt gissning till animal OM: ord 1 är, OM: ord 1 är till best score: 1 byt gissning till animal OM: ord 1 är nervösa OM: ord 1 är trots best score: 1 byt gissning till nomal OM: ord 1 är. OM: ord 1 är djupa best score: 1 byt gissning till animal OM: ord 1 är kan OM: ord 1 är och best score: 1 byt gissning till animal OM: ord 1 är, OM: ord 1 är som best score: 1 byt gissning till animal OM: ord 1 är med OM: ord 1 är en