Falcon och QA- system generellt

Falcon och QA- system generellt Ett projektarbete i kursen Artificiell Intelligens II, 729G11 Linköpings Universitet ht 2009 Sanna Heurlén sanhe399@student.liu.se 880831-1966

Sammanfattning Denna rapport behandlar QA system generellt och en mer ingående fördjupning av ett QA system vid namn Falcon, som är byggt av Sanda Harabagiu. QA system är utvecklade för att kunna svara på frågor som människor ställer till systemet. För att göra detta använder sig QA systemen av någon slags kunskapsdomän och gör en sökning i en stor mängd text. QA systemen kan skilja sig när det gäller hur de framställer kunskapen, vilka frågor de kan svara på och hur filtreringen av frågorna går till. Falcon, som är ett ganska avancerat QA system och kan svara på ganska komplicerade frågor, använder sig av en kunskapsdomän vid namn WordNet och använder sig av naturligt språk i sökningen. Falcons filtrering görs främst genom ett booleanskt nätverk där det får hjälp av nyckelord, semantik och logik för att få ett så exakt svar som möjligt. Falcon anses om ett av de bästa QA systemen och har vunnit tävlingar inom detta område flera gånger.

Innehållsförteckning Sammanfattning...2 Kort bakgrund till QA systemen...5 QA- system generellt...5 Falcon...6 Naturligt språk...7 Semantik...7 Frasstrukturträd...7 Filtrering...8 Keywords...8 Answer TYPE...8 Booleanskt nätverk...9 WordNet...10 TREC...11 Diskussion...12 Referenser...12 Artiklar...12 Internet...12 PowerPoint presentationer...12

Kort bakgrund till QA systemen 1972 kom ett system vid namn SHRDLU av Winograd som kunde manipulera och ställa frågor om en värld, blocks world. Ganska tätt inpå, 1973, kom LUNAR av Woods, som kunde ställa frågor om månstenar och började använda sig en del av semantik. Sedan år 2001 kom den moderna eran av QA system. Då kom ett system kallat MURAX av Kupeic som började fungera som en encyklopedi. 1 Andra system som även arbetat med QA liknande frågor är The QUALM, Taxonomy of Questions och The STUDENT. 2 QA-system generellt QA- system, eller Question Answering system som det egentligen heter, är ett frågebesvarande system som ofta hanterar naturligt språk för att svara på frågor som ställs till systemet. QA- systemen analyserar frågan den får, för att sedan söka i en databas efter ett svar. Vilka frågor som ställs och hur de ställs varierar mellan de olika systemen. En del system klarar av avancerade kunskapsfrågor som kräver resonemang kring frågan, medan andra endast klarar av enkla ja och nej frågor. Det bör dock ha skett en sökning i en stor text för att finna svaret, för att systemet ska kallas för ett QA- system. 3 Figur 1Generell flödesbeskrivning för hur QA system söker svar på en fråga. 4 Det finns givetvis många olika sätt att hämta denna information ur texter. De olika systemen kan skilja sig i hur de analyserar frågan, formulerar frågan, hämtar texten, visar upp svaret etc. 5 De QA- system som kan hantera svåra kunskapsfrågor kallas för expertsystem, de kan ofta hantera frågor i naturligt språk och hanterar ofta en specifik kunskapsdomän. De system som hanterar enklare frågor är IE- system, Informationsextraheringssystem, som ofta kan hantera större domäner, men däremot oftast saknar förmågan att besvara resonera och tolka svaren i naturligt språk. Dessa system använder ofta nyckelord för att hitta svaren i textdokument eller referenser till dokument. 1 Tutorial on Question Answering, Johan M. Prager, RANLP, 2003 2 Question Answering, Sanda Harabagiu and Dan Moldovan, Natural Language Processing Group 3 DoKnow rapport 1, Susanne Ekeklint, Graduate School of Language Technology, Sverige och Matematiska och systemtekniska institutionen, Växjö Universitet, sek@msi.vxu.se, sid 1-2 4 Question Answering, Sanda Harabagiu and Dan Moldovan, Natural Language Processing Group 5 Open- domain Suface- Based Question Answering System, Aaron Galea, Department of Computer Science and AI, University of Malta.

System som endast refererar till dokument kallar för IR- system, informationsåtkomstsystem. Exempel på ett sådant system är Google. 6 Dessa system har för avsikt att hjälpa användare att hitta den information som är begärd. Dock finner de endast dokument åt användaren, vilket tyvärr leder till extra jobb åt användaren, då de själva måste söka igenom dokumenten för att hitta det exakta svaret. Detta försöker QA- systemen att motverka. QA- systemens uppgift ska vara att ge användaren det exakta svaret på en gång. 7 Figur 2 Flödeskarta över hur IR- systemen fungerar. 8 Falcon Det QA- system som kommer beskrivas mer noggrant i resten av rapporten är Falcon, som visat sig vara bland de bästa QA- systemen. 9 Falcon är ett QA- system som kan hantera längre frågor och svara mer än ja och nej. Systemet kan även hantera omformuleringar av frågor. Denna förmåga använder Falcon bland annat för att sålla ut felaktiga svar på frågan då Falcon använder sig av ett loop- system där frågan kan omformuleras, för att sedan kunna ta fram det svar som önskas. 10 Falcon kommer från Southern Methodist University 11, och är skapat av Sanda Harabagiu, som är professor på Texas University och har även skapat bland annat systemet PowerAnswer, som vann TREC- 11 tävlingen. 12 Exempel på frågor som Falcon kan svara på är: What is the capital of Uruguay? Och In what year did Ireland elect its first woman president? 13 6 DoKnow rapport 1, Susanne Ekeklint, Graduate School of Language Technology, Sverige och Matematiska och systemtekniska institutionen, Växjö Universitet, sek@msi.vxu.se, sid 1-2 7 Open- domain Suface- Based Question Answering System, Aaron Galea, Department of Computer Science and AI, University of Malta. 8 Question Answering, Sanda Harabagiu and Dan Moldovan, Natural Language Processing Group 9 Overview of the TREC- 9 Question Answering Track, Ellen M. Voorhees, National Institute of Standards and Technology, Gaithersburg, MD 10 Falcon: Boostring Knowledge for Answer Engines, Sanda Harabaigu, Department of Computer Science and Engineering, Southern Methodist University, Dallas, TX 75275-0122, {sanda,moldovan}@seas.smu.edu, sid 1-2 11 Overview of the TREC- 9 Question Answering Track, Ellen M. Voorhees, National Institute of Standards and Technology, Gaithersburg, MD 12 DoKnow rapport 1, Susanne Ekeklint, Graduate School of Language Technology, Sverige och Matematiska och systemtekniska institutionen, Växjö Universitet, sek@msi.vxu.se, sid 1-2 13 Question Answering, Sanda Harabagiu and Dan Moldovan, Natural Language Processing Group

Naturligt språk Falcon använder sig av naturligt språk som en metod i en process som kallas för NLP, natural language processing. Denna metod används för att sedan kunna använda de olika semantiska formerna av frågan för att i sin tur sedan kunna identifiera de olika kandiderande svaren i textsamlingen som WordNet, Falcons kunskapsdomän, tagit fram. Denna metod tillåter Falcon att senare kunna processera många alternativa svar. 14 Semantik Falcon använder sig av olika former av semantisk och logisk kunskap för att få svar på sina frågor på bästa sätt. Genom att generera de olika semantiska och logiska formerna av frågorna som ställs och svaren som ska genereras, möjliggör Falcon försvarbara alternativ som svar på frågorna, ifall Falcon inte lyckas hitta det korrekta svaret. Den semantiska formen på frågan som ställs, används även för att söka efter rätt begrepp i sin sökning och i sin tur hamna i rätt mapp av svars grupp. (och få rätt answer TYPE) De påvisar även vilka nyckelord som borde användas och gör det möjligt att hitta kopplingar mellan ord. För att ta reda på vilken semantisk form som är rätt, härstammas alla kopplingar mellan orden för att sedan skapa en graf av anonyma kopplingar mellan orden, som täcker alla frågeställningar. Dessa kopplingar sammanställs i frasstrukturträd. 15 Frasstrukturträd Frasstrukturträden omfattar alla huvudfraser och innehåller anonyma länkar med deras relationer. Här är de olika ordklasserna uppdelade och kategoriserade. Dessa träd har bra utförande, är stabila och kan enkelt användas på korta textstycken. De är därför bra att användas till frågor och korta paragrafsvar. De är därför tyvärr inte alltid bra till Falcons komplexa frågor och svar. Figur 3 Exempel på ett frasstrukturträd från en mening och hur Falcon använder sig av detta. 16 14 Falcon: Boostring Knowledge for Answer Engines, Sanda Harabaigu, Department of Computer Science and Engineering, Southern Methodist University, Dallas, TX 75275-0122, {sanda,moldovan}@seas.smu.edu, sid 1-2 15 Falcon: Boostring Knowledge for Answer Engines, Sanda Harabaigu, Department of Computer Science and Engineering, Southern Methodist University, Dallas, TX 75275-0122, {sanda,moldovan}@seas.smu.edu, sid 2

Filtrering Keywords Falcon använder sig av keywords, nyckelord, i sin sökning. Dessa nyckelord kommer senare att användas i ett booleanskt nätverk, där Falcon jobbar för att få fram rätt svar på frågan. För att försöka minska arbetet för Falcon i detta nätverk tillåts vissa alternativ till nyckelorden. Det finns tre stycken olika slags alternativ som godkänns. Det först är morfologiska alternativ. D.v.s. formen på ordet. T ex om nyckelordet invented finns med i frågan, accepteras alternativet inventor. Det andra är lexikala alternativ, alltså synonymer godkänns. T ex om nycklordet killer står med i frågan, godkänns ordet assasin. Det tredje är det semantiska alternativet. Då den korrekta semantiska formen inte alltid hittas, kan ett liknande ord godkännas. T ex om ordet like står med i frågan, kan ordet prefer godkännas. 17 Exempel på ord som väljs ut som nyckelord är citerade ord, entiteter, vanliga substantiv, de ord som är huvudord och huvudordens adjektiv. 18 Answer TYPE De olika nyckelorden tillhör även hierarkiskt en viss answer TYPE som delar upp nyckelorden i olika kategorier, beroende på hur frågan är formulerad och vad frågan är ute efter. Detta för att Falcon ska kunna generera frågan i den answer TYPE som är väntad. Vilken answer TYPE som ska användas ges av frågan och de begrepp frågan är mest kopplad till. 19 Detta hierarkiska answer TYPE system var Harabagiu först med. 20 Answer TYPE formernas olika kategorier har tre stycken olika mappar av ord där Falcon hierarkiskt kan leta upp vilken answer TYPE ordet i frågan tillhör. Falcon börjar identifiera i kategorierna längst ner, för att sedan jobba sig uppåt. 21 Detta hierarkiska klassificeringssystem arbetar så att det börjar längst ner i root noden som är mest specifik, går sedan upp till root nodens barn, och så vidare för att slutligen komma upp till den mest generella noden, där system börjar leta efter svar i denna kategori. 22 Längst ner finns Named Entity Categories, som har 27 st kategorier som ord kan kopplas till. Dessa kategorier är t ex mammal, number, province och town. I nästa mapp Top Categories, som har 18 st kategorier, med kategorier som t ex reason, location och language. Den översta mappen l eaf nodes of the top answer hierarchies har 15 st kategorier som t ex continent och dimension. 16 Question Answering, Sanda Harabagiu and Dan Moldovan, Natural Language Processing Group, Department of Computer Science & Engr, Southern Methodist University, Dallas TX 17 Falcon: Boostring Knowledge for Answer Engines, Sanda Harabaigu, Department of Computer Science and Engineering, Southern Methodist University, Dallas, TX 75275-0122, {sanda,moldovan}@seas.smu.edu, sid 7-8 18 Question Answering, Sanda Harabagiu and Dan Moldovan, Natural Language Processing Group 19 Falcon : Boostring Knowledge for Answer Engines, Sanda Harabaigu, Department of Computer Science and Engineering, Southern Methodist University, Dallas, TX 75275-0122, {sanda,moldovan}@seas.smu.edu, sid 2-3 20 Scaling Answer Type Detection to Large Hierarchies, Kirk Roberts and Andrew Hickl, Language Computer Corporation, North Collins Boulevard Suite 2000, Richardson, Texas USA. 21 Falcon : Boostring Knowledge for Answer Engines, Sanda Harabaigu, Department of Computer Science and Engineering, Southern Methodist University, Dallas, TX 75275-0122, {sanda,moldovan}@seas.smu.edu, sid 2-3 22 Scaling Answer Type Detection to Large Hierarchies, Kirk Roberts and Andrew Hickl, Language Computer Corporation, North Collins Boulevard Suite 2000, Richardson, Texas USA.

En answer TYPE, t ex AMOUNT kan tillhöra flera olika Named Entity Categories, så som quantity och number som i sin tur kan tillhöra olika Top Categories t ex numerical value och så vidare. Dessa answer TYPE använder Falcon sig senare av för att söka i Wordnets semantiska nät av kunskap och sedan generar svaret i samma semantiska form som är ställd i. Ett exempel på hur Falcon jobbar med answer TYPE. Om den ställda frågan är What do penguins eat? då är det väntade answer TYPE food. Denna answer TYPE food är sedan kopplat till underkategorier i det hierarkiska nätet, så som underkategorierna eating och feeding. Dessa två, question keywords (nyckelordet) och expected answer TYPE (kategorin) blir identifierade av modul kallad question processing som kopplar samman allt detta. Denna process kopplar samman frågan med dess semantiska och logiska form samt dess answer TYPE, med de dokument som genomsöks för att hitta svaret, samt med processen för att generera svaret i rätt semantiska form och med rätt answer TYPE. Processen blir här ett booleanskt nätverk. Booleanskt nätverk Nyckelorden, answer TYPE och semantiken i Falcon är kopplade till ett booleanskt nätverk som består av tre loopar för hitta så rätt svar som möjligt. 23 Med ett booleanskt nätverk menas ett nätverk som genererar antingen sant eller falskt. 24 Detta nätverk består av tre stycken loopar som ska hjälpa Falcon att till slut generera rätt svar på frågan som ställs. Den första loopen behandlar antalet paragrafer som hittas vid en sökning. Om det är för många paragrafer som hittas vid sökningen av ett visst nyckelord, bes man lägga till fler nyckelord, för att få en mer specifik sökning, och färre antal svar. Är det för få paragrafer som hittas vid sökningen bes man ta bort några nyckelord i sin sökning för att få fler svar. 25 Alltså, systemet triggar igång loop nummer ett om för många eller för få svarsalternativ returneras från sökmotorn. 26 I loop två blir de paragrafer som hittats vid sökningen omformade till rätt semantiska form. Om det där uppstår osäkerhet kring frågans och svarets semantiska former, avbryts loop nummer två och synonymer börjar användas för att hitta rätt semantiska form. 27 Alltså, lopps nummer två triggas om frågan och svarets semantiska form inte överrensstämmer. 28 I den tredje och sista loopen kollas om den logiska formen är korrekt, så här omformas den semantiska formen till en logisk form. För att ta reda på om den logiska formen är korrekt används backchaining från svaret till frågan. 29 Backchaining som är en teknik för att lära uttal, då en lärare 23 Falcon: Boostring Knowledge for Answer Engines, Sanda Harabaigu, Department of Computer Science and Engineering, Southern Methodist University, Dallas, TX 75275-0122, {sanda,moldovan}@seas.smu.edu, sid 2-3 24 http://sv.wikipedia.org/wiki/boolesk_datatyp 25 Falcon: Boostring Knowledge for Answer Engines, Sanda Harabaigu, Department of Computer Science and Engineering, Southern Methodist University, Dallas, TX 75275-0122, {sanda,moldovan}@seas.smu.edu, sid 3 26 Tutorial on Question Answering, Johan M. Prager, RANLP, 2003 27 Falcon: Boostring Knowledge for Answer Engines, Sanda Harabaigu, Department of Computer Science and Engineering, Southern Methodist University, Dallas, TX 75275-0122, {sanda,moldovan}@seas.smu.edu, sid 3 28 Tutorial on Question Answering, Johan M. Prager, RANLP, 2003 29 Falcon: Boostring Knowledge for Answer Engines, Sanda Harabaigu, Department of Computer Science and Engineering, Southern Methodist University, Dallas, TX 75275-0122, {sanda,moldovan}@seas.smu.edu, sid 3

börjar med att uttala slutet av ordet/mening, för att sedan gå framåt och sluta med början av ordet/meningen, och studenten härmar från slutet till början. 30 Figur 4 Falcons Booleanska Nätverk med sitt loopsystem 31 Detta loopsystem ökar exaktheten i de sökningar som görs. Vid tävlingen TREC- 9, år 2001, ökade de olika looparna tillsammans exaktheten med 76 % i sökningarna, enligt John M. Prager. 32 WordNet WordNet är en lexikal ontologi som Falcon använder sig av för att få sin kunskap ifrån. 33 Ontologi som ursprungligen "läran om det varande (varat)", en del av metafysiken. I modern mening avses med ontologi det system av kategorier och antaganden om vad som finns respektive inte finns, dvs. det som förutsätts av varje enskild begreppsapparat, teori eller idésystem. 34 Det är alltså en textbaserad kunskapsdomän. 35 Denna kunskapsdomän söker efter sitt material, sin kunskap, i stora samlingar av dokument, då det är en öppen kunskapsdomän. 36 WordNet, som är skapat av Miller år 1990, består huvudsakligen av vanliga substantiv och innehåller mer än 100 000 unika substantivformer. WordNet används frekvent för olika informationssökningsuppdrag, text klassificering och för att generera svar på frågor, vilket är syftet med WordNet i Falcon. 37 30 http://www.usingenglish.com/glossary/backchaining.html 31 Falcon: Boostring Knowledge for Answer Engines, Sanda Harabaigu, Department of Computer Science and Engineering, Southern Methodist University, Dallas, TX 75275-0122, {sanda,moldovan}@seas.smu.edu 32 Tutorial on Question Answering, Johan M. Prager, RANLP, 2003 33 Fine- Grained Proper Noun Ontologies for Question Answering, Gideon S Mann, Department of Computer Science, Johns Hopkins University, Baltimore, Maryland, gms@cs.jhu.edu 34 www.ne.se 35 Fine- Grained Proper Noun Ontologies for Question Answering, Gideon S Mann, Department of Computer Science, Johns Hopkins University, Baltimore, Maryland, gms@cs.jhu.edu 36 Question Answering, Sanda Harabagiu and Dan Moldovan, Natural Language Processing Group 37 Fine- Grained Proper Noun Ontologies for Question Answering, Gideon S Mann, Department of Computer Science, Johns Hopkins University, Baltimore, Maryland, gms@cs.jhu.edu

Wordnet innehåller en stor mängd Engelska ord och använder sig av mycket publicerat material. Detta gör det möjligt för Falcon att arbeta med sin semantiska process. I WordNet finns olika ordklasser som Falcons answer TYPEs olika kategorier är kopplade till. 38 I domänen är orden kategoriserade till olika typer, så som PERSON, LOCATION och ORGANIZATION, vilket ska göra sökningarna mer exakta och ge mer svarsalternativ vid en sökning efter t ex en person. Detta är väldigt användbart vid sökningar av svar till frågor som även de är typade/kategoriserade. (som Falcon) Så när ett QA system ska använda WordNet för att söka efter ett svar, blir orden som finns i sökningen först typade, sedan lokaliserar WordNet denna typ i domänen och kollar hierarkiskt ner på de ord som tillhör denna typ, som är potentiella svarsalternativ på frågan. Sedan söker WordNet inom dessa svarsalternativ efter det korrekta svaret. Detta för att försäkra sig så mycket som möjligt att hitta rätt svarsalternativ. 39 TREC TREC är en tävling där olika QA- system tävlar om att kunna besvara så många frågor så korrekt som möjligt. 40 TREC är även en utvärdering för att kunna ta fram de bästa egenskaperna hos de olika QA systemen. QA system ska i TREC kunna ta fram ett textstycke som innehåller rätt svar på frågan som ställs. 41 Enligt Susanne Ekeklint var Falcon, i TREC- 10 tävling år 2002, det bästa systemet. Falcon lyckades då svara på mer än 50 % av frågorna med korta svar och mer än 75 % på frågorna med långa svar. Framgången sades bero på Falcons blandning av olika NLP- metoder. 42 I TREC- 9 lyckades Falcon få 58 % rätt på de frågor med kort svar och 76% rätt på de frågor med långt svar. 43 Totalt lyckades Falcon i TREC- 9 svara på totalt 65 % av frågorna, och därigenom vara bäst. Det system som var näst bäst lyckades svara på 42 % av frågorna, vilket är en mycket lägre siffra än Falcons. 44 I TREC- 9 fanns det 693 st frågor att svara på, man fick använda sig av en storlek av 3 gb för att samla på sig kunskap och det fanns 75 st tävlande system. 45 38 Falcon: Boostring Knowledge for Answer Engines, Sanda Harabaigu, Department of Computer Science and Engineering, Southern Methodist University, Dallas, TX 75275-0122, {sanda,moldovan}@seas.smu.edu, sid 2 39 Fine- Grained Proper Noun Ontologies for Question Answering, Gideon S Mann, Department of Computer Science, Johns Hopkins University, Baltimore, Maryland, gms@cs.jhu.edu 40 DoKnow rapport 1, Susanne Ekeklint, Graduate School of Language Technology, Sverige och Matematiska och systemtekniska institutionen, Växjö Universitet, sek@msi.vxu.se, sid 1-2 41 Overview of the TREC- 9 Question Answering Track, Ellen M. Voorhees, National Institute of Standards and Technology, Gaithersburg, MD 42 DoKnow rapport 1, Susanne Ekeklint, Graduate School of Language Technology, Sverige och Matematiska och systemtekniska institutionen, Växjö Universitet, sek@msi.vxu.se, sid 1-2 43 Falcon: Boostring Knowledge for Answer Engines, Sanda Harabaigu, Department of Computer Science and Engineering, Southern Methodist University, Dallas, TX 75275-0122, {sanda,moldovan}@seas.smu.edu, sid 1 44 Overview of the TREC- 9 Question Answering Track, Ellen M. Voorhees, National Institute of Standards and Technology, Gaithersburg, MD 45 Question Answering, Sanda Harabagiu and Dan Moldovan, Natural Language Processing Group

Diskussion QA- system anser jag är en mycket fiffig uppfinning. Istället för att en person ska gå igenom tonvis med material, har personer utvecklat system som kan göra det åt oss mycket snabbare och enklare. De QA- system som sen inte bara hittar dokumenten, som IR gör, utan istället hittar det faktiska svaret, så som Falcon, förenklar människors sökande efter svar ännu mer. Att använda sig av semantik och logik för att hitta rätt form på svaret känns som en bra men kanske mindre nödvändig egenskap. Dock gör sökandet snyggare och man får precis det svar man vill ha. När systemet kan hitta rätt svar, ser det bra ut att hitta rätt form på svaret också. Desto mer exakthet ett system kan använda sig av, desto närmre kommer systemet till att bli optimalt. Vilket jag antar alla system vill vara. Men jag tror ändå att man kan hitta ganska bra svar även om semantiken och logiken inte fanns där. Det som skulle kunna förbättras med QA- system, vore om systemen kunde sammankopplas och göra sökande ännu mer optimalt. Att ett QA- system kunde använda sig av kunskapsdomäner som WordNet, men även samtidigt kunna använda sig av internet som kunskapsbas. Samt att de kunde ta fram exakta svar (som Falcon), men även koppla det till dokument där svaren finns i (IR- system). Detta för att öka reliabiliteten och få mer referensbaserade svar. Referenser Artiklar Falcon: Boostring Knowledge for Answer Engines, Sanda Harabaigu, Department of Computer Science and Engineering, Southern Methodist University, Dallas, TX 75275-0122, {sanda,moldovan}@seas.smu.edu DoKnow rapport 1, Susanne Ekeklint, Graduate School of Language Technology, Sverige och Matematiska och systemtekniska institutionen, Växjö Universitet, sek@msi.vxu.se Fine- Grained Proper Noun Ontologies for Question Answering, Gideon S Mann, Department of Computer Science, Johns Hopkins University, Baltimore, Maryland, gms@cs.jhu.edu Overview of the TREC- 9 Question Answering Track, Ellen M. Voorhees, National Institute of Standards and Technology, Gaithersburg, MD Scaling Answer Type Detection to Large Hierarchies, Kirk Roberts and Andrew Hickl, Language Computer Corporation, North Collins Boulevard Suite 2000, Richardson, Texas USA Open- domain Suface- Based Question Answering System, Aaron Galea, Department of Computer Science and AI, University of Malta. Internet http://sv.wikipedia.org/wiki/boolesk_datatyp http://www.usingenglish.com/glossary/backchaining.html www.ne.se PowerPoint presentationer Tutorial on Question Answering, Johan M. Prager, RANLP, 2003 Question Answering, Sanda Harabagiu and Dan Moldovan, Natural Language Processing Group