FRÅGEBESVARANDE SYSTEM. Marco Kuhlmann Linköpings universitet

Transkript

1 FRÅGEBESVARANDE SYSTEM Marco Kuhlmann Linköpings universitet

2 Frågebesvarande system

3 Frågebesvarande system Frågebesvarande system är datorsystem som automatiskt svarar på frågor formulerade på naturligt språk. Frågorna kan i princip vara hur svåra som helst, men vi kommer att fokusera på system för faktafrågor (eng. factoid questions).

4 Faktafrågor Faktafrågor efterfrågar enkla fakta, ofta namngivna entiteter. Vad heter Prinsessan Madeleines dotter? Var ligger Linds konditori? Vilket år föddes författaren till Sagan om ringen?

5 Källa: cbsonline.com

6

7 Hur kommuniceras informationsbehovet? Dokumentsökning (IR) sökfråga (eng. query) Informationsutvinning (IE) svarsmall Frågebesvarande system (QA) fråga på naturligt språk

8 Olika typer av system System baserade på dokumentsökning Matcha frågan mot webbsidor. System baserade på djup analys Förstå frågan och leta upp svaret i strukturerade databaser. Hybrida system Kombinera dokumentsökning och djup analys.

9 fråga formulera sökfråga detektera svarstyp IR hitta matchande dokument hitta matchande textpassager extrahera svaret svar

10 fråga formulera sökfråga detektera svarstyp hitta matchande dokument hitta matchande textpassager extrahera svaret svar

11 Formulera sökfrågan I det enklaste fallet kan man bara ta den naturligspråkliga frågan rakt av och låta sökmotorn sköta resten. När man processar små dokumentsamlingar kan det vara bra att expandera sökfrågan. Exempel: lägga till morfologiska varianter och synonymer En annan teknik är att formulera om sökfrågan för att göra den mera lik ett möjligt svar.

12 Stoppord Stoppord är vanligt förekommande ord utan semantiskt innehåll.

13 Omformulering Vad heter Prinsessan Madeleines dotter? Omformulerad: Prinsessan Madeleines dotter heter Var ligger Linds konditori? Omformulerad: Linds konditori ligger Vilket år föddes författaren till Sagan om ringen? Omformulerad: Författaren till Sagan om ringen föddes

14 fråga formulera sökfråga detektera svarstyp hitta matchande dokument hitta matchande textpassager extrahera svaret svar

15 Detektera svarstyp Vilken typ av svar förväntar sig användaren? Om det förväntade svaret är ett personnamn behöver vi inte titta på t.ex. städer eller tidsperioder. Att känna till svarstypen kan även hjälpa oss att formulera svaret. Exempel: olika svarsmallar för olika typer av svar

16 Li och Roth (2005) Svarstyper Svarstyp Exempel abbreviation What s the abbreviation for limited partnership? description What are the words to the Canadian National anthem? entity What is the name of King Arthur s sword? human What was Queen Victoria s title regarding India? location What river runs through Liverpool? numeric How many pounds are there in a stone?

17 Svarstyper i Jeopardy Ferrucci et al. (2010) undersökte ett slumpmässigt urval av Jeopardy-frågor och hittade distinkta svarstyper. De 20 mest frekventa svarstyperna var: he, country, city, man, film, state, she, author, group, here, company, president, capital, star, novel, character, woman, river, island, king De 200 mest frekventa svarstyperna täckte mindre än 50% av frågorna.

18 Articles 40 Most Frequent LATs 200 Most Frequent LATs 12.00% 10.00% 8.00% 6.00% 4.00% 12.00% 10.00% 8.00% 6.00% 4.00% 2.00% 0.00% 2.00% 0.00% NA he country city man film state she author group here company president capital star novel character woman river island king song part series sport singer actor play team show actress animal presidential composer musical nation book title leader game Figure 1. Lexical Answer Type Frequency. Special instruction questions are those that are not self-explanatory but rather require a verbal explanation describing how the question should be interpreted and solved. For example: Category: Decode the Postal Codes Verbal instruction from host: We re going to give you a word comprising two postal abbreviations; you answer must be inferred by the context. Here s an example: Category: Decorating Clue: Though it sounds harsh, it s just embroidery, often in a floral pattern, done with yarn on cotton cloth. Answer: crewel Ferrucci et al. (2010)

19 Klassificera svarstyp För att få ut en frågas svarstyp kan vi använda oss av automatisk textklassificering. Exempel: Naive Bayes, sekvensmodeller Klassificeraren tränas på frågor taggade med svarstyper. Exempel på relevanta features är ord, ordklasser, namngivna entiteter, huvudord i fraserna, semantiskt relaterade ord.

20 Li och Roth (2005) Data för svarstypsklassificering DESC:manner How did serfdom develop in and then leave Russia? ENTY:cremat What films featured the character Popeye Doyle? DESC:manner How can I find a list of celebrities ' real names? LOC:state Which two states enclose Chesapeake Bay? HUM:ind What contemptible scoundrel stole the cork from my lunch?

21 fråga formulera sökfråga detektera svarstyp hitta matchande dokument hitta matchande textpassager extrahera svaret svar

22 Hitta matchande textpassager Efter att ha fått ut en lista med relevanta dokument delar vi upp dessa i passager, t.ex. paragrafer eller meningar. I ett nästa steg filtrera vi ut de passager som inte innehåller de namngivna entiteter som matchar svarstypen. De resterande textpassagerna rankas, antingen med hjälp av handskrivna regler eller med hjälp av maskininlärning.

23 snippet

24 Features vid rankning av textpassager svarstyp för textpassagen antalet söktermer ur sökfrågan i textpassagen antalet relevanta entiteter i textpassagen antalet n-gram som överlappar med frågan

25 fråga formulera sökfråga detektera svarstyp hitta matchande dokument hitta matchande textpassager extrahera svaret svar

26 Extrahera svaret En enkel metod är att extrahera namngivna entiteter ur textpassagerna och returna den entitet som matchar svarets typ. Fråga: När uppfans glödlampan? [DATE] Passage: Edison uppfann glödlampan [DATE år 1879], men Om svaret inte motsvarar en specifik typ av namngivna entiteter kan man kombinera denna metod med reguljära uttryck. Exempel: <SVAR> som t.ex. <FRÅGA>

27 Rankning av kandidater Om det finns flera möjliga entiteter måste de rankas. För att göra detta kan man träna en klassificerare med samma features som vid rankning av textpassager. Hybrida system använder externa informationskällor och konfidensmått för denna rankning.

28 Mått använda i Watson Ferrucci et al. (2010) semantisk likhet mellan fråga och svar textpassagens trovärdighet textpassagens popularitet geografiska och temporala mått

29 fråga formulera sökfråga detektera svarstyp hitta matchande dokument hitta matchande textpassager extrahera svaret svar

30 Utvärdering av frågebesvarande system Mean Reciprocal Rank (MRR) MRR kan användas för att utvärderar system som levererar en lista med rankade svarsalternativ. Måttet förutsätter en testmängd bestående av frågor taggade med deras korrekta svar. Ett system får poäng som motsvarar den inverterade rangen av det första korrekta svaret på varje fråga; i slutet tas medelvärdet.

31 Mean Reciprocal Rank (MRR) Q: Who ran the first four-minute mile? A: Roger Bannister Q: Who is the world s best tennis player? A: Novak Đoković Svar Guldstandard Svar Guldstandard Roger Bannister korrekt Roger Federer inkorrekt Bannister inkorrekt Rafael Nadal inkorrekt Roger inkorrekt Novak Djokovic korrekt Inverterad rang: 1/1 Inverterad rang: 1/3