Question analysis. in IBM Watson. 729g43 Artificiell intelligens. Linda Hallström

Question analysis in IBM Watson 729g43 Artificiell intelligens Linda Hallström linha256@student.liu.se 2014-01- 08

Innehållsförteckning Introduktion... 2 Bakgrund... 2 Jeopardy!... 3 Question analysis Hur Watson förstår en ledtråd... 3 ESG... 4 PAS... 4 Named Entiry recognizer... 4 Coreference Resolution Component... 4 Relation Extraction Component... 5 Focus... 5 Lexical Answer Type... 6 Question classification... 7 Question sections... 9 Diskussion... 9 Litteraturförteckning... 11

Introduktion Open-doman QA är en av de svåraste utmaningarna för artificiell intelligens. Ett utav de många avancerade områden som ett Open-Doamin QA system måste kunna hantera är bearbetningen av naturligt-språk (NLP) (Ferrucci D. A., 2012). Det är denna del av IBMs Deep QA projekt Watson som jag har intresserat mig för. Watson är en dator som år 2011 vann över de två bästa vinnarna i spelet Joepardy!. Bakgrund Ett Open-Domain Question Answering system är ett system som när det får en fråga ger ett svar i stället för att, som till exempel google, ta fram en lista med relevanta dokument så att man själv kan lista ut svaret. Ett sådant system måste kunna hantera en hel del olika områden, som tillexempel informationsframtagning, NLP, maskininlärning och människa-teknik gränssnitt. IBM tog sig an denna utmaning genom att bygga Watson, en Jeopardy!spelande dator. En mängd olika databaser implementerades i Watson då Watson inte skulle ha tillgång till Internet (Ferrucci D. A., 2012). Jeopardy! ansågs vara en bra miljö för att testa ett QA-system på då spelet innehåller många mänskliga kognitiva förmågor vilka har setts som något som ligger utanför datorers förmågor, som till exempel: Kunna urskilja dubbla meningar hos ord Extremt snabb respons Kunna processa en mängd information och göra komplexa, logiska kopplingar För att lyckas med denna utmaning så fokuserade teamet som byggde Watson först och främst på dessa tre förmågor: Bearbetning av naturligt språk Hypotesgenerering Bevisbaserad inlärning (Science behind Watson) Värt att notera är att när Watson förstår en ledtråd så förstår han inte de individuella orden, utan snarare mönstren i en textpassage. Vidare så kan han avgöra huruvida ett stycke text innebär samma sak som ett annat stycke. Watson kollar om en ledtråd innebär samma sak som en textpassage som han hittat i sin kunskapsbas (High, 2012).

Jeopardy! Jeopardy! är ett frågespel med tre tävlande. Spelet består av tre ronder. Under de första två ronderna visas på en skärm 6 kolumner med olika kategorier och fem rader med pengasummor på. För varje rad ökar summan. Frågorna, eller som det också kan kallas, ledtrådarna, är gömda bakom summorna. En spelare väljer en kategori och en summa, till exempel Medicin, 500 och frågan som finns bakom den cellen visas för alla och programledaren läser frågan högt. När programledaren läst klart så är det fritt fram för alla att svara. Alla spelare har varsin buzzer, och den som först buzzar får svara. Man har fem sekunder på sig att svara. Svaret måste vara formulerat som en fråga. Frågorna i spelet är formulerade som svar. Därför kommer jag nedan att kalla frågorna för ledtrådar för att minska förvirringen. En ledtråd kan lyda Denna substans är en glädjesubstans som utsöndras vid bland annat träning vars svar skulle vara Vad är endorfiner?. Om en spelare svarar rätt så får han summan som stod på ledtråden och får välja nästa kategori och penga-summa. Svarar spelaren fel så dras den summa som står på ledtråden från hens ihopsamlade pengar och de andra spelarna får buzza. Detta gör det (Ferrucci D. A., 2012)viktigt att man är säker på att man vet rätt. Den tredje ronden innehåller bara en fråga. Först så visas en kategori. Därefter får deltagarna skriva upp hur mycket pengar de satsar på denna kategori och därefter får de ledtråden. Sedan har de 30 sekunder på sig att svara. Frågorna i tredje ronden är svårare än i de första två ronderna. Den som har mest pengar efter tredje ronden vinner (Ferrucci, et al., 2010). Question analysis Hur Watson förstår en ledtråd Den första delen i ett Question-Answering system är Question analysis. Det är Question analysis (frågeanalysen) som gör så att Watson vet vad han ska leta efter och kan veta om ett svar som han plockat fram är sannolikt rätt eller inte. Det är genom Question analysis som han förstår ledtråden. Question analysis är viktig för nästan alla de komponenter som bidrar till att Watson till slut kan generera ett korrekt svar. I Question analysis så blir den ostrukturerade informationen (ledtråden) till strukturerad information genom parsning, semantisk analys och andra viktiga element vilka jag ska gå igenom. Parsningen och den semantiska analysen består av komponenterna English Slot Grammar (ESG), Predicate-Argument structure builder (PAS), Named Entity Recognizer (NER), Coreference Resolution Component och Relation extraction component (Lally, et al., 2012). Dessa element är viktiga för olika uppgifter som Watson har. För Question analysis så är parsningen viktigde för att kunna identifiera vilken

typ av svar som en ledtråd har (McCord, Murdock, & Boguraev, 2012). Element som vidare bidrar till en korrekt question analysis är focus, lexical answer types (LATs), Question Classification (QClassification) och Question Sections (QSections). Många av uppgifterna som Watson har I Question Analysis är implementerade regler over PAS. Reglerna är skrivna i språket PROLOG, som efterliknar första ordningens predikatlogik (Lally, et al., 2012). ESG ESG är en parser som bygger ett träd som visar både logiska och grammatiska strukturer. Eftersom parsningen visar en logisk analys så kallas det för en djup parsning. ESG består av ett baslexikon samt WordNet (McCord, Murdock, & Boguraev, 2012). PAS PAS förenklar och gör ESG träden mer abstrakta genom att ge meningar med små variationer i syntaxen en gemensam form (McCord, Murdock, & Boguraev, 2012). Till exempel så får dessa meningar samma struktur i PAS (de har olika struktur i ESG): Alexander Graham Bell uppfann telefonen Alexander Graham Bell uppfann en telefon Telefonen uppfanns av Alexander Graham Bell Ett uttryck som matchar någon av dessa meningar matchar alltså alla tre. För det mesta så är det en fördel, men det kan också vara en nackdel då det kan leda till felaktiga slutledningar. Det är en stor skillnad mellan att uppfinna telefonen och att uppfinna en telefon (McCord, Murdock, & Boguraev, 2012). Named Entiry recognizer NER är en komponent som identifierar i huvudsak namn, kvantiteter och platser (IBM Content analysis, 2010). Faktumet att Jeopardy! frågor är skrivna med stora bokstäver försvårar för NER då den till exempel vanligtvis identifierar namn genom att de är skrivna med stor bokstav. trueecasing (vilket är en komponent som jag inte kommer gå in på i denna uppgift) underlättar för NER (Lally, et al., 2012). Coreference Resolution Component Coreferens Resolution Component konnektar uttryck i en ledtråd som refererar till samma sak. I meningen Jeans blir slitna om man tvättar dem ofta så refererar jeans och dem till samma sak. Denna komponent måste anpassas till Jeopardy! eftersom Jeopardy!-frågor kan innehålla pronomen som inte är bundet till något. Channing Tatum spelade huvudrollen i

hans senaste film., denna mening är ett exempel på detta då hans inte refererar till Channing Tatum, det refererar till något som inte nämns i ledtråden. Genom att köra co-reference komponenten efter att man har kört focus-sökningen så har man gjort denna komponent till focus-medveten. Det som ett focus refererar till finns inte med i ledtråden, så denna komponent skulle inte säga att hans och Channing Tatum är co-referenter om man börjar med att hitta focus (Lally, et al., 2012). Relation Extraction Component Relation extraction component letar efter semantiska relationer i texten. Exempel på relationer är FarTill och FörfattareTill. Det finns många olika sätt som en relation kan uttryckas på. Dessa relationer blir ännu abstraktare än PAS (McCord, Murdock, & Boguraev, 2012). Han skrev boken... Han författade boken Hon gjorde verket Då han bodde i Tyresö började Tolkien skriva den här sagan om Astrid Lindgren skrev om denna starka flicka Det här är några av de meningar visar en författarrelation. Focus Focus är det ord i ledtråden som refererar till svaret. En ledtråd kan ha flera focus. Focus kommer sedan användas när Watson jobbar med att få fram rätt svar på frågan (Lally, et al., 2012). Om ett focus byts ut mot ett svarsalternativ så blir meningen till ett fulländat påstående (Ferrucci, et al., 2010). ARTISTER: Denna idolvinnare uppträdde i Melodifestivalen med låten Cara Mia. I ovanstående mening så är ordet Denna idolvinnare focus. Om man byter ut det mot personen som vann idol 2013 så blir det fortfarande en korrekt mening. När Watson hittar ett focus så går den utefter prioriterade regler (focus är i kursiv stil): En substantivfras med denna/detta/den här/det här eller dessa/de här som determinerare - MAT&DRYCK: Denna efterrätt består av frukter och vit choklad och tillagas i ugn. Denna/detta/den här/det här eller dessa/de här som pronomen

- INTERNATIONELLT: Det här är förbjudet i hela EU, förutom i Sverige. Om hela frågan är en substantivfras så blir hela frågan focus - GENOM TIDEN: Antal sekunder det går på en timme. Ett av pronomen han/hon//honom/henne/hans/hennes/ - FÖRFATTARE: Hon började författa sin bästsäljare skrivandes på servetter på ett café Ett av pronomen det/de/dem/dess/deras - MUSIK&HITS: Deras musik handlar ofta om olovlig kärlek Pronomet en/sådan. - Zlatan är en kaxig sådan. Det är möjligt att frågan inte har något focus. För att ett focus ska kunna hjälpa Watson att hitta rätt svar så är det viktigt att parsningen utförs korrekt. Tillexempel är det viktigt att en determinerare tilldelas rätt huvud så att till exempel i focuset Den här Stieg Larson trilogin den här förknippas med trilogin och inte med Stieg Larson (Lally, et al., 2012). Lexical Answer Type En LAT är ett (eller flera) ord i frågan som antyder vilken typ av ord som söks. Oftast så är LAT huvudet i ett focus (Lally, et al., 2012). Denna idolvinnare uppträdde i Melodifestivalen med låten Cara Mia I ovanstående mening så är idolvinnare (vilket är huvudet i denna idolvinnare) en LAT. Den typ av svar som söks är alltså en idolvinnare. När Watson har ett svarsalternativ måste han kolla om svaret han har genererat är är en idolvinnare, det vill säga om svaret är en instans av den LATen (Lally, et al., 2012). Undantag för när en LAT inte är focusets huvud är (focus är i kursiv stil och LAT i fet stil): Om focus är en konjunktion (innehåller X och Y ), är X och Y LATs - Den italienska maffian dödade denna man och artist Focus av X, X är LAT när focus är något av en/ett/namn/typ/slag, ta ut X - Snövit svimmade när hon åt denna typ av frukt Focus åt/till/för X, X är LAT när focus är något av namn/ord/term - William Röntgen gav detta namn till sin första uppfinning

Om inget focus har hittats och kategorin är en substantivfras så blir huvudet i kategorin LAT - TV-PROGRAM: Peter Harryson, Peter Settman, Kalle Moraeus. En LAT behöver inte enbart bestå utav ett ord utan måste ibland vara två ord. I svenskans språk så är det måhända inte så då vi inte särskriver, men ett exempel på engelska när två ord krävs i en LAT är till exempel om man söker en vicepresident, som på engelska heter vice president. Om LAT då skulle vara president så skulle Watson leta efter någon som var en president (Lally, et al., 2012). I en fråga kan olika LATs hittas. Alla LAT har en sannolikhet att vara en riktig LAT. En LAT med låg sannolikhet filtreras bort. Till exempel så har LATs som hittats i en kategori en låg sannolikhet att vara den korrekta LATen. IBM har tränat Watson i att bedöma sannolikheten för en LAT. Om en fråga ställs och LATen visar sig finnas i kategorin, så ökar sannolikheten för att LATen ska finnas i kategorin på nästa fråga i samma kategori. Om nästa fråga inom samma kategori också har LATen i kategorin så ökar sannolikheten ännu mer (Lally, et al., 2012). Till exempel: EN DAG I VECKAN: Då äter man ärtsoppa och pannkakor. EN DAG I VECKAN: Städa städa varje, och så varje jul, för det tycker jag är kul EN DAG I VECKAN: Startar veckan Då dessa tre haft ordet Dag i kategorin som LAT så ökar sannolikheten att nästa fråga i denna kategori också har sin LAT i kategorin. Question classification I Jeopardy! så är alla ledtrådar inte lika dana. Detta innebär att de bör behandlas/analyseras på olika sätt för att man ska kunna komma fram till ett svar. Vissa ledtrådar kan inte besvaras med hjälp av focus och LATs utan kräver annan behandling. Watson skulle aldrig finna svaret till en multiple choiceledtråd om samma teknik skulle användas som när Watson får en faktaledtråd, eftersom i multiple choice så finns svaret i ledtråden, vilket det inte gör i det senare fallet. QClassification hjälper Watson att förstå vilken typ av svar som förväntas. Den vanligaste typ av ledtråd är faktaledtråd. Men i Jeopardy förekommer därtill ofta andra typer av ledtrådar såsom multiple choice, gemensamma band, fyll-i-tomrummet med mera (Lally, et al., 2012).

Genom att matcha ledtråden med till exempel reguljära uttryck så får Watson reda på vilken QClass det är fråga om och därmed vilken typ av svar som förväntas (Lally, et al., 2012). De QClasses som finn i Watson är: Definition: En ledtråd som innehåller definitionen av svaret Kategori-Relation: Svaret har en semantisk relation till ledtråden, och relationen är specificerad i kategorin FITB: Fyll-i-tomrummet. Man ska komplettera frasen Förkortning: Svaret är en förlängning av en förkortning Pussel: Svaret kräver ursprung, syntes eller inferens Etymologi: Ledtråden frågar efter ett ord vars ursprung är från ett annat land och har en given mening Verb: Ledtråden frågar efter ett verb Översättning: Ledtråden frågar efter en översättning från ett språk till ett annat Nummer: Svaret är ett nummer Band: Ledtråden frågar efter vad två enheter har gemensamt Multiple-choice: Ledtråden innehåller (vanligtvis tre) svarsalternativ varav ett är det rätta Datum: Svaret är ett datum eller ett år Watson hittar en QClass på två olika sätt. Antingen genom att köra syntaktiska Prologregler över PAS eller genom att köra reguljära uttryck över självaste texten. Dessa två metoder hittar olika typer av QClasser. Några av QClasserna har typiska särdrag i hur de är uppbyggda, som till exempel pussel, band, FITB, och multiple-choice. Dessa QClasser med standardiserade representationer upptäcks utav reguljära uttryck. Fyll-i-tomrummet hittas bland annat genom ett reguljärt uttryck som matchar en understreckslinje i ledtråden eller (mer typiskt) två citat med ett fokus emellan, multiple-choice frågor upptäcks genom att frågan matchar ett reguljärt uttryck som innehåller en sekvens av (oftast tre) svarsalternativ (Lally, et al., 2012). QClasser som inte har så genomgående representationer hittas genom syntaktiska regler som matchar PAS. Till exempel upptäcks QClassen verb genom upptäckten att focus är någon form av gör. Ett exempel på detta är : När det blir vinter gör björnar detta.. Ett exempel på hur översättning hittas är genom mönstret <focus> är <språk> för <fras> (Lally, et al., 2012) Eftersom dessa två tekniker är oberoende av varandra så kan en ledtråd

tilldelas mer än en QClass. Vissa QClasser kan dock inte samexistera, om en ledtråd tilldelas två oförenliga QClasser så behålls den mest prefererade, vilket en QClassConsolidator ser till (Lally, et al., 2012). Question sections QSections är sektioner i ledtråden som är associerade med ett visst karaktärsdrag. Även QSections identifieras genom att söka över PAS eller köra reguljära uttryck över texten (Lally, et al., 2012). Några av de viktigare QSectionsarna enligt Lally, et al. (2012) är: Lexikal begränsning: En fras som ger en begränsning till svaret. Till exempel en fras som Detta 12-bokstävers-ord som indikerar att svaret inte får vara något annat än 12 bokstäver långt. Förkortning: En förkortning som finns i ledtråden. QClassen förkortning indikerar att svaret är förlängningen av en förkortning, medan Qsectionen förkortning pekar på den förkortning i texten vars förlängning söks. Underfrågor: Sektioner i ledtråden som individuellt bidrar till svaret McAnswer: De textsträngarna som är svarsalternativen i en multiple-choicefråga. FITB: Texten som gränsar till focus i en FITB-ledtråd, det vill säga den text som omger det som saknas i uttrycket. Diskussion IBM har framtida projekt för Watson. Ett område som de tror att han kan vara ett hjälpmedel i är sjukvården. Med hjälp av Watson skulle antalet feldiagnoser minska. Det är nästan omöjligt för en människa att läsa alla de journaler som finns för att få information om vilket medicinskt beslut som bör tas, vilket det inte är för en dator som Watson, som kan hantera mängder med information. Sen så kan Watson matcha det som patienten säger mot sin medicinska databas och få fram en lista med de sannolikaste diagnoserna (Watson in healthcare). Jag tycker att det låter som en bra idé men samtidigt lite skrämmande. Risken med ett sånt här system är att läkarna kan börja lita så mycket på Watson att de blint antar att det är den diagnosen som Watson angav med högst sannolikhet som är den rätta, utan att bry sig om att undersöka om det ka vara någon av de andra. Datorer kan ju göra fel, precis som människor. Om det på något sätt går att förhindra att överpålitlighet sker med datorn så är det en bra hjälp. Det skulle kunna leda till att fler kan få hjälp.

Fördelen med ett QA system som Watson i stället för ett IR system är att det sparar tid då man direkt får ett svar i stället för en lista med dokument/sidor där svaret kan finnas. Detta är bra, men skulle också kunna ställa till problem då det blir svårt att referera till ett svar som man fått direkt och inte själv läst igenom sammanhanget där det hittades. Man kan säkert göra så att datorn anger var den hittat svaret, men det skulle kännas som fusk. Å andra sidan så var det säkert otänkbart för de som gick på universitetet för 50 år sen att man skulle ha en egen dator, det är fusk jämför med hur det var då, men idag är det naturligt. Jag tror själv att jag skulle ha lite svårt (i alla fall till en början) att lita på att datorn hade fått fram ett korrekt svar, jag skulle nog gärna kolla upp svaret själv också om det gällde något viktigt. Man skulle kunna tänka att folk blir lite latare av att själva slippa söka igenom massa sidor osv för att få reda på det de söker. Men samtidigt så skulle det leda till att folk får mer tid över till att hitta på saker på, så de behöver inte alls bli latare. Dock så tror jag att en del andra företag skulle förlora lite på en dator som Watson. Om man till exempel hade Watson i mobilen, vilket det skrivs lite om på IBMs hemsida, så skulle till exempel östgötatrafiken-appen inte behövas längre, för det skulle bara vara att fråga Watson när nästa buss går, eller hur man tar sig från Ryd centrum till Norrköping. Campushallenappen skulle inte heller behövas, eller SF-appen eftersom det här också bara skulle vara att fråga Watson.

Litteraturförteckning Ferrucci, D. A. (2012). Introduction to "This is Watson". Ferrucci, D., Brown, E., Chu- Carroll, J., Fan, J., Gondek, D., Kalyanpur, A. A., et al. (2010). Building Watson: An Overwiew of the DeepQA Project. AI Magazine. High, R. (2012). The Era of Cognitive Systems: An Inside Look at IBM Watson and How it Works. RedBooks. IBM Content analysis. (2010, 10). Retrieved 01 06, 2014, from IBM: http://pic.dhe.ibm.com/infocenter/analytic/v2r2m0/index.jsp?topic=%2fcom.ibm.discovery. es.ta.doc%2fiiystasystemt.htm Lally, A., Prager, J. M., C, M. M., K, B. B., Patwardhan, S., Fan, J., et al. (2012). Question analysis: How Watson reads a clue. McCord, M. C., Murdock, J. W., & Boguraev, B. K. (2012). Deep parsing in Watson. Science behind Watson. (n.d.). Retrieved 01 07, 2014, from IBM: http://www- 03.ibm.com/innovation/us/watson/science- behind_watson.shtml Watson in healthcare. (n.d.). Retrieved 01 08, 2014, from IBM: http://www- 03.ibm.com/innovation/us/watson/watson_in_healthcare.shtml