KONSTEN ATT FÖRSTÅ EN LEDTRÅD

Transkript

1 KONSTEN ATT FÖRSTÅ EN LEDTRÅD Hur IBM Watson analyserar och förstår frågor i Jeopardy! DEN 10 JANUARI 2014 FRIDA ENGSLÄTT 729G43

2 Sammanfattning Den här rapporten beskriver hur IBM Watson, en intelligent agent som tävlade och vann i Jeopardy! år 2011, tolkar och förstår frågorna i tävlingen. Watsons arkitektur kallas för DeepQA och består av hundratals komponenter som interagerar och kompletterar varandra så de tillsammans kan lösa svåra uppgifter och bidra till att Watson vinner Jeopardy!. Detta beskrivs i början av rapporten, innan jag går in i detalj på hur Watson, med hjälp av fyra viktiga komponenter i frågeanalysen, förstår naturligt språk och på så sätt kan förstå frågorna i Jeopardy!. 1

3 Innehåll Sammanfattning... 1 Inledning... 3 Terminologi... 4 Bakgrund... 5 Vem är IBM Watson?... 5 QA-system... 5 Natural Language Processing... 6 UIMA... 6 Jeopardy!... 6 Frågeanalysen i Watson... 8 General-purpose parsing och semantic analysis components... 8 Fokus... 8 LAT... 9 Undantag och svårigheter i upptäckandet av LATs QClasses QSections Diskussion Referenser

4 Inledning Intelligenta agenter är något som ständigt växer i dagens samhälle. En typ av intelligent agent är de så kallade QA-systemen, Question Answering systems, som automatiskt svarar på frågor som ställs med naturligt språk av människor. Den här rapporten bygger på IBMs projekt Watson, som är ett QA-system. År 2011 deltog Watson i TV-quiz showen Jeopardy! och vann över världens två bästa Jeopardy!-spelare. För att kunna vinna Jeopardy! krävs stor kunskap, snabbhet och smarthet. Deltagarna ska så snabbt som möjligt förstå de frågor som ställs, leta efter svaret, trycka på svars-knappen och besvara frågan under fem sekunder. Rätt svar ger poäng medan fel svar resulterar i straffavdrag. För att ett QA-system ska klara av uppgifter som Jeopardy! krävs bland annat Natural Language Processing (NLP) som hjälper till att analysera semantiken och syntaxen i det naturliga språket som utgör frågan. Syftet med det här projektet är att undersöka och förstå i detalj hur IBMs datorsystem Watson analyserar och förstår frågor i Jeopardy!. Bland annat beskrivs Watsons övergripande arkitektur och hur systemet bearbetar naturligt språk, men framför allt diskuteras de fyra komponenterna fokus, LAT, QClasses och QSections, som bildar frågeanalysen och bidrar till att Watson så snabbt som möjligt hittar ett svar till en fråga. I slutet av rapporten diskuteras även framtida möjligheter inom området. 3

5 Terminologi Nedan följer en kort beskrivning av några begrepp som används i rapporten. QA-systems NLP DeepQA IBM Watson Question-answering systems är system som automatiskt kan svara på frågor som ställs utav människor i naturligt språk. Detta sker med hjälp av en kunskapsbas och ostrukturerade texter med naturligt språk som tolkas och analyseras med NLP-tekniker. Natural Language Processing tekniker är textanalyser som analyserar syntaxen, kontexten och användarmönster för att förstå meningen och innebörden av texter och fraser. Detta hjälper systemen att förstå ostrukturerat språk. DeepQA är arkitekturen bakom Watson. Den består av hundratals algoritmer som samarbetar och tillsammans klarar av att lösa stora uppgifter som hjälper Watson att svara på frågorna. IBM Watson är ett QA-system som 2011 tävlade i Jeopardy! och vann över två mänskliga motståndare. 4

6 Bakgrund Vem är IBM Watson? IBM Watson är ett QA-system, byggt av IBM, som i februari 2011 deltog i Jeopardy! och vann över två mänskliga världsmästare i Jeopardy!. Inom loppet av tre sekunder analyserar Watson en fråga i form av en ledtråd och förstår vad ledtråden frågar efter, söker efter och bestämmer det bästa svaret och överväger om det är säkert nog att trycka på svars-knappen och svara. (Ferrucci D. A., 2011) För att kunna vinna Jeopardy var Watson, precis som de mänskliga deltagarna, tvungen att tävla i realtid med ledtrådar som varken Watson själv eller hans skapare någonsin tidigare sett. Watson tävlade dessutom helt på egen hand, utan tillgång till varken internet eller interaktion med människor för att kunna förstå och svara på frågorna. (Ferrucci D. A., 2011) Watson förstår inte varje enskilt ord i en fråga eller dess betydelse, utan kan istället se särdrag och mönster i mänskligt språk. Genom att bryta ner det naturliga språket till olika delar och förstå sammanhanget mellan dem kan Watson, med hjälp av bland annat textanalyser och en inbyggd kunskapsbas, hitta svaret på frågorna snabbare än vad en människa löser samma uppgift. (High, 2012) Watsons arkitektur kallas för DeepQA. Den består och använder sig av hundratals komponenter för att analysera naturligt språk, identifiera källor, hitta och generera hypoteser, värdesätta bevis samt för att undersöka och värdesätta hypoteser (Ferrucci, Brown, Chu-Carrol, & Fan, 2010). Komponenterna kan endast klara av enkla språkanalyser på egen hand, men tillsammans klarar de av större, mer utmanande uppgifter. Watson kan på så sätt prestera bra och vinna Jeopardy!. (Ferrucci D. A., 2011) Principen med DeepQA är att arkitekturen arbetar parallellt med många olika hypoteser och områden. Dessutom värdesätter den alternativ samt kombinerar ytlig och djup kunskap för att få så bra resultat som möjligt (Ferrucci, Brown, Chu-Carrol, & Fan, 2010). QA-system Question-answering (QA) systems är system som automatiskt kan svara på frågor ställda av människor med naturligt språk. Detta sker med hjälp av en kunskapsbas och ostrukturerade texter med naturligt språk som analyseras med textanalyser, i detta fall ESG och PAS som beskrivs senare i rapporten. Watson är ett så kallat Open-domain question-answering system, vilket kräver kunskap inom information retrieval (IR), natural-language processing (NLP), knowledge representation and reasoning (KR&R), machine learning, and human-computer 5

7 interfaces (HCIs). (Ferrucci D. A., 2011) Natural Language Processing Mänsklig kommunikation bygger på ostrukturerad information, vilken ofta är ganska komplicerad och implicit. Informationen kräver för det mesta bakgrundsinformation och kontext för att en människa ska förstå och kunna analysera den. Programmeringsspråk är till skillnad från mänsklig kommunikation formellt matematiskt strukturerad i form av explicit information, exempelvis namn, adress och datum. Natural-language processing (NLP) tekniker analyserar syntaxen, kontexten och användarmönster för att förstå meningen och innebörden av texter och fraser och för att kunna förstå mänsklig kommunikation. Dock är det en enorm teknisk utmaning att lyckas få ett datorsystem att förstå mänskligt språk lika bra som människor, eftersom mänskligt språk består av många olika sätt att beskriva ett ord med samma innebörd. Samma ord kan även betyda olika saker beroende på kontexten. För att kunna tolka mänskligt språk så bra som möjligt kräver systemet tekniker så som ytlig tolkning, djup tolkning, informationsutvinning, att kunna tolka ords olika betydelser, dold semantisk analys och textimplikation. I vissa Opendomain QA-systemes går det att ta reda på hur många komponenter som interagerar med varandra för att NLP-teknikerna ska klara av svåra uppgifter (Ferrucci D. A., 2011). UIMA Watson innehåller för många komponenter för att vanliga NLP-tekniker ska klarar av att hantera all den information som behöver analyseras. Därför byggdes år Unstructured Information Management Architecture (UIMA). Det är en mjukvara i form av en arkitektur som får informationskällor, så som texter, tal och bildanalyser, att interagera, oberoende av algoritmer, programmeringsspråk och domänmodeller. Det gör att all den ostrukturerad information som Watson tar in som input kan bli strukturerad med hjälp av UIMA, trots den enorma mängden data. (Ferrucci D. A., 2011) Jeopardy! Jeopardy! är ett underhållningsprogram i form av en quizshow som startades i USA år I Jeopardy! tävlar tre motståndare om kunskap, förtroende och snabbhet i tre ronder. Alla deltagare måste ha klarat ett test på 50 frågor för att få medverka i programmet. Frågorna är 6

8 formulerade i naturligt språk och baserade utifrån en bred variation av generell kunskap. Det gör att Jeopardy! kräver smarta, kunniga och snabba deltagare. Programmet är ett fråga-svara program, men till skillnad från de flesta andra fråga-svara program läser programledaren en ledtråd i form av ett konstaterande istället för en vanlig fråga. Deltagarna ska i sin tur ge svaret i form av en fråga. Exempelvis: MATRÄTT: Denna maträtt gjord på kött är typiskt svensk, i form av små, runda bollar. Svar: Vad är Köttbullar.. Under de två första ronderna används en tabell indelad i 6 kolumner med en kategori per kolumn, samt fem rader med stigande dollarvärden som dubblas i andra ronden. Vinnaren av föregående fråga väljer en kategori och ett dollarvärde. Ledtråden bakom rutan visas då och läses upp av programledaren inför alla tre deltagare. När programledaren har läst klart tänds en svars-knapp framför varje tävlande som visar att de, så länge knappen lyser, har chans att svara på ledtråden genom att trycka på knappen. Den deltagare som trycker först får fem sekunder på sig att svara på ledtråden, i form av en fråga. Rätt svar ger lika mycket dollar som ledtråden är värd och deltagaren får välja en ny ledtråd. Om deltagaren svarar fel dras summan för ledtråden bort från det totala belopp som deltagaren hittills har samlat ihop. Det gör det viktigt för deltagarna att vara säkra på sin sak när de trycker på knappen. Vid fel svar får de andra två deltagarna återigen chans att trycka på svars-knappen och svara på ledtråden. I den första och andra ronden finns det dessutom en, respektive två, rutor som är så kallad Daily Double, vilket inte syns förens en tävlande har valt den rutan. Deltagaren som valt rutan måste då besvara ledtråden, utan att använda svars-knappen, samt satsa en del av sina hittills samlade pengar på frågan. Sista ronden är annorlunda från de två första och består av en enda fråga. Först avslöjas en kategori och varje deltagare skriver ner hur mycket de satsar på kommande fråga (det måste dock vara mindre eller lika mycket som den totala summa pengar de hittills har samlat ihop). Frågorna i rond tre är ofta svårare än de frågor som använts under rond ett och två. När programledaren läser upp ledtråden har deltagarna 30 sekunder på sig att svara. Sedan berättar de sina svar samt hur mycket de satsat på frågan. Den deltagare som har mest pengar efter den tredje ronden vinner Jeopardy! (Ferrucci, Brown, Chu-Carrol, & Fan, 2010). 7

9 Frågeanalysen i Watson Watsons frågeanalys börjar med att göra en analys för att förstå vad som efterfrågas och hur det på bästa sätt besvaras. Frågeanalysen tar in frågan i form av ostrukturerad text och plockar utifrån det ut syntaktiska och semantiska delar som den kodar om till strukturerad information. Denna information kan sedan resterande delar av Watson ta del av, då nästan alla komponenter i systemet beror av frågeanalysen. Frågeanalysen bygger på så kallad generalpurpose parsing och semantic analysis components. (Lally, et al., 2012) Frågorna är alltid presenterade i versaler och det är så Watson uppfattar dem. Det är inget problem för människor att förstå text skriven enbart med versaler, men för datorsystem skapar det svårigheter. Detta eftersom systemen strängt följer syntaktiska regler där vissa typer av ord, så som namn, inleds med stor bokstav och på så sätt kan identifieras som just namn. För att underlätta detta används en så kallad true-caser component, vilket är en komponent som hjälper till att återställa sådan information som går förlorad när text skrivs i enbart versaler eller gemener. (Vita, Ittycheriah, Roukos, & Kambhatla, 2003) General-purpose parsing och semantic analysis components Watsons språkliga analys består av två djupa analyskomponenter, English Slot Grammar (ESG) parser och en predikat-argument struktur (PAS). ESG består av grammatiska träd, som både visar ytliga och djupa grammatiska strukturer. PAS är en förenkling av ESG genom att exempelvis undvika vissa termer som inte har någon större betydelse för resterande komponenter av systemet. Vissa begrepp tolkas därmed olika i ESG, men har bara en tolkning i PAS. PAS tar heller inte hänsyn till ytliga och djupa strukturer, utan lägger ihop dessa till en, som mestadels följer den djupa strukturen. ESG och PAS används av många olika komponenter i Watson, där frågeanalysen är en av dem. (Lally, et al., 2012) Fokus Fokus är det ord i ledtråden som refererar till svaret. Om fokus byts ut mot svaret blir frågan ett fullständigt påstående (Ferrucci, Brown, Chu-Carrol, & Fan, 2010). I Watsons system upptäcks fokus i en fråga utifrån regler som har identifierats i Jeopardy-frågor. Dessa följs i en prioriterad ordning enligt följande, där kursiv text står för fokus: - En substantiv fras med determineraren denna/detta/den här/det här eller dessa/de här : 8

10 FILM: Den här filmen spelades in i Linköping 1952 med Stellan Skarsgård som huvudroll. - Denna/detta/den här/det här eller dessa/de här som ett pronomen: JUL: År 2012 utsågs den här till årets julklapp. - När hela frågan är en substantiv fras blir hela frågan fokus: MUSIK: Antal plattor som Green Day har släppt det senaste decenniet. - Ett av pronomen han/hon/hans/hennes/honom/hennes : POLITIK: Han blev utsedd till Sveriges statsminister år Ett av pronomen det/de/dem/dess/deras : NATURKATASTROFER: Det var anledningen till katastrofen i Thailand år Pronomenet en/sådan : KULTUR: Pippi Långstrump, genombrott år 1950, är en envis sådan. Om ingen av ovanstående regler stämmer in, så antar man att det inte finns något specifikt fokus i ledtråden. (Lally, et al., 2012) LAT LAT står för Lexical Answer Types och innebär ett begrepp/ord i ledtråden som berättar vilken typ av ord som efterfrågas. Grundprincipen för att hitta en LAT i ledtråden beror på upptäckten av fokus och att välja huvudordet till det fokus som valts ut som det enda LAT i meningen. Det finns dock vissa undantag, vilka är följande, med fokus skrivna i kursiv och LATs skrivna med fet stil: - Om fokus är en konjunktion, så är konjunktionerna meningens LATs: Denna film och musikal bygger på samma manus - <Fokus> av X, X är meningens LAT när <Fokus> är något av en/namn/typ/sort: Man bränner sig på denna typ av blomma. - <Fokus> åt/till/för X, X är LAT när <Fokus> är något av namn/ord/term: 9

11 Detta är ett annat ord för dräpa. - Om inget fokus har hittats i ledtråden och kategorin är en substantiv fras, ta ut huvudordet i kategorin som LAT: LAND: New York, San Fransisco, Las Vegas (Lally, et al., 2012) Några av de mest förekommande LATs, baserat på tidigare Jeopardy! tävlingar, är: han, land, stad, man (Gopinathan, Pradeep; Kutsenko, Vera; Staehle, Joseph). Undantag och svårigheter i upptäckandet av LATs Reglerna som används för att identifiera LATs fungerar i de flesta fall men ibland sker misstag, exempelvis att systemet väljer fel pronomen eller fokus, vilket påverkar valet av LATs. Det händer även att användbara LATs inte upptäcks, så kallad falsk negativ. Motsatsen till dessa är falsk positiv, vilket är ord/begrepp i frågan som identifieras som LATs trots att de inte är det. Det är dessutom svårt för Watson att avgöra huruvida meningens LAT består av ett eller flera ord. Oftast är det ett ord, men i vissa fall, som i exemplet den här vice presidenten, kan inte presidenten extraheras från vice, eftersom det ger en förklaring av vilken slags president frågan syftar på. I dessa fall är det alltså hela termen som utgör frågans LAT. Det är svårare för Watson att upptäcka en sådan sak än vad det är för en människa. I ett exempel från tävlingen var frågans LAT: lead singer, där Watson enbart upptäckte ordet singer som LAT. Dock blir detta problem inte lika stort på svenska som på engelska, eftersom svensk grammatik inte innehåller lika många särskrivningar som engelsk grammatik. En annan svårighet när man ska identifiera LATs är när de finns inuti frågans kategori. Tre villkor kan då användas för att se hur stor sannolikhet det är att ett ord eller en fras i kategorin är LAT, om ordet/frasen uppfyller alla tre villkor är sannolikheten stor. - Ordet/frasen refererar till typ av enhet istället för enheten i sig, exempelvis lakrits istället för godis - Enhetstypen är konsistent med frågans LATs (om det finns något) - Enhetstypen nämns inte i frågan För att undvika ovanstående misstag och den osäkerhet som följer med grundreglerna, använder Watson en klassificerare för att se hur stor sannolikhet det är att en upptäckt LAT verkligen är en LAT. Klassificeraren använder bland annat samma regler som använts för att 10

12 upptäcka fokus och LATs, tillsammans med andra egenskaper som är inbyggda i ESG och PAS. Om sannolikheten är liten att ett visst ord utgör frågans LAT filtreras det ordet bort för att undvika misstag och öka noggrannheten. Watson lär sig under tävlingens gång och av sina misstag. Statistik på Jeopardy!-frågor genom tiderna visar att sannolikheten att en kategori är en LAT två gånger är stor. Watson utnyttjar det genom att identifiera de fel som görs och dra nytta av dessa i senare frågor. Exempelvis om Watson missar att en kategori är LAT i en fråga, lär sig systemet det och har där med större chans att klara samma typ av fråga nästa gång. Undersökningar har gjorts för att jämföra grundreglerna i ESG och PAS med de regler som implementerats i IBMs Watson efter ovanstående förbättringar. Resultatet från undersökningarna visar bland annat att förbättringarna bidragit till att Watson i 6.5% av frågorna upptäcker LATs som inte upptäcktes enbart med grundreglerna (Lally, et al., 2012). QClasses Jeopardy! innehåller en bred variation av frågor. Question Classifications (QClasses) används för att hjälpa Watson att förstå vilket typ av svar som förväntas, när fokus och LATs misslyckas. Detta sker genom att undersöka vilken typ av fråga det är som har ställts. (Lally, et al., 2012) Typen av klassifikationer i QClasses kan variera beroende på vilket sammanhang de förekommer i. (Li & Roth) I Jeopardy! är några exempel på frågetyper VERB, ÖVERSÄTTNING, MULTIPLE-CHOICE, DATUM och BAND. För att Watson ska hitta vilken typ av fråga som har ställts används två tekniker, reguljära uttryck över texten och syntaktiska regler i PAS. PUSSEL, BAND, MULTIPLE- CHOICE och FITB identifieras genom reguljära uttryck, medan alla andra frågetyper identifieras genom syntaktiska regler. De olika teknikerna är oberoende av varandra, vilket gör att en specifik fråga kan identifieras till flera olika QClasses. Vissa frågetyper går dock inte att kombinera och för att undvika att de ändå paras ihop används en QClassConsolidator som ser till att det inte sker. Nedan följer alla olika frågetyper i Jeopardy!: - PUSSLE är en frågetyp där svaret kräver ursprung, syntes eller inferens - BAND är när svaret är något som två enheter har gemensamt - MULTIPLE-CHOICE består av, vanligtvis tre, svarsalternativ, där ett av dem är det rätta svaret - FITB (Fill-in-the-blanket) frågar efter ett ord som fyller upp ett tomrum i ledtråden och gör den fullständig 11

13 - VERB är frågor där svaret är ett verb - ETYMOLOGI söker efter ett ord vars ursprung är från ett annat land - DATUM är när svaret är ett datum eller ett år - NUMMER är när svaret är ett nummer - ÖVERSÄTTNING är frågor där svaret är en fras eller ett ord översatt från ett språk till ett annat - DEFINITION en fråga som innehåller en definition av svaret - KATEGORI-RELATION är frågor där svaret har en semantisk relation till frågan och relationen är angiven i kategorin - FÖRKORTNING är när svaret är en förlängning av förkortningen som anges i frågan De vanligaste frågetyperna i Jeopardy! är DEFINITION och CATEGORY-RELATION. (Lally, et al., 2012) QSections QSections är delar av en fråga som identifieras då den tycks innehålla en speciell handling eller information. QSections kan även användas för att dela upp en fråga i delfrågor, där varje delfråga kan leda till rätt svar. QClasses och QSections påminner om varandra och båda identifieras antingen genom syntaktiska regler i PAS eller genom reguljära uttryck i frågan. Ibland beror QClasses och QSections existens på varandra, vilket gör att dess output då består av samma information. Det finns många olika typer av QSections, där de viktigaste nämns nedan: - Lexikal begränsning visar på begränsningar i svarets syntax genom att exempelvis säga en mening på fem ord... - Förkortningar är en del i en fråga som är en förkortning, vars förlängning är svaret på frågan - Delfrågor är när en fråga kan bli uppdelad i två eller fler delar, där varje delfråga bidrar till att hitta rätt svar - McAnswer är de olika svarsalternativ som utgör en multiple-choice fråga - FITB är den text som omger det tomrum som ska fyllas i frågan (Lally, et al., 2012) 12

14 Diskussion Jag tycker att de framsteg som gjorts genom utvecklingen av Watson är intressanta och skapar intresse inför framtiden, då QA-system blir viktigare och viktigare i dagens samhälle. Eftersom det mesta numera styrs via tekniska system, så som datorer och internet, är det viktigt för användaren att, lika snabbt som det finns möjlighet att hitta information och tjänster, även kunna få svar på de frågor som uppstår vid användandet av systemen. Dessutom är en förutsättning för systemen att användaren snabbt och smärtfritt kan söka efter information genom att fråga sig fram, istället för att behöva leta sig runt i all befintlig data. Att då kunna ha ett system som kan svara på sådana frågor, trots att de består av naturligt språk och ställs utav människor, är viktigt för att systemen ska bli så hållbara som möjligt. Idag finns exempelvis Eniro, som är en fråga-svara tjänst där människor kan fråga vad som helst, men som även bemannas av människor. Jag tänker mig att liknande system ska kunna bemannas av intelligenta agenter i framtiden som, på samma sätt som Watson förstår frågor i Jeopardy!, förstår de frågor som ställs av systemets användare och kan besvara dessa korrekt. Liknande system börjar komma mer och mer, ett exempel är Siri som är en applikation till Apples iphones och ipads. Siri försöker svara på de frågor som användaren ställer, men det finns ännu många brister med Siri och det är mer ofta än sällan som Siri missuppfattar frågan och svarar på någonting helt annat. Det finns som sagt vissa brister i IBM Watsons QA-system, vilka redan tagits upp och diskuterats en del ovan. I framtiden kommer system som Watson förmodligen kunna hantera dessa problem ännu bättre, genom att exempelvis ha bredare och mer hållbara regler för semantiken och syntaxen i ett system. Det skulle reducera misstagen och osäkerheten hos systemen. Reglerna kommer förmodligen att bli bättre genom att textanalyser så som ESG och PAS utvecklas i takt med tekniska system, vilket i sin tur leder till förbättringar hos intelligenta agenter. Att låta den intelligenta agenten lära sig genom tidigare erfarenheter, vilket Watson till viss del gör, tror jag är en användbar lösning. Det gör att agenten hela tiden utvecklas och fyller på sin information, utan att det krävs uppkoppling till yttre kunskapsbaser. DeepQA-arkitekturen är inte specifik för Jeopardy! och IBM Watson, utan används även i andra områden. Bland annat håller DeepQA på att utforskas inom arbetsområden så som spel 13

15 och medicin. Inom sjukvården är förhoppningen att kunna bygga Watson 2.0, som istället för att enbart svara på specifika frågor ska kunna analysera större problemscenarion. Detta ska ske genom en interaktion med användaren, där Watson 2.0, precis som Watson i Jeopardy!, lär sig av tidigare händelser. Watson 2.0 kan exempelvis kontrollfråga när han inte riktigt förstår innebörden i en mening, för att vara säker på att tolkningen av input är korrekt. På så sätt får systemet hela tiden ny information som kan hjälpa till i analysen av senare problemscenarion och input. Med hjälp av Watson 2.0 ska olika alternativ till beslut inom sjukvården, så som medicinering eller diagnostisering, presenteras och analyseras. (Ferrucci D. A., 2011) Jag tror detta kommer bidra till enorma framsteg, såväl inom artificiell intelligens som sjukvården, då det förmodligen öppnar upp för nya intressanta idéer och möjligheter. Samtidigt kommer Watson 2.0 förhoppningsvis hjälpa till att minska på arbetsbördan och ansvaret som i dagsläget läggs på de ansvariga inom sjukvården och bli ett bidragande substitut till sjukvårdarnas kognitiva resurser då dessa inte räcker till. Det är dock viktigt att ha i åtanke att system så som Watson förmodligen aldrig kommer kunna ersätta människans förmågor helt, utan snarare ska användas som ett hjälpmedel. Om mänskliga sjukvårdare litar för mycket på Watson 2.0 finns risken att de tillslut antar att Watson 2.0 säger rätt, utan att försäkra sig om detta. Det skulle kunna skapa risker och misstag som, inom sjukvården, kan ha förödande effekter. 14

16 Referenser Ferrucci, D. A. (2011). Introduction to "This is Watson". Ferrucci, D., Brown, E., Chu-Carrol, J., & Fan, J. (2010). Building Watson: An Overviev of the DeepQA Project. AI Magazine. High, R. (2012). The Era of Cognitive Systems: An Inside Look at IBM Watson and How it Works. Internal Technical Support Organization. Lally, A., Prager, J. M., McCord, M. C., Boguraev, B. K., Patwardhan, S., Fan, J.,... Chu- Carroll, J. (2012). Question analysis: How Watson reads a clue. Li, X., & Roth, D. (u.d.). Learning Question Classifiers*. Department of Computer Science University of Illinois Urbana-Champaign. Vita, L., Ittycheriah, A., Roukos, S., & Kambhatla, N. (2003). truecasing. Sapporo, Japan. 15