Personlighet från handling Ett försök att uttrycka personlighet i textbaserat samtal med en chatbot

Transkript

1 LINKÖPINGS UNIVERSITET Personlighet från handling Ett försök att uttrycka personlighet i textbaserat samtal med en chatbot Jonas Klingström Emma Torensjö Sara Widman-Börjesson Pontus Bergman Karolin Nissa Anna Carlsson

2 Sammanfattning Syftet med studien som presenteras i denna rapport var att utforska möjligheter för att implementera personlighetstyper genom att anta lingvistiska och kommunikationsvetenskapliga metoder för att med handlingar (uttalanden) förmedla två olika typer av personligheter i textbaserad interaktion med en chatbot. Vi formulerade därför två lingvistiska strategier att implementera i två chatbotar, en motsträvig och en tillmötesgående. Dessa chatbotar utvärderades genom att i) två olika grupper fick chatta med dem och besvara en enkät om upplevelsen av chatboten och ii) en kvalitativ utvärdering av chatloggar från respektive grupp för att analysera användarnas reaktioner på de implementerade personligheterna. Enkätundersökningen gav signifikanta skillnader i skattning av hur chatbotens personlighet uppfattades i avseende för hur snäll eller sträng den var, samt hur lätt det var att tala med den i avseende på hur lätt det var att veta vad man kunde prata om och hur mycket chatboten bestämde över konversationen.

3 Innehåll 1 Inledning Syfte Bakgrund Konversationsanalys Preference for agreement Repair Avslut Språkets roll för upplevd personlighet Implementering Ramar för chatbotens implementering AIML Utformning av personligheter Implementering av personlighetstyperna med AIML AIML möjligheter och begränsningar i implementering Utvärdering Datainsamling Utformning av utvärderingsenkät Dataanalys Kvantitativ metod för analys Kvalitativ metod för analys kommunikationsanalys Etik Resultat Statistiska resultat Kvalitativa resultat och analys Slutstatser och diskussion Referenser Appendix A Appendix B... 53

4 1 Inledning Sedan Turings presentation av Imitation Game (Turing, 1950) har det gjorts många försök till att skapa chatbotar vars syfte är att kunna imitera mänsklig interaktion. Två tidiga exempel på chatbotar med dessa förmågor är ELIZA (Weizenbaum, 1966) och JULIA (Mauldin, 1994) som båda påminner om en riktig person i sättet de kommunicerar. För att en chatbot ska uppfattas som människolik i sin kommunikation är det önskvärt att den konsekvent uttrycker sig som en person skulle göra, som till exempel hur den formulerar sig och vilka samtalsintressen den har. Strävan att göra chatbotar människolika i sin interaktion har ofta blivit till strävan att göra chatboten som en människa och således basera sättet man implementerar chatbotarna på hur man uppfattar att människan fungerar. Ett populärt sätt att strukturera en sådan implementering har varit att basera chatbotars sätt att uttrycka sig på personlighetsdrag då de har visat sig ha inverkan på hur ett mänskligt uttryck formuleras. En modell för att beskriva mänskliga psykologiska personlighetsdrag är Femfaktorteorin, eller Big Five-teorin som beskriver fem dimensioner av mänsklig personlighet. De här fem dimensionerna är öppenhet, samvetsgrannhet, extraversion, vänlighet och neuroticism (Digman, 1990). Man har funnit att det finns systematiska språkliga samband mellan de fem personlighetsdragen och hur folk uttrycker sig (Oberlander & Gill, 2006). I en studie av Mairesse (2007) har man tagit vara på de här variationerna för att uttrycka personlighet i chatbotar. I studien lyckades man få fram en personlighet som av försöksdeltagare skattades som extrovert i sitt sätt att uttrycka sig. Försöksdeltagarna var dock experter inom ämnet personlighetspsykologi. Det finns dock saker som talar emot att det finns anmärkningsvärda skillnader mellan språkliga skillnader och personlighet. Bland annat är det oklart ifall det bara är specifika talhandlingar som innehåller lingvistiska skillnader beroende på personligheter. Dessutom är korrelationerna i (Mairesse, 2007) signifikanta men svaga, så enskilda parametrar (t.ex. extrovert psykologisk personlighet) kanske inte har tillräckligt med kraft för att 1

5 skapa anmärkningsvärda skillnader i ett enstaka yttrande, som ett sådant som ofta genereras av en chatbot. Det är alltså möjligt men inte helt oproblematiskt att implementera personlighet i en chatbot, och det är inte nödvändigtvis önskvärt att den personlighet den uttrycker endast är tydlig för experter. En vanlig person som interagerar med en chatbot kan inte antas ha kännedom om till exempel Femfaktorsteorin. En användare ser nödvändigtvis inte heller en extrovert personlighet, utan snarare kanske en tillmötesgående eller motsträvig personlighet. I den här rapporten föreslår vi ett alternativt tillvägagångssätt för att manifestera personlighet som inte är baserad i underliggande psykologiska personlighetsdrag, utan en personlighet som manifesteras i interaktionen genom specifika talhandlingar. Den här typen av personlighet, som vi i rapporten kommer kalla lingvistisk personlighet (jmf. psykologisk personlighet, Big Fivedrag) har vi implementerat genom att identifiera ett antal handlingsmönster vilka vi har implementerat som två chatbotar. Vi menar att eftersom att människor tenderar att försöka finna mening genom att själv konstruera en uppfattning av någons personlighet genom implicita personlighetsteorier (Hewstone & Stroebe, 2001, s. 59) så borde de här handlingsmönstren ge användaren tillräcklig grund för att forma en uppfattning, om än till större delen implicit, av chatbotens personlighet. Den personlighet vi i vår studie har försökt att få fram är alltså en uppfattad personlighet som framgår i interaktionen och det är användaren som genom att använda implicita personlighetsteorier gör ett antagande om vad chatbotens personlighet är. De handlingsmönster vi har formulerat är hämtade från forskningsområdena konversationsanalys och social lingvistik, vilka båda fokuserar på språkbruk, interaktion och kommunikation hur de ser ut i normalfall och vad som händer när man bryter normer. Bland annat Pennebaker (Pennebaker, 2011) har forskat mycket om hur yttranden presenteras och hur orden används, till exempel vad gäller pronomen, prepositioner, artiklar etc. Det finns alltså betydelse i hur ett yttrande framställs (ex syntax, ordval, etc.) snarare än vad yttrandet innehåller 2

6 (ex semantiskt innehåll). Utifrån detta har man kunnat dra slutsatser om att språkanvändningen går att relatera till individers personlighetsdrag, och att man därför, när man interagerar med en chatbot, kan anta att sättet man pratar eller skriver på är baserat på underliggande psykologiska processer eller personlighetsdrag (Pennebaker, J.W., King, L.A, 1999). Den här rapporten kommer att utforska hur man kan ställa upp ett antal handlingsmönster, det vill säga konsekventa användningar av ett antal typer av handlingar och interaktionsmönster, för att producera en uppfattning av en personlighet hos en chatbot. Från Avsnitt 2, Bakgrund tar vi med oss ett antal teorier och fenomen om hur språk i normalfallet fungerar och vad som kan hända om man bryter de regler som finns och hur vissa lingvistiska personligheter påverkar språket. I avsnitt 3, Implementering beskrivs hur vi har byggt två chatbotar genom att utgå från de tidigare nämna teorierna och beskrivningarna av språk och lingvistisk personlighet samt vilka konsekvenser en manipulering av dessa kan leda till för uppfattad personlighet. Vi beskriver sedan hur vi utvärderade huruvida chatbotarna uppfattades ha någon personlighet i avsnitt 4. Avsnitt 5, Resultat är uppdelad i en del enkätundersökning och en del kvalitativa resultat/analys av de chatloggar och observationer som försöket med en klass i årskurs 5 resulterade i. Till sist presenterar vi våra slutsatser och diskuterar arbetet. 1.1 Syfte Syftet med denna studie är att utforska möjligheter att förmedla personlighet hos en chatbot. Även att utvärdera en metod för detta baserad på kommunikationsvetenskapliga och lingvistiska teorier. 3

7 2 Bakgrund I detta avsnitt presenteras den teoretiska bakgrund vi har använt oss av för att basera implementeringen av de två chatbotarna. Konversationsanalys introducerar forskningsfältet och några utvalda fenomen som beskrivs av det. Sedan följer en del om språkbruk och lingvistisk personlighet som beskriver hur vissa typer av språkbruk kan kopplas till roller i en konversation och hur de påverkar ett samtal. 2.1 Konversationsanalys Konversationsanalysen studerar interaktion mellan människor i olika situationer som uppstår i livet. Konversationsanalysen har gått ifrån att studera enbart de verbala aspekterna i interaktion, till att inkludera videomaterial som möjliggör ytterligare analysgrunder, den icke-verbala kommunikationen mellan människor. I det här projektet kommer vi att använda konversationsanalytiska metoder och teorier för att studera ett mycket mer specifikt medium renodlat textbaserad interaktion. En konversation fungerar i normalfallet genom att personer i samtalet turas om att tala och (i bästa fall) är tysta och lyssnar när de andra talar. Något människan är väldigt bra på i samtal med andra är att make sense, det vill säga göra mening, av vad som sägs och av de handlingar som utförs. En person finner ofta relevans i ett uttalande eller i en fråga oavsett vad det innehåller eller hur det är uppbyggt, och finner mening i vad den får (Garfinkel, 1967). En viktig poäng att göra är att alla människor är kompetenta inom kommunikation och interaktion. Även om de kommunicerar på olika sätt, och vi kommer att presentera några olika sätt att göra det senare i rapporten, så gör alla det dagligen. Yttranden varierar i hur de är uppbyggda, ett uttalande kan vara mycket ledande och vissa frågor och påståenden ger direkt en viss respons eller lämnar rum till en viss förväntad respons. Om ett givet par av uttalanden är starkt kopplade till 4

8 varandra, det vill säga att det finns en stark förväntan på det svar som ges till ett visst uttalande beskrivs det som ett närhetspar (adjacency pair). Ett typexempel på ett sådant par är en hälsning som i normalfallet då följs av en hälsning tillbaka (Schegloff, 2007). Liknande är villkorlig relevans (conditional relevance) som innebär att efter en fråga eller ett uttalande så finns en förväntan av ett visst gensvar, det vill säga att efter ett visst uttalande så finns det ett, eller en typ av, svar som följer naturligt. Om det förväntade uttalandet uteblir ses det som officiellt frånvarande vilket kan skapa både förvåning och negativa känslor hos den andra personen i samtalet (Schegloff, 1968). Det finns flera specifika fenomen vilka beskriver hur en normal konversation kan föras och på vilka sätt en person styr ett samtal och samarbetar i det, ett antal av dessa presenteras i de följande avsnitten Preference for agreement Preference beskriver relationen mellan två handlingar och många typer av handlingar/frågor/påståenden inbjuder som tidigare nämnt till vissa gensvar eller handlingar. Ett exempel är offer-acceptance då en person erbjuder något och i sin tur förväntar sig ett visst svar. Uteblir det prefererade svaret kan det uppstå en konstig situation som i sin tur kan uppfattas negativt. Dessa fenomen kan exemplifieras med alla typer av yttranden som kräver ett visst svar tillbaka. Generellt sett så tenderar människan att hålla med andra i ett samtal då detta i många fall ses som den handling som kommer upprätthålla samtalet och som följer en normal konversationsmodell, detta kallas preference for agreement. Pomerantz (1985) beskriver att det finns ett antal olika typer av agreements och menar att man generellt sett försöker att maximera antalet förekomster av agreements och minimera antalet förekomster av disagreements då detta underlättar ett samtal. Det kommer även naturligt för människan att bete sig på ett vis som är socialt accepterat och som gör att ett samtal flyter på. I de fall då en person verkligen vill eller måste säga emot så väljer personen i fråga ofta att fördröja sitt svar eller att dela upp det i flera turer då det kan vara känsligt att säga emot någon (Pomerantz A., 1985). Det finns dock undantag till detta, om 5

9 en person talar negativt om sig själv (self-deprecation) så är det mest passande att inte hålla med. Den prefererade handlingen eller uttalandet blir istället att inte hålla med (preference for disagreement). En person som bryter mot detta skulle då anses bryta mot det normala konversationsmönstret och möjligheten att uppfattas negativt skulle finnas (Pomerantz A., 1984) Repair. I normal konversation när en deltagare inte förstår eller har svårt att förstå använder denne sig av olika strategier för att reparera samtalet. Ofta försöker personen som inte förstår att fördröja sitt svar genom att använda sig av repairs. Repairs eller reparationer innebär i detta fall att man drar ut på sitt eget svar genom att be den andra personen förtydliga sitt uttalande för att vinna tid (Pomerantz A., 1985). Reparationer används också på andra sätt i samtal då man i konversationer är ute efter en fungerande turtagning eftersom det underlättar för deltagarna och deras förståelse för varandra. Turerna kan då störas av bland annat överlappande tal, avbrott, felsägningar, oklarheter med mera så reparationer är en nödvändighet för att upprätthålla ett samtal med flyt (Sacks, H., Schlegloff, E.A., Jeffesson, G., 1974). Reparationen kan både användas för att rätta något man själv har sagt som varit otydligt eller inkorrekt (self-initiated repair) men det kan även gälla att rätta en annan persons handlingar och uttalanden (other-initiated repair). Det är även frågan om vem som initierar att en rättelse bör ske som är viktig (self/other) och att se hur en reparation utvecklas över en tur eller en sekvens av turer. Att rätta en annan person eller initiera att den bör rätta sig kan dock vara känsligt eftersom man påpekar en annan persons brister och detta är inte att föredra (Sacks et al. 1974) Avslut Hur samtal avslutas är en viktig del för helhetsintrycket av hur man uppfattar samtalet och även hur man uppfattar den person man talar med. I normalfallet inleds ett avslut med ett antal pre-closings för att få en gemensam förståels 6

10 mellan parterna att samtalet nu kommer gå mot sitt slut. Om detta uppfattas av de båda parterna går man in i en avslutningssektion för att sedan med en gemensam förståelse avsluta samtalet. Att bryta mot normalfallet genom att göra till exempel ett abrupt avslut skulle kunna uppfattas som konstigt eller onormalt och då påverka intrycket av en person negativt (Schegloff, E.A., Sacks, H., 1973). Broth och Mondada (2012) beskriver hur man kan avsluta ett samtal med hjälp av förkroppsligad aktivitet som till exempel i att gå iväg för att lämna samtalet. Detta kan genomföras på ett märkbart men accepterat sätt, men även här skulle man reagera starkt om någon gick iväg och lämnade samtalet på ett oväntat abrupt sätt (Broth, M., Mondada, L., 2012). Button och Lee (1987) beskriver liknande fenomen vid avslut av samtal och likaså här är det ett samarbete deltagare emellan. Man understryker att man kan signalera på många olika vis att man vill avsluta samtalet och om detta inte görs på ett korrekt sätt så anses det bryta mot de regler som bygger upp ett samtal och man uppfattar detta negativt (Button, G., Lee, J.R.E., 1987). 2.2 Språkets roll för upplevd personlighet Med begreppet lingvistisk personlighet avses sammansättningen av förmågor och karaktäristiska drag hos en person och hur detta uttrycker sig i språk den personlighet som kommuniceras av en person genom dess språkbruk (jmf. psykologisk personlighet som inte nödvändigtvis kommuniceras). Stepanova (2012) beskriver tre grunder för hur språket är uppbyggt utifrån en personlighet; värderingar, planläggning och beteende. En persons värderingar kring normer gällande etik, moral och uppförande påverkar hur den väljer att formulera sig under ett samtal, till exempel genom olika grader av artighet. En person som lägger ett stort värde i ett korrekt beteende kommer därmed uppföra sig artigt och hålla sig till samtalsnormerna. Under ett samtal påverkar en given personlighet planläggningen av de yttranden som deltagaren bidrar med till samtalet. Man se hur deltagaren har prioriterat information och uppfattningar av omvärlden, och att dessa uppfattningar 7

11 påverkar en persons generella ordval, formuleringar och vad den vill prata om. Det här påverkar till exempel hur en person riktar sina bidrag och vilka ämnen den helst vill att interaktionen ska behandla. Exempelvis kommer en person som prioriterar kunskap oftare försöka styra ämnesprogressionen mot just olika former av kunskap, medan en person som lägger större vikt i det sociala umgänget kommer visa sig mer öppen för sådana samtalsämnen (Stepanova, 2012). Den tredje och sista generella grunden i en lingvistisk personlighet är beteende. Beteendet i en lingvistisk personlighet karaktäriseras av en rad avsiktliga och oavsiktliga kännetecken. Det lingvistiska beteendet går att se i hur en person väljer att anpassa sig i ett samtal beroende på situationen, som till exempel i ett samtal mellan en person som har mycket kunskap inom ett ämne där den andra har mindre. En person som har en större social kompetens, alltså större förmåga (och vilja) att uttrycka sig flexibelt borde alltså visa sig mer anpassningsbar i olika konversationstyper, medan en person med lite mindre kompetens skulle ha svårt att anpassa sig i en konversation där de två samtalspartnerna uppenbart är på olika nivåer (Stepanova, 2012). Ett exempel är en konversation mellan en högutbildad person och ett barn. Om den högutbildade personen i den här konversationen har en högre kompetens inom social lingvistik så skulle den kunna förklara sina begrepp på ett mer lättförståeligt språk för barnet. Jämförelsevis skulle en högutbildad person med låg sådan kompetens inte förstå den kunskapsskillnad som existerar mellan de två parterna och fortsätta använda ett mer avancerat språk. Utifrån en persons personlighet så kan man dra slutsatser om hur denna person väljer att formulera sig i en given situation. Weintraub (1989) gjorde en undersökning där han lät sina försöksdeltagare hålla ett tal i en mikrofon i tio minuter inom ett fritt ämne. Resultatet visade att en person med orolig, osäker eller nervös personlighet oftare använder sig av meningar där man själv har rollen som förstaperson, samt använder sig av en stor andel förklarande ord som därför, eftersom och även negationer som nej, inte, aldrig. En person med 8

12 denna personlighet väljer även ofta att inte göra samtalet specifikt personligt, som till exempel när det kommer till frågor. Ett exempel på en sådan här handling skulle kunna vara om någon frågar en annan Vad vill du dricka? och personen svarar Det spelar ingen roll, jag tar det du tar. Genom att utföra denna handling undviker personen att hamna i fokus (Tannen, 2005). Weintraub fann även att individer med dominanta personligheter har en ökad användning av kommandon, avbrytningar i samtalet och oanständiga ord (Weintraub, 1989) (Pennebaker, J.W, Mehl, M.R., Niederhoffer, K.G., 2003). Tannen (Tannen, 2005) förklarar hur en entusiastisk person ofta ger snabbare respons under konversationen och använder sig av fler följdfrågor i jämförelse med en icke-entusiastisk person. Till skillnad mot den dominanta personligheten som ofta kan avbryta det normala samtalsmönstret så följs detta mönster av en entusiastisk person och turtagningen är istället ett samarbete mellan samtalsparterna. 9

13 3 Implementering I detta kapitel beskrivs vilka verktyg samt metoder som använts för att implementera de positiva och negativa personlighetsdragen i versionerna. Inledningsvis kommer en kortare sammanfattning utav ramverken för verktyget vi använt oss utav, AIML, som sedan följs av hur vi implementerat teoretiska begrepp i dessa ramverk. 3.1 Ramar för chatbotens implementering Chatboten har utvecklas inom ramen för projektet hworld, (Silvervarg, A., Jönsson, A., 2011) där chatbotar genom ett pedagogiskt spel riktat mot barn används i utlärningssyfte, där elever i årkus 4-6 skall inhämta kunskaper genom textbaserad interaktion. hworld erbjuder en färdig plattform för att implementera chatbotar genom språket AIML, där vi i detta projekt har använt en historisk person i form av Isaac Newton som mall för agenten. 3.2 AIML AIML( Artifical Intelligence Mark-Up Language) är ett mönstermatchningsspråk. AIML består av uppmärkningar (mark-ups), där allt innanför en given markör fyller en specifik funktion. För att skapa ett läsbart objekt så inleder man en kategori, med <category>-markören, vilket fungerar som raminnehållet för det man vill skapa. Man kan fylla kategorier med funktioner som till exempel hämtar och lagrar information i variabler, sätter samtalsämne eller ger output (ett svar). Mönster används för att identifiera yttranden från användaren där tecken som bokstäver, siffror eller wildcards definieras och läggs in i ett <pattern>. Ett givet mönster paras med ett svar och/eller svar som ligger i en mall; <template>. Mallar kan innehålla enkel text men kan även innehålla funktioner som sätter värden till variabler (<think>, <set>), rekursivt anropa ett annat mönster för att ge svar från en annan kategori (<srai>), ge ett slumpmässigt 10

14 svar från en uppsättning alternativ (<random>) eller ge svar beroende på om vissa förutsättningar är uppfyllda (<condition>). Wildcards, *, innebär matchning utav en godtycklig sträng. Dessa kan inkluderas mellan eller omkring en serie textsträngar, eller stå ensamma, där de då matchar en godtycklig sträng som saknar mer specifik matchning. Taggen <that> innehåller chatbotens senaste uttalande och fungerar som ett villkor som aktiverar mallen då både mönstret (<pattern>) och innehållet i <that> matchas. <srai> skickar ett matchat mönster till en annan kategori (vilkens <template> aktiverar). Figur 3.1 En kategori som matchar inputet hej och som ger output Hej hej!. Figur 3.2 En kategori som matchar hej x, där x är en godtycklig textsträng, exempelvis på dig, och som sedan anropar kategorin i bild 3.1 genom <srai> för att generera ett svar. Färdiga uppsättningar av svar, uppföljningsfrågor och liknande generella svar kan skapas med kategorier med ett flertal slumpmässigt valda uttalanden. Där kan man sedan använda sig utav förväntade följdfrågor, svar på uttalanden, och skicka dessa till uppsättningskategorierna. 11

15 Figur 3.3 En något mer avancerad kategori, där ett godtyckligt input matchas då chatbotens senaste output var inte mycket x (där även x är en godtycklig textsträng) och som sedan skickas till kategorin med ACKNOWLEDGEMENT som mall, vilken agerar som en uppsättningskategori för jakande uttalanden. I utvecklingen av de två chatbotar vi har utvecklat för studien har vi använt oss av en utökad version av AIML, med stöd för substitutioner. Substitutionerna som finns utförs på användarens input innan AIML-filens mönstermatchning görs, och ersätter viss användarinput med ett annat input som chatboten kan tolka och sedan söka efter i AIML-filen. Substitutionerna minskar mängden mönster som annars krävs för att behandla eventuella stavfel, synonymer, och även för att leda vissa typer av input in på nya ämnen. Figur 3.4 Exempel på substitutioner och hur de kan användas. Japp och lol tolkas som ok respektive haha, i morn rättas till imorgon, idiot flaggar för att användaren skickat skällsord och alkemi matchar en uppsättningskategori som föreslår nytt samtalsämne angående jobb. Ytterligare en funktion i utökad AIML är <topic> som beskriver samtalsämnen. Chatboten kan sätta samtalsämne genom matchning av uttryck och leda in på dem själv vid brist på matchande mönster. Topic-markeringen används sedan för att beskriva en mängd kategorier, vilka inkluderas i det 12

16 samtalsämnesområdet. Där finns möjligheter att placera exklusiva matchningar som går före identiska mönster då det givna samtalsämnet är satt. 3.3 Utformning av personligheter För att implementera de två olika personligheterna för chatboten använde vi de tydligaste och mest konkreta exempel vi fann i befintlig teori för språkbruk och kommunikation, inte bara genom text utan även för naturlig (dvs. vardaglig, ansikte-mot-ansikte) kommunikation. För att tydligt särskilja de två personligheterna tabulerade vi ett antal olika handlingstyper och mönster som givet tidigare forskning kan antas vara påverkade av personlighet. Sammantaget menar vi att de nedan (se figur 1) givna urskiljda handlingar bör ge upphov till att användaren uppfattar chatbotens handlingar som en produkt av en personlighet och en koherent attityd. Utifrån detta kan användaren anta en bakomliggande personlighet det vill säga att användaren uppfattar en personlighetstyp. Vi valde att under arbetet kalla de två versionerna för Negativa Newton och Positiva Newton, och kommer i rapporten fortsätta att kalla dem för det. Vad som särskiljer dem framgår nedan. De begrepp i tabellen i kursivt är samtalssanalytiska begrepp/fenomen som inom konversationsanalys används för att beskriva normalfall i språkbruk som här används för att ge en koherent attityd genom att bryta normalfallet eller inte för respektive version (se tidigare avsnitt Konversationsanalys samt nedan). De begrepp i fetstil är hämtade från teorier och studier inom social- och psykologisk lingvistik, det vill säga sådana handlingar som är typiska för ett visst personlighetsdrag (se tidigare avsnitt Hur personlighet påverkar språket ). 13

17 Teori Positiv Negativ Säkerhet/ Dominans Refererar till sig själv ( jag tycker vs. det är ) Avbryter inte (Ämnesprogression: Eleven styr mot vilket ämne) Kommandon ( jag tycker vs. det är ) Avbryter (Ämnesprogression: Newton styr mot vilket ämne) Entusiasm Följdfrågor Ämnesprogression: Mot eleven Inga följdfrågor Ämnesprogression: Mot ämne (arbete) Repair (dominans) Tar ansvaret själv Lägger ansvar på eleven Preference for Håller alltid med Håller aldrig med agreement (dominans) Avslut Förbered, tillåt sista fråga Abrupt avslut Tabell 3-1 Mall för strategier vid implementering Implementering av personlighetstyperna med AIML Nedan presenteras de olika typerna av strategier för talhandlingar som implementerades i de två chatbotarna tillsammans med exempel över vissa specifika implementeringar av dem Säkerhet och Dominans Som tidigare nämnt menar Weintraub (Weintraub, 1989) att dessa två typer av personlighetsyttringar uttrycks genom handlingar som kommandon, avbrytningar (både av ämnen och naturlig turtagning) och bekräftande uttryck. Kommandon och bekräftande uttryck går att implementera genom olika formuleringar utav chatbotens yttranden, där ställningstagandet handlade om huruvida man ger ett förslag eller kommando. Skillnaden mellan chatbotarna ligger i detta fall att den positiva chatboten kommer med ett förslag, medan den negativa chatboten ger ett kommando samt att den sätter sig själv i fokus och uttrycker en personlig åsikt istället för att använda sig av bekräftande uttryck. Genom den här särskiljningen var målet att den negativa chatboten skulle uttrycka sig på ett sätt som presenterar en mer säker och dominant personlighet. Olika sätt på hur de här typerna av handlingsmönster har implementerats kan se ut som nedan. Vi använder exemplet <pattern>ask ME<pattern> vilket anropas vid flera fall där chatboten inte har fått ett input som matchat ett mer 14

18 specifikt mönster, och därför behöver uppmana användaren till att fortsätta konversationen: Figur 3.2 Denna kategori gör ett slumpmässigt val ur <li>-objekten innanför <random>taggen. Förslagen på frågor som negativa newton tycker att användaren skall ställa är ledande och dominanta. Figur 3.3 Frågeförslagen i detta exempel är mer öppna, också med tillägget om du vill i två av dem, som indikerar på en osäkerhet och tillit till att användaren vet bäst. Den fungerar i övrigt likadant som den i bild

19 För att uttrycka dominans/säkerhet försökte vi även utnyttja styrkan i att styra ämnesprogression. En viss ämnesprogression uppstår beroende på hur en individ planlägger och styr en konversation enligt hur den uppfattar och prioriterar sin omvärld man pratar helst om det man tycker är viktigt. Genom att studera en given ämnesprogression och hur den uppstår kan man utröna vad en person tycker är viktigt. I implementeringen av chatbotens två versioner har vi använt styrandet av ämnesprogression som ett verktyg för att uttrycka respektive versions lingvistiska personlighet, där positiva Newton släpper in eleven i samtalet genom att föreslå flera möjliga ämnen att fortsätta konversera kring, medan negativa Newton konsekvent försöker styra samtalet mot sig själv och sitt arbete, vilket i tidigare studier har visat sig indikera på säkerhet och dominans (Stepanova, 2012). I exemplet nedan försöker Newton få användaren att tala om något han känner till: Figur 3.4 En kategori som föreslår samtalsämnen gör slumpmässiga val, där det tydligt framgår att Newton helst talar om det han själv tycker är intressant. 16

20 Figur 3.5 Positiva Newton ställer här frågor om vad användaren är intresserad av, samt ber denne berätta om sig själv. Figur 3.6 Exempel ur negativa newton där användaren svarat nej på ett förslag (eller snarare kommando) på ämne, där chatboten insisterar på att fortsätta på ämnet med Jo, följt av en slumpmässigt vald fras om dennes arbete Entusiasm Tannen (2005) beskriver hur en deltagare i ett samtal kan uttrycka mer eller mindre entusiasm genom vissa specifika handlingar. En tydlig indikator på att en deltagare är entusiastisk är att den använder många följdfrågor, och ett sådant samtal uppnår sin ämnesprogression genom samarbete. Tannen skiljer på entusiasm och dominans i ett samtal genom att identifiera en dominant deltagare som den mer styrande i utbytet. För de två versionerna av chatboten implementerade vi den mer tillmötesgående med fler generella uppföljningsfrågor, GFQ (General Follow-up Questions). Dessa formulerades som frågor som är lämpliga tillägg efter ett givet svar, som till exempel Själv då?, Du? och liknande. Generella uppföljningsfrågor är ofta en indikator på 17

21 trevlighet, och att inte ställa den typen av frågor är i många fall avvikande ifrån förväntat beteende i en interaktion. Två enkla exempel av hur det här beteendet implementerades illustreras i exemplet nedan: Figur 3.7 En kategori som svarar på frågor kring hur gammal negativa Newton är. Avsaknad av GFQ Figur 3.8 Motsvarande kategori som i Bild 3.X här med en slumpmässigt vald följdfråga ur en uppsättning slumpmässiga GFQ i kategorin INTERNAL GFQ INTERNAL. Ämnesprogression användes även för att uttrycka entusiasm i samtal, där samma särdrag som Tannen (Tannen, 2005) beskrev användes för att göra skillnad på entusiasm och dominans. För att uttrycka dominans användes då ett förslag om att prata mer om det negativa Newton ville prata om allt som oftast dennes arbete -, istället för det svar och en påföljande GFQ som den positiva versionen använde (annan fråga, men samma princip i exempel ovan). Det här implementerades som ett rekursivt mönster där den oavsett användarens input styrde samtalet mot att föreslå sig själv som ämne snarare än att svara på en fråga. Ett antal mönster som matchar frågor skickade då rekursivt, med taggen <srai>, till till exempel ASK ME (se bild 3.X) Preference for agreement Preferens implementerades som en av de starkare förekomsterna av konversationsanalytiska fenomen, det vill säga att den positiva chatboten alltid 18

22 ger ett jakande eller uppmuntrande svar till det användaren säger till exempel om vad användaren tycker om, har gjort, och känner. Negativa Newton gör tvärtom och håller aldrig med den andra parten och uttrycker alltså ofta disprefererade handlingar. Exempelvis: Figur 3.9 Den här kategorin kopplar ur tidigare eventuellt samtalsämne och matchar olika maträtter genom substitutionsfilen, där de ändrats till TAGFOOD. Oavsett maträtt så yttrar negativa Newton en disprefererande talhandling. Figur 3.10 Här utförs samma under-skalet handlingar som i bilden ovan, dock med medhåll och positiva yttranden oavsett maträtt Repair Reparationer krävs ibland i samtal där det uppstår otydligheter eller missförstånd. Man kan reparera ett eget uttalande genom att till exempel ursäkta 19

23 sig, och man kan få en reparation till stånd hos någon annan genom att själv uttrycka sin förvirring, missnöje eller oförståelse. Det kan dock vara känsligt att initiera en reparation hos någon annan, och det kräver en förståelse av situationen för att inte skapa ett brott i kommunikationen (Schegloff, E.A., Jefferson, G., Sacks, H., 1977). I implementeringen av reparation i de två chatbot-versionerna har vi fokuserat på att få fram koherenta och åtskilda attityder, där vi med repair i detta fall endast syftar på att negativa Newton lägger alltid ansvaret för missförstånden på användaren, medan positiva Newton ansvaret själv och ursäktar sig när den inte förstår input. Figur 3.11 En kategori för de fall då användaren skickat en input som saknar mönstermatchning (skickas rekursivt genom ett mönster med endast asterisk). Här skyller Newton missförståndet, dvs. att den saknar ett mönster för det användaren skrivit. 20

24 Figur 3.12 Identisk kategori som i bild ovan, med skillnad att positiva Newtons reparation av missförståndet är mer ödmjuk och ansvarstagande Avslut När en konversation börjar gå mot sitt slut kan man använda flera olika metoder för att initiera avslutandet. Om en deltagare inte initierar, eller öppnar för, ett avslut men likväl avslutar samtalet uppfattas det ofta som negativt. (Broth, M., Mondada, L., 2012) Avslut där en deltagare abrupt avbryter samtalet utan att öppna för det och låta båda parter delta i avslutet, som till exempel att en helt enkelt promenerar iväg, kan det uppstå förvirring och socialt beteende uppfattas ofta negativt (Broth, M., Mondada, L., 2012) (Mondada, 2006). I implementeringen av de två versionerna har vi haft för avseende att simulera ett sådant beteende genom att den mindre tillmötesgående versionen inte öppnar upp för farväl, utan direkt loggar av vid första antydan till avslut. Denna något extrema version hoppades vi skulle stå i stark kontrast mot den positiva chatboten, som använder sig av ett farväl. I exemplen nedan finns det räknarvariabler, dvs. siffervariabler som ökar med 1 varje gång en angiven 21

25 händelse inträffar (i detta fall en given mönstermatchning), som gör att om användaren säger hej då flera gånger (upp till två) så ger den ett annat meddelande: Figur 3.13 Mönstermatchning utav textsträngen hej då, med en räknare (li name= countbye ) som håller reda på hur många hej då som användaren sagt. Positiva och bekräftande farvälfraser uttrycks. Figur 3.14 Användaren får ett abrupt meddelande ifrån servern att chatpartnern Newton har loggat ut. 22

26 3.4 AIML möjligheter och begränsningar i implementering Ett problem för den här implementeringen var den smala möjligheten till förmåga att följa en naturlig ämnesprogression då AIML saknar stöd för en övergripande minnesfunktion för att lagra och använda sig av dialoghistoria. Den möjlighet som står till buds är <that>-taggen, där innehållet mellan start- och sluttagg representerar chatbotens senaste yttrande, som en förutsättning för mallen till mönstret som skall matchas. Den ger möjlighet att styra ämnesprogressionen i de fall där det är möjligt att förutse någon trolig användarinput, samt att driva på den oavsett vad användaren skriver med hjälp utav en wildcard efter givet output. Den andra möjligheten som stöds i AIML i det här fallet var taggen <topic>. Det vill säga en samling mönster som endast matchas om chatboten har satt ett visst topic (vilket händer vid något givet matchat input, tex. en fråga angående fritidsintressen). Inom dessa ämnen (<topic_name= ämne ) finns mönster som fungerar som konditionala mönster, det vill säga att om chatboten till exempel vet att ämnet den talar om är fritidsintressen så finns ett antal mönster som ger specifikt output endast om den är i det ämnet. Samma mönster kan finnas i andra topics också, men ge annan output mer passande för det ämne den står i. Den större delen av problematiken om hur man kan få fram en naturlig ämnesprogression har dock i den här implementeringen legat i hur chatbotens uttalanden styr eller leder användaren till en viss typ av uttalanden genom att utföra handlingar med conditional relevance, det vill säga att den med sina uttalanden uttrycker en förväntan om vad användaren ska säga. Den yttrar sig ofta genom att avsluta sin tur med ett förslag om vad användaren ska säga, genom att till exempel föreslå att de borde prata om arbete, forskning eller fritidsintressen. Då antagandet varit att alla är kompetenta inom kommunikation använde vi det här för att försöka framkalla ett normalfall, det vill säga att 23

27 användaren tar till sig chatbotens förväntan och svarar på den. Lösningen till problemet att det inte finns ett konversationsminne hos chatboten menar vi alltså är att producera en naturlig progression i konversationen genom att boten försöker styra kommande konversation, istället för att anpassa sig till tidigare konversation. Det hade naturligtvis varit att föredra att inkludera möjlighet till anpassning av tidigare konversation för att visa på förståelse och entusiasm inför samtalsämnet, främst för positiva Newton, men implementeringen fick ske på frasnivå, med ett positivt framförande av ämnesstyrningen. Ytterligare ett hinder som följer med AIML är att det krävs mycket stora mängder mönster och substitutioner för att en chatbot ska bli riktigt kompetent i att hantera den stora mängd möjliga olika formuleringar och felstavningar som kan tänkas behöva behandlas. I det här projektet är problematiken speciellt aktuell eftersom att chatbotarna ämnades utvärderas och användas av mellanstadielever, och felstavningar sannolikt är vanligare hos den målgruppen. Vi förutsåg därför att den funktion där vi implementerade repair, det vill säga där chatboten inte förstår, skulle komma att användas väldigt frekvent. Vi lade därför, genom ojämn fördelning under random-taggen, till viss sannolikhet att chatboten skulle börja berätta en historia då den flera gånger hade upprepat sig, då risken annars var att konversationen helt skulle fallera genom att chatboten inte skulle förstå någonting och användaren vara aningslös om hur konversationen skulle föras vidare. Vi antog och implementerade även de principer som tidigare beskrevs för att styra konversationen genom conditional relevance. Bristen på tillgång till dialoghistoria utgjorde även ett mindre problem vid hanteringen av missförstånd, då den inte hade möjlighet att minnas vad det var den hade missförstått, utan endast att den hade gjort det. 24

28 4 Utvärdering I följande avsnitt beskrivs de metoder vi använde för att utvärdera den implementering vi gjorde utifrån vårt syfte och teori, hur vi utförde vår datainsamling och hur vi analyserade den data vi samlade in för att dra våra slutsatser. 4.1 Datainsamling Studien genomfördes på en mellanstadieskola med 26 femteklassare i åldern år som delades in i två grupper á 12 och 14 elever. Båda grupperna fick gemensamt informationen att de skulle få chatta med en historisk person och där deras uppgift var att ta reda på vem personen var och lära sig så mycket om personens liv och arbete som de kunde. Eleverna informerades inte om att det var två olika versioner av chatboten som presenterades för respektive grupp eller om vad syftet med studien var för att sådan information skulle kunna ändra deltagares inställning inför chatboten och således hur de uppfattar personligheterna. Chatten genomfördes sedan i en datasal med först den ena gruppen som fick chatta med den negativa chatboten och sedan den andra gruppen som fick chatta med den positiva chatboten. Eleverna satt en och en eller två och två vid åtta medtagna laptops. Respektive grupp chattade i ca 15 minuter vardera för att sedan få fylla i en enkät angående sin upplevelse av chatboten. Efter enkäten var ifylld fanns det möjlighet att diskutera med eleverna om deras upplevelser och om de ville berätta något utöver det de svarat i enkäten. Detta skedde även under tiden eleverna chattade för att kunna samla in anekdoter av vad eleverna sa och hur de reagerade på vad chatten sa och hur den funderade. 4.2 Utformning av utvärderingsenkät För att utvärdera implementeringen av chatboten tog vi fram en enkät bestående av nio påståenden (se appendix A för den fulla enkäten). Påståendena baserades 25

29 på och valdes delvis ut från en enkät som användes i ett tidigare projekt med chatboten i hworld, genomfört av Silvervarg & Jönsson (Silvervarg, A., Jönsson, A., 2011). Då syftet med vår utvärdering var att få fram vilket intryck eleverna fick av chatboten under sin interaktion med den snarare än att utvärdera chatbotens prestanda så har påståendena från tidigare enkäter modifierats och delats in i två kategorier. Dessa två kategorier av frågor strukturerades för att utvärdera två aspekter utav implementeringen, formulerade efter följande frågor: Har användarna fått ett intryck av att chatboten uttrycker personlighetsdrag? Har vi lyckats att få fram dessa drag med hjälp av de konversationsanalytiska metoder som vi valt? Påståendena tillhörande den första kategorin, vars syfte var att utvärdera nivån av uppfattning kring personlighetsdragen, var utformade som Newton var snäll, Newton var trevlig, Newton var sträng och Newton var bestämd. Medhåll för påståendena skattades på en skala 1-5, där 1 var håller inte alls med och 5 håller helt med. Den andra kategorin av påståenden ämnade fånga upp elevernas uppfattning om hur det var att chatta med chatboten och vad chatboten gjorde. Påståendena var riktade mot hur eleven upplevde interaktionen med chatboten. Detta formulerades genom påståenden såsom Newton var en god lyssnare och Det var lätt att prata med Newton, vilka kopplade till hur vi implementerade de två skilda personligheterna i sättet att ställa följdfrågor samt preference for agreement; där den positiva nästintill alltid följer upp med en fråga till, samt håller med, eleven där den negativa endast ger en kort kommentar samt aldrig håller med. För att utvärdera vårt tydliga mål att den negativa chatboten skall upplevas ha en sträng och dominant personlighet formulerade vi frågan: Det var svårt att veta vad jag kunde prata med Newton om. Den negativa Newton hade en inställning till ämnesprogressionen som innebar att den så gott som 26

30 alltid försökte ta befälet och styra in ämnet på arbete, medan den positiva skulle försöka låta eleven bestämma vad de skulle prata om. 4.3 Dataanalys Vi använde oss av tillvägagångssätt för att analysera de två olika typerna av data som samlades in vid försöket data från enkät och chatloggar. Nedan beskrivs olika tillvägagångssätt vi använde för att tolka resultaten Kvantitativ metod för analys. För att analysera den data vi samlade från enkäterna använde vi oss av SPSS. Ett t-test av mellangruppsdesign genomfördes där gruppindelningen baserades på vilken av de två versionerna av chatboten de hade interagerat med. Resultatet av t-testet sammanställdes och illustrerades i en graf Kvalitativ metod för analys kommunikationsanalys. Vår kvalitativa analys bestod till största del av sekvensanalys av utvalda dialogsekvenser hämtade från chatloggarna. De analyserades med avsikt att visa på delar av chatloggarna där de implementerade strategier vi tagit fram lyckades att föra konversationen framåt liknande den turtagning som sker i naturliga samtal. Till sekvensanalysen användes de mest grundläggande begreppen som bygger upp en konversation enligt konversationsanalysen, turer (Sacks, H., Schlegloff, E.A., Jeffesson, G., 1974). Turerna är uppbyggda av enheter som kallas för Turn Constructional Units (TCU). En TCU är ett yttrande från en person, längden kan vara allt ifrån ett ord till en fras, som avslutas med ett Transistion Relevance Place (TRP). Ett TRP är den tid där en tur kan betraktas som avslutad. Genom att kunna använda dessa grundläggande begrepp från konversationsanalysen, behandlar vi dialogsekvenserna på samma villkor som ett naturligt samtal mellan individer skulle ha gjorts, det vill säga på samma vis som ett transkript av en ljudupptagning. Detta eftersom en övergripande förhoppning var att eleverna skulle behandla, och även uppfatta chatboten som om det vore en människa på andra sidan. 27

31 För att uttrycka när ett uttalande ger en förväntan på ett andra uttalande och på så vis blir kopplade används adjacency pairs. Ett sådant par består av två TCU där det andra uttalandet bekräftar typen av det första uttalandet. Ett vanligt exempel på ett adjacency pair är av typen fråga-svar, där frågan är den tur som inleder sekvensen. För att analysera våra implementeringar använde vi oss av Next Turn Proof Procedure (NTPP). NTPP är en metod för att bestämma vilken typ ett uttalande är utifrån att studera på vilket vis man reagerar på det. För att förtydliga ytterligare, ett uttalande i form av en fråga klassas som typen fråga om personen som frågan riktades mot uppfattar uttalandet som en fråga genom att svara på densamma, och på så vis verifierar det tidigare uttalandet som typen fråga. Vi använder metoden här för att se hur våra implementerade strategier uppfattades, det vill säga att när en handling beskrivs som att ha mening är meningen inte baserad på vad vi avsåg uttrycka i implementeringen, utan den är baserad på hur handlingen uppfattas. I vår kvalitativa analys analyserades framgången för chatbotarnas respektive strategier med hjälp av NTPP. Genom att titta på elevernas responser till chatbotarnas uttalanden, kunde vi se om våra implementeringar fungerat som vi avsett att de skulle eller om det finns någon oavsedd effekt. Vi kunde även använda oss av NTPP för att analysera eleverna uppfattade de personligheter vi försökte få dem att uppfatta (Haddington, Nevile, & Keisanen, 2012). 4.4 Etik Studien har utformats för att eftersträva anonymitet, men fullständig anonymitet är omöjlig att uppnå då vi som försöksledare vet vilka som deltagit. Eftersom det är yngre barn som deltar så bör man tänka igenom utformandet av själva studien då det kan vara extra känsligt. Eleverna fick välja ett chatnamn, antingen deras förnamn eller ett påhittat namn, och detta är den enda informationen de har behövt ge ut eller hitta på. 28

32 Då eleverna i studien var under 15 år så krävdes vårdnadshavares godkännande. Både elever och vårdnadshavare informerades om att det var frivilligt deltagande och att man när som helst har möjligheten att avbryta studien om man skulle känna sig obekväm. Man var även i informationen tydlig med vilken typ av studie som skulle genomföras och vilken typ av information som skulle insamlas, att det både var en enkät och själva loggen från chattandet som skulle användas vid analys. Viktigt att poängtera var att det insamlade materialet endast skulle användas för forskningsändamål och att ingen annan än projektgruppen skulle analysera data. Då delar av loggarna användes för att exemplifiera konversationsmönster och teorier i den faktiska rapporten så innebar det att eleverna kunde ha skrivit information om sig själva så som namn, ålder, adress med mera men att dessa byttes i efterhand ut för att försäkra elevernas anonymitet. Då studien inte ansågs vara av etiskt känslig karaktär så fick vårdnadshavare ta kontakt med skolan om det inte gav sitt samtycke till deltagande. Alla försöksledarna fanns hela tiden tillgängliga under studien för att eleverna skulle ha möjlighet att fråga frågor om det skulle dyka upp oklarheter, detta eftersom eleverna hela tiden skulle känna sig säkra i situationen. Vår kontaktperson på skolan, läraren till eleverna, hade även förberett eleverna innan studien genomfördes så att alla var på det klara med vad som skulle hända. 29

33 5 Resultat Nedan presenteras de resultat som studien gav upphov till. I den första delen presenteras de statistiska resultat som enkätundersökningen resulterade i. Sedan följer en konversationsanalytisk analys av användarnas reaktioner till de två olika chatbotarna baserad på de chatloggar som sparades från datainsamlingen, detta för att djupgående analysera vilka specifika handlingar som gav upphov till vilka reaktioner. Notera att de statistiska resultaten som presenteras använder skalan Statistiska resultat De statistiska resultaten är framtagna och beräknade i SPSS och presenterar oberoende t-test. Figur 5.1 Tabell över resultat från oberoende t-test. De signifikanta skillnaderna i skattning för Newton var snäll. visar på att det för deltagarna fanns en skillnad i hur de uppfattade personligheten hos de två chatbotarna där den positiva Newton skattas som signifikant och betydligt mer snäll. Det fanns även en signifikant men liten skillnad i skattningen för Newton var sträng. där den positiva skattades nära noll. Det absoluta värdet för den negativa Newton är dock inte speciellt högt, vilket tyder på att den positiva helt saknar personlighetsdraget snarare än att den negativa Newton uppfattas ha sådana drag i någon större utsträckning. 30

34 Det var svårt att veta vad jag kunde prata med Newton om. och Det var lätt att prata med Newton. skattades högt respektive lågt, vilket kan tolkas som ett sämre betyg för chatbotarnas prestanda. De här skattningarna innebär alltså att det fanns problem för deltagarna att välja vad de skulle säga för att slippa att chatboten skulle förstå input. En effekt av det kan även vara den genomgående höga skattningen för Det var irriterande att prata med Newton. Ytterligare ett intressant resultat finns i skattningen för Newton bestämde vad vi skulle prata om. Det finns en signifikant skillnad där den negativa Newton skattas som mer bestämmande än den positiva Newton. Dock skattas båda chatbotarna rätt högt på påståendet. Den negativa Newton implementerades för att vara mer dominant och styrande i samtalet och resultatet visar att den implementeringen lyckades i åtminstone fallet av hur den styr ämnesprogressionen mot sina egna intressen. Att den positiva Newton också är rätt högt skattad beror sannolikt på att den inte kan prata om så mycket. 31