Laboration 2 -litteraturstudie i Mechanism design Kurs: Kursansvarig: Handledare: Artificiell Intelligens med inriktning mot kognition och design B, 5p ht 2004 Christina Olsén Therese Edvall Daniel Ölvebrink Namn: Maria Ek dit02mek@cs.umu.se Karolina Hammarbäck kv02hka@cs.umu.se Erik Jansson kv02jmn@cs.umu.se
Abstract This report presents the problem of complex decision making in distributed systems and a function that could solve the problem. Mechanism design discusses these kinds of systems with goal-driven rational agents, in which you want to get the best global utility, among other things by using an auction mechanism. In these auctions, you use the true utility functions and compare those with the values given from the agents. This way you can get the true value from the agents and make the optimal decision. Sammanfattning I denna rapport presenteras problemet med komplext beslutsfattande i distribuerade system samt en funktion som kan lösa problemet. Mechanism design behandlar dessa system med målbaserade rationella agenter, där man vill få fram det globalt bästa beslutet, bland annat genom att använda sig av auktioner. I dessa auktioner använder man sig av sanna utilityfunktioner och jämför dessa med de värden som agenternas uppgett och kan på så sätt få fram agenternas sanna värden ta ett optimalt beslut.
Innehållsförteckning Inledning... 4 Syfte... 4 Metodbeskrivning... 4 Litteraturstudie... 5 Introduktion till Mechanism design... 5 The Nash equilibrium... 6 Fördjupande exempel i auction Mechanism design... 7 Diskussion... 9 Slutsats... Error! Bookmark not defined. Referenser... 10
Inledning Många beslut som tas i dagens samhälle är komplexa, d.v.s. många individer och viljor är inblandade. Det är inte alltid som det bästa beslutet för alla och omgivningen runtomkring tas då man ofta vill sitt eget bästa och de som hörs mest får större chans att påverka besluten. Inom Artificiell Intelligens och komplext beslutsfattande ligger kopplingen till problemen med beslutsfattande i vardagen nära. I nätverk uppbyggda av rationella agenter med kunskap om sig själva och som vill sitt eget bästa uppstår samma problem. Hur kommer man fram till den bästa lösningen för omgivningen, den lösning som i slutändan är till nytta för alla? Inom AI, och framförallt i spel uppbyggda av rationella målbaserade agenter, använder man sig ofta av Mechanism design och dess auktioner för att lösa detta problem. Syfte Syftet med rapporten är att utifrån ett utvalt avsnitt i kursboken finna mer information och få en djupare förståelse i ett ämne inom AI. Vi har valt att göra en fördjupning i komplext beslutsfattande och Mechanism design vilket återfinns i kap. 17.7. Denna rapport kommer även ligga till grund för en muntlig presentation. Metodbeskrivning Den här rapporten är en litteraturstudie som går in djupare på hur själva auktionen fungerar i Mechanism design. Eftersom en auktionsmekanism är komplext uppbyggd har vi valt att begränsa oss i fördjupningen till endast ett exempel som ligger oss ganska nära i vardagen och därför är mer lättförståeligt. Detta för att vi ska få en ökad förståelse och även för att ge andra en ökad förståelse i vad Mechanism design handlar om och vilka problem som uppstår i en komplex beslutssituation och lösningsförlag på problemen. Studien baseras på en artikel av Akihiro Watabe som behandlar materialtransport och problemet med att hitta den bästa transportfirman för att frakta materialet.
Litteraturstudie Introduktion till Mechanism design Mechanism design behandlar problemet med beslutsfattande i distribuerade system och kan ses som ett samspel av ekonomi och politik [3]. För en samling av agenter finns möjligheten att använda spelteoretiska mekanismer för att konstruera intelligenta system ur en samling mindre, mer begränsade system. Detta på liknande sätt som team av människor kan nå mål som är långt ovan vad den enskilda individen skulle kunna uppnå. Mechanism design behandlar hur man implementerar ett bra lösningssystem för problem som involverar multipla självintresserade agenter, var och en med privat information om sina egna egenskaper och sina egna handlingar. Man vill t.ex. designa ett spel vilkas lösningar, baserat på att varje agent följer sin egen rationella strategi, resulterar i en maximering av någon global funktionalitet [1]. Enligt Parkes[2] har Mechanism design i många år skapat många viktiga applikationer bl.a. inom elektronisk market design, i distribuerade schematiska problem och inom kombinerade tillgångar/fördelnings problem. Utmaningen är att designa mekanismer som är både medgörliga (för agenterna och auktionären) och innehåller användbara spelteoretiska egenskaper. Formellt innehåller en mekanism : ett språk för att beskriva de av tillåtna strategier som agenterna kan använda och en utkomstregel som bestämmer payoffs till agenterna givet en strategiprofil av tillåtna strategier. I ett Mechanism design problem kan man tänka att varje agent håller i ett input till ett välformulerat men ofullständigt specificerat optimeringsproblem, t.ex. en restriktion eller en funktionskoefficient. Systemets mål är att lösa en specifik instans av optimeringsproblemet specificerat av sina input. Exempel på Mechanism design skrivna av Russel & Norvig [1] är t.ex. att auktionera ut billiga flygbiljetter, routra TCP- paket mellan datorer eller att besluta hur fotbollsspelande robotar ska samarbeta i sitt lag. Problemet kan låta enkelt, på så sätt att man kan tro att om alla agenter maximerar sin egen funktionalitet borde man få maximalt resultat. ( Kapitalismen säger att om alla individer i ett land försöker bli rika blir hela samhället rikt, egen översättning från Russel & Norvig[1]) Men riktigt så enkelt är det inte. Varje agents handlig kan påverka andra agenters tillstånd och välmående i en mening som inte alls leder till maximal funktionalitet för systemet. Ett exempel är t.ex. dagens sopdumpning på soptippar. Alla agerar rationellt för sitt eget omedelbara välbefinnande och kastar soporna på soptippen, trots att de vet att detta kan leda till miljöförstöring. Man resonerar att det inte är någon mening att avstå från att slänga sina sopor där eftersom alla andra ändå gör det. I slutändan blir dock alla negativt påverkade av att miljön förstörs. En vanlig lösning på detta problem i Mechanism design är att ta betalt av agenterna för att använda de allmänna utrymmena. Vi behöver försäkra oss om att alla effekter på den allmänna funktionaliteten som inte återfinns i den enskilda agentens målsättningar görs explicit. Sätta rätt pris kan dock vara svårt, då vi fortfarande vill att alla agenter effektivt ska maximera den globala funktionaliteten. Det är omöjligt för den enskilde agenten att veta om dess handling leder till det globalt bästa eftersom de inte har tillgång till det nuvarande globala tillståndet och inte heller ser effekterna av sina handlingar hos de andra agenterna. Därför koncentrerar sig Mechanism design på att hitta mekanismer för vilka beslutsproblemet hos de individuella agenterna blir enklare [1][2].
En auktion i sin vanligaste form är en mekanism för att sälja saker till någon i en pool av budgivare. Strategierna är buden och dess utgång bestämmer vem som får sakerna och hur mycket de ska betala. Inom AI kan en auktion vara användbar om agenter t.ex. ska bestämma hur de ska samarbeta. Samarbetet kan effektivt nås genom budgivning på vilka regler som ska finnas i ett gemensamt system. Man bjuder med en dominant strategi: agenten deltar i budgivningen så länge kostnaden är mindre än det personliga värdet. Dominant i denna mening är enligt Russel & Norvig [1] att strategin jobbar mot alla andra strategier, agenten kan använda den utan att behöva ta hänsyn till, och lägga energi på, andra agenters strategier. På detta sätt kommer agentens sanna motiv och värden fram. Ett exempel på hur detta fungerar är i Internet routingproblsemet, där det globala målet är att minimera den totala kostnaden för försening över alla agenter (som motsvarar kanterna i grafen), där varje agent har sin egen privata information om parametrar som t.ex. meddelandestorlek och förseningskostnaden. Varje agent vet kostnaden för att skicka ett meddelande längs sin egen kant; kostnaden för att inte ha ett meddelande att skicka är 0. Agenterna kommer att rapportera att kostnaden hos dem själva är höga för att få oss att skicka meddelandet någon annan väg, och på så sätt undvika kostnaden för att skicka ett meddelande. Typiskt för Mechanism design är att ge lämplig belöning för att få så sanningsenlig information från agenterna som möjligt. I detta problem skulle det vara lämpligt att ta betala varje agent en payoff, eller i andra fall en utilityfunktion, ett uträknat värde för att uppnå en rättvis tilldelning över hela grafen. Under denna mekanism skulle den dominanta strategin hos varje agent vara att rapportera sin sanna kostnad och detta kan resultera i den billigaste vägen. Mekanismen med de beräkningar som krävs är kostsam och en komplett och bra lösning på problemet har ännu inte hittats. The Nash equilibrium Enligt Russel & Norvig [1] utgår man i spelteori från att varje agent handlar utifrån en strategi att maximera sin egen utility, dvs. att agenten utifrån estimerat resultat, antaganden om andra agenters strategier och spelets struktur skapar en strategi som denne följer. En strategi som ger ett bättre resultat för alla agenter än någon annan möjlig strategi, säger man är dominant. När varje agent har en dominant strategi kallas kombinationen av dessa ett dominant strategy equilibrium [2]. Matematikern John Nash bevisar att det i varje spel finns ett strategy equilibrium där ingen agent kan vinna på att ändra strategi, även om det inte finns en dominant strategi att följa. I tabellen nedan ser vi ett exempel på en situation där det inte finns en dominant strategi för agenterna. Vi tänker oss två företag som vill sälja en produkt. Produkten kan säljas till priset (p) 1, 2 eller 3 kronor. Tanken bakom exemplet är att en lägre kostnad på produkten kommer att generera större försäljning och, som ett resultat av detta, högre vinst för företaget. I detta exempel finns ingen dominant strategi, då det inte finns en strategi som maximerar vinsten för båda företagen. Istället gäller det för företagen att hitta den strategi som ger maximal vinst beroende av det andra företagets strategi.
Företag 1 Företag 2 p=1 p=2 p=3 p=1 0,0 50, -10 40,-20 p=2-10,50 20,20 90,10 p=3-20, 40 10,90 50,50 Fördjupande exempel i auction Mechanism design I rapporten Liability Rules and Hazardous Material Transportation [4] har A.Watabe studerat köpslagning mellan en handelsfirma som vill skicka farligt avfall och med fraktbolagen som är involverade. Firman letar efter det säkraste och billigaste alternativet som går att få, medan fraktbolagen vill få högsta möjliga ersättning för arbetet. Fraktbolagen får dock anpassa sig en del då de tävlar med varandra om att få arbetet i fråga och de måste dessutom på ett trovärdigt sätt berätta för firman vilka säkerhetskrav de uppfyller. Riskerna som uppstår vid farlig avfallshantering innebär att det följer en stor ansvarsskyldighet på bolaget som transporterar det farliga godset. Problemet för de kontrakterande handelsbolagen är dock att skulle fraktföretaget gå i konkurs i samband med att en olycka sker, så läggs resterande utgifter och krav på dem som anställde fraktfirman oavsett vad som var överenskommet sedan tidigare. Ett stort företag som anlitar ett litet fraktbolag kan då komma att riskera väldigt mycket då en liten fraktfirma lättare går i konkurs än en stor. Denna ansvarsskyldighet är vad firman måste ha i åtanke då de förhandlar till sig bästa tänkbara transportör. En situation där det från början enbart är fraktbolaget som är ansvarsskyldiga kallas här strikt ansvarsskyldighet. Watabe börjar dock med att ta upp ett scenario där det råder delat ansvar mellan handelsbolaget och fraktbolaget. Vidare antar Watabe att då företaget vill skapa ett transportavtal så vill de i första hand att fraktbolagen rapporterar om hur deras nuvarande säkerhetssituation ser ut. Avtalen är tänkta att vara konfidentiella, vilket innebär att inga fraktbolag har tillgång till rapporter om andra, konkurrerande, bolag. Däremot kan inte handelsföretaget pressa fraktbolagen på sanningsenlig information beträffande deras säkerhet eller tvinga något bolag att delta i förhandlingar med dem. För att hantera detta måste avtalet vara skrivet så att fraktbolagen manas till att lämna sanningsenliga uppgifter samt innehålla en försäkran om att fraktbolagen inte riskerar att hamna i sämre ställning än innan man åtog sig jobbet ifråga. Handelsbolagets mål med kontraktsupprättelsen är att maximera sin förväntade förtjänst vilken beror av fraktbolagens rationalitet och Incentive compatibility. Incentive compatibility används för att skapa jämvikt mellan agentens sanna värden och värdena de väljer att uppge. Watabe kommer fram till att för att ett sådant kontrakt skall vara genomförbart så måste det tillfredsställa några villkor: Incentive compatibility, Individuell rationalitet och en sannolikhet för ett fraktbolag att få kontraktet.
Incentive compatibility Som tidigare nämnt så kan inte handelsbolaget tvinga fraktbolaget att avslöja deras riktiga antagna säkerhetsnivå, vilket innebär att de inte kommer att vara ärliga annat än när det kommer att gagna dem. För att kontraktet skall genomföras måste sanna rapporter bilda ett Nash ekvilibrium. Utilityfunktionen för denna affär kommer alltid att vara det maximala värdet som kan uppnås. Detta värde skall då vara större eller lika stort som det värde man får när alla parametrar räknats in då ingenting kan vara mer än max. Parametrar som räknas med är då bl.a. resurser lagda på att uppehålla en viss säkerhetsnivå (q i (p i )), den förväntade summan på en utgift ifall en olycka skulle med transportbolaget (p i L). I ekvationen finns också det uttalade sannolikhetsvärdet för att transporten skulle råka ut för en olycka(t i ) samt den förväntade förtjänsten för fraktbolaget(x i ). Detta innebär att om ett fraktbolag skulle ljuga om sin sannolika olyckskoefficient, så lovar fraktbolaget mer än de på sannolika grunder kan uppnå. Ett fraktbolag som på detta sätt utlovar osannolika nyckeltal blir lätta att genomskåda, vilket i förlängningen innebär att det inte finns någon anledning för transportföretagen att fara med osanning vad beträffar deras säkerhetsnivå då det inte kommer att leda till något kontrakt. Individuell rationalitet Eftersom handelsbolaget inte kan tvinga med något fraktbolag i en förhandling så måste fraktbolagets utdelning alltid bli positiv eller ingen alls, så att de vågar gå med i en förhandling. Utilityfunktionen för fraktbolagen måste alltså vara större eller lika med noll. Skulle reglerna för ansvarsåtagande ändras så att istället för delat ansvar mellan handlare och fraktare så skulle vi få en strikt ansvarsskyldighet för fraktarna, så skulle handelsbolaget antagligen vara villiga att betala mer för frakten, då de inte skulle utsättas för någon ansvarsrisk vid en eventuell olycka. Watabe räknar sedan på hur kalkylen för denna situation skulle se ut och kommer slutligen fram till att fraktbolagen tjänar på att ha strikt ansvarsåtagande då de får in mer pengar för handelsbolagens köpta ansvarsfrihet än det kommer att kosta dem vid en eventuell olycka. Handelsbolaget kommer däremot att tjäna mest på delat ansvarsåtagande. I avseende till hur social välfärd, en tredje part, påverkas av förändrade villkor så blir det ingen skillnad beträffande ansvarsfördelningsreglerna så länge fraktbolagen inte riskerar konkurs. Om de däremot kan komma att riskera konkurs kommer den förväntade vinsten att medföra ett icke-kompenserat ansvarstagande av både handelsbolag och fraktbolag som då faller på en ytterligare part att stå för, t.ex. en regering. Enligt tidigare resonemang ser Watabe inte någon ansvarsfördelning som socialt sett skulle vara en bättre, men han gissar på att om fraktbolagen inte klarar av att betala sin del skulle den sociala välfärden förbättras om handelsbolaget går in och står för de resterande kostnaderna.
Slutligen konstaterar Watabe att då fraktbolagen blir mindre riskbenägna (då de tävlar mot andra konkurrenter) kommer det att medföra samhälleliga vinster och även gynna handelsbolagen. Fraktbolagen torde vara rädda att förlora kontrakt till andra bolag och sålunda investera mer pengar på att förbättra deras säkerhet och på så sätt vinna handelsbolagen förtroende. Höjd säkerhet innebär också minskat antal olyckor och på så sätt minskade utgifter för samhället, vilket leder till ökad välfärd. Diskussion och slutsats Rationella agenter strävar efter att maximera sin egen utility. I system med multipla agenter krävs ett alternativ till denna strävan då de olika delarna i ett system måste kunna samarbeta. Vi har tittat på flera exempel på system där självintresserade agenters handlingar förmodligen skulle leda till att systemet slutade fungera. Genom Mechanism design skapas en slags jämvikt mellan de olika agenternas viljor så de kan arbeta för systemets bästa. Watabe tar i sin artikel upp problemet med att välja ett lämpligt fraktbolag för handelsbolagsets bästa, vilket tydligt visar på hur Mechanism design kan tillämpas. I och med att man i dessa typer av problem kan använda en utilityfunktion för att bestämma maximalt utfall av resultatet så kan man kontrollera att agenterna inte överdriver sina värden. Mechanism design har därför många förutsättningar att vara en bra metod för att hantera samspelet mellan agenter i större system. Beräkningarna som krävs för att bestämma värdena, både utilityfunktionen och agenternas parametrar, kan dock vara mycket komplexa och tids- och kostnadskrävande. Därför går det inte att säga att man hittat den optimala lösningen på hur komplext beslutsfattande ska hanteras i dessa typer av system, men genom Mechanism design har man kommit en bit på väg.
Referenser Litteratur [1] Stuart Russel & Peter Norvig, Artificial Intelligence A Modern Approach, Vol.2, USA 2003. Internet [2] David C. Parkes, 2003 http://www.eecs.harvard.edu/~parkes/pubs/ch2.pdf (2004-10-14) Artiklar [3] David C. Parkes, Price-Based Information Certificates for Minimal-Revelation Combinatorial Auctions*,2003 [4] Akihiro Watabe, Liability Rules and Hazardous Material Transportation, 1991