Genetiska algoritmer Henrik Hansson (hhn00001@student.mdh.se) Rapport, CDT212 Mälardalens Högskola 1
Sammanfattning Genetiska algoritmer har rötter i 60-talet och efterliknar evolutionsteorin på så sätt att lösningsförslag till ett problem representeras som en datasträng som inspirerats av cellernas DNA. Lösningsförslagen kan liknas vid individer i en population av många individer. De bästa individerna korsas med andra individer för att få fram avkomma med datasträngar som kombinerar föräldrarnas gener. För att få in ny information i populationen används mutation. Egenskaperna de genetiska algoritmerna har genom grunderna i evolutionsteorin gör dem väldigt anpassningsbara. De kan användas för att lösa en mängd olika problem och de lämpar sig särskilt bra till att hitta alternativa lösningar till gamla problem. Det är även lätt att integrera genetiska algoritmer med andra AI tekniker som till exempel Neural Networks. För att få bra resultat krävs det dock att problemets och lösningsförlagens definitioner är noggrant framtagna. Till de mer originella användningsområdena hör generering av konstimitationer och spelande av gamla Nintendospel. Inom området datorspel kan man troligen i framtiden få stor nytta av genetiska algoritmer i formen av artificiellt liv som gör spelvärldarna mer trovärdiga. 2
Innehållsförteckning Sammanfattning... 2 Innehållsförteckning... 3 Genetiska algoritmer... 3 Hur fungerar de?... 4 Representation (encoding)... 4 Lämplighet (fitness)... 5 Urval (selection)... 5 Korsning (crossover)... 6 Mutation... 6 Stoppvillkor (stop condition)... 6 Vad kan de användas till?... 7 Styrkor... 7 Begränsningar... 7 Exempel... 7 Konst... 7 AI till Nintendospel... 8 Slutsatser... 9 Referenser... 9 Inledning Inom området artificiell intelligens (AI) finns en mängd olika tekniker för att simulera lärande i programvara. Syftet med dessa tekniker är att man låter ett program själv lära sig hur problemet kan lösas istället för att definiera hur ett problem ska lösas och sedan bara använda ett program för att beräkna lösningen. Detta är förstås speciellt intressant för problem man ännu inte har någon lösning till eller för problem där nuvarande lösningar är ineffektiva och man misstänker att det finns bättre. En grupp av dessa tekniker för lärande programvara grundar sig på evolutionsteorin och försöker efterlikna den naturliga evolutionen. Bland dessa är kanske genetiska algoritmer den mest välkända. Enligt [Wikipedia10] användes de första föregångarna till genetiska algoritmer redan på 60-talet och de blev populärare på 70-talet tack vare John Holland på University of Michigan. Denna rapport kommer utreda vad genetiska algoritmer är, hur de fungerar och vad de kan användas till. Genetiska algoritmer Enligt Darwins evolutionsteori som beskrivs i [Engelbrecht07] har individer som har bättre egenskaper än genomsnittet för arten större chans att överleva och fortplanta sig. Med tiden 3
ärvs dessa överlägsna egenskaper i allt större utsträckning av nästkommande generationer och till slut är de dominanta för arten. Informationen som styr dessa egenskaper finns som gener i cellernas DNA. Ny information introduceras genom mutation, det vill säga en förändring av den ursprungliga informationen. Med genetiska algoritmer försöker man efterlikna den naturliga evolutionen för att lösa problem genom att använda sig av en population av tänkbara lösningar som var och en har informationen om lösningen lagrat i datasträngar som efterliknar naturens DNA. De bästa individerna i varje generation får föra sin information vidare och kombinera den med andra bra individers information för att skapa nästa generation av tänkbara lösningar. En del av lösningarna muteras innan nästa generation utvärderas. Målet är att man till slut ska komma fram till en användbar eller helst optimal lösning till problemet. Hur fungerar de? En genetisk algoritm kan enligt [Mitchell97] se ut så här i pseudokod: Starta med en framslumpad population Utvärdera lämplighet för varje individ Figur 1: DNA Upprepa dessa steg så länge stoppvillkoret inte uppnåtts: 1. Välj ut några av de bästa från nuvarande generation 2. Välj ut vilka individer som ska korsas för att skapa nya individer 3. Mutera en viss % individer för att tillföra ny information 4. Uppdatera populationen till den nya generations individer 5. Utvärdera lämplighet för varje individ Returnera den bästa individen Hur individerna för nästa generation väljs ut (steg 1-3) kan variera kraftigt. Steg kan tas bort helt och i vissa implementationer läggs extra steg till. Exempel på dessa variationer och förklaringar av begrepp som används inom området genetiska algoritmer tas upp i de nästkommande avsnitten. Representation (encoding) För att en genetisk algoritm ska kunna användas måste problemets lösning kunna representeras som gener för algoritmens individer. Ett antal olika typer av representationer beskrivs i [Obitko98]. Trädrepresentation utelämnas då det hör till området genetisk programmering (en annan AI teknik som bygger på evolutionsteorin) snarare än genetiska algoritmer. 4
Individ 1 1001101010100001 Individ 2 0010111011110010 Tabell 1: Exempel på binär representation. Binär representation är den mest grundläggande typen och var den första som användes. Här beskrivs varje individ av en sträng med 1:or och 0:or som t ex kan representera olika påståenden som antingen är sanna eller falska. Permutationsrepresentation används för turordningsproblem som t ex Travelling salesman problemet (TSP) där en simulerad handelsresande ska besöka ett antal städer och man vill veta i vilken ordning städerna ska besökas för att ge den kortaste resvägen. I denna representation beskrivs varje individ av en sträng heltal som motsvarar ordningen. Individ 1 Individ 2 Vänster, Höger, Hoppa, Skjut, Skjut, Höger, Höger, Hoppa, Tabell 2: Exempel på värderepresentation (instruktioner). Värderepresentation är den mest anpassningsbara typen. Här beskrivs individerna som strängar (eller listor) av värden som kan motsvara nästan vad som helst. Värdena kan t ex vara heltal, reella tal, tecken, instruktioner eller funktionsanrop. Lämplighet (fitness) För att veta hur väl anpassad en individ är vid urvalet för reproduktion eller vid kontrollen om en tillräckligt bra eller optimal lösning hittats måste det finnas något sätt att mäta individernas lämplighet. I de fall där man känner till en optimal lösning bedöms individerna utefter hur nära denna lösning de är. För problem där man inte känner till en optimal lösning eller någon lösning alls bedöms individernas lämplighet relativt de andra individerna med hjälp av ett för problemet utformat poängsystem. [Engelbrecht07] Urval (selection) När man vet hur lämpliga individerna i nuvarande generationen är tillämpas urval för att bestämma vilka individer som får chansen att fortplanta sig eller överleva till nästa generation. Det finns en mängd olika metoder för att göra urval och en del av dem kan kombineras vilket ökar valmöjligheterna ännu mer. Här är de flesta av metoderna som beskrivs i [Marczyk04]: Elitist selection Den bästa eller några av de bästa individerna väljs garanterat ut. Används i kombination med andra metoder. Fitness-proportionate selection De bästa individerna har större chans att väljas ut än andra. Roulette-wheel selection En variant av föregående typ. Man tänker sig ett rouletthjul där varje individ är ett av fälten. Fälten är bredare relativt andra fält ju bättre en individ är så chansen är större att kulan hamnar där. Scaling selection Ju högre genomsnittets lämplighet är desto mer värda är skillnader så urvalet blir mer och mer elitiskt. 5
Tournament selection Två eller fler individer väljs ut och tävlar med varandra för att få fram en individ som väljs ut. Rank selection Varje individ får ett värde baserat på sin lämplighet relativt de andra individerna. Sedan används detta värde som utgångspunkt i någon av de andra metoderna. Hierarchical selection Flera rundor av urval utförs och de bästa från varje runda går vidare tills det slutliga urvalet av en eller flera individer är gjort. I de tidiga rundorna används lämplighetsberäkning med lägre precision som är beräkningsmässigt billigare för att spara tid och datorkapacitet. I [Engelbrecht07] beskrivs också bland annat denna metod: Hall of Fame En lista där de bästa individerna från alla generationer sparas. Från denna lista kan föräldrar för fortplantning hämtas. När sedan målet uppnåtts eller den övre gränsen för antal generationer som ska beräknas nåtts finns den bästa lösningen som hittades i toppen på denna lista. Korsning (crossover) Individerna som genom urval får chansen att fortplanta sig korsas med varandra genom att deras information kombineras. Den vanligaste metoden är att en eller flera korsningspunkter väljs ut och informationen på olika sidor om dessa hämtas från olika föräldrar. Förälder A 1001 1110 Förälder C 10 0111 10 Förälder B 1101 0111 Förälder D 11 0101 11 Barn AB 1001 0111 Barn CD 10 0101 10 Tabell 3: Korsning med en(vänster) och två(höger) korsningspunkter För representationer som till exempel en sträng med reella tal kan istället värdena i varje gen kombineras. Ett sett att göra detta på som kallas för aritmetisk korsning innebär att barnet får medelvärdet av föräldrarnas värden. [Engelbrecht07] Mutation För att tillföra ny information i populationen behövs det mutation. Normalt är det inte önskvärt med allt för stor chans att mutation sker eftersom det i de flesta fall har negativ verkan. Precis som för korsning finns det olika sätt att utföra mutation på beroende på vad för typ av representation individerna har. Det enklaste fallet är binär representation där värdet i en gen som ska muteras helt enkelt inverteras. Original 10011100 Muterad 10010101 Tabell 4: Mutation av en binärt representerad individ Vid värderepresentation muteras den utvalda genen till ett närliggande värde och vid permutationsrepresentation byter två gener plats. [Engelbrecht07] Stoppvillkor (stop condition) De vanligaste stoppvillkoren tas upp i [Engelbrecht07] och de är: Ingen förbättring har observerats på ett visst antal generationer. 6
Ingen förändring sker i populationen. En acceptabel lösning har hittats. I de flesta fall begränsar man även hur många generationer som får köras maximalt. Vad kan de användas till? Genetiska algoritmer kan användas till att lösa en mängd olika problem. På [Wikipedia10] finns närmare 60 olika applikationer listade. Det handlar till exempel om automatiserad design av olika slag, dechiffrerande, felsökning i hårdvara, schemaläggande, styrning av robotar och upplärning av AI system som Neural Networks och Fuzzy Systems. De nästkommande avsnitten kommer att gå igenom styrkorna och begränsningarna hos genetiska algoritmer för att ge en uppfattning om vilka typer av problem de lämpar sig för och vilka typer av problem någon annan AI teknik bör användas för. Sedan följer en närmare beskrivning av ett par exempel på applikationer. Styrkor Den största fördelen genetiska algoritmer har över de flesta andra algoritmerna för problemlösning är parallellism. Till skillnad mot algoritmer som endast undersöker en möjlig lösning åt gången kan de genetiska algoritmerna undersöka en stor mängd olika tänkbara lösningar åt gången. Tack vare detta är det avsevärt mindre risk att de ska fastna i ett lokalt maximum, dvs sluta söka efter andra lösningar när den hittar en lösning som ser bra ut jämfört med närliggande (lokalt maximum) men kanske inte är den bästa lösningen (globalt maximum) på problemet. Den egenskapen är speciellt viktig för komplicerade problem, till exempel problem i en dynamisk miljö där den optimala lösningen inte förblir densamma utan förändras med tiden. En svår avvägning för problemlösande algoritmer är balansen mellan utforskande av nya lösningar och förbättrande av kända lösningar. Utforskande av nya lösningar leder vanligtvis till försämrade resultat, åtminstone på kort sikt. Att bara försöka förbättra en redan känd lösning däremot kan leda till att bättre lösningar förblir oupptäckta. Genetiska algoritmer klarar denna balans på ett bra sätt. [Marczyk04] Begränsningar För att en genetisk algoritm ska fungera bra krävs att en bra representation väljs. Även valet av metoder för urval, korsning och mutation samt hur lämplighet beräknas är viktiga. Finns det brister i förberedelserna är det stor risk att den genetiska algoritmen inte producerar någon användbar lösning. Ett problem som är välkänt hos genetiska algoritmer är att om en relativt bra lösning hittas väldigt tidigt finns det risk att den snabbt blir dominant. Det kan leda till att algoritmen fastnar i ett lokalt maximum. Valet av urvalsmetoder kan minska risken för detta. Till slut rekommenderar flera forskare mot att använda genetiska algoritmer för problem som går att lösa med analytiska metoder. Att tillämpa genetiska algoritmer på sådana problem är väldigt ineffektivt. [Marczyk04] 7
Exempel Här följer en närmare beskrivning av ett par exempel på applikationer av genetiska algoritmer. Konst Roger Alsing har gjort en implementation av genetisk programmering som klarar av att imitera färdiga bilder. Huvudexemplet han använder i sin beskrivning är den kända målningen Mona Lisa. Exemplet är med i rapporten eftersom det lika gärna hade kunnat göras med en genetisk algoritm. Mer detaljer och bilder finns i hans blogg [Alsin08] där man på FAQ sidan även kan komma åt källkoden. Figur 2: Mona Lisa genereras av Roger Alsings program. Filnamnen under bilderna visar vilken generation de visar. Varje individ representeras av ett antal polygoner som har ett antal punkter, en färg och är delvis transparenta. En individs lämplighet bestämdes genom att pixel för pixel räkna ut skillnaden i färg från originalbilden och summera dessa. Hela processen från start till färdig bild tog ungefär 3 timmar på datorn han använde. Genereringen av en Mona Lisa variant som faktiskt använder en genetisk algoritm finns att se på YouTube [Youtube10]. Beskrivning saknas men källkoden för denna finns att få tag på om man följer länken i videons info. Om detta är riktig konst eller inte är öppet för debatt. AI till Nintendospel Ett annat exempel som är intressant även om det kanske inte har så stor praktisk nytta är Paul Kuliniewicz program Wallace som klarar av att spela gamla Nintendospel som t ex Megaman 2 och Dr. Mario. Wallace, som finns beskrivet i Pauls blogg [Kuliniewicz09], använder sig av en genetisk algoritm där varje individ representeras av en lista med instruktioner som motsvarar de kommandon en spelare kan ge till spelet via handkontrollen. 8 Figur 3: Megaman 2. Bossen Airman (vänster).
Ett av exemplen som visas upp i bloggen är en video där Wallace försöker besegra bossen Airman i spelet Megaman 2. Redan efter 10 generationer lyckas den bästa individen med målet. Efterföljande generationer gör det med mer och mer hälsa kvar. Som utvärderingsfunktion användes Airmans hälsa minus Megamans hälsa när någon av dem vunnit. Slutsatser Genetiska algoritmer kan användas inom en stor mängd områden. Deras egenskaper gör dem särskilt lämpliga för att utforska nya, originella lösningar på redan utforskade problem. För komplicerade problem är de även ofta effektivare än andra typer av algoritmer vilket gör att de är attraktivare att tillämpa till sådana. Det är också lätt att använda genetiska algoritmer som hjälp till andra AI tekniker som till exempel Neural Networks och Fuzzy Systems. För att de ska vara användbara krävs dock att problemet och lösningsförslagen (individerna) definieras på ett robust sätt. Slarvas det i de stegen är det väldigt liten chans att en bra lösning hittas av algoritmen. Detta gäller säkert de flesta andra typer av algoritmer också, men för genetiska algoritmer är det kanske extra viktigt eftersom det inte är lika lätt att kontrollera vad man får för resultat från dem. Grunderna i evolutionsteorin gör att genetiska algoritmer är särskilt intressanta för simuleringar av liv. Artificiellt liv kommer troligen spela en stor roll i framtidens datorspel. Idag lider många spel av att det tydligt märks att människor, djur och andra varelser man träffar på i spelen är konstgjorda. Med realistiskt artificiellt liv skulle spelvärldarna bli mer trovärdiga och spelupplevelsen höjas avsevärt. Referenser [Alsin08] Roger Alsin, Genetic Programming: Evolution of Mona Lisa, <http://rogeralsing.com/2008/12/07/genetic-programming-evolution-of-mona-lisa/> (4 mars 2010) [Engelbrecht07] Andries P. Engelbrecht, Computational Intelligence: An Introduction, Second Edition, John Wiley & Sons, ISBN 978-0-470-03561-0, 2007 [Kuliniewicz09] Paul Kuliniewicz, Paul Kuliniewicz >> Wallace, <http://www.kuliniewicz.org/blog/archives/category/coding/wallace/> (4 mars 2010) [Marczyk04] Adam Marczyk, Genetic Algorithms and Evolutionary Computation, <http://www.talkorigins.org/faqs/genalg/genalg.html> (4 mars 2010) [Mitchell97] Tom M. Mitchell, Machine Learning, McGraw-Hill, ISBN 0-07-115467-1, 1997 [Obitko98] Marek Obitko, Encoding Introduction to Genetic Algorithms, <http://www.obitko.com/tutorials/genetic-algorithms/encoding.php> (4 mars 2010) [Wikipedia10] Wikipedia Genetic algorithm, <http://en.wikipedia.org/wiki/genetic_algorithm> (5 mars 2010) [Youtube10] YouTube, Mona Lisa Genetic Algorithm Test 1, <http://www.youtube.com/watch?v=a8x4lyj33ro> (4 mars 2010) 9