Genetiska Algoritmer. 10 mars 2014

Transkript

1 Genetiska Algoritmer Johan Sandberg 10 mars 2014 Niklas Strömberg 1

2 SAMMANFATTNING Genetiska algoritmer är en sorts sökalgoritm som är till för att söka upp lösningen på ett specifikt problem eller att optimera fram den bästa lösningen på ett problem. Genetiska algoritmer härmar den biologiska evolutionen genom att ta koncept som gener, arv, selektion, mutation, crossover och gör motsvarigheter i data-algoritmer. Rapporten går igenom de viktigaste elementen i uppbyggnaden av genetiska algoritmer och förklarar för och nackdelar med olika metoder och tillvägagångssätt som används när man hanterar genetiska algoritmer. Genetiska algoritmers viktigaste delar som rapporten går igenom är kromosomer, fitness, selektion och crossover. Historien om genetiska algoritmer tas upp och även lite kort om vad framtiden kan komma att erbjuda. Ett praktiskt exempel där en gräsklippares optimala väg räknas ut med hjälp av en genetisk algoritm redovisas i slutet av rapporten och författarnas egna tankar om genetiska algoritmer redovisas under slutsater. Innehållsförteckning SAMMANFATTNING

3 INLEDNING... 3 Metod... 4 Genetiska algoritmer... 5 Uppbyggnad & funktionalitet... 5 Kromosomer... 5 Fitness... 6 Selektion... 6 Crossover... 7 Praktisk användning... 9 Algoritmens steg Kromosomerna Crossover och mutation Slutfasen SLUTSATSER REFERENSER INLEDNING Genetiska algoritmer används inom datavetenskap som en metod för att söka efter och optimera fram den bästa lösningen på ett specifikt problem, man kan säga att algoritmen söker upp lösningen på problemet [Melanie 96]. Genetiska algoritmer ingår i området artificiell intelligens och härmar evolutionens naturliga selektion, man har tagit tekniker såsom arv, selektion, korsning, mutation och gjort motsvarigheter i data-algoritmer. 3

4 Genetiska algoritmer är byggda genom att man skapar en population av potentiella lösningar, dessa kallas kromosomer eller individer. Varje kromosom är i sin tur byggd av ett antal gener. Algoritmen stegar framåt, vilket kan liknas vid att en ny generation barn föds. Vilka nya barn som föds beror på vilka individer som parat sig i den tidigare generationen, detta beror i sin tur på individernas fitness (hur bra individen är för det specifika problemet). Desto bättre fitness desto större chans att få en avkomma. Detta innebär att om man stegar tillräckligt många gånger kommer individera alla likna den individ med bäst fitness till slut. För att algoritmen ska kunna söka ett större område efter den bästa individen finns det något som kallas för mutation, detta innebär att varje barn har en liten chans att slumpmässigt ändra sina gener. Om denna slumpmässiga mutation visar sig öka individens fitness kommer den nya genen att spridas. Tack vare mutation kan man öka chansen att hitta det bästa svaret på sitt problem. Lösningen på sitt problem hittar man då dom bästa individerna är oförändrade ett visst antal generationer. Antalet generationer är dock varierande. Genetiska algoritmer kan användas i ett väldigt brett område. Eftersom det är en simulering med målet att optimera eller söka efter bästa lösningen kan man hitta användning inom dom flesta ämnena. Vanliga områden är matematik, fysik, kemi, ekonomi, ingenjörskonst, datavetenskap, biologi, tillverkning och medicin [Wikipedia]. Historia Man började använda datorsimulationer för att simulera evolutionen redan så tidigt som 1950 och på 1960-talet blev denna typ av simulationer relativt vanliga. Under denna tid började man använda de viktigaste delarna i genetiska algoritmer, alltså samma delar vi även använder idag. Tack vare Ingo Rechenberg och Hans-Paul Schwefel lyckades man på 1960 och tidigt 1970-talet lösa svåra ingenjörsproblem genom evolutionära strategier (genetiska algoritmer) [Rechenberg 73]. Tack vare detta fick världen upp ögonen för genetiska algoritmer som en metod för att optimera olika lösningar. Som så många andra nya upptäckter hölls genetiska algoritmer till största delen teoretiskt i början. Intresset växte och i mitten av 1980-talet hade man världens första internationella konferens om genetiska algoritmer i Pittsburgh, Pennsylvania, USA. När datorkraften ökade dramatiskt för skrivbordsdatorer kunde man använda teorierna man byggt till att lösa problem med hjälp av genetisk algoritmer. I slutet av 1980-talet började general electric sälja världens första program som använder genetiska algoritmer, ett program gjort för industriella proccesser. År 1989 kom världens först kommersiella produkt för användning av genetiska algoritmer på skrivbordsdatorer, produkten släpptes av Axcelis, Inc och hette Evolver. Evolver var den ända kommersiella produkten för genetiska algoritmer fram till Idag är Evolver på sin sjätte version [Wikipedia]. Metod Information för att skapa denna rapport har hittats genom sökningar på Google. För att få en grundläggande förståelse för ämnet har wikipedia granskats. Värdefull information om genetiska algoritmers historia och tillämpningar har hittats där. 4

5 Många hemsidor från högskolor, universitet och andra utbildande hemsidor i Sverige och även internationellt har givit bra information om hur man praktiskt använder genetiska algoritmer och detta har använts i denna rapport. För att kunna skriva på en grundläggande nivå har det inte krävts allt för mycket grävande i akademisk litteratur och forskningartiklar. Detta har endast krävts för att få bra källor för vissa påståenden och för att försäkra sig om att man fått rätt information då det funnits motstridiga eller omdiskuterade uppgifter. En av rapportskribenterna har tidigare erfarenhet av AI och genetiska algoritmer då denne gått en högskolekurs dedikerad till detta ämne. Rapportskribenten har även erfarenhet av implementation av genetiska algoritmer. Denna kunskap har använts till att kunna formulera ett problem som sedan löses med hjälp av en genetisk algoritm. Genetiska algoritmer Uppbyggnad & funktionalitet En genetisk algoritm startar med att slumpa fram en population av individer som senare ska modifieras och förbättras genom iterationer i algoritmen. Storleken på populationen kan variera och bestäms oftast utifrån problemets komplexitet. Kromosomer En individ är uppbyggd av så kallade kromosomer som är en representation av en lösning på ett problem, dessa kromosomer är traditionellt valda slumpmässigt i starten av algoritmen. Detta då man vill ha så många lösningar på problemet som möjligt för att sedan välja ut de 5

6 som är bättre och även generera nya individer som kan vara bättre än de man hade från början. En kromosom är en behållare där den genetiska informationen lagras. Vanligen är en kromosom uppbyggd av binära strängar, alltså en behållare med ettor och nollor. Varje bit i en kromosom motsvarar en gen som i sin tur representerar ett steg i det givna problemet. Figur 1: illustrerar en kromosom representerad av en binär sträng. Kromosomer kan också vara uppbyggda med andra datatyper än binära strängar, några andra vanliga typer är heltal och trädstrukturer [Darrel 94]. Längden på kromosomerna kan variera och kromosomerna i en population behöver inte nödvändigtvis ha samma längd på sina kromosomer. Fitness En individs fitness är ett mått på individens förmåga att lösa ett givet problem och det är viktigt att beräkningen av detta värde är bra då man oftast vill att den mest optimala lösningen ska hittas. Det går att räkna ut om individen har ett bra startvärde direkt och sålla ut de som inte uppfyller ett visst krav, på så vis kan start-populationen få en bättre utgångspunkt men även det motsatta då variationen i population kan bli för liten och framtida lösningar blir svårare att hittas då den i starten haft dåliga gener[rennard00]. Selektion En av huvudfunktionen med att ha en fitness är att kunna räkna ut sannolikheten för individens överlevnad till nästgående generation, delmomentet för att välja ut de mest lämpade individerna kallas selektion. Det finns ett flertal metoder som används till detta, två av de vanligaste är roulettehjuls selektion och trunkerings selektion. 6

7 Roulettehjuls selektion Roulettehjuls selektion fungerar så att på samtliga individer räknas deras fitness ut och sedan normaliseras dessa värden så att varje individ får ett värde mellan 0-100, ju högre värde en viss individ har desto större chans kommer den ha att överleva. Detta kan liknas med ett roulettebord där varje nummer i hjulet representerar en individ och ju större nummer individen har desto större yta på hjulet vilket i sin tur gör att kulan har större chans att hamna på en individ med bättre fitness. Figur 2: Den individ med bäst fitness har en större andel av hjulets yta för kulan att hamna på. Trunkerad selektion Trunkerad selektion fungerar så att man helt enkelt väljer en viss del av samtliga individer, oftast väljer man ut den delen av individer som har bäst värden. Problemet med denna metod är att variationen i individerna kan bli för små och sannolikheten för förbättring mindre vilket i sin tur gör att det blir svårare att komma närmare en optimal lösning på problemet man försöker lösa. Crossover När selektionen av individer har utförts är det dags att skapa en ny generation vilket utförs med hjälp av så kallade crossover och mutations-metoder. 7

8 Crossover metoder fungerar genom att man korsar två individer med varandra och precis som i verkligheten så förs deras DNA vidare till barnet. Det finns flera olika metoder som används för att göra en så kallad crossover. Single point crossover är en vanlig crossover metod som tar gener från en slumpmässig position från föräldrarna och delar upp barnet i två halvor. Första halvan hos barnet får den första halvan hos en förälder och den andra halvan får den andra halvan av generna från den andra föräldern. Hos det andra barnet är det tvärtom. Figur 3: illustrerar single point crossover-metoden Two point crossover fungerar likadant som Single point crossover bara det att man använder två platser där man byter gener istället för en. På detta sätt blir det bättre blandat och mer slumpmässigt. Uniform crossover innebär att man använder ännu fler crossover-punkter än både single och two point crossover. I uniform crossover bestäms crossover-punkterna slumpmässigt vilket får till följd att avkomman får mycket större variationer. Mutationer Mutationer i en genetisk algoritm fungerar liknande mutationer inom biologin. Alltså att en slumpmässig gen får ett nytt värde. Mutationer används i genetiska algoritmer för att behålla populationens mångfald och att snabbare komma fram till kromosomer med så bra fitness som möjligt [surprise 96]. Att endast använda crossover selection brukar fylla populationen med kopior av den bästa individen från populationen. Detta gör att individerna brukar ha hög fitness, men att de skulle kunna nå en ännu högre fitness om mutation användes [surprise 96]. 8

9 Mutationer bör heller inte förekomma allt för ofta, då detta skulle innebära att individerna blir mer slumpmässiga. En balans måste hittas där selektionen får arbeta fram bästa lösningen och mutationer gör att ingen potentiell lösning förbises. Slumpmässig mutation kan användas på binära kromosomer och går ut på att man inverterar värdet eller värden på flera positioner så att en nolla blir en etta och tvärtom. Inordermutation fungerar likt slumpmässig mutation. I inordermutation väljs ett område mellan två punkter ut slumpmässigt och gener inuti området muteras. Permutationsmutation kan användas för permutations problem, problem där man vill ha gener i en viss sekvens. Kromosomerna består då av heltal och en mutation går ut på att byta plats på två heltal i den egna kromosomen [Engelbrecht07]. Praktisk användning För att visa hur en genetisk algoritm kan fungera så beskrivs här ett problem som kan lösas med hjälp av en genetisk algoritm. Problemet är för en gräsklippare att hitta den kortaste vägen att klippa en gräsmatta som är en 6x6 rutor stor kvadrat. 9

10 Figur 4:. Gräsmattan med 36st kvadrater. Algoritmens steg Algoritmens steg ser ut på följande vis: En individs kromosomer slumpas ut tills samtliga gräsplättar är klippta. Individens fitness räknas ut. Lägg till i en lista av individer. Upprepa tills 5000 individer finns i listan. Normalisera och sortera listan med individer. Kör roulettehjuls-selektion på varje individ. Varje individ har en 60% chans att köras i crossover och 3% chans att muteras om den blir vald i roulettehjuls-selektionen. Om individen varken körs i crossover eller muteras men blir utvald i selektionen så läggs den till i listan med nästa generations individer. Processen går tillbaka till normaliseringen och körs om 200ggr. Individen med högst fitness väljs ut som optimal lösning. Kromosomerna En individs kromosomer kan visualiseras ut på följande vis: 10

11 Figur 5: Exempel på en individs kromosomuppbyggnad. Där varje pil motsvarar ett steg i en viss riktning på gräsmattan. Individen har även följande egenskaper: int poäng - Beräknas genom att individen får ett poäng för varje oklippt gräsplätt. int steg - Antalet steg gräsklipparen måste ta för att klippa samtliga gräsplättar. int fitness - Fitness värdet som beräknas genom poäng/steg. int normaliseringsvärde - används i roulettehjuls selektionen. Antalet steg beror på hur effektivt individen kan slutföra uppgiften och kan vara hur många som helst. Dessa kromosomer bestäms genom att slumpmässigt välja ut en riktning den skall åka dvs upp, ner, höger eller vänster och när individens poäng är 36(6*6) så läggs den till i listan. Antalet individer i listan är i detta fall 200 då det gav en bra kompromiss mellan tiden det tar för algoritmen att köras och effektivitet på slutgiltig lösning. Det kan även påpekas att antalet individer i listan har stor betydelse för hastigheten i algoritmen och ju fler desto mer variation av lösningar får man ut i både starten och slutet. I detta fall användes 5000st individer. Crossover och mutation Som crossover användes two-points typen, denna kan visualiseras på detta vis: 11

12 Figur 6: Crossover på två individer. På figur 6 kan man se hur gröna delarna tas från båda individerna och sammanflätas ihop till en ny. De blå kromosomerna är de som ändras. Punkten där man delar DNA:t på individerna är slumpmässigt valda och en individ som valts ut i roulette-hjuls selektionen har en 70% chans att genomgå detta. Mutationen fungerar så att en individs kromosom slumpmässigt byts ut mot en ny slumpmässigt vald kromosom. En individ har en 3% chans att muteras efter selektionen. Figur 7: Mutation på en individ. Slutfasen När listan med individer har genomgått dessa steg 200 gånger så tas den individ med bäst fitness ut för att utvärdera resultatet. 12

13 Figur 8: Lösningen med en individ som hade högst fitness. I ett testfall som gjordes hade den individ med bäst lösning en uppsättning kromosomer som såg ut på följande vis: [U,H,N,H,H,U,U,H,H,N,N,V,U,U,U,H,U,U,V,V,V,V,V,H,N,V,N,N,H,U,H,U,H,H,V,N,V,N, N] Där U står för Upp, N för Ned,V för Vänster och H för Höger. Individen tog 39 steg och gjorde sammanlagt 4 st misstag vilket gav den ett fitness-värde på 36/39 dvs En individ börjar alltid med ett poäng vilket betyder att den mest optimala lösningen skulle vara att individen gick 35 steg och hade ett fitness-värde på 1. SLUTSATSER Artificiell intelligens är ett väldigt intressant ämne och något som vi tror att mycket forskning kommer att handla om i framtiden. 13

14 Genetiska algoritmer försöker på något vis att få en dator att fungera som naturen och som vi kan se i exemplet kan det fungera hyfsat bra. Det som är det svåra är inte algoritmen i sig självt utan det är i vår åsikt designen och parametrarna som gör det svårt att bygga ett bra program. Som vi kan se i exemplet så användes 5000st framslumpade individer som itererade igenom algoritmen 200ggr med en chans på 70% att genomgå en crossover och 3% att bli muterad. Dessa parametrar kan justeras och det är väldigt svårt att veta vad som kommer att ge den mest tillfredställande lösningen. I exemplet är problemet väldigt enkelt för en människa att lösa och en optimal lösning kan räknas ut för hand och på så vis vet vi om en uträknad lösning är den bästa men om problemet skulle vara mer komplex så vet vi kanske inte detta och då blir det genast mycket svårare att utvärdera algoritmens resultat. Skrivandet av denna rapport har varit mycket givande och har fått oss att förstå hur svårt det kan vara att skapa en AI. REFERENSER [Engelbrecht 07] Andries P. Engelbrecht, Computational Intelligence: An Introduction, Second Edition, John Wiley & Sons, ISBN , [Darrel 94] Whitley, Darrell (1994). "A genetic algorithm tutorial". Statistics and Computing, sida [Rechenberg 73] Rechenberg, Ingo, Evolutionsstrategie. Stuttgart: Holzmann-Froboog. ISBN , [Rennard 73] [Melanie 96] Mitchell, Melanie (1996). An Introduction to Genetic Algorithms. Cambridge, MA: MIT Press. ISBN [Surprise 96] [Wikipedia] 14