Heltalsprogrammering Speciell användning av heltalsvariabler max z = då c j x j j= a ij x j b i j= x j 0 x j heltal i =,..., m j =,..., n j =,..., n ofta x j u j j =,..., n Oftast c, A, b heltal. Ibland u j =. Obs: Tillåtna mängden ej konvex. Logiska beslut: x = om vi väljer alternativ, x = om vi väljer alternativ. Alternativ kostar c, alternativ kostar c. Vi måste göra ett av dem. min c x + c x då x + x =, x {0, }, x {0, } plus andra bivillkor. Vi måste göra minst ett av dem: x + x. Vi får göra högst ett av dem: x + x. Vi måste göra 5 av 7 alternativ: 7 j= x j = 5. Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 / 40 Speciell användning av heltalsvariabler Antingen-eller-villkor: Ex: I ord: Antingen x + 3x 5 eller 5x + x 6. Formulera som följer (med M >> x) x + 3x 5 + M( y ), 5x + x 6 + M( y ), y + y =, y {0, }, y {0, }. Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 / 40 Antingen-eller-villkor: Exempel Antingen x + 3x 5 eller 5x + x 6. M = 5: x + 3x 5 + 5( y ), 5x + x 6 + 5( y ), y + y =, y {0, }, y {0, }. Utvidgning: minst 4 av 3 bivillkor skall gälla. 3 j= y j = 4. Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 3 / 40 Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 4 / 40
Speciell användning av heltalsvariabler Speciell användning av heltalsvariabler Icke-konvexa tillåtna områden, t ex villkorliga undre gränser: I ord: x = 0 eller x L. Formulera som Ly x My, y {0, }. Ett icke-konvext område. (Unionen av två konvexa områden.) y + y =, y {0, }, y {0, } ger x X X Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 5 / 40 Speciell användning av heltalsvariabler Fasta kostnader: I ord: Kostnaden är 0 om x = 0, men K + cx om x > 0. f(x) K x { 0 om x = 0 I ord: Fast kostnad: f (x) = K + cx om x > 0 Modellera som: f (x) = cx + Ky där x My, y {0, } Förutsätter minimering. Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 6 / 40 Heltalsprogrammering: Speciella problem Kappsäcksproblemet: max z = då c j x j j= a j x j b j= 0 x j u j, heltal j =,..., n Ett bivillkor. (Ickenegativa koefficienter.) LP-relaxationen kan lösas med en greedy-metod: Sortera enligt max j (c j /a j ). Fyll på bäst först. (Härled med LP-dualitet.) Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 7 / 40 Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 8 / 40
Övertäckningsproblemet Vilka åtgärder skall göras för att varje effekt skall erhållas? { om effekt i ges av åtgärd j Indata: a ij = 0 om inte Åtgärd j kostar c j. Minimera totalkostnaden. { om åtgärd j utförs Variabeldefinition: x j = 0 om inte min z = c j x j då j= a ij x j j= x j {0, } i =,..., m j =,..., n Uppdelningsproblemet (partioneringsproblemet): Likhet i bivillkoren. Lokaliseringsproblemet Anläggning i: Fast kostnad f i, kapacitet s i. Kund j: Efterfrågan d j. Transportkostnad från anläggning i till kund j: c ij per enhet. Vilka anläggningar skall byggas? Hur mycket ska varje anläggning skicka till varje kund? Minimera totala byggkostnader och transportkostnader. Variabeldefinition: { om anläggning i byggs y i = 0 om inte. x ij = antal enheter som skickas från anläggning i till kund j Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 9 / 40 Lokaliseringsproblemet min då m i= j= c ij x ij + m f i y i i= x ij s i y i för alla i () j= m x ij = d j för alla j () i= x ij s i y i 0 för alla i, j (3) x ij 0 för alla i, j (4) y i {0, } för alla i (5) Behövs bivillkor 3? (se lab 4) Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 0 / 40 Heltalsprogrammering: Exempel max z = 30x +8x då 8x +5x 3 (A) x +x 6 (B) x, x 0 x, x heltal x 5 4 3 A B 3 4 5 x LP-relaxationen: x = 3.875, x = 0 och z LP = 6.5. Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 / 40 Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 / 40
Heltalsprogrammering: Exempel Heltalsprogrammering: Exempel x LP-relaxationen: x = 3.875, x = 0 och z LP = 6.5. Sats LP-relaxationen ger en optimistisk uppskattning av z. För max-problem: z LP z. Alltså z 6.5 Alla koefficienter i målfunktionen är heltal. Alla variabler skall vara heltal. z heltal. Avrunda z LP neråt. z 6 5 4 3 A B 3 4 5 x LP-relaxationen: x = 3.875, x = 0 och z LP = 6.5. Avrundning: x = 4, x = 0. Ej tillåten. Avrundning till närmaste tillåtna punkt: x = 3, x = 0. z = 90. Sats Varje tillåten lösning ger en pessimistisk uppskattning av z. För maxproblem: z z. 90 z 6 Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 3 / 40 Heltalsprogrammering: Exempel Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 4 / 40 Heltalsprogrammering: Vägval x 5 4 3 A B 3 4 5 x Förbättra gränserna: Optimerande / heuristisk? LP-baserad / kombinatorisk? Enkel lokal sökning: Ändra en variabel i taget. Tillåtet att öka x till. z = 08. Trädsökning / plansnittning? Ingen enkel ändring ger förbättring: Lokalt optimum. 08 z 6 (Optimum: x =, x = 3 och z = 4.) Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 5 / 40 Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 6 / 40
Heltalsprogrammering: Metodprinciper Heltalsprogrammering: Metodprinciper Optimerande metod: Finner garanterat optimum (och bevisar det). Fullständig uppräkning av alla möjliga lösningar: Nej! Ofullständig uppräkning kan vara bra. Kan dock aldrig garantera polynomisk lösningstid. Heuristik: Snabbare. Inga garantier. Bevisar ej optimalitet. Konstruktiva metoder. Sökmetoder. LP-baserad metod: Lös LP-relaxationen. Modifiera LP-problemet. Lös om. Kombinatorisk metod: Utgå från problemets kombinatoriska struktur. (0/) Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 7 / 40 Heltalsprogrammering: Metodprinciper Trädsökning: Relaxation. Förgrening: Dela upp problemet i flera (disjunkta) problem. Rekursivt. Kapa grenar. Avsöka hela trädet. Övre och undre gränser (för z ). Branch-and-bound Plansnittning: Lägg till bivillkor som skär bort LP-optimum, men inte någon tillåten heltalslösning. Ett LP-problem. Ökande storlek. Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 9 / 40 Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 8 / 40 Heltalsprogrammering: LP-baserad trädsökning Land-Doig-Dakins metod: Relaxation: LP-relaxationen. Förgrening: Skapa två nya problem: Ett där x j x j och ett där x j x j = x j +. Kapa grenar som: Inte kan ge någon tillåten lösning. Inte kan ge någon bättre lösning. Ger heltalslösning. Varje ny förgrening innebär ytterligare begränsningar. Optimistiska uppskattningen z LP kan ej bli bättre, när vi går djupare i trädet. Varje tillåten lösning ger en pessimistisk uppskattning, z, som gäller i hela trädet. Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 0 / 40
Heltalsprogrammering: Land-Doig-Dakins metod Heltalsprogrammering: Land-Doig-Dakins metod Algoritm (max): Undersökning av LP-problem: Om tillåten lösning saknas: Kapa grenen. Om z LP är sämre än känd lösning z: Kapa grenen. Om lösningen är heltalig och z LP är bättre än känd lösning z: Spara lösningen. Kapa grenen. Om lösningen inte är heltalig och z LP är bättre än känd lösning z: Förgrena.. Om inget oavsökt problem återstår: Stopp. Annars välj ett oavsökt problem.. Lös LP-relaxationen (simplexmetoden). Om den saknar tillåten lösning: Kapa grenen. Gå till. 3. Om z LP z: Kapa grenen. Gå till. 4. Om lösningen är heltalig: Spara lösningen och kapa grenen. Gå till. 5. Förgrena: Välj en variabel, x j, som ej är heltal, x j. Skapa två nya problem: Ett där x j x j och ett där x j x j = x j +. Gå till. Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 / 40 Heltalsprogrammering: Land-Doig-Dakins metod Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 / 40 Land-Doig-Dakins metod: Exempel Specificera: Förgreningsstrategi (vilken variabel först). Nodavsökningsstrategi (vilken nod/problem först). Exempel: Djup-först. Förgrena över variabeln med störst fraktionell del först. Gå ner i ( )-grenen först. Förgrena över variabeln med minst fraktionell del först. Gå ner i ( )-grenen först. max z = 30x + 8x då 8x + 5x 3 (A) x + x 6 (B) x, x 0 heltal LP-relaxationen P0: x = 3.875, x = 0 och z LP = 6.5. z = 6. Valfritt: Avrunda neråt: x = 3, x = 0 och z = 90. z = 90. Förgrena: Skapa P: P0 + (x 3) och P: P0 + (x 4). Lös P: x = 3, x =.4 och z = 6. z = 6. Förgrena: Skapa P3: P + (x ) och P4: P + (x ). Lös P3: x = 3, x = och z = 08. Heltal. z = 08. Kapa. Lös P4: x =.65, x = och z = 4.75. z = 4. Förgrena: Skapa P5: P4 + (x ) och P6: P4 + (x 3). Lös P5: x =, x = 3 och z = 4. Heltal. z = 4. Kapa. P6 har z = 4. Kapa. (Saknar tillåten lösning.) Lös P: Saknar tillåten lösning. Kapa. Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 3 / 40 Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 4 / 40
Land-Doig-Dakins metod: Exempel x <= P3 _ z=08 x <=3 P <= _ z=6 _ z=6 P0 (z=90) _ x>= P4 x x >=4 P Ingen _ z=4 x >=3 Kombinatoriskt baserad trädsökning Balas metod för 0/-problem: (Constraint Programming) Relaxera kopplingen mellan bivillkoren, inte heltalskraven. Undersök ett bivillkor i taget. Observation: Det som är förbjudet i ett bivillkor är inte tillåtet. Ta bort förbjudna möjligheter (variabelvärden), genom att fixera variabler. Kapa grenar som inte kan ge någon tillåten lösning. Gör om målfunktionen till ett bivillkor: Kräv bättre lösning, för max-problem: c T x z +. P5 _ z=4 P6 Dålig Förgrening: Skapa två problem: Ett med x j = 0 och ett med x j =. Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 5 / 40 Kombinatoriskt baserad trädsökning: Bivillkorsfixering Undersökning av delproblem (bivillkor): Om tillåten lösning saknas: Kapa grenen. Om tillåten lösning saknas då x j = : Fixera x j till 0. Om tillåten lösning saknas då x j = 0: Fixera x j till. Om inget av ovanstående för något bivillkor: Förgrena. Fixering av variabel innebär att vi slipper en av två grenar. Constraint Programming: Samma princip, krångligare bivillkor. (Bivillkor = subrutin.) Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 7 / 40 Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 6 / 40 Bivillkorsfixering: Exempel 3x + 4x + 8x 3 5x 4 0 () 5x + 6x + 5x 3 + 0x 4 4 () x 4x 3x 3 + 3x 4 (3) Inga fixeringar. Förgrena över x. P: x = : (): 3 + 4x + 8x 3 5x 4 0: 4x + 8x 3 5x 4 7. Ger inget. (): 5 + 6x + 5x 3 + 0x 4 4: 6x + 5x 3 + 0x 4 9. Fixera x 4 = 0. (3): 4x 3x 3 : 4x 3x 3 4. Fixera x =. (): 3 + 4 + 8x 3 0: 8x 3 3. Fixera x 3 = 0. Allt fixerat. Kolla alla bivillkor en gång till. (): 5 + 6 4: OK. (3): 4 : OK. (): 3 + 4 0: OK. Tillåten lösning funnen: x =, x =, x 3 = 0, x 4 = 0. (Nu har vi grenen med x = 0 kvar.) Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 8 / 40
Bivillkorsfixering: Exempel Fler än man skulle tro använder bivillkorsfixering... Bivillkorsfixering: Exempel: Sudoku Variabeldefinition: x ijk = om siffran k ska stå i position (i, j). Bivillkor: x ijk = för alla i, k (siffra k en gång i rad i) j x ijk = för alla j, k (siffra k en gång i kolumn j) i x ijk = för alla i, j (en siffra i position (i, j)) k x ijk = för p =,..., 3, q =,..., 3, alla k 3p i 3p, 3q j 3q x ijk {0, } för alla i, j, k. x ijk = x ijk för vissa givna i, j, k. (siffra k en gång i mindre kvadrat (p, q)) Ingen målfunktion. Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 9 / 40 Bivillkorsfixering: Exempel: Sudoku Givna siffror: Om x i j k = så fixeras alla andra variabler i samma bivillkor till noll. Ingen mer siffra k i rad i. Ingen mer siffra k i kolumn j. Ingen annan siffra i position (i, j ). Ingen mer siffra k i mindre kvadrat (p, q). När siffra k bara har en möjlighet kvar i en rad/kolumn/mindre kvadrat: Lås den och fixera på ovanstående sätt. När position (i, j) bara har en möjlighet kvar: Lås den och fixera på ovanstående sätt. För lätt sudoku ger detta alltid en unik lösning. Metod: Låt X ij vara alla siffror som kan placeras i position (i, j). Först X ij = {,, 3, 4, 5, 6, 7, 8, 9}. Ta sedan bort de som inte kan vara där. Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 3 / 40 Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 30 / 40 Bivillkorsfixering: Utvidgade tester för speciella strukturer Utvidgade tester för Sudoku: Två siffror ska vara i två positioner, men vi vet inte vilken. T.ex. x + x 3 = (siffra och ska vara i pos (,) och (,3)). Eliminera siffra och från alla andra positioner i rad, och lilla kvadrat (,), samt eliminera alla andra siffror från pos (,) och (,3). Bygger på strukturen hos problemet. Övertäckningsproblemet: min c T x då Ax, x binär. Reduktionstester: En rad endast nollor: Ingen tillåten lösning. Kolumn j endast nollor: Sätt x j = 0 och stryk kolumn j. Rad i endast en etta, i kolumn j: Sätt x j =, stryk kolumn j. Stryk alla rader med ettor i kolumn j. Rad i dominerar rad k (dvs. a ij a kj för alla j): Stryk rad i. Kolumn j dominerar kolumn k (dvs. a ij a ik för alla i och c j c k ): Sätt x k = 0 och stryk kolumn k. Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 3 / 40
Kombinatoriskt baserad trädsökning för TSP Relaxation: Billigaste uppspännande -träd. Finn billigaste uppspännande träd för noderna - n. Addera de två billigaste bågarna till nod. Ger en cykel genom nod som kan vara för liten. Nod får rätt valens, alla andra noder kan få fel. Motsvarar relaxation av valensvillkoren för alla noder utom en, samt av vissa subtursförbjudande villkor. Ger undre gräns. Övre gräns fås från en handelresandetur (tillåten lösning). Kombinatoriskt baserad trädsökning för TSP Förgrening: Syftar till att ge alla noder rätt valens. Förbjud en av de bågar som går in till en nod med för hög valens. Förgrening: För varje båge som ansluter till noden: Skapa ett problem där bågen är förbjuden (x ij = 0). Minst en av grenarna måste innehålla optimum. För att få optimum i exakt en, tvinga med tidigare förbjudna bågar. Valensen skall vara, vilket ger följande tre möjligheter. Gren : Förbjud första bågen. Gren : Förbjud andra bågen och tvinga med första bågen. Gren 3: Tvinga med första och andra bågarna samt förbjud alla andra bågar till noden. Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 33 / 40 Kombinatoriskt baserad trädsökning för TSP: Exempel VINEOPT Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 34 / 40 Plansnittning 5 Övergång från icke-konvext problem till konvext: Skapa konvexa höljet. 3 6 5 3 3 7 4 B 34 7 3 3 8 8 33 4 A 6 0 0 3 4 x -träd, kostnad: 08. Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 35 / 40 Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 36 / 40
Plansnittning Gomorysnitt Algoritm:. Lös LP-relaxationen.. Om lösningen är heltal: Stopp. Optimum. 3. Konstruera ett linjärt bivillkor som skär bort LP-optimum, men inga tillåtna heltalspunkter. Gå till. Hur konstruera bivillkor? Helst fasetter. Gomorys metod (simplextablå). Problemspecifikt: Kappsäcksproblem: Minimala övertäckningar. TSP: (forskning) Plocka en rad ur optimala simplextablån: a ij x j = b i j Avrunda alla koefficienter i vänsterledet neråt. Vänsterledet blir mindre och heltal. Avrunda högerledet neråt. Resulterande bivillkor, Gomorysnitt: a ij x j b i j Exempel: 0.3x + 4.5x 3.x 3 + x 4 = 6.7 Gomorysnitt: 4x 4x 3 + x 4 6 Baslösning: x = 0, x = 0, x 3 = 0,x 4 = 6.7. Den lösningen skärs bort. Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 37 / 40 Minimala övertäckningar Minsta mängden som är för stor. Bivillkor: j a j x j b, x j {0, } för alla j. En övertäckning, S, är för stor, j S a j > b. Giltigt bivillkor: x j S. (Alla i S får inte plats.) j S Välj helst den minsta mängd som inte får plats. Exempel: 7x + 5x + 6x 3 + 3x 4. Minimala övertäckningar: 7x + 5x + 6x 3 + 3x 4, {, 3}: x + x 3. 7x + 5x + 6x 3 + 3x 4, {, 3, 4}: x + x 3 + x 4. 7x + 5x + 6x 3 + 3x 4, {,, 4}: x + x + x 4. Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 38 / 40 Heltalsprogrammering Kombinerade metoder: Trädsökning + plansnittning + förbehandling. För att lösa riktigt stora problem, måste man utnyttja flera verktyg. Förbehandling: Försök reducera problemstorleken eller omformulera problemet på ett bättre sätt. Avlägsna redundanta bivillkor: Jämför möjliga värden på vänsterledet med högerledet. (Mindre LP.) Fixera variabler: Balas metod, constraint programming. (Mindre LP, mindre träd.) Modifiera koefficienter: Minska övre gränser, anpassa bivillkorskoefficienter. (Mindre träd.) Addera logiska bivillkor: T ex minimala övertäckningar. (Mindre träd.) Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 39 / 40 Kaj Holmberg (LiU) TAOP88 Optimering 4 april 07 40 / 40