Lösningar till SF8 Optimeringslära för E, 6/ 8 Uppgift (a) Problemet är ett transportproblem, ett specialfall av minkostnadsflödesproblem Nätverket består av 7 st noder A,B,C,P,Q,R,S, alternativt kallade,,,7, samt st bågar (A,P),,(C,S), alternativt kallade (,4),,(3,7) Den av transportchefen föreslagna lösningen svarar mot ett uppspännande träd i nätverket, mot en baslösning till problemet Det är vidare en tillåten baslösning, ty balansekvationerna är uppfyllda i alla noder och inga variabler är negativa Man beräknar simplexmultiplikatorer y i ur villkoren y i y j = c ij för basvariabler ( trädbågar), samt y 7 = Det ger att y = (4, 6,,,,, ) Därefter beräknas reducerade kostnader för icke-basvariabler ur r ij = c ij y i + y j Det ger att r ij = för alla icke-basvariabler Den förslagna lösningen är alltså optimal, eftersom r ij för alla icke-basvariabler Om man inför variabelvektorn x = ( x 4 x x 6 x 7 x 4 x x 6 x 7 x 34 x 3 x 36 x 37 ) T och kostnadsvektorn c = ( c 4 c c 6 c 7 c 4 c c 6 c 7 c 34 c 3 c 36 c 37 ) T = = ( 6 6 9 7 7 7 8 7 6 ) T, så kan det betraktade transportproblemet skrivas på formen TP : minimera c T x då Ax = b, x, där A = 7 9 6 och b = 6 7 4 En optimal lösning är, enligt ovan, ˆx = ( 4 4 ) T,
Uppgift (b) Först kan konstateras att A är symmetrisk, A T = A, vilket medför att R(A T ) = R(A) och N (A T ) = N (A) Nu använder vi Gauss Jordans metod på den givna matrisen A = Multiplikation av första raden med ger till resultat matrisen Addition av (+) gånger första raden till andra raden, samt addition av (+) gånger första raden till tredje raden, ger till resultat matrisen Multiplikation av andra raden med / ger till resultat matrisen Addition av (+) gånger andra raden till första raden, samt addition av (+) gånger andra raden till tredje raden, ger till resultat matrisen = T Nu är A överförd till trappstegsform med två trappstegsettor En bas till R(A) erhålls genom att som basvektorer välja de kolonner i A som svarar mot trappstegsettor i T, kolonnerna nr och i A De två vektorerna och utgör alltså en bas till såväl R(A) som till R(A T ) En bas till N (A) kan bestämmas enligt följande: Sätt x 3 = (den enda variabel som inte svarar mot en trappstegsetta) och bestäm sedan x och x (variablerna svarande mot trappstegsettor) så att Tx = Det ger den första och enda basvektorn till såväl N (A) som till N (A T )
Uppgift (a) Om vi inför slackvariabler x och x 6, för att överföra olikhetsbivillkoren till likhetsbivillkor, samt byter tecken på målfunktionen, för att överföra maximeringsproblemet till ett minimeringsproblem, så får vi ett LP-problem på standardformen där A =, b = minimera c T x då Ax = b, x, ( ) 9 och c 6 T = ( 3, 4,,,, ) Startlösningen ska ha basvariablerna x och x 6, vilket innebär att β = (, 6) och δ = (,, 3, 4) Motsvarande basmatris ges av A β =, medan A δ = Basvariablernas värden i baslösningen ges av x β = b, där vektorn b beräknas ur ekvationssystemet A β b = b, ) ( ) ) ( ) ( b 9 ( b =, med lösningen b 6 b 9 = = b 6 Vektorn y med simplexmultiplikatorerna värden erhålls ur systemet A ( ) ( ) ( ) ( ) T β y = c β, y y =, med lösningen y = = y Reducerade kostnaderna för icke-basvariablerna [ ges av ] r T δ = ct δ yt A δ = ( 3, 4,, ) (, ) = ( 3, 4,, ) Eftersom r δ = r = 4 är minst, och <, ska vi låta x bli ny basvariabel Då behöver vi beräkna vektorn ā ur systemet A β ā = a, ) ( ) ) (ā (ā =, med lösningen ā = = ā y ā ( ) Det största värde som den nya basvariabeln x kan ökas till ges av { } { bi 9 t max = min ā i > = min i ā i, 6 } = 6 = b ā Minimerande index är i =, varför x β = x 6 inte längre får vara kvar som basvariabel Dess plats tas av x Nu är alltså β = (, ) och δ = (, 6, 3, 4) Motsvarande basmatris ges av A β = [ ], medan A δ = Basvariablernas värden i baslösningen ges av x β = b, där vektorn b beräknas ur ekvationssystemet A β b = b, ) ( ) ) ( ) ( b 9 ( b 3 =, med lösningen b = = b 6 b 3 3
Vektorn y med simplexmultiplikatorerna värden erhålls ur systemet A ( ) ( ) ( ) ( ) T β y = c β, y y =, med lösningen y = = 4 y Reducerade kostnaderna för icke-basvariablerna [ ges av ] r T δ = ct δ yt A δ = ( 3,,, ) (, ) = (,,, ) Eftersom r δ så är den aktuella baslösningen optimal Därmed är punkten x =, x = 3, x 3 =, x 4 = optimal till det ursprungliga problemet Optimalvärdet är till minimeringsproblemet och + till maximeringsproblemet Uppgift (b) Eftersom r δ3 = r 3 = så påverkas inte målfunktionen om vi låter ickebasvariabeln x 3 öka från sitt aktuella värde Vi kan därför låta x 3 bli ny basvariabel Då behöver vi beräkna vektorn ā 3 ur systemet A β ā 3 = a 3, ) ( ) ) (ā3 (ā3 =, med lösningen ā 3 = = ā 3 y ā 3 ( ) Det största värde som den nya basvariabeln x 3 kan ökas till ges av { } { } bi 3 t max = min ā i3 > = min i ā i3, 3 = 3 = b ā 3 Minimerande index är i =, varför x β = x inte längre får vara kvar som basvariabel Dess plats tas av x 3 Nu är alltså β = (3, ) och δ = (, 6,, 4) Motsvarande basmatris ges av A β = [ ], medan A δ = Basvariablernas värden i baslösningen ges av x β = b, där vektorn b beräknas ur ekvationssystemet A β b = b, ) ( ) ) ( ) ( b 9 ( b 3 =, med lösningen b = = b 6 b Vektorn y med simplexmultiplikatorerna värden erhålls ur systemet A ( ) ( ) ( ) ( ) T β y = c β, y y =, med lösningen y = = 4 y Reducerade kostnaderna för icke-basvariablerna [ ges av ] r T δ = ct δ yt A δ = ( 3,,, ) (, ) = (,,, ) Eftersom r δ så är även denna baslösningen optimal (vilket vi redan visste) Därmed är punkten x =, x =, x 3 = 3, x 4 = optimal till det ursprungliga problemet Optimalvärdet är till minimeringsproblemet och + till maximeringsproblemet y 4
Uppgift 3(a) Vi utför radoperationer på matrisen [ A b ] 6 = 3 6 Addition av (+) gånger första raden till andra raden ger 3 6 Addition av (+) gånger andra raden till tredje raden ger 3 3 Tredje raden motsvarar nu ekvationen x + x + x 3 = 9 som saknar lösning Uppgift 3(b) Att minimera Ax b är ekvivalent med att lösa A T Ax = A T b Vi utför därför radoperationer på matrisen [ A T A A T b ] 9 = 6 3 Addition av ( ) gånger första raden till andra raden, samt 9 addition av (+) gånger första raden till tredje raden, ger Addition av ( ) gånger andra raden till tredje raden, samt 8 addition av ( /3) gånger andra raden till tredje raden, ger En lösning (av flera) till detta systemet är x = (4,, ) T Uppgift 3(c) En lösning till normalekvationerna är enligt ovan x = (4,, ) T, med A x = (, 4, ) T Då gäller ekvivalensen A T Ax = A T b Ax = A x Vi ska nu minimera x då Ax = A x Optimal lösning till detta ges av ˆx = A T û, där AA T û = A x Vi utför därför radoperationer på matrisen [ AA T A x ] = Addition av (+) gånger första raden till andra raden, samt addition av (+) gånger första raden till tredje raden, ger Addition av (+) gånger andra raden till tredje raden, samt addition av (+/3) gånger andra raden till första raden, ger En lösning (av flera) till detta system är û = (,, ) T Då är ˆx = A T û = (3, 4 4, ) T minimum-normlösningen till minsta-kvadratproblemet
Uppgift 4(a) Låt f(x) = 8x 6x, g (x) = x + 3x och g (x) = 8 x 3x Då kan vårt givna problem skrivas: minimera f(x) då g (x) och g (x) Gradienterna ges av f(x) = (6x, x ), g (x) = (4x, 6x ) och g (x) = ( 4x, 6x ) KKT-villkoren för detta problem är: KKT-: f(x) + y g (x) + y g (x) = T, KKT-: g i (x) för i =,, KKT-3: y i för i =,, KKT-4: y i g i (x) = för i =, som i vårt speciella fall kan skrivas KKT-: 4x (4 + y y ) = och 6x ( + y y ) = KKT-: x + 3x och 8 x 3x KKT-3: y och y KKT-4: y (x + 3x ) = och y (8 x 3x ) = Uppgift 4(b) Ur KKT-4 följer att minst en av y och y måste vara lika med noll Ur KKT- följer att minst en av x och x måste vara lika med noll Å andra sidan kan inte både x och x vara noll samtidigt, ty då uppfylls inte KKT- Alltså är exakt en av x och x lika med noll i varje KKT-punkt Antag först att x medan x = Då följer ur KKT- att y = och y = 4, varefter KKT-4 ger att x = eller Antag sedan att x medan x = Då följer ur KKT- att y = och y =, varefter KKT-4 ger att x = eller Vi har alltså följande fyra KKT-punkter och tillhörande Lagrangemultiplikatorer: ( ) ( ) ( ) ( ) x = och y =, x = och y =, 4 4 ( ) ( ) ( ) ( ) x = och y =, x = och y = 6
Uppgift (a) Om både x > och x > så ges gradienten till f av f(x) = ( F(x) = 8 ( x + ) ( x + ), 8 ( x + )( x + ) 3 ), medan Hessianen till f ges av 6 ( x + ) 3 ( x + ) 8 ( x + ) ( x + ) 8 ( x + ) ( x + ) 6 ( x + )( x + ) 3 Speciellt är f(x () ) = (, 4 ) och F(x () ) = a b Matrisen F(x () ) är positivt definit, ty en matris av typen är positivt definit b c om och endast om a >, c > och ac b >, vilket är uppfyllt för F(x () ) Därmed bestäms Newtonriktningen d () ur ekvationssystemet F(x () )d () = f(x () ) T, ( ) ( ) ( ) d systemet =, med lösningen d d 4 () = 4 ( ) Vi prövar steget med t =, så att x () = x () + t d () = x () + d () = Då blir f(x () ) = 8/ <, medan f(x () ) = 8/4 3 = ( ) Eftersom f(x () ) < f(x () ) gick steget med t = bra, och vi accepterar x () = som nästa iterationspunkt Därmed har vi utfört en iteration med Newtons metod Uppgift (b) Vi ser att för alla värden på x och x är f(x) 8 x 3x, så om exempelvis x = och x + så får vi att f(x) Det betyder att det inte finns någon global minpunkt till f(x), och därmed är det förstås omöjligt för Newtons metod att konvergera mot en sådan 7
Uppgift 6 Kalla de sökta matriselementen för x ij i stället för a ij och inför variabelvektorn x = ( x x x 3 x x x 3 x 3 x 3 x 33 ) T Då kan det betraktade problemet skrivas på formen där A = och I är en 9 9 enhetsmatris minimera xt I x då Ax = b,, b = Detta är ett konvext QP-problem med linjära likhetsbivillkor, så ˆx är optimal om och endast om det finns en vektor û så att ˆx och û tillsammans uppfyller I ˆx A T û = och Aˆx = b Antag att ˆx = ( ˆx ˆx ˆx 3 ˆx ˆx ˆx 3 ˆx 3 ˆx 3 ˆx 33 ) T definieras av att ˆx ij = r i + k j, för i =,, 3 och j =,, 3 3 Då är Aˆx = b uppfyllt (pga att r + r + r 3 = och k + k + k 3 = ) Låt û = (v, v, v 3, w, w, w 3 ) T Då kan villkoren I ˆx A T û = skrivas ˆx ij = v i + w j för i =,, 3 och j =,, 3, r i + k j 3 = v i + w j för i =,, 3 och j =,, 3, som är uppfyllda för v i = r i 3 och w j = k j för i =,, 3 och j =,, 3 3 Alltså är ˆx optimal r r r 3 k k k 3 8