Lösningar till tentan i SF1861 Optimeringslära, 3 Juni, 2016

Transkript

1 Lösningar till tentan i SF86 Optimeringslära, 3 Juni, 6 Uppgift (a) We note that each column in the matrix A contains one + and one, while all the other elements in the column are zeros We also note that the sum of the elements in the vector b is zero These observations imply that the LP problem is in fact a balanced network flow problem with 4 nodes (one for each row in A) and 4 directed arcs (one for each column in A) The network corresponding to the given A, b and c in this exercise can be illustrated by FIGURE below, where the supply at the nodes (ie the components in the vector b), and the unit costs of the arcs (ie the components in the vector c) are written in the figure Arcs from Node are directed from left to right, while arcs from Node3 are directed from right to left Negative supply means demand If the flow in the arc from node i to node j is denoted x ij, the variable vector is x = (x, x 3, x 34, x 4 ) T The suggested solutions ˆx = (5,, 3, ) T and x = (, 3,, 4) T can be illustrated in FIGURE and FIGURE 3, respectively, with the arc-flows written on the arcs Node O -5 O -5 O -5 / \ / / \ / \ / / \ / \ / / \ / \ / / \ / \ / / \ / \ / / \ Node O O Node3 O O O O \ / \ / \ \ / \ / \ \ / \ / \ \ / \ / \ \ / \ / \ \ / \ / \ O -4 O -4 O -4 Node4 FIGURE FIGURE FIGURE 3 Both the suggested solutions are clearly feasible, since there is flow balance in each of the four nodes and all arc-flows are non-negative Moreover, each of the two solutions corresponds to a spanning tree in the network Thus, both solutions are basic feasible solutions to the LP problem It remains to show that they are optimal

2 For each of the two solutions, the simplex multipliers y i for the four nodes are calculated by y 4 = and y i y j = c ij for all arcs (i, j) in the corresponding spanning tree In FIGURE 4, the y i for ˆx are calculated in the order y 4 =, y 3 = 3, y =, = In FIGURE 5, the y i for x are calculated in the order y 4 =, y =, =, y 3 = 3 Then the reduced cost for the single non-basic variable x 3 in FIGURE 4 is calculated by r 3 = c 3 y 3 + = ( ) =, while the reduced cost for the single non-basic variable x 34 in FIGURE 5 is calculated by r 34 = c 34 y 3 + y 4 = = O y=- O y=- / / \ / / \ / / \ r3=4-3+(-)= 4 / / \ / / \ / / \ y= O O y3=3 y= O O y3=3 \ / \ \ / \ \ / \ 3 r34=3-3+= \ / \ \ / \ \ / \ O y4= O y4= FIGURE 4 FIGURE 5 Since r 3 in FIGURE 4, ˆx is an optimal solution to the LP problem Since r 34 in FIGURE 5, x is an optimal solution to the LP problem As a final check, we see that c Tˆx = =, and c T x = =, so that c Tˆx = c T x

3 Uppgift (b) Först använder vi Gauss Jordans metod på matrisen 6 [ A b ] = Efter några enkla radoperationer erhålls matrisen 6 [ T p ] = 4 Nu är A överförd till trappstegsform med tre trappstegsettor, medan den ursprungliga högerledsvektorn b samtidigt överförts till den nya högerledsvektorn p Observera att de bägge ekvationssystemet Ax = b och Tx = p har samma lösningsmängd, eftersom de enkla radoperationerna inte ändrar denna Men den allmänna lösningen till Tx = p erhålls i detta fall genom att först sätta den variabel som inte svarar mot trappstegsettor till ett godtyckligt tal v, x 4 = v, och därefter bestämma hur trappstegsvariablerna x, x och x 3 måste bero av v för att Tx = p ska bli uppfyllt Detta ger att den allmänna lösningen till Tx = p, och därmed även till Ax = b, är x = 6 v, x = + v, x 3 = 4 v och x 4 = v, som kan skrivas x 6 x = x x 3 = 4 + v, för v IR, ur vilket framgår att vektorn x 4 6 x = 4 enda) kolonn utgör en bas till N (A) är en lösning till Ax = b, medan Z = är en matris vars (i detta fall Om vi nu kräver att Ax = b och x j 5 för alla j, så innebär detta att v måste uppfylla: 6 v 5, v 45, + v 5, v 5, 4 v 5, v 5, och + v 5, v 5 Vi ser att enda möjligheten är att v = 5, vilket svarar mot lösningen x = (35, 5, 5, 5) T 3

4 Uppgift (a) Vi har ett LP-problem på standardformen där A =, b = minimera c T x då Ax = b, x, ( ) 6 och c 9 T = ( 5, 8, 5,, ) Startlösningen ska ha basvariablerna x 4 och x 5, så att β = (4, 5) och ν = (,, 3) Motsvarande basmatris är A β =, medan A ν = Motsvarande baslösning har x β = b och x ν =, där b ges av systemet A β b = b, ) ( ) ) ( ) ( b 6 ( b =, med lösningen b 9 b 6 = = b 9 Vektorn y med simplexmultiplikatorerna erhålls ur systemet A ( ) ( ) ( ) ( ) β Ty = c β, y y =, med lösningen y = = Reducerade kostnaderna för icke-basvariablerna [ ges] av r T ν = c T ν y T A ν = ( 5, 8, 5) (, ) = ( 5, 8, 5) Eftersom r ν = r = 8 är minst, och <, ska vi låta x bli ny basvariabel Då behöver vi beräkna vektorn ā ur systemet A β ā = a, ) ( ) ) (ā (ā =, med lösningen ā = = ā ā ( ) Det största värde som den nya basvariabeln x kan ökas till ges av { } { bi 6 t max = min ā i > = min i ā i, 9 } = 6 = b ā Minimerande index är i =, varför x β = x 4 inte längre ska vara basvariabel Dess plats tas av x Nu är alltså β = (, 5) och ν = (, 4, 3) Motsvarande basmatris är A β =, medan A ν = Motsvarande baslösning har x β = b och x ν =, där b ges av systemet A β b = b, ) ( ) ) ( ) ( b 6 ( b 3 =, med lösningen b = = b 9 b 3 4

5 Vektorn y med simplexmultiplikatorerna erhålls ur systemet A ( ) ( ) ( ) ( β Ty ) = c β, y 8 y 4 =, med lösningen y = = Reducerade kostnaderna för icke-basvariablerna [ ges] av r T ν = c T ν y T A ν = ( 5,, 5) ( 4, ) = (3, 4, ) Eftersom r ν3 = r 3 = är minst, och <, ska vi låta x 3 bli ny basvariabel Då behöver vi beräkna vektorn ā 3 ur systemet A β ā 3 = a 3, ) ( ) ) (ā3 (ā3 =, med lösningen ā 3 = = ā 3 ā 3 ( ) 5 Det största värde som den nya basvariabeln x 3 kan ökas till ges av { } { bi 3 t max = min ā i3 > = min i ā i3 5, 3 } = 3 = b ā 3 Minimerande index är i =, varför x β = x 5 inte längre ska vara basvariabel Dess plats tas av x 3 Nu är alltså β = (, 3) och ν = (, 4, 5) Motsvarande basmatris är A β =, medan A ν = Motsvarande baslösning har x β = b och x ν =, där b ges av systemet A β b = b, ) ( ) ) ( ) ( b 6 ( b 5 =, med lösningen b = = b 9 b 3 Vektorn y med simplexmultiplikatorerna erhålls ur systemet A ( ) ( ) ( ) ( β Ty ) = c β, y 8 y 3 =, med lösningen y = = 5 Reducerade kostnaderna för icke-basvariablerna [ ges] av r T ν = c T ν y T A ν = ( 5,, ) ( 3, ) = (, 3, ) Eftersom r ν så är den aktuella tillåtna baslösningen, x = (, 5, 3,, ) T, optimal lösning till P Optimalvärdet är c T x = = 7 5

6 Uppgift (b) Det primala problemet P är på formen minimera c T x då Ax = b, x Det motsvarande duala problemet D är då på formen som utskrivet blir: maximera b T y då A T y c, maximera 6y + 9 då y + 5, y + 8, y + 5, y, En noggrann figur visar dels att det tillåtna området till D har de fyra hörnpunkterna ( ) ( ) ( ) ( ) 5 3 y () =, y () =, y (3) = och y 3 (4) =, 5 dels att det tillåtna området till D är obegränsat och består av alla punkter på och sydväst om de fem linjesegmenten: y axeln väster om punkten y (), linjestycket mellan punkterna y () och y (), 3 linjestycket mellan punkterna y () och y (3), 4 linjestycket mellan punkterna y (3) och y (4), 5 axeln söder om punkten y (4) Nivåkurvorna till målfunktionen 6y + 9 är parallella linjer vinkelräta mot vektorn (6, 9) T, med växande värden åt nordnordost i figuren Den nivåkurva som svarar mot det maximala värdet på målfunktionen inom det tillåtna området ges ur figuren av den nivåkurva som går genom hörnpunkten y () Denna hörnpunkt, med y = 3 och = är alltså en optimal lösning till D Optimalvärdet är b T y = 6 ( 3) + 9 ( ) = 7 6

7 Uppgift (c) Komplementaritetsvillkoren blir i detta fall: Ax = b, x, A T y c och x j (c A T y) j =, j =,, 5, x + x + x 3 + x 4 = 6, x + x + x 3 + x 5 = 9, x, x, x 3, x 4, x 5, y + + 5, y + + 8, y + + 5, y,, x (y + + 5) =, x (y + + 8) =, x 3 ( y + + 5) =, x 4 y =, x 5 = Insättning av våra erhållna lösningar x = (, 5, 3,, ) T och y = ( 3, ) T ger att = 6, = 9,, 5, 3,,, ( 3) + ( ) + 5, ( 3) + ( ) + 8, ( 3) + ( ) + 5, 3 ( ( 3) + ( ) + 5 ) = ( ) =, 5 ( ( 3) + ( ) + 8 ) = 5 =, 3 ( ( 3) + ( ) + 5 ) = 3 =, ( 3) =, ( ) = Samtliga villkor är alltså uppfyllda, vilket verifierar att x = (, 5, 3,, ) T och y = ( 3, ) T är optimala lösningar till P respektive D 7

8 Uppgift 3(a) Med x () = (, ) T är h(x () ) = (3, 3, 5, 5) T och f(x () ) = h(x() ) T h(x () ) = 34 (x ) (x ) 4 Vidare är h(x) = (x ) (x ) (x + ) (x ), så att h(x() ) = 4 4 (x ) (x + ) 4 I Gauss-Newtons metod ska man lösa ekvationssystemet h(x () ) T h(x () )d = h(x () ) T h(x () ) 3 I vårt fall är h(x () ) T h(x () ) = 3 ( ) 3 d så ekvationssystemet blir = 3 Vi prövar t =, så att x () = x () + t d () = x () + d () = d ( 3 och h(x () ) T h(x () ) = 3 ( ) ( 3, med lösningen d 3 () = ( ) Då blir h(x () ) = (,,, ) T och f(x () ) = < 34 = f(x () ) (med bred marginal) så steget t = accepteras Därmed har vi utfört en fullständig iteration med Gauss-Newtons metod, och erhållit x () = (, ) T Uppgift 3(b) Eftersom f är godtyckligt många gånger deriverbar i alla punkter x IR så är f en konvex funktion på IR om och endast om Hessianen F(x) ( matrisen med andraderivator) är positivt semidefinit i alla punkter x IR 4 När f(x) = h(x)t h(x) så ges Hessianen av F(x) = h(x) T h(x) + h i (x)h i (x) 6x I vårt fall är h(x) T + 3 6x x h(x) = 6x x 6x Vidare är H i (x) =, oberoende av i och x, samt h i (x) = 4x + 4x 4, [ i= 4 4x så att F(x) = h(x) T + 8x h(x) + h i (x)h i (x) = + 4 6x ] x i= 6x x 8x + 4x + 4 = a b = 8, där a = 3x b c + x + 3, b = x x och c = x + 3x + 3 Här är både a 3 > och c 3 > för alla x Vidare är ac b = 3x 4 + 3x4 + 6x x + x + x > för alla x Därmed är F(x) positivt definit för alla x IR, vilket medför att f är en strikt konvex funktion på hela IR i= ), ) 8

9 Uppgift 4(a) Vi har i denna deluppgift ett QP med likhetsbivillkor, ett problem på formen minimera xt Hx + c T x då Ax = b, där H =, c =, A = [ ] och b = 3 Allmänna lösningen till Ax = b, till x + x + x 3 =, ges av x v v x = x = v = + v + = x 3 = x + Zv, där x = kolonner utgör en bas till N (A), och v = är en lösning till Ax = b, Z = ( v + ) ( v är en matris vars ), där v och är godtyckliga reella tal Variabelbytet x = x + Zv leder till att vi ska lösa systemet (Z T HZ)v = Z T (H x + c), förutsatt att Z T HZ är åtminstone positivt semidefinit Vi får att Z T HZ =, som är positivt definit (t >, > och > ) ( ) och Z T (H x + c) = Systemet (Z T HZ)v = Z T (H x + c) har då den unika lösningen ˆv = (/3, /3) T, vilket ger att ˆx = x + Zˆv = (4/3, /3, /3) T är unik optimal lösning till QP-problemet Vår erhållna vektor ˆx = (4/3, /3, /3) T och skalären u uppfyller Lagrangevillkoren för QP-problemet om Hˆx + c = A T u och Aˆx = b, om 4/3 u /3 + = u och 4/3 + /3 + ( /3) = /3 3 u Vi ser att allt detta är uppfyllt om u = 4/3 = 9

10 Uppgift 4(b) Nu ska vi istället försöka maximera f(x) = xt Hx + c T x då Ax = b, med H, c, A och b som i (a)-uppgiften För att få ett ekvivalent minimeringsproblem (som vi är väl hemmastadda med) byter vi tecken på målfunktionen och studera följande ekvivalenta minimeringsproblem: P : minimera xt ( H)x + ( c) T x då Ax = b Vi tillämpar nollrumsmetoden [ och erhåller ] samma x och Z som (a)-uppgiften Men nu blir Z T ( H)Z =, som ej är positivt semidefinit, vilket medför att det inte finns någon optimal lösning till QP-problemet P Nu ska vi försöka hitta tillåtna lösningar x med godtyckligt stora värden på f(x) Variabelbytet x = x + Zv, som garanterar att Ax = b, följt av en Taylorutveckling av andra graden, som är exakt för kvadratiska funktioner, leder till att f(x) = f( x + Zv) = f( x) + (H x + c) T Zv + (Zv)T H (Zv) = = f( x) + (Z T (H x + c)) T v + vt (Z T HZ)v = se (a)-uppgiften ( ) T ( ) ( ) T ( ) v = + + v = + v + + v + v Genom att välja t ex ṽ = ( 6, ) T så blir f( x) = f( x + Zṽ) = + >, där alltså x = x + Zṽ = ( 6, 6, ) T

11 Uppgift 5 Problemet kan skrivas på formen: f(x) = x 4 + x4 + cx x + 4x + 4x 3, g (x) = 4 x x, g (x) = 4 x x 3, g 3 (x) = 4 x x 3 minimera f(x) då g i (x), i =,, 3, där Bivillkorsfunktionerna är linjära, och därmed även konvexa x Målfunktionen har Hessianen F(x) = x, cx 3 som är positivt semidefinit for alla x IR 3 om och endast om c För icke-negativa värden på konstanten c har vi alltså ett konvext optimeringsproblem Vidare uppfyller exempelvis x = (3, 3, 3) T samtliga bivillkor med strikt olikhet, så det betraktade problemet är ett regulärt konvext problem om c, vilket medför att ˆx är en globalt optimal lösning till problemet om och endast om ˆx är en KKT-punkt Om däremot c < så har problemet ingen optimal lösning (Låt exempelvis x(t) = (4, 4, t) T Detta är en tillåten lösning för varje värde på t, och om c < så gäller att f(x(t)) då t ) Uppgift 5(a) KKT-villkoren kan delas upp i fyra grupper enligt följande f 3 g i (KKT ) (x) + y i (x) =, för j =,, 3 : x j x j i= 4x y =, 4x y y 3 =, 4cx y 3 = (KKT ) Tillåten punkt, g i (x) för i =,, 3 : 4 x x, 4 x x 3, 4 x x 3 (KKT 3) Lagrangemultiplikatorerna icke-negativa: y,, y 3 (KKT 4) Komplementaritetsvillkor, y i g i (x) = för i =,, 3 : y (4 x x ) =, y (4 x x 3 ) =, y (4 x x 3 ) =

12 Uppgift 5(b) Antag först att x = (3, 3, ) T Då är 4 x x <, 4 x x 3 = och 4 x x 3 =, så KKT- är uppfyllt Vidare är KKT-4 uppfyllt om och endast om y = När y = så är KKT- uppfyllt om och endast om =, y 3 =, och 4c + 4 y 3 =, vilket är uppfyllt om och endast om =, y 3 = och c = 55 Då är även KKT-3 uppfyllt, och eftersom c = 55 så är x = (3, 3, ) T inte bara en KKT-punkt utan även en globalt optimal lösning när c = 55 Uppgift 5(c) Antag nu att x = (, 3, 3) T Då är 4 x x =, 4 x x 3 = och 4 x x 3 <, så KKT- är uppfyllt Vidare är KKT-4 uppfyllt om och endast om y 3 = När y 3 = så är KKT- uppfyllt om och endast om 8 y =, y =, och 8c + 4 = Men de två första av dessa villkor är uppfyllda endast om y = och = 4, vilket bryter mot KKT-3 Det går alltså inte att välja något värde på c som gör x = (, 3, 3) T till en globalt optimal lösning Uppgift 5(d) Antag slutligen att x = (,, ) T Då är 4 x x =, 4 x x 3 = och 4 x x 3 =, så KKT- och KKT-4 är uppfyllda Villkoren KKT kan nu skrivas y y 3 y + = 36, y + y 3 = 36, + y 3 = 3 c + 4 Lösningen till detta ekvationssystem är, med utnyttjande av den givna räknehjälpen, 36 = 36 = = 3 c c + 4 = c + = 34 6 c 6 c + 6 c + Vi ser att KKT-3 blir uppfyllda om och endast om c 34/6 = 7/8 och c /6 Men vi kräver enligt ovan även att c för att ett globalt optimum ska finnas Alltså: x = (,, ) T en global optimallösning om och endast om c 7/8