Lösningar till tentan i SF86/5 Optimeringslära, 3 juni, 25 Uppgift.(a) Första delen: The network is illustrated in the following figure, where all the links are directed from left to right. 3 5 O------O -6 \ / \ / \/ /\ / \ / \ 4 O------O -3 2 4 Let x = ( x 3, x 4, x 23, x 24 ) T, where the variable x ij stands for the flow in the link from node i to node j, and let c = ( c 3, c 4, c 23, c 24 ) T. Then the total cost for the flow is given by c T x. The flow balance conditions in the nodes can be written Ax = b, where A = and b = 5 4 6 3. Finally, the given directions of the links imply the constraints x. Then the minimum cost network flow problem can be formulated as: minimize c T x subject to Ax = b and x. (It is possible, and often recommended, to remove the last row in A and the corresponding last component in b to get a system without redundant equations.)
Uppgift.(a) Andra delen: The four different spanning trees are shown in the following figure, together wih the unique link flows which satisfy Ax = b. 2 3 6 3 5 3 3 O------O O------O O------O O O \ / \ / \ / 3\ / \ / 5\ / \/ -\ / \/ /\ \ / /\ 4/ \ \ / 6/ \ / \ \ / / \ O O O------O O------O O------O 2 4 2 4 4 2 3 4 2-2 4 Spanning Spanning Spanning Spanning tree tree 2 tree 3 tree 4 The link flows in the first spanning tree are calculated as follows: The only way to satisfy the supply constraint in node 2 is to let x 23 = 4. Then the only way to satisfy the demand constraint in node 3 is to let x 3 = 2. Then the only way to satisfy the supply constraint in node is to let x 4 = 3. Then the demand constraint in node 4 is also satisfied. The link flows in the second spanning tree are calculated as follows: The only way to satisfy the demand constraint in node 3 is to let x 3 = 6. Then the only way to satisfy the supply constraint in node is to let x 4 =. The only way to satisfy the supply constraint in node 2 is to let x 24 = 4. Then the demand constraint in node 4 is also satisfied. The link flows for the third and fourth spanning trees are calculated in a similar way. We see that in the spanning trees and 3, all the link flows are non-negative, so these two spanning trees correspond to feasible basic solutions, x = (2, 3, 4, ) T and x = (5,,, 3) T, respectively. which satisfy both Ax = b and x. But in the spanning trees 2 and 4, the flows are not non-negative in all links, so these two spanning trees correspond to infeasible basic solutions which satisfy Ax = b but not x. 2
Uppgift.(b) Först använder vi Gauss Jordans metod på den givna matrisen A = 2 2 Efter några enkla radoperationer erhålls matrisen = T. Nu är A överförd till trappstegsform med två trappstegsettor. En bas till R(A) = N (A T ) erhålls genom att som basvektorer välja de kolonner i A som svarar mot trappstegsettor i T, dvs kolonnerna nummer och 2 i A. De två vektorerna och utgör alltså en bas till N (A T ) Observera att de bägge ekvationssystemet Ax = och Tx = har exakt samma lösningsmängd, eftersom de enkla radoperationerna inte ändrar denna. Men den allmänna lösningen till Tx = erhålls genom att först sätta den variabel som inte svarar mot trappstegsettor, dvs x 3, till ett godtyckligt tal t, dvs x 3 = t, och därefter bestämma hur trappstegsvariablerna x och x 2 måste bero av t för att Tx = ska bli uppfyllt. Detta ger att den allmänna lösningen till Tx =, och därmed även till Ax =, är x = 2t, y 2 = t, y 3 = t, som kan skrivas x = Av detta framgår att vektorn x x 2 x 3 = 2 utgör en bas till N (A). 2 t, för t IR. Vi upprepar nu ovanstående metodik på matrisen A T =. 2 Efter några enkla radoperationer erhålls matrisen = T. Nu är A T överförd till trappstegsform med två trappstegsettor, i kolonnerna och 2. De två vektorerna och utgör alltså en bas till R(A T ) = N (A). Slutligen ges den allmänna lösningen till Ty =, och därmed även till A T y =, av y = t, y 2 = t, y 3 = t, så att vektorn utgör en bas till N (A T ). T T T T 2 2 Kontroll: = = = =.. 3
Uppgift 2.(a) Vi har ett LP-problem på standardformen där A = [ ] 2 2, b = minimera c T x då Ax = b, x, ( ) och c 4 T = (5, 6, 7, 8). Den förslagna lösningen har basvariablerna x och x 4, dvs β = (, 4) och δ = (2, 3). [ ] [ ] 2 2 Motsvarande basmatris ges av A β =, medan A δ =. Basvariablernas värden i baslösningen ges av x β = b, där vektorn b beräknas ur ekvationssystemet A β b = b, [ ] ) ( ) ) ( ) 2 ( b ( b 3 dvs =, med lösningen b = =, b2 4 b2 dvs x = 3 och x 4 =, vilket stämmer med förslaget. Vektorn y med simplexmultiplikatorerna värden erhålls ur systemet A [ ] ( ) ( ) ( ) ( ) T β y = c β, y 5 y dvs =, med lösningen y = =. 2 8 6 y 2 Reducerade kostnaderna för icke-basvariablerna [ ] ges av 2 r T δ = ct δ yt A δ = (6, 7) (, 6) = (6, 7) (4, 5) = (2, 2). Eftersom reducerade kostnaderna är icke-negativa så är den föreslagna lösningen optimal. x = 3, x 4 =, övriga x j =, med optimalvärdet = 23. y 2 4
Uppgift 2.(b) Efter införande av slackvariabler x 5 och x 6 får vi ett nytt LP-problem på standardformen där nu A = minimera [ ] 2 2, b = c T x då Ax = b, x, ( ) och c 4 T = (5, 6, 7, 8,, ). Vi startar från baslösningen ovan, med β = (, 4) och δ = (2, 3, 5, 6), som är en tillåten baslösning även till detta nya problem. Vektorerna b och y blir desamma som ovan. Reducerade kostnaderna för icke-basvariablerna [ ges nu av] 2 r T δ = ct δ yt A δ = (6, 7,, ) (, 6) = (2, 2,, 6). Eftersom r δ3 = r 5 = är minst, och <, ska vi låta x 5 bli ny basvariabel. Då behöver vi beräkna vektorn ā 5 ur systemet A β ā 5 = a 5, [ ] ) ( ) ) ( ) 2 (ā5 (ā5 /3 dvs =, med lösningen ā = =. /3 ā 25 Det största värde som den nya basvariabeln x kan ökas till ges av { } bi t max = min ā i5 > = i ā i5 /3 = b 2. ā 25 Minimerande index är i = 2, varför x β2 = x 4 inte längre får vara kvar som basvariabel. Dess plats tas av x 5. Nu är alltså β = (, 5) och δ = (2, 3, 4, 6). Motsvarande basmatris ges av A β = [ ā 25 ] [ ] 2 2, medan A δ =. Basvariablernas värden i baslösningen ges av x β = b, där vektorn b beräknas ur ekvationssystemet A β b = b, [ ] ) ( ) ) ( ) ( b ( b 4 dvs =, med lösningen b = =. b2 4 b2 3 Vektorn y med simplexmultiplikatorerna värden erhålls ur systemet A [ ] ( ) ( ) ( ) ( ) T β y = c β, y 5 y dvs =, med lösningen y = =. 5 y 2 Reducerade kostnaderna för icke-basvariablerna [ ges nu] av 2 2 r T δ = ct δ yt A δ = (6, 7, 8, ) (, 5) = (, 2, 3, 5). Eftersom reducerade kostnaderna är icke-negativa så är den aktuella lösningen optimal. x = 4, x 5 = 3, övriga x j =, med optimalvärdet = 2. y 2 5
Uppgift 2.(c) Det primala problemet P2 är på formen minimera c T x då Ax b och x. Det motsvarande duala problemet D2 är då på formen som utskrivet blir: maximera b T y då A T y c och y, maximera y + 4y 2 då y + y 2 5, 2y + y 2 6, y + y 2 7, 2y + y 2 8, y i, i =, 2. En noggrann figur ger att det tillåtna området är en fyrhörning med hörnen i pukterna (3, ), (, 4), (, 5) och (, ). Nivåkurvorna till målfunktionen y + 4y 2 är parallella linjer vinkelräta mot vektorn (, 4), med växande värden uppåt i figuren. Den nivåkurva som svarar mot det maximala värdet på målfunktionen i det tillåtna området ges ur figuren av linjen y + 4y 2 = 2 som går genom hörnpunkten (y, y 2 ) = (, 5). Denna hörnpunkt är alltså den optimala lösningen till det duala problemet D2. Duala målfunktionsvärdet är 2, vilket överensstämmer med optimalvärdet till P2. 6
Uppgift 3.(a) 2 The objective function is f(x) = 2 xt Hx + c T x, with H =, c = 2. 2 All the three given problems are QP problem with linear equality constraints, i.e. problems of the form: minimize f(x) subject to Ax = b, with f(x) as above. In the first problem, QP, A = [ ] and b = 3. Then the general solution to Ax = b, i.e. to x + x 2 + x 3 = 3, is given by x 3 ( ) x 2 = + v = x + Zv, for arbitrary values on v v and v 2. x 3 2 After the variable change x = x + Zv, we should solve the system (Z T HZ)v = Z T (H x + c), provided that Z T HZ is positive semidefinite. [ ] 2 Z T HZ = is positive definite (2 >, 2 >, 2 2 > ), and the system 2 [ ]( ) ( ) ( ) 2 (Z T HZ)v = Z T v 3 (H x+c) becomes =, with unique solution ˆv =. 2 v 2 3 This implies that ˆx = x + Zˆv = is the unique global optimal solution to QP. [ ] ( ) 2 In the second problem, QP2, A =, and b =. 2 The general solution to Ax = b is now (after some simple calculations) x x 2 = + v = x + z v, for arbitrary value on v. After the variable change x 3 x = x + z v, we should solve the system (z T Hz) v = z T (H x + c), provided that z T Hz is positive semidefinite. But z T Hz = 6 <, so z T Hz is not positive semidefinite. Thus, there is no global optimal solution to QP2. In the third problem, QP3, f(x) should be maximized, which is equivalent to minimize f(x) = 2 xt ( H)x + ( c) T x. Further, A = [ ] and b =. The general solution to Ax = b, i.e. to x 3 =, is given by x x 2 = + x 3 ( v v 2 ) = x + Zv, for arbitrary values on v and v 2. After the variable change x = x + Zv, we should solve the system (Z T ( H)Z)v = Z T (( H) x + ( c)), provided that Z T ( H)Z is positive semidefinite. [ ] But Z T ( H)Z = is not positive semidefinite, since <. Thus, there is no global optimal solution to QP3. 7
Uppgift 3.(b) v Låt, i QP2, x(v) = v = v Speciellt är x() = = ˆx (= den givna punkten). v Vidare är Ax(v) = b för alla v IR, och f(x(v)) = 3v 2 + 6v, som har en unik maxpunkt i v =. Det medför att varje punkt x(v) med v är en bättre tillåten lösning än ˆx. Välj exempelvis x = x() =. Då är x en tillåten lösning till QP2 med f( x) = < 3 = f(ˆx). ) v Låt, i QP3, x(v, v 2 ) = + ( v = v v 2. Speciellt är x(, ) = = ˆx. 2 Vidare är Ax(v, v 2 ) = b för alla v och v 2 IR, och f(x(v, v 2 )) = 2 + v + v 2 v v 2. Speciellt är f(ˆx) = f(x(, )) = 3, men detta är inte maxvärdet. Låt exempelvis x = x(2, ) = (2,, ) T. Då är x en tillåten lösning till QP3 med f( x) = f(x(2, )) = 4 > 3 = f(x(, )) = f(ˆx). Uppgift 3.(c) Några välkända fakta:.) Den kvadratiska funktionen f(x) = 2 xt Hx + c T x är konvex om och endast om matrisen H är positivt semidefinit. 2.) Den symmetriska matrisen H är positivt semidefinit om och endast om y T Hy för alla vektorer y. 3.) Den kvadratiska funktionen f(x) = 2 xt Hx + c T x är konkav om och endast om den kvadratiska funktionen f(x) är konvex, vilket enligt ovan är fallet om och endast om matrisen H är positivt semidefinit, dvs om och endast om y T Hy för alla vektorer y. I vårt fall är y T Hy = 2y y 2 2y 2 y 3 2y 3 y. Inspirerade av QP2 i (a)-uppgiften kan vi välja exempelvis y = z = (,, ) T. Då blir y T Hy = z T Hz = 6 <, vilket visar att f ej är en konvex funktion. Inspirerade av QP i (a)-uppgiften kan vi välja exempelvis y = (,, ) T = den första kolonnen i matrisen Z. Då blir y T Hy = 2 >, vilket visar att f ej är en konkav funktion. Slutsatsen är att den givna funktionen f varken är konvex eller konkav på IR 3. 8
Uppgift 4.(a) Ändra beteckningarna och låt variabelvektorn heta x, dvs x = (x, x 2, x 3 ) T = (x, y, r) T. m Då är f(x) = 2 h i (x) 2 = 2 h(x)t h(x), där i= h i (x) = (x a i ) 2 + (x 2 b i ) 2 x 3 och h(x) = (h (x),..., h m (x)) T. Gradienten av h i ges av ( h i (x) = x a i (x a i ) 2 + (x 2 b i ) 2, x 2 b i (x a i ) 2 + (x 2 b i ) 2, ), och h(x) betecknar m 3 matrisen med ovanstående gradienter till rader. Med givna data erhålls att f(x) = 2 (h (x) 2 + h 2 (x) 2 + h 3 (x) 2 + h 4 (x) 2 ), där h (x) = (x 2) 2 + x 2 2 x 3, h 2 (x) = x 2 + (x 2 ) 2 x 3, h 3 (x) = (x + ) 2 + x 2 2 x 3, h 4 (x) = x 2 + (x 2 + 8) 2 x 3. Startpunkten ska vara x () = (,, ) T. Då blir 2 h(x () ) =, f(x() ) = 4 och h(x () ) = 2 I Gauss-Newtons metod ska vi lösa systemet h(x () ) T h(x () )d = h(x () ) T h(x () ), 2 d 2 som här blir 2 d 2 = 2, med lösningen d () =. 4 d 3 Vi testar först t =, så att x (2) = x () + t d () = x () + d () = (,, ) T. Då blir h(x (2) ) = ( 2 2 + 2, 2 + 9 2, 2 2 + 2, 2 + 9 2 ) T = ( 22, 82, 22, 82 ) T (,,, ) T, så att f(x (2) ) = 2 h(x(2) ) T h(x (2) ) 2 ( + + + ) = 2 < 4 = f(x() ). Steglängden t = accepteras alltså, och x (2) = (,, ) T blir nästa iterationspunkt.. 9
Uppgift 4.(b) Låt (x, x 2 ) = koordinaterna för den gemensamma mittpunkten till C och C 2, z = kvadraten på radien för den mindre cirkeln C, och z 2 = kvadraten på radien för den större cirkeln C 2. Då kan problemet formuleras enligt följande i variablerna x, x 2, z och z 2 : minimera πz 2 πz då (x a i ) 2 + (x 2 b i ) 2 z, i =,..., m, (x a i ) 2 + (x 2 b i ) 2 z 2, i =,..., m.
Uppgift 5. Lagrangefunktionen kan skrivas L(x, y) = f(x) + y g (x) + y 2 g 2 (x) = = 2 (x2 + x2 2 + x2 3 + x2 4 ) + y (4 x x 2 x 3 x 4 ) + y 2 (k x 2x 2 3x 3 4x 4 ). KKT-villkoren kan delas upp i fyra grupper enligt följande. (KKT ) x L(x, y) = T : x T y (,,, ) y 2 (, 2, 3, 4) = (,,, ). (KKT 2) Tillåten punkt, dvs g i (x) för i =, 2 : (KKT 3) 4 (,,, ) T x och k (, 2, 3, 4) T x. Lagrangemultiplikatorerna icke-negativa: y och y 2. (KKT 4) Komplementaritetsvillkor, dvs y i g i (x) = för i =, 2 : y (4 (,,, ) T x) = och y 2 (k (, 2, 3, 4) T x) =. (KKT-3) medför att vi kan dela upp problemlösningen i fyra olika fall. Fall : y = och y 2 =. Här medför (KKT-) att x = (,,, ) T, vilket strider mot (KKT-2). Det finns alltså ingen KKT-punkt under Fall. Fall 2: y > och y 2 =. Här medför (KKT-) att x = y (,,, ) T, medan (KKT-4) medför att (,,, ) T x = 4. Tillsammans ger detta att y = och x = (,,, ) T, som uppfyller (KKT-2) om och endast om k. Om k = eller k = 5 så finns alltså ingen KKT-punkt under Fall 2. Men om k = 9 så uppfyller x = (,,, ) T, tillsammans med y = (, ) T, samtliga KKT-villkor. Fall 3: y = och y 2 >. Här medför (KKT-) att x = y 2 (, 2, 3, 4) T, medan (KKT-4) medför att (, 2, 3, 4) T x = k. Tillsammans ger detta att y 2 = k/3 och x = (k/3)(, 2, 3, 4) T, som uppfyller (KKT-2) om och endast om k 2. Om k = 9 eller k = så finns alltså ingen KKT-punkt under Fall 3. Men om k = 5 så uppfyller x = (.5,.,.5, 2.) T, tillsammans med y = (,.5) T, samtliga KKT-villkor. Fall 4: y > och y 2 >. Här medför (KKT-) att x = y (,,, ) T + y 2 (, 2, 3, 4) T, medan (KKT-4) medför att (,,, ) T x = 4 och (, 2, 3, 4) T x = k. Tillsammans ger detta att y = 6 k/2 och y 2 = 2 + k/5, som uppfyller y > och y 2 > om och endast om < k < 2. Om k = 9 eller k = 5 så finns alltså ingen KKT-punkt under Fall 3. Men om k = så uppfyller x = (.7,.9,.,.3) T, tillsammans med y = (.5,.2) T, samtliga KKT-villkor.
Målfunktionen är en kvadratisk funktion med Hessianen H = I = enhetsmatrisen som är positivt definit. Därmed är målfunktionen (strikt) konvex. Bivillkorsfunktionerna är linjära, och därmed konvexa. Alltså har vi ett konvext optimeringsproblem, och då utgör varje KKT-punkt en globalt optimal lösning till problemet. Således gäller följande: (a): Om k = 9 så är x = (,,, ) T en globalt optimal lösning. (b): Om k = så är x = (.7,.9,.,.3) T en globalt optimal lösning. (c): Om k = 5 så är x = (.5,.,.5, 2.) T en globalt optimal lösning. 2