Lösningar till tentan i 5B1760 Linjär och kvadratisk optimering, 17 december 2003.

Transkript

1 Lösningar till tentan i 5B7 Linjär och kvadratisk optimering, 7 december 3 Uppgift (a) 3 Vi använder Gauss-Jordans metod för att överföra A 3 5 till trappstegsform 3 7 Addition av ( ) gånger första raden till andra raden, samt addition av ( ) gånger första 3 raden till tredje raden, ger till resultat matrisen Addition av ( ) gånger andra raden till första raden, samt addition av ( ) gånger andra raden till tredje raden, ger till resultat matrisen T En bas till R(A) ges då av de kolonner i A som svarar mot trappstegsettor i T, dvs av vektorerna a (,, ) T och a (,, 3) T Låt matrisen U bestå av de nollskilda raderna i T, dvs de två översta raderna i T En bas till R(A T ) ges då av kolonnerna i U T, dvs av vektorerna (,,, ) T och (,,, ) T Uppgift (b) Angående första påståendet: x (, ) T är en tillåten lösning till P och y (, 7 5 )T är en tillåten lösning till D Så långt är allt väl Men x + 7x medan 8y + 9y Enligt dualitetssatsen är därmed påstående nr inte sant Angående andra påståendet: Med x (, ) T och y (3, ) T så gäller visserligen att x + 7x 8y + 9y Men y uppfyller inte alla bivillkor i D, så y är inte en tillåten lösning till D Påstående nr är därmed inte sant Angående tredje påståendet: Med x (, 9 )T och y (, 7 )T så gäller för det första att x uppfyller alla bivillkor i P, för det andra att y uppfyller alla bivillkor i D, och för det tredje att x +7x 575 8y +9y Enligt dualitetssatsen är därmed påstående nr 3 sant Angående fjärde påståendet: Med x (, ) T och y (, ) T så gäller visserligen att x + 7x 8y + 9y Men x uppfyller inte alla bivillkor i P, så x är inte en tillåten lösning till P Påstående nr är därmed inte sant

2 Uppgift (c) Låt a och a beteckna kolonnerna i den givna matrisen A Vi ska bestämma två ortonormala vektorer q och q som spänner upp samma underrum som a och a Gram-Schmidts metod ger att: p a (,,, ) T q p / p p / (,,, T ) p a (q T a ) q (,,, ) T (,,, T ) (,,, ) T q p / p p / (,,, T ) Nu är a p q q och a (q T a ) q + p q q + q, vilket innebär att A QR Uppgift (a) Vi utför radoperationer (Gauss-Jordan) på matrisen [ A b [ Addition av ( ) gånger första raden till andra raden ger Multiplikation av andra raden med ( /) ger Addition av ( ) gånger andra raden till första raden ger Här ser vi att en (av flera) lösningar till Ax b är x (,,, ) T Uppgift (b) De radoperationer som just utfördes i (a)-uppgiften medför [ att ekvationssystemet Ax är ekvivalent med ekvationssystemet Ux, där U Matrisen U är på trappstegsform, med två trappstegsettor Nollrummet N (A) har därmed dimensionen n r, och två basvektorer kan bestämmas på följande sätt: Först sätter man x 3 och x, varefter x och x väljs så att Ux, dvs x och x Det ger den ena basvektorn z (,,, ) T Sedan sätter man x och x 3, varefter x och x väljs så att Ux, dvs x och x Det ger den andra basvektorn z (,,, ) T En matris vars kolonner utgör en bas till N (A) är alltså Z

3 Uppgift (c) Vi har ett QP-problem på formen: minimera xt Hx + c T x då Ax b, där H, c, A och b är givna i texten En tillåten lösning x och en nollrumsmatris Z ges enligt (a) och (b)-uppgifterna av x och Z Varje tillåten lösning x kan nu skrivas på formen x x + Zv, för v IR Optimalt v erhålls genom att lösa ekvationssystemet (Z T HZ)v Z T (H x + c), ( ) ( ) ( ) v 5 som i vårt fall blir, med lösningen ˆv v 5 Optimal lösning till QP-problemet är då ˆx x + Zˆv 5 Uppgift 3(a) Vi har ett LP-problem på formen minimera c T x då Ax b, där A, b 3 och c Enligt instruktionen ska vi starta med α (,, ) och γ (3, 5) Då är ( ) A α, b α, A γ och b γ Man kan snabbt konstatera att matrisen A α är icke-singulär (exempelvis ger Gauss-Jordan till resultat 3 st trappstegsettor) Motsvarande baslösning x erhålls då ur ekvationssystemet A α x b α, dvs x x x 3, med lösningen x Sedan beräknas vektorn s γ A γ x b γ Eftersom s γ så är x en tillåten baslösning [ x x x 3 ( ) ( ) 3

4 Uppgift 3(b) Nu ska vi lösa problemet med Simplexmetoden, utgående från vår tillåtna baslösning x Då beräknas vektorn u ur ekvationssystemet A T αu c, dvs u 3 u 3 u, med lösningen u u u 3 u 3 3 Eftersom u 3 < sätter vi q 3 och beräknar vektorn d ur A α d e 3, dvs d d d, med lösningen d d d 3 d 3 Kantlinjen ges nu av x(t) x + t d med x och d enligt ovan Vidare beräknas vektorn g γ A γ d ( ) Nu är x(t) en tillåten lösning för varje t sådant att s γ + t g γ { } { sγj Eftersom g γ inte är beräknar vi ˆt min g γj < min j g γj, } Minsta kvoten inträffade för γ, vilket betyder att vi sätter p Iterationen avslutas med att α q α 3 och γ p γ 3 byter plats Andra iterationen: Nu är α (,, 3) och γ (, 5) Då är A α, b α, A γ och b γ ( ) Motsvarande baslösning x erhålls ur ekvationssystemet A α x b α, dvs x x x, med lösningen x x x 3 x 3 Därefter beräknas vektorn u ur ekvationssystemet A T αu c, dvs u 3 u u, med lösningen u u u 3 u 3 3 Eftersom u så är den aktuella baslösningen x en optimal lösning Därmed är vi klara och kan avbryta här

5 Uppgift (a) Att minimera Ax b är ekvivalent med att lösa normalekvationerna A T Ax A T b Vi utför därför radoperationer på matrisen [ A T A A T b [ [ Multiplikation av första raden med faktorn /3 ger 3 3 Addition av 3 gånger första raden till andra raden ger Mängden av lösningar till detta systemet ges av x + t, x t, för t IR, dvs x (, ) T + t (, ) T En lösning till normalekvationerna är alltså x (, ) T Sätt p A x (,, ) T Då gäller ekvivalensen A T Ax A T b Ax p Vi ska nu minimera x då Ax p Optimal lösning till detta problem ges av x A T u, där AA T u p Vi utför därför radoperationer på matrisen [ AA T p Multiplikation av första raden med faktorn / ger Addition av gånger första raden till andra raden, samt addition av ( ) gånger första raden till tredje raden, ger En (av flera) lösningar till detta system är û (,, ) T Därmed är ˆx A T û (, ) T den sökta MN-lösningen till MK-problemet Uppgift (b) Den sökta vektorn v är den vektor i R(A) som ligger närmast den givna vektorn b, dvs v Aˆx (,, ) T (Observera att v p) Eftersom underrummen R(A) och N (A T ) är varandras ortogonala komplement, så ges den sökta vektorn w N (A T ) av att w b v (,, ) T (Som en kontroll kan man konstatera att A T w ) 5

6 Uppgift 5(a) Vi ska här lösa följande optimeringsproblem i variabelvektorn x IR n (där n ): maximera Ax då x () Eftersom x x T x och Ax x T A T Ax så är ˆx en optimal lösning till problemet () om och endast om ˆx är en optimal lösning till problemet maximera x T A T Ax då x T x () Om vi inför matrisen H A T A så kan problemet () skrivas maximera x T Hx då x T x (3) Det är välkänt att om H har spektralfaktoriserats på formen H QΛQ T så ges en optimal lösning till problemet (3) av ˆx q, där q är första kolonnen i matrisen Q Det förutsätts här att egenvärdena till H är sorterade i fallande storleksordning, så att q är en normerad egenvektor svarande mot det största egenvärdet till H Antag nu att A har singulärvärdesfaktoriserats på formen A USV T Då är A T A VS T U T USV T VS T SV T, där V är en ortogonal n n matris medan S T S är en n n diagonalmatris med diagonalelementen σ,, σ r,, Det betyder att A T A här är spektralfaktoriserad med Λ S T S och Q V Enligt ovan ges då en optimal lösning till problemet () av ˆx v första kolonnen i matrisen V, förutsatt att singulärvärdena till A är sorterade i fallande storleksordning Vektorn v är alltså en egenvektor till A T A svarande mot det största egenvärdet σ 5 Därmed erhålls v som en normerad lösning till ekvationssystemet (A T A 5 I) x, som kan skrivas: x x x 3 x, med lösningen x k, där k är en godtycklig konstant Genom att välja k så att x får längden så erhålls den normerade egenvektorn v (5, 5, 5, 5) T, som alltså är en optimal lösning till problemet () Uppgift 5(b) Den matris av rangen som bäst approximerar A ges av X u σ v T Vi har att σ 5, v (5, 5, 5, 5) T och u Av σ (5, 5, 5, 5) T Vår sökta matris blir därför X u σ v T