Föreläsning 7: Kvadratisk optimering. 4. Kvadratisk optimering under linjära bivillkor

Transkript

1 Föreläsning 7: Kvadratisk optimering 1. Kvadratisk optimering utan bivillkor 2. Positivt definita och semidefinita matriser 3. LDL T faktorisering 4. Kvadratisk optimering under linjära bivillkor 5. Minsta kvadratproblem Föreläsning 7 1 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

2 Kvadratisk optimering utan bivillkor minimera 1 2 xt Hx + c T x + c 0 där H = H T R n n, c R n, c 0 R. Vanligt förekommande i tillämpningar, t.ex. linjär regression (modelanpassning) minimering av fysikaliskt betingade målfunktioner som t.ex. minimering av energi, varians, e.t.c. Kvadratisk approximation av olinjära optimeringsproblem Föreläsning 7 2 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

3 Kvadratiska termen Låt f(x) = 1 2 xt Hx + c T x + c 0 där H = H T R n n, c R n, c 0 R. Vi kan anta att matrisen H är symmetrisk. Om H inte är symmetrisk så gäller att x T Hx = 1 2 xt Hx (xt Hx) T = 1 2 xt (H + H T )x, d.v.s. x T Hx = x T Hx där H = 1 2 (H + HT ) är en symmetrisk matris. Föreläsning 7 3 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

4 Positivt definita och positivt semidefinita matriser Definition 1 (Positivt semidefinit). En symmetrisk matris H = H T R n n säges vara positivt semidefinit om x T Hx 0 för alla x R n Definition 2 (Positivt definit). En symmetrisk matris H = H T R n n säges vara positivt definit om x T Hx > 0 för alla x R n {0} Föreläsning 7 4 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

5 Metoder att avgöra om en symmetrisk matris H = H T R n n är positivt (semi) definit: LDL T faktorisering (lämpligt vid handräkning). Kapitel 26.6 i OK (Kapitel 7 i gula häftet). Uttnyttja matrisens spektralfaktorisering H = QΛQ T, där Q T Q = I och Λ = diag(λ 1,...,λ n ) där λ k är matrisens egenvärden. Från detta kan man se att H är positivt semidefinit om och endast om λ k 0, k = 1,...,n H är positivt definit om och endast om λ k > 0, k = 1,...,n ( Du kan läsa mer om detta i kapitel 8 i gula häftet (kursivt).) Föreläsning 7 5 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

6 LDL T faktorisering Sats 1 (26.21 i OK). En symmetrisk matris H = H T R n n är positivt semidefinit om och endast om det finns en faktorisering H = LDL T där d l d L = l 31 l D = 0 0 d l n1 l n2 l n d n och d k 0, k = 1,...,n. H är positivt definit om och endast om d k > 0, k = 1,...,n, i LDL T faktoriseringen. Bevis: Se kapitel 26.9 i OK (kapitel 7 i gula häftet). Föreläsning 7 6 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

7 Man erhåller LDL T faktoriseringen genom endera av följande metoder: Elementära rad och kolonnoperationer. Se kapitel och i OK (kapitel och i gula häftet). Kvadratkomplettering. Se kapitel 26.8 i OK (kapitel 7.8 i gula häftet). Föreläsning 7 7 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

8 Obegränsade Problem Låt f(x) = 1 2 xt Hx + c T x + c 0. Antag att H inte är positivt semidefinit. Då finns d R n sådant att d T Hd < 0. Det följer att f(td) = 1 2 t2 d T Hd + tc T d + c 0 då t Slutsats: Ett nödvändigt villkor för att f(x) skall ha ett minimum är att H är positivt semidefinit. Föreläsning 7 8 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

9 Antag att H är positivt semidefinit. Då kan vi använda faktoriseringen H = LDL T, vilket ger 1 min x 2 xt Hx + c T x + c 0 1 = min x 2 xt LDL T x + c T (L T ) 1 L T x + c 0 = min y 1,,y n = c 0 + n k=1 n k=1 1 2 d ky 2 k + c k y k + c 0 min y k 1 2 d ky 2 k + c k y k där vi introducerat de nya koordinaterna y = L T x och c = L 1 c. Vårt optimeringsproblem har separaterat till n oberoende skalära kvadratiska optimeringsproblem vilka var för sig är enkla att lösa. Föreläsning 7 9 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

10 Skalära Kvadratiska optimeringsproblem utan bivillkor Det skalära kvadratiska optimeringsproblemet minimera x R 1 2 hx2 + cx + c 0 har en ändlig lösning om, och endast om, h = 0 och c = 0, eller h > 0. I det första fallet så är optimum inte unikt. I det andra fallet så är 1 2 hx2 + cx + c 0 = 1 2 h(x + c/h)2 + c 0 c 2 /(2h), och optimum antas för x = c/h. Föreläsning 7 10 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

11 Separat lösning av minimeringsproblemen ger att ŷ = en minpunkt om [ ŷ 1... ŷ n ] T är (i) d k 0, k = 1,...,n (ii) d k ŷ k = c k (i) H är positivt semidefinit (ii) DL Tˆx = L 1 c Villkor (ii) kan ersättas med LDL Tˆx = c d.v.s. Hˆx = c. Vidare gäller att f(x) = 1 2 xt Hx + c T x + c 0 är nedåt obegränsad om (i) (ii) något d k < 0, eller någon av ekvationerna d k ŷ k = c k saknar lösning d.v.s. d k = 0 och c k 0 (i) H är ej positivt semidefinit (ii) ekvationen Hˆx = c saknar lösning Föreläsning 7 11 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

12 Ovanstånde resonemang kan sammanfattas i följande sats Sats 2. Låt f(x) = 1 2 xt Hx + c T x + c 0. Då är ˆx en minpunkt om (i) H är positivt semidefinit (ii) Hˆx = c Om H är positivt definit så är ˆx = H 1 c. Om H ej är positivt semidefinit eller Hx = c saknar lösning så är f nedåt obegränsad. Kommentar 1. Villkoret att Hx = c är lösbar är ekvivalent med att c R(H). Således har f en minpunkt om och endast om H är positivt semidefinit och c R(H). Föreläsning 7 12 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

13 Kvadratisk optimering med linjära bivillkor min x 1 2 xt Hx + c T x + c 0 då Ax = b (1) där H = H T R n n, A R m n, c R n, and b R m, and c 0 R. Vi antar att b R(A) och n > m, d.v.s. N(A) {0}. Antag att N(A) = ] span{z 1,...,z k } och definiera nollrumsmatrisen Z = [z 1... z k. Om A x = b så gäller att en godtycklig lösning till det linjära bivillkoret har formen x = x + Zv, för något v R k. Detta följer eftersom A( x + Zv) = A x + AZv = b + 0 = b Föreläsning 7 13 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

14 Med x = x + Zv insatt i f(x) = 1 2 xt Hx + c T x + c 0 får vi f(x) = 1 2 vt Z T HZv + (Z T (H x + c)) T v + f( x). Minimeringsproblemet (1) är således ekvivalent med min v 1 2 vt Z T HZv + (Z T (H x + c)) T v + f( x). Vi kan tillämpa Sats 2 vilket ger följande resultat. Sats 3. ˆx är en optimal lösning till (1) om (i) Z T HZ är positivt semidefinit. (ii) ˆx = x + Zˆv där Z T HZˆv = Z T (H x + c) Föreläsning 7 14 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

15 Kommentar 2. Det andra villkoret i satsen är ekvivalent med att det finns û R m så att H AT A 0 ˆx = û Bevis: Det andra villkoret i satsen kan skrivas c b Z T (H( x + Zˆv) + c) = 0 Eftersom N(A) = R(Z) så är detta ekvivalent med H( x } + {{ Zˆv } ) + c N(A) = R(A T ) ˆx Hˆx + c = A T û, för något û R m Föreläsning 7 15 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

16 Exempel: Analys av ett resistansnätverk I u 1 x 12 x 13 v 13 r 13 u 3 x 34 x 35 v 35 v 12 r 12 r 23 r 34 r 35 v 34 u 5 x 23 v 23 r 45 r 24 u 2 x 24 v 24 u 4 x 45 v 45 Vi skickar en ström I genom nätverket från nod 1 till nod 5. Vad blir lösningen till kretsekvationen? Föreläsning 7 16 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

17 Strömmen x ij går från i till nod j om x ij > 0. Kirschoff s strömlag ger Detta kan skrivas Ax = b där x = x 12 + x 13 = I x 12 x 23 x 24 = 0 x 13 + x 23 x 34 x 35 = 0 x 24 + x 34 x 45 = 0 x 35 + x 45 = I [ x 12 x 13 x 23 x 24 x 34 x 35 x 45 ] T, I A = , b = I Föreläsning 7 17 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

18 Nodpotentialerna betecknas u j, j = 1,...,5 Spänningsfallet över motståndet r ij betecknas v ij och ges av ekvationerna v ij = u i u j v ij = r ij x ij (Ohms lag) Detta kan också skrivas där u = v = A T u v = Dx [ u 1 u 2 u 3 u 4 u 5 ] T v = D = diag(r 12,r 13,r 23,r 24,r 34,r 35,r 45 ) [v 12 v 13 v 23 v 24 v 34 v 35 v 45 ] T Föreläsning 7 18 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

19 Elkretsens ekvationer: Ax = b v = A T u v = Dx D AT A 0 x = 0 b Eftersom D är positivt definit (r ij > 0) så är detta enligt kommentar 2 ekvivalent med optimalitetsvillkoren för följande optimeringsproblem minimera 1 2 xt Dx då Ax = b Föreläsning 7 19 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

20 Kommentar I avsnitten om nätverksoptimering såg vi att matrisen N(A) 0 (då kallades matrisen Ã) och att nollrummet svarade mot slingor i elkretsen. Elektricitetsteorin (Ohms lag + Kirchoffs lag) väljer ut den ström som svarar mot minst effektförlust. Detta följer eftersom målfunktionen kan skrivas 1 2 xt Dx = 1 2 r ij x 2 ij ij Föreläsning 7 20 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

21 Kommentar 3. Det är i regel en fördel att jorda en av noderna. Låt oss till exempel jorda nod 5 varvid u 5 = 0. I u 1 x 12 x 13 v 13 r 13 u 3 x 34 x 35 v 35 v 12 r 12 x 23 r 23 v 23 r 34 r 35 v 34 r 45 u 5 = 0 u 2 x 24 r 24 v 24 u 4 x 45 v 45 Föreläsning 7 21 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

22 Med potentialen i nod 5 fixerad till u 5 = 0 utgår sista kolonnen i spänningsekvationen v = A T u. Spänningsekvationen och strömbalansen kan ersättas med v = Ā T ū och Āx = b där I Ā =, b =, ū = Fördelen med detta är att raderna i Ā är linjärt oberoende. Detta underlättar lösningen av optimeringsproblemet. u 1 u 2 u 3 u 4 Föreläsning 7 22 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

23 Minsta kvadratproblem Tillämpning: Linjär regression (modellanpassing) e(t) s(t) y(t) System Problem: Anpassa en linjär regressionsmodell till mätdata. n Regressionsmodellen : y(t) = α j ψ j (t) ψ k (t), k = 1,...,n är regressorerna (kända funktioner) α k = k = 1,...,n är modellparametrarna (skall bestämmas) e(t) mätbrus (ej känd) j=1 s(t) observationer. Föreläsning 7 23 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

24 Idé för modellanpassning: Minimera kvadratsumman av prediktionsfelen minimera 1 2 =minimera 1 2 m n ( α j ψ j (t i ) s(t i )) 2 i=1 j=1 m (ψ(t i ) T x s(t i )) 2 i=1 =minimera 1 2 (Ax b)t (Ax b) (2) ψ(t) = ψ 1 (t)., x = ψ n (t) α 1. α n, A = ψ(t 1 ) T., b = ψ(t n ) T s(t 1 ). s(t n ) Föreläsning 7 24 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

25 Minsta kvadratproblemets (MK) lösning Minsta kvadratproblemet (2) kan ekvivalent skrivas minimera 1 2 xt Hx + c T x + c 0 där H = A T A, c = A T b, c 0 = 1 2 bt b. Vi noterar att H = A T A är positivt semidefinit eftersom x T A T Ax = Ax 2 0. c R(H) eftersom c = A T b R(A T ) = R(A T A) = R(H). Villkoren i Sats 2 och Kommentar (1) är uppfyllda och det följer att MK-skattningen ges av Hˆx = c A T Aˆx = A T b (Normal ekvationen) Föreläsning 7 25 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

26 Linjär algebratolkning N(A) N(A T ) R n A R m x n x b Aˆx ˆx = A T u R(A T ) Aˆx R(A) A T (b Aˆx) = 0 b Aˆx N(A T ) Normalekvationen kan skrivas Denna ortogonalitetsegenskap har en geometrisk tolkning villken illustreras i figuren ovan. Linjära algebrans fundamentalsats förklarar MK lösningen geometriskt. Föreläsning 7 26 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

27 MK skattningens unikhet Fall 1 Om kolonnerna i A är linjärt oberoende, d.v.s. N(A) = {0}, så gäller att H = A T A är positivt definit och därmed inverterbar. Normalekvationen har då den unika lösningen ˆx = (A T A) 1 Ab Fall 2 Om A har linjärt beroende kolonner, d.v.s. N(A) {0} så är det naturligt att välja den lösning med kortast längd. Från figuren på föregående sida ser vi att vi då skall låta ˆx = A T û, där AA T û = A x, där x är en godtycklig lösning till MK problemet. Föreläsning 7 27 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

28 Vårt val av ˆx i fall 2 kan ekvivalent tolkas som lösningen till det kvadratiska optimeringsproblemet minimera 1 2 xt x då Ax = A x Enligt Kommentar 2 ges lösningen till detta optimeringsproblem som lösningen till ekvationssystemet: I AT ˆx = A 0 û d.v.s. ˆx = A T û, där AA T û = A x 0 A x Föreläsning 7 28 Kvadratisk optimering - Ulf Jönsson & Per Enqvist

29 Läsanvisningar Kvadratisk optimering utan bivillkor: Kapitel 9 och 26 i OK (Blå häftet sidan Gula häftet sidan 36-49) Kvadratisk optimering under bivillkor: Kapitel 10 i OK. (Blå häftet sidan 11-20) Minsta-kvadratmetoden: Kapitel 11 i OK (11.7 och 11.9 kursivt) (Blå häftet sidan (sidan 24 läses kursivt)). Föreläsning 7 29 Kvadratisk optimering - Ulf Jönsson & Per Enqvist