Optimalitetsvillkor. Optimum? Matematisk notation. Optimum? Definition. Definition

Relevanta dokument
Extrempunkt. Polyeder

Olinjär optimering med bivillkor: KKT min f (x) då g i (x) 0 för alla i

Lösningsförslag till tentamen i SF1861 Optimeringslära för T. Onsdag 25 augusti 2010 kl

Lösningsförslag till tentamen i SF1861 Optimeringslära för T. Torsdag 28 maj 2010 kl

1 Ickelinjär optimering under bivillkor

1 Konvexa optimeringsproblem grundläggande egenskaper

TNK049 Optimeringslära

Lösningar till 5B1762 Optimeringslära för T, 24/5-07

TNK049 Optimeringslära

LP-problem. Vårt första exempel. Baslösningar representerar extrempunkter. Baslösningar representerar extrempunkter

1 Duala problem vid linjär optimering

5B1817 Tillämpad ickelinjär optimering. Optimalitetsvillkor för problem med linjära bivillkor.

Optimeringslära Kaj Holmberg

Speciell användning av heltalsvariabler. Heltalsprogrammering. Antingen-eller-villkor: Exempel. Speciell användning av heltalsvariabler

Optimeringslära Kaj Holmberg

Föreläsning 7: Kvadratisk optimering. 4. Kvadratisk optimering under linjära bivillkor

Optimeringslära Kaj Holmberg

Lösningar till SF1861 Optimeringslära, 28 maj 2012

Optimeringslära Kaj Holmberg

Lösningar till SF1861/SF1851 Optimeringslära, 24/5 2013

7 Extremvärden med bivillkor, obegränsade områden

Optimering med bivillkor

Flöde i nätverk. Flöde i nätverk. Specialfall av minkostnadsflödesproblemet

Lösningar till tentan i SF1861 Optimeringslära, 3 Juni, 2016

SF1626 Flervariabelanalys

min c 1 x 1 + c 2 x 2 då x 1 + x 2 = 1, x 1 {0, 1}, x 2 {0, 1} plus andra bivillkor. Vi måste göra k st av n alternativ:

Optimeringslära Kaj Holmberg

Lösningar till tentan i SF1861 Optimeringslära, 1 juni 2017

min c 1 x 1 + c 2 x 2 då x 1 + x 2 = 1, x 1 {0, 1}, x 2 {0, 1} plus andra bivillkor. Vi måste göra k st av n alternativ:

Lösningar till SF1852 Optimeringslära för E, 16/1 08

Optimeringslära Kaj Holmberg

Vårt första exempel. LP-dualitet: Exempel. LP-dualitet: Generellt. LP-dualitet: Relationer

Tentamensinstruktioner. När Du löser uppgifterna

LP-dualitet: Exempel. Vårt första exempel. LP-dualitet: Relationer. LP-dualitet: Generellt

Tentan , lösningar

1 Kvadratisk optimering under linjära likhetsbivillkor

Föreläsning 2: Simplexmetoden. 1. Repetition av geometriska simplexmetoden. 2. Linjärprogrammeringsproblem på standardform.

TMV036 Analys och linjär algebra K Kf Bt, del C

Optimeringsproblem. 1 Inledning. 2 Optimering utan bivillkor. CTH/GU STUDIO 6 TMV036c /2015 Matematiska vetenskaper

5B1817 Tillämpad ickelinjär optimering. Kvadratisk programmering med olikhetsbivillkor Active-set metoder

Examinator: Torbjörn Larsson Jourhavande lärare: Torbjörn Larsson, tel Tentamensinstruktioner. När Du löser uppgifterna

TAOP14: Optimeringslära SAMMANFATTNING OSKAR QVIST:

1 LP-problem på standardform och Simplexmetoden

Flöde i nätverk. Flöde i nätverk. Specialfall av minkostnadsflödesproblemet. Specialfall av minkostnadsflödesproblemet. Slutsats.

1 Linjära ekvationssystem. 2 Vektorer

5B1817 Tillämpad ickelinjär optimering. Metoder för problem utan bivillkor, forts.

Optimering med bivillkor

Lösningar/svar. Uppgift 1. Tekniska Högskolan i Linköping Optimering av realistiska sammansatta system. Optimeringslära Kaj Holmberg

z = min 3x 1 2x 2 + y Fixera y, vilket ger subproblemet

TAOP86/TEN 1 KOMBINATORISK OPTIMERING MED

TAOP88/TEN 1 OPTIMERING FÖR INGENJÖRER

Matriser. En m n-matris A har följande form. Vi skriver också A = (a ij ) m n. m n kallas för A:s storlek. 0 1, 0 0. Exempel 1

6.1 Skalärprodukt, norm och ortogonalitet. TMV141 Linjär algebra E VT 2011 Vecka 6. Lärmål 6.1. Skalärprodukt. Viktiga begrepp

Tentamensinstruktioner. När Du löser uppgifterna

TAOP88/TEN 1 OPTIMERING FÖR INGENJÖRER

Tentamen TMA946/MAN280 tillämpad optimeringslära

5 Lokala och globala extremvärden

1 Positivt definita och positivt semidefinita matriser

TAOP88/TEN 1 OPTIMERING FÖR INGENJÖRER

TAOP88/TEN 1 OPTIMERING FÖR INGENJÖRER

TAOP86/TEN 1 KOMBINATORISK OPTIMERING MED

Linjärprogrammering (Kap 3,4 och 5)

Flöde i nätverk. Flöde i nätverk. Specialfall av minkostnadsflödesproblemet

TAOP86/TEN 1 KOMBINATORISK OPTIMERING MED

10.4. Linjära höljet LINJÄRA RUM

Tentamensinstruktioner. När Du löser uppgifterna

När det gäller en motor kanske man vill maximera verkningsgraden för att hålla nere bränslekostnaden men inte till vilket pris som helst.

TAOP86/TEN 1 KOMBINATORISK OPTIMERING MED

1. Vad är optimering?

Vektorgeometri för gymnasister

Eulercykel. Kinesiska brevbärarproblemet. Kinesiska brevbärarproblemet: Metod. Kinesiska brevbärarproblemet: Modell. Definition. Definition.

Föreläsning 5. Approximationsteori

Linjärprogramming. EG2205 Föreläsning 7, vårterminen 2015 Mikael Amelin

SF1626 Flervariabelanalys Lösningsförslag till tentamen DEL A. 1. En svängningsrörelse beskrivs av

Optimeringslära Kaj Holmberg. Lösningar/svar. Iteration 2: x 2 s

Sätt t = (x 1) 2 + y 2 + 2(x 1). Då är f(x, y) = log(t + 1) = t 1 2 t t3 + O(t 4 ) 1 2 (x 1) 2 + y 2 + 2(x 1) ) 2 (x 1) 2 + y 2 + 2(x 1) ) 3

TAOP86/TEN 1 KOMBINATORISK OPTIMERING MED

TAOP33/TEN 2 KOMBINATORISK OPTIMERING GRUNDKURS för D och C

TAOP88/TEN 1 OPTIMERING FÖR INGENJÖRER

Tentamen i tmv036c och tmv035c, Analys och linjär algebra C för K, Kf och Bt A =, = det(a λi) = e 2t + c 2. x(t) = c 1. = c 1.

Lösningar till utvalda uppgifter i kapitel 8

Detta cosinusvärde för vinklar i [0, π] motsvarar α = π 4.

Vektorgeometri för gymnasister

Tentamensinstruktioner. När Du löser uppgifterna

När det gäller en motor kanske man vill maximera verkningsgraden för att hålla nere bränslekostnaden men inte till vilket pris som helst.

TAOP33/TEN 2 KOMBINATORISK OPTIMERING GRUNDKURS för D och C. Tentamensinstruktioner. När Du löser uppgifterna

Optimeringslära för T (SF1861)

Lösningar till tentan i SF1861/51 Optimeringslära, 3 juni, 2015

TMA 671 Linjär Algebra och Numerisk Analys. x x2 2 1.

Norm och QR-faktorisering

Area och volym Punktposition Konvexa höljet. Geometri. Douglas Wikström KTH Stockholm

TAOP88/TEN 1 OPTIMERING FÖR INGENJÖRER

Träd. Sats. Grafer. Definition. En fullständig graf har en båge mellan varje par av noder. Definition

Kap Globala extremvärden, extremproblem med bivillkor.

Uppsala Universitet Matematiska Institutionen Bo Styf. Sammanfattning av föreläsningarna

Lösningar till tentan i 5B1760 Linjär och kvadratisk optimering, 17 december 2003.

5B1816 Tillämpad mat. prog. ickelinjära problem. Optimalitetsvillkor för problem med ickelinjära bivillkor

De optimeringsproblem som kommer att behandlas i denna kurs kan alla (i princip) skrivas. 1 2 xt Hx + c T x. minimera

Optimeringslära Kaj Holmberg

Transkript:

Optimum? När man har formulerat sin optimeringsmodell vill man lösa den Dvs finna en optimal lösning, x, till modellen Nästan alltid: Sökmetoder: Stå i en punkt, gå till en annan (bättre Upprepa, tills punkten är optimal Viktigt att kunna inse optimalitet, dvs förstå om punkten man står i är optimal För då ska man sluta Ibland får man en lösning av någon annan, och vill veta om den är optimal Vi behöver därför optimalitetsvillkor Optimalitetsvillkor En viss punkt är inte optimal om vi vill och får gå till en annan punkt, dvs om det finns någon punkt som är bättre (enligt målfunktionen och tillåten (enligt bivillkoren En punkt är inte optimal om det finns en tillåten förbättringsriktning (Lokalt kriterium Gäller omvändningen? Vi är närsynta! Vad händer utanför vårt synfält? Vilka slutsatser kan man dra av lokala egenskaper? Är lösningen lokalt optimal? Är lösningen globalt optimal? För att kunna säga något säkert behövs exakta matematiska definitioner Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 / 35 Matematisk notation Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 2 / 35 Optimum? Globalt minimum: En punkt som är bäst (rita Se sida 53 i boken 2 Inga vektorstreck Vektorer: kolumnvektorer Matriser versaler 3 : för alla En punkt x är globalt minimum i X om f (x f (x för alla x X 4 Skalärprodukt: c T x = j c jx j 5 A medför B: A B 6 Element i S som inte är i T : S \ T 7 Optimala värden på x: x Lokalt minimum: En punkt som är bäst för närsynta (rita En punkt x är lokalt minimum i X om f (x f (x för alla x X som är nära x (Tex för alla x X : x x δ Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 3 / 35 Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 4 / 35

Konvexitet Konvex mängd: Innehåller alla linjesegment mellan punkter i mängden (rita En mängd X är konvex om λx ( + ( λx (2 X för alla x ( X, x (2 X, λ Man kan se alla punkterna i en konvex mängd från vilken punkt som helst Exempel: Halvrum Ett linjärt bivillkor Kombinerade mängder: Snittet av konvexa mängder är konvext (rita Sats Om X i är konvex för alla i så är X = i X i konvex Exempel: Flera halvrum Flera linjära bivillkor Extrempunkt Konvexkombination: En punkt innanför de andra (rita ˆx är en konvexkombination av punkterna x (k, k =,, p, om ˆx = λ k x (k, där λ k = och λ k för alla k k k Exempel: Mittpunkt λ k = /p Extrempunkt: En punkt som inte är en konvexkombination av två andra tillåtna punkter (rita ˆx är en extrempunkt i X om ˆx = λx ( + ( λx (2, där x ( X, x (2 X och < λ <, endast är möjligt om x ( = x (2 Exempel: Origo (under bivillkoren x i för alla i Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 5 / 35 Konvexa höljet Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 6 / 35 Polyeder Konvexa höljet: Alla konvexkombinationer (rita Sats/ För en begränsad mängd S består conv(s av alla konvexkombinationer av punkter i S Konvexa höljet av S är den minsta konvexa mängden som innehåller S Skärningen av alla konvexa mängder som innehåller en viss mängd S kallas det konvexa höljet av S och betecknas med conv(s Exempel: S = {(,, (,, (, } conv(s ges av x, x 2, x + x 2 Mängd med raka kanter Polyeder: (rita Skärningen av ändligt många halvrum kallas polyeder Exempel: x + x 2, x, x 2 Exempel: x + x 2 =, x, x 2 Exempel: Ax b Exempel: Ax = b, x En polyeder har ändligt många extrempunkter Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 7 / 35 Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 8 / 35

Konvex funktion Konvex funktion: Glad mun Snäll funktion för minimering (rita Linjesegmentet mellan två punkter ligger ovanför funktionen En funktion f (x är konvex om f (λx ( + ( λx (2 λf (x ( + ( λf (x (2 för alla x (, x (2, λ Exempel: f (x = x 2 Exempel: f (x = 3x Bivillkor definierade av en funktion: (rita Sats Om g(x är en konvex funktion, så ger punkterna som uppfyller g(x b en konvex mängd Exempel: x 2 3 x 2 + x 2 2 7 Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 9 / 35 Differentierbar konvex funktion Egenvärden hos Hessianen: (jämför med andraderivator i endimensionella fallet Positivt semidefinit matris egenvärden Positivt definit matris egenvärden > Sats Om f (x är en två gånger kontinuerligt differentierbar funktion, så är f (x konvex om dess hessian H(x är positivt semidefinit, och strikt konvex om H(x är positivt definit Beräkna egenvärden och kolla Metod med underdeterminanter: Om varje ledande underdeterminant är positiv, är alla egenvärden positiva En ledande underdeterminant, h k, beräknas med de k första raderna och kolumnerna, dvs alla kvadratiska delmatriser som börjar i övre vänstra hörnet Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 / 35 Konvex funktion Kombinera konvexa funktioner: f (x + f 2 (x är konvex om f (x och f 2 (x är konvexa kf (x är konvex om f (x är konvex och k Tillsammans: Sats Om f i (x är konvexa funktioner och α i, så är f (x = i Exempel: f (x = 2x 2 + 3x 2 2 α i f i (x konvex Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 / 35 Differentierbar konvex funktion Exempel: min x 2 + 2x 2 2 2x x 2 ( 2x 2x Gradienten är f (x = 2 4x 2 2x ( 2 2 Hessianen är H(x = 2 4 Dess egenvärden är 3 5 7639 och 3 + 5 5236, båda positiva, så Hessianen är positivt definit, vilket visar att funktionen f (x är konvex Metod med underdeterminanter: h = 2 > h 2 = 2 4 ( 2 ( 2 = 8 4 = 4 > Så alla ledande underdeterminanter är positiva, vilket betyder att alla egenvärden är positiva, Hessianen är positivt definit, och funktionen f (x är konvex Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 2 / 35

Konvexitetskontroll Praktisk konvexitetskontroll av funktion: Dela upp i konvexa bitar Använd satserna I värsta fall beräkna egenvärden Kända konvexa funktioner: f (x = a (konstant f (x = x j (belopp f (x = x 2 j (kvadrat f (x = a ij x j (linjär j Konvext problem (min: Konvex målfunktion, konvex tillåten mängd Varför är detta intressant? Ett lokalt optimum i ett konvext problem är alltid ett globalt optimum! Mot optimum Flervariabelanalyskunskap: Gradienten, f (x, anger lutningen av funktionen f (x Den pekar i den riktning där funktionen f (x ökar snabbast Vill man maximera f (x är f (x en bra riktning att gå i (Vill man minimera f (x är f (x en bra riktning att gå i Exempel: min x 2 + 2x 2 2 Är punkten ˆx =, ˆx 2 = optimal? ( ( 2x 2 Gradienten är f (x =, och i punkten f (ˆx = 4x 2 4 ( 2 Alltså kan vi gå i riktningen d = för att få bättre punkter 4 Punkten ˆx =, ˆx 2 = är inte optimal, för det finns bättre punkter (i närheten Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 3 / 35 Olinjär optimering utan bivillkor min f (x Gradienten f (x anger funktionens lutning Var ligger optimum? f (x konvex, differentierbar: f (ˆx = ˆx är globalt minimum f (x ej konvex, men differentierbar: f (ˆx = Lutningen är noll ˆx kan vara ett lokalt minimum, ett lokalt maximum eller en sadelpunkt ( Exempel: min f (x = x 2 + 2x 2 2 Gradienten är f (x = 2x 4x 2 f (x = ger x = och x 2 = Eftersom f (x är konvex, är detta globalt minimum ( Exempel: min f (x = x 2 2x 2 2 Gradienten är f (x = 2x 4x 2 f (x = ger x = och x 2 = Men f (x är inte konvex (Detta är faktiskt maximum Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 5 / 35 Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 4 / 35 Olinjär optimering utan bivillkor I en avtaganderiktning minskar funktionsvärdet I en ökanderiktning ökar funktionsvärdet En riktning d är en avtaganderiktning för f (x i x om f (x T d < En riktning d är en ökanderiktning för f (x i x om f (x T d > En ökanderiktning pekar in i samma halvrum som gradienten, en avtaganderiktning gör inte det ( Exempel: Är riktningen d = en avtaganderiktning till funktionen ( 2 f (x = x 2 + 2x 2 2 i punkten ˆx =? 3 ( ( 2x 4 f (x = f (ˆx = Så f (ˆx 4x 2 2 T d = 4 2 = 8 < Ja, det är en avtaganderiktning Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 6 / 35

Olinjär optimering med bivillkor Var ligger optimum? min f (x då g i (x i =,, m Inga aktiva bivillkor: Som utan bivillkor f (x = Ett eller flera aktiva bivillkor: Det får inte finnas någon tillåten förbättringsriktning f (x är den mest önskade riktningen (brantaste lutningen Alla riktningar d med f (x T d < är avtaganderiktningar g i (x är den mest förbjudna riktningen (utåtriktade normalen till bivillkoret g i (x Alla riktningar d med g i (x T d > är förbjudna Så hur vet man om alla avtaganderiktningar är förbjudna? Exempel Exempel: min x 2 + x 2 2 x x 2 x x 2 då x + x 2, x 2 4 Skriv bivillkoren som g (x = x + x 2, g 2 (x = x 2 4 Gradienter: ( 2x x f (x = 2 x + 2x 2 Är ˆx = 6, ˆx 2 = 4 optimal? Är punkten tillåten? Kolla: g (ˆx = Tillåtet Bivillkoret aktivt g 2 (ˆx = Tillåtet Bivillkoret aktivt (, g (x = Punkten är ( tillåten Båda bivillkoren aktiva 2 f (ˆx = 8 Rita! (, g 2 (x = Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 7 / 35 Exempel Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 8 / 35 Olinjär optimering med bivillkor: Optimalitetsvillkor Problemet: min f (x då g i (x i =,, m Karush-Kuhn-Tuckervillkoren: Punkten ˆx är en KKT-punkt om följande är uppfyllt KKT: g i (ˆx för alla i KKT2: u i g i (ˆx = för alla i m KKT3: f (ˆx + u i g i (ˆx = i= KKT4: u i för alla i Nej, förbättringsriktningarna täcks helt av de förbjudna riktningarna Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 9 / 35 En KKT-punkt är optimal om problemet är konvext Vad är detta??? Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 2 / 35

Olinjär optimering med bivillkor: Optimalitetsvillkor Analys av KKT-villkoren för problemet: min f (x då g i (x i =,, m Vi ska kontrollera om punkten ˆx är en KKT-punkt KKT: g i (ˆx för alla i Först kontrollerar vi om punkten är tillåten KKT2: u i g i (ˆx = för alla i Vi ska göra en projektion av målfunktionen på de aktiva bivillkoren För att bara få med de aktiva bivillkoren, ser vi till att u i = för alla icke aktiva bivillkor, dvs de som har g i (ˆx < (I två dimensioner kan man se detta grafiskt Olinjär optimering med bivillkor: Optimalitetsvillkor Analys av KKT-villkoren för problemet: min f (x då g i (x i =,, m Vi har gjort KKT och KKT2, så vi vet att punkten är tillåten, och har sett till att u i = för alla icke aktiva bivillkor Nu är det dags att göra projektionen m KKT3: f (ˆx + u i g i (ˆx = i= som är samma som f (ˆx = u i g i (ˆx i Observera att f (ˆx är vår önskeriktning, medan g i (ˆx är utåtriktade normaler till bivillkoren, dvs de mest förbjudna riktningarna Vi skriver önskeriktningen som en kombination av förbjudna riktningar Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 2 / 35 Olinjär optimering med bivillkor: Optimalitetsvillkor Vi har gjort projektionen f (ˆx = u i g i (ˆx i Påstående: Om u i för alla i, så är alla förbättringsriktningar otillåtna Multiplicera med en valfri riktning d: f (ˆx T d = u i g i (ˆx T d i Om d är en tillåten riktning, så är g i (ˆx T d för alla i Om u i för alla i, så blir u i g i (ˆx T d, i vilket betyder att f (ˆx T d, dvs f (ˆx T d, vilket visar att d inte är en avtaganderiktning Å andra sidan, om något u i <, så gäller inte detta Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 22 / 35 Olinjär optimering med bivillkor: Optimalitetsvillkor Vi vet nu att KKT4 tillsammans med KKT3, KKT2 och KKT bevisar att ingen tillåten förbättringsriktning finns i punkten ˆx, så ˆx kan vara optimal En sådan punkt kallas KKT-punkt För att en KKT-punkt säkert ska vara optimal, krävs konvexitet Annars kan det vara ett lokalt optimum eller en sadelpunkt (eller någon annan konstig punkt Detta är ett sätt att kontrollera om en viss given punkt är optimal Då är nämligen alla gradienter givna, och bara u behöver lösas ut Detta kan göras eftersom KKT3 då ger ett linjärt ekvationssystem Detta visar behovet av: KKT4: u i för alla i Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 23 / 35 Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 24 / 35

Olinjär optimering med bivillkor: Optimalitetsvillkor min f (x då g i (x i =,, m Karush-Kuhn-Tuckervillkoren: Punkten ˆx är en KKT-punkt om följande är uppfyllt KKT: g i (ˆx för alla i (Tillåtenhet KKT2: u i g i (ˆx = för alla i (Plocka bort inaktiva bivillkor m KKT3: f (ˆx + u i g i (ˆx = (Projektion i= KKT4: u i för alla i (Kolla riktning KKT3 är ett linjärt ekvationssystem i u som kan lösas metodiskt Tolkning av KKT-villkoren KKT tar bort otillåtna punkter KKT2 tar bort inaktiva bivillkor KKT3 projicerar önskeriktningen f (x på aktiva bivillkors normaler g i (x KKT4 kontrollerar att önskeriktningen f (x ligger i konen som spänns upp av aktiva bivillkors normaler g i (x, dvs att alla förbättringsriktningar är otillåtna Hur gör man med likhetsbivillkor? De är alltid aktiva, och u i < är tillåtet, så KKT2 och KKT4 faller bort för dessa bivillkor Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 25 / 35 Vårt tidigare exempel Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 26 / 35 Grafisk tolkning av KKT-villkoren min x 2 + x 2 2 x x 2 x x 2 då x + x 2, x 2 4 Är ˆx = 6, ˆx 2 = 4 optimal? ( ( 2 f (ˆx =, g 8 (x = (, g 2 (x = KKT: Är punkten tillåten? g (ˆx = Tillåtet Bivillkoret aktivt KKT2: u behöver inte vara noll g 2 (ˆx = Tillåtet Bivillkoret aktivt KKT2: u 2 behöver inte vara noll Punkten är tillåten KKT2: Inget av u eller u 2 måste vara noll ( ( ( ( 2 KKT3: + u 8 + u 2 = Dvs u = 2, u + u 2 = 8, vilket ger u = 2, u 2 = 6 KKT4 uppfyllt, u och u 2 Punkten är optimal, ty den är en KKT-punkt och problemet är konvext En tillåten förbättringsriktning finns Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 27 / 35 Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 28 / 35

Grafisk tolkning av KKT-villkoren KKT-villkoren och optimalitet En KKT-punkt kan vara optimum Om problemet är konvext, så är en KKT-punkt ett globalt optimum Om problemet inte är konvext kan det finnas KKT-punkter som inte är optimala Vissa KKT-punkter kan vara lokala optima Det finns vissa krav, kallade CQ (Constraint Qualification, för att optimum ska vara en KKT-punkt, bla: Linjärt oberoende normaler för aktiva bivillkor Konvext tillåtet område med inre punkt Om inget CQ är uppfyllt, kanske det inte finns någon KKT-punkt (CQ kan i denna kurs antas vara uppfyllda Slutsats: Om f (x ligger i konen av g i (x är det optimum Om något CQ är uppfyllt, och problemet är konvext, är alltså optimum och bara optimum är en KKT-punkt Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 29 / 35 KKT-villkoren: Exempel Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 3 / 35 KKT-villkoren: Exempel Exempel: min f (x = x 2 + 2x 2 2 då g(x = x + x 2 + Är ˆx = 5 och ˆx 2 = 5 optimal? KKT: Punkten är tillåten KKT2: Bivillkoret är aktivt (Så u behöver inte vara ( ( KKT3: f (ˆx =, och g(ˆx = 2 ( ( ( KKT3 blir + u =, 2 vilket betyder u = och u = 2 Ej lösbart ˆx är alltså ingen KKT-punkt Exempel: min x 2 + 2x 2 2 då x + x 2, x, x 2 Skriv bivillkoren som g (x = x x 2 +, g 2 (x = x, g 3 (x = x 2 ( ( ( 2x Gradienter: f (x =, g 4x (x =, g 2 2 (x = ( g 3 (x = ( ( ( ( ( 2x KKT3: + u 4x + u 2 2 + u 3 = Sätt in de punkter som ska testas, Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 3 / 35 Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 32 / 35

KKT-villkoren: Exempel KKT-villkoren: Exempel Är ˆx = och ˆx 2 = optimal? KKT: Punkten är tillåten KKT2: g (ˆx = (u behöver inte vara KKT2: g 2 (ˆx = < (u 2 = KKT2: g 3 (ˆx = (u 3 behöver inte vara ( 2 KKT3: f (ˆx = ( ( ( 2 KKT3 blir + u + u 3 = ( dvs 2 u =, u u 3 =, vilket har lösningen u = 2 och u 3 = 2 ˆx är ingen KKT-punkt, ty u 3 <, Är ˆx = och ˆx 2 = optimal? KKT: Punkten är tillåten KKT2: g (ˆx = (u behöver inte vara KKT2: g 2 (ˆx = (u 2 behöver inte vara KKT2: g 3 (ˆx = < (u 3 = ( KKT3: f (ˆx = 4 ( ( ( KKT3 blir + u 4 + u 2 = ( dvs u u 2 =, 4 u =, vilket har lösningen u = 4 och u 2 = 4 ˆx är ingen KKT-punkt, ty u 2 <, Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 33 / 35 Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 34 / 35 KKT-villkoren: Exempel Istället för att ange en punkt kan man anta vilka bivillkor som är aktiva (Detta fungerar bara ibland Antag att x + x 2 är aktivt och att x > och x 2 > Dvs g (ˆx =, g 2 (ˆx < och g 3 (ˆx < KKT2 ger då u 2 = och u 3 = ( ( ( 2x KKT3 blir då + u 4x =, 2 vilket betyder 2x u = och 4x 2 u = Lös ut x i u: x = u /2 och x 2 = u /4 Antagandet x + x 2 = ger då x + x 2 = u /2 + u /4 =, vilket ger u = 4/3, och x = 2/3 och x 2 = /3 Detta en KKT-punkt, ty u >, och globalt optimum, ty problemet är konvext Kaj Holmberg (LiU TAOP86 Optimering 26 augusti 26 35 / 35