TNK049 Optmerngslära Clas Rydergren, ITN Föreläsnng 10 Optmaltetsvllkor för cke-lnjära problem Icke-lnjär optmerng med bvllkor Frank Wolfe-metoden
Agenda Optmaltetsvllkor för cke-lnjära problem Grafsk tolknng (kap 11.1) Nödvändga och tllräcklga vllkor för optmaltet (kap 11.3) Formulerng av Karush Kuhn Tucker (KKT)-vllkoren (kap 11.4) Icke-lnjär målfunkton och lnjära bvllkor Frank Wolfe-metoden (kap 1.1)
Ascent- och descentrktnng Betrakta mn då f g () ( ) b, 1,...,m I punkten är gradenten f () den rktnng vlken funktonen väer mest. Alla rktnngar som avvker mndre än 90 º från gradenten är ascentrktnngar. f T ( ) d 0 Detta kan tecknas: d är en ascentrktnng tll f. I punkten är rktnngen f () den rktnng vlken funktonen avtar mest. Alla rktnngar som avvker mndre än 90 º från f () är descentrktnngar. f T ( ) d 0 Detta kan tecknas: d är en descentrktnng tll f. 3
Eempel: Ej optmum mn f ( ), då g ( ) b, 1,...,m g ( 3 ) Tllåtet område här! d g 1 ( ) Här gäller: f d > 0 Det fnns alltså en tllåten descentrktnng tll f. Då kan nte vara optmum tll mnproblemet. g ( ) f () g ( 3 ) g 1 ( ) 4
Eempel: Optmum mn f ( ), då g ( ) b, 1,...,m g ( 3 ) Här gäller: Om f d > 0 så är d en otllåten rktnng. Det fnns alltså ngen tllåten descentrktnng tll f. Då är optmum tll mn-problemet. Tllåtet område här! g 1 ( ) g g 1 ( ) 3( ) f ( ) g ( ) 5
Formell defnton En kon som spänns upp av vektorerna h 1 och h består av alla vektorer som kan skrvas som en cke-negatv lnjärkombnaton av h 1 och h. Detta kan tecknas som: C = y y = α 1 h 1 + α h ; α 1, α > 0 h 1 Ett nödvändgt krav för att ska vara optmum ( ett mn-problem) är att f lgger den kon, som defneras av normalerna tll de aktva bvllkoren. Dessutom måste vara tllåtet med avseende på alla bvllkor. y h Och så måste komplementartet gälla, så att dualvarablerna v = 0 de bvllkor som nte är aktva. 6
Karush Kuhn Tucker (KKT)-vllkoren (för optmaltet ett cke-lnjärt problem) mn f ( ), då g ( ) b, 1,...,m Karush Kuhn Tucker (KKT)-vllkoren tll detta problem är: f ( ) m v g 1 ( ) v 0, 1,..., m Dual tllåtenhet g ( ) b, 1,..., m b g ( ) 0, 1 m v,..., Prmal tllåtenhet Komplementartet 7
Tllräcklga och nödvändga vllkor (för optmaltet ett cke-lnjärt problem) mn f ( ), då g( ) b, 1,...,m,v uppfyller KKT-vllkoren. Problemet är konvet. Tllräcklga vllkor för optmaltet. SATS 11.3 är ett lokalt och globalt optmum. Nödvändga vllkor för optmaltet. är ett lokalt optmum. Det fnns ett v v, sådant att Vssa regulartetskrav. SATS 11.,v uppfyller KKT-vllkoren. 8
Formulerng av KKT-vllkor Se upp med tecknen på dualvarablerna! Skrv på normalform! mn f () då g ( ) b, 1,...,m ma f () då g ( ) b, 1,...,m Då ska dualvarablerna vara cke-negatva. Icke-normal form cke-postv dualvarabel. Lkhet Dualvarabel utan tecken-krav. Eempel! Boken blandar hop normalform och standardform kap 11.4. 9
Metoder för cke-lnjär optmerng med bvllkor Karush Kuhn Tucker-vllkoren kan användas för att verfera optmaltet hos en optmum-kanddat.? * De utgör dock ngen metod att fnna. I den här kursen ska v ttta på en sådan metod: Frank Wolfe: konve målfunkton lnjära bvllkor Frank Wolfe används bl a trafkplanerng. (Lab Trafknformatk, KTS 4.) specalfall där LP-problemet blr bllgaste väg. 10
Sökmetoder jämförelse Steg Allmänt 0 Utgå från en tllåten lösnng, 1 Bestäm tllåten och förbättrande sökrktnng Bestäm steglängd 3 Uppdatera och upprepa Utan bvllkor (cke-lnjärt) Valfr punkt (allt tllåtet) Se på gradent (Brantaste lutnng)/ Hessan (Newton) Lnjesöknng Uppdatera punkt, tll steg 1 Lnjära bvllkor (cke-lnjärt) Frank Wolfe Utgå från en tllåten lösnng, Lnjärappromera målfunktonen. Lös LP-problem. Få uppskattnng Lnjesöknng mellan punkt och LP-optmum Uppdatera, få uppskattnng. Gå tll steg 1 11
Frank Wolfe-metodens dé Ickelnjär målfunkton, lnjära bvllkor Appromera målfunkton Lnjära bvllkor! Om lnjär målfunkton: Smplemetoden kan användas Appromaton första ordnngs Taylor-utvecklng: f f k + f k T (k) Stäng n målfunktonsvärde mellan gränser Varje tllåten lösnng ger en pessmstsk uppskattnng Varje lnjärt optmum ger en optmstsk uppskattnng 1
Frank Wolfe-metoden: Typproblem f () mn f ( ) då A b 0 (k ) f ( ) f ( * ) z( * ) LP * LP * (k ) Tllåtet område z Varje tllåten lösnng ger en pessmstsk uppskattnng (mn-problem: UBD) Varje lnjärt optmum ger en optmstsk uppskattnng (mn-problem: LBD) Optmum lgger : z( ) f ( LBD f ( * ) ) f ( * * ( k) LP UBD ) 13
Frank Wolfe-metoden (för mn-problem) 0) Börja en tllåten punkt 0. Vd behov använd smple fas 1. Sätt: k = 0, LBD =, UBD = f (0) 1) Taylorutveckla f() k : z = f k + f k T (k) 4) Defnera sökrktnng d (k) = y (k) (k) Sätt: k+1 = k +t d k 5) Utför lnjesöknng mellan k och y k : t (k) = arg mn t 0 f k + t d (k) 14 ) Lös LP-problemet: (LP) mn z( ) f ( då A b, 0, där z 0 = f k f k T (k). Låt y (k) = LP vara optmallösnng. Uppdatera LBD = ma LBD, z y (k). 3) Kontrollera avbrottskrterum Avbryt om UBD LBD < ε. ( k) ) T z 0 6) Beräkna ny punkt (k+1) = (k) +t d (k) f k+1 ger en pessmstsk uppskattnng av f( ). Uppdatera UBD = f (k+1). 7) Kontrollera avbrottskrterum Samma krterum som steg 3. 8) Uppdatera, k = k + 1 Gå tll steg 1.
Frank Wolfe-metoden: Eempel 1 1 4 16 4 ) ( mn f 0, 6 då 1 1 1-1 0 1 3 4 5 6 7-1 0 1 3 4 5 6 7 Tllåtet område 1 15
Fler kurser optmerngslära TNK047 Optmerng och systemanalys 6 hp, HT, oblgatorsk för KTS3 Heltalsproblem, analys av beslutsproblem med flermålsoptmerng, spelteor och lokalserngsmodeller. Modellerng och modellanalys. TNK104 Tllämpad optmerng I 6 hp, valbar för KTS4/KTS5 Kombnatorska problem, heurstker, lokalsöknng, tabusöknng. Programmerng och nlämnngsuppgfter. TNK105 Tllämpad optmerng II 6 hp, valbar för KTS4/KTS5 (kräver TNK104 som förkunskap) En större projektuppgft med mplementerng av optmerande metoder och heurstker. Optmerng (och programvaran AMPL) dyker även upp som moment flera andra kurser, bl a kanddatarbetet (oblgatorskt för KTS3). Dessutom fnns kurser hos MAI/Optmerngslära Lnköpng. 16
Inför Lekton 10 Uppgft 1.5: Frank Wolfe-metoden. Rta! Lös LP-problemet grafskt. Rta n fguren vad som händer. Td för självräknng: Gamla uppgfter? Frågor från datorlekton? 17
Tentamen Tentamen består av 7 uppgfter, 3 p per uppgft, 10 p för godkänt. Uppgfterna kommer den ordnng de passar n lektonsplanen, och är alltså nte ordnade efter svårghetsgrad. I några fall består uppgften av deluppgfter. Dessa kan lösas oberoende av varandra. Klarar man nte a)-uppgften kan man alltså ändå försöka med b)-uppgften etc. Läroboken (men nte övnngsboken) får tas med vd tentamenstllfällen. Det är en lämplg strateg att använda denna som en formelsamlng. Tentamna från 011 nnehåller 1 frågor om heltalsproblem (formulerng av heltalsproblem, Gomorys plansnttnngsmetod, Land Dog Dakns trädsöknngsmetod). Detta moment har nu utgått ur kursen sdan 01, och man kan bortse från dessa uppgfter vd tentamensläsnngen. 18
www.lu.se