Optimalitet, globala minimerare. Betrakta den -dimensionella problemet. Icke-linjär optimering. Om en punkt uppfyller

Transkript

1 Optmatet, gobaa mnmerare Icke-njär optmerng Icke-njär optmerng utan bvkor hanar om att öa probemet ä är en två gånger kontnuergt erverbar funkton Betrakta en -menonea probemet Om en punkt uppfyer äg vara en goba mnmerare t Punkten kaa ofta önngpunkt Om kaa trkt goba mnmerare och är unk Gobaa mnmerare är önkvära, men våra att betämma om nte har pecea egenkaper NLP - 1 NLP - 2 Optmatet, okaa mnmerare Många gånger får v nöja o me en oka mnmerare, v ett åant att tet På amma ätt efnera en trkt oka mnmerare om tet Tayorerer Tayorerer är ett verktyg för att approxmera en funkton nära en punkt Defnton: Låt vara pecfcera punkt och me kontnuerga ervator Då är tayorapproxmatonen av gra :! " # "! $ "!&% $$ " ' ' '! ( ) *( + ", n(x) T 1 (x) T 2 (x) T 3 (x) T 4 (x) NLP Tayorapproxmatonen av- / runt 0 1 " 0 - / 1,2 % " 0 - / ' 6 1 ", 2 7 " 0 - / ' 6 1 " 6 - / 1 *8 9 %: +;, 2 : " 0 - / ' 6 1 " 6 - / 1 *8 9 %: +; *8 97 : = +< NLP - 4 1

2 Vkor på mnmerare Fermenonea tayorerer Det går ockå att härea fermenonea tayorerer: 1-varabefaet: >! " 0 > "! $ > " % 3! $$ > "! ' ' ' -varabefaet: >! " 0 > > " % % > "! ' ' ' A B B betecknar graenten t, v en koumnvektor me eement C C B D B A & B och betecknar heanen t, v en matr me eement C E C DC F B NLP - 5 Antag oka mnmerare t Stuera runt : G H G A 2 H G JI H 2 A & K H Om oka mnmerare å fnn ngen tåten neförrktnng, v A 2 H L M för aa tåtna rktnngar H För probem utan bvkor meför etta att A M (1) En punkt om uppfyer (1) kaa tatonär punkt t Vkoret (1) kaa för ett növängt vkor av förta graen för en optmerare NLP - 6 Vkor på mnmerare, fort Stuera runt tatonär punkt om anta vara en oka mnmerare: G H G NA O P 2 H 0 B Q G JI H 2 A & K H För nära kommer A & K vara nära A & A & Om ej potvt em-efnt fnnr åan att H R 2 A & R M Då fnn närar åan att H 2 A & K H M Vkor på mnmerare, fort G H G JI H 2 A & K H N SO PB Q vket meför att vket är en motägee, ty antog vara en mnmerare Atå måte A & vara potvt em-efnt för att en tatonär punkt ka vara en oka mnmerare Detta kaa för ett növängt mnmerngvkor av anra graen NLP - 7 NLP - 8

3 Vkor på mnmerare, fort Begrännngar ho vkoren Informatonen att A M och A & är potvt em-efnt räcker nte t för att avgöra om en punkt är en mnmerare Exempe: A A & A & & M J 2 2 T M mn U V & W L M 0 ej mn, ej max 1 X U I J & L M 0 mn 1 X U I J & L M 0 max Stuera runt å A M och A & potvt efnt Då är G H G NA O P 2 H 0 B Q G I J H 2 A & K H A & K För träckgt nära kommer ockå att vara potvt efnt, v G H G JI H 2 A & K H N Y B Z O P! 0[ B Q T H Vket nnebär att är en trkt mnmerare t Detta är ett träckgt mnmerngvkor av anra graen NLP - 9 NLP - 10 Newton kaka meto för mnmerng För att använa Newton meto t att fnna en mnmerare appcerar v förta ornngen növänga vkor på en funkton : A M \ M Detta ger newtonekvenen ] ^ _ 0 ] E ] " " ` ] " ] ^ _ 0 ] 6 a " b aa " " Detta krv ofta om c c G H c, är H c är önngen t Newton ekvaton: A & c H c A c vket tyggör att et varje teg öe ett njärt ekvatonytem (och nte beräkna en nver) Newton kaka meto, fort Notera A att approxmatonen av et cke-njära funktonen me A c G H e A c G A & c H motvarar att approxmera en cke-njära funktonen me en kvaratka funktonen f H g c G A c 2 H G JI H 2 A & c H v e c tre förta termerna tayorutveckngen av runt En använbar toknng av Newton meto br att v varje teratonteg approxmera me en kvaratk funkton f och beräknar c om mnmerare av f NLP - 11 NLP - 12

4 Kröknngar och egenvären Om % " är potvt efnt har en enbart potva egenvären och en kvaratka approxmatonen h kröker uppåt aa menoner P för anra kombnatoner av egenvären λ=[ 1, 1] λ=[ 1,0] λ=[ 1,1] λ=[0, 1] λ=[0,0] λ=[0,1] λ=[1, 1] λ=[1,0] λ=[1,1] Aa kombnatoner av egenvären för@ % " och motvarane approxmatonytor NLP - 13 Egenkaper ho Newton meto Före: Den konvergerar typkt kvaratkt mot en tatonär punkt Nackear: Den konvergerar ej növängtv mot en mn-punkt Den kan vergera om tartpunkten gger för ångt från önngen Den kan mycka om@ % j " ej nverterbar för någotc Den behöver % j " Jobbgt ta fram funktonerna Kan b fe Kräver beräknng och agrng av % eement Lönngen av Newton ekvatoner kräver 7 operatoner I praktken använ Newton meto n kaka formuerng arg Däremot är en grunen för många anra agortmer om öker mnka e negatva egenkaper på oka ätt och amtgt behåa metoen potva egenkaper NLP - 14 Garantera neåtrktnng Engt vår generea optmerngagortm betäm en nya approxmatonen på formen c c G k H k T M c c H Detta är möjgt enat om är en neförrktnng, v H 2 A c M I Newton meto betäm ökrktnngen om H A & c 6 A c H c Om ka vara en neåtrktnng punkten måte H 2 A c A c 2 A & c 6 A c M eer A c 2 A & c 6 A c T M Detta uppfy om A & c 6 är potvt efnt NLP - 15 Garantera H mnknng av objektfunktonen väre Att är en neåtrktnng c G k H k nnebär att c et fnn ett T M åant att åant k använ njeöknng För att fnna ett Låt c vara nuvarane approxmaton av en mnmerare t och åt H c vara ökrktnngen c Den nya uppkattnngen efnera om c c G k c H c k c är tegängen väj å att c c v varje teg mnkar funktonväret och tar o närmare önngen NLP - 16

5 w w Goba konvergen För att garantera goba konvergen, v konvergen mot ett okat mnmum från varje tartpunkt tä två yttergare krav på ökrktnngen H och två krav på tegängen k Sökrktnngen H får ej vara gotyckgt nära ortogona me negatva graenten A c Sökrktnngen H får ej vara gotyckgt kort reatvt graenten Dea två uppfy av Newton meto om A & c potvt efnt och ej gotyckgt nära em-efnt Stegängen k får ej proucera en gotyckgt ten mnknng av objektfunktonen Stegängen k får ej vara gotyckgt kort NLP - 17 Armjo njeöknng me backtrackng För att uppfya kravet på träckg mnknng av objektfunktonen utgår v från en njär tayorapproxmaton av objektfunktonen j m! j " # j " j ", j m j! j " n j " o m j " p ärb S o S Detta kaa ban för Armjo vkor och kräver att mnknngen av objektfunktonen är en frakton av en om prektera av en njära tayorapproxmatonen, v f(α) För att unvka att tegängen br för kort acceptera tegäng- 0 1/16 1/8 1/4 1/2 1 α en m j om et förta eementet ekvenen p % 3 p 3 : p,,, p & 9 q om uppfyer Armjo vkor Detta kaa backtrackng f(α) µ=1 µ=05 µ=01 µ=0 NLP - 18 Icke-njära mnta-kvaratprobem Ett cke-njärt mnta-kvarat-probem är ett optmerngprobem utan bvkor på formen u t v t 0 t & är objektfunktonen efnera va externa funktoner Probemet kaa mnta-kvarat ärför att v mnmerar umman av kvaraten på funktonerna Icke-njär mnta-kvarat parameteretmerng I ett parameteretmerngprobem motvarar funktonerna t knaen (reuaen) mean en moefunkton och ett mätväre Stuera exempev atamängen t I J X x y z t V X W I I J M är t är ten år och z t hunrata (antoper) Om v antar att ea mätvären föjer ett exponentaföropp kue bafunktonen t ex b { w och E } reuaerna t { w t z t E } D z t NLP - 19 NLP - 20

6 r Icke-njär mnta-kvarat-parameteretmerng, fort V kommer att krva probemet om JI t 0 t & g J I ~ 2 ~ är ~ är en vektorvär funkton ~ & 2 A Graenten går att härea m h a kejeregen A A ~ ~ 2 ~ är A ~ 2 är jacobanen t~ Detamma gäer % " "? ƒ q 3 q % q " "? " h ", Icke-njär mnta-kvarat-parameteretmerng, fort A Notera att graenten M ett av två fa: Då ~ M M, vket kaa att probemet har noreua Då är eutom heanen A & 2 potvt em-efnt A & Om har fu rang är eutom potvt efnt Skue vara rangefekt äg probemet vara överparametererat Då 2 ~ M, v reuavektorn ~ är ortogona mot graentpanet om pänn upp av NLP - 21 NLP - 22 Icke-njär mnta-kvarat-parameteretmerng, % " "? ƒ q 3 q % q " "? " h ", Notera att heanen är en umma av två komponeneter, en me förtaervatenformaton och en me anraervatenformaton Om probemet har noreua kommer termen f att vara nära no nära önngen En meto om använer approxmatonen f M kaa Gau- Newton meto och betämmer ökrktnngen om önngen t Newton ekvaton A & H A me heanen approxmera me 2 : 2 H 2 ~ Annan härenng av Gau-Newton meto Gau-Newton meto går att härea på ett ätt t: Om v tuerar et (typkt överbetäma) njära probemet! H G ~ & H ~ & å br önngen H ka me önngen t normaekvatonerna H ~ vket är ökrktnngen Gau-Newton meto Denna beräkna naturgtv me hjäp av ämpg faktorerng (QR eer SVD) utan att matren 2 ba NLP - 23 NLP - 24

7 w w Stattk toknng av reuaerna Konvergen för Gau-Newton meto Om ~ M är approxmatonen f e M bra, och Gau-Newton meto kommer att uppföra g om Newton meto nära önngen, v konvergera nabbt om har fu rang Detta utan kotnaen att beräkna anraervatorna A & t Om ~ är tor och/eer kröknngarna A & t är tora, br approxmatonen f e M åg, och Gau-Newton meto kommer att konvergera ångammare än Newton meto Om reuaerna toka tattkt om fe, v v har en moe z t E } D G ˆ t och feenˆ t anta vara oberoene normaföreae M Š & br våra uppkattae parameterar e bäta tänkbara ( maxmum kehoo ) gvet våra mätvären Detta gör et möjgt att äga aker om konfennterva, göra hypoteprövnng, etc Den nformatonen få ur varan-kovaranmatren Š & A & 6 är agonaeementen tt motvarar varanen ho t och tœ motvarar kovaranen mean t och Œ Ofta använ approxmatonen f M, vket gör att konfennterva mm ockå br approxmatva NLP - 25 NLP - 26 Ortogona regreon När v öer t 0 t & (2) är t { w t z t är knaen mean vår moe och våra mätvären, å mnmerar v kvaraten på et vertkaa avtånet I anra ammanhang, t ex om v antar att v har fe även en oberoene varaben t, kan et vara rmgt att täet mnmera et ortogonaa avtånet mean vår moefunkton och våra mätvären Ortogona regreon, fort Det kan bekrva om att v öer p t 0 t Ž w t G t & G & (3) är t är feet t och t Ž w t G t { t w t G t z t Detta kräver ock att v krver om våra optmerngagortmer för att öa probem (3) täet för probem (2) NLP - 27 NLP - 28

8 Ortogona regreon, fort Det är ock möjgt att använa våra agortmer för probem (2) om v täet utökar om våra efunktoner t : För vårt tetexempe z { w E } ntroucerar w v en punkt t { t på kurvan för varje mätpunkt t z t Om v åter vår efunkton t b t { w t t w t z t t 0 t & t 0 2 t t och formuerar om vårt mnmerngprobem å får v amma önng NLP - 29