. Optimal styrning. Optimal styrning. Optimal styrning Vad är optimal styrning? I allmänna termer kan reglertekniska problem formleras på följande sätt: Välj styrsignaler så att systemet beter sig så bra som möjligt Svårigheten ligger vanligtvis i att formlera vad som är så bra som möjligt. Om man kan formlera detta matematiskt samt har en representativ processmodell kan man lösa reglerproblemet systematiskt: man löser helt enkelt det matematiska optimeringsproblemet. Eempel på praktiska problemställningar är att bestämma optimal väg genom ett nätverk från en pnkt A till en pnkt B beräkna optimal styrstrategi för en satsvis celllosa- eller sockerkokare minimera tiden det tar att byta papperskvalitet på en pappersmaskin designa en process bestående av flera delprocesser så att anläggnings- och driftskostnaderna minimeras Reglerteknik II illståndsmetoder 9 Öppen styrning Öppen styrning är en speciell typ av styrproblem där man inte tnyttjar återkoppling; den optimala strategin beräknas helt tgående från processmodellen och ett matematiskt godhetskriterim även kostnadsfnktion, förlstfnktion. ypiska problem av denna typ är att bestämma billigaste vägen minimera tiden för en verksamhet allokera resrser Ofta kombineras öppen styrning med återkopplad reglering på en lägre nivå..e. problemet att bestämma optimal temperatrprofil som fnktion av tiden för en satsreaktor är ett öppet styrproblem, men temperatren realiseras genom återkopplad reglering. I detta fall är problemet att generera optimala börvärden Reglerteknik II illståndsmetoder 9. Optimal styrning. Optimal styrning Övning.. Ett eempel på billigaste färdväg Vi skall resa från pnkt A till pnkt B i nedanstående schema, där vi skall välja en av flera möjliga resrtter så att resans totalkostnad minimeras. Kostnaderna för de möjliga delrtterna finns tmärkta i figren. Vilken väg skall vi välja från pnkt A till pnkt B? A 6 5 6 5 5 5 8 Reglerteknik II illståndsmetoder 9 B. Dynamisk programmering Dynamisk programmering, tvecklad av Richard Bellman i sltet av 95-talet, är en optimeringsmetod som är speciellt lämplig för problem som kan ppdelas i en serie delproblem, som kan behandlas sekventiellt så att varje delproblem medför ett beslt dvs en styråtgärd. ypiska problemställningar är att bestämma billigaste vägen allokera resrser Dynamisk programmering bygger på optimalitetsprincipen: De optimala beslten styråtgärderna från och med ett godtyckligt steg i besltsprocessen dvs de efterföljande beslten får inte bero på hr tillståndet i detta steg ppnåtts. Vad betyder detta? Vi kan också formlera optimalitetsprincipen på följande sätt: Oberoende av vad vi gjort fram till steg n i besltsprocessen, skall vi i fortsättningen göra det som är optimalt för de efterföljande stegen i besltsprocessen. Denna princip har som följd att det ofta är fördelaktigt att beräkna den optimala strategin startande från sltändan av den sekventiella besltsprocessen. Reglerteknik II illståndsmetoder 9
. Dynamisk Programmering.. Öppen styrning tan.. Eempel på öppen styrning tan Ett dynamiskt system beskrivs av den tidsdiskreta ekvationen k k, Beräkna styråtgärderna, och som minimerar förlstfnktionen t dt då tillståndet t antas förändras linjärt med tiden mellan samplingspnkterna. Samplingsintervallet är h tidsenhet och inga eisterar för k Eftersom t förändras linjärt mellan samplingspnkterna gäller t k t k k, k t < k, k,, vilket gör att förlstfnktionen kan skrivas k d k k k k k k k k k [ t k ] t. Optimal styrning 5 k. Lösning genom ordinär optimering Eftersom styrsignalernas storlek i detta fall inte bidrar till förlstfnktionen kan man lika väl optimera direkt med avseende på, och och därefter beräkna de optimala styrsignalerna när de optimala tillstånden, och är kända. min där Vi skall alltså bestämma,, k k k k k Eftersom variablerna saknar gäller vid minimm,,. Dynamisk programmering 6.. Öppen styrning tan.. Öppen styrning tan Vi får,, dvs räknat från sltet 6 5 6 6 samt 9 95 6 5 5 5 6 5 6. Dynamisk programmering 5 6 min 8,85 5 5 5 Lösning genom dynamisk programmering Vi skriver förlstfnktionen som k, k k k k k k och börjar med att minimera det sista steget k samma som tidigare Därefter minimerar vi stegen k. Vi har med samma Alla steg med och ger 6 6 samma. Dynamisk programmering 8
.. Öppen styrning tan.. Öppen styrning tan Sboptimala lösningar På grnd av förlstfnktionens form k, k k k k k k ligger det nära till hand att minimera varje steg var för sig, dvs att minimera lokalt: k k k k k k k k k k som är fel lösning tom för sista steget k. Denna sboptimala lösning optimal i varje steg ger sb 6 55 6,8 5 En dead-beat strategi, ger och dead,.. Dynamisk programmering 9 Kommentarer I detta mycket enkla fall var metoden med dynamisk programmering knappast enklare än ordinär optimering. Vi kan dock konstatera följande: Om antalet steg varit större hade det dock varit besvärligt att optimera globalt med avseende på alla optimeringsvariabler samtidigt. Vid användning av dynamisk programmering blir de enskilda stegen inte besvärligare. Om förlstfnktionen är mer komplicerad, inklderande t.e. styrsignaler, blir det också besvärligare att optimera globalt i ett steg. Vid användning av dynamisk programmering blir varje enskilt steg normalt inte nämnvärt svårare. Ifall man har på tillståndvariablerna tsignalerna och/eller styrsignalerna, blir traditionell optimering mycket besvärlig, kanske omöjlig. Begränsningar kan relativ enkelt beaktas vid dynamisk programmering då problemet löses stegvis. En nackdel med dynamisk programmering är det stora antal olika alternativ som måste sparas ifall man inte kan ttrycka sambanden analytiskt the crse of dimensionality.. Dynamisk programmering. Dynamisk programmering.. Öppen styrning med.. Eempel på öppen styrning med Antag att styrsignalerna, och i det ovan behandlade eemplet endast kan anta jämna heltalsvärden. Då kan problemet i princip inte lösas analytiskt genom nollställning av partialderivator, varken genom ordinär optimering eller dynamisk programmering. En möjlighet är att avrnda den analytiska lösningens styrsignaler till närmaste jämna heltal, men det finns inget som garanterar att detta ger den optimala heltalslösningen. Det finns avancerade matematiska metoder för lösning av heltalsproblem som vi dock inte skall behandla här. En fördel med heltalsproblem är dock att det vanligtvis endast finns ett ändligt antal möjliga lösningar, vilket betyder att man i princip kan analysera alla tänkbara lösningar. Genom användning av dynamisk programmering, ev. kombinerad med någon fndamental analys av problemets natr och nödvändiga egenskaper för den optimala lösningen, kan man ofta lösa denna typ av problem förhållandevis enkelt. Eempel med Uppgiften är att minimera k, k k k k k k nder bivillkoren modellen k k, samt k {, ±, ±, }. Det är enkelt att övertyga sig om att för den optimala lösningen måste gälla, ifall k, att k < k samt att k och k inte har samma tecken eftersom k k < minimerar varje k jämfört med k k >. Man inser då, med hjälp av modellen, att de optimala styrsignalerna k och tillstånden k måste satisfiera {,, 6, 8, }, {,,, 6, 8}, {,,, 6} {,,, 6, 8}, {,,, 6}, {,, } Det vore möjligt att begränsa styrsignalerna ytterligare med en mer ingående inledande analys, vilket vi dock inte gör.. Optimal styrning. Dynamisk programmering
.. Öppen styrning med.. Öppen styrning med I stället tnyttjar vi dynamisk programmering för att hitta den sltliga lösningen. Med hjälp av modellen k k kan ttrycket för k skrivas k k k Steget k Eftersom gäller för lösningen av det obegränsade fallet, är det också en möjlig lösning i detta fall, ifall det finns en tillåten lösning som satisfierar sambandet. a Om {, }, fås, som är ett jämnt heltal. Bidraget till förlstfnktionen blir. är inte ett jämnt heltal. Närmast till hands ligger lösningarna ±, som är jämna heltal. Kontroll visar att både och ger samma bidrag. Inget annat tillåtet ger här ett mindre. b Om { }, 6. Dynamisk programmering Stegen k a Vi har {, }. Modellsambandet ger {, } och 5 6 Möjligheterna är i och ii som ger i och ii 8. Här är i bättre mindre om {,,, 6}, ii bättre om 8. b Vi har {, 6} och således {, 6} samt 5 6 Möjligheterna är i och ii 6 som ger i 8 och ii 6 6. Här är i bättre om <, dvs alltid. 6 är således inte en möjlig optimal lösning.. Dynamisk programmering.. Öppen styrning med.. Öppen styrning med Alla steg a i Vi har {,,, 6}. Sambandet då, {, 6, 8, } samt ger {,,, 6} och Minimm 88 fås för 8. a ii Här är 8. Sambandet samt ger och Detta fall är alltså sämre än a i. 8 8. Sambandet samt ger och 8 8 88 8 b i Här är {,,, 6, 8} {,, 6, 8, } 9 Minimm fås för 6 och 8. Även detta är sämre än a i. Den optimala lösningen Den optimala lösningen är fall a i som för ger 88 9, med 8,,,, Obs att denna lösning med denna förlstfnktion är bättre än dead-beat strategin, som även satisfierar na k {, ±, ±, }.. Dynamisk programmering 5. Dynamisk programmering 6
. Dynamisk programmering.. Allmän formlering av lösning.. Allmän formlering av lösning med dynamisk programmering Sambandet mellan tillstånden k och k samt en styråtgärd k kan allmänt skrivas k fk, k,, där f k är en godtycklig fnktion, som inte behöver vara linjär och inte behöver vara densamma för alla k. Antag att man önskar styra systemet från tillståndet till N så att förlstfnktionen N g, k k k k minimeras. Här är g k en godtycklig fnktion som anger kostnaden att gå från tillståndet k till k med styrsignalen k. Om man inledningsvis har en kostnad g k som är beroende av tillståndet k, kan detta elimineras med hjälp av modellsambandet. Därmed kan slttillståndet N alltid elimineras från förlstfnktionen. Optimal styrning Låt k k beteckna kostnaden för den optimala vägen dvs den minimala kostnaden från tillståndet k till slttillståndet N. Då gäller ppenbarligen N N samt för sccessivt minskande k, k N,, : k min gk k k min gk k fk Minimering i varje steg enligt valfri metod, med beaktande av ev. ger en optimal styrsignal k som fnktion av k, betecknad * k k, matematiskt ttryckt: arg min gk k fk ill slt erhålles för k min och, som kan bestämmas då begynnelsetillståndet är känt. illståndet kan därefter beräknas enligt modellsam- bandet med, varefter kan bestämmas, osv * k och för alla k. Märk att beteckningarna här avviker från beteckningarna i de tidigare eemplen.. Dynamisk programmering 8. Optimal styrning. Maimmprincipen. Maimmprincipen Optimalitetsprincipen ger en strategi för att finna den optimala lösningen när ett problem kan delas pp i ett antal delsteg, som kan lösas sekventiellt. Detta förtsätter att också förlstfnktion kan ppdelas så, att en viss förlst är förknippad varje enskilt delsteg. Maimmprincipen ger villkor som den optimala lösningen bör ppfylla för mera allmänna optimeringsproblem, som inte nödvändigtvis kan ppdelas i ett antal delproblem som löses sekventiellt. Dessa villkor ger inte direkt den optimala lösningen, men de gör det vanligtvis möjligt att finna den. Benämningen maimmprincipen följer av att problemen tidigare formlerades som maimeringsproblem; nförtiden minimerar vi hellre. Principen benämnes ofta Pontryagins maimmprincip eller minimmprincip efter en av pphovsmännen. Maimmprincipen ger optimalitetsvillkor för generella styrproblem; ett antal viktiga specialfall inklderar var för sig stora klasser optimala styrproblem. Reglerteknik II illståndsmetoder 9 9.. Det optimala styrproblemet Det optimala styrproblemet kan i kontinerlig tid formleras på följande sätt: Minimera förlstfnktionen tf φ f, d..a t L t t t nder bivillkoren t f, t t..b t U, t tf..c, ψ tf..d Här är..b modellen för det dynamiska systemet,..c definierar ev. på de tillgängliga styrsignalerna,..d ger begynnelsetillstånd och ett ev. bivillkor relaterat till slttillståndet. Viktiga specialfall som förenklar lösningen fås när slttiden t f är given inga bivillkor ψ t f begränsar slttillståndet tf förlstfnktionen har speciellt enkel form. Optimal styrning
. Maimmprincipen.. Given slttid, obegränsat slttillstånd.. Given slttid, obegränsat slttillstånd I det fall, att slttiden t f är given och slttillståndet tf är obegränsat, bör den optimala lösningen t, t ppfylla följande villkor: där p p f..a min H, t, t H, t, t, t t t U H p,, L, p f,..b är den s.k. Hamiltonfnktionen och där p ppfyller den adjngerade ekvationen H, t, p t p t, t φ p tf tf..c Eempel.. Styrning i strömmande vatten. En båt med lägeskoordinaten, rör sig i ett område med varierande ström. Styrvariabeln är lika med båtens hastighet relativt vattnet i -riktning, styrvariabeln dess hastighet i -riktningen. Vattnets hastighet är v i -riktningen och i - riktningen. Båten startar i origo och man vill förflytta sig så långt som möjligt i -led på tidsenheter. Vilka är de optimala styråtgärderna då de är begränsade så att båtens fart relativt vattnet är konstant? Detta ger optimeringsproblemet min, nder bivillkoren v,,. Optimal styrning. Maimmprincipen.. Given slttid, obegränsat slttillstånd.. Given slttid, obegränsat slttillstånd Här är förlstfnktionens L, vilket ger v,,, H p p f p p v p De adjngerade ekvationerna blir H, t, p t p v p p t t t p t p v H, t, p t p v p t t φ p φ p Enligt..a skall styrsignalerna väljas som lösningen till p pv p U min H, t, t min p v p min p Man kan enkelt visa att p, p p satisfierar den optimala lösningen. Av ttrycken för de adjngerade ekvationerna följer p p t t t p t och p t p τ d τ p τ v τd τ v τdτ Om vattnets hastighet v t.e. varierar linjärt med, så att v k, fås med beaktande av p, att p t k t p. Maimmprincipen. Maimmprincipen
. Maimmprincipen.. Minimaltidsproblem.. Minimaltidsproblem I ett minimaltidsproblem vill man genom styråtgärder minimera den tid det tar att från ett givet tgångstillstånd ppnå ett visst slttillstånd. I detta fall blir förlstfnktionen så enkel som tf d t t f vilket i de tidigare ttrycken motsvaras av φ tf och L t, t. I detta fall eisterar alltid ett villkor ψ t f, som slttillståndet bör satisfiera. För ett linjärt system begränsat av t A t B t ma i i t, i,,dim, ψ t f kan man visa att den optimala styrstrategin i allmänhet har formen ma i, t i ma i t p b < sign ma i p t bi i, p t bi > där b i är i :te kolonnen av B och p t är en lösning till den adjngerade ekvationen. Fnktionen sign p t b i ± byter tecken vi något visst värde på t, som beror av systemet och de gällande na. Denna typ av styrning kallas bang-bang-styrning. Allmänt kan man säga att en styrsignal, som alltid antar sitt största eller minsta värde med ändligt många välingar däremellan, är av bang-bang typ. Dead-beat-reglering, som egentligen är lösningen till ett minimaltidsproblem, leder vanligtvis till bang-bang-reglering.. Optimal styrning 5. Maimmprincipen 6