Sammanfattning av föreläsning 5 Modellbygge & Simulering, TSRT62 Föreläsning 6. Modellkvalitet och validering Reglerteknik, ISY, Linköpings Universitet Skattningens kvalitet: bias och varians Fysikaliska parametriserade modeller Olinjära svartlådemodeller Lokala modeller Lokala linjära modeller Olinjära regressionsmodeller; neuronnät Bias och varians Modellkvalitet och validering Bias-fel: är : (=antal datapunkter) Variansfel: θ = argmin θ π där λ är brusvariansen och π G (e iω ) G(e iω, θ) 2 Φ u (ω) H (e iω ) 2 dω E( ˆθ θ )( ˆθ θ ) T λ R Överanpassning och korsvalidering AIC, FPE, MDL Residualtester Lite modellbyggesfilosofi ågra modeller utan facit R = Eψ(t, θ )ψ(t, θ ) T, ψ(t, θ) = d dθ ŷ(t θ)
Överanpassning Bot mot överanpassning Om man lägger till en parameter i en modell så kan man normalt modellera allt som den gamla modellen kunde plus en del nytt. (man kan ju återfå den gamla modellen genom att sätta den nya parametern = ) Det blir alltså förmånligt att ta in fler parametrar. I praktiken anpassas ofta modeller med många parametrar mer till bruset än till underliggande fysik. Detta kallas överanpassning (overfit). Utvärdera modellerna på nya data (som alltså inte använts vid beräkning av ˆθ): korsvalidering Ta in antalet parametrar d i kriteriet. Akaikes AIC: FPE Rissanens MDL 2d min( + d,θ ) ɛ 2 (t, θ) + d/ min( + d,θ d/ ) ɛ 2 (t, θ) 2d min( + d,θ log ) ɛ 2 (t, θ) Modellordning estimeringsdata Modellordning valideringsdata 45 44.5 Model Misfit vs number of par s 55 54 Model Misfit vs number of par s Unexplained output variance (in %) 44 43.5 43 42.5 42 4.5 4 MDL, AIC "Bäst" Anpassning av ARX-modeller utvärderat på estimeringsdata (sanna systemet är ARX 2 2 ) Unexplained output variance (in %) 53 52 5 5 49 48 MDL AIC Bäst Anpassning av ARX-modeller utvärderat på valideringsdata (sanna systemet är ARX 2 2 ) 4.5 47 4 5 5 2 25 3 umber of par s 46 45 5 5 2 25 3 umber of par s
Modellernas stegsvar Modellernas bodediagram.8 Step Response MDL (valid) Bäst (valid) Frequency response.7 MDL (valid) "Bäst" (estim) "Bäst" (estim).6 Amplitude Sann AIC.5.4.3 sant AIC Bäst (valid) otera tecken på överanpassning hos modellen med högst ordningstal ( bäst ) otera tecken på överanpassning hos modellen med högst ordningstal ( bäst ) 5.2. Phase (deg) 5 2 3 4 5 6 7 8 9 Time 2 Frequency (rad/s) Residualtest. R ɛu Residualtest 2. R ɛ Residualer: ɛ(t, ˆθ ) = y(t) ŷ(t ˆθ ) Idealt bör ɛ vara oberoende av u Skatta korskovariansen: Plotta ˆR ɛu. ˆR ɛu (τ) = ɛ(t + τ)u(t) Korrelation för negativa τ: Kanske återkoppling ˆR ɛu (τ o ) signifikant nollskild: indikerar att u(t τ o ) bör inkluderas i modellen. Residualer: ɛ(t, ˆθ ) = y(t) ŷ(t ˆθ ) Idealt bör dessa vara oberoende (om också brusmodellen är väl skattad) Skatta kovariansen: Plotta ˆR ɛ. ˆR ɛ (τ) = ɛ(t + τ)ɛ(t)
Residualtest exempel Modellkvalitet.5 Autocorrelation of residuals for output y.5 2 5 5 5 5 2.5 Cross corr for input u and output y resids.5 2 5 5 5 5 2 Samples Blå kurva: modell av lägre ordning än det sanna systemet. Korskovariansen mellan ɛ och u antyder att modellen måste utökas så att den kan ta hänsyn till äldre värden på u. Röd kurva: en högre ordningens modell där korskovariansen mellan ɛ och u försvunnit (dessutom har korrelationen i ɛ gått ner något) Måste bedömas med hänsyn till syftet Fysikalisk bas viktig för modellens trovärdighet vid t ex extrapolation Korrekt förutsägelse av det oväntade ökar trovärdighet eptunus Instabilitet hos ögats ackomodation Modellens syfte viktigt Test : Stegsvar 6 Exempel: Två modeller 5 G = s +. G 2 = Vilken beskriver verkligheten bäst? (s + ) 4 4 3 2 G G 2 sant stegsvar 2 3 4 5 6 7 8 9 Här beskriver G 2 verkligheten bäst.
Test 2: Stegsvar vid PI-reglering Frekvensplanstolkning 2 Bode Diagram 2.5 2 G 2 Magnitude (db) 2 4 6 G sant G 2.5 G 8 9.5 Phase (deg) 8 sant stegsvar.5 2 3 4 5 6 7 8 9 Här beskriver G verkligheten bäst. 27 36 2 Frequency (rad/s) G 2 approximerar bäst vid låga frekvenser; viktigt vid öppen styrning G approximerar bäst runt skärfrekvensen; viktigt vid reglering Ptolemaios modell Keplers och ewtons modell.5 Q *.5 P o Q * P o P o Q * -.5 - -.5 -.5 - -.5.5.5 Ofysikalisk grund, epicykler ( cirklar i cirklar ) Mycket bra på att förutsäga banor hos de kända planeterna Kunde inte förutsäga banor hos nyupptäckta planeter Kunde inte förutsäga existensen av nya planeter Bild: R. J. Hall Fysikalisk bas: gravitationslagen och rörelselagarna Kan förutsäga banor med utomordentlig precision Kan förutsäga banor hos nya planeter med minimala indata Förutsåg existensen av eptunus
Viktig modellvalidering: klimatmodeller Externa insignaler i klimatmodeller Kort om klimatmodeller Beskriver hur temperatur, tryck, densitet, hstighet osv utvecklas i tid och rum Bygger på fysik: balansekvationer för massa, energi, rörelsemängd osv. Många tillstånd (aggregering av partdiffar) Framtagna under de senaste decennierna av olika forskargrupper. Exempel på externa insignaler aturliga Solstrålning Vulkaner Mänskliga Utsläpp av växthusgaser Utsläpp av aerosoler Utvärdering av klimatmodeller, Utvärdering av klimatmodeller, 2 Global medeltemperatur Svart: uppmätt Gult: 58 simuleringar från 4 modeller, alla insignaler Rött: Medelvärde från simuleringarna Grå linjer: vulkanutbrott Global medeltemperatur Svart: uppmätt Ljusblått: 58 simuleringar från 4 modeller, endast naturliga insignaler Blått: Medelvärde från simuleringarna Grå linjer: vulkanutbrott Källa: IPCC AR4, fig 9.5 a Källa: IPCC AR4, fig 9.5 b
Att prediktera framtiden Utvärdering av Hansens modell från 988 Ett starkt test är att låta modellerna förutsäga framtiden och jämföra prediktion och utfall Detta kräver flera decenniers väntan Ett alternativ är att använda en prediktion som gjordes för flera decennier sedan En sådan prediktion gjordes av Hansen 988 svart: temperaturprediktion (det utsläppsscenario som faktiskt slog in) rött: temperaturmätningar De räta linjerna är uppskattade trender Analys: Gavin Schmidt http://www.realclimate.org/index.php/archives/29/2/updates-tomodel-data-comparisons/ Rumsfördelning av temperatur 2 Validering, sammanfattning ågra valideringssynpunkter. Hansens prediktion Uppmätt av ASA-GISS Testa modellen på nya data. Korsvalidering Beräkna olika modeller i olika strukturer och på olika mätdata. Modellerna överensstämmer (t.ex. i simulering eller i Bodediagram) Stort förtroende. Kolla residualerna ɛ(t) = y(t) ŷ(t) Testa korrelation med insignal Testa inbördes korrelation. Tänk på modellens syfte.