F7 PP kap 4.1, linjära överbestämda ekvationssystem

Transkript

1 F7 BE3 & 3 Page of 5 F7 PP ka 4., ljära överbestäda ekvatossste Här behadlas dels ljära överbestäda sste oh dels tlläge å odellaassg ed stakvadrat-etode so kaske ufas av Gauss. V börjar ed ljära algebra. lltså, f de bästa lösge tll ssteet b där är oh >. Då fs ju allähet ge eakt lösg. Låt koloera vara a,,,,. Då söker v de ljärkobato av de dvs. e ukt s koloru so lgger ärast b: era geo val av avstådet ella a oh b, dvs. lägde å resdualvektor r a b O v äter lägde ed Eukldsk or blr det ekelt a erar då sua av kvadratera av r s kooeter, därav aet å etode. Det vktga ed dea or är att de koer frå e skalärrodukt, r r r. V ska härleda vllkore å ljär-algebra-vs. tag alltså att * ger sta värde å avstådet, så att * b < * v b för tllräklgt så. Skrv olkhete ed skalärrodukt: * b * b < * v b * v b r v r v r < r r v v r v v r r r v v v r För att detta skall vara st för för alla v åste v r för alla v, dvs. r eller b, a r,,,, Dessa oral-ekvatoer säger alltså att resdualvektors skalärrodukt ed varje kolo är oll, dvs. att de är vkelrät ot s koloru. Det är u klart att resdualvektor r, oh däred, är ukt bestäd, e blr uk bara o s koloer är ljärt oberoede, rag. För Gauss-elatoe av oral-ekvatoera blr kodtostalet Eukldsk or för vktgt. Det blr κ λ a /λ där λ är egevärdea tll. Me kodtostalet för själv blr bara kvadratrote ur λ a /λ så bldadet av oralekvatoera är ogsat ur uersk sukt. Ma aväder därför te LU-faktorserg av uta så kallad Q-faktorserg av själv. Ma beräkar först de ortogoala atrse -atrse Q oh de höger-tragulära -atrse så att Q oh löser seda Q b. Q-faktorserge ger e usättg ortogoala basvektorer för s koloru oh ka, ed e uersk odfkato, göras ed Gra-Shdt-ortogoalserg, so ljära algebra, av vektorera a,,,,, lte lågsaare ä LU-faktorserg. MLB gör så o de fer att har rag, e o har lägre rag blr lösge te uk oh MLB väljer då e reresetat för lösgsruet. Så här otveras kalkle ova / ågot utvdgad verso av resetatoe å föreläs.: Q blr. Me a ka fortsätta ed Gra-Shdt, te oh lägga tll - koluer so bldar - atrse Q så att [Q Q] U blr e atrs ed alla koluer ortogoala ot varadra, dvs. e ortogoal bas för, U U I. Däred ka geo att bgga ut ed - rader ed ollor skrva

2 F7 BE3 & 3 Page of 5 Nu har v då [ Q Q ] U b U b U U b U b Q Q b b Q Q b oh detta blr so st Q b o v väljer Q b. V har avät att Eukldska ore te ädras av de ortogoala trasforato U so ju bara är e vrdg oh ev. seglg av koordatssteet. Me ultlkatoe ed Q, so avbldar å -, ädrar förstås lägde. Störgskäslghet tag att b störs ed δb. Hur ket, δ, ädras då? O har ljärt oberoede koloer så gäller: δ < δb / σ där σ, sgulärvärdea, är egevärdea tll. V har ju - Q b δ δb a σ oh a Lkhet är δb är arallell ed egevektor tll svarade ot σ. Ma frågar sg förstås å vlket sätt sta-kvadrat-etode är bra so r uto att de ger ekla räkgar. Gauss vsste, oh så här ka a forulera det. Ma atar att odelle är uta ssteatskt fel så att avvkelse ser ut so sluässg. Det är okså vktgt att feles varas är desaa. Gauss-Markovs sats tag att e, där e k är oralfördelade, okorrelerade stokastska varabler ed edelvärde oh saa varas σ. Då ger sta-kvadratskattge ˆ b e de edelvärdesrktga skattge av so har st ovarasatrs: [ ˆ ˆ ] E σ σ ka skattas ed σ r / vlket vsar hur felet skar ed atalet ätgar.

3 F7 BE3 & 3 Page 3 of 5 E. ; Vad häder är är så ltet att askartetkes reso? V beräkar egevärde fat:,, oh 3 oh kodtostal, oh sta-kvadrat-lösge tll,,3,4 b oh gräsvärdet är ->. Här ka det assa ed aulera rag-ett atrser ab. V söker lösge tll d eller I d: d dvs. / d α, α / d α Τ, α d / 3 oh / d / 3 d / I / 3 d Nu är d b b b, / I / 3 b b / b b 3b / 3 - b/ 3 / b 3b / 3 b/ 3 b oh gräsvärdet esterar bara o b, eller b. Kurvaassg: olo So eeel tar v sta-kvadrat-aassg av ett -- grads olo där v urerat koeffetera so MLB brukar, tll dataukter,,,,,. V skrver öskeåle so överbestät sste se förel. F6 : K Msta-kvadrat-lösge so koeffeter ger då elgt ova oh fås ed MLB s K\ ; K ka kostrueras å flera sätt frå e kolovektor, så här t.e.: K zeros,; K:, oes,; for k :-: K:,k- K:,k.*; ed För e aa usättg -värde l ka oloet seda evalueras ed l olval,l;

4 F7 BE3 & 3 Page 4 of 5 Ma ka skaa dervata-oloet ed r older; roots har v reda stftat bekatska ed, e te hur. Här är de atrs so roots räkar ut egevärde tll. Koajo-atrse tll ett olo ed högstagrads-koeffet har röttera tll so egevärde, C, Cv v för o egevektor v har kooeter v j, så gäller uebarlge v j v j, j,, - oh ssta rade ger - v - - v - - v - v - eller - v - - v - - v v - v dvs Hela koeffet-bestäge ka göras ed olft,,-; oh a ka göra Q-faktorserge sabbare geo att utttja egeskaer hos olo; detaljer o detta å astå tll fortsättgskurser aroato. Ljära aassgsroble ed adra fuktosklasser behadlas aalogt: F koeffetera j so erar kvadratsueavvkelse jϕ j j där ϕ j är e usättg av st. ljärt oberoede basfuktoer. Ma kostruerar atrse K so ova. Eeel πj πj. Fourer-aals, -erodsk fukto ϕ j os, ϕ j s, j,, /. Eoetal-aassg j ϕ e, j,,.. ed gva tds-skalor j. j Återstår att dskutera uerska eeel. val av gradtal, störgskäslghet, % O w [6 3 6 ]'*e-3; [ ; ; ; 5]; ds' hadräkg ed oralekv ' K '* % koeffatrs oralekv b '*w; ds['b ',ustrb'] % högerled d:o K\b; ds[' ',ustr'] % lösg r *-w; ds['r ',ustrr'] % resdual koll '*r ; ds['koll ',ustrkoll'] % bör bl oll d sqrtegk; ds['sga ',ustrd:'] % ds' atlab '

5 F7 BE3 & 3 Page 5 of 5 \w; ds[' ',ustr'] % Q-faktorserg? r *-w; ds['r ',ustrr'] koll '*r; ds['koll ',ustrkoll'] d svd; % bättre egevärde hadräkg ed oralekv K b r e koll -.48e e-8 sga fel.487 atlab r e koll.76e e-7 fel.487 % O 4.3 t [ ]'; H [ ]'; [oesszet,s**t/,os**t/]; ds' '; ds; ds''; ds'* \H; ds[' : ',ustr'] r *-H; ds['r : ',ustrr'] koll '*r; ds['koll : ',ustrkoll'] d svd; ds['sga : ',ustrd:'] % : r : koll :.949e e e-6 sga : % f. sqrt6 oh sqrt3