Minsta kvadratmetoden

Transkript

1 Minsta kvadratmetoden där Överbestämda ekvationssystem Det är lämpligt att uppfatta matrisen A som bestående av n kolonnvektorer: A a a a n a a a n a n a n a nn a j a j a nj a a a n j n Då kan vi skriva ekvationssystemet Ax b på formen x a + x a + + x n a n b () Systemet är lösbart för varje högerledet b då och endast då kolonnvektorerna a a a n utgör en bas i R n eller ekvivalent då kolonnvektorerna är linjärt oberoende: d a + d a + + d n a n då och endast då talen d j j n En matris A vars kolonnvektorer är linjärt oberoende är inverterbar (icke-singulär) och systemet Ax b har entydig lösning för varje högerledet b Påminn att rangen för en matris A rang(a) är antalet linjärt oberoende kolonnvektorer i A Om A är en m n matris så är rangen högst lika med min{m n} Betrakta t ex två matriser A B Vi har rang(a) (A har full rang) och rang(b) (B inte har full rang) Antag att vi har ett överbestämt ekvationssystem Ax b där A är en matris av typ m n med m > n Problemet att lösa ett överbestämt system är ekvivalent med att bestämma en linjär -kombinationen av kolonnvektorerna så att denna är lika med b Detta är i allmänhet omöjligt: vi har n kolonnvektorer: a a a n och då m > n kan de inte utgöra en bas i R m som är ett rum av dimension m Antag t ex att m och n och betrakta ett överbestämt system a x + a x b a x + a x b () a x + a x b

2 som skrivas på formen () där a och a är två vektorer i R a x a + x a b () a a a a Om vektorerna a och a är linjärt oberoende spänner de upp ett plan i R och man kan inte förutsätta att vektorn b ligger i detta plan Exempel Betrakta överbestämda systemet som skrivas på formen () där vektorerna a a a a x + x b x + x b (4) x + x b x a + x a b (5) a är linjärt oberoende och spänner upp planet i R Minsta kvadratproblem Eftersom vi inte kan lösa det överbestämda systemet får vi nöja oss med att bestämma en vektor s sådan att residualvektorn r b Ax (6) blir liten n r x j min (7) j så söker vi minsta kvadratlösnigen till det överbestämda systemet: x bestäms så att summan av kvadraterna av komponenterna i residualvektorn blir minimal Givet ett överbestämt ekvationssystem Ax b där A är en rektangulär matris av typ m n m > n Minsta kvadratmetoden innebär att den euklidiska normen av residualvektorn minimeras dvs x bestäms som lösnig till minimeringsproblemet min x b Ax

3 Enligt definitionen och formulering av minsta kvadratproblemet ska vi bestämma en linjär kombination av vektorerna a och a så att residualvektorn blir så kort som möjligt Eftersom alla linjärkombinationer av vektorerna ligger i planet i figuren blir längen av residualvektorn r minimal om r är normal till planet Villkoret att r ska vara normal till planet är detsamma att r är ortogonal till vektorerna som spänner upp planet dvs skalarprodukterna I det allmänna fallet ges lösningen analogt a T r a T r Om kolonnvektorerna i A är linjärt oberoende är matrisen A T A positivt definit och minsta kvadratproblemet har en entydig lösning som fås ur normalekvationerna min x b Ax (8) A T Ax A T b och Vi har Exempel Vi ska lösa minsta kvadratproblemet (8) för systemet (4) där A T A A A T b a a a b A T blir a A T Ax A T b x 6 6 4

4 som har lösningen x / / Den här vektorn som bäst approximerar lösningen i minsta kvadratmetodem mening illustreras i figur Antag också att vi vill anpassa en rät linje till följande data: t f(t) Om vi ansätter den räta linjen f(t) på formen f c + c t får vi minsta kvadratproblemet (8) med systemet som skrivas på formen () Lösningen är c c och den räta linjen f(t) / + t/ Exempel c + c c + c c + c / / Vi ska lösa minsta kvadratproblemet (8) för överbestämda systemet x + x b x + x b x + x b (9) x + 4x b x + 5x b som skrivas på formen () där matrisen A a a a 4 5 och högerledet b a 4 5

5 Vi har A T b A T A A T blir som har lösningen A T Ax A T b x x Den räta linje F (t) x + x t 46 + t som bäst approximerar mätvärdena i minsta kvadratmetodem mening illustreras i figur Vi har t F (t) exakt data Exempel 4 Antag att vi ska anpassa en rät linje till följande data: t f(t)

6 Om vi ansätter den räta linjen på formen f c + c t får vi minsta kvadratproblemet (8) med som skrivas på formen () där matrisen och högerledet Vi har A T A A A T b x + 998x b x + 999x b x + x b () x + x b x + x b a a a b a A T A T Ax A T b blir som har lösningen x x

7 Om man istället väljer framställningen f b + b (t ) får vi minsta kvadratproblemet (8) med matrisen A och samma högerledet b A T b A T A A T Ax A T b blir 5 som har lösningen x x Minsta kvadratmetoden med MATLAB I MATLAB löser man minsta kvadratproblem direkt med \ Om det överbestämda ekvationssystemet inte har en entydig lösning i minstakvadratmening vilket inträffar då systemsmatrisen A inte har full rang sätts öbestämda x-värden till och en varning skrivs utt Exempel: A B MATLABsatsen >> fullrang A\b ejfullrang B\b ger kolonnvektorerna fullrang -5 Warning: Rank deficient rank sol 46e-5 ejfullrang b 7