Minsta kvadratmetoden där Överbestämda ekvationssystem Det är lämpligt att uppfatta matrisen A som bestående av n kolonnvektorer: A a a a n a a a n a n a n a nn a j a j a nj a a a n j n Då kan vi skriva ekvationssystemet Ax b på formen x a + x a + + x n a n b () Systemet är lösbart för varje högerledet b då och endast då kolonnvektorerna a a a n utgör en bas i R n eller ekvivalent då kolonnvektorerna är linjärt oberoende: d a + d a + + d n a n då och endast då talen d j j n En matris A vars kolonnvektorer är linjärt oberoende är inverterbar (icke-singulär) och systemet Ax b har entydig lösning för varje högerledet b Påminn att rangen för en matris A rang(a) är antalet linjärt oberoende kolonnvektorer i A Om A är en m n matris så är rangen högst lika med min{m n} Betrakta t ex två matriser A B Vi har rang(a) (A har full rang) och rang(b) (B inte har full rang) Antag att vi har ett överbestämt ekvationssystem Ax b där A är en matris av typ m n med m > n Problemet att lösa ett överbestämt system är ekvivalent med att bestämma en linjär -kombinationen av kolonnvektorerna så att denna är lika med b Detta är i allmänhet omöjligt: vi har n kolonnvektorer: a a a n och då m > n kan de inte utgöra en bas i R m som är ett rum av dimension m Antag t ex att m och n och betrakta ett överbestämt system a x + a x b a x + a x b () a x + a x b
som skrivas på formen () där a och a är två vektorer i R a x a + x a b () a a a a Om vektorerna a och a är linjärt oberoende spänner de upp ett plan i R och man kan inte förutsätta att vektorn b ligger i detta plan Exempel Betrakta överbestämda systemet som skrivas på formen () där vektorerna a a a a x + x b x + x b (4) x + x b x a + x a b (5) a är linjärt oberoende och spänner upp planet i R Minsta kvadratproblem Eftersom vi inte kan lösa det överbestämda systemet får vi nöja oss med att bestämma en vektor s sådan att residualvektorn r b Ax (6) blir liten n r x j min (7) j så söker vi minsta kvadratlösnigen till det överbestämda systemet: x bestäms så att summan av kvadraterna av komponenterna i residualvektorn blir minimal Givet ett överbestämt ekvationssystem Ax b där A är en rektangulär matris av typ m n m > n Minsta kvadratmetoden innebär att den euklidiska normen av residualvektorn minimeras dvs x bestäms som lösnig till minimeringsproblemet min x b Ax
Enligt definitionen och formulering av minsta kvadratproblemet ska vi bestämma en linjär kombination av vektorerna a och a så att residualvektorn blir så kort som möjligt Eftersom alla linjärkombinationer av vektorerna ligger i planet i figuren blir längen av residualvektorn r minimal om r är normal till planet Villkoret att r ska vara normal till planet är detsamma att r är ortogonal till vektorerna som spänner upp planet dvs skalarprodukterna I det allmänna fallet ges lösningen analogt a T r a T r Om kolonnvektorerna i A är linjärt oberoende är matrisen A T A positivt definit och minsta kvadratproblemet har en entydig lösning som fås ur normalekvationerna min x b Ax (8) A T Ax A T b och Vi har Exempel Vi ska lösa minsta kvadratproblemet (8) för systemet (4) där A T A A A T b a a a b A T blir 6 6 4 + + + + a + + + + + + + + A T Ax A T b x 6 6 4
som har lösningen x / / Den här vektorn som bäst approximerar lösningen i minsta kvadratmetodem mening illustreras i figur Antag också att vi vill anpassa en rät linje till följande data: t f(t) Om vi ansätter den räta linjen f(t) på formen f c + c t får vi minsta kvadratproblemet (8) med systemet som skrivas på formen () Lösningen är c c och den räta linjen f(t) / + t/ Exempel c + c c + c c + c / / Vi ska lösa minsta kvadratproblemet (8) för överbestämda systemet x + x b x + x b x + x b (9) x + 4x b x + 5x b som skrivas på formen () där matrisen A a a a 4 5 och högerledet b 8 4 6 4 a 4 5
Vi har A T b 4 5 8 4 6 A T A A T 4 5 8 + + 4 + 6 + 8 + + 4 + 4 6 + 5 4 5 4 5 + + + + + + + 4 + 5 + + + 4 + 5 + + + 4 4 + 5 5 blir 5 5 5 55 som har lösningen A T Ax A T b x x 46 696 4 5 5 5 55 696 4 Den räta linje F (t) x + x t 46 + t som bäst approximerar mätvärdena i minsta kvadratmetodem mening illustreras i figur Vi har t F (t) 748 8 7 exakt data 9 4 4 74 6 5 6 Exempel 4 Antag att vi ska anpassa en rät linje till följande data: t f(t) 998 765 999 498 5 5888 684 5
Om vi ansätter den räta linjen på formen f c + c t får vi minsta kvadratproblemet (8) med som skrivas på formen () där matrisen och högerledet Vi har A T A A A T b 998 999 x + 998x b x + 999x b x + x b () x + x b x + x b a a a b 765 498 5 5888 684 a A T 998 999 765 498 998 999 5 5888 684 998 999 A T Ax A T b 998 999 998 999 558 565 5 5 5 5 blir som har lösningen 5 5 5 5 x x 647769 65 558 565 6
Om man istället väljer framställningen f b + b (t ) får vi minsta kvadratproblemet (8) med matrisen A och samma högerledet b A T b A T A 5 765 498 5 5888 684 A T Ax A T b 558 658 blir 5 som har lösningen x x 5 65 558 658 Minsta kvadratmetoden med MATLAB I MATLAB löser man minsta kvadratproblem direkt med \ Om det överbestämda ekvationssystemet inte har en entydig lösning i minstakvadratmening vilket inträffar då systemsmatrisen A inte har full rang sätts öbestämda x-värden till och en varning skrivs utt Exempel: A B MATLABsatsen >> fullrang A\b ejfullrang B\b ger kolonnvektorerna fullrang -5 Warning: Rank deficient rank sol 46e-5 ejfullrang b 7