4 MINTAKADRATMETODEN Nu sk vi gå igenom någr olik sätt tt lös ekvtionssystemet Ax Om A är m n mtris med m n så sägs systemet vr överestämt och det sknr då i llmänhet lösningr Istället söker mn en pproximtiv lösning till ekvtionen genom tt sök det x som minimerr Ax Ett sådnt x klls minstkvdrtlösningen till Ax ger en nnn lösning x i Froeniusnorm En nnn norm Ax Ax Ax Ax (A) Oserver tt x är en exkt lösning till systemet Ax precis då minimum är i sk gå igenom tre olik metoder tt finn minstkvdrtlösningen och vi låter i fortsättningen A eteckn Froeniusnormen A och (A B) tr A B vr motsvrnde sklärprodukt Låt f (x) Ax NORMALEKATIONER och låt x vr en minstkvdrtlösning i sk nu finn ett sätt tt estämm x genom tt utnyttj tt f (x ) är är det minst värdet funktionen f kn nt Det etyder tt f (x ty) f (x ) för ll vektorer y och ll reell tl t Men f (x ty) f (x ) A(x ty) Ax (Ax tay Ax tay) (Ax Ax ) (Ax tay) (tay Ax ) (tay tay) t Re(Ax Ay) t Ay För små t är t mycket mindre än t och då vi kn välj vlfritt tecken på t så måste (Ax Ay) för ll y Dett etyder geometriskt tt vektorn Ax måste vr vinkelrät mot (A), värderummet till A Men dett kn också skrivs (A (Ax ) y) för ll y vilket r är möjligt om A (Ax ) Alltså är x en minstkvdrtlösning precis då x löser systemet A Ax A som klls normlekvtionern till ekvtionssystemet Ax lltid lösrt eftersom högerledet ligger i (A ) och det gäller tt (A A) är självklrt tt (A A) Dett ekvtionssystem är (A ) och åd värderummen hr smm dimension) (A ) (Det Om A A är inverterr, det vill säg om A hr mximl rng, så ges minstkvdrtlösningen v x (A A) A Då A A inte är inverterr så finns det fler lösningr 7
8 Om x är en lösning så ges ll v x N(A A) x N(A) där de åd nollrummen är lik eftersom de hr smm dimension och det är lätt tt se tt N(A) N(A A) Härledningen ovn är inget mystiskt, mn kn lterntivt säg tt vi hr eräknt de sttionär punktern genom tt sätt de prtiell derivtorn f (x) x j och lös Fördelen med metoden ovn är tt vi också direkt ser tt det är minpunktern vi får eftersom om x löser normlekvtionern så är för ll t och y f (x ty) f (x ) t Ay Exempel 4 Finn en pproximtiv lösning till systemet Då är och A A A vrför normlekvtionern lir x x x x vilk hr lösningen x 4 och x Exempel 4 Det är smm pproximtion som ligger kom linjär regression Målet är tt finn en linje x y som nsluter så r som möjligt till n stycken givn punkter (x y ) (x n y n ) (x y ) x y (x n y n ) Det etyder tt mn vill lös systemet x y x n y n
9 vilket på mtrisform lir x x n y y n Då lir A A x x n x x n n x j x j x j och A x x n y y n y j x j y j och normlekvtionern är n x j x j x j y j x j y j med lösningen n x j ( x j ) y j x j x j x j y j n x j y j x j y j End gången A A inte är inverterr är om rng A det vill säg om x x n c Då ligger de givn punktern förvisso på linjen x y x c men denn är inte på formen i illustrerr också med ett exempel med siffror Finn den linje som nsluter äst till punktern ( ), ( ) och ( ) Dett inneär tt vi vill lös som hr normlekvtionern 5 4 5 med lösningen 6 5 ilket ger redvidstående figur Fst normlekvtionern ser trevlig ut så nvänds de inte vid numerisk eräkningr eftersom det kn li för stor vrundningsfel för A A vilket följnde exempel illustrerr
Exempel 4 Betrkt det illkonditionerde systemet Ax med A med litet Då lir normlekvtionern A Ax A x 7 7 Men om är mycket litet (till exempel tt vi istället får systemet x 7 7 Mn ser här tt det är stor skillnd på lösningrn med lösningen x 5 ) sätter en dtor med lösningen x vilket medför m LÖNING MED QR-FAKTORIERING En metod som är ättre numeriskt är tt qr-fktoriser mtrisen A, A n skriver vi R tt Ax R UR och om Gör vi smm uppdelning v mtrisen U ( d c ) så får vi URx Rx U Rx c d och mn ser tt minimum nts då R x c Hr nu mtrisen A mximl rng så får vi minstkvdrtlösningen x R c Om A inte hr mximl rng så får mn istället t till singulärvärdesfktorisering som är teoretiskt mer tillfredsställnde då den fungerr för ll mtriser LÖNING MED -FAKTORIERING Om A U är en singulärvärdesfktorisering v A så är Ax U x x U Nu skriver vi r där r är en digonlmtris med de positiv singulär värden i digonlen och övrig element är nollmtriser v lämplig ordning kriver vi nu x mtris och gör motsvrnde uppdelning v U x r z z ( c d ) så lir r z z z där z är en r och vi får Ax U x x U r z c d
i ser nu lätt tt minst värdet nts då z r Eftersom z x så etyder dett tt x z r normen x r c z c och tt z kn väljs godtycklig r c c z För dess lösningr är z minst om z mmnfttningsvis, om A U är en singulärvärdesfktorisering v A så ges den minstkvdrtlösning som hr minst norm v och vi skriver x r c r c d x A där A r r U U Mtrisen A klls Moore-Penrosepseudoinversen efter E Moore som eskrev den 9 och efter R Penrose som upptäckte den 955 Den minst, minstkvdrtlösningen ges v x A och smtlig lösningr ges v A N(A) Om A U är inverterr så är A (U ) ( ) U U A För en icke-inverterr mtris A är A är en nturlig skpelse där mn inverterr så mycket v A som går tt inverter och lämnr övrig nollmtriser oförändrde i hr tidigre sett tt om A hr mximl rng så finns ntingen höger eller vänsterinvers X eroende på om m n eller m n Gemensmt för dess är tt de uppfyller AXA A XAX X och vi kllr mtriser X som uppfyller dess ekvtioner för pseudoinverser Det följer v konstruktionen v Moore-Penrosepseudoinversen tt ll mtriser hr minst en pseudoinvers Övning 44 Kontroller tt inverser, höger och vänsterinverser smt tt A är pseudoinverser Exempel 45 Nollmtrisen A hr pseudoinversen X idre hr mtrisen lnd ndr pseudoinversern, och Blnd ll pseudoinverser så utmärker sej Moore-Penrosepseudoinversen genom tt den också uppfyller ortogonlitetsekvtionern (AX ) AX (XA) XA Övning 46 Kontroller tt Moore-Penrosepseudoinversen A uppfyller dess ekvtioner is också genom tt nsätt X YU, tt A är den end pseudoinvers som uppfyller ortogonlitetsekvtionern
Exempel 47 i sk nu eräkn A om A är mtrisen i exempel 4, det vill säg A Då är A A som hr egenvärden och Till egenvärdet finns den normerde egenvektorn v välj och till egenvärdet en normerde egenvektorn v i kn därför ätt sedn u Av 6 och u Av Det återstår tt tt kompletter u och u till en ortonormerd s i Lättst gör mn dett genom tt oserver tt u sk ligg i N(A ) och mn ser tt u duger vilket ger U 6 i hr lltså singulärvärdesfktoriseringen A 6 U
Då får vi A om en kontroll eräknr vi och AA A A 6 6 i ser lltså tt A är en vänsterinvers och då A A I så följer direkt tt AA A A och A AA A Alltså uppfyller A definitionen v pseudoinvers i ser också genst tt åde A A och AA är hermitesk så A uppfyller även ortogonlitetsekvtionern och är därmed Moore-Penrosepseudoinversen Med hjälp v A kn vi också lös minstkvdrtprolemet i exempel 4 genom Mn kn eräkn A x A 4 utn tt först h gjort singulärvärdesfktorisering ingulärvärdesfktoriseringen v A r U är mycket lik fktoriseringen v A End skillnden är tt det är r för A och r för A Dett inneär tt (A ) (A ) (med s v v r ) och tt N(A ) N(A ) (med s u r u m ) Eftersom u u r är en s för (A) och A u k v k Av k u k för k r, så är A en invers till A på (A) Å ndr sidn, då (A) N(A ) N(A ) så är A u om u är vinkelrät mot (A) äljer vi en s för m med r (A) och r m (A) så kn vi eräkn vrt A tr ll svektorern och därmed kn vi finn mtrisen för A Metoden kn då eskrivs som följer Först välj s c c r i (A ) och eräkn Ac r Ac r Därefter välj en s r m i N(A ) Ingen v sern ehöver vr ortonormerd men tillsmmns ildr de en s i m och eftersom vi känner verkn v A på ll svektorern, A k c k om k r och om k r, så kn vi eräkn mtrisen för A
4 Exempel 48 i nvänder metoden för tt eräkn A om A är mtrisen i exempel 4 Då är A och som s för (A ) kn vi välj c och c och vi får Ac och Ac idre väljs som svektor i N (A ) t ex Eftersom A är invers till A på (A) så gäller tt A A Ac c och A A Ac c och då ligger i N (A ) så är A Nu vet mn hur A verkr på vektorern k enligt A A Ac c, A A Ac c och A På mtrisform kn dess ekvtioner skrivs A B C där B och C Enligt konstruktionen är B inverterr eftersom kolonnern är en s vrför A eräkns som A CB Mindre rete vid hndräkning lir det om mn skriver B A C och eräknr A med Gusselimintion enligt Alltså lir A En nnn metod som ilnd nvänds i numerisk tillämpningr ygger på följnde likhet A lim (A A I) A Om A inte hr mximl rng så är A A inte inverterr men genom tt lägg till I så lir A A I inverterr och efter multipliktion med A så kn mn låt kn Mer
5 precist, om A U är en singulärvärdesfktorisering v A så gäller (A A I) A ( U U I) U ( I ) U ( ( I) ) U ( I) U ( r I) I r r U A då r I I U r U ( r I) r eftersom mtrisen ( r I) r hr digonlelementen k ( k ) som går mot, U k