TANA09 Föreläsning 5. Matrisnormer. Störningsteori för Linjära ekvationssystem. Linjära ekvationssystem

Transkript

1 TANA9 Föreläsning Matrisnormer Linjära ekvationssystem Matrisnormer. Konditionstalet. Felanalys. Linjära minstakvadratproblem Överbestämda ekvationssystem. Normalekvationerna. Ortogonala matriser. QR faktorisering. Exempel: Anpassning av cirkel till givna punkter. Definition Låt vara en vektor norm. En matris norm ges av, Ax A = sup x x. Egenskaper A, A = endast då A =, αa = α A, och A+B A + B. Lemma Låt A, B vara matriser. Då gäller AB A B. Tolkning Matrisnormen ger ett mått på hur mycket den linjära operatorn A kan förlänga en vektor. Hur skall A beräknas? november Sida / november Sida / Störningsteori för Linjära ekvationssystem Lemma För maximum normen gäller att n A = max ( a ij. i n Det är alltså lätt att beräkna A. Liknande resultat finns för A. j= Lemma Antag att vi vill lösa Ax = b och bara har ett högerled b δ = b+δb tillgängligt. Det därav orsakade felet i lösningen kan uppskattas, δx x A A δb b. Lemma För den Euklidiska normen gäller att ( / A = max λ i(a T A. i n Definition Matrisens Konditionstal ärκ(a = A A. Kräver mycket arbete att beräkna A. Enklare definition senare via Singulärvärdesfaktoriseringen. Konditionstalet är ett mått på hur känsligt ett ekvationssystem är med avseende på störningar i högerledet. Se boken för störningar i A. november Sida / november Sida /

2 Minsta Kvadratproblemet Exempel Låt A =, b = Bestäm en övre gräns för felet i x mätt i då b = ±., b = ±., och b anses exakt.. Svårt att beräkna κ(a eftersom A krävs. Kan dock uppskattas effektivt om faktoriseringen PA = LU är känd (med exempelvis condest( i MATLAB. Många problem är illa-konditionerade, dvs κ(a. Då används helt andra metoder. Exempel Vi vet att en fysikalisk storhet ges av y = Ax + Bx, där A och B är konstanter vi vill bestämma och x och x är parametrar vi enkelt kan variera. Hur skall vi bestämma A och B? Lösning Genomför experiment och mät y för olika värden på(x, x. x x y = ( A B =.... Nöjer vi oss med två mätningar får vi ett linjärt ekvationssystem. Fler mätningar bör gå att utnyttja för att få ett bättre resultat. november Sida / november Sida / Definition Låt A R m n m > n. Ekvationssystemet Ax = b är då överbestämt. Ax b r = b Ax span(a Fler ekvationer än obekanta gör att det oftast inte finns en lösning. Istället minimerar vi residualen och löser min x R n Ax b. Definiton Den vektor x som minimerar Ax b kallas minsta kvadrat lösningen. Fallet är trevligt eftersom det är enkelt att lösa. Kallas Minsta kvadratproblemet. I statistiken kallas det Linjär Regression. För minimering i eller se kurser i Optimeringslära. Sats Minsta kvadrat lösningen x satisfierar A T Ax = A T b. (Normalekvationerna Om kolumnerna i A är linjärt oberoende så är A T A icke-singulär. november Sida / november Sida 8 /

3 Modell Passning Exemplet Med A och b som tidigare fås ( A T.. A =.., A T b = (.8.. Exempel Vi will anpassa ett polynom p(t = c + c t+c t till en uppsättning mätningar (t i, y i, i m.. Lös A T Ax = A T b ger minsta kvadrat lösningen x = (.8,. T. Hade valt x = (, T och b med ett slumpmässigt fel... Feluppskattningen för linjära ekvationssystem ger en felgräns för x = ( A, B T. Denna är dock inte särskilt relevant Formulera detta som ett överbestämt ekvationssystem och lös med minsta kvadratmetoden. november Sida 9 / november Sida / Antag att data (t i, x i lagrats som två vektorer t och x. Då fås >> A=[ t.^ t.^ t.^]; b=y; c=(a *A\(A *b; >> tt=:.:;yy=c(+c(*tt+c(*tt.^; >> plot(t,y, x,tt,yy; QR faktoriseringen Definition En matris Q är ortogonal om Q T Q = I, där I är identitetsmatrisen.... Sats Låt A R m n, m > n. Då kan vi faktorisera A som ( R A = Q, där Q R m m är ortogonal och R R n n är övertriangulär Egenskaper R är icke-singulär om A har linjärt oberoende kolumner. Matrisen Q = (q, q,..., q m ger en ortogonal bas för R m. Hur kan vi utnyttja detta för att lösa minsta kvadratproblem? november Sida / november Sida /

4 Minsta Kvadratproblem och QR faktorisering In MATLAB Lemma Antag att Q är ortogonal och x är en vektor. Då gäller Qx = x. >> [Q,R]=qr(A,; >> x=r\(q *b; Sats Antag att A = Q R, Q = (Q, Q. Då gäller att det x som minimerar Ax b ges av Ax b = ( R ( Q T x b Q T b Lösningen blir alltså x = R Q T b och r = Q T b. Vi behöver bara den reducerade QR faktoriseringen A = Q R.. november Sida / Lemma Antag att A = Q R, är den reducerade QR faktoriseringen. Då gäller att range(a = span(q Vi har en ortogonalbas för bildrummet. Minsta kvadratproblemet löses genom att högerledet b projiceras på bildrummet range(a. Det gäller att κ (A T A = κ (R. Stabilare numeriskt då A = QR används. november Sida / Cirkel Anpassning Exempel Punkter (x, y T som ligger på en cirkel uppfyller F(u = a(x + y +b x+b y+ =, där u = (a, b, b T är okända parametrar. Cirkelns centrum och radie ges av z = (x, y T = ( b a, b a T, och r = b + b a a. Antag nu att vi får två vektorer x och y med m = punkter på cirkeln. Hur skall vi uppskatta cirkelns centrum och radie? Punkterna finns lagrade i vektorer x och y. I MATLAB skriver vi >> A=[x.^+y.^ x y]; b=-ones(size(x; >> [Q,R]= qr( A, ; >> u=r\(q *b; >> z=-u(://u( >> r=sqrt( (u(^+u(^//u(^-/u( november Sida / november Sida /

5 Resultatet blir z (.9,.8 T och r.99. Den exakta cirkeln är z = (.,. T är r =.. Vi behöver mer data (x k, y k T för att förbättra anpassningen. Konditionstalet är κ (R =.. Nu har vi m = punkter som täcker en större del av cirkeln. Konditionstalet blir κ (R =.. Cirkelapproximationen blir z (.8,.88 T och r.. november Sida / november Sida 8 / Sammanfattning Konditionstalet κ (A avgör hur känsligt ett linjärt system Ax = b är för störningar i högerledet b eller matrisen A. Minsta Kvadrat Problemet innebär att Ax b minimeras. Nu har vi m = punkter som är bättre utspridda över cirkeln. Konditionstalet blir κ (R =.. Cirkelapproximationen blir z (.,.8 T och r.98. Lösningen ges av normal ekvationerna A T Ax = A T b. Används främst för teoretiska resonemang. Faktoriseringen A = QR ger en ortogonalbas för värderummet range(a. Standard metod för minsta kvadrat problem. Bra kod för beräkning av QR faktoriseringen finns. Punkterna (x k, y k T tätt packade ger att alla ekvationer blir ungefär likadana. Viktiga att observationerna är utspridda! november Sida 9 / november Sida /