Lågrangsapproximation exempel. Singulärvärden och tillämpningar

Transkript

1 och tillämpningar och tillämpningar

2 A m n - matris B = A t A n n - matris B t = (A t A) t = A t (A t ) t = A t A = B B symmetrisk Spektralsatsen finns ON-bas v,..., v n för R n av egenvektorer till B. Vi tänker på vektorerna som (koordinat-)kolonner så Bv j = λ j v j. Sätt w j = Av j R m. vj tv j = v j = λ j = λ j vj tv j = vj t(λ jv j ) = vj t(bv j) = vj t(at Av j ) = (vj tat )(Av j ) = (Av j ) t (Av j ) = wj tw j = w j Alla egenvärden λ j alltså. Ordna dem så att λ λ λ n och sätt σ j = λ j. σ σ σ n kallas A:s singulärvärden. (w j w k ) = w t j w k = (Av j ) t (Av k ) = (v t j At )(Av k ) = v t j (At Av k ) = v t v t j λ kv k = λ k v t j v k = λ k (v j v k ) = λ k = om j k. w,..., w n är ortogonala och w j = (w j w j ) = λ j = σ j. j Bv k = Normera u j = w j / w j = w j /σ j u,..., u n ON-mängd i R m om m n. Utvidga vid behov med fler u j till ON-bas för R m (görs också om några σ j = så att u j inte kan definieras från w j ). och tillämpningar

3 Låt U och V vara matriserna med u j resp. v j som kolonner. U är m m och V är n n. Båda är ortogonala: U = U t, V = V t Vi har Av j = σ j u j vilket kan skrivas AV = UΣ där Σ är m n - matrisen σ... σ... Σ = σ V = V t ger nu A = UΣV t. Om n > m kommer kan man göra ett liknande resonemang, t.ex. för A t. Slutsats: Singulärvärdesfaktorisering/uppdelning av en matris (SVD). Varje matris A kan skrivas A = UΣV t. Om A är m n är U m m, V n n och Σ m n, U och V ortogonala samt Σ diagonal med A:s singulärvärden på diagonalen. Man kan visa att rang(a) = rang(a t A). Om r = rang(a) betyder detta att λ j = och σ j = för j > r. A = UΣV t kan då skrivas (jämför spektraluppdelning) A = σ u v t + + σ r u r v t r Varje term i summan är en m n - matris av rang. och tillämpningar

4 A = UΣV t = σ u v t + + σ r u r v t r SVD används ofta p.g.a. följande sats: Låt A s vara bästa rang-s approximationen av A (d.v.s. A s har rang s och minimerar A A s, som definieras som roten av summan av kvadraterna på alla element i A A s ). Då är A s = σ u v t + + σ su s v t s (de s första termerna i SVD för A). En - matris har 6 element. En rang- approximation behöver bara u,..., u, v,..., v, d.v.s. 4. element, en stor minnesbesparing! Att approximera en matris med en annan av lägre rang är en standardteknik inom många ingenjörsområden, t.ex. signalbehandling och bildkompression. Det kan användas för att filtrera bort brus. En annan användare är Netflix vars algoritm när de rekommenderar filmer till kunder bygger på SVD. Man behöver bara räkna ut de s egenvektorer som ska användas i approximationen, inte alla n egenvektorerna. SVD kan också bidra med geometriska tolkningar av den linjära avbildning som en matris representerar. och tillämpningar

5 Exempel: A = At A = Egenvärden till A t A är λ = 4, λ =, λ 3 = 4 med egenvektorer v =, v 6 = resp. v 3 3 = (bildar ON-bas för R 3 ). till A är σ = 4, σ =, σ 3 = och Av = 4 7 = σ u, Av = = σ u, Av 3 = = σ 3u 3 u, u, u 3 kan utvidgas med u 4, u 5 till ON-bas för R 5 men behövs ej här. och tillämpningar

6 SVD av A: A = = UΣV t = σ u v t + σ u v t + σ 3u 3 v3 t = u 4 u = ( )+ ( )+ 7 7 Bästa rang- och rang- approximation av A: A = σ u v t =, A = σ u v t + σ u v t = 3 ( ) och tillämpningar