12. SINGULÄRA VÄRDEN. (u Av) u v

Transkript

1 . SINGULÄRA VÄRDEN Vårt huvudresultat sen tidigare är Sats.. Varje n n matris A kan jordaniseras, dvs det finns en inverterbar matris S sån att S AS J där J är en jordanmatris. Om u och v är två kolonnvektorer sätt (u v) u v vilket om u och v är reella är den vanliga skalärprodukten på n. Vi säger att u och v är ortogonala eller vinkelräta om (u v). Låt u (u u) vara den motsvarade vektornormen. Fast det går lika bra att använda matrismultiplikation kommer vi i fortsättningen genomgående räkna med skalärprodukten eftersom det då är lättare att se vad som händer när man flyttar matriser mellan de båda sidorna. Om A är en n n matris så gäller att (Au v) (Au) v u A v (u A v) och om A dessutom är hermitesk, A A, så är (Au v) (u Av) Med hjälp av denna likhet så kan man nu skärpa satsen ovan till Sats.. Om n n matrisen A är hermitesk så gäller alla egenvärden är reella, egenvektorer hörande till olika egenvärden är ortogonala, A är diagonaliserbar, A kan diagonaliseras med unitär matris V, dvs A VDV där V V I och D är diagonal och reell. Bevis. Om v j är en egenvektor och j är motsvarande egenvärde, dvs Av j v j, så gäller att (Av j v j ) ( jv j v j ) j(v j v j ) j v j jv j med Å andra sidan eftersom A är hermitesk är detta lika med varför där v j vilket medför att j är reell. (v j Av j ) (v j jv j ) j(v j v j ) j v j ( j j) v j 9

2 Nästan samma resonemang ger också andra påståendet. Låt j och k vara två olika egenvärden med motsvarande egenvektorer v j och v k. Då är och alltså j(v j v k ) (Av j v k ) (v j Av k ) k(v j v k ) ( j k)(v j v k ) Eftersom egenvärdena var olika så följer att egenvektorerna är vinkelräta. För tredje påståendet antar vi att A inte är diagonaliserbar. Eftersom A är jordaniserbar så finns det då en jordankedja av längd minst som börjar med Men då gäller vilket ger motsägelsen (A I)v (A I)v v (A I) v ((A I) v v ) ((A I)v (A I)v ) (v v ) varför det bara finns jordankedjor av längden. Alltså är A diagonaliserbar. Slutligen eftersom A är diagonaliserbar så finns det tillräckligt med egenvektorer för att bilda en bas. Egenvektorer som hör till olika egenvärden är automatiskt vinkelräta och egenvektorer hörande till samma egenvärde kan vi välja vinkelräta med hjälp av Gram- Schmidts algoritm. Sen återstår bara att normalisera dem så blir de kolonnerna i en unitär matris. Om A är en godtycklig rektangulär matris så har A inga egenvärden men man kan med hjälp av A bilda en matris med många goda egenskaper. Vi kommer att flera gånger i fortsättningen använda följande sats. Sats.3. Om A är en m n matris så är A A en hermitesk n n matris med reella egenvärden. Bevis. Att A A är hermitesk följer direkt av definitionen (A A) A A A A och det följer att A har n stycken reella egenvärden. Om är ett godtyckligt egenvärde med en motsvarande egenvektor v så gäller att det vill säga v (v v) (A Av v) (Av Av) Av v. Av Definition.4. Låt A vara en m n matris och låt n vara egenvärdena till A A ordnade i storleksordning. Talen n definierade genom j j kallas de singulära värdena till A. v

3 Anmärkning.5. Ofta menar man med de singulära värdena bara roten ur de positiva egenvärdena till A A. Dvs om r r som kallas för de singulära värdena. Exempel.6. Om så är A A A r n så är det 8 med egenvärden 8 och. Då är 8 och de singulära värdena till A. Exempel.7. Om så är B B i i 3i B i i 3i i i 3i 4 i i en hermitesk matris som har egenvärdena och 3. Då har B de singulära värdena och 3. Eftersom A A är hermitesk kan den diagonaliseras med en unitär matris V vars kolonner är egenvektorer till A A motsvarande egenvärdena j som vi nu antar är i storleksordning. Alltså gäller medan A Av j j v j där j för j r, A Av j för j r n. Först observerar vi att den sista likheten medför att Av j för j r n, eftersom Av j (Av j Av j ) (A Av j v j ) Vi inför nu r stycken nya vektorer i m genom att definiera u j Dessa blir automatiskt ortonormerade då (u j u k ) (Av j Av k ) j k Av j för j r. j (A Av j v k ) j k j (v j v k ) j k j jk k

4 Detta medför också att m r. Om m r så kan vi med hjälp av Gram-Schmidt komplettera vektorerna till en ortonormerad bas u u m i m som skrivna som kolonner ger oss en unitär matris U. Ekvationerna kan nu sammanfattas i matrisekvationen Av j ju j för j r, Av j för j r n, AV US där S är m n matrisen S r och där S r är r r diagonalmatrisen med diagonalelement r. Eftersom rangen inte förändras vid multiplikation med inverterbar matris så gäller att rang A rang(av ) rang(us) rang S r Vi har nu visat den viktiga satsen om SV-faktorisering. Sats.8 (Singulärvärdesfaktorisering). Varje m n matris A kan faktoriseras A USV där U och V är unitära m m respektive n n matriser och r rang A. S är entydigt bestämd av A men det är inte U och V. Att U och V inte är entydiga följer av att om v j är en egenvektor till A A så är även z j v j en egenvektor för alla komplexa tal med z j. Är dessutom två singulära värden lika har man ännu större valfrihet. Som en följd av satsen och som ett komplement till sats.3 gäller Sats.9. Om A är en godtycklig m n matris så är AA en hermitesk m m matris med reella egenvärden. De positiva egenvärdena är samma, j, j r, som för A A, det är bara antalet egenvärden som är lika med som skiljer. Bevis. Av sigulärvärdesfaktoriseringen följer att A VS U och att AA USV VS U USS U där SS är en m m diagonalmatris med diagonalelementen r och nollor för övrigt. Således består U av egenvektorer till den hermiteska m m matrisen AA som har samma positiva egenvärden som A A. Sammanfattningsvis så är V uppbyggd av egenvektorer till A A och U av egenvektorer till AA men där man måste välja egenvektorerna med omsorg så att ju j Av j. Det är nu dags att illustrera satsen om SV-faktorisering med ett exempel. Exempel.. Om A är matrisen i exempel.6 så är A A 8

5 3 där till egenvärdet 8 finns den normerade egenvektorn v normerade egenvektorn v. Vi kan nu välja och till egenvärdet en Sätt sedan och u u Av Av 8 V Det återstår att att komplementera u och u till en ortonormerad bas i 3. Lättast gör man detta genom att observera att u 3 ska vara egenvektor med egenvärdet till matrisen AA där och man ser att duger vilket ger AA U u 3 Vi har alltså singulärvärdesfaktoriseringen A USV Som en kontroll kan man beräkna egenvärdena till matrisen AA och finner då som väntat 8, och. Om man å andra sidan har en singulärvärdesfaktorisering så får man på köpet en ortonormerad bas i både nollrum och värderum. Sats.. Om A är en godtycklig m n matris och A USV är en singulärvärdesfaktorisering av A så gäller rang A r är antalet singulärvärden större än i S, v r v n är en ortonormerad bas för nollrummet N(A) till A, u u r är en ortonormerad bas för värderummet V(A) till A, r A k ku k v k är en summa av matriser av rang.

6 4 Bevis. Första påståendet har vi redan visat, och i beviset för SV-faktorisering såg vi att Av k, k r n, det vill säga att v r v n är ortonormerade och ligger i N(A). Eftersom dim N(A) n r så är de en bas. Vidare såg vi att u k k Av k, r, vilket medför att u u n är ortonormerade, ligger i V(A) och eftersom k dim V(A) r så är de en bas. Sista påståendet följer av en direkt beräkning där man håller reda på kolonnerna i U och V enligt A USV u u m S r v. v n u ru r v. u v ru r v r v n Exempel.. Eftersom vår matris A från exempel.6 har full rang så ger inte satsen så mycket men av SV-faktoriseringen A 8 så ser man direkt att rang(a), att N(A) och att ortonormerad bas för V(A). Slutligen får man uppdelningen A 8 och USV är en Sats. är särskilt användbar i numeriska sammanhang. Den ger en möjlighet att beräkna rangen av en matris på ett numeriskt tilltalande sätt genom att man räknar antalet singulära värden som är större än någon lämpligt vald lägsta gräns. I själva verket är det precis så här som matlab beräknar rangen i kommandot rank, prova gärna type rank. Även kommandot null bygger på satsen. Med hjälp av de singulära värdena kan man också beräkna två av de normer vi infört för matriser. Sats.3. För alla m n matriser A gäller A, roten ur största egenvärdet till A A, A F tr(a A) r. Om A är en inverterbar n A n, (A) n. n matris så är

7 5 Bevis. Gemensamt för dessa normer är att de är invarianta under multiplikation med unitära matriser, det vill säga A USV S och motsvarande för Frobeniusnormen. Det räcker alltså att beräkna normen av singulärvärdesmatrisen S. För Frobeniusnomen är det enklast För operatornomen gäller eftersom Sx x A F S F tr S S r S x n x x n där vi har likhet för x ( ) t. sup x x n Sx x x x n x x n Om A är inverterbar så är m n r. Därmed är alla singulära värdena positiva och singulärvärdesmatrisen S är inverterbar med diagonalelement k där n är störst. Detta ger A (USV ) VS U S n Slutligen har vi för konditionstalet att (A) A A n Exempel.4. För vår matris A från exempel.6 kan vi nu beräkna kvadraten på Frobeniusnormen A F på två sätt, antingen som summan av kvadraten av alla element ( ) eller som summan av kvadraterna av de singulära värdena 8. Satsen ger också A 8. För matrisen B i i 3i från exempel.7 så gäller att B och (B) 3 4. Exempel.5. Om U är n n unitär matris så gäller att U U värdena vilket ger U, (U ) och U F n. I, så U har singulära Satsen ger oss också en geometrisk tolkning av de singulära värdena. Eftersom vi har sup x Ax x så sträcker avbildningen A maximalt i riktningen som ges av v. I riktingar vinkelräta mot v sträcker A maximalt i riktningen som ges av v och så vidare.