Ortogonal dekomposition. Minstakvadratmetoden.

Transkript

1 Ortogonal dekomposition. Minstakvadratmetoden. Nästa sats är en utvidgning av begreppet ortogonal projektion av en vektor på en annan vektor. Ortogonal projektion på ett underrum. Satsen om ortogonal dekomposition av en vektor. Sats 6..8, sid. 66 Låt W vara ett underrum av R n : Alla elementen y ur R n kan vara framställda på ett entydigt sätt som summa y = by + z = proj W y + z by W ; z W? där by def = proj W y hör till W och z hör till dess ortogonala komplementet W? : Låt fu 1 ; u ; :::u p g vara en godtycklig ortogonal bas till W. Då kan by representeras som y u1 y u by = proj W y = ku 1 k u 1 + ku k u + ::: + = proj u1 y + proj u y + ::: + proj up y y u p ku p k! u p och z = y by: Ett utkast av bevis.(krävs inte på tentan) Det är lätt att se att z = y by är ortogonal mot alla basvektorer u k, k = 1; :::; p i W och måste då höra till W?. Entydigheten av framställningen y =by+z följer från följande observation. Förutsätt att det nns två olika sådanaframställningar y=by 1 +z 1, y=by +z. Detta medför att by 1 +z 1 = by +z och by 1 by = z z 1 : 1

2 Vektorer i vänster hör till W och vektorer i högerm hör till W? som har bara en gemensamm punkt - noll: 0: Detta medför att by 1 by = 0 och z z 1 = 0. Lägg märke till att för y W är projektionen av y på W naturligtvist lika med y: proj W y = y: Satsen om bästa approximationen. Sats 6..9, sid. 68 Låt W vara ett underrum av R n, y vara en godtycklig vektor ur R n och by = proj W y vara dess ortogonala projektionen på W. Då är projektionen by = proj W y den närmaste punkt i W till punkten y. för alla v W. Bevis (krävs inte på tentan) ky byk ky vk Välj en vektor v W inte lika med by. Vektorn y by är ortogonal mot W och speciellt är den ortogonal mot v W : y v = (y by) + (by v) där (y by) och (by v) är ortogonala mot varandra, som medför enligt Pythagor satsen att ky byk + kby vk = ky vk Detta medför att ky byk ky vk eftersom v 6= by och 0 < kby vk

3 Satsen om projektionen på ett underrum med hjälp av en ortonormal bas. Sats 6..10, sid. 69 Låt W vara ett underrum av R n av dimension p och fu 1 ; u ; :::u p g vara en godtycklig orto- NORMAL bas till W, som betyder att u i u k = 0, i 6= k, ku i k = 1, i; = 1; :::; p. Då gäller två framställningar av proj W y för en godtycklig vektor y R n : proj W y = (y u 1 ) u 1 + (y u ) u + ::: + (y u p ) u p om U = [u 1 ; u ; :::u p ] [u 1 ; u ; :::u p ] T så kan samma uttryck framställas som matrisprodukt proj W y = UU T y; 8y R n Följande bild illustrerar formeln proj W y = (y u 1 ) u 1 + (y u ) u i fallet då W har dimensionen. Gramm-Schmidt metoden för att skapa en ortogonal bas från en vanlig bas. Ortogonala baser och ortonormala baser r lämpliga för att beräkna projektioner. Om man har en godtycklig bas till ett underrum eller till hela R n ; så ger Gram-Schmidt metoden möjlighet att hitta en ortognal till W, och sedan även en ortonormal bas (med att normera varje vektor i ortogonala basen). Gramm-Schmidt metoden Sats , sid.. Låt W vara ett icke noll underrum av R n av dimension p och fx 1 ; x ; :::x p g vara en godtycklig bas till W. Följande beräkningsprocess ger en ny bas fv 1 ; v ; :::v p g till W som är ortogonal bas.

4 v 1 = x 1 v = x x v 1 kv 1 k x v 1 v = x kv 1 k ::: v p = x p xp v 1 kv 1 k v 1 x v v 1 kv k v 1 ::: v x p v p 1 kv p 1 k! v p 1 Mera kompakt uttryck i geometriska termer med projektioner på v 1 ; v ; :::; v p 1 v 1 = x 1 v = x proj v1 x v = x proj v1 x proj v x ::: v p = x p proj v1 x p ::: proj vp 1 x p På varje steg k beräknas komponentet v k av vektorn x k, ortogonalt mot W k 1 = Span fv 1 ; v ; :::; v k 1 g som v k = x k proj W k 1 x k Detta gör att varje nya basvektorn v k är ortogonal till tidigare byggda ortogonala basvektorer fv 1 ; v ; :::; v k 1 g : I slutet av beräkningsprocessen skapas p ortogonala vektorer som bygger en ortogonal bas i W. Exempel. 4

5 5

6 Minsta kvadrat problem. Det uppstår i tillämplningar linjära ekvationer Ax = b som saknar lösningar på grund av att systemet innehåller era ekvationer jämfört med antalet obekanta. Speciellt uppstår sådana ekvationer när man vill approximera experimentälla data med enkla formler som innehåller ett litet antal parametrar. Man introducerar då begreppet minstakvadratlösning som ger en approximation bx av lösningar sådan att kax bk är så liten som möjligt. De nition. Om A är en m n matris och b R m, en mistakvadrat lösning till systemet Ax = b är en vektor bx ur R n sådan att kabx bk kax bk för alla x R n : Minsta kvadrat problem. Satsen om normal ekvation för minsta kvadrat lösning. Sats Mängden av minstakvadratlösningar till Ax = b är samma ekvationen A T A bx = A T b: Den sista ekvationen kallas normalekvationen till Ax = b. Bevis =)(krävs inte på tentan) Satsen om bästa approximationen påstår faktiskt att bb def = proj Col(A) b () som lösningsmängden till är en punkt på Col(A) som ligger närmast b. Det betyder att ekvationen Abx = b b har en lösning och ger en minstakvadratlösning till ekvationen Ax = b: Satsen om ortogonal dekomposition medför att b proj Col(A) b = b b b = b Abx måste vara ortogonal mot Col(A); speciellt ortogonal mot alla kolonner i A, som kan uttryckas explicit som A T (b Abx) = 0 eftersom rader i A T är samma som kolonner i A. Detta medför normalekvationen. Implikationen åt motsatta håll genomförs med liknande argument och använder entydigheten av ortoganl dekomposition av en vektor. 6

7 Satsen om entydiga minsta kvadrat lösningar. Sats , sid. 81 Låt A vara en m n matris. Följande påståenden är ekvivalenta. a. Ekvationen Ax = b har en entydig minstakvadratlösning för varje b ur R n b. Kolonner i A är linjärt oberoende. c. matrisen A T A är inverterbar. Bevis föreslås som övningar i Lay. Tillämpningar av minstakvadrat metoden för data anpassning. Linjära modeller. Allmänna modeller. Exempel sid Minstakvadrat linjer. sid. 8 i Lay Vi har m experimentälla värden av argument x och samma antal experimentella värden av en experimentell funktion y. Vi vill approximera dem med en linjär funktion y = x Experimentella argument Linjär approximation Experimentälla funktions värden x x 1 = y 1 x x = y x m x m = y m Vi vill hitta koe cienter 0, 1 som ger minimala summan av residualer (avvikelser) k = ( x k ) y k i kvadrat: P m k=1 (( x k ) y k ) Det är samma som att hitta minstakvadratlösning till ekvationen X = y

8 med matrisen och vektorer 1 x 1 1 x X = x m 5 ; = 0 1 ; y = 6 4 y 1 y. y m 5 Matrisen X kallas designmatrisen, vektorn y kallas observationsvektorn, vektorn kallas parametervektorn. Minstakvadratlösning hittas som lösning till normalekvationen X T X = X T y Matrisen X T X har i det fallet storlek och normalekvationen kan lösas med hjälp av Cramers formeln. 8

9 Exempel Betrakta experimentälla data som ligger inte längs en rak linje, men längs en krökt linje som kan approximeras med en parabel y = x + x : I det fallet framställs önskade approximativa relationen mellan experimentälla värden av x och y som ett (olösbart) system ekvationer Experimentella argument Linjär approximation Experimentälla funktions värden x x 1 + x 1 = y 1 x x + x = y där x m x m + x m = y m Vi söker igen en minstakvadratlösning till ekvationen X = y 1 x 1 x 1 1 x x X = ; = 4 1 x m x m ; y = 6 4 som minimerar summan av residualer k = ( x + x k y k ) i kvadrat. Man kan betrakta era olika approximationer av experimentalla data med modeller som är linjära kombinationer av olika lämpliga funktioner med ett inte för stort antal parametrar. Matrisen X T X i normalekvationen har i det fallet storlek. Kolonnerna i X är linjärt oberoende. Detta medfär att normalekvationen har en entydig lösning. X T X =X T y y 1 y. y m 5 9

10 Exempel då kolonner i matrisen A är ortogonala. Att anpassa experimentälla data med era faktorer. Det kan uppstå situationer då experimentälla data är funktioner som beror på era faktorer. Betrakta fallet då vi vill approximera experimentella data y som beror på värdena av två oberoende faktorer u och v. Vi väljer igen en linjär approximation: y = u + v men det kunde vara mera komplicerade funktioner av u och v. Första experimentella faktorn Andraa experimentella faktorn Linjär approximation Experimentä u 1 v u 1 + v 1 u v u + v u m v m u m + v m Vi söker igen en minstakvadratlösning till ekvationen X = y 10

11 där 1 u 1 v 1 1 u v X = ; = 4 1 u m v m ; y = 6 4 som minimerar summan av residualer k = ( u k + v k Minstakvadratlösning satis erar normala ekvationen där matrisen X T X har storlek : X T X =X T y y 1 y. y m 5 y k ) i kvadrat. 11