Fö4: Kondition och approximation. Andrea Alessandro Ruggiu

Transkript

1 TANA21/22 HT2018 Fö4: Kondition och approximation Andrea Alessandro Ruggiu

2 Kondition och approximation A.A.Ruggiu 13:e September Konditionstal

3 Kondition och approximation A.A.Ruggiu 13:e September Kondionstal Konditionstal är ett mått på hur väl ett visst problem lämpar sig för numeriska beräkningar. Skiss på tavlan: Ax = b, A är 2 2, störning i b.

4 Kondition och approximation A.A.Ruggiu 13:e September För att analysera ett ekvationssystems kondition behövs vektor- och matris-normer. Vanliga vektornormer: n x 2 = i=1 x i 2, två-norm (längden) x 1 = n i=1 x i, ett-norm x = max i=1,...,n x i, max-norm Exempel: låt x = (1, 2, 1, 3) T, x 2 = (1) 2 + (2) 2 + ( 1) 2 + (3) , x 1 = = 7, x = 3.

5 Kondition och approximation A.A.Ruggiu 13:e September Matrisnorm Låt A R m n. Matrisnorm definieras från vektornorm Ax p A p = sup, p {1, 2,..., } x 0 x p Matrisnormen sägs vara inducerad ur vektornormen. Den uppfyller A B A B och Ax A x.

6 Kondition och approximation A.A.Ruggiu 13:e September Matrisnorm Låt A R m n. Matrisnorm definieras från vektornorm Ax p A p = sup x 0 x p = sup Ax p x =1 OBS: Två ekvivalenta uttryck, eftersom y = x/ x p leder till ( ) p A x p y Ax p sup x 0 x p = sup x 0 = sup x 0 x p x p Ay p = sup Ay x p p y p =1

7 Kondition och approximation A.A.Ruggiu 13:e September Matrisnorm Låt A R m n. Matrisnorm definieras från vektornorm Ax p A p = sup x 0 x p = sup Ax p x =1 A 1 = max j=1,...,n m i=1 a ij, max(kol.-beloppssumma) A = max i=1,...,m n j=1 a ij, max(rad-beloppssumma) Exempel: A = A 1 = 9

8 Kondition och approximation A.A.Ruggiu 13:e September Matrisnorm Låt A R m n. Matrisnorm definieras från vektornorm Ax p A p = sup x 0 x p = sup Ax p x =1 A 1 = max j=1,...,n m i=1 a ij, max(kol.-beloppssumma) A = max i=1,...,m n j=1 a ij, max(rad-beloppssumma) Exempel: A = A = 10

9 Kondition och approximation A.A.Ruggiu 13:e September Konditionstalet i p-normen för en matris A definieras som κ p (A) = A p A 1 p κ p (A) 1 eftersom 1 = I p = A A 1 p A p A 1 p = κ p (A). Om κ p (A) är stort är A illa-konditionerad. Vad betyder det?

10 Kondition och approximation A.A.Ruggiu 13:e September Sats (Störningsanalys för Ax = b) Antag att vi vill lösa Ax = b, där A är exakt, och b = b b. Då gäller x p x p κ p (A) b p b p Om κ p (A) är stort är A illa-konditionerad. Det betyder att relativt fel för x blir ganska stort, även om relativt fel för b är litet!

11 Kondition och approximation A.A.Ruggiu 13:e September Bevis. Vi löser Ax = b där x = x x. Vi vet att Ax = b. A (x + x) = }{{}} b + {{ b } x b A x = b x = A 1 b b p = Ax p A p x p x p = A 1 b p A 1 p b p Multiplicera (alla är positiva) b p x p A p x p A 1 p b p. Dividera nu med x p b p, så är beviset klart.

12 Kondition och approximation A.A.Ruggiu 13:e September Exempel: [ ] 1 1 A = b = [ ] ( b) i Uppskatta relativt fel för x i max-norm x / x. Vi behöver [ ] A = och κ (A) = A }{{ A 1 } = }{{} = = x x κ (A) b b

13 Kondition och approximation A.A.Ruggiu 13:e September Exempel: [ ] 1 1 A = b = [ ] ( b) i x x Vi vet b leder till x = (1, 1) T och x x x }{{ = } =1 [ ] 1 ± x = 1 ± Felet kan vara större än närmevärdet!

14 Kondition och approximation A.A.Ruggiu 13:e September Exempel: A = [ ] b = [ ] ( b) i x x [ ] 1 x = 1 OBS: b = [ ] leder till x = [ ]

15 Kondition och approximation A.A.Ruggiu 13:e September Approximation

16 Kondition och approximation A.A.Ruggiu 13:e September x 10 5 Linköpings befolkning, årliga avläsningar avlästa data Hur kan vi få en framtidsprognos mha givna data Figur: Givna data.

17 Kondition och approximation A.A.Ruggiu 13:e September x 10 5 rät linje givna data fler data Linköpings befolkning Figur: Framtidprognos med rät linje.

18 Kondition och approximation A.A.Ruggiu 13:e September x 10 5 andragradspolynom givna data fler data Linköpings befolkning Figur: Framtidprognos med andragradspolynom.

19 Kondition och approximation A.A.Ruggiu 13:e September x 10 5 femtegradspolynom givna data fler data Linköpings befolkning Figur: Framtidprognos med femtegradspolynom.

20 Kondition och approximation A.A.Ruggiu 13:e September Approximation Idé: Anpassa f (x) = c 0 + c 1 x c n x n 1 till data (x, y) R m 2, där typiskt n << m. min f (x) y 1 : avvikande datapunkter påverkar lite. min f (x) y : min f (x) y 2 : avvikande datapunkter påverkar mycket. anpassar sig bra till alla datapunkterna. Minsta kvadratmetoden utjämnar mätfel!

21 Kondition och approximation A.A.Ruggiu 13:e September Minsta kvadratmetoden Anpassa ett andragradspolynom till x y Ansätt p(x) = c 0 + c 1 (x 103) + c 2 (x 103) 2, där 103 är medelvärdet av x. Stoppa in data: p(101) : c 0 2c 1 + 4c 2 = 2 p(102) : c 0 1c 1 + 1c 2 = 2 p(104) : c 0 + c 1 + c 2 = 3.3 p(105) : c 0 + 2c 1 + 4c 2 = 6 Ac = y

22 Kondition och approximation A.A.Ruggiu 13:e September Ac = y saknar lösning (överbestämt) så vi minimera y Ac 2. Lösningen ges av normalekvationerna: A T Ac = A T y Bevis: y Ac 2 2 = (y Ac)T (y Ac) = y 2 2 2yT Ac + c T A T Ac. c y Ac 2 2 = 2yT A1 + 1 T A T Ac + c T A T A1 = 2 ( 1, A T y ) ( 1, A T Ac ) 2 c y Ac 2 = 0 A T Ac = A T y

23 Kondition och approximation A.A.Ruggiu 13:e September Ac = y saknar lösning (överbestämt) så vi minimera y Ac 2. Lösningen ges av normalekvationerna: A T Ac = A T y A T A = = ( där κ A T A ) 54 och A T y = =

24 Kondition och approximation A.A.Ruggiu 13:e September Lös [ A T A A T y ] = OBS: pivotering behövs ej ty A T A är symmetrisk och positivt definit! Gauss-elimination ger c 0 = 2.2 c 1 = 0.93 c 2 = 0.45

25 Kondition och approximation A.A.Ruggiu 13:e September Krav på ansatsens form Allmänt f (x) = c 0 ϕ 0 (x) + c 1 ϕ 1 (x) c n ϕ n (x), där c i är sökta konstanter; ϕ i (x) är givna linjärt oberoende funktioner. Till exempel: 1, x, x 2,... sin(x), cos(x), sin(2x),...

26 Kondition och approximation A.A.Ruggiu 13:e September Fördel med ansatsen Alternativt: ansätt p(x) = k 0 + k 1 x + k 2 x 2. Stoppa in data: p(101) : k k k 2 = 2 p(102) : k k k 2 = 2 p(104) : k k k 2 = 3.3 p(105) : k k k 2 = 6 Bk = y B T ( B = , κ B T B )

27 Kondition och approximation A.A.Ruggiu 13:e September Stort konditionstal medför risk för sämre noggrannhet i lösningen k = (k 0, k 1, k 2 ) T. Matrisen A T A har κ ( A T A ) 54 och är mycket bättre konditionerad.

28 Kondition och approximation A.A.Ruggiu 13:e September OBS: pivotering behövs ej i minsta kvadratmetoden, för att A T A (och B T B...) är symmetrisk och positivt definit. ( A T A ) T = A T ( A T ) T = A T A; x T A T Ax = (Ax) T (Ax) = y T y = y y 2 n > 0 om A har linjärt oberoende kolumner och x 0.

29 Kondition och approximation A.A.Ruggiu 13:e September Minsta kvadratmetoden i MATLAB Vi har vektorer x, y och vi vill anpassa polynom av grad n. Figur: Alternativ 1. OBS: polyfit använder (x x) /σ för att beräkna minsta kvadratmetodens lösningen. Koefficienterna räknas ändå för 1, x, x 2,... basen.

30 Kondition och approximation A.A.Ruggiu 13:e September Minsta kvadratmetoden i MATLAB Vi har vektorer x, y och vi vill anpassa polynom av grad n. Figur: Alternativ 2. OBS: c = A\y går också bra, A överbestämd konstateras.

31 Kondition och approximation A.A.Ruggiu 13:e September Övning Jämför i MATLAB alternativ 1 och 2. Ger dem samma polynom?

32 Andrea Alessandro Ruggiu