Wienerfiltrering. Martin Enqvist och Markus Gerdin. Reglerteknik och kommunikationssystem Linköpings universitet. Wienerfiltrering

Transkript

1 1 Martin Enqvist och Markus Gerdin Reglerteknik och kommunikationssystem Linköpings universitet

2 Repetition, spektralfaktorisering 2 Vi har en stationär stokastisk process y i, <i<, med R y (i) = y k,y k i = Ey k yk i (1) S y (z) = R y (i)z i (2) i= Den kanoniska spektralfaktoriseringen ges, om S y (e iw ) > 0, av S y (z) =L(z)r e L (z ) (3) där L(z) minfas ( inverterbar), L( ) =1och r e > 0. Innovationerna e i som ges av e(z) =L 1 (z)y(z) är vitt brus och innehåller samma information som y i.

3 Glättning i kontinuerlig tid 3 Vi vill skatta s(t) från y(t) med hjälp av (7.1.1) ŝ(t) = w(t, τ)y(τ)dτ (4) så att kriteriet (7.1.3) minimeras. Eftersom processerna antas stationära blir (7.1.6) E s(t) ŝ(t) 2 (5) w(t, τ) =k(t τ) (6)

4 Glättning i kontinuerlig tid, fortsättning 4 Ortogonalitetsvillkoret ger att (7.1.4) (s(t) ŝ(t)) y(σ) s(t),y(σ) = ŝ(t),y(σ) R sy (t σ) = k(t τ)r y (τ σ)dτ Fouriertransformering av denna ekvation (med σ =0) ger (7.1.9) K(f) = S sy(f) S y (f) (7)

5 Glättning i kontinuerlig tid, specialfall 5 För specialfallet (7.1.11) y(t) =s(t)+v(t) (8) (s(t) och v(t) oberoende) fås K(f) = S sy(f) S y (f) = S s (f) S s (f)+s v (f) (9) Betrakta fallet S v (f) N. Vi har då att K(f) S s(f) N, S s(f) N 0 (10) och att K(f) 1, S s(f) N (11)

6 Wiener-Hopf, kontinuerlig tid 6 Betrakta skattningsproblemet (7.2.1) ŝ(t t) = 0 k(τ)y(t τ)dτ (12) Ortogonalitetsvillkoret ger, för t σ, att (7.2.2) (s(t) ŝ(t t)) y(σ) s(t),y(σ) = ŝ(t t),y(σ) R sy (t σ) = 0 k(τ)r y (t τ σ)dτ Detta är en Wiener-Hopf-ekvation i kontinuerlig tid.

7 Wiener-Hopf, fortsättning 7 Wiener-Hopf-ekvationen kan även skrivas (för t 0) R sy (t) = 0 k(τ)r y (t τ)dτ k m =0,m<0 (13) För att lösa denna ekvation definierar vi g(t) =R sy (t) 0 k(τ)r y (t τ) (14) som är definierad för alla t och strikt antikausal.

8 Wiener-Hopf, fortsättning 8 L-transformering ger G(s) RL ( s ) }{{} strikt antikausal G(s) =S sy (s) K(s)S y (s) (15) G(s) =S sy (s) K(s)L(s)RL ( s ) (16) K(s) = = S sy(s) r e L ( s ) K(s)L(s) }{{} kausal { } Ssy (s) r e L ( s ) + 1 L(s) (17) Vi måste kräva att S y (s) är strikt positiv på imaginära axeln för att kunna använda kanonisk spektralfaktorisering. (18)

9 Diskret tid 9 Diskret tid

10 Glättning 10 Vi vill skatta s i från y i med hjälp av (7.3.1) ŝ i = m= w im y m (19) så att kriteriet minimeras. Eftersom processerna antas stationära blir (7.1.6) E s i ŝ i 2 (20) w im = k i m (21)

11 Glättning, fortsättning 11 Ortogonalitetsvillkoret ger att (7.3.2) (s i ŝ i ) y l s i,y l = ŝ i,y l R sy (i l) = k(i m)r y (m l)dτ m= Fouriertransformering av denna ekvation (med l =0) ger (7.3.6) K(e jω )= S sy(e jw ) S y (e jw ) (22) Detta är sats

12 Wiener-Hopf 12 Betrakta skattningsproblemet (7.3.12) ŝ i i = m=0 k m y i m (23) Ortogonalitetsvillkoret ger, för i l, att (s i ŝ i i ) y l s i,y l = ŝ i i,y l R sy (i l) = k m R y (i m l) m=0 Detta är den diskreta Wiener-Hopf-ekvationen

13 Wiener-Hopf, fortsättning 13 Wiener-Hopf-ekvationen kan även skrivas (för i 0) (7.3.14) R sy (i) = m= k m R y (i m) k m =0,m<0 (24) För att lösa denna ekvation definierar vi (7.4.1) g i = R sy (i) m=0 k m R y (i m) (25) som är definierad för alla i och strikt antikausal.

14 Wiener-Hopf, fortsättning 14 Z-transformering ger G(z) r e L (z ) }{{} strikt antikausal G(z) =S sy (z) K(z)S y (z) (26) G(z) =S sy (z) K(z)L(z)r e L (z ) (27) K(z) = = S sy(z) r e L (z ) K(z)L(z) }{{} kausal { } Ssy (z) r e L (z ) + 1 L(z) (28) Detta är Wienerfiltret (sats 7.4.1). Vi måste kräva att S y (z) är strikt positiv på enhetscirkeln för att kunna använda kanonisk spektralfaktorisering. (29)

15 Kausala delen 15 Kausala delen av en rationell funktion F (z) kan bestämmas med hjälp av partialbråksuppdelning. (7.5.1), (7.5.2) F (z) =r 0 + m i=0 {F (z)} + = {r 0 } + + l i k=1 m i=0 r ik (z p i ) k (30) l i { rik k=1 (z p i ) k } + (31)

16 Kausala delen, fortsättning 16 Kausala delen av partialbråken bestäms sedan av några enkla regler (sid ): {c} + = c för konstanter c. { } 1 z + a + = 1 z + a, a < 1 1 a, a > 1 (32) { 1 (z + a) i } + = 1 (z + a) i, a < 1 1 a i, a > 1 (33)

17 Prediktion 17 Vid prediktion, s i = y i+λ, har vi (enligt lemma 6.3.1) S sy = z λ S y (z) vilket ger (7.6.2) K(z) = { Ssy (z) } r e L (z ) + 1 L(z) = För enstegsprediktion (λ =1) fås (7.6.6) { z λ } S y (z) r e L (z ) + 1 L(z) = { z λ L(z) } + 1 L(z) (34) ( 1 K(z) ={zl(z)} + L(z) = z(l(z) 1) 1 L(z) = z 1 1 ) L(z) (35)

18 Additivt vitt brus 18 För specialfallet med additivt vitt brus (7.6.11), y i = s i + v i (36) S v (z) =r (37) S vs (z) =0 (38) har vi och S sy (z) =S s (z) (39) S y (z) =S s (z)+s v (z) =S s (z)+r (40)

19 Additivt vitt brus, fortsättning 19 Vi har alltså (7.6.14)-(7.6.17) { } Ssy (z) 1 K(z) = r e L (z ) + L(z) { } Sy (z) r 1 = r e L (z ) + L(z) { } r 1 = L(z) r e L (z ) + L(z) ( { } 1 r = {L(z)} + L (z ) =1 r r e 1 L(z) + r e ) 1 L(z)

20 Kausal filtrering med innovationer 20 Betrakta skattningsproblemet (7.7.1), kausal filtrering från innovationer ŝ i i = i k= g i k e k (41) Ortogonalitetsvillkoret ger att (s i ŝ i i ) e l s i,e l = ŝ i i,e l R se (i l) = i k= g i k r e δ kl = g i l r e Denna Wiener-Hopf-ekvation är trivial.

21 med innovationer 21 Transformera sekvensen g i : G(z) = g i z i = i=0 i=0 R se (i) r e z i = { } Sse (z) r e + = { Ssy (z) } L (z )r e + (42) Lemma används i sista likheten. Eftersom e(z) = 1 L(z) y(z) fås nu slutligen K(z) = { Ssy (z) } r e L (z ) + 1 L(z) (43) Detta är återigenwienerfiltret (sats 7.4.1).

22 med innovationer, forts. 22 Med hjälp av innovationer kan man härleda formlerna för prediktion och additivt vitt brus på ett alternativt (enklare?) sätt. Man kan fråga sig varför man lika gärna kan använda innovationerna som y i när man skattar s i. Detta beror på att e(z) =L 1 (z)y(z) där L 1 (z) är kausalt inverterbar. Antag t.ex. att y i är vitt brus och att vi använder det (korkade) vitningsfiltret L 1 (z) =z 1. Eftersom den senaste mätningen y i då inte kommer med, så får vi uppenbarligen en sämre skattning!

23 Vektorfallet 23 För vektorvärda processer används normalt Kalman-filtret. Flera av formlerna för Wiener-filtret kan dock skrivas för vektorvärda processer. Glättning: K(z) =S sy (z)s 1 y (z) (44) : K(z) = { S sy L (z ) } + R 1 e L 1 (z) (45) där S(z) =L(z)R e L (z ) (46) I boken finns även formler för additivt vitt brus med prediktion.

24 Rekursiva Wienerfilter 24 Rekursiva WF = Tidsinvarianta KF Tillståndsmodell för processen {y i } x i+1 = Fx i + Gu i, i 0 (47a) y i = Hx i + v i (47b) där {u i } och {v i } är stationära stokastiska processer med x 0 u i, v i x 0 u j v j 1 Π 0 ( 0 ) 0 = Q S 0 δ R ij 0 S (48)

25 Kovariansfunktioner 25 (Lemma 8.1.1) Betrakta tillståndsmodellen (8.1.1)-(8.1.2) och låt Π i = x i,x i. Då gäller det att där N i F Π i H + GS. Π i+1 = F Π i F + GQG, i 0 (49a) { F R x (i, j) x i,x j = i j Π j i j Π i F (j i) (49b) i j HF i j 1 N j i>j R y (i, j) y i,y j = R + HΠ i H i = j (49c) Ni F (j i 1) H i<j En tidsinvariant tillståndsmodell ger alltså i allmänhet inte upphov till stationära processer {x i } och {y i }.

26 Stationära processer 26 Problemet är att Π i är tidsvariabel. Dock: F stabil (λ max (F ) < 1 ) Π i Π sådan att Π =F ΠF + GQG då i, {x i } och {y i } asymptotiskt stationära En unik, hermitesk, positivt semidefinit lösning Π till den tidsdiskreta Lyapunovekvationen existerar om F är stabil och Q 0. Specialfall: F stabil, Π 0 = Π {x i } och {y i } stationära

27 Kovariansfunktioner igen 27 (Lemma 8.1.2) Betrakta tillståndsmodellen (8.1.1)-(8.1.2) och antag att F är stabil och att Π 0 = Π där Π =F ΠF + GQG.Dåär{x i } och {y i } stationära och där N F ΠH + GS. { F i j Π i j R x (i j) = x i,x j = ΠF (j i) i j HF i j 1 N R y (i j) = y i,y j = R + H ΠH N F (j i 1) H i > j i = j i<j (50a) (50b)

28 z-spektrum 28 z-spektrat för {y i } kan skrivas på två sätt S y (z) = ( H(zI F ) 1 I ) ( )( ) 0 N (z 1 N R + H ΠH I F ) 1 H I = ( H(zI F ) 1 I ) ( )( ) GQG GS (z 1 I F ) 1 H S G R I (51a) (51b) I den översta varianten är matrisen i mitten (insignalgramianen) indefinit och det gör att det inte är uppenbart att S y (e iω ) 0 (vilket den naturligtvis är).

29 Ekvivalensklass för insignalgramianer 29 I Lemma visas att S y (z) = ( H(zI F ) 1 I ) ( GQG GS S G R är invariant under insignalgramiantransformationen ( ) GQG GS S G R )( ) (z 1 I F ) 1 H ( ) GQG Z + FZF GS + FZH S G + HZF R + HZH I (52) (53) där Z är en godtycklig hermitesk matris. Vidare visas det att om två insignalgramianer ger samma S y (z) så finns det en unik hermitesk matris Z som definierar transformationen mellan dessa enligt ovan. På föregående sida: Z = Π ( Π =F ΠF + GQG )

30 Nollställen på enhetscirkeln 30 I kapitel 6: S y (z) får inte ha nollställen på enhetscirkeln Här: Lemma visar att S y (e iω ) > 0 för alla ω [ π, π] omm {F s,gq s/2 } där F s = F GSR 1 H och Q s = Q SR 1 S är styrbart på enhetscirkeln. (Det står felaktigt uncontrollable i boken.) ({F, G} är styrbart på enhetscirkeln om det finns en matris L så att F GL saknar egenvärden på enhetscirkeln.)

31 Spektralfaktorisering: Härledning 31 Från Lemma har vi att ( ) (z 1 I F ) 1 H S y (z) = ( H(zI F ) 1 I ) T I (54) där T = ( ) GQG Z + FZF GS + FZH S G + HZF R + HZH (55) för en godtycklig hermitesk matris Z. Lemma visar att om S y (e iω ) > 0 så har T alltid minst p positiva egenvärden.

32 Härledning (forts.) 32 Vi söker en faktorisering T = WR e W där R e > 0 är en p p-matris. Studera de Z = P för vilka R + HPH är ickesingulär. Då kan T faktoriseras T = ( )( )( ) I Kp 0 I 0 0 I 0 R e Kp I (56) där R e R + HPH och K p (FPH + GS)R 1 e och = P + FPF + GQG K p R e K p (57) Välj P så att =0. Detta ger S y (z) = ( H(zI F ) 1 I ) ( ) K p ( R I e K p I ) ( ) (z 1 I F ) 1 H I =(H(zI F ) 1 K p + I)R e (H(z I F ) 1 K p + I) (58a) (58b)

33 Härledning (forts.) 33 Med L(z) H(zI F ) 1 K p + I har vi en faktorisering S y (z) =L(z)R e L (z ) (59) F stabil L(z) stabil och kausal. L(z) 1 måste också vara stabil och kausal. Matrisinversionslemmat ger Alltså: F K p H måste vara stabil. L(z) 1 = I H(zI F + K p H) 1 K p (60)

34 DARE 34 Alltså: L(z) är den kanoniska spektralfaktorn om vi kan hitta en hermitesk matris P sådan att R e > 0 =0 P = FPF + GQG K p R e Kp (DARE) F K p H stabil Existensen av ett unikt P med de önskade egenskaperna visas i Thm Förutsättningar: {F, H} detekterbar (annars är F KH instabil för alla K) S y (e iω ) > 0 (formulerat annorlunda m.h.a. Lemma 8.3.1)

35 Spektralfaktorisering 35 (Thm ) Den kanoniska spektralfaktoriseringen ges av S y (z) =L(z)R e L (z ), L( ) =I, R e > 0 (61) L(z) =I + H(zI F ) 1 K p (62) där R e = R + HPH och K p =(FPH + GS)R 1 e och P = FPF + GQG K p R e K p (63) (F K p H stabil)

36 Tillståndsrepresentation 36 Fördel: L(z) och L(z) 1 kan enkelt realiseras på tillståndsform (Thm ) L(z): θ i+1 = Fθ i + K p e i y i = Hθ i + e i (64a) (64b) L(z) 1 : θ i+1 =(F K p H)θ i + K p y i e i = Hθ i + y i (65a) (65b)

37 Enstegsprediktion 37 Från kap. 7: Enstegsprediktorn kan skrivas I L(z) 1. På tillståndsform: θ i+1 =(F K p H)θ i + K p y i ŷ i = Hθ i (66a) (66b)

38 Tillståndsskattning 38 Tillstånden i den underliggande modellen kan skattas m.h.a. filtret ˆx i+1 = F ˆx i + K p e i y i = H ˆx i + e i (67a) (67b) som också kan skrivas ˆx i+1 = F ˆx i + K p (y i H ˆx i ) (68)

39 Glättad tillståndsskattning 39 Den glättade tillståndsskattningen ˆx i (givet alla y i ) kan skrivas λ i =(F K p H) λ i+1 + H R 1 e (y i H ˆx i ) (69a) ˆx i+1 = F ˆx i + K p (y i H ˆx i ) ˆx i =ˆx i + Pλ i (69b) (69c)

40 Kovariansdata 40 Wienerteorin baseras på kunskap om kovariansfunktioner (eller spektraltätheter). Här har vi dock utgått från en tillståndsmodell. Dock: M.h.a. tekniker för minimala realiseringar kan man ta fram en tillståndsrealisering {F, H, N} utifrån en kovariansfunktion R y (i) så att R y (i) =HF i 1 N, i > 0 (70)

41 Kovariansdata (forts.) 41 (Thm ) L(z) definieras då av θ i+1 = Fθ i + K p e i y i = Hθ i + e i där R e = R y (0) H ΣH, K p =( N F ΣH )Re 1 positivt semidefinita lösningen till och där Σ är den unika, (71a) (71b) Σ =F ΣF + K p R e K p (72) som ger ett stabilt F K p H.

42 Tidsvariabla modeller 42 Om tillståndsmodellen är tidsvariabel kan man modifiera resultaten så att man får en riccatirekursion istället för DARE-n (tidsvariabla) kalmanfiltret Man kan dock härleda KF utan att gå omvägen via R y (τ) och L(z)...

43 Övningar, kap () Lös uppgift 7.5 i boken. 2 (Spektralfaktorisering på två sätt) Betrakta systemet x i+1 = ( ) x i + ( 0 1) u i (73a) y i = ( 1 0 ) x i + v i (73b) där u i och v i är oberoende Gaussiska processer med väntevärden 0 och varianser Q =1respektive R =0.1 (S =0). 2a Bestäm den kanoniska spektralfaktoriseringen av S y (z) både med metoden från avsnitt 6.5 och med Thm Ger de båda metoderna samma resultat? (Plotta t.ex. de båda versionerna av L(z) då z =1.)

44 Övningar (forts.) 44 2b Generera en realisering av y i Matlab utifrån realiseringar av u och v samt tillståndsbeskrivningen på föregående sida. Beräkna innovationsprocessen utifrån y med de båda olika versionerna av vitningsfiltret från uppgift 2a (d.v.s. både m.h.a. filtret som tagits fram enligt avsnitt 6.5 och det som finns i Thm ) Plotta de båda versionerna av innovationsprocessen. Är de lika? 2c Vilken spektralfaktoriseringsmetod tycker du är enklast att använda? Vilken hade varit enklast om S y (z) hade varit given men inte tillståndsbeskrivningen?

45 Övningar (forts.) 45 Exempel på matlabkommandon till uppgift 2: syms z p=(z-3.23)*(2*zˆ2+.2*z-1.1)+z pretty(p) expand(p) simplify(p) maple( factor, (z-3.23)*(2*zˆ2+.2*z-1.1)+z, real ) help dare help lsim