Föreläsning 1: Signaler, matriser och processer. Leif Sörnmo 28 augusti 2009

Transkript

1 Föreläsning 1: Signaler, matriser och processer Leif Sörnmo 28 augusti

2 Optimal Signalbehandling kontra Digital Signalbehandling? stokastisk modellering av signalen, metoddesign baserad på signalens egenskaper oftast uttryckt i termer av korrelation, kriterier för optimalitet oftast synomymt med minimering av kvadratiska medelfelet, betoning på matrisbeskrivning av signaler tillämpad linjär algebra klassisk kontra modern filterdesign se nästa bild! 2

3 Vad är skillnaden mellan klassiska och moderna filter? 1. Klassiska filter designas vanligen utifrån förutbestämda krav på frekvensfunktionen, dvs H(f) f 3

4 2. Moderna filter välj filtret h(k) så att felet mellan x(n) och ˆx(n) blir så litet som möjligt, tex genom att minimera det kvadratiska medelfelet E[(x(n) ˆx(n)) 2 ] map h(k): w(n) x(n) + h(k) ˆx(n)

5 Vad är skillnaden mellan OSB och ASB? felet OSB känd statistik ĥ opt h felet ASB okänd statistik som skattas successivt ĥ opt (n) h 4

6 Vad ingår i kursboken? Signalbehandling och linjär algebra (kap 2) Stokastiska processer (kap 3) Signalmodellering (kap 4, ej 4.5) Levinsons rekursion (kap 5, ej 5.4) Latticefilter (kap 6, ej 6.3, 6.4) Wienerfilter (kap 7, ej 7.4) Spektralskattning (kap 8) 5

7 Vektorer, matriser och signaler En signal bestående av samplen x(n N +1),..., x(n 1), x(n) representeras kompakt med vektorn x(n), x(n) = Exempel: Faltningssumman x(n) x(n 1). x(n N + 1) kan skrivas som y(n) = N 1 k=0 h(k)x(n k) y(n) = h T x(n) = x T (n)h 6

8 där impulssvaret h har ändlig längd h = h(0) h(1) h(2). h(n 1)

9 Alternativt kan faltningen beskrivas mha en matrisrepresentation, y = X 0 h där X 0 är en faltningsmatris med insignalen x(n) lagrad kolumnvis och successivt skiftad neråt: X 0 = x(0) x(1) x(0) 0 0 x(2) x(1) x(0) x(n 1) x(n 2) x(n 3) x(0).... Egenskaper hos X 0 ( 0 anger index för översta elementet i insignalen, dvs x(0)): identiska värden i diagonalerna, antal kolumner längden hos h, ev. oändligt antal rader 7

10 Matrisegenskaper Den kvadratiska matrisen A (n x n) är: symmetrisk om A = A T, Hermitisk om A = A H = (A ) T = (A T ) (komplexvärda matriser), inverterbar om AA 1 = I, Toeplitz om alla diagonaler är identiska, tex A =

11 Hermitisk (symmetrisk) Toeplitz om A = Eftersom denna matris är helt definierad av första kolumnen (eller raden) kan man även använda den mera kompakta beteckningen A = Toep{3,2,1,0} Observera att denna matristyp är central för svagt stationära processer: korrelationsmatrisen för dessa processer är alltid Hermitisk Toeplitz (se Kap. 3.3)! ortogonal om A T A = I, dvs A 1 = A T. Detta betyder att kolumnerna (och raderna!) är ortonormala. Om A = [a 1,,a n ] så a T i a j = 1 för i = j 0 för i j 9

12 övre triangulär om alla element under diagonalen är 0, tex A = undre triangulär pss men alla element över diagonalen är 0. Observera att en Hermitisk matris kan delas upp i en produkt bestående av en övre triangular, en diagonal och en undre triangulär matris, sk lower/upper (LU) uppdelning (se Kap. 5.2 och latticefilter). Kolla gärna in Tabell 2.5 för egenskaper hos olika matrisers inverser. 10

13 Linjära ekvationssystem Många problem inom optimal signalbehandling resulterar i ett linjär ekvationssystem: Ax = b Dess lösning är enkel då A är inverterbar (kvadratisk, n x n), dvs. x = A 1 b. Exempel: In- och utsignal är relaterade via y = Xh där X är en faltningmatris. Filtret h kan då bestämmas om utsignalen y och X är kända samt X inverterbar (jfr Padé approximation för bestämning av filterkoefficienter, Kap. 4.3). Direkt lösning av ekv.syst. kräver n 3 mult&div. Specialstruktur på A kan ge snabb lösning, tex om Toeplitz så krävs endast n 2 mult&div - Levinsons rekursion i Kap. 5! 11

14 Linjära ekvationssystem, forts Antag att A är n x m. Om Ax = b är underbestämt (n < m) eller överbestämt (n > m) mest intressant, så krävs speciell teknik för att lösa denna ekvation (detaljerna redovisas inte närmare i kursboken). Användbara lösningar är respektive x (n<m) = A H (AA H ) 1 b x (n>m) = (A H A) 1 A H b 12

15 Egenvärden & egenvektorer Till vad nytta i OSB? Skattning av frekvenser hos sinusar i brus kan göras genom att studera egenvärden och egenvektorer för den observerade signalens korrelationsmatris, se Kap. 8! Egenvärden och egenvektorer är relaterade till följande linjära ekvationssystem (A är n x n): Av = λv Lösning: Steg 1: p(λ) = det(a λi) = 0 resulterar i ett polynom som har n st rötter, λ 1,, λ n. Steg 2: Använd dessa λ i för att lösa ut motsvarande egenvektorer v i från Av i = λ i v i Notera: Vissa egenvärden är 0 om A är singulär, dvs ej har full rang. 13

16 Egenvärden, egenvektorer och egenskaper hos en Hermitisk matris egenvärdena är alltid reella, positivt definit omm alla dess egenvärden är positiva. Som en följd är en matris med positiva egenvärden inverterbar. uppdelning i en viktad summa av ortogonala egenvektorer ( Spektralteoremet ), A = VΛV 1 = n i=1 λ i v i v H i Dessa egenskaper gäller naturligtvis även för reella, symmetriska matriser. 14

17 Missa inte avsnitt om Lagrangemultiplikatorer för lösning av optimeringsproblem med bivillkor 15

18 Stokastiska processer Varför använda en stokastisk signalmodell? Därför att denna modelltyp tar hänsyn till att en signals utseende inte alltid är känd i detalj; kanske endast dess spektrala egenskaper är kända, en känd signal kan vara störd av brus som har en slumpmässig karaktär. brus kan ha olika karaktär, tex med impulsivt utseende. Observera: Metoder designade utifrån en deterministisk resp. stokastisk modell leder ofta till identiska strukturer (se Kap 4)! 16

19 Korrelationsfunktionens egenskaper (stationaritet) Definition (komplex x(n)): r x (k) = E[x(n+k)x (n)] = E[x (n)x(n+k)] Symmetri: r x (k) = r x( k) Mean-square value: r x (0) = E{ x(n) 2 } 0 Max.värde: r x (0) r x (k) Icke-negativt definit: k= l= a (k)r x (k l)a(l) 0 Om r x (k 0 ) = r x (0) för något k 0 så är processen periodisk 17

20 Korrelationsmatrisen R x = E[xx H ] = r x (0) rx (1) r x (2) r x (p) r x (1) r x (0) r x(1) rx(p 1) r x (2) r x (1) r x (0) rx (p 2)... r x (p) r x (p 1) r x (p 2) r x (0) Egenskaper: Hermitisk, Toeplitz (R x = R H x ), Toeplitz om reell process (R x = R T x), Icke-negativt definit: a H R x a 0 för en godtycklig vektor a vilket betyder att egenvärdena för R x är reella och icke-negativa. 18

21 Korrelationsskattning I praktiken måste r x (k) skattas från den observerade signalen. Detta kan göras med framgång om signalen är ergodisk: Använd tidsmedelvärde istället för ensembelmedelvärde vid skattning av korrelationsfunktionen, tex mha ˆr x (k, N) = 1 N N 1 n=0 x(n)x (n k) En process är autokorrelationsergodisk om lim E{ ˆr x(k, N) r x (k) 2 } = 0 N 19

22 Korrelationsskattning - egenskaper Antag att x(0),..., x(n 1) är en realisering av en sv stat process. Två skattningar förekommer: Alt I: ˆr I x(k) = 1 N k N k 1 n=0 x(n)x(n + k) Alt II: ˆr II x (k) = 1 N N k 1 n=0 x(n)x(n + k) 20

23 Exempel: Antag x(n) = {5,4,5}. Beräkna ˆr x (k)! Alt I: ˆr x(0) I = ( )/3 = 22 ˆr x(1) I = ( )/2 = 20 ˆr x(2) I = 25 Alt II: ˆr x(0) I = ( )/3 = 22 ˆr x(1) I = ( )/3 = 40/3 ˆr x I (2) = 25/3 Slutsats??

24 Effektspektrum Definition: P x (e jω ) = k= r x (k)e jkω, r x (k) = 1 2π π π P x(e jω )e jkω dω Egenskaper (reella processer): symmetri: P x (e jω ) = P x (e jω ), positivitet: P x (e jω ) 0, total effekt: r x (0) = 1 2π π π P x(e jω )dω 21

25 Beräkning av r x (k) mha FFT ˆr x (k) = 1 N N k 1 n=0 x(n)x(n + k) 0 < k < N 1 jfr x(n)y(k n) X(z)Y (z) men y(n) = x( n), dvs tidsreversering Y (z) = X(z 1 ) och alltså Z(ˆr x (k)) = ˆP x (z) = 1 N X(z)X(z 1 ) ˆP x (e jω ) = 1 N X(ejω ) 2 22

26 Filtrering av stokastiska processer Problem: Bestäm den komplexa spektraltätheten för utsignalen y(n): y(n) = x(n) h(n) = l= Lösning: trestegs i termer av korskorrelation! Steg 1: r yx (k) = E[y(n + k)x (n)] = E[ = l= l= h(l)x(n l) h(l)x(n + k l)x (n)] h(l)r x (k l) = h(k) r x (k) 23

27 Steg 2: r y (k) = E[y(n + k)y (n)] = E[y(n + k) = l= l= h (l)r yx (l + k) = h ( k) r yx (k) Steg 3: r y (k) = h ( k) h(k) r x (k) h (l)x (n l)] Uttryckt som spektraltäthet erhålles: P y (z) = P x (z)h(z)h (1/z ) Kom-ihåg inför nästa moment: Filtrering av vitt brus genom H(z) producerar en process med komplex spektraltäthet σ 2 v H(z)H (1/z ).

28 Innovationsprocesser och spektral faktorisering - 1 En stokastisk process x(n) har en innovationsrepresentation om den kan beskrivas som en okorrelerad vit process v(n) med varians σ 2 0 filtrerad med ett linjärt system H(z), v(n) H(z) x(n) Processen v(n) sägs vara en innovationsprocess om inversfiltret vitar x(n), 1 H(z) x(n) 1 H(z) v(n) Observera att P x (z) och {σ0 2, H(z)} beskriver en och samma process på två olika sätt. 24

29 Spektral faktorisering - 2 Problem: Hur kan man åstadkomma en innovationsrepresentation för en godtycklig, stationär process x(n)? Lösning: Spektral faktorisering, dvs där P x (z) = σ 2 0 Q(z)Q (1/z ) σ0 2 variansen hos innovationsprocessen, Q(z) minimumfas system (stabilt, kausalt, inverterbart), Q (1/z ) maximumfas system (antikausalt) Mer om spektral faktorisering på övningarna! 25