Applications. Signal Processing with Higher Order Spectra. Second order statistics signal processing. Higher-order correlation.

Transkript

1 Applications Signal Processing with Higher Order Spectra Svante Bjoerklund Control & Communication Department of Electrical Engineering Linkoepings universitet 1 Suppresion of Gaussian noise Non-minimum phase Identification of non-minimum phase systems Reconstruction of non-minimum phase signals 3 Get information due to non-guassianity of signals Non-linear Detect and characterize non-linear signals Identify non-linear systems p1/39 p/39 Second order statistics signal processing Higher-order correlation Definitions Correlation and power spectrum Drawbacks: Minimum-phase, mixed-phase and max-phase signals have the same spectrum and korrelation Phase information is lost x(t) real discrete-time stationary random signal n th order moment: m (1) x = E {x(t)} (mean value) m () x (τ) = E {x(t)x(t + τ)} (autocorrelation) m (3) x (τ 1,τ )=E{x(t)x(t + τ 1 )x(t + τ )} p3/39 p/39

2 Higher-order correlation Definitions Higher-order correlation Properties Cumulants: c (1) x = m (1) x (mean value) c () x (τ) =m () x (τ) (m (1) x ) (covariance) c (3) 3 (τ 1,τ ) = m (3) x (τ 1,τ ) m (1) x [m () x (τ 1 )+m () x (τ )+m () x (τ 1 τ )] + (m (1) x ) 3 = /m (1) x =/ = m (3) x (τ 1,τ ) Symmetry properties For Gaussian signals: c (n) x =for n> For n =3, : c (n) 3 (τ 1,τ )=m (n) x (τ 1,τ ) m (n) G (τ 1,τ ), where (τ 1,τ ) are the moments of Gaussian signal with the same 1 st m (n) G and nd order moments as for x(t) c () x = /m (1) x =/ = m () x (τ 1,τ,τ 3 ) m () x (τ 1 ) m () x (τ 3 τ ) m () x (τ ) m () x (τ 3 τ 1 ) m () x (τ 3 ) m () x (τ τ 1 ) p5/39 p6/39 Higher-order correlation Properties Higher-order correlation Properties Important special cases: γ x () = c () x () : Variance γ x (3) = c (3) x (, ) : Skewness Deviation from symmetry of the PDF A symetric PDF has c (3) x (, ) = γ x () = c () x (,, ) : Kurtosis: Measure of the flatness of the PDF Deviation from Gaussian PDF Need higher order cumulants than 3 rd order? For symmentric PDF: c (3) x = Some signals: very smal c (3) x but large c () x Some applications: c (3) x =but c () x p7/39 p8/39

3 Higher-order spectra Definition Higher-order white noise Cumulant spectra (polyspectra): { C x () (ω) =TDFT c () x C x (3) (ω 1,ω )=TDFT } (τ) (Power spectrum) } x (τ 1,τ ) (Bispectrum) { } c () x (τ 1,τ,τ 3 ) (Trispectrum) { c (3) C x () (ω 1,ω,ω 3 )=TDFT n th order white noise: c (n) x = γ (n) x δ(τ 1,, τ n 1 ) C x () (ω) =γ x () (Power spectrum = variance) C x (3) (ω 1,ω )=γ x (3) (Bispectrum = skewness) C x () (ω 1,ω,ω 3 )=γ x () (Trispectrum = kurtosis) p9/39 p1/39 Higher-order spectra Properties Example: White noise Properties of cumulant spectra: Symmetry Gaussian signals: C x (n) (ω) =for n> Measure of extent of statistical independence Spectrum of higher-order white noise is flat C (n) x (ω) =C (n) s (ω)+c v (n) (ω) if x = s + v and s and v stat indep 1 1 abs sig1 (Guass) abs sig (exp) Frequency Frequency Figure 1: Power spectrum of Gaussian and exponential white noise p11/39 p1/39

4 Example: White noise Estimation of bispectrum 3 abs sig1 (Gauss) 1 3 abs sig (exp) 1 Indirect method: ĉ (3) 3 (τ 1,τ )= 1 N 1 x(t)x(t + τ 1 )x(t + τ ) N t= { } Ĉ x (3) (ω 1,ω )=FFT ĉ (3) x (τ 1,τ ) Averaging and windowing Figure : Bispectrum of Gaussian and exponential white noise p13/39 p1/39 Properties of bispectrum estimates Linear processes Many data: Ĉ x (3) (ω 1,ω ) is approximatelly unbiased { {Ĉ(3) }} var Re x (ω 1,ω ) { {Ĉ(3) }} var Im x (ω 1,ω ) VL N C() x (ω 1 )C () x (ω )C () x (ω 1 + ω ) where N: number of data, V : window energy, L: number of cumulant lags v(t) H(q) x(t) =H(q)v(t), H(q) LTI, v(t) higher-order white c (n) x (τ 1,, τ n 1 )=γ v (n) k= h(k)h(k + τ 1)h(k + τ n 1 ) C x (n) (ω 1,, ω n 1 )=γ x (n) H(ω 1 )H(ω n )H( n 1 m=1 ω m) Parametric estimation of cumulants and polyspectra Generalization of the second order case Estimate order and parameters of MA process x(t) p15/39 p16/39

5 Calculation of cepstra Bispectrum for an ARMA process Can calculate power cepstrum and complex cepstrum from polyspectra Magnitude (db) Freq func, sys1, min phase Magnitude (db) Freq func, sys, max phase Normalized Frequency ( π rad/sample) Normalized Frequency ( π rad/sample) 5 Phase (degrees) 3 1 Phase (degrees) Normalized Frequency ( π rad/sample) Normalized Frequency ( π rad/sample) Figure 3: Frequency function of two ARMA processes p17/39 p18/39 Bispectrum for an ARMA process Bispectrum for an ARMA process bispectrum sys1, min phase abs db bispectrum sys, max phase abs db bispectrum sys1, min phase angle rad/s bispectrum sys, max phase angle rad/s Figure : Amplitude of bispectrum for ARMAprocesses (min-phase and max-phase) Figure 5: Phase of bispectrum for ARMAprocesses (min-phase and max-phase) p19/39 p/39

6 Identification from output signal Nonlinear processes If the input signal v(t) to a linear MA-system is non-gaussian, the system can be identified from the output x(t) only by (the C(q,k)-formula): h(k) = c(3) x (q, k) c (3) x (q, ) for k =, 1,, q The order q of the system must be known Using higher-order cumulant and spectra to detect and characterize nonlinearities in random signals Quadratic phase coupling x(t) = M m=1 cos(ω mt + ϕ m ), ϕ m are random When the frequencies ω m have the same relation to each other as the phases ϕ m we have quadratic phase coupling Example: m =and x(t) goes through y(t) =x(t)+αx (t) y(t) will contain (ω 1,ϕ 1 ), (ω,ϕ ), (ω 1, ϕ 1 ), (ω, ϕ ), (ω 1 + ω,ϕ 1 + ϕ ) and (ω 1 ω,ϕ 1 ϕ ) Only phase coupled components appear in bispectrum Bispectrumis blind to cubic phase coupling Cubic phase coupling can be resolved by trispectrum p1/39 p/39 Nonlinear processes Applications Volterra series Nonlinear systems can be described by Volterra series Higher order spectra can be used to identify Volterra series of nonlinear systems Array processing Classification Harmonic retrieval Time-delay estimation Blind deconvolution and equalization Interference cancellation p3/39 p/39

7 The Worldwide Homepage on Higher Order Statistics < Internet resources Commercial programs: MATLAB programs The Matlab Higher-Order Spectral Analysis Toolbox (fomerly Hi-Spec Toolbox by United Signals & Systems, Inc) is not sold any longer by Mathwork or anyone else p5/39 p6/39 MATLAB programs MATLAB programs Free on the Internet: Function bisp3cum for third order cumulant and bispectrum estimates by Tom McMurray : < Filesjsp?type=category&id=67&fileId=6> or </home/rt/svabj/mcmurray> Function cum for the 3 dimensional th order cumulant estimate by Tom McMurray: < Filesjsp?type=category&id=67&fileId=61> or </home/rt/svabj/mcmurray> ICALAB for Signal Processing and ICALAB for Image Processing are two independent demo packages for MATLAB that implement a number of efficient algorithms for ICA (independent component analysis) employing HOS (higher order statistics), BSS (blind source separation) employing SOS (second order statistics) and LP (linear prediction), and BSE (blind signal extraction) employing various SOS and HOS methods < p7/39 p8/39

8 Properties of higher-order statistics: Andra ordningens moment har ju en väldigt naturlig tolkning (autokorrelation), hur är det med högre ordningens moment? Är det bara när bispektrum är noll som man använder trispektrum, eller kan trispektrum ge mer information än bispektrum även om bispektrum är nollskilt? Är högre ordning än tricumulant användbara till något? Varför har de inte med en allmän definition av en n-te ordningens cumulant? Finns ingen sådan som uppfyller egenskaperna i Table? Hur höga ordningstal används på moment och "cumulants"? Är ordningstal > praktiskt användbara eller mer av teoretiskt intresse? Det verkar som att man oftast bara tittar på upp till fjärde ordningens moment finns det någonsin någon anledning att titta på ännu högre ording än p9/39 p3/39 Estimation of higher-order cumulants and spectra: Då man skattar spektrum utgående från mätdata, så blir ju periodogrammet ganska fladdrigt ~ T/N* FFT ^ Blir det ännu fladdrigare för bispektrum mfl? === Min erfarenhet är att det blir väldigt fladdrigt Ekvation (3) är en approximation av variansen i skattningen för bispekrum För vanlig spektralskattning, så har man ~ pi/(nt) som upplösning och pi/(nt) som frekvensseparation Finns liknande för högre ordningens spektrum? === Man pratar om konventionell och parametrisk högre ordningens spektrum Konventionell har liknande begränsningar i :a ordningen som i högre ordningar Vad fördelarna/nackdelarna med de två beräkningsmetoderna direkt resp indirekt metod? Metoderna för att beräkna HOS verkar komplexa, finns det effektiva implementeringar av dessa? Finns det några bra referenser om att skatta HOS on-line Finns det några applikationer där det görs? Angående HOS: Hur praktiskt användbart är det egentligen Det blir ju mycket parametrar att hålla ordning på och det kan ju vara väl så svårt att bara få till en vanlig skattning av spektrum p31/39 p3/39

9 System identification: C(q,k)-formeln (59) skattar en MA modell av ordning q från systemets utsignal Ett nödvändigt villkor är att q är känd men inget krav på insignalen nämns Fungerar metoden för godtyckliga insignaler eller finns det krav på excitationsgraden? Är HOS bara användbart då vi har stokastiska signaler eller kan vi påvisa olinjäritet hos ett system även då vi har deterministiska insignaler? Cepstrum: Vad finns det för tillämpningar av polycepstra? Vad motiverar att studera higer order cepstrum - polycepstrum I Dig sig boken nämns att "vanligt" cepstrum är ett sätt att beskriva HOS (sidan 18)? p33/39 p3/39 Other: Hur definieras vitt brus för högre ordningens spektrum? Nu handlar ju eg inte artikeln om sampling, men används något motsvarande samplingsteoremet för högre ordingens spektrum? I exemplet på sid 61 påvisar C_3^x bara en koppling mellan lambda_,5 Vart tog de övriga kopplingarna vägen? Applications: De två huvudtillämpningarna som tas upp är kommunikation och reflektions-seismologi I beskrivningen av den senare talas om jordens budskap Vad är det egentligen man vill göra inom seismologin? Vad är systemet/överföringsfunktionen? Ett tydligt exempel ges i samband med Fig16 Där visas hur en 16-QAM kanal skattas av tre olika HOS-metoder Ingen jämförelse görs med linjära utjämnare, som väl är det som i realiteten används Vad skiljer i prestanda? I beräkningskraft? Vad innebär det egentligen att det tar istället för 6 iterationer för TEA att "bli bra"? (jfr I MTapios exjobb visas prestanda för linjära utjämnare efter 5, iterationer) Hur står sig delayskattning mha cumulanter jämfört med cepstrum? p35/39 p36/39

10 Exercises Empty slide Estimate the bispectrum of some simulated signals, Gaussian and non-gaussian (non-symmetric PDF) Try different signal lengths, different number of lags, different number of segments and different windows Implement a Matlab function for plotting the theoretical bispectrum of an ARMA process Test it on H 1 (z) =(1 5z 1 )(1 5z 1 ) and H (z) =(1 5z)(1 5z) AreH 1 and H minimum-phase systems? Reflect upon how to use the Matlab function cum p37/39 p38/39 Empty slide p39/39