Signal- och Bildbehandling

Transkript

1 Signal- och Bildbehandling Baserat på ett äldre kompendim av Per-Erik Danielsson Maria Magnsson Avdelningen för datorseende Instittionen för systemteknik Linköpings niversitet Linköping, September 3 Department of Electrical Engineering Linköping University SE Linköping, Sweden Instittionen för systemteknik Linköpings niversitet Linköping

2

3 Innehåll Endimensionell signalbehandling. Introdktion till D signalbehandling Periodiskasignalerochforierserier....3 Kontinerligforiertransform Dirac-fnktionen....5 Linjärt tidsinvariant system, implssvar och faltning....6 Teoremförforiertransform Sampling och rekonstrktion Fönstring Tidsdiskretforiertransform(TDFT).... Diskret foriertransform (DFT) och cirklär faltning.... Från kontinerlig till diskret foriertransform (DFT).... Diskret faltning och faltningskärnor Introdktion till Bildbehandling 9. Signalbehandling och digitala bilder Enmodellförbildanalys Datorseende Bildkodning Maskinvaraförbildbehandling Bildgenerering Tvådimensionell signalbehandling Dforiertransform Dsampling DDFT Samband:sampladkontinerligochsampladdiskretbild D-sambandförseparablafnktioner D-samband för rotationssymmetriska fnktioner D faltning och D faltningskärnor D faltningskärnor för lågpassfiltrering Faltningkärnor för derivering Normalisering av faltningskärnor Omsampling av bilder Translation och förstoring (ppsampling) Rotation Förminskning (nedsampling) Litteratrförteckning 7 5 Gråskaleoperationer 73 6 Operationer på binära bilder 75 7 Mönsterdetektering med korrelation 77

4 Tack Detta kompendim är baserat på ett äldre kompendim av Per-Erik Danielsson. Även andra personer har arbetat med kompendiet nder årens lopp, såsom Karin Wall, Ingemar Ragnemalm, Olle Seger, Anders Gstavsson samt jag själv, Maria Magnsson. Under sommaren överförde Kamalaker Reddy Dadi tet och ekvationer till L A TEX.

5 Kapitel Endimensionell signalbehandling. Introdktion till D signalbehandling Idag sker signalbehandlingen i elektrisk apparatr hvdsakligen digitalt. Digitala signaler är samplade, vilket innebär att man läser av signalvärden på en kontinerlig signal med ett visst tidsmellanrm. Man måste också kvantisera signalens amplitd, vilket ger en tids- och amplitddiskret signal. En sådan signal kallas digital, medan en signal som är tids- och amplitdkontinerlig kallas analog. Mobiltelefoner, i stor tsträckning vanlig telefoni, CD- och DVD-skivor, ljdspelare och olika styrsystem är eempel på tillämpningar som använder sig av digitala signaler. Det är ofta tveckling av billiga och små digitala enheter som möjliggör en övergång från analog till digital teknik. Trots att mycket av den signalbehandling som tförs idag sker digitalt på digitala signaler, så kan man inte bortse från den bakomliggande kontinerliga signalen. I telefoni och ljdanläggningar eempelvis, är det nödvändigt att återskapa den analoga signalen r den digitala versionen. Den analoga elektriska signalen skickas till en högtalare där den omvandlas till ljd så att vi människor kan höra den. Vi kommer längre fram i kompendiet, när vi stderar sampling, se att det finns en mycket stark koppling mellan den bakomliggande kontinerliga signalen och den diskreta samplade versionen. Detta kapitel ger en kortfattad genomgång av teorin kring D signalbehandling. För den läsare som vill fördjpa sig i området rekommenderas böckerna [], [], [6], [9], [] och [] av Bracewell, Cha, Oppenheim, Söderkvist och Svärdström.. Periodiska signaler och forierserier Med en tidskontinerlig fnktion menas en fnktion som är definierad för alla tidpnkter, ndantaget eventella diskontiniteter. Om fnktionen desstom är amplitdkontinerlig kan den kallas en analog signal. Eempel på analoga signaler är ljd, strömmar, spänningar, ljs och temperatrskiftningar. En analog signal som beror av tiden t kan beskrivas med en matematisk fnktion. Ett eempel på detta är fnktionen (t) =3e t +. (.) En periodisk fnktion (t) har egenskapen (t) =(t + T ), (.) där T kallas periodtiden. Detta innebär att om vi vet tseendet på en period av (t), så vet vi (t):s tseende längs hela tidsaeln. Utifrån periodtiden definierar vi signalens grndvinkelfrekvens ω och signalens grndfrekvens f enligt ω =π/t, f =/T. (.3) Låt oss stdera en mycket enkel periodisk fnktion, nämligen (t) =A cos(ω t + φ). (.4) Denna fnktion har följande väldefinerade parametrar: amplitden A vinkelfrekvensen ω fasförskjtningen (fasen) φ

6 Endimensionell signalbehandling Time (s) Figr.. Signalen sin (t) som är periodisk med periodtiden π. Den matematiska beskrivningen (t), eller de tre parametrarna ovan, beskriver signalen fllständigt vid alla tidpnkter t. Vi har alltså två sätt att representera vår signal på, dels en matematisk fnktion som direkt ger värdet i varje pnkt och dels en beskrivning som anger värdet på de tre parametrarna ovan. Låt oss stdera en något mer komple periodisk signal, sin (t). Signalen är plottad i Fig.. där vi också kan konstatera att periodtiden är π. Kan vi då beskriva denna signal på samma sätt som ovan, dvs kan vi ange parametrar relativt en väldefinerad enkel matematisk fnktion? Svaret är faktiskt ja. Omskrivning av sin (t) ger sin (t) = cos(t) = + cos(t + π) (.5) Detta ttryck kan skrivas i samma pnktform som ovanstående eempel, med tillägget att det också eisterar en konstant term i signalen. Observera att cosinstermen har den periodtid som vi tidigare avläste i Fig... Jean Baptiste Joseph Forier fastslog 87 att varje periodisk signal kan beskrivas i termer av enkla trigonometriska fnktioner. Han hade dock inte riktigt rätt när han påstod att sambandet gällde för alla periodiska signaler. För att fnktionen (t) ska vara möjlig att skriva om så måste nämligen följande kriterier vara ppfyllda: (t) ska vara absoltintegrerbar över en period, dvs integralen T/ (t) dt ska konvergera. T/ (t) ska ha ett ändligt antal maima och minima nder en period. (t) får endast ha ett ändligt antal ändliga diskontiniteter i varje ändligt intervall. Dessa krav är i praktiken alltid ppfyllda för signaler som har sitt rsprng i natren, och är därför inte någon större begränsning i tillämpningssammanhang. Om n (t) ppfyller kriterierna ovan, och är periodisk, så fastslog Forier att fnktionen (t) kan skrivas om enligt (t) =A + C n cos(nω t φ n ). (.6) n=

7 . Periodiska signaler och forierserier 3 Högerledet kallas forierserietvecklingen av (t). De ingående konstanterna beräknas enligt: A = T T/ (t)dt (.7) A n = T B n = T T/ T/ T/ T/ T/ (t)cos(nω t)dt (.8) (t)sin(nω t)dt (.9) C n = A n + Bn (.) φ n =arg(a n + jb n ) (.) I ttrycken ovan ingår grndvinkelfrekvensen, ω =π/t, från (.3) som är kopplad till periodiciteten hos den rsprngliga signalen (t). Ovan betecknas det komplea talet medj.bådei och j är vanligt förekommande, bokstaven i vanligen i matematiska sammanhang och j används då man reserverat i för att beteckna ström. Vad tillför då forierserieteorin ovan? För det första så ser vi att en periodisk signal kan beskrivas som en smma av sinstermer med viss amplitd, vinkelfrekvens och fas. Vi har också ett ttryck för att beräkna de ingående storheterna tifrån den periodiska fnktionen. Detta leder till ett helt nytt representationssätt för signalen. I stället för att plotta signalens värden som fnktion av tiden, så kan vi plotta amplitd och fas som fnktion av frekvens. Ett eempel på en periodisk signal och dess forierserie kan ses i Fig.. respektive Fig..3. I Fig..3, amplitdplotten, ser vi att värdet i origo, som svarar mot A, är.5 vilket stämmer med signalen medelvärde över en period. Nästkommande värde, C, svarar mot amplitden för cosinsfnktionen med grndvinkelfrekvensen. Den är något större än.6. Amplitderna C n blir sedan allt mindre, samtidigt som varje jämn mltipel av grndvinkelfrekvensen är noll. Plotten sträcker sig inte till mer än den 3:de deltonen Time (s) Figr.. En periodisk fyrkant-signal, med perodtiden seknd.

8 4 Endimensionell signalbehandling Om man bemödar sig att räkna t det analytiska ttrycket för forierserietvecklingen, så ser man att de dda termerna blir allt mindre, men aldrig noll, (t) =.5+ ( cos ω t π 3 cos(3ω t)+ 5 cos(5ω t) ) 7 cos(7ω t)+... =.5+ ( cos ω t + π 3 cos(3ω t 8 )+ 5 cos(5ω t) ) 7 cos(7ω t 8 )+..., ω =π rad/s. För de cosinsfnktioner som bygger pp fyrkant-signalen i Fig.. gäller alltså att fasförskjtningen är eller 8, dvs positiva och negativa cosinsfnktioner. Fig..3 ger oss alltså möjlighet att stdera signalens ppbyggnad i frekvens-hänseende. De första deltonerna är dominerande, medan högre ordningens deltoner bidrar mindre per ton. Det visar sig att de högre mltiplarna av grndvinkelfrekvensen svarar mot egenskapen snabba förändringar i signalprofilen, medan de lägre svarar mot egenskapen långsamma, mjka förändringar. Det är grndtonen i ett instrment som vi främst ppfattar som ton, och övertonerna som ger ljdet dess karaktäristik..7 First tone freqency f = Hz, ω = π rad/s.6.5 Amplitde Tone nmber 5 Phase Tone nmber Figr.3. Amplitd- och fasspektrm för signalen i Fig... I Fig..4 visar vi också amplitd- och fasspektrm för signalen i Fig.. och ekvation (.5). Vi ser att konstant-termen / i ekvationen återfinns i amplitdspektrm som delton. Amplitden / och fasförskjtningen π = 8 för cosinsen återfinns för delton i amplitd- och fasspektrm. Forierserier är ett kraftfllt matematiskt verktyg, som dock enbart kan hantera periodiska fnktioner. Forier generaliserade dock forierserien till foriertransformen, som är avsedd för ickeperiodiska tidskontinerliga signaler. Eftersom det inte går att definiera en periodtid för ickeperiodiska signaler, så kan inte heller fnktionen framställas som smma av sinsfnktioner med en vinkelfrekvens som består av mltiplar av en grndvinkelfrekvens. Det krävs n att man använder sig av samtliga mellanliggande frekvenser. Man får då ttrycket (t) = X(ω)e jωt dω. (.) π

9 . Periodiska signaler och forierserier 5 Amplitde First tone freqency f =.383 Hz, ω = π.383 rad/s Tone nmber 5 Phase Tone nmber Figr.4. Amplitd- och fasspektrm för signalen i Fig... Om vi jämför ekvation (.6) och ekvation (.) så kan vi göra följande observationer: Smman i ekvation (.6) har övergått till en integral eftersom vinkelfrekvenserna inte längre är diskretiserade. C n har ersatts en fnktion X(ω). Även detta är en följd av att vi inte längre har diskreta vinkelfrekvenser. Cosinsfnktionen har bytts t mot den komplea eponentialfnktionen. Att vi inte lägre använder oss av cosinsfnktionen, tan den komplea eponentialfnktionen kan vid ett första påseende verka som en stor förändring. Så är dock inte fallet. Genom några omskrivningar, där man tnyttjar cos(nω t + φ n )= ( e jnω t+jφ n + e jnωt jφn), så kan ekvation (.6) skrivas om till (t) = n= D n e jnωt, (.3) där D n = T T/ T/ (t)e jnωt. Ekvation (.3) är direkt jämförbart med ekvation (.). X(ω) beräknas enligt X(ω) = (t)e jωt dt. (.4) Det finns alltså en koppling mellan X(ω) ochc n och A, vilket möjliggör tolkning av X(ω). Vi tänker oss i analogi med forierserier att en ickeperiodisk signal är ppbyggd av trigonometriska fnktioner med en amplitd vid en viss vinkelfrekvens som är lika med X(ω), och att det finns en fas hos signalen som är lika med argmentet hos X(ω). Ekvation (.4) kallas foriertransformen av (t). För att foriertransformen ska eistera krävs att vissa kriterier, som påminner om dem som gäller för forierserier, ska vara ppfyllda.

10 6 Endimensionell signalbehandling.3 Kontinerlig foriertransform Den en-dimensionella foriertransformen av en signal g(t) definieras och dess invers är G(ω) = g(t) = π g(t)e jωt dt (.5) G(ω)e jωt dω (.6) Det är vanligt att man betecknar foriertransformen av en fnktion med samma bokstav som fnktionen, fast man använder stor bokstav. Ekvation (.5) ovan är en fnktion av vinkelfrekvensen ω. Om man tför variabelbytet ω = πf så fås följande alternativa matematiska beskrivning av foriertransformen och dess invers, G(f) = g(t) = g(t)e jπft dt, (.7) G(f)e jπft df. (.8) Ibland betecknas foriertransformen G(f) = F[g(t)] och den inversa foriertransformen på motsvarande sätt g(t) =F [G(f)]. Alla signaler som eisterar i natren och som vi kan mäta är reella. För en reell fnktion g(t) kan man visa att dess foriertransform G(f) är hermitisk, dvs G(f) =G ( f). (.9) Fnktionerna G(f) och G( f) är alltså varandras konjgat. Detta kan också ttryckas som ReG(f) =ReG( f), (.) ImG(f) = ImG( f). (.) ReG(f) är alltså en jämn fnktion och ImG(f) är en dda fnktion. Eftersom G(f) är en komple fnktion kan den skrivas på polär form där kallas för signalens amplitdspektrm och G(f) =A(f)e jφ(f), (.) A(f) = G(f) (.3) Φ(f) =argg(f) (.4) kallas för signalens fasspektrm. Kvantiteten G(f) kallas för signalens effekt- eller energispektrm. I Fig..5 visas den reella signalen g(t) = Π((t )/), dess foriertransform med realdelen ReG(f) och imaginärdelen ImG(f). Vidare visas amplitdspektrm A(f) = G(f) och fasspektrm Φ(f). En god hjälp för att intitivt förstå foriertransformen är korrespondensen mellan egenskaperna jämn/dda respektive reell/imaginär i signal- och forierdomänerna. De flesta av dessa korrespondenser blir ppenbara om vi skriver fnktionen g(t) =e(t)+o(t), där e(t) är en jämn (even) fnktion och o(t) är en dda (odd) fnktion, e(t) =/[g(t)+g( t)], o(t) =/[g(t) g( t)].

11 .3 Kontinerlig foriertransform 7.5 g(t).5.5 Re G(f) Im G(f) A(f) = G(f) 3 Φ(f) = arg G(f) Figr.5. Signalen g(t) = Π((t )/), dess foriertransform ReG(f) + jimg(f), amplitdspektrm A(f) = G(f) och fasspektrm Φ(f) = arg G(f). En jämn fnktion e(t) består av enbart cosinskomponenter, en dda fnktion o(t) av enbart sinskomponenter. Av detta följer att foriertransformen kan skrivas G(f) = e(t) cos(πft) dt j o(t) sin(πft) dt. (.5) Om ovanstående resltat (.5) kombineras med det faktm att foriertransformen av en reell fnktion är en hermitisk fnktion (.9) fås de viktiga observationerna foriertransformen av en jämn, reell fnktion är jämn och reell och foriertransformen av en dda, reell fnktion är dda och imaginär. Dessa resltat m fl är illstrerade i Fig..6. I Fig..7 och Fig..8 visar vi ett antal forierpar för några vanligt förekommande fnktioner. Implståget definieras enligt ( ) t + T III = δ(t nt ). (.6) T n= där δ() är den så kallade dirac-implsen (se nedan). För implstågets foriertransform gäller F [ ( )] t T III = III(fT)= T T k= ( δ f k ) T (.7)

12 8 Endimensionell signalbehandling Rektangelfnktionen har definitionen, t >, Π(t) = (, t = ) (.8), t <. Triangel-fnktionen har definitionen Λ(t) = { t, t,, t >. (.9) Signm-fnktionen har definitionen sgn(t) = {, t <,, t >. (.3) Sinc-fnktionen har definitionen sinc(t) = sin(πt). (.3) πt Jämna impls-paret har definitionen II(t) = ( δ t + ) + ( δ t ) (.3) och dda impls-paret har definitionen I I (t) = ( δ t + ) ( δ t ). (.33) Några allmänna observationer är följande: Diskontiniteter i en fnktion och/eller dess derivator ger långsam avklingning till av transformen för f. Mera eakt gäller att om n:te derivatan (fnktionen själv räknas som :te derivatan) är diskontinerlig så avtar G(f) somo ( f (n+)). Liten tbredning i den ena domänen ger stor tbredning i den andra. Ett litet antal fnktioner har samma principiella tseende i båda domänerna, däribland den Gassiska e t och implståget (/T )III(t/T ).

13 .3 Kontinerlig foriertransform 9 Figr.6. Forierpar för jämna och dda fnktioner (efter Bracewell).

14 Endimensionell signalbehandling Figr.7. Forierpar (efter Bracewell).

15 .3 Kontinerlig foriertransform Figr.8. Fortsättning av forierpar (efter Bracewell).

16 Endimensionell signalbehandling.4 Dirac-fnktionen Dirac-fnktionen eller dirac-implsen är en mycket användbar fnktion inom såväl signal- som bildbehandlingen. För dirac-fnktionen δ(t) gäller följande två ekvationer, δ(t) =, t, (.34) δ(t) dt =. (.35) Dirac-fnktionen kan beskrivas med gränsvärdet ( ) t T Π δ(t) då T, (.36) T där Π definierades i (.8). Det finns en mängd andra gränsvärden som också går bra, t e denna sekvens av gass-fnktioner T ep( πt /T ) δ(t) då T. (.37) Formen på plsen med vilken vi definierar dirac-fnktionen har alltså inte någon betydelse. Fnktionerna (/T )Π(t/T )ochδ(t) är skisserade i Fig..9. Man brkar rita δ(t) som en pil där pilens höjd motsvarar dirac-implsens integral. Dirac-fnktioner eisterar inte i natren, men en tillräckligt kort och stark pls kan ofta modelleras med en dirac-fnktion. (/T) Π(t/T) /T δ (t) T t t Figr.9. Rektangelplsen (/T )Π(t/T ) och dirac-fnktionen δ(t) illstrerade. En viktig räkneregel som gäller för dirac-fnktionen är δ(at) = δ(t), (.38) a där a är en konstant och a. Ovanstående samband inses genom att både HL och VL är för t samt att integralen över HL respektive VL är lika med värdet / a, vilket inses via (.36)..5 Linjärt tidsinvariant system, implssvar och faltning Fig.. illstrerar innebörden av begreppet system. Då systemet påverkas av en insignal (t) genererar det tsignalen y(t). Insignal (t) System Utsignal y(t) Figr.. Ett system som påverkas av en insignal (t) genererar en tsignal y(t). Signaler och system är alltså mycket nära kntna till varandra. Ett vanligt sätt att karaktärisera ett system är genom att ange dess implssvar. Låt en dirac-fnktion vara insignal till ett system. Utsignalen kommer då att vara systemets implssvar, vilket ofta anges h(t). Det är vanligt att skriva h(t) på rektangeln som betecknar systemet, se Fig... För ett linjärt tidsinvariant system (LTI-system) gäller följande egenskaper:

17 .6 Teorem för foriertransform 3 Linjäritet Antag att insignalerna (t)och (t) ger tsignalerna y (t)ochy (t). Om då insignalen A (t)+b (t) ger tsignalen A y (t)+b y (t) så är systemet linjärt. Tidsinvarians Antag att insignalen (t) ger tsignalen y(t). Om då insignalen (t + T ) ger tsignalen y(t + T )är systemet tidsinvariant. a) δ(t) h(t) h(t) b) (t) h(t) y(t) Figr.. Implssvaret h(t) illstrerat. Om implssvaret h(t) är känt för ett linjärt tidsinvariant system så kan tsignalen y(t) beräknas för en godtycklig kontinerlig insignal (t) genom faltning enligt formeln y(t) =( h)(t) =(t) h(t) = (τ)h(t τ)dτ. (.39) Följdaktligen gäller att faltning med med dirac-fnktion inte påverkar originalfnktionen, dvs δ(t) h(t) = δ(τ)h(t τ)dτ = h(t). (.4) För faltning använder vi oftast skrivsättet y(t) =( h)(t) för att poängtera att faltning inte är en pnktvis operation som t e mltiplikation av två fnktioner. Ibland kan det dock vara praktiskt att i stället skriva y(t) = (t) h(t). Genom ett enkelt variabelbyte kan faltningsintegralen i (.39) skrivas om till y(t) =(h )(t) =h(t) (t) = (t τ)h(τ)dτ, (.4) vilket ibland kan vara ett fördelaktigare skrivsätt. Faltning är alltså en kommtativ operation. Faltning enligt (.4) illstreras i Fig... Den vikta versionen av signalen förskjts över signalen h. I varje läge beräknas integralen av prodkten, vilkens resltat avsätts på platsen för markören. Markören följer med förskjtningen av (t τ) och genomlöper därmed alla resltat-signalens positioner. Det är viktigt att känna till vad som händer då en fnktion faltas med en förskjten dirac-fnction. Det gäller att δ(t a) (t) =(t a) (.4) vilket kan formleras som Vid faltning mellan en förskjten dirac-impls och en fnktion, flyttas fnktionen till dirac-implsens läge. Sambandet är också illstrerat i Fig Teorem för foriertransform För foriertransformen gäller ett antal grndläggande teorem som vi härmed rekapitlerar tan bevis. Vi nderförstår att F[g(t)] = G(f). Fnktionen står till vänster om dbbelpilen och foriertransformen till höger i teoremen nedan.

18 4 Endimensionell signalbehandling ( τ) h( τ) y(t)=(*h)(t) τ t τ t t (t τ) t τ Figr.. Faltning av kontinerliga signaler. (t) t (t a) δ(t a) a t a t Figr.3. Vid faltning mellan en förskjten dirac-impls och en fnktion, flyttas fnktionen till dirac-implsens läge. Skalningsteoremet g(at) ( ) f a G (.43) a Vi noterar alltså att om fnktionen g(t) komprimeras tefter t-aeln med ökande a i signaldomänen så breddas foriertransformen. Faktorn / a är nödvändig som skalfaktor för bevarande av energin (se Rayleigh s teorem nedan). Linjäritetsteoremet a g (t)+b g (t) a G (f)+b G (f) (.44) Translationsteoremet g(t a) e jπaf G(f) (.45) Vid translation i signaldomänen förändras alltså inte amplitden G(f) av en viss frekvenskomponent, tan endast fasläget, dvs förhållandet mellan real - och imaginärdel. Faltningsteoremet (g g )(t) G (f) G (f) (.46)

19 .6 Teorem för foriertransform 5 Mltiplikationsteoremet (g g )(t) G (f) G (f) (.47) Modlationsteoremet g(t) cos(πf t) G (f f )+ G (f + f ) (.48) Korrelation g g (t) =g (t) g ( t) G (f) G (f) (.49) Korrelation, betecknad med, är detsamma som faltning tan vikning, dvs om g (t) ochg (t) är reella gäller att g g (t) =g ( t) g (t). Om fnktionerna är komplea tillkommer konjgering. Atokorrelation g g(t) =g(t) g ( t) G (f) G(f) = G(f) (.5) Atokorrelationen är en fnktions korrelation med sig själv. Atokorrelationens foriertransform är alltså fnktionens effekt- eller energispektrm. Derivatateoremet d dt [g(t)] = g (t) jπf G(f) (.5) Eftersom F[g(t)] = G(f) kan vi helt enkelt skriva d jπf. (.5) dt Derivering av faltning d dt (g g )(t) =(g g )(t) =(g g )(t) (.53) Detta inses lättast genom att observera att deriveringsoperatorn är en fnktion som enligt närmast föregående teorem har foriertransformen jπf. Ur signalbehandlingssynpnkt är deriveringsoperationen en faltning. Uttrycket ovan är alltså liktydigt med tre fnktioner faltade med varandra. Ordningsföljden är likgiltig eftersom faltning är en kommtativ operation. Att derivering är faltning kan inte nog nderstrykas. Ekvation (.53) sklle alltså knna skrivas d dt g g = dg dt g = g dg dt. Parsevals teorem (Effektteoremet) g (t) g (t)dt = G (f) G (f) df (.54) Detta kan skrivas g (t) g ( t)dt = G (f) G (f) df (.55) om g (t) är reell. Om vi låter t vara tid, g (t) ochg (t) ström respektive spänning så tsäger teoremet att den elektriska medeleffekten kan beräknas som smman av ström spänning för varje frekvens.

20 6 Endimensionell signalbehandling Specialfall av Parsevals teorem (Rayleigh s teorem) g(t) dt = G(f) df (.56) Om g och g sättes lika i Parsevals teorem enligt (.54) ovan fås detta specialfall som ibland brkar kallas Rayleigh s teorem. Teoremet tsäger att den totala energin är densamma i signaldomän och forierdomän..7 Sampling och rekonstrktion En samplad signal s(t) är en fnktion som är endast i ett antal ekvidistanta pnkter på t-aeln. Den representerar den kontinerliga signalen g(t) genom att { g(t) δ(t nt ), för t = nt, n =...,,,,,... s(t) = för t nt. Fnktionen g(t) är alltså den bakomliggande kontinerliga signalen som vi samplat (läst av, registrerat, detekterat) med intervallet T tefter t-aeln. Den samplade signalen kan ses som prodkten av g(t), /T och implståget. Uttrycket för den samplade signalen blir därmed s(t) =g(t) ( ) t T III = g(t) δ (t nt ), (.57) T n= vilket kan illstreras som i Fig..4 a) och till i Fig..5. Denna definition skiljer sig från en annan ganska vanlig definition av sampling som illstreras i Fig..4 b) och Fig..5 där g D (n) =g(t) t=nt = g(nt ), n =...,,,,,... (.58) a) b) g(t) s(t) T III ( ) t T g(t) t = nt g (n) D Figr.4. a) Modell av sampling. b) Alternativ modell av sampling. I fortsättningen kallar vi g D (n) för den diskreta representationen av g(t). Den samplade signalen s(t) och den diskreta signalen g D (n) skiljer sig i två avseenden s(t) är definierad tefter hela t-aeln medan g D (n) bara är definierad i ett antal ekvidistanta pnkter, n =...,,,,,,... I dessa pnkter gäller att s(t) =g D (n) δ(t nt ), t = nt, (.59) dvs den samplade signalen s(t) är lika med den diskreta signalen g D (n) mltiplicerad med diracplser. Mltiplikationen i signaldomänen motsvaras av faltning i forierdomänen. Därför kan vi med tnyttjande av implstågets foriertransform (.7) skriva den samplade signalens foriertransform som S(f) = III(fT) G(f) = T k= ( G f k ), (.6) T vilket illstreras i Fig..6. Utseendet kommer av att faltning med de diskreta dirac-plserna i implståget ger pprepade kopieringar av (/T )G(f).

21 .7 Sampling och rekonstrktion 7 g(t) t sampla sampla s(t) =g(t) T III ( ) t T T g D (n) =g(nt ) t n Figr.5. Illstration av de två modellerna att sampla. Foriertransformen S(f) i Fig..6 avviker tyvärr avsevärt från G(f) i form av ett överlapp eller vikningsdistorsion. Detta är betänkligt eftersom vi i vår digitaliserade värld måste använda diskreta sampel för att representera kontinerliga signaler. Om vi ökar samplingsfrekvensen /T som i Fig..7 a)- c) förbättras emellertid sitationen väsentligt. I forierdomänen är n de olika kopiorna av G(f) inte längre överlappande förtsatt att g(t) är bandbegränsad, dvs saknar frekvenser över en viss högsta frekvens W. Detta ger oss samplingsteoremet. Samplingsteoremet Låt signalen g(t) samplas till s(t). Om samplingsfrekvensen /T är större än gånger g(t):s maimala frekvens W,dvs > W, (.6) T så kan g(t) rekonstreras fllständigt i varje pnkt av t-aeln med hjälp av s(t). Tekniken för sådan rekonstrktion illstreras av Fig..7 c)-e). I forierdomänen mltiplicerar vi S(f) med rektangelfnktionen T Π(f T) och återfår därmed det rena rsprngliga frekvensinnehållet i den kontinerliga signalen g(t), G(f) =S(f) T Π(fT). (.6) Motsvarande operation i signaldomänen är faltning med rektangelfnktionens (inversa) foriertransform som är sinc(t/t )= sin(πt/t). (.63) πt/t Eftersom sinc-fnktionen har oändlig tsträckning är operationen g(t) =s(t) sinc(t/t ) (.64) i praktiken omöjlig att tföra eakt. Ekvation (.63) är dock en viktig teoretisk modell gentemot vilken praktiska, approimativt riktiga, metoder kan tvärderas.

22 8 Endimensionell signalbehandling Signaldomän Forierdomän g(t) G(f) A a) t W f (/T )III(t/T ) III(fT) /T b) T t /T f s(t) S(f) A/T c) t vikningsdistorsion /T f Figr.6. Samplingsteoremet illstrerat. Om samplingsfrekvensen /T är för låg får man vikningsdistorsion. Korrekt rekonstrktion är då inte möjlig. Signaldomän Forierdomän g(t) G(f) A a) t W f (/T )III(t/T ) III(fT) /T b) T t /T f s(t) S(f) A/T c) t /T f sinc(t/t ) T Π(fT) T d) t f g(t) =s(t) sinc(t/t ) G(f) =S(f) T Π(fT) e) t W f Figr.7. Samplingsteoremet illstrerat. Om samplingsfrekvensen /T är tillräckligt hög är perfekt rekonstrktion möjlig.

23 .8 Fönstring 9.8 Fönstring En avvikelse från den ideala sitation som tmålas i Fig..7 är det faktm att vi inte kan känna till eller mäta pp en signal g(t) eller dess samplade variant från till +. Vi får nöja oss med ett begränsat intervall, ett fönster. I Fig..8 har vi illstrerat detta på så sätt att en signal g(t) = cos(πf t) har mltiplicerats med rektangelfönstret ( ) t Π, NT där NT är fönstrets tsträckning tefter t-aeln. Den fönsterbegränsade signalen kallar vi r(t) och den fås n som ( ) t r(t) =g(t) Π. NT I forierdomänen har vi G(f) = δ(f + f )+ δ(f f ), NTsinc(NTf)=F [ ( )] t Π, (.65) NT R(f) =G(f) NTsinc(NTf)= sinc(nt(f + f )) + sinc(nt(f f )). Signaldomän g(t) Forierdomän G(f) a) t f f f Π(t/NT ) NTsinc(NTf) hvdlob b) NT t f sidolober r(t) R(f) c) t f f f Figr.8. Fönsting av en cosinssignal. De distinkta frekvenserna vid ±f breddas. Det är önskvärt med så smal hvdlob och så små sidolober som möjligt. Skillnaden mellan G(f) och R(f) härrör från sinc-fnktionen i (.65). Med mycket stort fönster N T blir denna sinc-fnktion smal som en dirac-pls och R(f) blir då mycket lik G(f), dvs R(f) G(f). Ett litet NT-fönster breddar emellertid dessa fnktioner och förvanskar frekvensinnehållet avsevärt, dvs R(f) G(f). Ett annat sätt att se på fönstring är hr det på verkar frekvensinnehållet. De distinkta frekvenserna vid ±f breddas efter fönstring. Som indikerats i figren har sinc-fnktionen NTsinc(NTf) en hvdlob och flera sidolober. För att bevara de distinkta frekvenserna vid ±f är det önskvärt att hvdloben är så smal som möjligt och att sidoloberna är så små som möjligt. Ibland är det ena önskemålet viktigare än det andra. Det finns flera andra fönster nämnda i litteratren, t e hamming-, hanning- och blackmanfönster. Dessa ger mindre sidolober till priset av en breddad hvdlob.

24 Endimensionell signalbehandling.9 Tidsdiskret foriertransform (TDFT) Fnktionen s(t) är en kontinerlig signal som har värden skilda från endast i sampelpnkterna. Foriertransformen av s(t) kan räknas t enligt S(f) = = s(t)e jπtf dt = n= [ n= g(t)δ(t nt )] e jπtf dt där vi använt (.6) och (.57). Ekvation (.66) med (.58) insatt ger g(t)δ(t nt )e jπtf dt = n= g(nt )e jπntf (.66) S(f) = n= g D (n)e jπntf. (.67) Den samplade signalens foriertransform S(f) kan alltså ttryckas som en smma av viktade diskreta sampelpnkter g D (n). Genom att göra variabelbytet Ω=πfT (.68) i (.67) fås en annan vanlig foriertransform, nämligen den tidsdiskreta foriertransformen, vars definition är G T (Ω) = g D (n)e jωn. (.69) n= Den inversa tidsdiskreta foriertransformen ges av g D (n) = π π π G T (Ω)e jωn dω (.7) som lämnas tan bevis. Den tidsdiskreta foriertransformen G T (Ω) säges ha normerad vinkelfrekvens. Dess period är alltid π och därför oberoende av sampelavståndet T.. Diskret foriertransform (DFT) och cirklär faltning Den diskreta foriertransformen (DFT) kan beräknas som en ändlig smma över en begränsad del av g D (n), G D (k) = N n= Den inversa diskreta foriertransformen (IDFT) tföres som g D (n) = N N n= g D (n)e jπnk/n, k N. (.7) G D (k)e jπnk/n, n N. (.7) som lämnas tan bevis. Faktorn /N förekommer i IDFT men inte i DFT. För DFT gäller en mängd teorem liknande dem som gäller för kontinerlig foriertransform och TDFT. Eempel på sådana teorem är skalningsteoremet och skiftteoremet som finns beskrivna i bl a [6] och för D i Tab. 3.. Något som är specifikt för DFT:n är dess faltningsteorem. Teorem för cirklär faltning Det gäller att mltiplikation DFT-domänen motsvaras av cirklär faltning i den andra domänen, (g D N h D )(m) = N n= g D (n)h D ((m n) N ) G D (k) H D (k), (.73) där N noterar cirklär faltning och ( ) N betecknar modlo N operation, dvs h D ( ) kan ppfattas som periodiskt pprepad eller cirklär.

25 . Från kontinerlig till diskret foriertransform (DFT) Bevis Antag att vi har två sekvenser g D (n) ochh D (n) med längden N. Deras respektive DFT:er definieras som G D (k) = H D (k) = N n= N n= g D (n)e jk(π/n)n, k =,...,N, (.74) h D (n)e jk(π/n)n, k =,...,N. (.75) Om dessa två DFT:er mltipliceras ihop fås ett resltat med längden N som vi kan kalla Y D (k). Låt oss n bestämma relationen mellan sekvenserna g D (n) ochh D (n). Vi har Invers DFT av detta blir y D (m) = N N k= Y D (k) =G D (k) H D (k). (.76) Y D (k)e jk(π/n)m = N Sätt n in (.74) och (.75) i (.77). Detta ger y D (m) = N N k= [ N n= N k= G D (k)h D (k)e jk(π/n)m. (.77) g D (n)e jk(π/n)n ] e jk(π/n)m (.78) [ y D (m) = N N N ] g D (n) h D (l) e jk(π/n)(m n l). (.79) N n= l= k= Smman innanför klamrarna i (.79) kan n skrivas N e jk(π/n)(m n l) = e jπ(m n l) =, f.ö. k= e π(m n l)/n Om n (.8) sätts in i (.79) fås { N, l = m n pn =(m n)n, p heltal (.8) y D (m) =(g D N h D )(m) = vilket tillsammans med (.76) bevisar (.73). V.S.V N n= g D (n)h D [(m n) N ] (.8). Från kontinerlig till diskret foriertransform (DFT) Fig..9 illstrerar n hela sambandet mellan den kontinerliga foriertransformen och DFT. Vi börjar med den kontinerliga signalen g(t) och dess foriertransform G(f).Vi tänker oss att g(t) är begränsad och att G(f) är tillräckligt begränsad så att största delen av G(f):s energi ligger i intervallet f < /(T ). Det går inte att anta att både g(t) ochg(f) är begränsade. Man kan visa att om g(t) är begränsad så kan inte G(f) vara begränsad och vice versa, jämför gärna med forierparen i Fig..7 och Fig..8. Fnktionen G(f) kan egentligen ha både en realdel och en imaginärdel (det kan också g(t) ha), men i Fig..9 har vi valt att inte visa detta. Först samplas g(t) till s(t) genom mltiplikation med implståget vilket ger s(t) =g(t) T III Detta ger en pprepning i forierdomänen enligt S(f) =G(f) III(fT)= T ( t T k= ). (.8) ( G f k ) T (.83)

26 Endimensionell signalbehandling och vi ser i Fig..9 att S(f) T G(f), T <f< T. (.84) Det tidsdiskreta forierparet g D (n), G T (Ω) från ekvation (.69) visas också i figren. Notera att G T (Ω) är en frekvensskalad variant av S(f) med skalfaktorn Ω = πft. Detta inses genom att kombinera (.67), (.68) och (.69) vilket ger sambandet ( ) Ω G T (Ω) = S (.85) πt och vi ser i figren att G T (Ω) ( ) Ω T G. (.86) πt g(t) Signaldomän G(f) Forierdomän s(t) SAMPLA NT t F s(t) =g(t) T III ( ) t S(f) G(f)/T T S(f) T f F T NT t T T f g D (n) g D (n) =g(nt ) G T (Ω) G T (Ω) = S ( ) ( Ω πt G Ω ) πt /T TDFT N n π π Ω g D (n) g D (n) =g(nt ) G D (k) G D (k) =S ( ) ( k NT G k ) NT /T DFT N N n N N k Figr.9. Samband mellan kontinerlig foriertransform, samplad kontinerlig foriertransform, TDFT och DFT. För att den diskreta foriertransformen (DFT) ska vara symmetrisk rnt origo och lättare gå att jämföra med de övriga fnktionerna i Fig..9, definierar vi den något annorlnda än tidigare i (.7) och (.7). DFT:n definieras n som G D (k) = N/ n= N/ g D (n)e jπnk/n, N k N, (.87) där k och n är heltal. Den inversa diskreta foriertransformen får då tseendet g D (n) = N N/ k= N/ G D (k)e jπnk/n, N n N, (.88)

27 . Diskret faltning och faltningskärnor 3 som enkelt kan bevisas genom att ersätta G D (k) med med högerledet av (.87). Formlerna för DFT och IDFT för fnktionerna g D (n) ochg D (k) gäller alltså eakt. Om man kontrollerar dessa fnktioners värde tanför definitionsområdena N/ k, n N/ pptäcker man att de är periodiska. Detta beror i sin tr på att e jφ är en periodisk fnktion. Det repetetiva tseendet på fnktionerna g D (n) och G D (k) är också indikerat i Fig..9. Man kan välja att betrakta fnktionerna antingen begränsade till definitionsområdena eller som periodiska. Det senare synsättet är ofta lämpligt för förståelse av ppträdandet hos DFT och IDFT. Relation mellan kontinerlig foriertransform och DFT Vi vet sedan tidigare att de diskreta sampelvärdena g D (n) överensstämmer perfekt med den kontinerliga fnktionen g(t) i pnkterna n =,,, 3,... enligt g D (n) =g(nt ), N n N. (.89) På motsvarande sätt finns en perfekt överensstämmelse mellan G D (k) ochs(f) och en ngefärlig överensstämmelse mellan G D (k) ochg(f) enligt ( ) k G D (k) =S ( ) k NT T G, N NT k N. (.9) förtsatt att g D (n) =förn< N/ ochn N/. Relationen mellan kontinerlig frekvens f och diskret frekvens k är alltså f = k NT, (.9) där N är antalet sampelpnkter och T är sampelavståndet. Bevis Sätt in f = k/nt i (.84) och (.67). Dett ger ( ) ( ) k k T G S = g D (n)e jπnk/n = {g D (n) =förn< N/ ochn N/} NT NT N V.S.V = N N/ n= N/ n= g D (n)e jπnk/n = {(.87)} = G D (k) (.9) Ekvation (.9) visar att foriertransformen G(f) kan beräknas approimativt i N pnkter genom att först sampla g(t) och därefter applicera en DFT på dessa diskreta sampelpnkter. För att DFTvärdena G D (k) ska överensstämma med G(f) måste de dock skalas på både höjden och bredden enligt ekvation (.9). Notera att den kontinerliga foriertransformen G(f) aldrig kan återskapas perfekt r den diskreta foriertransformen G D (k) eftersom sambandet mellan G D () och G() är approimativt. Någon kanske argmenterar att detta sklle gå om G(f) vore bandbegränsad. I ett sådant fall är dock g(t) inte begränsad. Eftersom N är ett ändligt tal kommer sampelpnkterna i g D (n), N/ N/, inte att räcka för hela den oändligt långa g(t). Den obegränsade fnktionen g(t) måste därför först begränsas genom fönstring till g fönstr (t). Foriertransformen av denna fnktion, G fönstr (f), blir då obegränsad och vi är tillbaka till fallet som beskrivs i Fig..9.. Diskret faltning och faltningskärnor Faltning av två kontinerliga signaler definieras som y(t) =(h g)(t) = h(t a)g(a) da. (.93)

28 4 Endimensionell signalbehandling Om n h och g är diskreta signaler, dvs sekvenser av sampel förvandlas integralen till en smma med ttrycket y(t) = h(t a)g(a) = h(a)g(t a). (.94) a= a= Notera att vi, trots att det rör sig om diskreta signaler, har valt att kalla variabeln t istället för som tidigare n. Minst en av de två ingångssekvenserna h(t), g(t) brkar vara ändlig, dvs begränsad till N st värden skilda från. I Fig.. visas ett fall med nmeriska värden där alla tre sekvenserna är ändliga, och därmed före och efter de ändliga intervallen. Faltningsformeln ger att beräkningen sker i a-rmmet där h-sekvensen speglas och glider framåt för ökande värden på t. g(t)={...,,,,,,,,,...} h(t)={...,,,,3,,,,,...} 3 (h*g)(t)={...,,,6,7,7,3,,,...} (h g)(t) = a= h(t a) g(a) a= Beräkningsteknik: speglad t= g(a) i a rmmet h(t a) t= 3 (h*g)(t) i t rmmet Figr.. Diskret faltning. Faltning sker oftast som en operation av en relativt kort sekvens (sekvensen h) på en längre, potentiellt oändlig sekvens (sekvensen g) i Fig... I ett sådant fall kallas sekvensen h faltningskärna, (engelska: convoltion kernel), faltningsoperator, linjär operator eller kort och gott filter. Det kan n vara lämpligt att något disktera olika en-dimensionella faltningskärnors filtreringsegenskaper. Mera om detta kommer att sägas längre fram då vi behandlar tvådimensionella signaler. Vi använder beteckningen {a, b}/k istället för{ a/k, b/k } Storheten nedanför snedstrecket är sålnda en (normaliserings-)faktor som är gemensam för alla koefficienterna i faltningskärnan. Operatorerna {, }/ {,, }/4 {, 3, 3, }/8 {, 4, 6, 4, }/6 är alla medelvärdesbildande i viss mening. De bevarar DC-komponenten (medelvärdet)i insignalen medan högfrekventa komponenter ndertryckes. Eftersom de alla fyra är jämna fnktioner (med origo symmetriskt placerat) blir deras foriertransformer reella och jämna fnktioner, se Fig... Notera dock att för {, }/ blir t-resltatet förskjtet ett halvt sampelavstånd jämfört med in-sampelvärdena. Detta är något som programmeraren måste ha kontroll på. Hr gör man då för att beräkna en faltningskärnas foriertransform? Nedan härleds den kontinerliga foriertransformen, TDFT:n och DFT:n för faltningskärnan {,, }/4. Vi förtsätter att origo ligger i mitten av kärnan så att { /4, /, /4, n =,, h D (n) =, för övrigt.

29 . Diskret faltning och faltningskärnor 5 Kontinerlig foriertransform av faltningskärnan {,, }/4 Sätt dirac-plser på varje element i operatorn och antag sampelavstånd T. Detta ger den kontinerliga fnktionen h(t) =[δ(t + T )+δ(t)+δ(t T )]/4. Foriertransformera h(t) till H(f) = 4 ejπtf e jπtf = cos(πtf)/+/ = cos (πtf). Operatorn {,, }/4 har alltså foriertransformen cos (πtf). TDFT av faltningskärnan {,, }/4 Sätt in faltningskärnans värden h D (n) i TDFT-formeln (.69) H T (Ω) = h D (n)e jωn = 4 e jω( ) + e jω + ( ) Ω 4 e jω =cos n= Operatorn {,, }/4 har alltså TDFT:n cos (Ω/). DFT av faltningskärnan {,, }/4 Sätt in faltningskärnans värden h D (n) i DFT-formeln (.87) H D (k) = N/ n= N/ h D (n)e jπk n N = 4 e jπk N + e jπk N + 4 e jπk N =cos Operatorn {,, }/4 har alltså DFT:n cos (πk/n). Notera att N är en fri parameter. ( ) πk N Alla tre transformerna ger likvärdiga resltat, som dock är skalade i förhållande till varandra. I Fig.. föredrog vi dock att använda den kontinerliga foriertransformen av faltningskärnan eftersom den är lättare att jämföra med kontinerlig foriertransform av kontinerliga fnktioner. Differentieringsoperatorn {, -}/T har ingen DC-komponent. Däremot förstärker den (ger tslag för, detekterar) förekomster av ojämnheter, språng och partier av stark ltning i den signal som den appliceras på. En liknande effekt har operatorn {,, -}/T fast med mindre känslighet för små ojämnheter. Att denna operator verkligen beräknar den approimativa derivatan illstreras i Fig... Till vänster visas att derivatan g (t ) approimativt beräknas som g (t ) g(t + T ) g(t T ). T Till höger visas att faltning med {,, -}/T ger precis samma resltat, dvs T g(t T )+ T g(t + T )= g(t + T ) g(t T ). T En nackdel med {, }/T är att tgångsresltatet blir förskjtet ett halvt sampelavstånd jämfört med ingångsresltatet.

30 6 Endimensionell signalbehandling Signaldomän Forierdomän / / cos(πtf) a) b) c) d) /4 3/8 /8 T / T T /4 3/8 /8 t t t cos (πtf) cos 3 (πtf) cos 4 (πtf) /T f /T f /T f 3/8 /4 /4 /6 /6 T t /T f Figr.. Medelvärdesbildande faltningskärnor och deras foriertransformer. g(t) g(t T) g(t+t) g(t) g(t) g(t T) g(t+t) g(t) t T t /T /T t Figr.. Faltning med {,, -}/T motsvarar approimativ derivering. Operatorerna och deras foriertransformer kan stderas i Fig..3. Följande regel gäller som bekant för foriertransformen vid derivering av en fnktion, [ ] d F dt [g(t)] = F[g (t)] = jπf G(f). (.95) Eftersom derivering gör att foriertransformen mltipliceras med jπf kan man se det som om deriveringsoperationen tför en faltning. Derivering kan därmed skrivas som en faltning enligt d dt [g(t)] = d g(t). (.96) dt Deriveringsoperatorn d/dt har alltså foriertransformen jπf. Differentieringsoperatorerna i Fig..3 följer denna linjära fnktion i närheten av origo. Dbbel differentiering får vi om vi t e använder operatorn { -}/T två gånger vilket är liktydigt med att applicera operatorn {,, }/T = {, }/T {, }/T. Denna operator visas med sin foriertransform längst ner i Fig..3. I närheten av origo följer den :a derivatorns foriertransform (jπf) = 4π f som sig bör. Vi ska pprepa och tvidga diskssionen om derivatorer i avsnitt 3.9.

31 . Diskret faltning och faltningskärnor 7 a) Signaldomän Forierdomän /T (/T )sin(πtf) T t /T f /T b) /T T /T t (/T ) sin(πtf) /T f c) /T ( 4/T )sin (πtf) /T T t /T f /T Figr.3. Differentierande faltningskärnor med foriertransformer.

32

33 Kapitel Introdktion till Bildbehandling. Signalbehandling och digitala bilder En en-dimensionell signal är en fnktion som endast endast beror av en variabel. Ett eempel på detta är sinsvågen (t) =sin(t). (.) På liknande sätt är en n-dimensionell signal en fnktion som beror av n st oberoende variabler. Ett eempel på en två-dimensionell signal är f(, y) =sin( y) +. (.) Inom signalbehandlingen begränsar man sig ofta till en-dimensionella signaler med tiden t som variabel. Två-dimensionell signalbehandling kallas ofta bildbehandling. Det vi i dagligt tal menar med en bild är j en två-dimensionell fnktion. De oberoende variablerna betecknas ofta med och y och betraktas som spatiala (rms-) koordinater. Den två-dimensionella signalen f(, y) i (.) kan illstreras med Fig.. nedan, där f(, y) = avbildas på svart, f(, y) = avbildas på vitt och övriga värden på f(, y) med proportionella gråskalevärden. Det bör också nämnas att disciplinen bildbehandling också sysslar med mång-dimensionella bilder. Så behandlas t e bildsekvenser där tiden t är den tredje variabeln, och bildvolymer där (, y, z) ärett vanligt sätt att beteckna de tre rms-koordinaterna. Generaliseringen från en-dimensionell till fler-dimensionell signalbehandling är i långa stycken rättfram och relativt självklar. Oavsett detta bör tvidgningen till två dimensioner göras och noteras. Till detta kommer att effekter och samband eisterar för två-dimensionella signaler som helt saknar motsvarighet i en-dimensionell signalbehandling. Ett sådant fall är rotation. En digital bild f D (i, j) är en två-dimensionell array med bildpnkter. En bildpnkt brkar kallas piel (pictre element). Antalet pilar tgör bildens storlek. En vanligt storlek är 5 5 = 8 = y.5.5 Figr.. Gråskalebild enligt (.). 9

34 3 Introdktion till Bildbehandling segmentering binära operationer gråskalefiltrering tröskelsättning etikettering egenskapsetrahering klassifisering digitalkamera gråskalebild binär bild resltat informationsredktion Figr.. En bildanalysmodell. /4 Mpiel. Oftast kvantiseras pielvärdet så att ett ändligt antal gråskalevärden kan representeras. Åtta bitar ger t e 56 gråskalenivåer vilket gör att minnestrymmet för den ovan nämnda bilden blir /4 Mbyte. I en digital bild är alltså de två spatiala koordinaterna i och j diskretiserade och amplitden f D (i, j) äroftakvantiserad. En digital bild f D (i, j) representerar oftast en fysikalisk bild eller en kontinerlig två-dimensionell signal f(, y). En översättning mellan dem kan vara ( f D (i, j) =f D Δ + 57, y ) 55, f(, y)/k 55, Δ + 57 =, f(, y)/k, (.3) rond [55f(, y)/k], annars, där i 5 och j 5, dvs bildstorleken är 5 5, k är en konstant, Δ är samplingsavståndet och amplitden f D (i, j) är kvantiserad i 56 nivåer från till 55. Om bilden sedan ska visas på en dataskärm, måste de 56 olika nivåerna omvandlas till olika färger eller gråskalevärden. Detta görs via en så kallad färgtabell. Den vanligaste gråskalefärgtabellen avbildar värdet på svart, värdet 55 på vitt och mellanliggande värden proportionellt på olika gråtoner. Nmera blir det mer och mer vanligt att fler än 8 bitar används för att lagra varje pielvärde. I MATLAB t e, lagras pilarna oftast i flyttalsformat med dbbel precision, 64 bitar, vilket gör att minnesåtgången för att lagra en bild ökar med en faktor 8. Då bilden ska visas på dataskärmen måste dock flyttalsvärdena först omvandlas till heltalsvärden mellan och 55 (typiska värden) som via färgtabellen konverteras till de färger eller gråtoner som ska visas på skärmen. Enligt ekvation (.3) kan den digitala bilden knytas till den bakomliggande kontinerliga signalen. Samplingsteoremet ger oss vägledning att bedöma om omvändningen också är möjlig, dvs om den bakomliggande kontinerliga signalen kan erhållas r den digitala bilden. Inom bildbehandlingen arbetar vi med kontinerliga och diskreta linjära filter. Linjära filter definieras och konstreras antingen i rmsdomänen eller i frekvensdomänen för att ppfylla speciella kriterier för brsndertryckning, kantdetektering, linjedetektering, ndertryckande av höga frekvenser eller låga frekvenser eller för framhävande av vissa frekvensband. Efter att ha definierat ett filter så kan den egentliga filtreringen tföras antingen i rmsdomänen såsom faltning eller i frekvensdomänen genom att använda diskret foriertransform DFT och mltiplikation. En minskning av skärpan i bilden (smoothing), kan sålnda göras med en lokalt viktad medelvärdesbildning. Detta är då ett linjärt filter som definieras med hjälp av ett antal viktskoefficienter i rmsdomänen och som tföres genom faltning. Men filtret kan också beskrivas i termer av frekvens och är då ett lågpassfilter.. En modell för bildanalys Fig.. visar en enkel modell för bildanalys som innehåller flera olika bildbehandlingsoperationer. Från vänster till höger finner vi först en digital-kamera som med hjälp av optik tar in en bild av en 3D-scen, samplar och digitaliserar en bild. Här sker en oerhörd dataredktion. Natrens stokastiska processer har sitt rsprng på atomär nivå och detta gigantiska informationsflöde kan vi endast registrera delvis. Nästa steg är gråskale-filtrering. Det är vanligt att de första stegen i en typisk bildbehandlingssekvens jst består av linjär filtrering. Erfarenheten har emellertid visat att mycket få problem kan

35 .3 Datorseende 3 lösas med enbart linjär filtrering. I högre grad än för traditionell signalbehandling gäller att bildbehandling tycks erfordra icke-linjära filtreringar och transformationer. Olinjär filtrering innebär att en tgångspiel inte längre kan ttryckas som en linjär viktad smma av ingångspiel. Olinjära filter kan inte heller definieras i frekvensdomänen. En vanlig olinjär filtreringsoperation är att prodcera medianen (inte medelvärdet) av en omgivning av bildpnkter hos ingångsbilden. En speciell form av olinjär operation är tröskelsättning, dvs översättningen av en flernivåbild till en två-nivåers binär bild på så sätt att varje piel i gråskalebilden jämförs med en tröskel. Efter tröskelsättningen har pilarna endast två olika värden, och, där betyder bakgrnd och betyder objektpnkt. Ett antal sammanhängade objektpnkter tgör ett objekt. På denna binära bild kan man n tföra binära operationer. Det finns många olika varianter, varav en är att fylla igen hål i objekt. Vid etiketteringen tilldelas pilarna i de olika objekten olika etiketter så att man ska knna skilja dem åt. Att rskilja och etikettera ett antal objekt från bakgrnden kallas segmentering. Det finns även andra metoder för segmentering än tröskelsättning - binärfiltrering - etikettering som visas i figren. I nästa steg kan det bli aktellt att för ett visst segmenterat objekt ta fram mätvärden av typ medelintensitet, tetr etc. Egenskapsetraktionen reslterar i en serie mätvärden för varje objekt i bilden. Vilka mätvärden (featres) som man bör räkna fram r bilden är synnerligen tillämpningsberoende, men som eempel kan vi nämna storlek (area), form (kan definieras på många sätt), färg, orientering, medelintensitet, granlaritet, position dvs (, y)-lägen i bilden, närmsta avstånd till annat objekt, etc. Allt detta samlas i en egenskapslista. Resltatet efter dataetraktionen är inte längre en bild tan en lista. Flera algoritmer har tvecklats för segmentering och egenskapsetraktion. Notera att den rsprngliga digitala bilden, liksom prodcerade mellanresltat inte behöver kastas bort nder segmentering och egenskapsetraktion. I det sista steget användes egenskapslistan för att klassificera, dvs artbestämma, känna igen, avgöra vilken sort ett objekt tillhör. I vissa tillämpningar kan det vara hela bilden eller scenen som skall klassas. I ganska många fall, t e indstriell avsyning, screening av medicinska preparat, finns bara två möjliga svar; godkänd/icke godkänd, cancer/icke cancer. Oftast bör man införa en tredje klass, vet ej, dvs ndvika beslt i vissa fall, vilket komplicerar klassningsalgoritmerna. I många fall är det emellertid mycket vnnit att göra ett binärt beslt med innebörden godkänd/tveksam. Om det godkända fallen blir avsevärt flera än de tveksamma är atomatiseringen meningsfll även om de tveksamma måste lämnas till icke-atomatiserad eftergranskning. Klassificering eller mönsterigenkänning, som det också kallas, är en väl tvecklad disciplin som av tradition baseras på matematiskt-statistiska metoder. En viktig och teoretiskt intressant aspekt på klassificering- och igenkänningsalgoritmer är möjligheten att träna fram ett optimalt beteende (besltsfattande). Användning av neronnät har i hög tsträckning handlat om att ppnå läraktighet i denna mening. Detta kompendim behandlar inte klassificering vidare..3 Datorseende Datorseende kan sägas innefatta allt om grndläggande bildbehandling, men tökat med 3D-geometri, kamerakalibrering och objektigenkänning. En pågående trend är att koppla samman datorseende med området maskininlärning. Då skapar man system som analyserar och lär sig från bilder. Dessa förvärvade knskaper tnyttjas sedan för att lösa nya ppgifter..4 Bildkodning I samband med bildbehandling bör några ord sägas om området bildkodning. Det praktiska målet för kodning är att komprimera data så att bilden kan lagras och överföras mera effektivt. Många bilder är i själva verket högeligen redndanta; ofta kan datamängden redceras (komprimeras) med en faktor. Ett typiskt eempel är ett dokment, dvs en svart-vit binär bild, som ofta innehåller ganska stora areor av tomma vita ytor. I stället för att spendera en bit på varje bildpnkt så kan man prodcera en kodad version på så sätt att varje linje innehåller de -lägen där bildens värde välar från svart till vitt eller tvärtom. Änn bättre är måhända att endast registrera avstånden mellan två sådana omslag i bildpnktsvärdet vilket kallas rn-length-coding. En kodares prestanda mäts i form av komprimeringsfaktorn för en given maimal distorsion, dvs den tillåtna differensen mellan originalet och den rekonstrerade, den avkodade bilden. Under arbetet med att finna den viktiga informationen i en bild och ndertrycka den icke viktiga så kommer bildkodning att använda liknande filter och filtreringsmetoder som de som används i bildbehandling. Ovanstående indikerar att lågnivåbildbehandling och bildkodning ofta är identiska vad gäller både

36 3 Introdktion till Bildbehandling mål och metoder. En skillnad kan dock vara att bildkodning normalt avser att hantera alla slags bilder medan bildbehandling/bildanalys vanligtvis avstämmes till en speciell applikation där endast en mycket begränsad typ av bilder kan förekomma..5 Maskinvara för bildbehandling Maskinvara för bildbehandling är vanligtvis men inte alltid åtskild från det bildgenererande organet. För de följande diskssionerna antar vi emellertid att bilden har prodcerats och digitaliserats. En frktbar diskssion kräver ytterligare några distinktioner, nämligen mellan lågnivåbildbehandling - högnivåbildbehandling speciell maskinvara - generell maskinvara trstning för sltanvändare - trstning för tveckling och forskning Eftersom så stor del av lågnivåbildbehandling tycks bestå av likformiga och ganska enkla operationssteg, t e omgivningsoperationer, har denna del av bildbehandlingstekniken varit ett speciellt mål för ny datorarkitektr, t e parallella processorer i olika variationer och organisationsformer. Det bör nderstrykas att bildbehandlingstillämpningar (om de är lyckosamma) rör sig gradvis från eperimenterande med en algoritm eller metod på ett fåtal bilder över programkörningar över ett större material för att till slt bli mera prodktiva eekveringar för sltanvändaren. Hastighetskravet finns här hela tiden. Försök och misstag är typiska i de första stegen av procedren där användaren vill ha snabbt svar för att knna tvärdera sin egen tankegång. Redan på detta stadim kan algoritm innebära ganska krävande beräkningar. Behovet av snabbhet vid mera prodktiva körningar är självklart. Hastighetskravet kommer att öka i framtida tillämpningar. Sant tredimensionella bilder, volymer, prodceras av många nya bildgenererande organ. Nya satelliter kommer att förse oss med en aldrig sinande ström av bilder av långt högre pplösning än vad vi har idag. Desstom kommer användning av generella metoder för datorseende att öka snarare än minska behovet av beräkningskraft för att processa en viss bild. Detta gör att trots att datorerna hela tiden blir snabbare och snabbare så är det ändå viktigt att bildbehandlingsoperationerna implementeras effektivt. Det är därför som vi i kompendiet ibland kommer med förslag på hr de olika algoritmerna ska knna implementeras på ett effektivt sätt..6 Bildgenerering Med bildgenerering (engelska: Imaging) menar vi här skapandet, genererandet av bilder. Detta är alltså en lätt avvikelse från hvdområdet bildbehandling. Emellertid vill vi betona att bildbehandling i nästan alla tillämpningar är starkt kopplad till den process som genererar själva bilden. Desstom anser vi att det är lämpligt att här peka på de enastående framsteg som har ägt rm inom detta område. En tänkbar indelning av bildgenererande organ och teknologi sklle knna vara följande: ) Bildgenerering med elektromagnetisk strålning röntgenkristallografi medicinsk och indstriell röntgen röntgendatortomografi (engelska: Compter Tomography (CT)) gamma-kamera SPECT (Single Photon Emission CT) optik och optiska sensorer av alla slag CCD- och CMOS-sensorer, fotomltiplikatorer laserscanners för djpmätning mikroskop, teleskop bildsensorer i satelliter

37 .6 Bildgenerering 33 IR-sensorer och IR-kameror mikrovågsdetektorer och antenn syntetisk apertrradar, radioastronomi MRI (Magnetic Resonance Imaging) ) Bildgenerering med partikelstråle transmissionselektronmikroskopi (engelska: transmission electron microscopy (TEM)) svepelektronmikroskopi (engelska: scanning electron microscopy (SEM)) positronkamera (engelska: positron emission tomography (PET)) bildgenerering inom kärnfysikalisk forskning 3) Bildgenerering med ltraljd vilket inklderar ett stort antal olika varianter, mestadels för medicinskt brk. Praktiskt taget alla dessa olika tekniker är i ett tillstånd av mycket snabb tveckling. Även det väl tvecklade området ljsmikroskopi ändrar sig snabbt nder trycket av eventellt datoriserad bildbehandling. Datorstyrda mikroskopbord, atomatisk foksering, tvåkamera-system för hög och låg pplösning, zoomningsmöjligheter, laserscanningteknik, konfokala system är några metoder som kan adderas till äldre av typen ljsfält, mörkfält, faskontrast, florocens etc.

38

39 Kapitel 3 Tvådimensionell signalbehandling I detta kapitel och de följande kommer vi in på två-dimensionell signalbehandling, dvs bildbehandldling eller engelskans image processing. Det finns mycket litteratr inom området, både tidskriftsartiklar och böcker och vi väljer att som eempel referera till några av böckerna [3], [4], [5], [7], [8] och []. 3. D foriertransform En endimensionell signal är en fnktion som endast endast beror av en variabel. Ett eempel på detta är sinsvågen, (t) =sin(t). (3.) På liknande sätt är en n-dimensionell signal en fnktion som beror av n st oberoende variabler. Ett eempel på en två-dimensionell signal är f(, y) =sin( y)+. (3.) Inom signalbehandlingen begränsar man sig ofta till en-dimensionella signaler med tiden t som variabel. Inom bildbehandlingen arbetar man hvdsakligen med två-dimensionella signaler. Det vi i dagligt tal menar med en bild är j en två-dimensionell fnktion. De oberoende variablerna betecknas ofta med och y och betraktas som spatiala (rms-) koordinater. Den två-dimensionella signalen f(, y) i (3.) illstrerades i Fig.., där f(, y) = avbildas på svart, f(, y) = avbildas på vitt och övriga värden på f(, y) med proportionella gråskalevärden. Generaliseringen av från en-dimensionell till två-dimensionell signalteori är i långa stycken rättfram och relativt självklar. Oavsett detta bör tvidgningen till två dimensioner göras och noteras. Till detta kommer att effekter och samband eisterar för tvådimensionella signaler som helt saknar motsvarighet i en-dimensionell signalbehandling. Ett sådant fall är projektionsteoremet, vilket dock inte behandlas här. För en kontinerlig två-dimensionell signal f(, y) definieras dess foriertransform F (, v) med F [f(, y)] = F (, v) = f(, y)e jπ(+yv) ddy [ ] = e jπyv f(, y)e jπ d dy [ ] = e jπ f(, y)e jπyv dy d. (3.3) Som framgår av (3.3) är transformen separerbar. Vi kan t e först beräkna D-transformen i -led för varje rad i bilden. På detta resltat appliceras sedan D-transformen i y-led för varje kolmn. Detta kommer att illstreras närmare nedan i ansltning till Fig Den inversa foriertransformen definieras av F [F (, v)] = f(, y) = vilket står i fll överensstämmelse med det en-dimensionella fallet. F (, v)e jπ(+yv) ddv, (3.4) 35

40 36 Tvådimensionell signalbehandling

41 3. D foriertransform 37 Figr 3.. Forierpar för vissa D-signaler (efter Bracewell). Observera bl a följande. Alla signaler är jämna och reella. Därför behövs endast den reella delen av forierrymden. δ(, ) är den två-dimensionella Dirac-plsen, Π(, ) är den två-dimensionella rektangelfnktionen, Λ är en triangelfnktion. Samtliga fnktionsttryck är givna tan skalningsparametrar. Avsikten är att förmedla en kvalitativ känsla för foriertransformen av vissa elementära fnktioner. Observera också att två tekniker användes för att illstrera en D-fnktion. Ibland, som i a) användes intensiteten i gråskalan, ibland, som i h) användes istället höjden över (, v)- eller (, y)-planet i en s k 3D-plot. Fig. 3. visar ett antal två-dimensionella fnktioner och deras foriertransformer. Samtliga är reella, jämna fnktioner varav följer att också F (, v) är jämn och reell. Det kan inte nog nderstrykas att för att grafiskt beskriva en allmän två-dimensionell foriertransform krävs två plan för F Re (, v) respektive F Im (, v). Observera att (, v)-planet inte är ett komplet talplan. Eemplen i Fig. 3. kan föranleda en hel del tänkvärda observationer. Vi noterar att i Fig. 3..a) så finns ingen variation alls i y-led, endast en DC-komponent. Mycket riktigt är i Fig. 3..b) också F (, v) = överallt tom på -aeln där v =. De två Dirac-plserna i Fig. 3. b) följer rotationen av cosinsmönstret i Fig. 3. c) så att vi i Fig. 3. d) finner Dirac-plserna tefter en linje med vinkeln θ; samma linje i (, y)-planet (ej tritad) går vinkelrätt genom vågmönstret f(, y). I Fig. 3. c) är också frekvensen dbblerad. I Fig. 3. e) bildar cos(π) och cos(πy) två ortogonala cosinsvågor ett schackmönster. Vi noterar att deras interferenser i f(, y) gör att vi inte har någon vågfront som löper vare sig i -led eller y-led. Integraler tagna i -led eller y-led ger resltatet. Däremot finner vi vågfronter som löper i 45 -riktningarna och perioden för dessa vågor är ggr mindre än originalvågorna i - och y-led. I forierplanet bekräftas detta med fyra Dirac-plser på ggr större avstånd från origo än i b). Resltatet kan rimliggöras också på följande sätt. Var för sig ger de två cosinsvågorna pphov till två Dirac-plser på - respektive v-alarna. Men mltiplikationen av de två komponenterna i signalplanet motsvarar faltning i forier-planet, vilket ger Fig. 3. f). För den en-dimensionella dirac-plsen δ() i signalplanet gäller som bekant att F [δ()] =, dvs foriertransformen är konstant tefter hela -aeln. I Fig. 3. i)-j) illstreras detta faktm i det tvådimensionella fallet, dvs F [δ(, y)] = F [δ() δ(y)] =. (3.5)

42 38 Tvådimensionell signalbehandling Övriga eempel lämnas till läsarens egen begrndan. Samband för D-kontinerlig och D-diskret foriertransform visas i Tab. 3. och Tab. 3.. Sambanden är ganska rättframma generaliseringar av det endimensionella fallet i föregående avsnitt. I sambanden i Tab. 3. nedan noterar A en godtycklig -dimensionell matris och R en rotationsmatris, [ ] cos β sin β R =, (3.6) sin β cos β där β betecknar rotationsvinkeln. Teorem Spatialdomän, y R Forierdomän, y R Definition: f(, y) = F (, v)= F (, v)ejπ(+yv) ddv f(, y)e jπ(+yv) ddy Reell Signal: f(, y) real F (, v) =F (, v) Linjäritet: af (, y)+bf (, y) af (, v)+bf (, v) Translation, tid: f( a, y b) e jπ(a+bv) F (, v) Translation, frekv: e jπ(a+by) f(, y) F ( a, v b) Skalning: f(a, by) (/ ab ) F (/a, v/b) Faltning: (f g)(, y) F (, v) G(, v) Korrelation: (f g)(, y) F (, v) G(, v) Mltiplikation: f(, y) g(, y) (F G)(, v) Derivata i : f(, y) jπ F (, v) Derivata i y: yf(, y) jπv F (, v) Laplace: ( f(, ) y) = 4π ( + v ) F (, v) + y f(, y) ( ) ( ) Generell skalning: f(a), = y det A F ((A ) T ), = ( ) ( ) v Rotation : f(r), = F (R), = y v Rotation : f(r, θ + θ ) F (ω, ϕ + θ ) Parsevals formel: = r cos θ, y = r sin θ = ω cos ϕ, v = ω sin ϕ f(, y)g(, y)ddy = = F (, v)g (, v)ddv Tabell 3.. Teorem och samband för -D kontinerlig foriertransform. Liksom i det endimensionella fallet gäller att foriertransformen av en reell signal är hermitisk. Eftersom en vanlig bild f(, y) är reell gäller för dess foriertransform F (, v) =F (, v) F (, v) = F (, v), (3.7) vilket gör att diagonalt liggande pnkter på lika avstånd från origo är lika. Detta illstreras i Fig. 3. som visar en bild och dess foriertransform, F (, v) = ReF (, v) + jimf (, v), amplitdspektrm F (, v) samt fasspektrm argf (, v). Notera att realdelen och amplitdspektrm är jämna, medan imaginärdelen och fasspektrm är dda. Notera också att de låga frekvenskomponenterna dominerar, dvs de har större belopp än de höga frekvenskomponenterna. Detta gäller normalt sett för vanliga bilder. Teorem Spatialdomän Forierdomän Notation: f(, y) F (, v) Skalningsteoremet: f(a, by) (/ ab ) F (/a, v/b) Cirklär faltning: (f N g)(, y) F (, v) G(, v) Cirklär korrelation: (f N g)(, y) F (, v) G(, v) Translationsteoremet: f( a, y b) e j π N (a+bv) F (, v) Parsevals formel: N,y= f(, y)g(, y) = = N N,v= F (, v)g (, v) Tabell 3.. Teorem och samband för -D diskret foriertransform.

43 3. D sampling D sampling Sampling av en kontinerlig signal f(, y) sker matematiskt med en två-dimensionell motsvarighet till implståget i (.6) och avsnitt.7, vilken då får tseendet av en spikmatta, (/Δ )III(/Δ,y/Δ), se Fig. 3.3 där spikmattan syns ovanifrån. Samplingstätheterna (Δ, Δ y ) behöver inte nödvändigtvis vara lika i - och y-led, vilket vi dock fortsättningsvis förtsätter, dvs (Δ, Δ). På samma sätt som för en-dimensionella signaler kan vi med tillräckligt hög samplingstäthet representera en bandbegränsad kontinerlig signal tan informationsförlst. Samplingsteoremet i två dimensioner illstreras av Fig. 3.3 och Fig Endast om de olika viktade kopiorna av F (, v) inte överlappar varandra i den samplade fnktionens forierrymd kan det vara möjligt att felfritt rekonstrera f(, y) i varje pnkt i (, y)-planet. I Fig. 3.3 är samplingsteoremet ppfyllt. Om samlingsavståndet Δ är för stort blir det överlapp, vikningsdistorsion, vilket illstreras i Fig Felfri rekonstrktion av f(, y) är då inte möjlig. 4 f(,y) 5 y Re F(,v) 4 Im F(,v) v v F(,v) 4 arg F(,v) v 4 v Figr 3.. En bild f(, y) och dess foriertransform F (, v) = ReF (, v) + jimf (, v), amplitdspektrm F (, v) samt fasspektrm argf (, v). (Originalbild från lövdatabasen på Avdelningen för Datorseende, Instittionen för Systemteknik, Linköpings Universitet.)

44 4 Tvådimensionell signalbehandling Spatialdomän f(, y) y F (, v) Forierdomän v Δ III ( Δ, y ) Δ y III(Δ, Δv) v Δ /Δ /Δ Δ s(, y) y S(, v) v Δ F (, v) Figr 3.3. Två-dimensionell sampling av f(, y) med(/δ )III(/Δ,y/Δ) prodcerar kopior av F (, v) viktade med /Δ i forierdomänen.

45 3. D sampling 4 Spatialdomän Forierdomän f(, y) y F (, v) v Δ III ( Δ, y ) Δ y III(Δ, Δv) v /Δ Δ Δ /Δ s(, y) y S(, v) vikningsdistorsion v Figr 3.4. Två-dimensionell sampling av f(, y) med(/δ )III(/Δ,y/Δ) prodcerar kopior av F (, v) viktade med /Δ i forierdomänen. Här är samlingsavståndet Δ för stort, vilket reslterar i vikningsdistorsion.

46 4 Tvådimensionell signalbehandling Fig. 3.5 illstrerar hr vikningsdistorsion yttrar sig på en bild och dess foriertransform. I a) är samplingsfrekvensen tillräcklig, både bild och foriertransform ser normala t. I b) har samplingsfrekvensen halverats jämfört med i a). Detta ger vikningsdistosion som syns tydligt i de randiga klädesplaggen. I byorna ser ränderna t att ha ändrat både bredd och riktning. Man kan även ana vikningsdistorisionen i forierdomänen som en ökad intensitet på grnd av överlapp i de högre (yttre) frekvenserna. size: 4 56 size: 4 56 a) size: 8 size: 8 b) Figr 3.5. Bilder med foriertransform. a) Tillräcklig samplingsfrekvens. b) För låg samplingsfrekvensen ger vikningsdistorion som syns tydligt i bl a byornas randning. Vikningsdistorisionen syns även i forierdomänen som en ökad intensitet för de högre frekvenserna. (Originalbilden finns på Ursprngligen från Allen Gersho s lab, University of California, Santa Barbara.)

47 3.3 D DFT D DFT Två-dimensionell DFT definieras med ttrycket F D (k, l) = N N n= m= Den inversa motsvarigheten IDFT blir f D (n, m) = NM N k= N l= f D (n, m)e jπ(nk/n+ml/m), k N, l M, (3.8) F D (k, l)e jπ(nk/n+ml/m), n N, m M. (3.9) Symmetrisk DFT är ofta att föredra i bildbehandlingssammanhang, då man vill att origo ska befinna sig mitt i bilden och mitt i foriertransformen. Två-dimensionell symmetrisk DFT definieras som F D (k, l) = N/ N/ n= N/ m= N/ f D (n, m)e jπ(nk/n+ml/m), N k N, M l M, (3.) där k, l och n, m är heltal. Den två-dimensionella symmetriska inversa diskreta foriertransformen (D IDFT) får då tseendet f D (n, m) = NM N/ N/ k= N/ l= N/ F D (k, l)e jπ(nk/n+ml/m), N n N, M m M. (3.) Separering av de två dimensionerna gör att operationen (3.) kan beräknas i två steg såsom indikeras i Fig Först tföres N st M-pnkters DFT på de N kolmnerna i f D (n, m) vilket ger F D(n, l) = N/ m= N/ f D (n, m)e jπml/m. Därefter tföres M st N-pnkters DFT på de M raderna i FD (n, l) vilket ger F D (k, l) = N/ n= N/ F D(n, l)e jπnk/n, Notera att DFT-data är komplet. Den ena del-bilden är real-delen och den andra är imaginärdelen. Dessa är symmetriska, realdelen är jämn och imaginärdelen är dda. Därmed behöver den streckade delen egentligen inte räknas t. D DFT D DFT m l l M M M n n k N N N f D (n, m) FD (n, l) F D(k, l) Figr 3.6. Tvådimensionell DFT tföres med N st endimensionella transformer i m-led följt av M st endimensionella transformer i n-led.

48 44 Tvådimensionell signalbehandling 3.4 Samband: samplad kontinerlig och samplad diskret bild För att få kontroll på storlekar och frekvenser i Fig. 3.5, visar vi Fig Jämför denna figr med det endimensionella fallet i Fig..9, s(, y) motsvarar s(t), båda fnktioner samplade med implståget, och f D (n, m) motsvarar g D (n), båda diskreta samplade fnktioner. Vi antar att den symmetiska DFT:n enligt (3.) har anvvänts så att origo ligger i centrm av bild och foriertransform. Det gäller att maimal spatiell frekvens =/(Δ) (v =/(Δ)) motsvarar k = N/ (l = M/), dvs { =/(Δ) k = N/, (3.) v =/(Δ) l = M/, eller annorlnda ttryckt: För en diskret foriertransform gäller att positionen k (l) motsvaras av den bakomliggande spatiella frekvensen { = k/(nδ), (3.3) v = l/(mδ). Hr yttrar sig då detta på bilderna i Fig. 3.5? Där är antalet sampelpnkter hälften så stort i b) som i a), (N b,m b )=(.5 N a,.5 M a ). Det bakomliggande samplingsavståndet är dbbelt så stort i b) som i a), Δ b = Δ a. Därför är den maimala spatiella frekvensen hälften så stor i b) som i a), /(Δ b )=.5 /(Δ a ). Detta syns j också tydligt i foriertransform-bilderna. Antalet sampelpnkter i forierdomänen (N,M) påverkar alltså inte den maimala spatiella frekvensen tan bara hr tätt forierdomänen är samplad. Signaldomän s(, y) samplad, kontinerlig y MΔ/ Forierdomän f D (n, m) S(, v) F D (k, l) samplad, diskret kontinerlig diskret m v l M/ /Δ M/ MΔ NΔ M n /Δ N/ /Δ N/ M k NΔ N /Δ N F DFT Figr 3.7. Samband mellan samplad kontinerlig foriertransform och DFT. 3.5 D-samband för separabla fnktioner Vi har tidigare påpekat att den tvådimensionella foriertransformen är separabel (3.3). Om desstom fnktionen som ska transformeras är separabel, dvs kan skrivas på formen f(, y) = g() h(y) så blir foriertransformen speciellt enkel. Följande samband gäller: F (, v) = F [f(, y)] = F [F y [g() h(y)]] = F [g() F y [h(y)]] = = F [g()] F y [h(y)] = G() H(v), (3.4) dvs även den transformerade fnktionen är separabel och kan beräknas med två endimensionella transformer med efterföljande mltiplikation. I Tab. 3.3 visas några matnyttiga fnktioner som är separabla.

49 3.6 D-samband för rotationssymmetriska fnktioner 45 Spatialdomän Forierdomän Separabel fnktion: f(, y) = g() h(y) F (, v) = G() H(v) Dirac-pls: δ(, y) =δ() δ(y) Spikmatta: Δ III ( Δ, y ) Δ = Δ III ( ) Δ Δ III ( ) y Δ III(Δ, Δv) =III(Δ) III(Δv) Bo: Π(, y) =Π() Π(y) sinc() sinc(v) Böjd pyramid: Λ(, y) =Λ() Λ(y) sinc () sinc (v) Gass: e π( +y ) = e π e πy e π( +v ) = e π e πv Tabell 3.3. Vanliga D-fnktioner som är separabla och deras foriertransformer. 3.6 D-samband för rotationssymmetriska fnktioner Tvådimensionella system ppvisar ofta cirklär symmetri (= rotationssymmetri, rotationsinvarians). Sålnda är j optiska system nästan alltid ppbyggda av cirklära linser. Det är här rimligt att misstänka att systemets pnktspridningsfnktion är cirklärsymmetrisk. Följande teorem sammanfattar vad vi här behöver veta om cirklärsymmetriska system. Teorem för foriertransform av rotationssymmetrisk fnktion Om en tvådimensionell fnktion är cirklärssymmetrisk, dvs f(, y) =g(r) där r = + y, så är dess tvådimensionella foriertransform också cirklärsymmetrisk, dvs F (, v) =G(ρ) där ρ = + v. I Tab. 3.4 visas några fnktioner och deras foriertransformer. Lägg märke till att Gass-fnktionen är både separabel och rotationssymmetrisk. Fnktionen J ( ) är en så kallad Besselfnktion av första ordningen och J (πρ)/ρ är ganska lik en sinc-fnktion. Spatialdomän Forierdomän Fnktion: g(r) =f(, y) G(ρ) =F (, v) r = + y ρ = + v Gass: e πr e πρ Cylinder: Π(r) J (πρ)/ρ Vlkan: /r /ρ Tabell 3.4. Rotationssymmetriska fnktioner och deras foriertransformer. 3.7 D faltning och D faltningskärnor Två-dimensionell faltning definieras självfallet som en tvidgning av en-dimensionell faltning, g(, y) =(h f)(, y) = h( α, y β) f(α, β) dαdβ = h(α, β) f( α, y β) dαdβ. (3.5) Den ena av ingångsfnktionerna ska först vikas (tyska: falten, engelska: convolve) vilket framgår av det negativa tecknet på integrationsvariablerna (α, β). I två dimensioner är detta liktydigt med att vi roterar h- (eller f)-fnktionen 8. Därefter låter vi den glida, translateras över f- (eller h)-fnktionen. Translationsläget är (, y). Se Fig För varje sådant läge beräknas integralen (3.5) och resltatet placeras på koordinat (, y) i fnktionen g(, y).

50 46 Tvådimensionell signalbehandling Bilder är liksom alla i verkligheten förekommande signaler begränsade. Av Fig. 3.8 inses tydligt att storleken av definitionsområdet på faltningskärnan h och ingångsbilden f bestämmer definitionsområdet för g. En förtsättning för att Fig. 3.8 skall motsvara verkligheten är att h(α, β) är tanför ett område som i Fig. 3.8 antages vara en rektangel h(α, β) = för α > a eller β > b. Om n f(α, β) = def för < < A, < y < B så reslterar detta ppenbarligen i att g(, y) inte kan räknas t för samma bildyta A B som definierar f(α, β). I ytterkanten av rektangeln A B hamnar faltningskärnan tanför f-fnktionen så att g(, y) = odef för > A a Om istället f(α, β) =för α > A eller β > B g(, y) = för > A + a, y > B b. så får vi en resltatbild g(, y) för vilken gäller, y > B + b, dvs bilden g är större än ingångsbilden f. I Fig. 3.8 har vi markerat detta fall med g fll och det förra fallet med g valid. Ofta vill man ha samma storlek på tgångsbild som på ingångsbild enligt g same. Bilden kan beräknas på samma sätt som för g valid, förtom att de yttre värdena ignoreras. I det fall man inte kan förtsätta att f(, y) = tanför bildytan, men ändå önskar en tgångsbild med samma storlek som ingångsbilden, kan man göra på olika sätt. Sätts värdena i f(, y) till tanför bildytan så fås kanteffekter i form av t e en mörk ram rnt tgångsbilden. Sitationen kan förbättras om värdena i f(, y) etrapoleras tanför bildytan. En möjlighet är att etrapolera yttersta piel-lagret, en annan möjlighet är att spegla bilden och lägga till vid ytterkanterna före faltning, dvs f(, y) = f(a, y), A/ <<A, B/ <y<b/ f( A, y), A << A/, B/ <y<b/, f(, B y), A/ <<A/, B/ <y<b, f(, B y), A/ <<A/, B <y< B/, f(a, B y), A/ <<A, B/ <y<b f( A, B y), A << A/, B/ <y<b f(a, B y), A/ <<A, B <y< B/ f( A, B y), A << A/, B <y< B/. (3.6) β y f(α, β) g(, y) B y α b a h roterad A g valid g same g fll Figr 3.8. Två-dimensionell faltning g = f h sker med den vikta (ett halvt varv roterade) faltningskärnan h roterad. Beroende på hr man betraktar värdena tanför ingångsbilden får tgångsbildens storlek till g valid, g same eller g fll. Med diskretiserade signaler, digitala bilder, finns två definitioner på två-dimensionell faltning att välja mellan, dels linjär diskret faltning, g(, y) =(h f)(, y) = α= β= h( α, y β) f(α, β), (3.7)

51 3.7 D faltning och D faltningskärnor 47 och dels cirklär faltning, g(, y) =(h N f)(, y) = N M α= β= h( α, y β) N f(α, β), (3.8) där ( ) N betecknar modlo N operation, dvs h( ) kan ppfattas som periodiskt pprepad eller cirklär. Notera att vi, trots att det rör sig om diskreta signaler, har valt att kalla variablerna, y istället för som tidigare n, m. Formeln för linjär diskret faltning är applicerbar på vad vi hittills har sagt i ansltning till Fig Formel för cirklär diskret faltning gäller även då filtrering tförs genom mltiplikation i forierdomänen och foriertransformerna tförs med DFT, se Fig Då levereras inte en tgångsbild med förminskat eller förstorat definitionsområde, tan tgångsbilden har samma storlek som ingångsbilden. Notera att den lilla faltningskärnan h(, y) måste paddas med nollor (engelska: zero-padding) för att få en foriertransform H(, v) med samma pplösning som F (, v). Eftersom h( ) (eller f( )) kan ppfattas som periodiskt pprepad eller cirklär, kommer faltningsresltatet i närheten av bildens kanter påverkas. Utgångsbildens vänsterkant kommer att påverkas av ingångsbildens högerkant. På samma sätt kommer högerkant att påverka vänsterkant och överkant (nderkant) att påverka nderkant (överkant). D DFT y v faltningskärna nollor... nollor... h(,y) H(,v) y D DFT v v D IDFT y f(,y) F(,v) G(,v) g(,y) Figr 3.9. Filtrering via mltiplikation i DFT-domänen ger cirklär faltning. Betrakta linjär diskret faltning i ekvation (3.7). Den ena av ingångsfnktionerna ska först vikas (tyska: falten, engelska: convolve) vilket framgår av det negativa tecknet på integrationsvariablerna (α, β). I två dimensioner är detta liktydigt med att vi roterar h-fnktionen 8. Därefter låter vi den glida, translateras, över f-fnktionen. Translationsläget är (, y). För varje sådant läge beräknas smman (3.5) och resltatet placeras på koordinat (, y) i fnktionen g(, y). I Fig. 3. visas ett eempel på D linjär diskret faltning enligt ekvation (3.7). Origo har markerats med en tjockare ram. Faltning sker oftast som i Fig. 3. som en operation av en relativt kort sekvens (sekvensen h) på en lång, potentiellt oändligt stor bild. I ett sådant fall kallas fnktionen h faltningskärna, faltningsoperator, linjär operator, filterkärna eller kort och gott filter. Till vänster i Fig. 3. och Fig. 3.7 visas hr en faltningskärna kan separeras i ett antal mindre faltningskärnor. Det är lätt att inse att den större faltningskärnan kan erhållas genom att falta ihop de mindre faltningskärnorna. En fördel med att separera en faltningskärna är att beräkningsbördan ofta blir mindre då.

52 48 Tvådimensionell signalbehandling f h g Beräkningsgång: Figr 3.. Illstration av faltning, g = h f. I Fig. 3. visas en faltningsberäkning mellan en bild f och en faltningskärna. Det gäller för beräkningen av pieln g i tgångsbilden g att g = f + f + f f + 4 f + f3 + f3 + f3 + f33. (3.9) Följaktligen kräver denna faltningskärna 5 mltiplikationer och 8 additioner per piel. f f f3 f f f3 f3 f3 f33 4 g g g3 g g g3 g3 g3 g33 Figr 3.. Denna faltningskärna kräver 5 mltiplikationer och 8 additioner per piel. Detta inses genom att betrakta ekvation (3.9) där värdet g beräknas. 3.8 D faltningskärnor för lågpassfiltrering I Fig. 3. visas ett antal lågpass-filtrerande faltningskärnor. I Fig. 3.a visas en faltningskärna som beräknar ett viktat medelvärde nder det att den faltas på en bild. Om dess foriertransform stderas syns det att den är lågpassfiltrerande i -led. Den släpper igenom de låga frekvenser i -led (små -värden) och dämpar höga frekvenser i och med att den har värden nära för stora absoltvärden på. Den faltningskärna som visas i Fig. 3.b är på samma sätt lågpassfiltrerande i y-led. Kombineras dessa båda faltningskärnor fås den som visas i Fig. 3.c. Dess foriertransform är en mltiplikation av de båda föregående och den är lågpassfiltrerande i både - och y-led. Den släpper igenom de låga frekvenser (små -och v-värden) och dämpar höga frekvenser i och med att den har värden nära för stora absoltvärden på - ochv. Fig. 3.d visas en faltningskärna som kan separeras i två sådana faltningskärnor som visades i Fig. 3.c. Denna faltningskärna är änn kraftigare lågpassfiltrerande i både - och y-led. Upprepad faltning med hjälp av faltningskärnan i Fig. 3.c ger alltså mer och mer lågpassfiltrering. I Fig. 3.3 visas ett eempel på lågpassfiltrering av en bild med filtret i Fig. 3.c en och två gånger. Notera att lågpassfiltrets effekt blir en sddning av bilden. Notera också att de låga frekvenskomponenterna i foriertransformen bevaras, medan de höga dämpas.

53 3.8 D faltningskärnor för lågpassfiltrering 49 Forier transform: cos (πδ), Δ= a) y v Forier transform: cos (πδv), Δ= b) v cos (πδ) cos (πδv), Δ= c) v cos 4 (πδ) cos 4 (πδv), Δ= d) v Figr 3.. Faltningskärnor för lågpass-filtrering med tillhörande foriertransform.

54 5 Tvådimensionell signalbehandling f (,y) F (,v) y v f (,y) F (,v) y v f (,y) F (,v) y v Figr 3.3. Lågpassfiltrering. Bilden f (, y) är originalbilden och F (, v) är absoltvärdet av dess foriertransform. Bilden f (, y) är lågpassfiltrerad med filtret i Fig. 3.c. Bilden f (, y) är lågpassfiltrerad gånger med filtret i Fig. 3.c, dvs filtret i Fig. 3.d. (Originalbilden finns på University of Sothern California.)

55 3.9 Faltningkärnor för derivering Faltningkärnor för derivering Analys av lokala variationer i en två-dimensionell signal för med sig behovet av att ppskatta derivator, vilket är hvdämnet i detta avsnitt. En faltningskärna som beräknar derivatan kallas en deriveringsoperator. Vi börjar med att disktera beräkningen/estimeringen av derivatan i det en-dimensionella fallet. Se Fig. 3.4, som återknyter till Fig..7, grnden för formlering och bevis av samplingsteoremet. Om f() är den bakomliggande kontinerliga signalen och bandbegränsad till F () = för > /(Δ) och samplad med (/Δ)III(/Δ) fås s(). Samplingsavståndet är alltså Δ. Då kan vi rekonstrera f() enligt ( f() =s() sinc. (3.) Δ) Men om vi kan rekonstrera en deriverbar fnktion f() rs() kan vi också rekonstrera derivatan f (). I forierdomänen bildas foriertransformen av derivatan genom mltiplikation med jπ. Derivatan av rektangelfnktionen ΔΠ(Δ) blir då jπ ΔΠ(Δ) och i signaldomänen blir kombinationen av derivering och rekonstrktion operatorn g() enligt (3.), g() = d ( ) d sinc jπ ΔΠ(Δ). (3.) Δ Denna fnktion visas i Fig Faltad med s() reslterar den i derivatan av den bakomliggande kontinerliga fnktionen f(), dvs f () = d [ ( ] sinc s() = d Δ) d ( ) d sinc s() =g() s(). (3.) Δ Signaldomän s() f() Forierdomän S() a) b) Δ Δ Δ sinc ( ) Δ ΔΠ(Δ) Δ Δ f() F () c) d d sinc ( ) Δ jπδπ(δ) d) Δ f () =s() d d sinc ( ) Δ S() jπδπ(δ) e) Figr 3.4. På samma sätt som sinc-fnctionen rekonstrerar f() r den samplade fnktionen s(), (a,b,c), så rekonstreras f () r den samplade fnktionen s() med hjälp av den ideala derivatorn g() = d sinc ( d Δ), (a,d,e).

56 5 Tvådimensionell signalbehandling Den ideala deriveringsoperatorn, derivatorn g() har oändlig tsträckning. I praktiken måste vi använda en ändlig approimation g(). Om vi desstom endast önskar f () i de tidigare använda sampelpnkterna kan vi som g() använda en diskret samplad form. Tre sådana approimativa derivatorer (estimatorer, estimerare av :a derivatan) visas i Fig. 3.5 där vi har satt Δ =. Kärnan a) { }/(Δ) är enklast och kärnan b) { 6 6}/(8Δ) överensstämmer bäst med den ideala fnktionen. Dessa har skapats genom att mltiplicera (d/d)sinc(/δ) med en cos -fnktion som går ner till vid önskad storlek på faltningskärnan. Båda dessa fnktioner visas streckade i figrerna. Kärnan c) { }/(Δ) är också enkel, men blir tgångsbilden blir förskjten ett halvt sampelavstånd jämfört med ingångsbilden, vilket är något som programmeraren måste ha kontroll på. Det är inte självklart vilken operator som är bäst. a) { }/(Δ) kan vara att föredra om man medvetet vill ndertrycka inflytande från högre frekvenser inom bandbreddsområdet. Det senare är ett inte ovanligt önskemål eftersom signal/brsförhållandet ofta är dåligt i de högre frekvensområdena. Man brkar ttrycka detta så att ideal derivering inte alltid är optimal därför att den förstärker brset i bilden. Som framgår av Fig. 3.5 har alla faltningskärnorna det gemensamt att de för låga frekvenser överensstämmer väl med den ideala G() = jπ Π(Δ) som visas streckad i figren. Det bör också observeras att det samplade resltatet av f (), dvs ( Δ ) ( III f Δ) () ( ) ( III g() s(), =...,,,,... Δ Δ) i forierdomänen har ett repetitivt tseende med perioden /Δ. a) Spatialdom b) Spatialdom c) Spatialdom Forierdom., imag..5.5 Forierdom., imag..5.5 Forierdom., imag..5.5 Figr 3.5. Tre approimationer av den ideala deriveringsoperatorn. Streckad linje =jπ.

57 3.9 Faltningkärnor för derivering 53 För att knna disktera två-dimensionell derivering bör vi först klargöra hr vi rekonstrerar en kontinerlig bildsignal r en samplad version. Perfekt rekonstrktion av en bandbegränsad signal kan ske i forierdomänen med den två-dimensionella rektangelfnktionen som visas i i Fig. 3.6 som vi skriver som G (, v) = ΔΠ(Δ) ΔΠ(Δv) =Δ Π(Δ, Δv), (3.3) där Δ är samplingsavståndet av den bakomliggande två-dimensionella kontinerliga fnktionen. Liksom i det en-dimensionella fallet kan vi, åtminstone teoretiskt, tföra rekonstrktionen i signaldomänen, bildplanet, med ( ( y g (, y) =sinc sinc. (3.4) Δ) Δ) Fnktionerna g (, y) = sinc() sinc(y) ochg (, v) =Π(, v) visas i Fig sinc() sinc(y) Π() Π(v) real ais.5 4 y real ais.5.5 v / [sinc()] sinc(y) jπ Π() Π(v) real ais imaginary ais 4 y v / y[sinc(y)] sinc() jπv Π(v) Π() real ais imaginary ais 4 y v Figr 3.6. Ideala D-operatorer för rekonstrktion och derivering i - och y-led.

58 54 Tvådimensionell signalbehandling Partiell derivering i -led av en fnktion f(, y) är liktydigt med mltiplikation i forierdomänen med jπ. På samma sätt som för det en-dimensionella fallet så mltiplicerar vi därför vår rekonstrktionsfnktion G (, y) med denna deriveringsfnktion för att nå den kombinerade effekten av rekonstrktion och derivering av den bakomliggande kontinerliga fnktionen. Resltatet blir i forierdomänen två stycken tskrna ltande plan, som beskrivs med ttrycken G (, v) =jπ Δ Π(Δ, Δv), (3.5) G y (, v) =jπv Δ Π(Δ, Δv). (3.6) Den inversa foriertransformen av dessa ekvationer, (3.5) och (3.6) blir g (, y) = ( ) ( y sinc sinc, (3.7) Δ Δ) g y (, y) = ( y ) ( y sinc sinc. (3.8) Δ Δ) De två fnktionerna g och g y är de ideala estimatorerna för :a derivatorna av en bandbegränsad två-dimensionell signal. De har ett liknande tseende som den ideala endimensionella derivatorn g() i Fig Sammansatta till vektorn (g,g y ) tgör de den ideala estimatorn för gradienten. Fnktionerna g (, y), G (, v), g y (, y) ochg y (, v) visas i Fig. 3.6 för Δ =. Fnktionerna g y och G y är som synes identiska med g och G roterade 9. Ett antal approimativa derivatorer visas av Fig. 3.7 tillsammans med respektive foriertransformer. I Fig. 3.7a visas en differentierande faltningskärna i -led. Under det att den faltas på en bild beräknar den differensen mellan framförvarande och bakomliggande piel. Dess foriertransform är j sin(πδ)/δ. För små värden på är denna foriertransform ngefär lika med jπ som enligt Tab. 3. motsvarar derivering i -led. Eftersom foriertransformen har värden nära för stora absoltvärden på är denna faltningskärna också i viss mån lågpass-filtrerande i -led. Denna faltningskärna är alltså både deriverande och lågpassfiltrerande i -led. I Fig. 3.7b visas en differentierande faltningskärna i y-led. Ett liknande resonemang som fört ger att denna kärna är både deriverande och lågpassfiltrerande i y-led. Genom att falta en i y-led lågpassfiltrerande faltningskärna med en i -led differentierande fås en faltningskärna som brkar kalls sobel-. Den är deriverande i -led och lågpassfiltrerande i både -och y-led. På liknande sätt gäller att faltningskärnan sobel-y är deriverande i y-led och lågpassfiltrerande i både -ochy-led. Sobel- och Sobel-y kallas med ett gemensamt namn sobel-operatorer ochdevisas i Fig. 3.7 c,d. Betrakta operatorparet [D (, v),d y (, v)] nedan. Det tför en lågpassfiltrering med H (, v) och H y (, v) samt derivering i - ochy-led med jπ och jπv, { D (, v) = H (, v) jπ, (3.9) D y (, v) = H y (, v) jπv. Låt n d (, y) ochd y (, y) vara inversforiertransformerna av D (, v) ochd y (, v). Kalla faltningssvaren av detta operatorpar på bilden f(, y) förf (, y) ochf y (, y), dvs { f (, y) = d (, y) f(, y), (3.3) f y (, y) = d y (, y) f(, y). Sammansatta till en vektor tgör de en estimator för gradienten i bilden, gradienten = =[f (, y),f y (, y)]. (3.3) I Fig. 3.8 visas ett eempel på derivatafiltrering av en bild. Bilden f(, y) är originalbilden. Derivatabilden i -led, f (, y), är faltad med Sobel- filtret i Fig 3.7c och derivatabilden i y-led, f y (, y), är faltad med Sobel-y filtret i 3.7d. Kantdetektering erhålls genom att beräkna magnitden på gradienten, = f (, y) + f y (, y). (3.3)

59 3.9 Faltningkärnor för derivering 55 Forier transform: jsin(πδ)/δ, Δ= a) y Δ imaginary ais.5 v Forier transform: jsin(πδv)/δ, Δ= b) Δ imaginary ais.5 v jsin(πδ)/δ cos(πδv), Δ= c) Sobel 8Δ 4 Δ imaginary ais.5 v jsin(πδv)/δ cos(πδ), Δ= d) Sobel y 8Δ Δ 4 imaginary ais.5 v Figr 3.7. Faltningskärnor för derivering med tillhörande foriertransform. Dessa faltningskärnor ger också en viss lågpass-effekt.

60 56 Tvådimensionell signalbehandling 5 f(,y) 5 5 [f (,y)+fy (,y)].5 8 y 5 y f (,y) 5 f y (,y) 5 5 y y Figr 3.8. Derivering och kantdetektering. Bilden f(, y) är originalbilden. Derivatabilden i -led, f (, y), är faltad med Sobel- filtret. Derivatabilden i y-led, f y(, y), är faltad med Sobel-y filtret. Kantdetektering erhålls med hjälp av magnitden på gradienten, f(, y) + f y(, y). (Originalbilden finns på University of Sothern California.) Fig. 3.9a visar en kärna med foriertransformen 4(sin (πδ)+sin (πδv))/δ. För små värden på är denna foriertransform ngefär lika med 4π( + v ). Enligt Tab. 3. motsvarar detta applikation av laplace-operatorn / + / y. Eftersom foriertransformen inte följer denna krva för stora absoltvärden på och v tan böjer av, är denna faltningskärna också i viss mån lågpass-filtrerande i båda ledder. Faltningskärnan i Fig. 3.9a är alltså både en laplace-operator samt lågpassfiltrerande i - och y-led. Sammantaget blir detta faktiskt ett högpassfilter i -och y-led. Det kan vara förvillande att foriertransformen har negativa värden. Kom då ihåg att om man ska ttala sig om ett filters lågpass-, högpass- eller bandpass-karaktär så bör man betrakta absoltvärdet av filtrets foriertransform. Man kan dock säga att högpassfiltret har negativt tecken eller att högpassfiltret fasvrider 8 grader. Om man mltiplicerar laplace-operatorn med erhålles faltningskärnan i Fig. 3.9b. Denna är som synes ett helt normalt högpass-filter i forierdomänen. Sltligen visas i Fig. 3. ett eempel på bildförbättring genom användning av laplace-filter. Laplace-bilden erhålls genom att falta originalbilden med laplace negativ -operatorn i Fig Genom att addera originalbilden och laplacebilden erhålls en bild med tydligare detaljer. Detta beror på att detaljerna innehåller höga frekvenser som förstärks av laplacefiltret.

61 3.9 Faltningkärnor för derivering 57 4[sin (πδ)+sin (πδv)]/δ, Δ= a) Laplace Foriertransform: 4 Δ Δ Δ 5.5 v [sin (πδ)+sin (πδv)]/δ, Δ= b) Laplace, negativ Foriertransform: 4 Δ Δ Δ 5.5 v Figr 3.9. Faltningskärnor med tillhörande foriertransform. a) Faltningskärna som fngerar som en approimativ laplaceoperator / + / y. b) Med negativt tecken erhålles ett högpassfilter. Laplace, negativ Figr 3.. Användning av laplace-filter. Bilden till vänster faltas med laplace negativ-operatorn i Fig. 3.9b. Ett enkelt eempel på bildförbättring erhålles genom att addera bilden till vänster och den laplace negativfiltrerade bilden. Då erhålls en bild med tydligare detaljer (detaljer = högpassinformation). (Originalbilden finns på University of Sothern California.)

62 58 Tvådimensionell signalbehandling 3. Normalisering av faltningskärnor I Fig. 3. har varje lågpass-filtrerande faltningskärna försetts med en normaliseringskonstant så att det lokala medelvärdet bevaras för varje omgivning i bilden, där omgivningens storlek är samma som faltningskärnans. Låt faltningskärnans storlek vara N pilar och dess koefficienter vara f,f,..., f N.Då blir normaliseringskonstanten N K = f i. (3.33) Betrakta t e faltningskärnan i Fig. 3.c. För denna gäller att i= K = =6. (3.34) Om normaliseringskonstanten sätts till ett för lågt värde kommer bildens medelvärde att öka och bilden blir för ljs. På motsvarande sätt blir bilden för mörk om normaliseringskonstanten sätts till ett för högt värde. I Fig. 3.7 och Fig. 3.9 har varje faltningskärna försetts med normaliseringskonstanter så att de deriverande kärnorna beräknar korrekt skalade derivator för långsamt varierande gråskalevariationer. Det bakomliggande sampelavståndet är Δ. Om man inte vet sampelavståndet kan man t e sätta Δ =. Normalisering med hänsyn taget till absoltbeloppet (L -norm), K = N f i. i= brkar ge ett rimligt värde, dvs omfånget på pielvärdena i tbilden brkar bli i samma storleksordning som för inbilden. Om man enbart ska använda den den faltade bilden för att titta på kan en annan möjlighet vara att jstera normaliseringsfaktorn så att den faltade bildens kontrast blir sbjektivt bra.

63 Kapitel 4 Omsampling av bilder 4. Translation och förstoring (ppsampling) Omsampling av en bild innebär att den diskreta bilden, given med viss geometri och pplösning överförs till ett annat format. Med geometri avses här bildens orientering, eventella distorsion osv. Som framgår av Fig. 4. kan man illstrera distorsion genom att visa resltatbildens ortogonala rastermönster placerat i originalbilden. En satellitbild är sålnda ofta grovt distorderad och behöver korrigeras för detta för att få rätt orientering och samma pplösning som en viss kartbild. Figr 4.. Det principiella förfaringssättet vid omsampling: Den nya bildens sampel skall räknas fram r originalet i ett antal mer eller mindre oordnade nätpnkter som inte sammanfaller med givna originalsampel. Samtliga fall ppräknade nedan är specialfall av det generella omsamplingsproblemet. translation förstoring, ppsampling, överföring till större matris, öka pplösningen rotation geometrisk korrektion förminskning, nedsampling, överföring till mindre matris, minska pplösningen 59

64 6 Omsampling av bilder Figr 4.. Omsampling kan delas pp i två processer: Interpolation av den diskreta signalen så att en kontinerlig signal erhålles, därefter sampling av denna signal. Omsampling kan anses bestå av två processer (se Fig. 4.). Interpolation (faltning) av den diskreta signalen med hjälp av någon interpolationsfnktion, vilket reslterar i en kontinerlig signal. Sampling av den kontinerliga signalen. I verkligheten beräknas dock den kontinerliga fnktionen endast i den omsamplade signalens rasterpnkter. Vilken interpolationsmetod vi bör välja bestäms givetvis av de krav som ställs på resltat och beräkningstid. Ofta skall en omsamplad bild bearbetas vidare i dator. Det är då inte nödvändigtvis ögats ppfattning av likhet som bör eftersträvas tan kanske hellre en matematisk trohet mot originalet. Vanliga metoder vid omsampling är närmsta granne metoden, linjär interpolation och interpolation med en fnktion av typ cbic spline. Vid den enklaste metoden, närmsta granne, tilldelas en ny bildpnkt värdet av den av originalpnkterna som ligger närmast. Den interpolerade signalen får då ett mycket kantigt tseende (Fig. 4.3 a). Vid linjär interpolation interpoleras linjärt mellan två närliggande pnkter (Fig. 4.3 b). Med en viss typ av cbic spline, som använder sig av fyra pnkter vid interpolationen, får den kontinerliga signalen en mjkare form (Fig. 4.3 c). I två dimensioner blir givetvis fler pnkter inblandade. Vi betraktar dock tills vidare omsamplingen i endast en dimension. Figr 4.3. Interpolerad signal för olika metoder. a) Närmsta granne. b) Linjär interpolation. c) Cbic spline interpolation. Vi ska n komma fram till en metod för interpolation. Låt oss först betrakta faltningen med en interpolationsfnktion i detalj. Låt s() =g() n= δ( nδ) vara den samplade insignalen och låt w() vara interpolationsfnktionen. Då gäller för faltningen (w s)() = = faltning med kontinerligt samplad fnktion {}}{ n= w( a) s() da = w( a) n= g(a)δ( nδ) da w( a) g(a)δ( nδ) da = w( nδ) g(nδ) n= }{{} faltning med diskreta sampelvärden (4.) Faltningen kan alltså beskrivas antingen med integral eller smma. Eempel på framräkning av ett nytt sampelvärde med interpolationsfnktionen w() = Λ(/Δ) (linjär interpolation) visas för båda fallen i

65 4. Translation och förstoring (ppsampling) 6 a) b) c) w() Δ Δ w( a) Δ a.5 Δ.5 Δ Δ w( nδ) Δ n Δ Figr 4.4. Interpolation med w() = Λ(/Δ) (linjär interpolation) för framräkning av ett nytt sampelvärde. a) Interpolationsfnktionen. b) Faltning med kontinerligt samplad fnktion. c) Faltning med diskreta sampelvärden. Fig I det första fallet gäller (w s)() = = = och i det senare fallet gäller (w s)() = w( a) s() da w(.5δ a) δ(a Δ) + w(.5δ a).5δ(a Δ) da w(.5δ Δ) δ(a Δ) + w(.5δ Δ).5δ(a Δ) da = w(.5δ) +w(.75δ).5 =Λ(.5) +Λ(.75).5 = =.875 (4.) n= w( nδ) g(nδ) = w(.5δ Δ) +w(.5δ Δ).5+ = w(.5δ) +w(.75δ).5 =Λ(.5) +Λ(.75).5 = =.875. (4.3) Vi är n redo för en förenklad beskrivning av förfarandet vid interpolation. Som ovan nämndes beräknas inte hela den kontinerliga signalen. Istället faltas originaldata med interpolationsfnktionen endast i de pnkter som behöver beräknas. Interpolation, förenklad beskrivning Se Fig. 4.5 där vi har satt Δ =. Flytta interpolationsfnktionen till den önskade positionen. Interpolationsfnktioner är jämna betrakta bara avstånd. Vikta sampelvärdena med motvarande höjd på interpolationsfnktionen och smmera. I det här fallet, med linjär interpolation blir: Interpolationsvärdet = Λ(.5) +Λ(.75).5 = =.875 Förtsatt att en signal är bandbegränsad och samplad tillräckligt tätt (enligt samplingsteoremet) kan den rekonstreras i varje pnkt genom att i frekvensplanet mltiplicera med ett idealt lågpassfilter, en rektangelfnktion som sträcker sig fram till bandgränsen. I bildplanet motsvarar detta faltning med en sinc-fnktion. Fig. 4.6 illstrerar ideal ppsampling. Efter ppsamplingen är Foriertransformen bevarad helt intakt. Den enda skillnaden jämfört med före omsampling är att pprepningarna kommer glesare. De nya högsta frekvenserna, som inte fanns representerande före omsamplingen, är satta till.

66 6 Omsampling av bilder Λ()=.5 Λ( n) n.5.75 Figr 4.5. Förenklad beskrivning av interpolation, här illstrerad i fallet w() = Λ() (linjär interpolation). Spatialdomän Forierdomän a) Δ sinc(/δ) Δ ΔΠ(Δ) Δ b) Δ c) d) Δ Δ e) Δ Δ Figr 4.6. Ideal ppsampling med sinc-fnktionen.

67 4. Translation och förstoring (ppsampling) 63 Vi ska n jämföra några olika interpolationsmetodernas egenskaper genom att stdera respektive interpolationsfnktions tseende i frekvensplanet. Närmsta-granne metoden inses efter en stnds eftertanke vara identisk med faltning med en rektangelfnktion som sträcker sig över endast en piel. I frekvensplanet motsvaras rektangelfnktionen av en sinc-fnktion (Fig. 4.7 a). Likheten med det ideala filtret är knappast slående varför vi inte bör ställa så stora förväntningar på resltatet med denna metod. Metoden är dock snabb och kan lämpligen användas för translation av bilder och för zooming. Vid överföring till större matris är den dock oanvändbar eftersom vi endast får en kopiering av piels. Linjär interpolation är liktydigt med faltning med en triangelfnktion (Fig. 4.7 b). Denna har i frekvensplanet betydligt mindre ttalade sidolober än föregående rektangelfnktion. Metoden ger hyggligt resltat, dock en smla oskarpt vilket indikeras av den avsmalnande toppen i triangelfnktionens forierspektrm. Spatialdomän, h() Forierdomän, H() a) Δ Δ Δ /Δ b) Δ Δ Δ /Δ c) Δ Δ Δ /Δ Figr 4.7. Interpolationsfnktioner h() (vänstra kolmnen) och deras foriertransform H() (högra kolmnen). Den streckade fnktionen är det ideala lågpassfiltret, sinc(/δ) i spatialdomänen respective Π(Δ) i forierdomänen. Eftersom ett idealt lågpassfilter i frekvensplanet motsvaras av en sinc-fnktion i bildplanet knde man förmoda att den ideala interpolationsfnkionen sklle vara jst en sincfnktion. Sincen har dock tyvärr oändlig tsträckning med sidolober vars amplitder endast långsamt går mot noll. Någonstans måste den trnkeras, troligen redan efter första sidoloben (för att inte få oacceptabelt lång beräkningstid) vilket reslterar i oönskade effekter. En natrlig tanke är att istället försöka hitta en fnktion som approimerar sincen men som är tanför ett visst intervall. Detta kan åstadkommas med cbic splines som är styckvis kontinerliga fnktioner sammansatta av tredjegradspolynom. Vi definierar en cbic spline h() på följande sätt a a + a + a, [, ], h() = b b + b + b, [, ],, f.ö. Fnktionen bör vara symmetrisk kring origo Desstom ställer vi följande krav på f(): (4.4)

68 64 Omsampling av bilder Omsampling till samma matris skall ge en eakt reprodktion av originaldata. Det innebär att: h() =, h() = h() =. Fnktionen bör vara kontinerlig i =, =och =. Derivatan bör vara för =och = och desstom kontinerlig i =. Med hänsyn tagen till dessa krav blir h() bestämd så när som på en konstant: (a +) 3 (a +3) +, [, ], h() = a 3 5a +8a 4a, [, ],, f.ö. (4.5) För negativa värden på konstanten a är f() positiv i intervallet [, ] och negativ i intervallet [, ], dvs vi får något som liknar en trnkerad sinc-fnktion. Det värde som i minsta kvadrat-mening ger en fnction så lik sinc-fnktionen som möjligt är a =.5. Men andra värden är också möjliga. Det mänskliga ögat föredrar ofta lite skarpare kanter och då kan a = vara ett alternativ. I fortsättningen kallar vi fnktionen 4-point cbic spline och ett ngefärligt tseende på denna visas i Fig. 4.7c). Vi får i frekvensplanet en god approimation av ett idealt lågpassfilter. Motsvarande fnktion i D-fallet kallar vi bicbic6. Fig. 4.8 illstrerar ppsampling, överföring av en bild till en större matris, här 4 gånger större. En del av originalbilden Fig. 4.8a) har förstorats genom närmsta granne interpolation i Fig. 4.8b, med linjär interpolation i Fig. 4.8c och med bicbic6, (a=-) i Fig. 4.8d. Bästa resltatet fås som väntat med den sistnämnda metoden. Linjär interpolation ger en mattare bild med sddigare kanter och taggigare linjer. a) original b) nearest c) bilinear d) bicbic6 Figr 4.8. Uppsampling (förstoring). a) Originalbild (56 56) med rta (64 64). b) Närmsta granne interpolation av rtan till storlek c) Linjär interpolation av rtan till storlek d) Bicbic6 interpolation (a = ) av rtan till storlek

69 4. Translation och förstoring (ppsampling) 65 Vår beskrivning har hittills endast beskrivit en-dimensionell omsampling medan bilderna i Fig. 4.8 har bearbetats två-dimensionellt, vilket kräver en förklaring. Interpolationsfnktionen har applicerats två gånger efter varandra såsom illstreras i Fig. 4.9a,b). Först skapas en bild där den nya samplingstätheten ppträder i -led. Dessa nya sampel användes sedan för en-dimensionell omsampling i y-led. Med en viss interpolationsfnktion h skapas sltresltatet g(, y) r ingångsbilden f(, y) med g(, y) =f(, y) h()δ(y) h(y)δ(y), (4.6) där den ideala två-dimensionella omsamplingen är dbbelsincen, h()δ(y) h(y)δ() = h() h(y) = sinc(/δ) sinc(y/δ). (4.7) Approimationen av h() ochh(y) med en triangelfnktion (linjär interpolering) innebär som antydes i Fig. 4.9d) att en viss tgångspiel interpoleras från sina fyra närmsta grannar. Låt den nya rasterpnktens koordinater vara (,y ), vilka består av heltalsdelarna (, y) och bråkdelarna ( ɛ,y ɛ ). Bilinjär interpolationen i två steg illstreras i Fig. 4.9a,b), vilket betyder att först sker interpolering i -led, dvs f (,y)=( ɛ ) f(, y)+ ɛ f( +,y), = + ɛ, (4.8) där f är originalbilden vars rasterpnkter har markerats med i Fig. 4.9a) och f är mellanresltatsbilden vars rasterpnkter har markerats med i Fig. 4.9a,b). Därefter sker interpolation i y-led f (,y )=( y ɛ )f (,y)+y ɛ f (,y+), y = y + y ɛ, (4.9) där f är sltresltatsbilden vars rasterpnkter har markerats med i Fig. 4.9b). Figr 4.9. Förstoring = tätare sampling. Originalbildens rasterpnkter har markerats med, resltatbildens med. a) En-dimensionell interpolation i -led... b)... följt av endimensionell interpolation i y-led... c),d)... är ekvivalent med två-dimensionell interpolation.

70 66 Omsampling av bilder Samma effekt knde natrligtvis ha ppnåtts med en direkt två-dimensionell interpolering mellan de fyra närmsta sampelpnkterna i ingångsbilden dvs f (,y ) vilket illstreras i Fig. 4.9c,d). = ( ɛ )( y ɛ ) f(, y)+ ɛ ( y ɛ ) f( +,y) +( ɛ )y ɛ ) f(, y +)+ ɛ y ɛ f( +,y+), (4.) 4. Rotation Rotation av en bild f kring origo med vinkeln α enligt Fig. 4. ger en ny bild f α där det roterade resltatet kan skrivas f α ( α,y α )=f(, y), (4.) där följande samband gäller mellan koordinaterna ( α y α ) ( cos α sin α = sin α cos α )( y ) ( = R y ). (4.) Låt oss införa beteckningarna T =(, y) och T α =( α,y α ). Vi kan då sammanfatta (4.) och (4.) till f α ( α )=f α (R ) =f( ). (4.3) Notation: ( ) = y ( cos α sin α R = sin α cos α ) rsprngsbild f roterad bild f α y f α (R ) f( ) α Figr 4.. Rotation av en bild. Om bilden f är digital så specificerar (4.) sltkoordinaten α för en viss raster-pnkt i originalbilden f. Emellertid är det egentligen den inversa sitationen vi är intresserade av. Eftersom α i allmänhet inte är en jämn rasterpnkt, skriver vi om (4.3) till f α ( ) =f(r ). (4.4) Som illstreras i Fig. 4. gäller det då att för varje (, y) i den roterade bilden räkna t (,y ) enligt ( ) ( ) ( )( ) y = R cos α sin α = (4.5) y sin α cos α y för att sedan med lämplig interpolation räkna fram f(,y )ochtföra f α (, y) :=f(,y ). (4.6) Pnkten (,y ) är j i det allmänna fallet ingen rasterpnkt tan ligger godtyckligt placerad. Först efter interpolation kan den egentliga rotationen tföras, dvs placera ett pielvärde i pnkten (, y). Observara alltså att rastret, samplingsmönstret, är gemensamt för f α och f. Rotation kring en pnkt (a, b) är obetydligt mer komplicerad än rotation kring origo. Motsvarigheten till (4.5) blir ( ) y = ( a b ) ( cos α sin α + sin α cos α )( a y b ), (4.7)

71 4.3 Förminskning (nedsampling) 67 ) 3) (, y) givet Observera: inbilden och tbilden är överlagrade y f(,y ) placeras i pnkten (, y) α ) (,y ) beräknas, varefter f(,y ) interpoleras fram Figr 4.. Rotation av en digital bild innefattar beräkning av originalbildens värde i pnkten (,y ) som skall föras till rasterpnkten (, y). y (, y) (,y ) α (a, b) Figr 4.. Rotation kring en godtycklig pnkt (a, b). vilket illstreras av Fig. 4.. Som framgått av föregående avsnitt kan interpolation tföras mer eller mindre sofistikerat. Cbic spline (eller någon änn mera sinc-liknande fnktion) är ofta önskvärd. Vid ren omsampling tan rotation ligger de nya sampelpnkterna snyggt och prydligt i vertikala kolmner och horisontala rader i det gamla rastret som synes i Fig Detta gör det praktiskt möjligt att använda t e en -pnkters sincapproimation i såväl - som y-led g(, y), dvs totalt mltiplikationer-/ackmlationer per pielvärde i resltatet g(, y). Det totala omsamplingsförloppet är globalt separerbart. 4.3 Förminskning (nedsampling) Metoderna i avsnitt 4. ovan, främst illstrerade av Fig , kan natrligtvis i princip användas oförändrade även vid nedsampling (tglesning av sampelpnkterna = förminskning). Samplingsteoremet säger oss emellertid att det ökade samplingsavståndet innebär att vi inte kan härbärgera lika höga frekvenser som tidigare. Fig. 4.3 visar det en-dimensionella fallet för fallet med förminskning med faktorn k =. Om samplingsavståndet i den nya bilden är eakt ggr originalets kan samtliga nya sampelpnkter fås att sammanfalla med en eisterande; i det allmänna fallet faller de mellan två av originalets sampelpnkter. I forierdomänen kan vi maimalt tillvarata vad som faller inom /(kδ) <</(kδ) varför den rätta interpolationsfnktionen är (/k)sinc(/(kδ)). Som synes åtgår många sampel, närmare bestämt k st, redan för att approimera hvdloben i sinc-fnktionen. Om vi sklle sträva att efterlikna även andra lobparet, som i fallet med cbic spline, Fig. 4.7 c), åtgår ytterligare k sampel. En två-dimensionell separabel cbic spline för omsampling / förminskning av en N N piel originalbild med faktorn k sklle därmed kräva N 4k(N/k) =4N MAC (mltiplikation följt av ackmlering till tidigare smma) för N rader med vardera N/k nya sampelpnkter.

72 68 Omsampling av bilder Spatialdomän Forierdomän a) b) Δ Δ (/)sinc(/(δ)) / Δ ΔΠ(Δ) Δ c) d) Δ Δ e) Δ Δ Figr 4.3. Nedsampling med faktorn sker idealt med sinc(/(δ))/. (N/k) 4k(N/k) =4N /k MAC för N/k kolmner med vardera N/k sampelpnkter. Totalt åtgår alltså 4N ( + /k) MAC. En annan enklare cbic spline med samma bredd som hvdloben i sinc-fnktionen definieras av h() = { a3 3 + a + a + a, [, ],, f.ö. (4.8)

73 4.3 Förminskning (nedsampling) 69 a) original b) närmsta granne c) enkel cbic spline Figr 4.4. Förminskning med faktorn av en testbild med st radiella sins-fnktioner, en långsam och en snabb. Foriertransform visas i högerkolmnen. a) Originalbild. b) Förminskning med närmsta granne. c) Förminskning med enkel cbic spline. För presentationen är resltatet zoomat till originalbildens storlek.