Signaler, inormation & bilder, öreläsning 3 Michael elsberg Computer Vision Laboratory epartment o Electrical Engineering michael.elsberg@liu.se Översikt signalbehandling (bildbehandling) en digitala bilden, ärgtabeller kontinuerlig ouriertransorm och T sampling diskret altning, cirkulär Lågpassiltrerande altningskärnor Teori: Kap., 3.-3.8, 3. Bygger på Maria Magnussons öreläsningar En bild är en signal : (t) är en unktion som beror av tiden t. : (x,y) är en unktion som beror av de spatiella (rums-) koordinaterna x och y. Ex) y) = sin( x y) y) = svart y) = vitt + ig.. ör en digital bild gäller En digital bild är en samplad -unktion. Samplen kallas pixlar (pixels, picture elements). Antalet pixlar = bildens storlek. Vanliga storlek: 5x5= 8 =.5 Mpixel H, 9x8 = Mpixel UH, 384 6 3 =8 Mpixel Otast är samplen kvantiserade i intervallet [,55]. essa värden översätts via en ärgtabell i datorn till gråskalevärden, dvs ->svart och 55->vitt eller indexerade ärger (pseudo-ärg, ärgtabell)
ör en digital bild gäller Ibland: samplen lyttalsvärden. essa transormeras till intervallet [,55] och vidare via ärgtabell i datorn En äkta ärgbildhar 3 stvärden per pixel e transormeras var ör sig till intervallet [,55] Sedan ut på datorns röda, gröna respektive blåa kanal Vilket möjliggör 56 3 =67776 6,8 miljoner ärger HR (high dynamic range) använder större intervall Värden i intervallet [,] kan gamma-korrigeras -> γ I vissa all: järde kanal ör transparensen, s.k. alakanal et kan även användas andra ärgmodeller, t ex YCbCr (Y: luminans, Cb: blådierens, Cr: röddierens) PET-bild av hjärna Pseudo-ärgbild Äkta ärgbild gråskalebild Bildstorlek: 7x4 pixlar Bildstorlek: 7x4 pixlar pixelormaktor : zoom zoom
Vanlig gråskaleärgtabell Pixelvärde (x,y) Pseudo-ärgtabell Pixelvärde (x,y) 56 ärger gamma transormation Linjär transormation : : : 55: R 55 G 55 B 55 Ut på skärmen 56 ärger I denna kursen jobbar vi mest med gråskaleärgtabellen. godtycklig transormation : : : 55: R G B??? Ut på skärmen Ex ) En PET-bild kan visa var det är aktivitet i hjärnan. Hög aktivitet kan visas röd och låg aktivitet kan visas blå. Ex) Användbart t ex när vi vill visa negativa värden blå och positiva värden röda. gamma transormation Linjär transormation Äkta ärgtabell : : : R Pixelvärde [ r (x,y), g (x,y), b (x,y)] Linjär transormation : : : G Linjär transormation : : : Över 6 miljoner ärger B Varör ouriertransormen? öljing kräver realtidsprestanda Bästa metoden (vår ) använder ouriertransormen VOT4 winner VOT5 winner C-COT 55: 55 55: 55 55: 55 Ut på skärmens röda kanal Ut på skärmens gröna kanal Ut på skärmens blåa kanal
kontinuerlig ouriertransorm jπ ( xu+ yv) [ y) ] = ( u, v) = y) e I dx dy I ouriertransorm ( 3.3) j π ( xu+ yv) [ ( u, v) ] = y) = ( u, v) e du dv invers ouriertransorm ( 3.4) ouriertransormen är separabel en kan beräknas örst i ena ledden och sen i andra ledden: jπ ( xu+ yv) ( u, v) = y) e = dx dy jπyv jπxu y) e dy e dx ( 3.3) ) ( ouriertransorm i y - led) v ouriertransormen av en reell unktion är hermitisk Realdelen är jämn och imaginärdelen är udda. ( u, v) = ( u, v) et går att visa på liknande sätt som ör. ( u, v) = ( u, v) ( u, v) = ( u, v) Amplitudspektrum är symmetriskt i origo. ( 3.7) se ig.3. En bild med amplitudspektrum Amplitudspektrum är spegelsymmetriskt e låga rekvenserna dominerar ig. 3.
Realdel och Imaginärdel av ouriertransormen Realdelen är jämn Imaginärdelen är udda ig. 3. Teorem och samband Teoremen ör -ouriertransorm, bla skalnings-, altnings-, translations-och derivata-teoremet gäller även i. -unikt teorem ör generell linjär transorm: rotation som specialall: Teorem och samband Separabla unktioner ger separabel ouriertransorm: y) = g( x) h( y) ( u, v) = G( u) H ( v) T Pythonkommando: = np.t.t() Obs: i Python N M jπ ( nk / N + ml / M ) ( k, l) = ( n, m) e MN n= m= N M jπ ( nk / N + ml / M ) ( n, m) = ( k, l) e k = l= Sparas i row-major ormat Notera: symmetriska varianten ota är att öredra: = np.t.tshit(np.t.t(np.t.itshit())) ( k, l) [l,k] och ( n, m) [m, n]
Teoremen ör T motsvarar kontinuerliga allet. Notera att multiplikation i T-domänen motsvarar cirkulär altning i spatialdomänen. Illustration vikningsdistortion size: 4 56 sampling av (x,y) Ingen vikningsdistorsion! ig. 3.3 size: 4 56 ig. 3.5a Teorem och samband
sampling av (x,y) Vikningsdistorsion! size: 8 x8 size: 8 x8 ig. 3.5b ig. 3.4 Samband mellan samplad kontinuerlig ouriertransorm och T ig. 3.7 Varör altning? oändlig periodisk, periodisk, periodisk Relationen mellan kontinuerlig rekvens u, voch diskret rekvens k, lstår i (3.3). N, M är antalet u = k ( N ) sampelpunkter och är sampelavståndet. v = l ( M ) ( 3.3) Method Top-5 Error Method escription SuperVision (Toronto).64 CNN ISI (Tokyo).67 Hand-crated eatures: SIT, HOG and LBP OXOR.6979 PM + Hand-crated eatures XRCE/INRIA.758 Hand-crated eatures
AlexNet[Krizhevsky et al. ] g g altning ( x y) = ( h ) y) = h( x α, y β ) ( α, β ) dα d Kontinuerlig ( 3.5) y) = ( h ) y) = h( x α, y β ) ( α, β ) α = β = Linjär diskret ( 3.7) g, β N M y) = ( h N ) y) = h( x α, y β ) N ( α, β ) α = β = Cirkulär diskret ( 3.8) 9 Ex) Linjär och Cirkulär altning Inbild Medelvärdesbildande altningskärna Storlek 5x5 Utbild eter linjär altning Utbild eter cirkulär altning linjär diskret altning g y) = ( h ) y) = h( x α, y β ) ( α, β ) α = β = Spegla h i x-och y-axeln = rotera 8 o Glid med den speglade h över Multiplicera och summera överlappande värden Python: signal.convolved() - - - - * = 4-4 - - - - h x, y x, y = g x, y ( ) ( ) ( ) skillnadtill korrelation
Bildstorlek vid linjär diskret altning valid : Värden utanör inbildenanses odeinierade => Utbilden blir mindre än inbilden. ull : Värden utanör inbilden anses vara => Utbilden blir större än inbilden. Eller lika stor om de extra värdena slängs ( same ) ig. 3.8 Vad är ouriertransormen av? irac-spikar δ(x,y)=δ(x)δ(y) påvarjeelement i altningskärnan Antag sampelavstånd. etta ger h( x) = δ ( x + ) + δ ( x) + δ ( x ) δ y / Tag kontinuerlig ouriertransorm H Byt [ ] ( ) 4 + j π u jπ u ( u, v) = [ e + + e ] ( v) = t x, y, u, v, /4 T / 4 = [ cos( π u ) + ] / 4 = cos ( π u) Lågpassiltrerande altningskärna i x-led (u-led) cos ( π u) = här y v x /4 ig. 3. u Lågpassiltrerande altningskärna i y-led (v-led) cos ( π v) = här y ig. 3. v x u /4
Lågpassiltrerande altningskärna i x- och y-led (u- och v-led) cos ( π u) cos ( π v) = här 4 = /6 * /4 /4 ämpar höga rekvenser ig. 3. Mer lågpassiltrerande altningskärna i x- och y-led (u- och v-led) ( π 4 u) cos ( π v) 4 4 6 4 cos binomialilter 6 4 6 = här (approx. 4 4 Gauss-ilter) 6 4 36 4 6 = 4 6 4 6 4 4 6 4 /56 4 /6 * 4 /6 ig. 3. Lågpassiltrering Jämör med ig. 3.3 * 4 6 4 4 6 4 6 4 6 4 36 4 6 4 6 4 6 4 4 6 4 /56 Lågpassiltreringi ourierdomänen Jm ig. 3.3