Signaler, inormation & bilder, öreläsning 3 Michael Felsberg och Maria Magnusson Computer Vision Laboratory (atorseende) epartment o Electrical Engineering (ISY) michael.elsberg@liu.se, maria.magnusson@liu.se Översikt signalbehandling (bildbehandling) en digitala bilden, ärgtabeller kontinuerlig ouriertransorm och FT sampling diskret altning, linjär och cirkulär Teori: Kap., 3.-3.8, 3. Bygger på Maria Magnussons öreläsningar En bild är en signal : (t) är en unktion som beror av tiden t. : (x,y) är en unktion som beror av de spatiella (rums-) koordinaterna x och y. Ex) y sinx y y svart y vitt Fig.. För en digital bild gäller En digital bild är en samplad -unktion. Samplen kallas pixlar (pixels, picture elements). Antalet pixlar = bildens storlek. Vanliga storlek: 5x5= 8 =.5 Mpixel H 9x8 = Mpixel UH ( 4K ) 384 6 3 =8 Mpixel
För en digital bild gäller Otast är samplen kvantiserade i intervallet [,55]. essa värden översätts via en ärgtabell i datorn till gråskalevärden, dvs ->svart och 55->vitt eller indexerade ärger (pseudo-ärg, ärgtabell) HR (high dynamic range) använder större intervall Ibland: samplen lyttalsvärden. å de ska visas på skärm transormeras de till intervallet [,55] eller [,] och vidare via ärgtabell. Värden i intervallet [,] kan gamma-korrigeras -> γ Bildstorlek: 7x4 pixlar zoom Bildstorlek: 7x4 pixlar pixelormaktor : zoom För en digital bild gäller, orts En äkta ärgbild har 3 st värden per pixel, RGB (R: röd, G:grön, B:blå) e transormeras var ör sig till intervallet [,55] Sedan ut på datorns röda, gröna respektive blåa kanal Vilket möjliggör 56 3 =67776 6,8 miljoner ärger En järde kanal kan tillogas ör transparensen, en s.k. alakanal. Används t ex inom datorgraik. Man kan även använda andra ärgmodeller, t ex YCbCr (linjär; Y: luminans, Cb: blådierens, Cr: röddierens). Används t ex vid JPEG-kodning. CIELAB (olinjär; L*: luminans, a*: magenta grön balans, b*: gul blått balans) Överöring sker som mest via P, HMI eller SI
PET-bild av hjärna gråskalebild Hur kan man uppleva olika ärger av RGB? atorskärm, tv: ljuset lyser ut rån skärmen, ger additiv ärgblandning. Målarärger: lampljus/solljus relekteras rån ärgen, ger subtraktiv ärgblandning. Ex) atorpixel som ger vitt ljus: Pseudo-ärgbild Äkta ärgbild Ex) atorpixel som ger gult ljus: Ex) atorpixel som ger cyan ljus: Ex) atorpixel som ger magenta ljus: Vanlig gråskaleärgtabell gamma transormation Pixelvärde (x,y) Linjär transormation : : : 55: R 55 G 55 B 55 Ut på skärmen 56 ärger I denna kursen jobbar vi mest med gråskaleärgtabellen. Pseudo-ärgtabell Pixelvärde (x,y) godtycklig transormation : : : 55: R G B??? Ut på skärmen 56 ärger Ex ) En PET-bild kan visa var det är aktivitet i hjärnan. Hög aktivitet kan visas röd och låg aktivitet kan visas blå. Ex) Användbart t ex när vi vill visa negativa värden blå och positiva värden röda. 3
gamma transormation / srgb Linjär transormation Äkta ärgtabell : : : 55: R 55 Pixelvärde [ r (x,y), g (x,y), b (x,y)] Linjär transormation : : : 55: G 55 Linjär transormation : : : 55: Över 6 miljoner ärger B 55 Varör ouriertransormen? Följning i video (av t ex den gula isken) kräver realtidsprestanda Bästa metoden (vi på CVL ) använder ouriertransormen VOT4 winner VOT5 winner C-COT Ut på skärmens röda kanal Ut på skärmens gröna kanal Ut på skärmens blåa kanal kontinuerlig ouriertransorm j xu yv y Fu, v ye dxdy ouriertransorm 3.3 j xu yv F u, v y Fu, ve dudv invers ouriertransorm 3.4 ouriertransormen kan beräknas med st ouriertransormer en kan beräknas örst i ena ledden och sen i andra ledden: F j xu yv u, v ye F dxdy jyv jxu ye dy e dx 3.3 ouriertransorm i y - led v 4
Fouriertransormen av en reell unktion är hermitisk: F u, v = F u, v Bevis: ouriertransormen av en reell unktion är hermitisk Realdelen är jämn och imaginärdelen är udda. ReF u, v = ReF u, v ImF u, v = ImF u, v Amplitudspektrum är symmetriskt i origo. F u, v F u, v Fu, v F u, v se Fig. 3.7 3. En bild med amplitudspektrum Amplitudspektrum är spegelsymmetriskt e låga rekvenserna dominerar Realdel och Imaginärdel av Fouriertransormen Realdelen är jämn Imaginärdelen är udda Fig. 3. Fig. 3. 5
Teorem och samband, se ormelsamlingen! Teoremen ör -ouriertransorm, bl a skalnings-, altnings-, translations- och derivata-teoremet gäller även i. -unikt teorem ör generell linjär transorm: Teorem och samband Separabla unktioner ger separabel ouriertransorm: y gx hy Fu, v Gu H v rotation som specialall: FT Pythonkommando: F = np.t.t() F N M j nk / N ml / M k, l n, m e MN Obs: i Python F n m N M j nk / N ml / M n, m F k, l e k l Sparas i row-major ormat k, l F[l,k] och n, m [m, n] Notera: vanligtvis väljs symmetriska varianten med summor rån N/ till N/- och M/ till M/-, F = np.t.tshit(np.t.t(np.t.itshit())) Teorem och samband Teoremen ör FT motsvarar kontinuerliga allet. Notera att multiplikation i FT-domänen motsvarar cirkulär altning i spatialdomänen. 6
Fig. 3.5b Fig. 3.5a sampling av (x,y) Ingen vikningsdistorsion! Fig. 3.3 sampling av (x,y) size: x8 size: x8 Vikningsdistorsion! Fig. 3.4 7
Illustration av vikningsdistortion. sampelavstånd. pixelstorlek. Illustration av vikningsdistortion. sampelavstånd / pixelstorlek Illustration av vikningsdistortion. sampelavstånd / 4 pixelstorlek 4 Illustration av vikningsdistortion. sampelavstånd / 8 pixelstorlek 8 8
Samband mellan samplad kontinuerlig ouriertransorm och FT oändlig periodisk, periodisk Fig. 3.7, periodisk Relationen mellan kontinuerlig rekvens u, v och diskret rekvens k, l står i (3.3). N, M är antalet u k N sampelpunkter och är sampelavståndet. 3.3 v l M Fouriertransorm av diskret signal Fouriertransorm av samplad signal (Δ=), n, m F u, v n m n m ( x n, y m) j numv n, me j numv F u, v n, m F u ve Varning! Lite svårare beräkningar här! j xu yv n, me dx dy du dv Varör altning? The Convolutional Neural Network (CNN): AlexNet [Krizhevsky et al. ] Method Top-5 Error Method escription SuperVision (Toronto).64 CNN ISI (Tokyo).67 Hand-crated eatures: SIFT, HOG and LBP OXFOR.6979 PM + Hand-crated eatures XRCE/INRIA.758 Hand-crated eatures 37 9
Ex) Linjär och Cirkulär altning g g altning x y h y hx, y, d d Kontinuerlig 3.5 y h y hx, y, Linjär diskret 3.7 g, N M y h N y hx, y N, Cirkulär diskret 3.8 Inbild Medelvärdesbildande altningskärna Storlek 5x5 Utbild eter linjär altning Tänk att det är nollor utanör Inbilden då kärnan glider ram. Utbild eter cirkulär altning Tänk att inbilden sitter ihop över-/underkant och vänster-/högerkant då kärnan glider ram. linjär diskret altning g y h y hx, y, Spegla h i x- och y-axeln = rotera 8 o Glid med den speglade h över Multiplicera och summera överlappande värden Python: signal.convolved() - - - - * = 4-4 - - - - h x, y x, y g x, y skillnad mot korrelation Animation altning/korrelation
Bildstorlek vid linjär diskret altning valid : Värden utanör inbilden anses odeinierade => Utbilden blir mindre än inbilden. ull : Värden utanör inbilden anses vara => Utbilden blir större än inbilden. Eller lika stor om de extra värdena slängs ( same ) Mer om cirkulär altning: Filtrering via multiplikation i FT-domänen ger cirkulär altning kan örberäknas Sker via multiplikation i ourierdomänen. Utbilden blir lika stor som inbilden. Fig. 3.8 Fig. 3.9 cirkulär altning g - - - N h m g n h m n.59 noterar cirkulär altning modulo N operation är periodiskt upprepad / cirkulär N betecknar h n h N n N N n N cirkulär altning * * et gäller : FT N Bevis inns i kompendiet g h m G k H k Python : signal.tconvolve() = Alltså: För att cirkulär altning ska ge samma resultat som vanlig linjär altning kan zero-padding behövas. =