Signler, informtion & bilder, föreläsning 16 Michel Felsberg Computer Vision Lbortory Deprtment of Electricl Engineering michel.felsberg@liu.se Översikt Diverse Bildbehndling Korreltion (D) Vnlig Normerd Utn DC-nivå Wtershed lgoritmen Vidrelednde kurser och profil Aktuell forskning Teori: Kp 7 Bygger på Mri Mgnussons föreläsningr D Fltning och Korreltion Fltning: f g y) = f ( α, β ) g ( x α, y β ) dα dβ Korreltion: y ) f ( α, β ) g ( x + α, y β ) dα dβ f g + = Ekv. 7.1 Korreltion är smm sk som fltning med vikt kärn (fltningsförfrndet utn vikning) D diskret Fltning och Korreltion g y ) = f ( α, β ) g ( x α y β ) α β y ) = f ( α, β ) g ( x + α y + β ) f, f g, α f y) g y) β - 1-1 -4-9 - -8-4 4 Noter symmetrin och tt vi får mx i origo! 4-4 4 Fltningsresultt som jämförelse Ekv. 7. 1 1
Räknelgr för Fltning och Korreltion I Fltning kommuterr: f g x, y = g f x, y ( ) ( ) Korreltion kommuterr inte: f g x, y = g f x, y ( ) ( ) Fltning i Fourierdomänen: f g x, y = F u, v G u, v [ ( )] ( ) ( ) Korreltion i Fourierdomänen (f och g reell): I f g x, y = F u, v G u, v [ ( )] ( ) ( ) Bevisen är en trevlig övning! Mönsterdetektering med korreltion Fig. 7.1 b Mönsterdetektering med vnlig korreltion ( x y ) = ( α, β ) b( α + x β y) + c,, Ekv. 7.1 α β c b Mönsterdetektering med normerd korreltion ( α, β ) b( α + x, β + y ) Ekv. 7.14 α, β n y) = α, β ( α, β ) b ( α + x, β + y) α, β Ω n Fig. 7. Hög positiv signlstyrk i bilden b(x,y) och positivt mönster kn ge högt korreltionsresultt även om mönstret och bilden ej överensstämmer. Fig. 7.
d Mönsterdetektering med korreltion utn DC-nivå y ) = [ ( α, β ) µ ] [ b( α + x, β + y) µ b ] α, β = [ ( α, β ) µ ] [ b( α + x, β + y )] α, β b d Ekv. 7.15 Beräkning i Fourierdomänen ( u, v) = A ( u, v) B( u v) C, Ekv. 7.13 Fig. 7. Kovrinsmtris Korreltion utn DC nivå blir kovrins Cyklisk kovrins v en 1D signl med sig själv motsvrr en symmetrisk, cyklisk mtris (1) Egenvektorern är kosinusfunktioner () Med hjälp v egenvektorern dekorrelers signlen, d v s energin kn beräkns punktvis (3) (1)-(3) är reltivt enkelt tt bevis (1) sttionäritet, vribelbyte () fourierbsen som LTI egenvektorer + symmetrin (3) ortogonlitet Diskret kosinustrnsformtion (DCT) Tving frm symmetri: 1-4 4 4-4 1 fouriertrnsformtion blir 1D-DCT (origon flytts med ½) för bildregioner, DCT kn beräkns rd- och kolumnvis med korrekt normlisering blir DCT:n ortogonl DC komponenten (i vrje led) hel mtrisen med bsfunktioner behövs inte i t ex JPEG kompression 3
Wtershed segmentering, introduktion Wtershed segmentering, beskrivning ) b) e) f) c) d) g) h) ) h) Fig. 1.54 Fig. 1.54 Wtershed segmentering, dmmkonstruktion ) 1: diltion d (8) = : diltion dmmvll b) c) 3:e diltion Fig. 1.55 Wtershed segmentering, Ex 1) ) c) b) d) Fig. 1.56 4
Wtershed segmentering, Ex ) översegmentering/superpixlr Outlook: fourierdeskriptorer Konturen som mn får från Wtershed/MSER lgoritmen kn beskrivs som en komplex funktion ) b) Fig. 1.57 1D fourierserienc v denn funktion heter fourierdeskriptor invrinsegenskper för position orientering storlek Tillämpning: fourierdeskriptorer bild-relterde kurser: AI&ML profil TSBB6 Multidimensionell signlnlys TSBB8 Digitl bildbehndling grundkurs TSBB9 Bildsensorer TSBB11 Bilder och grfik, projektkurs, CDIO TSBB15 Dtorseende TSBB17 Visuelldetektionoch igenkänning kurser inom bildkodning (TSBK): grfik, dtorspel, m fl intern och extern exjobb 5
exempel: 3D mpping exempel: studentprojekt exempel: pose from picture exempel: studentprojekt 6
exempel: studentprojekt omsmpling exempel: studentprojekt lumni + smrbete svensk företg SAAB & Vricon Spotscle Autoliv & Zenuity Scni Termisk Systemteknik & Visge Technologies interntionell företg Dimler SICK Apple Siemens ktuell forskning Computtionl imging rullnde slutre Detection, trcking nd recognition 1:, :, och 3:e plts i VOT(-TIR) & OpenCVtävlingr 3D structure nd pose estimtion under en tid 1: plts i KITTI listn Robot vision nd utonomous systems del v WASP (störst svensk projekt i historien) 7
exempel: forskning Följning på en UAV 3D struktur och rörlig objekt exempel: forskning 8