Signaler, information & bilder, föreläsning 16

Transkript

1 Signler, informtion & bilder, föreläsning 16 Michel Felsberg Computer Vision Lbortory Deprtment of Electricl Engineering Översikt Diverse Bildbehndling Korreltion (D) Vnlig Normerd Utn DC-nivå Wtershed lgoritmen Vidrelednde kurser och profil Aktuell forskning Teori: Kp 7 Bygger på Mri Mgnussons föreläsningr D Fltning och Korreltion Fltning: f g f y f gx, y d d Korreltion: g y f gx, y d d Ekv. 7.1 Korreltion är smm sk som fltning med vikt kärn (fltningsförfrndet utn vikning) D diskret Fltning och Korreltion g y f gx y f, y f gx y f g, f y g y Noter symmetrin och tt vi får mx i origo! 4-4 Ekv Fltningsresultt som jämförelse 1

2 Bevisen är en trevlig övning! Räknelgr för Fltning och Korreltion Fltning kommuterr: f g x, y g f x, y Korreltion kommuterr inte: f g x, y g f x, y Fltning i Fourierdomänen: f g x, y F u, v G u, v Mönsterdetektering med korreltion Korreltion i Fourierdomänen (f och g reell): f g x, y F u, v G u, v Fig. 7.1 b Mönsterdetektering med vnlig korreltion x y b x y c,, Ekv. 7.1 c b Mönsterdetektering med normerd korreltion b x, y Ekv. 7.14, n y,, b x, y, n Fig. 7. Hög positiv signlstyrk i bilden b(x,y) och positivt mönster kn ge högt korreltionsresultt även om mönstret och bilden ej överensstämmer. Fig. 7.

3 d Mönsterdetektering med korreltion utn DC-nivå b y b x, y, b x, y, d b Ekv Beräkning i Fourierdomänen u, v A u, v Bu v C, Ekv Fig. 7. Kovrinsmtris Korreltion utn DC nivå blir kovrins Cyklisk kovrins v en 1D signl med sig själv motsvrr en symmetrisk, cyklisk mtris (1) Egenvektorern är kosinusfunktioner () Med hjälp v egenvektorern dekorrelers signlen, d v s energin kn beräkns punktvis (3) (1)-(3) är reltivt enkelt tt bevis (1) sttionäritet, vribelbyte () fourierbsen som LTI egenvektorer + symmetrin (3) ortogonlitet Diskret kosinustrnsformtion (DCT) Tving frm symmetri: fouriertrnsformtion blir 1D-DCT (origon flytts med ½) för bildregioner, DCT kn beräkns rd- och kolumnvis med korrekt normlisering blir DCT:n ortogonl DC komponenten (i vrje led) hel mtrisen med bsfunktioner behövs inte i t ex JPEG kompression 3

4 Wtershed segmentering, introduktion Wtershed segmenttion, introduction Fig ) The wtershed lgorithm regrds gry scle imge s lndscpe, where the lkes re preferbly drk pixels nd the ridges nd mountins re preferbly bright pixels. A wtershed = ridge between individul lkes nd rivers. A ctchments bsin = geogrphic re whose wter flows to certin lke. Fig h) The wtershed lgorithm cn find the wtersheds in the imge. They form closed curves nd the re inside ech closed curve, the ctchments bsin, cn be regrded s segmented, individul object. ) h) Fig Wtershed segmentering, beskrivning Wtershed segmenttion, description ) b) e) f) c) d) g) h) Fig Fig b) is topogrphic view of 1.54 ). It is intended to give 3Dfeeling. In the beginning, the lndscpe in ) nd b) is totlly dry. Locl minim re detected nd holes re punched in ech of them. Then the entire lndscpe is flooded from below by letting wter rise through the holes t uniform rte. In c), there is wter (light gry) in the bckground. In d), there is lso wter in the left lke. In e), there is wter in both lkes. In f), there is the first sign on overflow between two ctchments bsins. Therefore, short dm hs been built between them. In g), there re rther long dms. Finlly, the whole lndscpe is over flooded with wter, seprted by high dms, wtersheds. In h), these wtersheds re shown overlid on the originl imge. 4

5 Wtershed segmentering, Ex 1) Wtershed segmentering, dmmkonstruktion ) 1: diltion d (8) = : diltion dmmvll b) c) 3:e diltion Fig Wtershed segmenttion, dm construction Let C n-1 (M 1 ) denote the pixels in lke M 1 t flooding step n-1. These re shown to the left in ). Let C n-1 (M) denote the pixels in lke M t flooding step n-1. These re shown to the right in ). Flooding step n is shown in b). Let C(n-1) denote the union of C n-1 (M 1 ) nd C n-1 (M ). There re objects in C(n-1) in ) nd 1 object in C(n) in b). This indictes tht something hve hppened in step n nd tht some ction must be performed. Dilte the pixels in ) with the d (8) -structuring element considering the following constrints: Diltion is not llowed outside b). Diltion is not llowed so tht the pixels in M 1 nd M re united. Insted, if the pixels in M 1 nd M re going to be united, denote: dm pixel. The first diltion in c) gives the light gry pixels. The second diltion in c) gives the drk gry pixels nd the X-mrked dm pixels. ) c) b) d) Wtershed segmenttion, Ex 1) ) Originl imge with drk objects tht re going to be segmented. b) A usul pre-processing step is to clculte the mgnitude of the grdient. c) The result of the wtershed lgorithm overlid on the grdient imge. d) The result of the wtershed lgorithm overlid on the originl imge. Fig

6 Wtershed segmentering, Ex ) översegmentering/superpixlr ) b) Fig Wtershed segmenttion, Ex ) oversegmenttion/superpixels ) Originl imge with drk object to be segmented. Pre-processing by computtion of the mgnitude of the grdient. Result from the wtershed lgorithm overlid on the originl imge. Oversegmenttion! The oversegmenttion ws probbly cused by too mny locl minim These superpixels re useful s preprocessing step Similr ide: Mximlly Stble Extreml Regions Outlook: fourierdeskriptorer Tillämpning: fourierdeskriptorer Konturen som mn får från Wtershed/MSER lgoritmen kn beskrivs som en komplex funktion 1D fourierserien C v denn funktion heter fourierdeskriptor invrinsegenskper för position orientering storlek 6

7 bild-relterde kurser: AI&ML profil exempel: studentprojekt TSBB6 Multidimensionell signlnlys TSBB8 Digitl bildbehndling grundkurs TSBB9 Bildsensorer TSBB11 Bilder och grfik, projektkurs, CDIO TSBB15 Dtorseende TSBB## Detektion och igenkänning kurser inom bildkodning (TSBK): grfik, dtorspel, m fl intern och extern exjobb exempel: studentprojekt exempel: studentprojekt 7

8 exempel: forskning ktuell forskning Computtionl imging rullnde slutre Detection, trcking nd recognition 1:, :, och 3:e plts i VOT & OpenCV tävlingr 3D structure nd pose estimtion under en tid 1: plts i KITTI listn Robot vision nd utonomous systems del v WASP (störst svensk projekt i historien) exempel: forskning exempel: forskning 8