Signaler, information & bilder, föreläsning 16

Transkript

1 Översikt Signler informtion & ilder föreläsning 6 Michel Felserg och Mri Mgnusson Computer Vision Lortor (Dtorseende) Deprtment of Electricl Engineering (ISY) michel.felserg@liu.se mri.mgnusson@liu.se Mer om Histogrm och tröskelsättning Histogrmutjämning Lokl tröskelsättning Tröskelsättning med hsteres Medinfilter Segmentering och etikettering Wtershed lgoritmen Korreltion (D) Vnlig Normerd Utn DC-nivå Vidrelednde kurser och profil Aktuell forskning Teori: Kp Bgger på Mri Mgnussons föreläsningr Histogrmutjämning Om vrje piels gråvärde trnsformers genom histogrmmets integrl (diskret: kumultiv summ) lir den n ildens histogrm konstnt (!) (I diskret fllet lir det dock inte perfekt konstnt.) Phton-kod: P = p.cumsum() P = 55*P / P[-] f = np.interp(f.fltten()np.rnge(56)p) f = f.reshpe(f.shpe) # p ej normlisert histogrm # skl om till rätt intervl # eräkn n gråvärden # gör om till D ild Histogrmutjämning Eempel konstnt histogrm

2 LP-filter (eller Medin-filter) Lokl tröskelsättning Alt: Lplce-filtrering med stor kärn Tröskelsättning Lokl tröskelsättning d(): Diskret centrerd dirc: Ger ingen effekt M(): Sk LP-filtrer och sudd ut Fig L(): stor Lplcekärn 5 d f M f L f OBS! I verkligheten ehövs ännu större kärnor Tröskelsättning med hsteres Tröskel T tr ort delr v ojektet Tröskel T evrr delr v kgrunden Flödesschem för tröskelsättning med hsteres Ldd ild :=(>T) c:=(>t) d:=epnd() e:= :=d mult c : Gråskleild : Tröskld på T c: Tröskld på T d: Slutresultt Bild epnders med ivillkor tt epnsionen ej får ske utnför ojekten i ild c. Fig. 5.0 nej = e? j Slutresultt är ild e

3 Medinfilter Medinen M är det gråvärde sådnt tt ntlet gråvärden större än M är lik med ntlet gråvärden mindre än M Ett medinfilter ersätter på retspunkten gråvärdet med medinen i filtermsken. Im = signl.medfiltd(im5) Medin-filtrering teknik Medin-filtret glider över in-ilden på liknnde sätt som vid fltning. Värden under filtret noters. Eempel: 9 De sorters till: 9 Medin-värdet lir här. Det sätts i ut-ilden. Bild med glidnde medin filter Sortering är eräkningstungt! Jämförelse: Medin- och LP-filter Medin-filtrering egenskper Originlild Efter LPfiltrering med -filter med slt- och peppr rus Efter Medinfiltrering med -filter Knter evrs Brus undertrcks Tunn linjer förstörs Jämn tor uppkommer Efter LP-filter Efter Medin-filter

4 Segmentering skiljer ut och etiketterr smmnhängnde ojekt Gråskleild Segmenterd och etiketterd ild? Eempel på Segmenteringslgoritmer Tröskelsättning Wtershed MSER (liknr wtershed) mm Ett gemensmt slutsteg på en segmentering är oft etikettering (leling) Eempel på Etikettering (lelling) Flood-fill (nvänds oft i dtorgrfik) RB-lgoritmen (Rster-scn Borderfollow) mm RB-lgoritmen (Rster-scn Border-follow) Bilden rsterscnns vänster-höger uppifrån-nedåt. När scnningen psserr en knt (0-> eller ->0) vrts sknningen och konturföljning sker. Under konturföljningen sätts etiketter till höger om knt. Till sist epnders ll etiketter till höger se näst slide. Efter kontur-följning v det först ojektet. Fig. 6. Efter konturföljning v åd ojekten och ett hål. RB-lgoritmen slutresultt Topologisk grf: 4 5 4

5 Wtershed segmentering introduktion Wtershed segmenttion introduction Fig ) The wtershed lgorithm regrds gr scle imge s lndscpe where the lkes re preferl drk piels nd the ridges nd mountins re preferl right piels. A wtershed = ridge etween individul lkes nd rivers. A ctchments sin = geogrphic re whose wter flows to certin lke. Fig h) The wtershed lgorithm cn find the wtersheds in the imge. The form closed curves nd the re inside ech closed curve the ctchments sin cn e regrded s segmented individul oject. ) h) Gonzlez&Woods: Fig Wtershed segmentering eskrivning Wtershed segmenttion description ) ) e) f) c) d) g) h) Fig ) is topogrphic view of 0.54 ). It is intended to give Dfeeling. In the eginning the lndscpe in ) nd ) is totll dr. Locl minim re detected nd holes re punched in ech of them. Then the entire lndscpe is flooded from elow letting wter rise through the holes t uniform rte. In c) there is wter (light gr) in the ckground. In d) there is lso wter in the left lke. In e) there is wter in oth lkes. In f) there is the first sign on overflow etween two ctchments sins. Therefore short dm hs een uilt etween them. In g) there re rther long dms. Finll the whole lndscpe is over flooded with wter seprted high dms wtersheds. In h) these wtersheds re shown overlid on the originl imge. Gonzlez&Woods: Fig

6 Wtershed segmentering E ) Wtershed segmentering dmmkonstruktion ) : diltion d (8) = : diltion :e diltion dmmvll ) c) Wtershed segmenttion dm construction Let C n- (M ) denote the piels in lke M t flooding step n-. These re shown to the left in ). Let C n- (M) denote the piels in lke M t flooding step n-. These re shown to the right in ). Flooding step n is shown in ). Let C(n-) denote the union of C n- (M ) nd C n- (M ). There re ojects in C(n-) in ) nd oject in C(n) in ). This indictes tht something hve hppened in step n nd tht some ction must e performed. Dilte the piels in ) with the d (8) -structuring element considering the following constrints: Diltion is not llowed outside ). Diltion is not llowed so tht the piels in M nd M re united. Insted if the piels in M nd M re going to e united denote: dm piel. The first diltion in c) gives the light gr piels. The second diltion in c) gives the drk gr piels nd the X-mrked dm piels. Gonzlez&Woods: Fig ) c) ) d) Wtershed segmenttion E ) ) Originl imge with drk ojects tht re going to e segmented. ) A usul pre-processing step is to clculte the mgnitude of the grdient. c) The result of the wtershed lgorithm overlid on the grdient imge. d) The result of the wtershed lgorithm overlid on the originl imge. Gonzlez&Woods: Fig

7 Bevisen är en trevlig övning! Wtershed segmentering E ) översegmentering/superpilr ) ) D Fltning och Korreltion Fltning: f g f f g d d Korreltion: g f g d d Ekv. 7. Korreltion är smm sk som fltning med vikt kärn (fltningsförfrndet utn vikning) Gonzlez&Woods: Fig D diskret Fltning och Korreltion g f g f f g f g f g Noter smmetrin och tt vi får m i origo! Ekv. 7. Fltningsresultt som jämförelse Räknelgr för Fltning och Korreltion Fltning kommuterr: f g g f Korreltion kommuterr inte: f g g f Fltning i Fourierdomänen: f g F u v G u v Korreltion i Fourierdomänen (f och g reell): f g F u v G u v 7

8 8 Mönsterdetektering med korreltion Fig. 7. Mönsterdetektering med vnlig korreltion c Ekv. 7. Hög positiv signlstrk i ilden () och positivt mönster kn ge högt korreltionsresultt även om mönstret och ilden ej överensstämmer. c Fig. 7. Mönsterdetektering med normerd korreltion n Ekv. 7.4 n Fig. 7. Mönsterdetektering med korreltion utn DC-nivå Ekv. 7.5 d d Fig. 7.

9 Beräkning i Fourierdomänen u v A u v Bu v C Ekv. 7. Kovrinsmtris Korreltion utn DC nivå lir kovrins Cklisk kovrins v en D signl med sig själv motsvrr en smmetrisk cklisk mtris () Egenvektorern är kosinusfunktioner () Med hjälp v egenvektorern dekorrelers signlen d v s energin kn eräkns punktvis () ()-() är reltivt enkelt tt evis () sttionäritet vrielte () fouriersen som LTI egenvektorer + smmetrin () ortogonlitet För den speciellt mtemtikintresserde L4: Bildkompression med JPEG Bild komprimerd med JPEG JPEG är nmnet på en (förstörnde) ildkompressionsmetod. Genom tt nvänd denn teknik tr ilden mcket mindre plts tt lgr. JPEG gger på trnsformteknik. Mn nvänder cosinustrnsformen som är en när släkting till fouriertrnsformen. Bilden dels upp i 88-rutor och vrje rut trnsformers och kods vr för sig. Tnken är tt de låg frekvensern är viktigre än de hög. Först tnken är tt nollställ de högst frekvensern särskilt i 88-rutor med liten vrition. Smrtre är tt kvntiser de hög frekvensern hårdre. Störningr sns från kodningen 9

10 Diskret fouriertrnsform (DFT) eräkns med FFT DFT:n tcker tt ilden sitter ihop i över- och underknt smt i vänster- och högerknt. Den stor skillnden i över- och underknt ger upphov till den skrp lodrät linjen i FFT:n. vänster- och högerknt är mer lik och ger r en svg horizontell knt. Spegling löser prolemet! DFT:n (här B(uv)) lir reell och smmetrisk (jämn). Den skrp lodrät linjen är ort. Diskret cosinustrnsform (DCT) motsvrr nedre högr delen v B(uv). Diskret Cosinustrnsformen (DCT:n) och DFT:n DCT:n hr de låg frekvensern uppe till vänster. DFT:n hr de låg frekvensern i mitten. Diskret cosinustrnsform (DCT) lterntiv eskrivning Tving frm smmetri: D-DFT ger då D-DCT (origo fltts med ½) För ildregioner kn DCT eräkns rd- och kolumnvis: med korrekt normlisering lir DCT:n ortogonl DC komponenten (i vrje led) multiplicers med: hel mtrisen med sfunktioner mult. med: Dett ehövs dock egentligen inte i JPEG kompression 0

11 PSNR: Glolt ildvstånd i gråvärde Pek Signl to Noise Rtio (PSNR) Klssisk mått på hur r t e vrusning fungerr. Vi nvänder det för tt mät ildkvlitet efter JPEGkompression. Bgger på kvdrtisk medelfelet melln två ilder Men Squre Error (MSE) MSE= men (ild ild) Mäts i db (deciel) Bild-relterde kurser: AI&ML profil TSBB06 Multidimensionell signlnls TSBB08 Digitl ildehndling grundkurs TSBB09 Bildsensorer TBMI6 Neuronnät och lärnde sstem TSBB Bilder och grfik projektkurs CDIO Deep Lerning TSBB5 Dtorseende TSBB7 Visuell detektion och igenkänning kurser inom ildkodning (TSBK): grfik dtorspel m fl intern och etern ejo eempel: D mpping eempel: studentprojekt

12 eempel: pose from picture eempel: studentprojekt Alumni + Smrete svensk företg SAAB & Vricon Spotscle Autoliv & Zenuit Scni Termisk Sstemteknik & Visge Technologies interntionell företg Dimler SICK Apple Siemens Ett lite äldre eempel på vår forskning: trfikskltr och fourierdeskriptorer Bildens konturer erhålls från Wtershed eller MSER lgoritmern. Konturen kn eskrivs som en komple funktion: D fourierserien C v denn funktion klls fourierdeskriptor. Den hr invrinsegenskper för: position orientering storlek

13 Eempel: forskning Aktuell forskning Computtionl imging rullnde slutre Detection trcking nd recognition : : och :e plts i VOT(-TIR) & OpenCV tävlingr D structure nd pose estimtion under en tid : plts i KITTI listn Root vision utonomous sstems AI del v WASP (störst svensk projektet i historien) Eempel: forskning Eempel: D struktur och rörlig ojekt