Datorer i system Bildanalys Kalle Åström Matematikcentrum Lunds Universitet Innehåll På LTH får man lära sig mycket som är roligt och användbart Olika ämnen interagerar med varandra (datavetenskap, matematik, fysik, biologi, ekonomi) Jag ska ge några knasiga (men också några allvarliga) exempel på användningar inom datorseende Verktygen ni får vid LTH kan användas till riktiga problem Ni är duktiga. Nu har ni chans att bli ännu bättre och använda kunskaper på riktigt. 1
Innehåll Ett syfte med denna presentation är att ge en känsla för hur grundkurser hänger samman med forskning och industri inom datorseende /bildanalys Det är svårt att berätta om t ex matematik, under några minuter, som tar månader att lära in Är det ok att jag pratar om matematik utan att ni förstår allt, utan bara får en känsla för vad det kan handla om? Exempel på Tekniska matematiker Page och Brin - Google, LinAlg Exjobb - (Öhrström, 2003) - nya datorgrafikalgoritmer för Electronic Arts PolarRose - datorseende för ansiktsigenkänning 2
Exempel på matematik ÅK 1-3, heltal, +, -, * 3+4=7, ÅK 4-6, negativa tal, bråk, /, area ÅK 7-9, rationella tal, ekvationer, funktioner f(x) Gymn, derivata f(x)=x^2, f (x)=2x, integral, differentialekvation, area, volym, Univ: ekvationssystem med många variabler, funktioner av många variabler, (+,-,*) på funktioner, matriser, vektorer Exempel på matematik 3
Universitetsmatematik Linjär algebra - vektorer, matriser, många variabler, linjära ekvationer En och flerdimensionell analys - integral och differentialkalkyl i först en och sedan flera variabler. Funktionsteori - följder, funktioner = oändligt dimensionella vektorer Linjär analys - differentialekvationer i många variabler, matriser, funktioner av matriser sin(matris). Universitetsmatematik Kontinuerliga system - partiella differentialekvationer i många variabler, matematisk modellering Optimering - ställa in många parametrar för att få ut bästa resultat 4
Självgående fordon 1990 sommarjobb 1991 exjobb (Innovation Cup) 1992 Autosurveyor 1 1996 Patent och artiklar 1997 Autosurveyor 2 1998-2003 12 artiklar 2004 Nya idéer patent 2005 Disputation 2006 Ny doktorand Självgående fordon 5
Handskriftsigenkänning 1997 Kurvrekonstruktion 1998 Patent (Innovation Cup) 1999 Decuma AB 2000 Investerare, produkt. 2001 Casio 2002 EU IST Grand prize 2003 Sony Patent, artiklar, industridoktorand 2005 Zi Decuma 2005 Industridoktorand lic ar 2006 Kyrilliska, Arabiska Handskriftsigenkänning Använder ordningen på det man skrivit in. Klassificera varje tecken i 26 klasser a-z eller 7000 klasser i kinesiska. 6
Teknisk undersökning åt Riksåklagaren Band Bonad Tejp som lossats och vikts Tejp som lossats och vikts Mörka fläckar korsning varp/inslag 7
Band och Bonad På bandet finns 336 rader med avtryck Samt plats för ytterligare några ca 4 På bonaden finns 342 trådar Om bandet hör till bonaden så kan det bara höra samman på 4 sätt Matchning av en mask Ett litet stycke av avtrycken på bandet (t ex pos 100-123) borde alltså svara mot trådar (100-123), (102-125), (104-127) eller (106-129). Vi testar alla möjligheter dvs att pos 52 på bandet motsvarar någon av positionerna 2, 4, 6,, 316. 8
Resultat av matchning Vi får en tydlig match vid pos 104 Fortsatta tester Resultatet av den första matchen ger en hypotes om hur bandets avtryck skulle motsvara bonadens trådar, dvs 1-5, 2-6, 3-7 osv 9
Matchning 8 masker Mask Pred Pos Möjliga svar Ber Pos 1 2 3 4 5 6 7 8 53 40 70 24 3 127 156 106 149 146 146 140 148 146 149 149 Matchning 8 masker Mask Pred Pos Möjliga svar Ber Pos 1 2 3 4 5 6 7 8 53 40 70 24 3 127 156 106 149 146 146 140 148 146 149 149 53 10
Matchning 8 masker Mask Pred Pos Möjliga svar Ber Pos 1 2 3 4 5 6 7 8 53 40 70 24 3 127 156 106 149 146 146 140 148 146 149 149 53 40 Matchning 8 masker Mask Pred Pos Möjliga svar Ber Pos 1 2 3 4 5 6 7 8 53 40 70 24 3 127 156 106 149 146 146 140 148 146 149 149 53 40 70 11
Matchning 8 masker Mask Pred Pos Möjliga svar Ber Pos 1 2 3 4 5 6 7 8 53 40 70 24 3 127 156 106 149 146 146 140 148 146 149 149 53 40 70 24 Matchning 8 masker Mask Pred Pos Möjliga svar Ber Pos 1 2 3 4 5 6 7 8 53 40 70 24 3 127 156 106 149 146 146 140 148 146 149 149 53 40 70 24 3 12
Matchning 8 masker Mask Pred Pos Möjliga svar Ber Pos 1 2 3 4 5 6 7 8 53 40 70 24 3 127 156 106 149 146 146 140 148 146 149 149 53 40 70 24 3 127 Matchning 8 masker Mask Pred Pos Möjliga svar Ber Pos 1 2 3 4 5 6 7 8 53 40 70 24 3 127 156 106 149 146 146 140 148 146 149 149 53 40 70 24 3 127 156 13
Matchning 8 masker Mask Pred Pos Möjliga svar Ber Pos 1 2 3 4 5 6 7 8 53 40 70 24 3 127 156 106 149 146 146 140 148 146 149 149 53 40 70 24 3 127 156 106 Uppmärksamhet i seende. Prioritera bland data Följ rutorna som nu har prickar Uppmärksamhet 14
Hur många gånger passar de vita? Camera motion Datorgrafik Image Scene model 15
Datorseende Camera motion Image (images) Scene structure Datorseende Images Tracked points 3D model 16
Rekonstruktion från snurr Snurrande skivspelare Ingen förkunskap om kamerans position Voxelmodell 17
Trådmodell Texturmodell 18
Texturmodell Automatic scene reconstruction David Nistér (Ericsson) Amateur Amateur Camera 3-Dimensional World Description 19
20
21
22
23
Backprojection of texture Final Representation, Texture coding MPEG-4, VRML 24
Berkeley Tower Several images were taken of the tower A 3D model was created from the images The following movie is made by combining real film footage and virtual film from 3D model 25
Example (Pollefeys et al) One of several input images Assuming known geometry Yu, Debevec, Malik and Hawkins 26
Kognitivt seende 2002 Ansiktsdetektion 2 kategorier, Maskininlärning, stor variation. 2003 Patent, artiklar, produkt 2004 Facewarp, lookalike etc. 27
Kategorisering - Känna igen en kategori inte bara ett exempel AnsiktsDetektion Ansikten är viktiga för oss Snabb och pålitlig detektor oberoende av ändringar i belysning ansiktsuttryck Hår och hudfärg 28
29
AUTOFOKUS Detektera Ansikten Fokusera 30
Mer generel detektion: insamling Detektionsprocess Final detections Grouping Image sub-windows Interesting sub-windows Layer 1 Layer 2 Layer n Uninteresting sub-windows 31
Exampel RÖDAÖGON-REDUKTION Blixt ger röda ögon Ögondetektion Automatisk reduktion av röda ögon 32
Digital pictures Low cost Thousands of photos Organize & Search People Environment Face Warp on album On Phone, PC, etc PHOTO ALBUM MANAGEMENT LOOK-ALIKE Match picture against database Example: Math. Dept. 33
Example: Celebrities LOOK-ALIKE Brad Pitt Händelse DETEKTION News & Sports Image streaming to phone Limited bandwidth Detect highlights in games Customer subscribes for highlights. Reduce or remove need for manual interaction. 34
Trafikanalys Automatisk kalibrering av bakgrund Hörndetektion och följning Färganalys Kantdetektion och följning Inlärning av körbanor Inlärning av beteenden Optiskt flöde Differens mot adaptiv bakgrundsbild 35
Rådata från enkelt system Ett typiskt system till Kylskåp Händelsedetektion Filtrering Segmentering Särdragsextraktion Objektigenkänning 36
Spektrabas Learning (face image face space) 37
Projection on face space Medicinska frågeställningar 38
Evaluation Training material ~500 patients Test material ~150 patients (also with angiography, gold standard) Result: 86% 39
Patient A Patient B EDV ESV EDV ESV CAFU 79 ml 17 ml 157 ml 57 ml QGS 61 ml 18 ml 159 ml 83 ml Slutord Vid LTH läser ni många bra kurser Kurserna hänger ihop Engagera er i studierna Ha kul Hjälp varandra 40