2D1420 Datorseende gk (Period 3; VT 2004)

Transkript

1 Numerisk analys och datalogi, KTH (Uppdaterat 20 januari 2004) Tony Lindeberg (Danica Kragic) 2D1420 Datorseende gk (Period 3; VT 2004) för D3, D4, E4, F4, (L4, M4, T4) och doktorander. Lärare Kursledare och föreläsare är Danica Kragic, ( , Mottagning: enligt överenskommelse i rum 714, Tekninringen 14 Kursassistenter är Ivan Laptev (epost: laptev@nada.kth.se, tfn ) och Ola Ramström (epost: olar@nada.kth.se, tfn ) Kursböcker Följande kursbok användes i kursomgången period 3 år 2004: R. C. Gonzalez and R. E. Woods: Digital Image Processing, Addison- Wesley, Kursen och examinationen av kursen läggs upp på ett sådant sätt att du kan skriva tentan och göra laborationerna utgående från endera boken i kombination med övrig litteratur (inkluderande föreläsningsanteckningarna). Kursbunt Kursprogram (denna text) Utdrag ur kapitel 3 ur S. Coren, L. M. Ward and J. T. Enns: Sensation and Perception, Harcourt Brace College Publishers, Utdrag ur kap 1, 13.5 och 17.2 ur R. Hartley and A. Zisserman: Multiple- View Geometry in Computer Vision, Cambridge University Press, Fouriertransformen - Utdrag ur kap , ur R. C. Gonzalez and R. E. Woods: Digital Image Processing, Addison-Wesley, Utdrag ur kapitel 14 ur B. K. P. Horn: Robot Vision, MIT Press, 1986 Orienterande översiktsartikel - Tony Lindeberg: Scale-space: A framework for handling image structures at multiple scales Utdrag ur kap 2 ur R. O. Duda and P. E. Hart, Pattern Classification, Utdrag ur kap 8 ur R. A. Johnson and D. W. Wichern, Applied Multivariate Statistical Analysis, Prentice Hall, Utdrag ur kapitel 7, 10 och A.6 ur E. Trucco and A. Verri Introductory Techniques for 3-D Computer Vision, Prentice-Hall, 1998.

2 Utdrag ur kap 9 ur M. Sonka, V. Hlavac and R. Boyle Image Processing, Analysis and Machine Vision Utdrag ur kap 14 ur B. Jähne: Digital Image Processing Orienterande översiktsartikel MPEG Digital Video-Coding Standards Två gamla tentamina med lösningar ( , ) Övningsuppgifter Allmänna laborationsanvisningar Laboration 1: Elementära bildoperationer Laboration 2: Filtreringsoperationer Laboration 3: Kantdetektion och Houghtransformen Laboration 4: Stereogeometri Nadas studentexpedition finns på Osquars Backe 2 (plan 2) och har öppet måndag-fredag , måndag-torsdag Telefon E-post: studentexp@nada.kth.se. Kursuppläggning Varje läsvecka under veckorna 4 9 i period 3 hålles föreläsningar enligt följande schema: Veckodag Tid Vecka Sal Tisdag D3 Tisdag D3 Tisdag ,9 E3 Onsdag E3 Torsdag E2 Fredag E3 Fredag D3 Dessutom arrangeras terminalövningar/redovisningstillfällen för laborationerna minst fyra timmar varje vecka. Tider för dessa kommer att bestämmas i samråd med kursdeltagarna, och annonseras på föreläsningarna samt på kursens hemsida.

3 Preliminär kursdisposition vecka 4: Introduktion (2 h) Orientering om biologiskt seende (2 h) Perspektivavbildningen, bildsampling, belysning (2 h) Digital geometri, gråskaletransformationer (2 h) Teorin klar för lab 1 vecka 5: Linjära system, faltningsoperationen, Fouriertransformen (2 h) Egenskaper hos Fouriertransformen, samplingsteoremet, DFT, FFT (2 h) Bildförbättring med linjär och olinjär filtrering, restaurering (2 h) Övningstillfälle 1 (2 h) Teorin klar för lab 2 Deadline för lab 1 vecka 6: Kantdetektion (2 h) Multiskalrepresentation, särdragsextraktion (2 h) Segmentering via pixelklassificering (2 h) Spatial segmentering och Houghtransformen (2 h) Teorin klar för lab 3 vecka 7: Bilddeskriptorer, principalkomponentanalys (2 h) Morfologi, tolkning av streckteckningar (2 h) Textursegmentering och form från textur (2 h) Övningstillfälle 2 (2 h) Deadline för lab 2 vecka 8: Stereogeometri (2 h) Stereomatching (2 h) Rörelse (4 h) Teorin klar för lab 4 vecka 9: Bildkompression (4 h) Övningstillfälle 3 (2 h) Resurs (2 h) Deadline för lab 3 Tentamen Deadline för lab 4

4 Kursinformation på Internet Till kursen finns en hemsida med aktuell kursinformation. Under denna annonseras bla information om laborationstillfällen, uppdateringar av läsanvisningarna, samt uppdateringar av utdelat kursmaterial. Dess adress är och kursdeltagarna rekommenderas att besöka denna sida regelbundet Examination och kurskrav För godkänt på kursen krävs godkänd tentamen och godkända laborationer. Kurslitteraturen ska läsas på egen hand parallellt med kursen. Föreläsningarna och laborationerna kan ej fullständigt täcka kursmaterialet. Förutom de läsanvisningar som uppdateras kontinuerligt på www-sidorna, kommer mer detaljerade anvisningar att finnas inför tentamen. Laborationer Laborationskursen består av tre obligatoriska laborationer (Lab1, Lab2, Lab3) samt en frivillig laboration (Lab4) som görs i Matlab i grupper om två personer. Studenter som vill jobba ensamma får det, men vid redovisningstillfällen har tvåpersonersgrupper företräde. Enstaka laborationer får inte sparas till annan kursomgång. Fullgörs inte alla laborationerna inom ett år måste samtliga göras om. Handledning Om du behöver handledning till den vägledda laborationen får du det enklast genom att söka upp kursledaren eller assistenten vid laborationsredovisningarna (om du har stort behov av hjälp, boka gärna en redovisningssystem i det datoriserade bokningssystemet), eller genom att kontakta kursledaren i samband med föreläsningarna. Du kan också kontakta assistenterna via epost eller telefon, eller besöka kursledaren på hans mottagningstid (boka i så fall tid först via datorpost). Från tidigare kursomgångar har vi erfarenheten att behovet av handledning är individuellt och varierar mycket. Vidare är belastningen på handledarna ofta hög under de veckor som det deadline (bonusgräns) för en laboration, medan handledarna ofta har stor ledig kapacitet under övriga veckor. Om du tror att du kan vara hjälpt av individuell handledning, vill vi därför starkt rekommendera att du följer rådet att påbörja laborationerna så snart som möjligt, och dra nytta av handledarnas större möjligheter att hjälpa dig under de laborationspass då belastningen är låg. I kursdispositionen ovan framgår när (hela) teoridelen för respektive laboration har gåtts genom på föreläsningarna. Vi vill också att så många studenter som möjligt försöker att redovisa sina laborationer i god tid före deadline. Av förklarliga skäl kan vi omöjligen ta fler redovisningar de sista dagarna än vad dessa laborationspass rymmer. Vid laborationstillfällena har studenter som bokat tid för labredovisning eller handledning företräde. Om du är i behov av detaljerad handledning kan det därför vara lämpligt att du utnyttjar möjligheten att boka en tid med det datoriserade bokningssystemet.

5 Hederskodex Grundregeln är att det jobb du gör i kursen (laborationer och tentamen) ska du göra själv, förutom att laborationerna kan göras i tvåmannagrupper. Vid redovisning av laborationer ska båda i gruppen kunna redogöra i detalj även för vad laborationskamraten skrivit. Ibland, speciellt när man skriver program, kan det vara nödvändigt att fråga någon annan (en kamrat eller en handledare) om hjälp med att hitta fel. Detta är tillåtet förutsatt du ger ett skriftligt erkännande till den som hjälpte till, lämpligen i form av en kommentar överst i dokumenationen av din laboration, som talar om vem som hjälpt dig med vad. Du måste förstå hela den färdiga lösningen, även de delar du fått hjälp med. Varje annan form av samarbete och utnyttjande av andras lösningar betraktas som ett brott mot hederskodexen och kan bestraffas, t.ex. genom att du förlorar alla bonuspoäng eller får göra en ny uppgift. > > Kursregistrering < < Endast de teknologer som delfakulteten lagt in i Ladok som studerande på en kurs kan godkännas på kursen. Vill du läsa denna valfria kurs måste du alltså först välja kursen vid ditt fakultetskansli, som måste godkänna ditt val. Doktorander behöver ett intyg från handledaren samt prefekten vid respektive institution på en speciell blankett. Alla som vill gå kursen måste dessutom registera sig i Nadas kursadminstrationssystem res. Detta görs med kommandot res checkin dsgk04 på någon av Nadas unixdatorer. Registrera dig så snart som möjligt! Före första labbtillfället på kursen, bör du också ansluta dig till kursen med NADAs kursadministrationsprogram course join dsgk04 Detta kommando ger inställningar till din datormiljö och ser bl.a. till att modulfiler som hör till kursen laddas in i din datormiljö. Dessutom kontrolleras vid varje inloggning om det kommit några nya meddelanden från kursledaren. När du är klar med kursen ger du kommandot course leave dsgk04 för att återställa effekterna av course join dsgk04. Kurskatalog Kursen har två huvudkataloger på Unixdatorerna /info/dsgk04 /info/nada-kurser/datorseende-gk/ Under den senare katalogen finns initieringsfiler, testbilder, Matlab-rutiner och liknande som har med kursen att göra. För ytterligare information, se filen /info/nada-kurser/datorseende-gk/info

6 Bonuspoäng Vi tillämpar ett bonussystem för att uppmuntra studenterna att ligga i fas med undervisningen. För laborationer som redovisas i tid erhålles bonuspoäng enligt: Antal laborationer klara i tid Antal bonuspoäng Summan av dessa poäng adderas till den på tentamen uppnådda poängsumman. Ovan nämnda bonuspoång får tillgodoräknas gällande gränsen för godkänt på tentamen. Utöver detta kan Laboration 4 ge upp till tre extra betygshöjande bonuspoäng, de senare extra bonuspoången kan dock ej tillgodoräknas gällande gränsen för godkänt. Dessa poäng gäller endast vid det ordinarie tentamenstillfället och vid första omtentamenstillfället. När du är inloggad kan du se vilka laborationer som är godkända genom att ge kommandot res show dsgk04 Tentamen Tid och plats för ordinarie tentamen är torsdag den 11 mars 2003 kl i sal D31-33, 41 Första omtentamenstillfället äger rum lördag den 17 april 2003 kl i sal D41. Tillåtna hjälpmedel är miniräknare, ett handskrivet (icke-kopierat) A4-blad med anteckningar, samt formelsamlingen Beta. Anteckningsbladet inlämnas med tentamen och återfås då denna rättats. Tentamensresultatet anslås högst fyra veckor efter tentamen på institutionens anslagstavla på plan 3. Eventuella klagomål på rättningen lämnas in skriftligen till kursledaren inom tre veckor från det att tentamensresultatet anslagits. Betygssättning På tentamen ges betygen U (underkänt), 3 (godkänt), 4 (bra) och 5 (väl godkänt). KTH-studenter erhåller samma betyg på kursen som på tentamen. SU-studenter erhåller betyget VG om de får en 5:a eller en 4:a som ligger närmare en 5:a än en 3:a. övriga SU-studenter med godkänd tentamen får betyget G. Anmälan till tentamen Du behöver inte anmäla dig till tentamen. (Anmälan har tidigare varit obligatorisk för vissa studenter, men Nada använder sig inte av detta system längre.)

7 Nadas terminalsalar Kårkortet ger tillträde till Nadas terminalsalar dygnet runt, men terminalsalarna är dagtid ofta bokade för andra kurser. Titta på www-sidan för att se vilka tider som är bokade. Allmän handledare finns tillgänglig i terminalsalarna på plan 4 vissa tider varje vardag. Om du har tillgång till en Internetanslutning hemifrån, kan du också göra laborationerna i ett Matlab-system på en egen dator. Redovisning av laborationerna måste dock göras på en dator i Nadas terminalsalar och på en redovisningstid som bokas på vanligt sätt. Synpunkter på kursen Eftersom denna kurs kommer att ges för många studenter under flera års tid, och kursen dessutom uppdateras i år, är vi tacksamma för synpunkter på kursen. En kursutvärdering kommer att göras. Synpunkter kan lämnas till läraren. Utbildning och forskning i datorseende Denna kurs ges av CVAP-gruppen (Computational Vision and Active Perception Laboratory) vid Nada, som forskar i datorseende och dess tillämpningar. För närvarande består gruppen av cirka 30 forskare och doktorander. CVAP har ett brett internationellt kontaktnät och samarbetar med ett flertal av de ledande forskningsgrupperna i Europa och USA. Om du är intresserad av examensarbete, doktorandstudier eller ytterligare forskarkurser i detta ämne, kontakta kursledaren. Från kursens hemsida finns ett antal länkar till www-sajter gällande datorseende, bildanalys, bildkompression, robotik och biologiskt seende.

8 Läsanvisningar till 2D1420 Datorseende gk (Period 3; VT 2004) Denna sida ger en översiktlig vägledning till den litteratur som hör ihop med respektive kursavsnitt. Som generell vägledning till läsandet rekommenderas att du utgår från föreläsningsanteckningarna för att få en sammanfattande översikt över respektive avsnitt samt ett urval över prioriterat material. Den övriga kurslitteraturen ger därefter en fylligare beskrivning av respektive avsnitt, och i vissa fall mer bakgrundsinformation. OBS! Dessa läsanvisningar är upplagda så att du kan tillgodogöra dig kursen utifrån den primära kursbocken: R. C. Gonzalez and R. E. Woods: Digital Image Processing, Addison-Wesley, Boken av Gonzalez och Woods ger en utförlig beskrivning gällande de rena bildbehandlingsdelarna, bildkompressionsdelen samt ett vissa moment i bildanalys. Dock saknas i denna bok material om rent datorseende, liksom för vissa väsentliga moment i bildanalys. Kursen och examinationen läggs dock upp på ett sådant sätt att du kan skriva tentan och göra laborationerna utgående från endera boken i kombination med övrig litteratur (inkluderande föreläsningsanteckningarna). OBS! Dessa läsanvisningar kan komma att revideras under kursens gång, och uppdateringarna annonseras på kursens hemsida. Introduktion: Gonzalez och Woods (2002) kap 1 Föreläsningsanteckningar: Introduktion och översikt Orientering om biologiskt seende: Utdrag ur Coren et al (1999) kap 3, Gonzalez & Woods (2002) Föreläsningsanteckningar: Biologiskt seende Bilder, perspektivavbildning, sampling: Utdrag ur Hartley och Zisserman Gonzalez & Woods (2002) 2.3, 2.4, Föreläsningsanteckningar: Image formation Digital geometri: Gonzalez & Woods (2002) 2.5, Föreläsningsanteckningar: Digital geometri Bildförbättring med punktbearbetning: Gonzalez & Woods (2002) Föreläsningsanteckningar: Grånivåtransformationer Linjära system, Fouriertransformationer, samplingsteoremet: Gonzalez & Woods (1992) Gonzalez & Woods (2002) , 4.2.4, 4.6 Föreläsningsanteckningar: Linjära operatorer, Fouriertransformen, Samplingsteoremet och DFT. Fouriertransformer behandlas också i föreläsningsanteckningarna om grundläggande bildbehandlingsoperationer samt till viss del i teoriavsnitten till Laboration 2. Bildförbättring med spatial filtrering, bildrestaurering: Gonzalez och Woods (2002) avsnitt , 4.2.3, , Föreläsningsanteckningar: Image enhancement by filtering, Sharpening and restoration

9 Kantdetektion: Gonzalez och Woods (2002) 10.1 Föreläsningsanteckningar: Kantdetektion, Teoriavsnittet till Laboration 3 Särdragsdetektion och multiskalrepresentation: Översiktsartikeln Scale-space: A framework for handling image structures at multiple scales Föreläsningsanteckningar: Theory of a visual front-end Klassificering: Gonzalez & Woods (2002) 10.3, Utdrag ur Duda och Hart (1973) kap 2 Bayesisk klassificering Utdrag ur Horn elementära klassifikationsmetoder. Föreläsningsanteckningar Pixelklassificering Segmentering, Houghtransformen: Gonzalez och Woods (2002) 10.2, Föreläsningsanteckningar Segmentering, Houghtransformen, Representation, morfologi: Utdrag ur Johnson och Wichern (1998) kap 8 principalkomponentanalys Utdrag ur Trucco och Verri (1998) avsnitt 10.4 igenkänning principalkomponenter G & W (2002) , , 11.4, Föreläsningsanteckningar Representation, morfologi, Textur: Föreläsningsanteckningar Textur, Stereo: Sonka (1999) Utdrag ur Trucco och Verri: , Föreläsningsanteckningar Stereogeometri, Stereomatchning Rörelse: Utdrag ur B. Jähne Utdrag ur Hartley och Zisserman (2000) 13.5 affin faktorisering Föreläsningsanteckningar Rörelse I, Rörelse II Bildkompression: Gonzalez och Woods (2002) (kanalkapacitet och överföringsfel ingår ej) Översiktsartikeln av Sikora (1987) MPEG Digital Video-Coding Standards (ori) Föreläsningsanteckningar Bildkompression

10 Läsanvisningarna ovan hänvisar till följande material: R. C. Gonzalez and R. E. Woods: Digital Image Processing, 2nd edition, Addison- Wesley, 2002 R. C. Gonzalez and R. E. Woods: Digital Image Processing, Addison-Wesley, 1992 S. Coren, L. M. Ward and J. T. Enns: Sensation and Perception, Harcourt Brace College Publishers, B. K. P. Horn: Robot Vision, MIT Press, B. Jähne: Digital Image Processing: Concepts, Algorithms and Scientific Applications, Springer-Verlag, Berlin, Heidelberg, 3rd/4th edition, 1995/2001 E. Trucco and A. Verri: Introductory Techniques for 3-D Computer Vision, Prentice- Hall, M. Sonka, V. Hlavac and R. Boyle: Image Processing, Analysis and Machine Vision, 2nd edition, Brooks/Cole Publishing Company, R. Hartley and A. Zisserman: Multiple-View Geometry in Computer Vision, Cambridge University Press, R. O. Duda and P. E. Hart, Pattern Classification, R. A. Johnson and D. W. Wichern, Applied Multivariate Statistical Analysis, Prentice Hall, 1998.