Perception och Maskininärning i Interaktiva Autonoma System. Michael Felsberg Institutionen för systemteknik Linköpings universitet

Transkript

1 Perception och Maskininärning i Interaktiva Autonoma System Michael Felsberg Institutionen för systemteknik Linköpings universitet

2 Vad är WASP? Wallenberg Autonomous Systems Program Sveriges största individuella forskningsprogram genom tiderna Initialt 6 olika projekt Fokus: perceptionsprojektet Inom perception: datorseende

3 Vad är datorseende? delområde av datalogin "seende datorer automatiskt bearbetar digitala bilder extraherar specifika typer av information ur bilder beroende på den uppgift som ska lösas, e.g. konstruktion av 3D objektmodeller från 2D bilddata igenkänning av 3D eller 2D objekt i bilder styrning av robotar och fordon med hjälp av kameror starkt tvärvetenskapligt biologiskt seende, neurovetenskap & visuell perception matematik, numerisk analys & datorgrafik datorteknik, mjukvaruteknik & AI

4 Vilka skolämnen är relevanta för datorseende? matematik geometri algebra sannolikhetsteori och statistik analys kombinatorik fysik teknik programmering dator- och kommunikationsteknik

5 Var är svårt med bilder?

6 Vad ser du?

7 Facit

8 Tillbaka till WASP Autonoma system är mer än självkörande bilar...

9 Case Study: 125 Anniversary Bertha Mannheim - Pforzheim

10 Autonomous Driving is Easy? According to some experts: Google and Apple have failed with their autonomous car projects [New York Times 9/9, Bloomberg 9/12] Tesla s fatal accident could have been avoided by Lidar instead of computer vision-based perception (Mobileye)? [New York Times 7/12, ArsTechnica 9/16]

11 Integrating Perception, Learning and Verification in Interactive Autonomous Systems The project will study perception methods based on fusion of multi-modal sensory information in combination with learning, and formal verification of autonomous systems. Researchers: Danica Kragic (project coordinator), KTH Michael Felsberg, Linköping University Laura Kovacs/Bengt Lennartsson, Chalmers Alexandre Proutiere, KTH Kalle Åström, Lund University

12 Some students in the project David LTH Gustav LIU Bertil LIU/Saab Dynamics Fredrik Chalmers Daniel KTH Johan KTH/ABB Mia KTH Shahbaz KTH/ABB Samuel Chalmers/Autoliv

13

14 Modes of Perception multitude of sensor modalities selection problem what sensor to focus on? fusion problem how to combine them? human-compatible sensing visualization acquisition of relevant (visual) data interaction shared percept space adaptation to environment most systems will be placed in environments shaped for humans semantic gap / symbol grounding fused sensor readings need to be mapped to semantic models top-down feedback modulates perception

15 Ex: Sensors and Semantics

16 Ex: Fusion and Feedback

17 Ex: Interaction and Visualization

18 Methods machine learning deep learning lots of data online learning from demonstration optimization offline hard problems on-the-fly adaptation latent probabilistic models enforce consistency of parts avoid local minima

19 AlexNet [Krizhevsky et al. 2012]

20 Deep Learning Revolution ImageNet Large Scale Visual Recognition Challenge [Deng et al. 2009] Today: more than 14 million images more than 10 million images annotated more than 1 million images with bounding box Classification error rate 2011: 25% Using CNNs in 2012: 16% (!)

21 Visual features learned from ImageNet 14 million images Visual object detection tracking recognition Danelljan et al. ICCV 2015, CVPR 2016

22 Learning of association to actions Öfjäll et al., IV 2016

23 Probabilistic geometric models Danelljan et al., CVPR 2016

24 LARA

25 Relevanta Program vid LiU Y teknisk fysik D datateknik U mjukvaruteknik M medieteknik MT medicinsk teknik TB teknisk biologi IT informationsteknologi I industriell ekonomi

26 Frågor?