KTH/CSC. ANN fk. Hjärnliknande beräkningar och ANN. Anders Lansner

Transkript

1 ANN fk Hjärnliknande beräkningar och ANN Anders Lansner

2 Synopsis Invariant representation i ANN och hjärnan ANN och hjärnan, skillnader Funktionellt Strukturellt etc (När) kan vi förstå hjärnans funktion? Hjärnbarken ett attraktornät? Parallelldatorer och simulering ANN hårdvara VLSI Digital Analog April 28, 2006 ANN fk F8 ALa 2

3 Invariant igenkänning Transformationer Bilder Translation, storlek, rotation 2D,3D Belysning t ex ljusets färg Ljud Frekvensinterfall, tempo Ej inbyggt i ANN ikonisk representation saknar invarians April 28, 2006 ANN fk F8 ALa 3

4 Invariant perception? April 28, 2006 ANN fk F8 ALa 4

5 Invarians? MYTOMAN FANTAST April 28, 2006 ANN fk F8 ALa 5

6 Två sätt att uppnå invariant igenkänning Haykin 29ff Inbyggd, genom struktur, invarianta särdrag ( features ) T ex 30 o 60 o 90 o hörn oberoende av position, orientering, storlek + Featurehistogram Spegling i mittlinjen Genom träning Lär karakteristiska vyer Interpolation mellan dessa T ex flygplan ur olika vinklar Slow feature analysis, SFA Wiscott L. and Sejnowski, T Slow Feature Analysis: Unsupervised Learning of Invariances, Neural Computation 14, Sekvensinlärning (utnyttja korrelationer i tiden) från kontinuerlig observation April 28, 2006 ANN fk F8 ALa 6

7 Neocognitronen K Fukushima April 28, 2006 ANN fk F8 ALa 7

8 Multipel-vy baserad igenkänning [Riesenhuber and Poggio, 2000] April 28, 2006 ANN fk F8 ALa 8

9 ANN och hjärnan Dagens ANN Viktiga i ingenjörens verktygslåda långt ifrån hjärnlika Små system, mkt snabba (tränade, hårdvara) Begränsad skalbarhet Enstaka eller få nätverk Lär övervakat Ingen konsensus om framtidens AI! Morgondagens ANN Mer hjärnlika ANS April 28, 2006 ANN fk F8 ALa 9

10 Framtidens AI-system hjärnliknande artificiella nervsystem... eller ngn annan typ av lärande system? April 28, 2006 ANN fk F8 ALa 10

11 Hjärnliknande teknologi - förutsättningar I: att vi i förstår hjärnans funktionsprinciper II: att vi kan implementera dessa effektivt Realtid Kompakt Energisnålt Billigt Är det möjligt Hur långt kvar? April 28, 2006 ANN fk F8 ALa 11

12 Förstå hjärnan? Framsteg de senaste 30 åren Pruning av hypoteser En handfull kvar ANN Modellering och datorsimulering Biofysikaliskt detaljerade modeller Neuroforskning +syntetisk/teoretisk komponent Verktyg för förståelse, försöksplanering Abstrakta modeller Konnektionistiska == ANN EU, Japan, USA KTH/CBN Attraktormodeller av hjärnbarken Detaljerade VIDEO clip Abstrakta Fullskalemodeller! April 28, 2006 ANN fk F8 ALa 12

13 Hjärnlika arkitekturer/algoritmer April 28, 2006 ANN fk F8 ALa 13

14 Hjärnans funktionella arkitektur Sensorisk/perceptuell hierarki Motorisk/beteendehierarki Koordination - cerebellum Motivationella/Emotionella system Känslor... Barkområden ANN Gigantiskt återkopplat NN! Mellan och inom barkområden Attraktordynamik Gestaltperception Beteendesynergier Motivation/ Känslor April 28, 2006 ANN fk F8 ALa 14

15 Siffror om hjärnbarken Konnektivitet W = kn c = 1/N Kortikal modularitet: Mini- och hypercolumner April 28, 2006 ANN fk F8 ALa 15

16 Vad motsvarar enheterna i ett ANN? Kortikal minicolumn Hypercolumn/ Macrocolumn ANN April 28, 2006 ANN fk F8 ALa 16

17 Hjärnbarkens modulatitet Minikolumnstorlek konstant ( neuroner) Hyperkolumnstorlek konstant ( minikolumner) Antalet moduler växer! April 28, 2006 ANN fk F8 ALa 17

18 Attraktorminnen och hjärnbarken Biologiska attraktorminnen Luktsystemet, Hippocampus Rekurrent konnektivitet Hela neocortex Synaptisk plasticitet Allt minne i synapserna! LTP, STP, STDP April 28, 2006 ANN fk F8 ALa 18

19 Hebbska synapser och cellgrupper Hebb D O, 1949: The Organization of Behavior Bliss and Lömo, 1973 Levy and Steward, 1978 Cellgrupp = mentalt objekt Gestalt perception Perceptuell komplettering Perceptuell rivalitet Associationskedjor April 28, 2006 ANN fk F8 ALa 19

20 Biofysikaliskt detaljerad cellmodell r C C m g L g Na g K April 28, 2006 ANN fk F8 ALa 20 E L E Na E K Hodgkin-Huxley formalism Na, K, K Ca, Ca-channels Ca AP and Ca NMDA pools Fast synaptic transmission: Glutamatergic (50/50 AMPA-NMDA) GABA-ergic Mostly data from McCormick et al. SPLIT simulator

21 UPSTATES! April 28, 2006 ANN fk F8 ALa 21

22 Skalbar parallellimplementation På klusterdatorer Krav på Minne Minnesbandbredd Beräkningar Kommunikation MPI Address Event Representation (AER) enheter, 200 miljarder kopplingar På 256 noder på PDC/Lenngren Realtid! Inlärning/recall ca 0.5 sek/mönster April 28, 2006 ANN fk F8 ALa 22

23 IBM:s BlueGene/L April 28, 2006 ANN fk F8 ALa 23

24 Utveckling av beräkningskraft Moore s law super-moore 1E+10 1E+09 1E+08 1E+07 1E+06 1E ops/synapse/ms GFLOP IBM BlueGene/L 64K nodes Sony, Toshiba, IBM Cell 250 GFLOP 1 0, year April 28, 2006 ANN fk F8 ALa 24

25 Network layout 1x1 mm patch 9 hypercolumns Each hypercolumn 100 minicolumns 100 basket cells 100 patterns stored neurons 15 million synapses April 28, 2006 ANN fk F8 ALa 25

26 100 hypercolumns 4x4 mm neurons 161 million synapses April 28, 2006 ANN fk F8 ALa 26

27 Världsrekord i hjärnbarkssimulering Blue Gene/L (IBM Rochester) 2048 processors (1/64 av full maskin) Råttkortex lager 2/ hypercolumner, 15x15 mm 8 miljon nervceller 4 billion, 1/20 verkligt antal 1:5400 of real time (inofficiellt) världsrekord! EPFL & IBM, Blue Brain project April 28, 2006 ANN fk F8 ALa 27

28 ANN hårdvara utgångspunkt Varför? Realtidsfunktion, kompakthet, effektsnålhet Förutsättningar Inneboende massiv parallellism Lokalitet i beräkningar Tolerans mot hårdvarufel Tolerans mot brus i indata och komponenter Hur? April 28, 2006 ANN fk F8 ALa 28

29 Tidig ANN-hårdvara Då var det neuron, 36 synapser April 28, 2006 ANN fk F8 ALa 29

30 Algoritm VLSI implementation Kommersiella produkter (optisk mus, touchpad) Ännu ej tillräckligt nära koppling Hårdvaruutvecklare tar fram egna algoritmer Ej väl utprovade i tillämpningar Algoritmutvecklare tar fram komplexa algoritmer Ej möjliga/lämpliga att implementera i hårdvara Ej ännu konsensus om algoritmer Aktivitet pågår Forskningsmässigt, ickekonventionella implementationer Analog VLSI (FACETS, EU) CMOL ANN (Univ Portland, USA) Enelektrontransistorer t ex (Tohoku univ, Japan) April 28, 2006 ANN fk F8 ALa 30

31 Alternativ för implementation I Acceleratorkort - signalprocessor Multiply-add + ickelinjär överföringsfunktion Kisel Digital VLSI Fixpunktsaritmetik, få bits FPGA Analog VLSI eller kanske April 28, 2006 ANN fk F8 ALa 31

32 Alternativ för implementation II CMOL Hybrid CMOS och molekylära kretsar nanoprinting Cellkultur på chip Implantat! Kvantdator... Neuron culture on a chip April 28, 2006 ANN fk F8 ALa 32

33 Analog VLSI - egenskaper Hög hastighet, kompakt, effektsnål Kopplas direkt på sensor/aktuator Behöver ej A/D och D/A omvandling Effektiv implementation av specifika biologiska strukturer Carver Mead, Caltech Cochlea Retina Synaptics Touchpad Optisk mus För snabb! Brustolerans hos ANN viktig! krympning av dimensioner April 28, 2006 ANN fk F8 ALa 33

34 Analog VLSI - egenskaper Olika kategorier Ingen inlärning (ex Si retina) Off-chip inlärning, nedladdning av W On-chip inlärning, snabb, kontinuerlig inlärning Standard BP ej lämplig Stokastisk gradient-decent (pga låg precision), obeprövad dock Problem Temperaturvariationer inverkar på beräkningen Zero offset, ej över 10% av signalnivån (kräver noggrann design och fabrikation) Hög design- och testkostnad Minneshieararki, off-chip minne fungerar ej Långsam off-chip kommunikation (FACETS) April 28, 2006 ANN fk F8 ALa 34

35 EU/IST/FET/Bioi3/FACETS reverse engineering of the brain Hjärnbarken (Storskaliga) simuleringar Analog VLSI Wafer scale integration 15 forskargrupper 100 MSEK/4 år April 28, 2006 ANN fk F8 ALa 35

36 Simulator VLSI Cortex ANN simulator Blue Gene/L FACETS wafer (analog VLSI) N W Synapse update time (sec) Joule/synapse/update Area/synapse (m 2 ) Human cortex April 28, 2006 ANN fk F8 ALa 36

37 Att komma ihåg! Dagens ANN är användbara men Hjärnan Fullskaliga hjärnsimuleringar Datorkapacitet motsvarande hjärnan ca Dedikerad ANN hårdvara, hur? April 28, 2006 ANN fk F8 ALa 37