ANN fk. Synopsis. Hjärnliknande beräkningar och ANN

Transkript

1 Synopsis ANN fk Hjärnliknande beräkningar och ANN Anders Lansner AI och hjärnliknande teknologi? Hjärnbarken ett attraktornät? Invariant representation i ANN och hjärnan ANS ( Artificial brain ) implementation Klusterdator Digital/Analog VLSI Biochip Molekylära beräkningar? 2 Hjärnliknande teknologi - förutsättningarttningar I: att vi i förstår hjärnans funktionsprinciper II: att vi kan implementera dessa effektivt Realtid Kompakt Energisnålt Billigt Singulariteten nära? Utveckling av beräkningskraft GFLOP E+10 1E+09 1E+08 1E+07 1E+06 1E ,1 Moore s law super-moore 100 ops/synapse/ms Sony, IBM Toshiba, BlueGene/L IBM 64K nodes Cell 250 GFLOP year 3 4 Framtidens AI-system? hjärnliknande artificiella nervsystem... eller ngn annan typ av lärande system? Förstå hjärnan? Framsteg de senaste 30 åren Pruning av hypoteser En handfull kvar ANN Modellering och datorsimulering Biofysikaliskt detaljerade modeller Neuroforskning +syntetisk/teoretisk komponent Verktyg för förståelse, försöksplanering Abstrakta modeller Konnektionistiska == ANN EU, Japan, USA KTH/CBN Attraktormodeller av hjärnbarken Abstrakta varianter Fullskalemodeller! 5 6 1

2 Attraktorminnen och hjärnbarken Biologiska attraktorminnen Luktsystemet, Hippocampus Rekurrent konnektivitet Hela neocortex? Synaptisk plasticitet Allt minne i synapserna! LTP, STP, STDP 7 Hebbska synapser och cellgrupper Hebb D O, 1949: The Organization of Behavior LTP Bliss and Lömo, 1973 Levy and Steward, 1978 Cellgrupp = mentalt objekt Gestalt perception Figur-bakgrund separation Perceptuell komplettering Perceptuell rivalitet Efteraktivitet 500 ms Associationskedjor 8 Vad motsvarar enheterna i ett ANN? Kortikal minicolumn Hypercolumn/ Macrocolumn ANN 9 10 Biofysikaliskt detaljerad cellmodell Synapsegenskaper Local RSNP Distant pyramidal r C Local basket cell C m g L g Na g K Tsodyks, Uziel, Markram 2000 E L E Na E K Hodgkin-Huxley formalism Na, K, K Ca, Ca-channels Ca AP and Ca NMDA pools Fast synaptic transmission: Glutamatergic (50/50 AMPA-NMDA) GABA-ergic Mostly data from McCormick et al. SPLIT simulator 11 Local pyramidal Realistisk amplitud hos PSP:s i största nätverksmodellen Asymmetrisk cell-cell konnektivitet 2D geometri fördröjningar, 1m/s 12 2

3 Lager 2/3 modell kolumnä kolumnär struktur A I II/III B IV V/VI C 5 Hz D Synaptisk lager 4 input UPSTATES! 50 mv 13 Network layout 1s 14 9 hypercolumns 1x1 mm patch 9 hypercolumns Each hypercolumn 1x1 mm patch 9 hypercolumns Each hypercolumn 100 minicolumns 100 basket cells 100 minicolumns 100 basket cells 100 patterns stored neurons 15 million synapses 100 patterns stored neurons 15 million synapses hypercolumns 16 8 rack BG/L simulation 4x4 mm neurons 161 million synapses 22x22 mm cortical patch 8K nodes, co-processor mode 17 used 360 MB memory/node Setup time = 6927 s Simulation time = 1 s in 5942 s >29000 cpu hours 77 % estimated speedup Currently (inofficial) world record! 22 million cells, 11 billion synapses Point-point communication slows (?) 18 3

4 VISION V1 Feature extraktion Kompetitiv inlärning Hjärnbarkens funktionella arkitektur Thalamus Sensor Thalamus Sensor Olf bulb Olf epith Top-down expektans Uppmärksamhet Hebbsk inlärning 19 L2&3 Sensor fusion Associativt minne Hebbsk inlärning LUKT Piriform cortex Ytterligare funktionalitet! Långtids- och korttidsminne Två tävlande hypoteser Featureextraction (Lager 4) Lager 5 Sekvensiell association, inlärning Avancerad motorik, timing Cerebellum Rytmiska rörelser lägre centra Beslutsfattande, beteendeval Basala ganglierna Invariant igenkänning 20 Invariant igenkänning nning Transformationer Bilder Translation, storlek, rotation 2D,3D Belysning t ex ljusets färg Ljud Frekvensinterfall, tempo Ej inbyggt i ANN ikonisk representation saknar invarians Invarians? MYTOMAN FANTAST Invarians? MYTOMAN FANTAST 23 Två sätt att uppnå invariant igenkänning nning Haykin 29ff Inbyggd, genom struktur, invarianta särdrag ( features ) T ex 30 o 60 o 90 o hörn oberoende av position, orientering, storlek + Featurehistogram Spegling i mittlinjen Genom träning Lär karakteristiska vyer Interpolation mellan dessa T ex flygplan ur olika vinklar Slow feature analysis, SFA Wiscott L. and Sejnowski, T Slow Feature Analysis: Unsupervised Learning of Invariances, Neural Computation 14, Sekvensinlärning (utnyttja korrelationer i tiden) från kontinuerlig observation 24 4

5 Hur bygga ett ANS? CCortex, Numenta, IBM, Klusterdator Miljontals kärnor ANN hårdvara - dedicerat kisel Digital/Analog Biochip Molekylära beräkningar Skalbar parallellimplementation På klusterdatorer Krav på Minne Minnesbandbredd Beräkningar Kommunikation MPI Address Event Representation (AER) EJ begränsande 1,5 milj enheter, 200 miljarder kopplingar På 256 noder på PDC/Lenngren Realtid! Inlärning/recall ca 0.5 sek/mönster Mkt effektiv kod ANN hårdvara h utgångspunkt Varför? Realtidsfunktion, kompakthet, effektsnålhet Förutsättningar Inneboende massiv parallellism Lokalitet i beräkningar Tolerans mot hårdvarufel Tolerans mot brus i indata och komponenter Hur? Tidig ANN-hårdvara Då var det neuron, 36 synapser VLSI teknologi Acceleratorkort - signalprocessor Multiply-add + ickelinjär överföringsfunktion Cellprocessorn? Kisel Digital VLSI Fixpunktsaritmetik, få bits FPGA Analog VLSI 29 Analog VLSI? Hög hastighet, kompakt, effektsnål Kopplas direkt på sensor/aktuator Behöver ej A/D och D/A omvandling Effektiv implementation av specifika biologiska strukturer Carver Mead, Caltech Cochlea Retina Synaptics Touchpad Optisk mus För snabb! Brustolerans hos ANN viktig! krympning av dimensioner 30 5

6 Analog VLSI - egenskaper Olika kategorier Ingen inlärning (ex Si retina) Off-chip inlärning, nedladdning av W On-chip inlärning, snabb, kontinuerlig inlärning Standard BP ej lämplig Stokastisk gradient-decent (pga låg precision), obeprövad dock Alternativ för f implementation II CMOL Hybrid CMOS och molekylära kretsar nanoprinting stokastiska beräkningar Problem Temperaturvariationer inverkar på beräkningen Zero offset, ej över 10% av signalnivån (kräver noggrann design och fabrikation) Hög design- och testkostnad Minneshieararki, off-chip minne fungerar ej Långsam off-chip kommunikation (FACETS) Cellkultur på chip Implantat! Kvantdator... Neuron culture on a chip EU/IST/FET/Bioi3/FACETS Simulator VLSI Cortex reverse engineering of the brain Hjärnbarken (Storskaliga) simuleringar Digital&Analog ( mixed signal ) VLSI Wafer scale integration 15 forskargrupper 100 MSEK/4 år N W Synapse update time (sec) Joule/synapse/update Area/synapse (m 2 ) Hjärnbark Simulator Blue Gene/L FACETS Stage I chip ANN simulator Blue Gene/L 10 6 (10 8 ) FACETS wafer (analog VLSI) Human cortex Att komma ihåg! Neocognitronen K Fukushima Dagens ANN är användbara men Hjärnan Fullskaliga hjärnsimuleringar Datorkapacitet motsvarande hjärnan ca Framtidens ANS Singulariteten? Dedikerad ANN hårdvara, hur?

7 Multipel-vy baserad inlärning [Riesenhuber and Poggio, 2000] 37 7