ANN fk Hjärnliknande beräkningar och ANN Anders Lansner
Synopsis Invariant representation i ANN och hjärnan ANN och hjärnan, skillnader Funktionellt Strukturellt etc (När) kan vi förstå hjärnans funktion? Hjärnbarken ett attraktornät? Parallelldatorer och simulering ANN hårdvara VLSI Digital Analog April 28, 2006 ANN fk F8 ALa 2
Invariant igenkänning Transformationer Bilder Translation, storlek, rotation 2D,3D Belysning t ex ljusets färg Ljud Frekvensinterfall, tempo Ej inbyggt i ANN ikonisk representation saknar invarians April 28, 2006 ANN fk F8 ALa 3
Invariant perception? April 28, 2006 ANN fk F8 ALa 4
Invarians? MYTOMAN FANTAST April 28, 2006 ANN fk F8 ALa 5
Två sätt att uppnå invariant igenkänning Haykin 29ff Inbyggd, genom struktur, invarianta särdrag ( features ) T ex 30 o 60 o 90 o hörn oberoende av position, orientering, storlek + Featurehistogram Spegling i mittlinjen Genom träning Lär karakteristiska vyer Interpolation mellan dessa T ex flygplan ur olika vinklar Slow feature analysis, SFA Wiscott L. and Sejnowski, T. 2002 Slow Feature Analysis: Unsupervised Learning of Invariances, Neural Computation 14, 715-770 Sekvensinlärning (utnyttja korrelationer i tiden) från kontinuerlig observation April 28, 2006 ANN fk F8 ALa 6
Neocognitronen K Fukushima April 28, 2006 ANN fk F8 ALa 7
Multipel-vy baserad igenkänning [Riesenhuber and Poggio, 2000] April 28, 2006 ANN fk F8 ALa 8
ANN och hjärnan Dagens ANN Viktiga i ingenjörens verktygslåda långt ifrån hjärnlika Små system, mkt snabba (tränade, hårdvara) Begränsad skalbarhet Enstaka eller få nätverk Lär övervakat Ingen konsensus om framtidens AI! Morgondagens ANN Mer hjärnlika ANS April 28, 2006 ANN fk F8 ALa 9
Framtidens AI-system hjärnliknande artificiella nervsystem... eller ngn annan typ av lärande system? April 28, 2006 ANN fk F8 ALa 10
Hjärnliknande teknologi - förutsättningar I: att vi i förstår hjärnans funktionsprinciper II: att vi kan implementera dessa effektivt Realtid Kompakt Energisnålt Billigt Är det möjligt Hur långt kvar? April 28, 2006 ANN fk F8 ALa 11
Förstå hjärnan? Framsteg de senaste 30 åren Pruning av hypoteser En handfull kvar ANN Modellering och datorsimulering Biofysikaliskt detaljerade modeller Neuroforskning +syntetisk/teoretisk komponent Verktyg för förståelse, försöksplanering Abstrakta modeller Konnektionistiska == ANN EU, Japan, USA KTH/CBN Attraktormodeller av hjärnbarken Detaljerade VIDEO clip Abstrakta Fullskalemodeller! April 28, 2006 ANN fk F8 ALa 12
Hjärnlika arkitekturer/algoritmer April 28, 2006 ANN fk F8 ALa 13
Hjärnans funktionella arkitektur Sensorisk/perceptuell hierarki Motorisk/beteendehierarki Koordination - cerebellum Motivationella/Emotionella system Känslor... Barkområden ANN Gigantiskt återkopplat NN! Mellan och inom barkområden Attraktordynamik Gestaltperception Beteendesynergier Motivation/ Känslor April 28, 2006 ANN fk F8 ALa 14
Siffror om hjärnbarken Konnektivitet W = kn c = 1/N Kortikal modularitet: Mini- och hypercolumner April 28, 2006 ANN fk F8 ALa 15
Vad motsvarar enheterna i ett ANN? Kortikal minicolumn Hypercolumn/ Macrocolumn ANN April 28, 2006 ANN fk F8 ALa 16
Hjärnbarkens modulatitet Minikolumnstorlek konstant ( 100-200 neuroner) Hyperkolumnstorlek konstant ( 100-200 minikolumner) Antalet moduler växer! April 28, 2006 ANN fk F8 ALa 17
Attraktorminnen och hjärnbarken Biologiska attraktorminnen Luktsystemet, Hippocampus Rekurrent konnektivitet Hela neocortex Synaptisk plasticitet Allt minne i synapserna! LTP, STP, STDP April 28, 2006 ANN fk F8 ALa 18
Hebbska synapser och cellgrupper Hebb D O, 1949: The Organization of Behavior Bliss and Lömo, 1973 Levy and Steward, 1978 Cellgrupp = mentalt objekt Gestalt perception Perceptuell komplettering Perceptuell rivalitet Associationskedjor April 28, 2006 ANN fk F8 ALa 19
Biofysikaliskt detaljerad cellmodell r C C m g L g Na g K April 28, 2006 ANN fk F8 ALa 20 E L E Na E K Hodgkin-Huxley formalism Na, K, K Ca, Ca-channels Ca AP and Ca NMDA pools Fast synaptic transmission: Glutamatergic (50/50 AMPA-NMDA) GABA-ergic Mostly data from McCormick et al. SPLIT simulator
UPSTATES! April 28, 2006 ANN fk F8 ALa 21
Skalbar parallellimplementation På klusterdatorer Krav på Minne Minnesbandbredd Beräkningar Kommunikation MPI Address Event Representation (AER) 1500000 enheter, 200 miljarder kopplingar På 256 noder på PDC/Lenngren Realtid! Inlärning/recall ca 0.5 sek/mönster April 28, 2006 ANN fk F8 ALa 22
IBM:s BlueGene/L April 28, 2006 ANN fk F8 ALa 23
Utveckling av beräkningskraft Moore s law super-moore 1E+10 1E+09 1E+08 1E+07 1E+06 1E+05 10 100 ops/synapse/ms GFLOP 10000 1000 100 IBM BlueGene/L 64K nodes Sony, Toshiba, IBM Cell 250 GFLOP 1 0,1 1980 1985 1990 1995 2000 2005 2010 2015 2020 2025 year April 28, 2006 ANN fk F8 ALa 24
Network layout 1x1 mm patch 9 hypercolumns Each hypercolumn 100 minicolumns 100 basket cells 100 patterns stored 29700 neurons 15 million synapses April 28, 2006 ANN fk F8 ALa 25
100 hypercolumns 4x4 mm 330000 neurons 161 million synapses April 28, 2006 ANN fk F8 ALa 26
Världsrekord i hjärnbarkssimulering Blue Gene/L (IBM Rochester) 2048 processors (1/64 av full maskin) Råttkortex lager 2/3 3100 hypercolumner, 15x15 mm 8 miljon nervceller 4 billion, 1/20 verkligt antal 1:5400 of real time (inofficiellt) världsrekord! EPFL & IBM, Blue Brain project April 28, 2006 ANN fk F8 ALa 27
ANN hårdvara utgångspunkt Varför? Realtidsfunktion, kompakthet, effektsnålhet Förutsättningar Inneboende massiv parallellism Lokalitet i beräkningar Tolerans mot hårdvarufel Tolerans mot brus i indata och komponenter Hur? April 28, 2006 ANN fk F8 ALa 28
Tidig ANN-hårdvara Då var det 1977... 12 neuron, 36 synapser April 28, 2006 ANN fk F8 ALa 29
Algoritm VLSI implementation Kommersiella produkter (optisk mus, touchpad) Ännu ej tillräckligt nära koppling Hårdvaruutvecklare tar fram egna algoritmer Ej väl utprovade i tillämpningar Algoritmutvecklare tar fram komplexa algoritmer Ej möjliga/lämpliga att implementera i hårdvara Ej ännu konsensus om algoritmer Aktivitet pågår Forskningsmässigt, ickekonventionella implementationer Analog VLSI (FACETS, EU) CMOL ANN (Univ Portland, USA) Enelektrontransistorer t ex (Tohoku univ, Japan) April 28, 2006 ANN fk F8 ALa 30
Alternativ för implementation I Acceleratorkort - signalprocessor Multiply-add + ickelinjär överföringsfunktion Kisel Digital VLSI Fixpunktsaritmetik, få bits FPGA Analog VLSI eller kanske April 28, 2006 ANN fk F8 ALa 31
Alternativ för implementation II CMOL Hybrid CMOS och molekylära kretsar nanoprinting Cellkultur på chip Implantat! Kvantdator... Neuron culture on a chip April 28, 2006 ANN fk F8 ALa 32
Analog VLSI - egenskaper Hög hastighet, kompakt, effektsnål Kopplas direkt på sensor/aktuator Behöver ej A/D och D/A omvandling Effektiv implementation av specifika biologiska strukturer Carver Mead, Caltech Cochlea Retina Synaptics Touchpad Optisk mus För snabb! Brustolerans hos ANN viktig! krympning av dimensioner April 28, 2006 ANN fk F8 ALa 33
Analog VLSI - egenskaper Olika kategorier Ingen inlärning (ex Si retina) Off-chip inlärning, nedladdning av W On-chip inlärning, snabb, kontinuerlig inlärning Standard BP ej lämplig Stokastisk gradient-decent (pga låg precision), obeprövad dock Problem Temperaturvariationer inverkar på beräkningen Zero offset, ej över 10% av signalnivån (kräver noggrann design och fabrikation) Hög design- och testkostnad Minneshieararki, off-chip minne fungerar ej Långsam off-chip kommunikation (FACETS) April 28, 2006 ANN fk F8 ALa 34
EU/IST/FET/Bioi3/FACETS reverse engineering of the brain Hjärnbarken (Storskaliga) simuleringar Analog VLSI Wafer scale integration 15 forskargrupper 100 MSEK/4 år April 28, 2006 ANN fk F8 ALa 35
Simulator VLSI Cortex ANN simulator Blue Gene/L FACETS wafer (analog VLSI) N 10 6 10 4 10 10 W 10 11 10 7 10 14 Synapse update time (sec) 10-2 10-9 10-3 Joule/synapse/update 10-8 10-15 10-16 Area/synapse (m 2 ) 10-12 10-10 10-15 Human cortex April 28, 2006 ANN fk F8 ALa 36
Att komma ihåg! Dagens ANN är användbara men Hjärnan Fullskaliga hjärnsimuleringar Datorkapacitet motsvarande hjärnan ca 2015-2025 Dedikerad ANN hårdvara, hur? April 28, 2006 ANN fk F8 ALa 37