ANN hårdvara...samt hjärnliknande arkitekturer ANN hårdvara utgångspunkt Varför? Realtidsfunktion, kompakthet, effektsnålhet Förutsättningar Inneboende massiv parallellism Lokalitet i beräkningar Tolerans mot hårdvarufel Hur? 1
Tidig ANN-hårdvara Då var det 1977... 12 neuron, 36 synapser Standard µp prestanda Tillräckligt för många tillämpningar... 2
Alternativ för implementation Acceleratorkort - signalprocessor Multiply-add + ickelinjär överföringsfunktion Fixpunktsaritmetik Kisel Digital/Analog VLSI FPGA Optisk (holografiskt) Biologiskt Implantat! Molekylär dator Kvantdator... Neuron culture on a chip Algoritm VLSI implementation Ej tillräckligt nära koppling Hårdvaruutvecklare tar fram egna algoritmer Ej väl utprovade i tillämpningar Algoritmutvecklare tar fram komplexa algoritmer Ej möjliga/lämpliga att implementera i hårdvara Ej ännu konsensus om algoritmer Aktivitet pågår Forskningsmässigt, ickekonventionella implementationer Analog VLSI Enelektrontransistorer t ex (Tohoku univ, Japan) Kommersiella produkter (optisk mus) 3
Huvudkategorier: Digital (DVNN) Analog (AVNN) Hybrid ANN-VLSI T ex analog med digitalt lagrade vikter Analog VLSI Silicon retina av C Mead Effektiv implementation av specifika biologiska strukturer Cochlea Retina 4
Analog VLSI - egenskaper Hög hastighet, kompakt, effektsnål Kopplas direkt på sensor/aktuator Behöver ej A/D och D/A omvandling Olika kategorier Ingen inlärning (ex Si retina) Off-chip inlärning, nedladdning av W On-chip inlärning, snabb, kontinuerlig inlärning Standard BP ej så lämplig Stokastisk gradient-decent (pga låg precision), obeprövad dock Problem Temperaturvariationer inverkar på beräkningen Zero offset, ej över 10% av signalnivån (kräver noggrann design och fabrikation) Hög design- och testkostnad Minneshieararki, off-chip minne fungerar ej Digital VLSI CNAPS av Adaptive Solutions Inc 1994, hårdvaruaccelerator specialicerad för ANN 64 processorer på ett chip (14 milj transistorer) SIMD parallellism Fixpunkts aritmetik 5 10 9 Connection Updates/S (CUPS) (max) 1 10 9 Connection Updates/S (CUPS) (inlärning) 256 kb viktsminne/chip 5
Digital VLSI - egenskaper Lägre beräkningseffektivitet (än analog VLSI) Flexibilitet och precision 2004: 10-2 mw/mips Hjärnan: ca 3 10-6 mw/mops (3 10 9 MOPS, 12 W) Ca 2020 kan digitala superdatorer ha prestanda jämförbar med vår hjärna (minne, beräkningar) (förutsatt att Moore s lag fortsätter gälla) Ca 2010 en mushjärna Stabila, effektiva AI-algoritmer också? Framtidens autonoma, läraktiga AI-system hjärnliknande artificiella nervsystem... eller ngt annan typ av lärande system? 6
Hjärnlika arkitekturer/algoritmer Korrespondens CNS ANN? I hjärnan: Gömt lager ca > 99% 7
Hjärnans funktionella arkitektur Sensorisk/perceptuellhierarki Motorisk/beteendehierarki Motivationella/Emotionella system Känslor... Barkområden ANN Gigantiskt återkopplat NN! Mellan och inom barkområden Attraktordynamik Gestaltperception Beteendesynergier Motivation/ Känslor Attraktormodeller av associativt minne Attraktornätverk Gles koppling neuron neuron, tät minikolumn minikolumn Realtidsfunktion Kontinuerlig inlärning och åtkomst Minneskapacitet, parallelimplementation 15000 Limited Number of Patterns 0.79 (N 1.48 -N) / log 2 (N) Unlimite d Numbe r of P a tterns 0.42 (N 1.52 -N) / log 2 (N) Retrieved Patterns 10000 5000 Real Neurons Mini Columns Stored Patterns Stored Bits mouse 10 8 10 6 3 10 7 3 10 11 human 10 10 10 8 2 10 10 3 10 15 0 0 500 1000 1500 2000 2500 3000 3500 4000 N 8
Glömskt attraktorminne Glömskt minne Undviker katastofal glömska Långtidsminne Arbetsminne Minneskonsolidering under sömn? Minneskonsolidering Hippocampus Neocortex Metastabila attraktorer Fri association Synaptisk depression + neuronal adaptation Total uppehållstid proportionell mot minnets styrka Temporal/sekvens association 9
Temporal association Tapped delay lines Lär associationssekvenser/styrning av rörelser Listinlärning... 10
Standby! rollerblades wheelchair submarine spacecraft helicopter airplane bicycle rocket train boat ship car 11
Ord i listan? 12
Minnesmodulation Dopamin... v Restorff effekten Åldrande minne Förstärkningsinlärning Perception Beteende Basala ganglierna Dopamin en TD-inlärningssignal? Motivation, målinriktning Mutlipla mål, målhierarkier Självorganisation av intern representation Featuredetektorer... inkl tidsberoende sådana 13
Tillbaka till NN-hårdvara! Konventionella datorer klart suboptimala Realtid: 100 ms för attraktorkonvergens Typisk ANN hårdvara för snabb och småskalig! Ex japanskt Hopfieldchip - löser 4-damsproblem på få ns... 16 neuroner Mycket lokalt minne behövs (off chip) Digital VLSI Pulskodad kommunikation broadcast Hjärnemulerande arkitektur 1000 active/t.u 1000*1000*3 =3 MB/sec (broadcast) P P P P P C C C C C 50 MB 50 MB 50 MB 50 MB 50 MB 100000 units ( mushjärna) 1000 hyperkolumner/processorer 100 units/hyperkolumn 50 MB minne/hyperkolumn Iteration t.u. 1 ms ca 100 ms för attraktorkonvergens Memory bandwidth/processor: 5GB/s 14
En hyperkolumnprocessor S i S j Z i Z j E i E j E ij P i P j P ij B ij W ij G w τ Zi τ Zj Z i Z j τ u τ E Local data E i E j E ij κ Array data Parameter G u τ P Running av. P i P j P ij Logarithm Exponential Normalization B j W ij Poisson spike S j Z i Z j E i E j E ij P i P j P ij B ij W ij Slut i rutan! 15