ANN hårdvara. ...samt hjärnliknande arkitekturer

Transkript

1 ANN hårdvara...samt hjärnliknande arkitekturer ANN hårdvara utgångspunkt Varför? Realtidsfunktion, kompakthet, effektsnålhet Förutsättningar Inneboende massiv parallellism Lokalitet i beräkningar Tolerans mot hårdvarufel Hur? 1

2 Tidig ANN-hårdvara Då var det neuron, 36 synapser Standard µp prestanda Tillräckligt för många tillämpningar... 2

3 Alternativ för implementation Acceleratorkort - signalprocessor Multiply-add + ickelinjär överföringsfunktion Fixpunktsaritmetik Kisel Digital/Analog VLSI FPGA Optisk (holografiskt) Biologiskt Implantat! Molekylär dator Kvantdator... Neuron culture on a chip Algoritm VLSI implementation Ej tillräckligt nära koppling Hårdvaruutvecklare tar fram egna algoritmer Ej väl utprovade i tillämpningar Algoritmutvecklare tar fram komplexa algoritmer Ej möjliga/lämpliga att implementera i hårdvara Ej ännu konsensus om algoritmer Aktivitet pågår Forskningsmässigt, ickekonventionella implementationer Analog VLSI Enelektrontransistorer t ex (Tohoku univ, Japan) Kommersiella produkter (optisk mus) 3

4 Huvudkategorier: Digital (DVNN) Analog (AVNN) Hybrid ANN-VLSI T ex analog med digitalt lagrade vikter Analog VLSI Silicon retina av C Mead Effektiv implementation av specifika biologiska strukturer Cochlea Retina 4

5 Analog VLSI - egenskaper Hög hastighet, kompakt, effektsnål Kopplas direkt på sensor/aktuator Behöver ej A/D och D/A omvandling Olika kategorier Ingen inlärning (ex Si retina) Off-chip inlärning, nedladdning av W On-chip inlärning, snabb, kontinuerlig inlärning Standard BP ej så lämplig Stokastisk gradient-decent (pga låg precision), obeprövad dock Problem Temperaturvariationer inverkar på beräkningen Zero offset, ej över 10% av signalnivån (kräver noggrann design och fabrikation) Hög design- och testkostnad Minneshieararki, off-chip minne fungerar ej Digital VLSI CNAPS av Adaptive Solutions Inc 1994, hårdvaruaccelerator specialicerad för ANN 64 processorer på ett chip (14 milj transistorer) SIMD parallellism Fixpunkts aritmetik Connection Updates/S (CUPS) (max) Connection Updates/S (CUPS) (inlärning) 256 kb viktsminne/chip 5

6 Digital VLSI - egenskaper Lägre beräkningseffektivitet (än analog VLSI) Flexibilitet och precision 2004: 10-2 mw/mips Hjärnan: ca mw/mops ( MOPS, 12 W) Ca 2020 kan digitala superdatorer ha prestanda jämförbar med vår hjärna (minne, beräkningar) (förutsatt att Moore s lag fortsätter gälla) Ca 2010 en mushjärna Stabila, effektiva AI-algoritmer också? Framtidens autonoma, läraktiga AI-system hjärnliknande artificiella nervsystem... eller ngt annan typ av lärande system? 6

7 Hjärnlika arkitekturer/algoritmer Korrespondens CNS ANN? I hjärnan: Gömt lager ca > 99% 7

8 Hjärnans funktionella arkitektur Sensorisk/perceptuellhierarki Motorisk/beteendehierarki Motivationella/Emotionella system Känslor... Barkområden ANN Gigantiskt återkopplat NN! Mellan och inom barkområden Attraktordynamik Gestaltperception Beteendesynergier Motivation/ Känslor Attraktormodeller av associativt minne Attraktornätverk Gles koppling neuron neuron, tät minikolumn minikolumn Realtidsfunktion Kontinuerlig inlärning och åtkomst Minneskapacitet, parallelimplementation Limited Number of Patterns 0.79 (N N) / log 2 (N) Unlimite d Numbe r of P a tterns 0.42 (N N) / log 2 (N) Retrieved Patterns Real Neurons Mini Columns Stored Patterns Stored Bits mouse human N 8

9 Glömskt attraktorminne Glömskt minne Undviker katastofal glömska Långtidsminne Arbetsminne Minneskonsolidering under sömn? Minneskonsolidering Hippocampus Neocortex Metastabila attraktorer Fri association Synaptisk depression + neuronal adaptation Total uppehållstid proportionell mot minnets styrka Temporal/sekvens association 9

10 Temporal association Tapped delay lines Lär associationssekvenser/styrning av rörelser Listinlärning... 10

11 Standby! rollerblades wheelchair submarine spacecraft helicopter airplane bicycle rocket train boat ship car 11

12 Ord i listan? 12

13 Minnesmodulation Dopamin... v Restorff effekten Åldrande minne Förstärkningsinlärning Perception Beteende Basala ganglierna Dopamin en TD-inlärningssignal? Motivation, målinriktning Mutlipla mål, målhierarkier Självorganisation av intern representation Featuredetektorer... inkl tidsberoende sådana 13

14 Tillbaka till NN-hårdvara! Konventionella datorer klart suboptimala Realtid: 100 ms för attraktorkonvergens Typisk ANN hårdvara för snabb och småskalig! Ex japanskt Hopfieldchip - löser 4-damsproblem på få ns neuroner Mycket lokalt minne behövs (off chip) Digital VLSI Pulskodad kommunikation broadcast Hjärnemulerande arkitektur 1000 active/t.u 1000*1000*3 =3 MB/sec (broadcast) P P P P P C C C C C 50 MB 50 MB 50 MB 50 MB 50 MB units ( mushjärna) 1000 hyperkolumner/processorer 100 units/hyperkolumn 50 MB minne/hyperkolumn Iteration t.u. 1 ms ca 100 ms för attraktorkonvergens Memory bandwidth/processor: 5GB/s 14

15 En hyperkolumnprocessor S i S j Z i Z j E i E j E ij P i P j P ij B ij W ij G w τ Zi τ Zj Z i Z j τ u τ E Local data E i E j E ij κ Array data Parameter G u τ P Running av. P i P j P ij Logarithm Exponential Normalization B j W ij Poisson spike S j Z i Z j E i E j E ij P i P j P ij B ij W ij Slut i rutan! 15