KTH/CSC. ANN fk. Attraktornätverk. Anders Lansner

Transkript

1 ANN fk Attraktornätverk Anders Lansner

2 Attraktornät Hopfield startade 2:a ANN-vågen 1981 Idag många varianter - omfattande teori Teori för hjärnbarkens funktion Biologidriven teori- och algoritmutveckling Begränsade tekniska tillämpningar Sista ordet dock inte sagt

3 Denna föreläsning Rekapitulation, Terminologi Varför attraktornät? Minneskapacitet, gles aktivitet och gles W Modulära attraktornät Kontinuerlig inlärning glömska = palimpsest minne Minnesmodulation, print-now Adapterande attraktornät Gömt lager Invariant representation och attraktorminnen Haykin, Ch 14

4 Nätverksarkitektur x 1 w 11 y 1 x 2 y 2 x 3 y 3 TLU:s bias = 0 w ij = w ji (w ii =0) x 4 x 5 y 4 y 5

5 Rekapitulation Terminologi Attraktornät Rekurrenta NN Symmetrisk W fixpunktdynamik Feedback jfr Feedforward Autoassociativt minne jfr Heteroassociation Content Addressable Memory, CAM Oövervakad inlärning Hebbsk Korrelationsbaserad jfr Felkorrektionsinlärning (lokal felvektor) jfr Förstärkningsinlärning (global felskalär)

6 Motivation, användbarhet Hjärnteori snarare än teknologirelevant brain-like computing Några tillämpningar Kombinatorisk optimering Schemaläggning av Tensta skola, flygplansbesättingar, etc Klustring FOI spaningsrapporter Associativt minne Minnen lagrade i energiminima, attraktorer Gestaltperception Bildrekonstruktion (exempel) Varför inte MLP/BP, SVM? Auto-encoder Långsam inlärning, dålig skalbarhet

7 Vanligaste nätverken Willshaw-Palm Binär W Hopfield BCPNN Probabilistisk, modulär

8 Binära autoassociativa nätverk Willshaw-Palm nät Binär Hebbsk inlärning (OR) wij V M μ = 1 = ξξ I μ T μ Gles aktivitet, a = log 2 N Fungerar (förvånansvärt) bra För slumpmässiga mönster

9 Hopfieldnät Binära, graderade, spikande enheter Bipolär aktivitet {-1,1} Standard Hebbsk inlärning w ij 1 M T ξξ μ μ μ= 1 = N M N I E N N 1 = w xx 2 i= 1 j= 1 Asynkron uppdatering Spurious states ij i j

10 Utvidgningar av attraktornät Hjärnbarken? 1) Gles aktivitet ( sparse ) 2) Gles W ( diluted ) 3) Modulär struktur 4) Glömskt minne 5) Adaptation 6) Gömt lager 7)

11 Prestandamått minneskapacitet Antal återkallbara (slumpmässiga) mönster Bits/koppling (fri parameter) Brusanalys Informationsteoretisk analys Replikateori

12 Hopfieldnät minneskapacitet Slumpmässiga mönster, 50% aktiva Crosstalk, variansanalys M c M = max 0,14N = N 2ln N med fel i recall utan fel i recall Mycket analys finns

13 Minneskapacitet Informationsteoretisk uppskattning Önskemål, inte bevis Antal bits i W (symmetrisk) Antal bits/återkallat mönster bits / mönster = log P= antal möjliga olika mönster Z= antal återkallade mönster bits = Z log P P 2 2 P ( 1) kn N bitsw = 2 k = antal bits / koppling Stämmer hyfsat för standard Hopfield, Z max = 0,14N Z max bits = bits W P

14 Utvidgning 1 Gles, binär aktivitet, {0,1} Lagrade mönster : ξ μ i 1 med sannolikhet a = 0 med sannolikhet1 a 1 wij = i a j a N μ μ ( ξ )( ξ ) μ M a M c = c N = 2a lna ln N N 1 N 2 lnn 2

15 Informationsteoretisk uppskattning Aktivitetsnivå a = m/n = lnn/n bits P N N! = log2 = log2 m m! ( N m)! 4 x Z max bitsw N = = k bitsp log N x 10 5

16 Utvidgning 2 Modulära nät Tröskelkontroll Ofta problematiskt m-winners-take-all Modulära nät Hjärnbarken minikolumner,hyperkolumner t ex Hopfieldnät Pottsnät BCPNN Moduler med Σaktivitet = 1 Tröskelkontroll enkel

17 Modulärt ANN H = 3 M = 2 Normalisering

18 Moduler diskreta attribut Diskreta inattribut x i Diskret utattribut y i Probabilistiskt perspektiv Utaktivitet Konfidens/ Belief Tyst hyperkolumn :: attributvärde = N/A

19 Fuzzy representation neurofuzzy Fuzzy variabler Lingvistiska Manuell indelning Grafisk blandingsmodell Automatiskt, EM Intervallkodning Användes tidigt i Japan I konsumentprodukter Kylskåp Äggkokare Hyperkolumn med? enheter Mjuk tåginbromsning (Shinkhansen) Struktur fysikaliska egenskaper hos kemiska ämnen Astra-Zeneca

20 Informationsteoretisk uppskattning H hyperkolumner med M enheter i varje bits = log M = H log M P Z max H kn = 2H log ( 1 1 H ) ( N H) 2 Tysta hyperkolumner! 6 x H=lb(N) Utan H Silent H x 10 5

21 Utvidgning 3 Gles W Gles kopplingsmatris c = connectivity density c M = connections / unit Lagringskapacitet minskar ung proportionellt dock, adaptiv utglesning

22 Exempel, associativ hjärnarea Antal nervceller = 10 9, 1/100 av kortex 10 7 enheter (minikolumner) 10 5 hyperkolumner Tysta hyperkolumner 0.5 aktivitetsnivå 1 konnektivitet (mellan minikolumner hos människa) ca 400 miljoner mönster kan lagras ca 15/min! Hur mycket minne behövs?

23 Utvidgning 4 Kontinuerlig inlärning, glömska Läckande inlärning dw dt ij = μ μ ξ ξ i j wij τ w Tidskonstant för vikter, τ w Långtids korttidsminne arbetsminne Undviker katastrofal glömska Palimpsestminne Minneskonsolidering: Hippocampus Neocortex

24 Glömskt attraktorminne

25 Bra beskrivning av minne?

26 DEMO Listinlärning

27 Modulerat glömskt attraktorminne Print-now för varje mönster, τ w Minnesmodulation

28 Utvidgning 6: Adaptation Nervceller egenskaper Ström Frekvens Adaptation Synaptisk depression Vad händer i Hopfieldnät? Attraktorvandring!

29 Attraktornät + adaptation Standard Hopfieldnät fastnar i energiminima

30 Bra minneskapacitet etc, men Vilka är begränsningarna? Viktig funktionalitet som saknas?

31 Träningsmängd Hidden Population 32x16 = 512 units Input Population 256x2 = 512 units Input Population 256x2 = 512 units

32 Utvidgning 5 Attraktorminnen med gömt lager Instabil Stabil representation Stort antal slumpmässiga mönster Korrelerade ( verkliga ) mönster lagringskapacitet ej begränsad av N bättre klassificeringsförmåga Hjärnbarkens lager IV Kompetitiv inlärning Feature extraktion Oövervakad inlärning, ev bias Tidigare analys gäller nu gömt lager

33 Överkomplett, gles bildrepresentation Överkomplett = antal basfunktioner > antal pixlar i en patch Sparse basis functions for the patches were extracted from training images by an iterative learning procedure. Most of the functions are oriented, localized and cover a limited range of spatial frequencies, like the receptive fields of neurons in the visual cortex. Image courtesy of Bruno A. Olshausen.

34 Exempel - bildrekonstruktion Bilder från Colombia University Image Library COIL-100. Upplösning pixel 100 bilder lagrades i ANN med hypercolumner med M = 100 Parallellimplementerat 7 x 104 retrieval cue one iteration four iterations twenty iterations Pixels in All of the 100 Images A B Colors