ANN fk Attraktornätverk Anders Lansner
Attraktornät Hopfield startade 2:a ANN-vågen 1981 Idag många varianter - omfattande teori Teori för hjärnbarkens funktion Biologidriven teori- och algoritmutveckling Begränsade tekniska tillämpningar Sista ordet dock inte sagt
Denna föreläsning Rekapitulation, Terminologi Varför attraktornät? Minneskapacitet, gles aktivitet och gles W Modulära attraktornät Kontinuerlig inlärning glömska = palimpsest minne Minnesmodulation, print-now Adapterande attraktornät Gömt lager Invariant representation och attraktorminnen Haykin, Ch 14
Nätverksarkitektur x 1 w 11 y 1 x 2 y 2 x 3 y 3 TLU:s bias = 0 w ij = w ji (w ii =0) x 4 x 5 y 4 y 5
Rekapitulation Terminologi Attraktornät Rekurrenta NN Symmetrisk W fixpunktdynamik Feedback jfr Feedforward Autoassociativt minne jfr Heteroassociation Content Addressable Memory, CAM Oövervakad inlärning Hebbsk Korrelationsbaserad jfr Felkorrektionsinlärning (lokal felvektor) jfr Förstärkningsinlärning (global felskalär)
Motivation, användbarhet Hjärnteori snarare än teknologirelevant brain-like computing Några tillämpningar Kombinatorisk optimering Schemaläggning av Tensta skola, flygplansbesättingar, etc Klustring FOI spaningsrapporter Associativt minne Minnen lagrade i energiminima, attraktorer Gestaltperception Bildrekonstruktion (exempel) Varför inte MLP/BP, SVM? Auto-encoder Långsam inlärning, dålig skalbarhet
Vanligaste nätverken Willshaw-Palm Binär W Hopfield BCPNN Probabilistisk, modulär
Binära autoassociativa nätverk Willshaw-Palm nät Binär Hebbsk inlärning (OR) wij V M μ = 1 = ξξ I μ T μ Gles aktivitet, a = log 2 N Fungerar (förvånansvärt) bra För slumpmässiga mönster
Hopfieldnät Binära, graderade, spikande enheter Bipolär aktivitet {-1,1} Standard Hebbsk inlärning w ij 1 M T ξξ μ μ μ= 1 = N M N I E N N 1 = w xx 2 i= 1 j= 1 Asynkron uppdatering Spurious states ij i j
Utvidgningar av attraktornät Hjärnbarken? 1) Gles aktivitet ( sparse ) 2) Gles W ( diluted ) 3) Modulär struktur 4) Glömskt minne 5) Adaptation 6) Gömt lager 7)
Prestandamått minneskapacitet Antal återkallbara (slumpmässiga) mönster Bits/koppling (fri parameter) Brusanalys Informationsteoretisk analys Replikateori
Hopfieldnät minneskapacitet Slumpmässiga mönster, 50% aktiva Crosstalk, variansanalys M c M = max 0,14N = N 2ln N med fel i recall utan fel i recall Mycket analys finns
Minneskapacitet Informationsteoretisk uppskattning Önskemål, inte bevis Antal bits i W (symmetrisk) Antal bits/återkallat mönster bits / mönster = log P= antal möjliga olika mönster Z= antal återkallade mönster bits = Z log P P 2 2 P ( 1) kn N bitsw = 2 k = antal bits / koppling Stämmer hyfsat för standard Hopfield, Z max = 0,14N Z max bits = bits W P
Utvidgning 1 Gles, binär aktivitet, {0,1} Lagrade mönster : ξ μ i 1 med sannolikhet a = 0 med sannolikhet1 a 1 wij = i a j a N μ μ ( ξ )( ξ ) μ M a M c = c N = 2a lna ln N N 1 N 2 lnn 2
Informationsteoretisk uppskattning Aktivitetsnivå a = m/n = lnn/n bits P N N! = log2 = log2 m m! ( N m)! 4 x 108 3.5 3 2.5 2 Z max bitsw N = = k bitsp log N 2 1.5 1 0.5 0 0 1 2 3 4 5 6 7 8 9 10 x 10 5
Utvidgning 2 Modulära nät Tröskelkontroll Ofta problematiskt m-winners-take-all Modulära nät Hjärnbarken minikolumner,hyperkolumner t ex Hopfieldnät Pottsnät BCPNN Moduler med Σaktivitet = 1 Tröskelkontroll enkel
Modulärt ANN H = 3 M = 2 Normalisering
Moduler diskreta attribut Diskreta inattribut x i Diskret utattribut y i Probabilistiskt perspektiv Utaktivitet Konfidens/ Belief Tyst hyperkolumn :: attributvärde = N/A
Fuzzy representation neurofuzzy Fuzzy variabler Lingvistiska Manuell indelning Grafisk blandingsmodell Automatiskt, EM Intervallkodning Användes tidigt i Japan I konsumentprodukter Kylskåp Äggkokare Hyperkolumn med? enheter Mjuk tåginbromsning (Shinkhansen) Struktur fysikaliska egenskaper hos kemiska ämnen Astra-Zeneca
Informationsteoretisk uppskattning H hyperkolumner med M enheter i varje bits = log M = H log M P Z max H 2 2 2 kn = 2H log ( 1 1 H ) ( N H) 2 Tysta hyperkolumner! 6 x 108 5 4 3 2 H=lb(N) Utan H Silent H 1 0 0 1 2 3 4 5 6 7 8 9 10 x 10 5
Utvidgning 3 Gles W Gles kopplingsmatris c = connectivity density c M = connections / unit Lagringskapacitet minskar ung proportionellt dock, adaptiv utglesning
Exempel, associativ hjärnarea Antal nervceller = 10 9, 1/100 av kortex 10 7 enheter (minikolumner) 10 5 hyperkolumner Tysta hyperkolumner 0.5 aktivitetsnivå 1 konnektivitet (mellan minikolumner hos människa) ca 400 miljoner mönster kan lagras ca 15/min! Hur mycket minne behövs?
Utvidgning 4 Kontinuerlig inlärning, glömska Läckande inlärning dw dt ij = μ μ ξ ξ i j wij τ w Tidskonstant för vikter, τ w Långtids korttidsminne arbetsminne Undviker katastrofal glömska Palimpsestminne Minneskonsolidering: Hippocampus Neocortex
Glömskt attraktorminne
Bra beskrivning av minne?
DEMO Listinlärning
Modulerat glömskt attraktorminne Print-now för varje mönster, τ w Minnesmodulation
Utvidgning 6: Adaptation Nervceller egenskaper Ström Frekvens Adaptation Synaptisk depression Vad händer i Hopfieldnät? Attraktorvandring!
Attraktornät + adaptation Standard Hopfieldnät fastnar i energiminima
Bra minneskapacitet etc, men Vilka är begränsningarna? Viktig funktionalitet som saknas?
Träningsmängd Hidden Population 32x16 = 512 units Input Population 256x2 = 512 units Input Population 256x2 = 512 units
Utvidgning 5 Attraktorminnen med gömt lager Instabil Stabil representation Stort antal slumpmässiga mönster Korrelerade ( verkliga ) mönster lagringskapacitet ej begränsad av N bättre klassificeringsförmåga Hjärnbarkens lager IV Kompetitiv inlärning Feature extraktion Oövervakad inlärning, ev bias Tidigare analys gäller nu gömt lager
Överkomplett, gles bildrepresentation Överkomplett = antal basfunktioner > antal pixlar i en patch Sparse basis functions for the patches were extracted from training images by an iterative learning procedure. Most of the functions are oriented, localized and cover a limited range of spatial frequencies, like the receptive fields of neurons in the visual cortex. Image courtesy of Bruno A. Olshausen.
Exempel - bildrekonstruktion Bilder från Colombia University Image Library COIL-100. Upplösning 128 128 pixel 100 bilder lagrades i ANN med 16384 hypercolumner med M = 100 Parallellimplementerat 7 x 104 retrieval cue one iteration four iterations twenty iterations Pixels in All of the 100 Images 6 5 4 3 2 1 A B 0 0 20 40 60 80 100 Colors