En undersökning av minneskapaciteten i ett glest kopplat Bayesiskt nätverk

Transkript

1 En undersöknng av mnneskapacteten ett glest kopplat Bayesskt nätverk KRISTER SANDH Eamensarbete Stockholm, Sverge 2005 TRITA-NA-E05113

2 Numersk analys och datalog Department of Numercal Analyss KTH and Computer Scence Stockholm Royal Insttute of Technology SE Stockholm, Sweden En undersöknng av mnneskapacteten ett glest kopplat Bayesskt nätverk KRISTER SANDH TRITA-NA-E05113 Eamensarbete datalog om 20 poäng vd rogrammet för teknsk fysk, Kunglga Teknska Högskolan år 2005 Handledare på Nada var Chrstopher Johansson Eamnator var Anders Lansner

3 En undersöknng av mnneskapacteten ett glest kopplat Bayesskt neuralt nätverk Sammanfattnng I detta eamensarbete undersökte jag hur mnneskapacteten ett återkopplat neuralt nätverk av Hopfeldtyp påverkas när antalet kopplngar reduceras. I försöken användes ett återkopplat BCNN Bayesan Confdence ropagaton Neural Network med hyperkolumnstruktur. Uppgften kom att bestå av två huvuddelar: att undersöka olka algortmer för att ta bort kopplngar och utglesnngens effekt på mnnesförmågan, och att htta ett effektvt sätt att flytta omkrng kopplngarna ett glest nät för att få en bättre mnnesförmåga. Testerna den första delen vsade att de utglesnngsalgortmer som gav bäst resultat var de som sparade kopplngarna med de starkaste postva vkterna, särsklt när nätet var lågbelastat, och att ta bort kopplngar med negatva vkter nte påverkade mnnesförmågan nämnvärt. Den andra delen av arbetet resulterade en algortm som sorterade vkterna det glesa nätet från de mest värdefulla tll de mndre. Därefter utvaldes en vkt som pvotelement som bestämde vlka vkter som skulle sparas efter varje omflyttnng. A study of the memory capacty of a sparsely connected Bayesan Neural Network Abstract In ths thess I have been nvestgatng how the memory capacty of a recurrent neural network of Hopfeld type was affected when the number of connectons was reduced. In the eperments a BCNN Bayesan Confdence ropagaton Network wth hypercolumn structure was used. The task was dvded manly nto two parts: to nvestgate dfferent algorthms for the reducton of the connectons, and to fnd an effcent method to rearrange the connectons n a sparse network to mamze the memory capacty. The tests n the frst part showed that the algorthms that gave the best results were those that saved the connectons wth the strongest postve weghts, especally n a net wth low load, and that removng connectons wth negatve weghts ddn t affect the memory capacty apprecably. The second part of the work resulted n an algorthm that sorted the weghts n the sparse network, from the most valuable to the least, and then selected one weght as a pvotelement that decded whch weghts to be saved after each rearrangement.

4 Förord Eamensarbetet gjordes nom ämnet datalog hos Sans-gruppen Studes of Artfcal Neural Systems på Nada Insttutonen för numersk analys och datalog, KTH. Mn handledare var första hand Chrstopher Johansson, doktorand på Nada, utan vars stöd och uppmuntran det kanske aldrg hade blvt klart. Eamnator och delvs handledare var professor Anders Lansner, som jag även vll tacka för att han gav mg möjlgheten att göra mtt eamensarbete nom detta spännande forsknngsområde.

5 Innehållsförtecknng 1 Inlednng Bakgrund Nervcellen Nervsystemet Artfcella neuroner Artfcella neuronnät Hopfeldnät BCNN almpsestegenskaper BCNN med hyperkolumner BCNN och kontnuerlg nlärnng Artfcella neuronnät med gles kopplngsstruktur Metoder Mjukvara och hårdvara BCNN-smulatorn Vktmatrsen Algortmer Fördelnngsalgortmer Utglesnngsalgortmer Omorganserngsalgortmer Resultat Vktfördelnng Utglesnng av vktmatrsen Slumpmässg utglesnng Sorterad utglesnng Jämförelse mellan några ntressanta algortmer Negatva och postva vkter Lagrng av gles vktmatrs och nlärnng av ett glest BCNN-nät Lagrngsstruktur Optmerng av kapacteten ett glest kopplat nät Slutsatser och dskusson Referenser... 34

6 1 Inlednng Syftet med det här eamensarbetet var att undersöka hur mnneskapacteten ett artfcellt neuronnät ANN av Hopfeldtyp påverkas när man mnskar antalet kopplngar nätet och att försöka htta en effektv algortm för att organsera kopplngarna ett glest kopplat nät för att få ut mamal mnneskapactet. Artfcella neuronät av Hopfeldtyp är ntressanta att studera eftersom de kan ses som modeller av hur hjärnan lagrar och återkallar mnnen [1]. Hopfeldnät är ett assocatvt mnne vlket nnebär att man kan lagra mönster nätet och återkallar dessa med endast partella delar av de ursprunglga mönstren. Vanlgtvs används fullt kopplade nät, dvs. varje neuron nätet har en kopplng tll alla andra neuroner nätet men vll man använda större nät för att öka representatonsförmågan blr detta ohanterlgt. Varje kopplng nätet nnebär en beräknng när nätet arbetar och ska det vara praktskt användbart måste antalet kopplngar och därmed beräknngar vara så få som möjlgt. Glesa ANN är också ntressanta av den anlednngen att hjärnans neokorte är glest kopplad och vll man ha så bra modeller som möjlgt av hjärnan måste dessa därför också vara glest kopplade. Ett neuron neokorte har vanlgtvs kopplngar tll ca 10 4 av neokorte totalt neuroner [2]. Kopplngstätheten är högre på lokal nvå, men även på lokal nvå är kopplngstätheten låg, ca 10 30% [ers. Comm. A. Lansner]. I epermenten användes ett BCNN-nät Bayesan Confdens ropagaton Neural Network med hyperkolumner och palmpsestegenskaper, vlket kommer att gås genom avsntt 2, och som har utvecklats av Sans-gruppen på Nada Insttutonen för numersk analys och datalog på Kunglga Teknska Högskolan Stockholm. 2 Bakgrund 2.1 Nervcellen Nervcellen består av en cellkropp med ett fnt förgrenat nätverk av nervtrådar, dendrter, och en ensam lång nervtråd som sträcker sg ut från cellkroppen, kallad aon. Aonen är kopplad tll andra cellers dendrter eller drekt tll en annan cellkropp genom en synaps Fgur 1. Synapsen är den elektrokemsk kopplng som överför den elektrska sgnalen från aonen tll mottagarcellens dendrt genom en kemsk process som höjer eller sänker potentalen cellen, beroende på vlken sorts synaps det är. otentalskllnaden styrs av negatva eller postva joner som släpps genom ett membran cellväggen. En aon kan vara kopplad tll ett par tusen andra celler och lkaså kan en cell ha flera tusen synapser kopplade tll sg. 1

7 Fgur 1. Två neuroner som är hopkopplade med en aon. I cellkroppen summeras alla potentalskllnader och om den totala potentalen överstger ett tröskelvärde kommer cellen att nducera en elektrsk puls genom aonen. ulsen varar ett kort ögonblck, sedan nduceras en ny puls om potentalen cellen fortfarande överstger tröskelvärdet. å så sätt skapas en följd av elektrska pulser som ger en vss frekvens vlket blr mått på hur aktv cellen är. I en mer detaljerad beskrvnng av nervcellen måste man även ta med tdsaspekter på potentalförändrngarna dendrterna. otentalen cellkroppen klngar av om den nte förnyas och kommer så smånngom att nta ett grundtllstånd. Om två synapser tar emot pulser vd samma tdpunkt och synapserna lgger olka långt från cellkärnan, kan potentalen cellkroppen från den närmaste synapsen ha klngat av när potentalskllnaden från den avlägsna synapsen når cellkroppen. Synapserna kommer därför nte att samverka trots att sgnalerna nådde cellen samtdgt [3, 4]. 2.2 Nervsystemet Nervsystemet består av hjärnan och ryggmärgen och det perfera nervsystemet. Hjärnan kan delas n tre delar, storhjärnan, lllhjärnan och hjärnstammen. Hjärnstammen nnehåller alla lvsvktga funktoner som andnng och crkulaton, lllhjärnan kontrollerar samordnngen av musklerna. Storhjärnan, eller korte, är centrum för de högre kogntva funktonerna som tal och tänkande. Korte yta består av nervceller och under ytan lgger nervtrådarna som förbnder cellerna med varandra och andra delar av hjärnan och kroppen. Ytan är starkt vecklad vlket är ett effektvt sätt att mamera arean och därmed få n fler nervceller en begränsad volym. Den största delen av korte utgörs av neokorte och fnns endast hos däggdjur. Det anses att neokorte är en ganska sent utvecklad struktur och den assoceras med nformatonsbehandlng på en högre nvå bland mer utvecklade djur som tll eempel männskan, apor och delfner [5]. En vktg funkton neokorte är att långtdslagra mnnen form av mönster och en teor är att det görs först efter det att mönstren har korttdslagrat en regon av hjärnan som kallas hppocampus. I hppocampus lagras mönstren omedelbart efter att en händelse har regstrerats genom ett snne, som tll eempel syn, hörsel eller lukt. Därefter överförs mönstren tll neokorte för att organseras och långtdssparas vlket verkar vara en långsam och omständlg process som kan ta flera dagar, veckor eller tll och med år. I neokorte lagras varje mnne nnehållsadressabelt content-addressable vlket nnebär att ett mnne kan återhämtas genom att endast aktvera en partell representaton av hela mnnesblden. Ett ljud, en lukt eller en vsuell bld kan framkalla en komple mnnesbld som kan vara 2

8 sammansatt av flera snnesupplevelser och känslor [6]. Inlärnng eller lagrng av ett mnne verkar ske en så kallad Hebbsk nlärnngsprocess, vlket nnebär att celler som är aktva samtdgt får en förstärkt kopplng mellan sg. Celler som nte är aktva samtdgt får en försvagad eller negatv kopplng. Nervcellerna neokorte är ordnade grupper, så kallade mnkolumner, som den mänsklga hjärnan kan bestå av crka 100 celler, vlka samverkar och fungerar som en enhet. Anlednngen tll den här strukturen verkar vara att en ensam cell nte kan reagera tllräcklgt snabbt och kraftfullt för att kunna påverka alla andra celler som ska ngå mnnesmönstret. Genom att blda mnkolumner blr kopplngstätheten högre och kommunkatonen snabbare. Mnkolumner kan också samverka och blda hyperkolumner. Ungefär mnkolumner ngår en hyperkolumn [7,8]. Dessa hyperkolumner utgör en enhet som normalserar aktvteten de ngående mnkolumnerna. Ett eempel är syncentrat neokorte där ca 18 mnkolumner samverkar en hyperkolumn och var och en av mnkolumnerna är känslg för en rktnng och tllsammans täcker de upp alla möjlga rktnngar. Enlgt prncpen wnner-take-all är bara en mnkolumn aktv taget [9]. Hjärnan är även topografskt organserad. Neuroner har fler kopplngar tll neuroner stt grannskap än tll neuroner som lgger längre bort. I stort sett är neokorte mycket glest kopplad och ett neuron den mänsklga hjärnan har kopplngar tll sntt crka 0.1% av det totala antalet mnkolumner [10]. 2.3 Artfcella neuroner Ett artfcellt neuron är en förenklad modell av den bologska cellen. Lksom en bologsk cell, summerar ett artfcellt neuron alla nkommande sgnaler och skckar ut en sgnal som beror av en olnjär funkton, aktvtetsfunktonen Fgur 2. Fgur 2. Schematsk bld av ett artfcellt neuron med tre nsgnaler En enkel funkton som användes de tdgaste artfcella neuronerna är den trösklande. Insgnalerna som är antngen ett eller noll, multplceras med vkterna kopplngsstyrkorna, sedan summeras dessa och om summan överstger tröskelvärdet blr utsgnalen en etta, annars noll. I vektorform kan det skrvas som a = w µ 1 om a 0 y = 0 annars där a är vektorn med aktvteten neuronerna, w är vektorn med vkterna kopplngarna, är vektorn med nsgnaler tll neuronerna, µ är vektorn med nodernas tröskelvärde och y är vektorn med utvärden från neuronerna. 3

9 Eftersom utsgnalen från en bologsk cell egentlgen är en följd av ettor och nollor, som bldar ett spktåg med en vss frekvens mellan noll och ett mavärde, kan frekvensen ses som ett medelvärde över tden. En annan använd funkton som ger en bra modell av det här är sgmodfunktonen som ger en mjukt kontnuerlg kurva hela ntervallet mellan noll och ett: a = w y 1 a µ ρ = σ a / 1+ e µ kan tolkas som tröskelvärdet och ρ bestämmer formen på funktonen, ett stort värde ger en svagare stgnng medan ett ltet värde ger en brantare kurva [3, 4]. 2.4 Artfcella neuronnät Den vanlgaste och mest undersökta modellen av artfcella neuronnät är framåtkopplade nät. Sgnalerna tllåts endast röra sg en rktnng, från nnoder tll utnoder. Ett enkelt framåtkopplat nät består endast av ett nlager och utlager av noder och det fnns nga kopplngar nom lagren Fgur 3. Ett sådant nät kan tränas med perceptronnlärnngsregeln; w = α t y v där w är förändrngen alla vkterna vektorform, v är ndata vektorform, y utdata, t är önskade utdata och α är nlärnngsparametern y1 y2 Fgur 3. Enkelt enlagers neuronnät med två neuroner utlagret. Inneuronerna räknas nte som ett lager. Ett enlagers framåtkopplat nät har begränsnngar, det kan nte lösa problem som nte är lnjärt separabla. T e klarar det nte av XOR-problemet Fgur y Fgur 4. XOR-tabell. Två lka nsgnaler ger en etta ut, annars noll. Lägger man tll ett lager mellan ut- och nnoderna får man ett flerlagersnät som klarar av cke-lnjärt separabla problem om det har en ckelnjär överförngsfunkton. Mellanlagret blr ett gömt lager vars tllstånd man nte vet något om. Trots detta går det att träna nätet med hjälp av en algortm som kallas backpropagaton och en 4

10 regel som kallas deltaregeln. I backpropagaton-algortmen skckas felet bakåt genom nätet, från utnoderna tll nnoderna. Först justeras vkterna mellan utnoderna och de gömda noderna på samma sätt som ett enkellagersnät, därefter ändras vkterna mellan de gömda noderna och nnoderna med w k k = α σ a δ k p k k δ = j I k j δ w jk j k där δ är felet utnod j, d.v.s t y, δ är felet den gömda noden k vlken utgörs av summan av felen utnoderna multplcerad med vkten mellan utnoderna och nod k. Ett framåtkopplat nät behöver nte vara fullt kopplat, vlket nnebär att en nod ett lager nte har kopplngar tll alla noder nästa lager. Inte heller behöver kopplngarna gå tll nästa lager utan kopplngen kan gå drekt tll nästföljande lager. Kopplngarna kan däremot nte gå tllbaka tll ett föregående lager och blda en loop nätet, vlket skulle betyda att nätet blr återkopplat. 2.5 Hopfeldnät Ett Hopfeldnät är ett fullt återkopplat nät. Varje nod har en kopplng tll varje annan nod nätet, förutom sg själv. Kopplngarnas vkter är symmetrska, d.v.s. vkten mellan noderna och j är samma som mellan noderna j och. Hopfeldnätet är ett så kallat assocatvt nät vlket betyder att det kan återkalla ett mönster genom att använda delar av mönstret självt som nyckel. Ett feedforwardnät kan också användas som ett assocatvt nät genom att det tränas med samma mönster som ndata och utdata men ett Hopfeldnät kan göra det mycket effektvare. Man låter det förvrängda mönstret vara ndata. Utdata kommer att vara en förbättrad verson av det förvrängda mönstret vlket man kan använda som ny ndata tll nätet. Fortsätter denna teratva process kommer så smånngom nätet att stablsera sg det ursprunglga mönstret [3]. Att nätet stablserar sg nnebär att det har httat ett så kallat energmnma. Dynamken nätet bestäms av energfunktonen. Begreppet är hämtat från fysken, Hopfeld var fysker, och elektronernas spnn magnetska materal. En elektron kan ha två spnntllstånd, antngen uppåt eller neråt. När elektronen spnner bldas ett ltet magnetfält och magnetfältet påverkar elektronerna runt omkrng, ju närmare elektronerna lgger desto större påverkan har de. Genom att summera var och en av elektronernas magnetska bdrag och deras påverkan på andra elektroners bdrag kan man beräkna systemets totala magnetska energ. Det här går att överföra tll ett Hopfeldnät genom att en nods tllstånd, 1 eller 1, motsvarar en elektrons spnn och vkterna mellan noderna motsvaras av elektronernas påverkan på varandra, d.v.s. avståndet mellan elektronerna. Man kan då beräkna energn nätet vd olka elektronkonfguratoner. En av elektronkonfguratonerna kommer att ha lägst energ och fnns det ngen yttre påverkan på systemet kommer det efter en td att ställa n sg den konfguratonen. Samma sak händer ett Hopfeldnät då nätet konvergerar mot ett mönster och stablserar sg ett energmnma. Man kan låta det ske asynkront som elektronsystemet eller synkront, vlket är vanlgare Hopfeldnät. Tllståndet varje nod beräknas enlgt 5

11 = sgn wj j µ j där är nod :s tllstånd och µ är nod :s tröskelvärde som oftast sätts tll 0 då {1,-1} [4]. Energfunktonen för ett Hopfeldnät är 1 E = wj j 2, j där w = 0. Varje gång en nod ändrar tllstånd kommer energfunktonens värde att bl mndre eller oförändrat och eftersom den nte kan mnska det oändlga, den är begränsad av att alla, j = 1, måste E slutlgen nå ett ft värde [3]. När man lagrar flera mönster ett nät kommer varje mönster att representeras av ett energmnma och tllsammans bldar dessa ett energlandskap med mnma och mama. Vd återkallandet av ett mönster kommer nätet att ntalt hamna någonstans energlandskapet och för varje uppdaterng konvergera ner närmaste sänka. När E nte förändras mer eller förändras tllräcklgt lte har nätet stablserat sg ett mönster. Tyvärr kan kombnatoner av olka mönster ge upphov tll små sänkor som är oönskade och det gäller att försöka undvka dessa. Detta kan göras genom att lägga n lte brus som ändrar tllståndet något och flyttar det lte energlandskapet och förhoppnngsvs då bort från den oönskade sänkan. Mönstren lagras Hopfeldnätet genom att sätta vkterna tll lämplga värden. Detta görs med hjälp av Hebbs nlärnngsregel, d.v.s. noder som tenderar att ha samma tllstånd ofta får en starkare vkt emellan sg och svagare om de nte har det. Förändrngen av en vkt vd nlärnng ges av w = α j p p j där α är nlärnngskonstanten, som lgger mellan 0 och 1, och p är det mönster som ska lagras. Lagrngskapacteten ett Hopfeldnät beror på nätets storlek, ju större nät desto fler mönster kan lagras, men också på hur mönstren är korrelerade. Om mönstren lknar varandra kommer attraktorsänkorna att hamna väldgt nära varandra och det får nte plats lka många. Om mönstren stället är väldgt olka, som tll eempel slumpmönster, kommer sänkorna att få en jämn sprdnng över energlandskapet. Hopfeld vsade att ungefär hälften av mönstren kunde lagras korrekt ett nät med N noder om m = 0.15N där m är antal lagrade mönster. Detta gäller för mönster med 50% ettor, men för ett glest mönster med t e 10% ettor blr lagrngskapacteten större [4, 11]. 2.6 BCNN Ett neuron som får nsgnaler från andra neuroner höjer sn nre potental. Detta medför att neuronet kan komma att avfyra en utsgnal, men det behöver nte ske. Men ju högre potentalen är desto större är sannolkheten att den gör det. Sannolkheten att neuronet ska avfyra en utsgnal beror alltså först på sannolkheten att den får nsgnaler. Detta kan uttryckas med Bayes regel. 6

12 7 Hur stor är sannolkheten att händelse B nträffar om händelse A först måste nträffa. A B A B A B = BCNN algortmen bygger på Bayes regel [9]. Om v låter Y beteckna mängden av nodernas tllstånd och X en vektor av nsgnaler, då kan Bayes regel skrvas som X Y X Y X Y = Om nsgnalerna är oberoende av varandra kan man skrva uttrycket som = X Y X Y X Y och logartmeras detta får man + = X X Y Y X Y, log log log Låt nu y vara en specell nod och A mängden av nsgnaler {, j, k }. A o y y y y y y A y + = + =, log log, log log log där o är aktvteten en nnod och lka med 1 om o A och 0 annars. Låter man nu log y y = β =, log y y y w log A y h y = kan man se lkheten med Hopfeldnätets ekvaton + = y y o w h β y då är h y nod y:s potental, β y y:s bas och w y vkten mellan nod y och nod. y, och, y beräknas genom att räkna antalet förekomster av, y och y tränngsdata och dvdera med det totala antalet tränngsdata.

13 2.7 almpsestegenskaper En vktg egenskap som hjärnan har är förmåga att glömma. Den måste göra sg av med gammal och outnyttjad nformaton för att ge plats för ny nformaton. I ett attraktornät resulterar en överbelastnng catastrophc forgettng, vlket nnebär att nätet mnnesförmåga kollapsar. För att förhndra detta kan man använda ett nät med förmåga att glömma. Ett sådant mnne kallas palmpsestmnne. En vanlg teknk för Hopfeldnät är att begränsa vkternas storlek uppåt och neråt så att A w j A. Inlärnngsregeln för tränngsmönster ξ n blr,kpp,6ylö6 n n ξ ξ j w n + = c w n + j 1 j N där N är antal noder nätet, c är klppfunktonen och n är det n:te mönstret. A < A c = < A A A < Vd för högt värde på A nträffar catastrophc forgettng och vd för låga värden på A mnns nätet endast det senast nlärda mönstret. Den optmala kapacteten för ett nät med nlärnng nom gränser är 0.05N vlket kan jämföras med den vanlga Hebbska nlärnngen som har en kapactet på 0.137N. Man får en markant sämre kapactet utbyte mot en långsktg stabltet nätet [12]. 2.8 BCNN med hyperkolumner V uppfattar omvärlden som ett kontnuerlgt spektrum av sgnaler och hjärnans sätt att handskas med detta är att gruppera flera enheter, mnkolumner, hyperkolumner. Denna hyperkolumn kan sedan beskrva ett attrbut som tll eempel en färg med olka värden. Ett vanlgt eempel är kodnngen av kanter eller lnjer det prmära vsuella korte. Orenterngshyperkolumnen nnehåller mnkolumner som var och en reagerar för sn rktnng och dessa mnkolumner täcker n alla tänkbara rktnngar [12]. I BCNN-nätet kommer en nod att motsvara en mnkolumn och ett antal mnkolumner bldar en hyperkolumn. Aktvteten hos alla mnkolumner en hyperkolumn normeras så att den sammanlagda aktvteten blr ett. Oftast är dock endast en mnkolumn aktv åt gången och den får då värdet ett. Anta att v har ett BCNN-nät utan hyperkolumner som beskrvet tdgare. Eftersom det är ett rekursvt nät kan y ersättas med så att v får π j = j, A = y j A, j j Med ett nät med hyperkolumnstruktur får v ett attrbut som kan anta M olka värden. Nodernas ut- och nsgnaler, y och, kommer då att få dubbla nde, det första anger attrbutet och det andra attrbutets värde. V får π = A, k k 8

14 där varje attrbut {1,,n} har ett unkt värde k och k {1,,M }. Sedan följer att π = N M = 1 = 1, med ndkatorn o = 1 om = k. o kan ses som nsgnal från nod som ju är 1 om = k annars 0. Detta är samma som utsgnalen från nod vlket kan ses som väntevärdet av att nod ska vara aktv och skrvs som ˆ π. Inför v detta och väntevärdet på π jj, och logartmerar, får v log ˆ π = log och detta kan skrvas om som + N o log M = 1 = 1, ˆ π där h = β + N M log w πˆ jj jj jj = 1 β w = = log, β är basen nod och w jj är vkten mellan noderna och jj. π kan betraktas som utsgnal från nod jj och representerar konfdensen eller ˆ jj sannolkheten att nod j ska ha värdet j. ˆ π jj normeras enlg j h e ˆπ = f h =. h e När man återkallar ett mnne låter man nätet konvergera teratvt mot en attraktor. Noderna får uppdateras tlls förändrngen noderna blr tllräcklgt lten. När detta har skett är nätet jämvkt. Uppdaterngsregeln blr d h t τ c = β dt + N log w ˆ jj π t h M τ c är nodens membrantdskonstant. Detta är den kontnuerlga uppdaterngen. Om τ c 0 kommer v att få den dskreta uppdaterngen [12]. t 9

15 N M h + = + t 1 β log w ˆ π t 2.9 BCNN och kontnuerlg nlärnng Den enklare modellen av BCNN-nät bygger på nlärnng genom att räkna förekomsten av aktvteter noderna en mängd mönster. Man får på så sätt fram en sannolkhet,, att nod jj ska vara aktv och sannolkheten, jj för att noderna och jj är aktva samtdgt. För palmpsestegenskaperna används den väande Bayesska nlärnngsregeln. Den appromerar och, jj med de gldande medelvärdena Λ t av aktvteten π t och Λ jj t av den samtda aktvteten av π t och π jj t. Då får nlärnngsreglerna följande form dλ t = α [1 λ0 ˆ π t + λ0 ] Λ t dt dλ t 2 2 = α [1 λ ˆ π t ˆ π t + λ0 ] Λ dt β t = log t w Λ Λ t t = Λ t Λ t 0 t Inlärnngskonstanten α = 1/τ L är en mer användbar parameter än τ L. Genom att sätta α tll noll kan nätverket aktveras utan att vkterna förändras. Detta görs när man vll komma åt ett mnne. λ 0 är en konstant som förhndrar logartmerng av noll och man kan se det som ett brus eller en låg aktvtet som hela tden fnns noden. λ 0 har ett ltet värde, här är λ 0 = 0,001 [12]. För att sammanfatta BCNN- nätets regler Inlärnng: dλ t = α [1 λ0 ˆ π t + λ0 ] Λ t dt dλ t 2 2 = α [1 λ ˆ π t ˆ π t + λ0 ] Λ dt β t = log t w Λ Λ t t = Λ t Λ t 0 t Mnnesåtkomst: dh t τ c dt = β t + N log w t ˆ π t h j M j t 10

16 ˆ π t = e h j e hj 2.10 Artfcella neuronnät med gles kopplngsstruktur Rktgt stora artfcella neuronnät måste av praktska skäl vara glest kopplade eftersom varje kopplng nnebär en beräknng och varje kopplngsvkt måste lagras. Vll man dessutom bygga en hårdvarumplementaton med ANN-chp måste man ta hänsyn tll avstånden mellan neuronerna och det skulle vara fördelaktgare att ha en gles kopplngsstruktur tll neuroner som lgger lång från varandra och en större kopplngstäthet lokalt. Det är också av ntresse att göra artfcella neuronnät som efterlknar hjärna vlken är synnerlgen glest kopplad. Studer har vsat att enkla återkopplade nätverk kan få en effektvare nlärnng om det är glest kopplat. I en stude av D Este, Towsey och Dederch användes ett feed-forward nät med ett lager gömda noder [2]. De gömda noderna var kopplade tll ett lager med tllståndsnoder som sn tur var återkopplade tll de gömda noderna. Sådana nätverk används för språknlärnng. För att glesa ut det fullt kopplade nätet nfördes fler gömda noder medan antalet kopplngar hölls konstant. Nätet fck en ökad förmåga tll generalserng och ökad nlärnngshastghet. Detta förklaras med en ökad dmensonaltet av tllståndsrummet det gömda lagret. En annan stude som gjorts på Hopfeldnät [10] vsar att man kan träna ett Hopfeldnät med kontnuerlg nlärnng även med mycket låg kopplngstäthet. För den kontnuerlga nlärnngen användes klppfunktonen och för ett optmalt nställt värde på funktonen kunde man få ett 1000 nodersnät att mnnas 9 mönster med 16% kopplngstäthet. För att få nätet att mnnas fler mönster måste klppfunktonens värde höjas och då fnns rsken för överbelastnng nätet, catastrophc forgettng. Informatonskapacteten per kopplng är också bättre för partellt kopplade system jämfört med ett fullt kopplat. Kapacteten ökar ju glesare och slumpmässga kopplngarna är [13]. Det vsar sg dock att man måste ha många fler neuroner än det fullt kopplade nätet för att få en sgnfkant bättre kapactet. Den stora fördelen med det är att det är kopplngarna ett ANN som tar lagrngsplats och beräknngstd. En annan fördel är om man vll tllverka ett ANN-chp, då är det just kopplngarna som tar plats jämförelse med neuronerna. Så ett partellt kopplat nätverk, specellt om man har någon form av lokal kopplngstäthet, skulle vara det mest effektva utnyttjandet av utrymmet, och reducera kommunkatonstden och öka lagrngstätheten per kopplng. 3 Metoder 3.1 Mjukvara och hårdvara För testnng och utvärderng av algortmerna användes ett smulerat BCNN-nät skrvet och konstruerat av Chrstopher Johansson på Sans NADA. rogrammet var skrvet Java och jag kom att använda samma programmerngsspråk även för mna algortmer. Fgurer och dagram gjordes Matlab. rogrammerng och tester gjordes på en bärbar C med entumii-processor, 512 Mb rammnne och Wndows98. Rapporten är skrven Mcrosoft Word. 11

17 3.2 BCNN-smulatorn Smulatorn som användes hade både hyperkolumnstruktur och palmpsestegenskaper och mplementerade BCNN-nätets nlärnngs- och åtkomstregler. Dfferentalekvatonen löstes med Euler-framåtalgortmen. Flera av algortmerna testades med olka stora nät, 100, 400 och 900 noder. Skllnaderna på de olka stora näten var små. Att det blev skllnader överhuvudtaget berodde på svårgheten att ställa n parametrarna så att förutsättnngarna blev lka. 100 noder nätet vsade sg vara tllräcklgt för undersöknngen. Näten testades genom att först lagra ett antal mönster, 60 mönster 100 nodersnätet. Sedan stördes 20% av hyperkolumnerna mönstren och nätet skulle sedan återkalla de ursprunglga mönstren från de störda. Om ett mönster återkallats med 0% fel ansågs det vara korrekt återkallat. 3.3 Vktmatrsen 100-nodersnätet delades upp 10 hyperkolumner. Antalet hyperkolumner H, förhållande med det totala antalet noder N, har vsat sg ge optmal kapactet om H = N [11]. Aktvteten nom en hyperkolumn är normerad och endast en mnkolumn nom en hyperkolumn är aktv åt gången, wnner-take-all-prncpen. Alltså en av to noder har värdet 1 och resten 0. Tränngsmönstren som användes var slumpmönster vlket nnebar att nom en hyperkolumn sattes en slumpmässgt utvald nod tll 1 och resten tll 0. BCNN-algortmen ger en symmetrsk matrs. Hyperkolumnstrukturen gör att matrsens dagonal är fylld med nollor eftersom det nte ska fnns några kopplngar, och därmed nga vkter, nom en hyperkolumn. Normerngen gör dessa vkter onödga. Fgur w 14 w 15 w 16 w 17 w 18 w w 24 w 25 w 26 w 27 w 28 w w 34 w 35 w 36 w 37 w 38 w 39 w 41 w 42 w w 47 w 48 w 49 w 51 w 52 w w 57 w 58 w 59 w 61 w 62 w w 67 w 68 w 69 w 71 w 72 w 73 w 74 w 75 w w 81 w 82 w 83 w 84 w 85 w w 91 w 92 w 93 w 94 w 95 w Fgur 5. En vktmatrs för ett 9-noders BCNN-nät med 3 hyperkolumner. Icke-noll elementen matrsen är symmetrska, w j = w j. I BCNN-matrsen kommer noll-elementen att skrvas som 1 eftersom två noder som nte har kopplng mellan sg statstskt kan ses som okorrelerade. Man kan nte se någon antydan på att deras aktvteter skulle påverka varandra. I sannolkhetsläran kan man uttrycka det som, y = y, y = 1 y och eftersom 12

18 w y =, y y blr w y = 1. Symmetregenskaperna är vktga Hopfeldlknande nät för att energfunktonen ska vara gltg. Om nte symmetregenskaperna är uppfyllda är det nte garanterat att nätet konvergerar tll en attraktor, dvs. ett mönster. Ett nät med en osymmetrsk matrs kan börja oscllera mellan olka tllstånd. 3.4 Algortmer Fördelnngsalgortmer Vkterna delades upp ett antal ntervall från största negatva tll största postva vkt. Antalet vkter hstogrammerades nom varje ntervall Utglesnngsalgortmer Vd utglesnngen tränades nätet först med en full vktmatrs. En utglesnngsalgortm bestämde vlka matrselement som skulle tas bort och dessa sattes tll ett. Nätets mnneskapactet undersöktes vd olka grad av utglesnng, från 0 upp tll 100%, ntervall om 2 procentenheter. Det fnns huvudsak två olka sorters utglesnngsalgortmer. De som glesar ut matrsen med olka grad av slumpmässghet och de som först sorterar matrselementen någon slags ordnng och sedan tar bort de matrselement man nte vll behålla. Bologskt sett skulle man kunna tänka sg en kombnaton av de båda. Tll eempel kan man tänka sg att det bldas nya kopplngar och att dessa bldas mellan två slumpmässga neuroner. Det är också förmodlgen så att kopplngar som nte förmedlar någon sgnal mellan två neuroner, och alltså nte fyller någon funkton, tllbakabldas [ers. Comm. A. Lansner]. Slumpmässga algortmer 1 Rent slumpmässg En rent slumpmässg algortm väljer bara ut en rad och en kolumn slumpmässgt vktmatrsen och sätter det matrselementet tll 1 dvs. ngen kopplng. 2 Slumpmässgt och symmetrskt Som den rent slumpmässga förutom att den efter att ha valt ut ett matrselement w j slumpmässgt och satt det tll 1 också sätter element w j tll 1. å så sätt behålls symmetr-egenskaperna matrsen. 3 Slumpmässg utglesnng av hyperkolumner Två hyperkolumner väljs ut helt slumpmässgt och alla kopplngar mellan dessa tas bort, alltså en delmatrs av vktmatrsen väljs ut slumpmässgt och alla matrselement delmatrsen sätts tll 1. 4 Slumpmässg utglesnng mellan nod och hyperkolumn Algortmen tar bort kopplngar mellan en nod och slumpvs utvalda noder nom en hyperkolumn. Tanken är att varje nod ska ha kopplngar tll så många 13

19 hyperkolumner som möjlgt trots att kopplngarna tas bort slumpmässgt. Matrsens rader delades upp delrader där varje delrad hade lka många element som en hyperkolumn. Inom varje delrad valdes slumpmässgt ett antal matrselement ut, antalet motsvarade utglesnngsgraden, och sattes tll 1. Sorterande algortmer Vkterna matrsen sorterades en vektor där varje element nnehöll vkten och en referens tll vktens plats matrsen. För att förenkla sorterngen logartmerades vkterna först. Vd utglesnngen sattes de matrselement tll 1 vars kopplngar skulle tas bort. 5 Utglesnng av de svagaste vkterna Vkterna sorterades efter sna absolutvärde. Vkt med absolutvärdet 0 först och därefter stgande ordnng. Vd utglesnngen togs de vkter bort som låg främst vektorn. Det var den naturlgaste utglesnngsalgortmen eftersom kopplngar med vkt noll nte släpper förb några sgnaler och därför nte behövs. 6 Utglesnng från mtten av fördelnngen Denna algortm undersöktes eftersom det förmodlgen är önskvärt att ha kopplngar med både negatva och postva vkter vd låg kopplngstäthet. Vkterna sorterades först storleksordnng från negatva tll postva. Vd utglesnngen utgck man från elementet mtten av vektorn och tog bort lka många tll vänster som tll höger om detta element. 7 roportonell utglesnng Ett annat sätt att försöka ha både negatva och postva vkter kvar vd låg kopplngstäthet var att sortera vkterna två vektorer, en med de postva och en med de negatva vkterna. Vd utglesnngen togs sedan proportonellt lka många negatva som postva vkter bort. Ska man tll eempel göra en 80 procentg utglesnng, tar man bort 80% negatva och 80% postva vkter. 8 Slumpmässg utglesnng av först negatva vkter och sedan postva vkter Vkterna delades upp två vektorer, de negatva för sg och de postva för sg. Vd utglesnngen togs först vkter från den negatva vektorn bort slumpmässgt och när dessa var slut togs vkter slumpmässgt bort från den postva vektorn. Jag var ntresserad av att se vad som händer om man har negatva vkter kvar nätet och dessa är sprdda hela spektrat från de störst tll de mnst negatva. Jämförelsen med algortmerna som tog bort de starkaste eller de svagaste negatva vkterna är också ntressant. 9 Utglesnng av de starkaste negatva vkterna och därefter de svagaste postva vkterna Vkterna sorterades efter storlek, från starkaste negatva tll starkaste postva. Vd utglesnngen togs de vkter bort som låg främst vektorn. 10 Utglesnng av de svagaste negatva vkterna och därefter de svagaste postva vkterna Vkterna sorterades en vektor från de svagaste negatva tll de starkaste negatva vkterna därefter kom de svagaste postva tll de starkaste postva vkterna. 14

20 3.4.3 Omorganserngsalgortmer Att träna nätet med en full vktmatrs och sedan plocka bort kopplngar och endast behålla de optmala kopplngarna är nte bologskt realstskt. Trolgare är att hjärnan har ett antal kopplngar att tllgå som den då kanske kan omfördela. Det är ntressant att undersöka olka algortmer som kan utgå från en vss kopplngstäthet och sedan flytta omkrng kopplngarna för att optmera lagrngskapacteten för en vss mängd mönster. Man måste först bestämma vlka kopplngar man är ntresserad av att behålla, alltså vlken utglesnngsalgortm man vll använda. Sedan måste man fnna något sätt att med ett begränsat antal kopplngar htta just de kopplngar som optmerar lagrngskapacteten för just de här mönstren. De tllgänglga kopplngarna placerades först slumpvs vktmatrsen. Sedan tränades nätet med mönstren och vkterna sorterades en vektor enlgt utglesnngsalgortmen. Nästa steg är att flytta omkrng de mnst önskvärda kopplngarna och hoppas de kan htta bättre vkter vktmatrsen. Man tränar återgen nätet med tränngsmönstren och upprepar detta tlls nätet nte kan förbättra sn lagrngskapactet. Jag undersökte två omorganserngsalgortmer. Den ena använde sg av ett konstant antal kopplngar som den flyttade omkrng vd varje teraton, den andra hade ett varerat antal flyttbara kopplngar. Konstant antal flyttbara kopplngar Man kan bestämma att det vd varje teraton ska flyttas omkrng ett konstant antal kopplngar och då alltd de kopplngar som har de mnst önskvärda vkterna. Man kan undersöka vlket som blr det optmala antalet fra kopplngar. Jag undersökte ntervallet 10 tll 60% av de tllgänglga kopplngarna. Varabelt antal flyttbara kopplngar Man kan också tänka sg att man efter varje teraton kommer att samla på sg fler bra kopplngar och färre dålga kopplngar och därför kan mnska antalet kopplngar man flyttar omkrng varje teraton. Jag valde att göra det genom att välja ut ett pvotelement den sorterade vektorn efter den första nlärnngen. Detta element antog jag var ett lämplgt element för att dela vektorn, optmala vkter på ena sdan och vkter man kan undvara på den andra. Eftersom jag använde mg av ett 100 nodersnät blr antalet kopplngar ungefär I ett 100 nodersnät med 10% kopplngstäthet skulle det fortfarande fnnas ungefär 1000 kopplngar. Eftersom dessa 1000 kopplngar är slumpvs utplacerade vktmatrsen är det tllräcklgt många för att de gleskopplade nätets matrs ska få samma vktfördelnng som ett nät med en full matrs. När man väl har detta pvotelement kan man spara alla vkter som lgger på rätt sda om elementet efter varje teraton. å så sätt kommer man att kunna fånga n fler och fler optmala vkter och behöver flytta omkrng färre och färre kopplngar efter varje teraton. 15

21 4 Resultat 4.1 Vktfördelnng Jag har undersökt vktfördelnngarna ett 100 noders nät vd tre olka belastnngsgrader. Mabelastnng med 60 mönster, medelbelastat med 30 mönster och lågbelastat med 10 mönster. Vktfördelnngen ger en väglednng om vlka utglesnngsalgortmer som skulle kunna vara ntressanta. För att se hur generella resultaten var för 100 nodersnätet gjordes också en jämförelse med ett större 400 noders nät. Vktfördelnngarna var väldgt lka, den enda markanta skllnaden var att mnmpunkten, eller dalen mellan topparna, var djupare och mer markerad. De skllnader som fanns beror på nställda parametrar och om belastnngen på näten blev lka stor. Fgur 6. Vktfördelnng vd mabelastnng ett 100 noders nät tränat med 60 mönster. Nätet mnns 65% av mönstren. I det mabelastade fallet vsade fördelnngen två pucklar Fgur 6, en tll vänster om noll med negatva vkter och en tll höger om noll med huvudsak postva vkter. Den största delen av vkterna är negatva, det här fallet 64%, och andelen varerar med nlärnngskonstanten α. Med ett högre α, som nte begränsar mabelastnngen, får man fördelnng 45% postva och 55% negatva vkter. Fördelnngen är dock alltd förskjuten mot de negatva vkterna. 16

22 Fgur 7. Vktfördelnng vd medelbelastnng, 30 mönster. Ca 95% av mönstren kan återkallas. Det medelbelastade fallet fck också störst andelen negatva vkter men den negatva puckeln är förskjuten mot noll Fgur 7 jämförelse med det mabelastade nätet Fgur 6. Den postva puckeln vsar ungefär samma fördelnng som det mabelastade fallet. Fgur 8. Vktfördelnng vd låg belastnng, 10 mönster. Nätet mnns alla mönster. Det fnns crka 80% negatva vkter och 20% postva. Vktfördelnngen det lågbelastade fallet blev betydlgt mer oregelbunden än de två andra fallen Fgur 8. Majorteten av vkterna är negatva med små värden, mndre värden än det medelbelastade fallet Fgur 7. En stor andel av vkterna är centrerade krng noll. Vd 0.3 fnns en väldgt hög stapel som bl.a. representerar vkter mellan noder som har tllståndet noll alla 10 mönstren. Matematskt kan värdet på dessa nollvkter beräknas med λ 0 försumbart. Inlärnngsreglerna ger oss det kontnuerlga fallet dλ t = α [1 λ0 ˆ π t + λ0 ] Λ t dt Λ t 2 = α [1 λ ˆ π t ˆ π t + λ0 ] Λ dt d 2 0 t 17

23 och det dskreta fallet Λ Λ t + 1 = Λ ' t + α [1 λ0 ˆ π t + λ0 ] ' Λ t + 1 = Λ t 2 2 t + α [1 λ ˆ π t ˆ π t + λ ] Λ ' ' ' ' jj jj 0 jj 0 t I smulatorn användes ett ntalvärde på Λ 1 ' = Λ ' =, Λ 1 ' ' = jj 2, och N jj N med π π 0 får man efter det första lagrade mönstret om man bortser från bruset λ 0 Detta ger ' = jj ' = Λ Λ ' ' jj ' = Λ = = 1 1 α N ' jj 1 2 N 1 α Λ ' ' jj w = Λ Λ ' ' jj = α N 1 = 1 1 α 1 1 α 1 α N N och för m lagrade mönster blr det 1 w = 1 α m och eftersom vkterna dagrammet är logartmerade får man slutlgen w log artmerad 1 = log 1 α m vlket med α = 1/30 och m = 10 ger w logartmerad = 0,34. Antalet kan beräknas genom att först beräkna sannolkheten för att två noder alla mönstren och multplcera med det totala antalet vkter nätet. Sannolkheten att en nod nom en hyperkolumn är 0 är 1 = 0 = 1 = 1 = 1 = 1 N H eftersom bara en nod nom en hyperkolumn är 1. Sannolkheten att två noder som har en kopplng mellan sg båda är 0 blr H N H = 0, y = 0 = 1 N Och sannolkheten att dessa två noder är noll samtdgt all mönstren m blr 18 2

24 H = 0, y = 0 = 1 N Med N = 100, H = 10 och m = 10 som ovan får man = 0, y = 0 = 0,12. Multplcerar man detta med det totala antalet vkter ger det slutlgen: Anmärknng 2m 2 2 N = 0, y = 0* N = 0,12 * 9000 = H De postva vkternas funkton är att hålla hop ett mönster medan de negatvas är att hålla sär olka mönster. Fler lagrade mönster nnebär fler postva vkter för att hålla hop mönstren och fler starkare negatva vkter för att hålla sär dem. Vd låg belastnng blr det en stor andel vkter krng noll, vlket är vkter som nte behövs för nätets mnnesförmåga. 4.2 Utglesnng av vktmatrsen Undersöknngen gjordes tre olka belastnngsfall, mamal belastnng, medelbelastnng och vd låg belastnng. Nätet som användes den här undersöknngen var ett 100 nodersnät och mamal belastnng nnebär att det tränades med 60 mönster. Ett fullt kopplat nät kan då återkalla crka 70% av mönstren. Medelbelastnng nnebar nätet tränades med 30 mönster och av dessa kunde nätet mnnas crka 95%. Lågbelastnng nnebar att nätet tränades med 10 mönster och 100% av dessa mönster kunde återkallas. Mellan noder nom en hyperkolumn fnns nga kopplngar utan dessa vkter sätts tll noll, eller som BCNN fallet, tll ett. En vkt med värdet 1 nnebär att de båda noderna är helt okorrelerade och att det nte fnns någon kopplng mellan dem Slumpmässg utglesnng Helt slumpmässgt Den enklaste utglesnngsalgortmen är att helt slumpmässgt ta bort kopplngar ur nätet. Effekten av utglesnngen mättes genom att mäta nätets mnneskapactet vd olka grader av utglesnng, från 0 tll 100%, med 2 procentenheters ntervall. 19

25 Fgur 9. Vktfördelnngen ett mabelastat nät med 50% slumpmässg utglesnng. Eftersom utglesnngen är helt slumpmässg blr utseendet på fördelnngen väldgt lk den det fullt kopplade nätet. Fgur 10. Antal återkallade mönster som funkton av kopplngstätheten ett slumpmässgt utglesat nät. I det mabelastade fallet är kurvan relatvt lnjär från 100% ner mot 20% Fgur 10. Det verkar följdrktgt eftersom nätet är mabelastat och alla kopplngar utnyttjas mamalt, antngen för att hålla hop mönstren eller för att sklja dem åt. Vd 20% kopplngstäthet fnns ngen mnneskapactet kvar. I det mellan- och lågbelastade nätets kurvor fnns en platå vd låg utglesnng vlket vsar att det fnns en buffert av kopplngar som nätet klarar sg utan Slumpmässg och symmetrsk utglesnng En full vktmatrs är symmetrsk och ett återkopplat nät av Hopfeldtyp är symmetregenskapen vktg för att garantera att nätet konvergerar, så det kunde vara ntressant att undersöka vad som händer om man behåller symmetrn matrsen. Alltså, togs elementet w,j bort togs även w j, bort. Ingen markant skllnad förmågan att återkalla mönstren kunde upptäckas, däremot blev konvergenstden över hela ntervallet något bättre. 20

26 Slumpmässg utglesnng av hyperkolumner Intressant för ett BCNN-nät med hyperkolumner är att se hur en utglesnng nom hyperkolumnstrukturen påverkar mnneskapacteten. En algortm som undersöktes tog bort alla kopplngar mellan två slumpmässgt utvalda hyperkolumner. Fgur 11. Borttagnng av alla kopplngar mellan slumpmässgt utvalda hyperkolumner. Resultatet skljer sg nte mycket från den helt slumpmässga algortmen förutom att kurvorna blr mer oregelbundna vlket förmodlgen beror på att väldgt många kopplngar tas bort ett steg av algortmen Fgur Slumpmässg utglesnng mellan nod och hyperkolumn En tredje slumpmässg algortm som provades var att så länge det fanns kopplngar tllgänglga, behålla kopplngarna mellan en nod och tll så många hyperkolumner som möjlgt, men nom ramen för detta, ta bort kopplngarna slumpmässgt. Alltså, från en nod skulle det fnnas kopplngar tll så många hyperkolumner som möjlgt. Fgur 12. Slumpmässg utglesnng av kopplngar mellan noder och hyperkolumner. Kurvornas utseende är mycket lkt den förra algortmen med samma oregelbundna utseende. 21

27 Vd låg belastnng kan man se ett tydlgt bättre resultat än det rent slumpmässga fallet, kurvan har en tydlg förskjutnng åt vänster. I det mabelastade fallet verkar det vara en ungefärlgt lkvärdg mnneskapactet Fgur 12. Anmärknng Vad man kan notera är att de olka slumpmässga algortmerna nte skljer sg nämnvärt utan stort uppvsar samma beteenden de tre belastnngsfallen, ma-, mellan- och lågbelastat. I den ssta algortmen kan man dock se att resultatet för det lågbelastade nätet blr betydlgt bättre än med de andra algortmerna Sorterad utglesnng För att göra en cke slumpmässg utglesnng och stället välja ut de kopplngar man vll ta bort måste man först sortera kopplngarna efter sna vkter. För att kunna sortera dem på ett hanterlgt sätt logartmeras vkterna först. Eftersom vkten w ett BCNN-nät beräknas enlgt w =, y y Om vkten w = 1 nnebär det att j,y jj = y jj. Detta nnebär sn tur att och y jj är oberoende av varandra och alltså okorrelerade. Logartmerar man nu w får de okorrelerade kopplngarna vkten noll, nhberande kopplngar har negatva vkter och ecterande kopplngar får postva vkter Utglesnng av de svagaste vkterna Kopplngar med vkt noll är ju detsamma som nga kopplngar alls, dessa borde man kunna ta bort utan att det påverkar nätets kapactet. Kopplngar med vkter krng noll, svaga vkter, borde man också kunna ta bort utan att det har någon större effekt på mnneskapacteten. Den första utglesnngsalgortmen med sorterade vkter som testades, tog bort kopplngar med vkter krng noll, lka många postva som negatva Fgur 13. Detta gjordes genom att sortera vkterna efter deras absolutvärde. Fgur 13. Vktfördelnng ett 50% utglesat mabelastat nät. Svagaste vkterna tas bort dvs vkterna med det mnsta absolutvärdet. 22

28 Fgur 14. Kapacteten som funkton av kopplngstätheten. Svagaste vkterna tas bort dvs vkterna med det mnsta absolutvärdet. Det vsade sg att man det mabelastade fallet kunde ta bort närmare 30% av kopplngarna utan att nätets kapactet påverkade Fgur 14. Vd lägre kopplngstäthet har nte den här algortmen mycket bättre resultat än de slumpmässga algortmerna, vlket beror på att de postva vkterna tar slut före de negatva och de postva vkterna behövs för att återkalla mönstren. Däremot blr det ett helt annat resultat det lågbelastade fallet. I ntervallet 10 tll 30% vsar nätet upp en mycket bra kapactet, nästan full kapactet vd 20% kopplngstäthet Utglesnng från mtten av fördelnngen Om man tttar på fördelnngen av vkterna ser man att den nte är centrerad noll utan är förskjuten åt det negatva hållet. Om man stället för att börja utglesnngen vd noll börjar mtt fördelnngen skulle man ha både postva och negatva vkter kvar vd alla utglesnngsgrader Fgur 15. Det borde ge en bättre kapactet vd låg kopplngstäthet. Fgur 15. Vktfördelnngen ett 50% utglesat, mabelastat nät. Vkter mtt fördelnngen är borttagna. 23

29 Fgur 16. Kapacteten som funkton av kopplngstätheten. Man får ett mycket bättre resultat vd låg kopplngstäthet men något sämre vd hög Fgur 16. Den bättre kapacteten v låg kopplngstäthet beror på att det fnns kopplngar med postva vkter kvar även om nätet totalt har få kopplngar. Den sämre kapacteten vd hög kopplngstäthet beror på att man först och främst tar bort kopplngar med negatva vkter och dessa är nödvändga för att kunna sklja mönstren åt vd ma- och medelbelastnng roportonell utglesnng Man skulle kunna tänka sg att en kombnaton av algortmen som tar bort de svagaste kopplngarna och algortmen som tar bort kopplngar som lgger mtt fördelnngen skulle kunna kombnera de båda algortmernas goda egenskaper. Ett sätt att göra det var att ta bort både postva och negatva kopplngar proportonellt mot hur många av varje det fanns Fgur 17. Om nätet t e skulle glesas ut totalt 70% så togs det bort 70% negatva och 70% postva kopplngar. Fgur 17. Vktfördelnngen ett 50% utglesat mabelastat nät. roportonell utglesnng. Resultatet gav ngen förbättrng jämförelse med algortmen som tog bort kopplngar med vkter mtt fördelnngen. 24

30 Slumpmässg utglesnng av först negatva vkter och sedan postva vkter Resultaten httlls pekade på att om man tar bort kopplngar med negatva vkter, har det en mndre negatv effekt på nätets mnneskapactet än om man tar bort kopplngar med postva kopplngar. Nästa steg blev att undersöka några algortmer som gör just detta. En av algortmerna börjar med att slumpmässgt ta bort kopplngar med negatva vkter först för att sedan ta bort de postva vkterna slumpmässgt. Den gav nte oväntat ett bättre resultat vd en lägre kopplngstäthet än den rent slumpmässga algortmen men klart sämre än alla andra sorterade algortmer Utglesnng av de starkaste negatva vkterna och därefter de svagaste postva vkterna Nästa algortm som provades började med att ta bort kopplngar med de största negatva vkterna och när de negatva vkterna var slut avlägsnades de svagaste postva vkterna Fgur 18 Fgur 18. Avlägsnande av vkter från vänster fördelnngen, dvs först ta bort de negatv med början av de starkast negatva och sedan de postva med början av de svagaste postva. Vktfördelnngen ett 50% utglesat mabelastat nät. Fgur 19. Kapacteten som funkton av kopplngstätheten med en algortm som först tar bort de starkaste negatva vkterna och sedan de postva vkterna. 25

31 Vd hög kopplngstäthet kan man se att om man tar bort kopplngarna med de starkaste negatva vkterna blr återkallandet av mönstren klart sämre än om man tar bort kopplngar med svaga negatva vkter Fgur 19. Vd hög kopplngstäthet gynnas nätet av starka negatva vkter som kan hålla sär mönstren Utglesnng av de svagaste negatva vkterna och därefter de svagaste postva vkterna Nästa algortm börjar utglesnngen med att ta bort kopplngarna med de svagaste negatva vkterna. När de negatva vkterna är slut tas de svagaste postva vkterna bort Fgur 20. Fgur 20. Först tas de svagaste negatva vkterna bort sedan de svagaste postva vkterna. Vktfördelnngen 50% utglesat mabelastat nät. Fgur 21. Kapacteten som funkton av kopplngstätheten för algortmen. Denna algortm gav det bästa resultatet vd låg kopplngstäthet men också ett bra resultat vd högre kopplngstäthet Fgur 21. Man kan notera att vd låg belastnng, det här fallet to mönster, får man full kapactet redan vd 10% kopplngstäthet. Med bara to mönster lagrade skulle man kunna msstänka att brus kan påverka resultatet men man får ungefär samma resultat ett större nät. Vd test av ett 400 noders nät får man ett jämförbart resultat. 26