Teori och metod Min uppsats är baserad på teorier som handlar om lärande genom självorganisation ett lärande utan lärare. Självorganisation är den process som utifrån regelbundenheter och likheter (korrelation) i insignaler (stimuli) uppdelar och ordnar en tvådimensionell yta spatialt. Ytan kallas en SOM (Self-Organizing Map) och består av beräkningsenheter (avkodare eller specialister). Olika egenskaper hos insignalen avspeglas topografiskt på SOM:en genom att olika beräkningsenheter fördelade över SOM:en blir specialister på olika aspekter av insignalen. På så sätt bildas en topografisk karta över de viktigaste aspekterna av insignalen. Likartade insignaler ligger nära varandra på SOM:en och olikartade insignaler ligger långt från varandra. Vanligt förekommande aspekter av insignalen får en större representation på SOM:en än mindre vanliga. Denna topografiska representation utbildas helt utan lärare och processen väljer automatiskt ut vilka egenskaper i insignalen som självorganisationen (uppdelningen och den spatiala ordningen) sker efter. Självorganisationen sker efter de egenskaper i insignalen som varierar mest. Bakgrunderna till mitt arbete är de idéer och kunskaper som finns om självorganisation i människans neocortex och i modeller för artificiella neurala nätverk. Grundläggande böcker om dessa teorier har varit Manfred Spitzers The Mind within the Net [Spitzer 1999] och Teuvo Kohonens Self-Organizing Maps [Kohonen 1997]. Bland övriga grundläggande arbeten som behandlar självorganisation och kortikala kartor kan nämnas Self-organization of orientation sensitive cells in the striata cortex [Malsburg 1973], How patterned neural connections can be set up by self-organization [Willshaw & Malsburg 1976], Computational maps in the brain [Knudsen et al. 1987] och Selforganization in a perceptual network [Linsker 1988]. Teorier för mänskligt lärande (pedagogik) tas inte upp i denna uppsats. Ett antal kartor (CFM, Cortical Feature Maps) har identifierats i människans neocortex. De första upptäcktes av den kanadensiske neurokirurgen Wilder Penfield redan på 30-talet. Han stimulerade (under operation för annat syfte) de blottlagda sensoriska och motoriska cortex och kunde kartlägga den kroppsliga representationen på cortex. Han fann att den kortikala representationen uppvisade en karta över kroppen. Nära delar av kroppen låg nära varandra på cortex, och viktigare delar hade en större representation än mindre viktiga, t.ex. är tummen och ansiktet med munnen kraftigt överrepresenterade. Inte bara det taktila sinnet är representerat av en datorexekverbar modell för lärande 15
kortikala kartor utan även övriga sinnen. T.ex. har synsinnet ett dussintal retinotopiska kortikala kartor. Hörseln har tonotopiska kartor där den spatiala ordningen bestäms av ljudfrekvens. Det finns många fler kortikala kartor och även sådana på högre representationsnivåer. Min egen teori är att hierarkier av SOM:ar kan vara grunden för människans alla mentala förmågor, se appendix A: Dubbelkonsmodellen. De senare årens rön visar att dessa kortikala kartor besitter en hög grad av neuroplasticitet [Spitzer 1999 kap. 7], d.v.s. de är dynamiska och kan ändras p.g.a. variationer och ändringar i insignalen (externa och interna stimuli). Neocortex uppvisar en reguljär struktur i både horisontell och vertikal riktning. Neocortex består av sex horisontella lager och är uppdelad i vertikala kolumner [Mountcastle 1997, Spitzer 1999 kap. 5]. Dessa kolumner betraktas som den minsta kortikala beräkningsenheten och neocortex är uppbyggd av sådana funktionella beräkningsenheter. En kolumn består av ca 100 neuroner och har en diameter av ca 0.1 mm. Vidstående bild 3 visar ett antal kolumner i ett utsnitt av neocortex. Översta delbilden visar förbindningsstrukturen i en dimension. Insignaler och utsignaler är anslutna underifrån men det finns även horisontella (laterala) förbindningar mellan kolumnerna. Bild 2. Kolumner i ett utsnitt av neocortex. De laterala förbindningarna till kolumnerna i närmaste grannskapet är exciterande (aktiverande) och en stark aktivering av mittkolumnen ökar reaktionskänsligheten för dess grannskap, centrum-grannskapet. Det finns även förbindningar till omgivningsgrannskapet, men dessa förbindningar är, via mellanneuroner, inhiberande (inaktiverande). En stark aktivering av mittkolumnen förhindrar aktivering av detta omgivningsgrannskap. Lateral excitering och lateral inhibering organiserade som ovan kallas för centrum-omgivnings-struktur (eng. center-surround structure). I mellersta delbilden illustreras aktiveringen genom svärtningen av kolumnernas toppytor. Lateral inhibering framgår klart av den nedersta bilden. Kurvan över de laterala exciteringarna och inhiberingarna för tankarna till en hatt ifrån landet Mexiko (eng. Mexican hat function), och den kallas följdriktigt just den mexikanska hatten. I början av 1980-talet experimenterade Teuvo Kohonen med en ny typ av artificiella nätverk baserade på de då kända grundläggande egenskaperna hos neocortex. Dessa nätverk uppvisade förmågan till självorganisation förmåga att lära utan lärare. Hans idéer och experiment resulterade i SOM-algoritmen [Kohonen 1982, Kohonen 1997]: en speciell typ av artificiellt nätverk, även kallat Bild 3. Lateral excitering och inhibering. 3 Bilden är hämtad ur Spitzer: The Mind within the Net. 16 en datorexekverbar modell för lärande
Kohonennätverk. SOM-algoritmen är en synnerligen datoreffektiv algoritm med ett antal beräkningsmässiga genvägar. SOM-algoritmen arbetar utifrån en tvådimensionell SOMrepresentation bestående av beräkningsenheter som ofta är enkla modellneuroner. Alla insignaler är anslutna till alla beräkningsenheter, d.v.s. kartans olika områden är komplett förbundna. Det sistnämnda möter inga problem i en datorimplementering, men i en kortikal representation skulle denna kompletta ledningsdragning ta orimligt mycket plats. Ändring av vikterna i beräkningselementen (synapsvikterna i modellneuronet) motsvarar, förutom en kvantitativ ändring, även ibland en kvalitativ ändring. Att en vikt blir skild ifrån noll respektive att en vikt blir noll, innebär att en ny förbindning drages respektive att en gammal förbindning tas bort. Detta har sin motsvarighet i den mänskliga kortikala neuroplasticiteten. Cortex kan alltså bygga om sig. Rewiring Maps är en förutsättning för människans unika lärförmåga. SOM-algoritmens beräkningsenheter motsvarar de kortikala kolumnerna. I den neurala nätverksvärlden approximeras dessa kolumner ofta med ett enda neuron och dessutom approximeras detta enda neuron med ett modellneuron, en höggradig förenkling. Kolumnerna kan funktionsmässigt ses som avkodare eller specialister i SOM:en. Första steget i SOM-algoritmen är att finna det beräkningselement som är starkast aktiverat (det som är mest likt insignalen), en beräkningsprocedur som är betydligt mer effektiv än att finna det starkast aktiverade området genom att simulera den iterativa processen baserad på center-omgivnings-strukturen med sina beräkningsenheter och förbindningar. Den starkast aktiverade beräkningsenheten kallas vinnaren, och nätverk baserade på tävling och korande av en vinnare kallas WTA-nätverk (WTA = Winner Takes All). Det är kring aktuell vinnare som inlärningen i steg två sker. På grund av center-omgivnings-strukturen kommer det att utbildas ett aktivt område en aktiv bubbla kring vinnaren. Bubblan är omgiven av inaktivitet. Det är i denna bubbla inlärningen sker i enlighet med en utvidgad Hebbs regel 4 [Hebb 1949]. Alla de ingående beräkningsenheternas viktvektorer vrids en aning (motsvarande lärfaktorn) mot insignalvektorn, så att dessa beräkningsenheter nästa gång kommer att svara ännu bättre, d.v.s. bli ännu bättre specialister (avkodare) på just denna insignal. Vridningens storlek kan ses som ett mått på inlärningsgraden, och benämns i fortsättningen lärfaktorn. 4 The Hebbian rule: When an axion of cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic change take place in one or both cells such that A s efficiency, as one of the cells firing B, is increased. en datorexekverbar modell för lärande 17
De båda stegen upprepas sedan för varje ny insignal. Ett nätverk med ovanstående inlärningsregel kommet att självorganisera. För varje iteration i SOM-algortimen kommer storleken av bubblan (grannskapsstorleken) att minska. Från början är bubblan stor, den täcker hela SOM:en för att sedan avta, t.ex. exponentiellt, för att till sist bara omfatta de närmaste beräkningsenheterna. På samma sätt minskar lärfaktorn (hur mycket viktvektorerna vrids mot insignalen). SOM CFM KSOM Bild 4. Självorganisation SOM. Metoder Jag har som övergripande och virtuell utgångspunkt haft den generiska självorganisationsprocessen (SOM) ett lärande utan lärare. Mina fasta utgångspunkter har varit teorierna och kunskaperna om de kortikala kartorna (CFM) och Teuvo Kohonens SOM-algoritm (KSOM). Jag har inte tvekat att förutsättningslöst pröva nya varianter i min tillämpning av KSOM och min tolkning av CFM. Det finns många led i detta arbete där de teoretiska utgångspunkterna inte bara kan tillämpas rakt av utan måste omformas och delvis nyskapas. De olika modellerna för självorganisation tillsammans med yttre naturliga stimuli t.ex. tal ger ett system med ett så rikt beteende att det inte går att undersöka och utvärdera statiskt. Det måste datormodelleras och datorexekveras tillsammans med sin omgivning (miljö) för att avslöja sina dynamiska beteenden och egenskaper. Att ha Kohonens SOM-algoritm som utgångspunkt har fördelar, främst genom dess generella renhet och exekveringseffektivitet, och att ha de kortikala kartorna som utgångspunkt är framförallt fördelaktigt för att modellera strukturer och förbindningar (kopplingsschema). 18 en datorexekverbar modell för lärande
Mina arbetsmetoder har i stort varit experimentella och iterativa enligt iterationsschemat: 1. Idégenerering och hypotesuppställning. 2. Experimentdefinition. 3. Snabb datorimplementering av experimentmodellen. 4. Experimentutförande genom simulering av experimentmodell i sin omgivning. 5. Felsökning i programmet (debuggning). 6. Utvärdering av resultat, återkoppling. 7. Eventuell modifiering och ny hypotesuppställning. För att ovanstående arbetsschema skall fungera effektivt krävs att iterationerna går att utföra snabbt. En snabbt modifierbar, strukturerad och interaktiv realtidssimulator med goda visualiseringsoch audialiseringsmöjligheter har varit den nödvändiga grunden. Arbetsschemat har även parallelliserats genom pipelining (det löpande bandets princip); under tiden jag implementerar och utför ett experiment, arbetar jag parallellt med idégenerering för nästa experiment. Det sker även en korsbefruktning mellan så gott som alla stegen, och ett experiment kan avbrytas innan det datorsimulerats, genom att inre (mental) simulering redan på ett tidigt stadium förkastat hypotesuppställningen. Programmeringsarbetet bakom uppsatsen förutsätter att jag kunnat återanvända många delar av mina tidigare programmeringserfarenheter och programproduktion, främst dem med anknytning till modellering, simulatorkonstruktion, konstruktion av CAD-system och multimediaprogrammering [Breidegard et al. 1984, Philipson & Breidegard 1986, Breidegard & Andersson 1992, Werner et al. 1992]. Sammanfattningsvis har jag med början i Kohonens SOM-algoritm och med inspiration från CFM skapat en exekverbar programvara som simulerar lärande. Programvaran är omfattande (se kap. Konstruktion av modell och simulator ). Genom att jag själv skrivit programmet och genom att jag hela tiden haft kontroll och fått inspiration via återkoppling i små steg, har jag kunnat göra sådant som är omöjligt för den som förlitar sig på att det går att använda andras programvaror och sätta samman dessa. På andra naturvetenskapligt/tekniska områden behöver man skapa experimentförutsättningar i form av acceleratorer, reaktorer, vindtunnlar, provbanor m.m. Utan dessa kan man helt enkelt inte studera fenomenen. I mitt fall utgör den skapade programvaran just en sådan experimentförutsättning för att studera lärande, och det är denna del som tagit nästan hela tiden. Det är därför som metoden för att ta fram själva den exekverbara modellen här hamnar i förgrunden, medan det i följande arbeten, där tillämpningar mer kan komma att dominera, kommer att bli andra metodiska överväganden utifrån just tillämpningarna i fråga. en datorexekverbar modell för lärande 19
20 en datorexekverbar modell för lärande