Övervakad inlärning Översikt. Exempel. Återblick. Testning av nätet. Styrning av aktivering i nätet

Transkript

1 Överst Övervaad nlärnng Hebbans nlärnng (CPCA) an nte lära sg vad som helst Deltaregeln och bacpropagaton sulle vara en lösnng, men E bologst trovärdg Bologst plausbel motsvarghet tll bacprop (CHL) Kombnaton av oövervaad och övervaad nlärnng Återblc CPCA + WTA CPCA = Condtonal Prncpal Component Analyss (oövervaad nlärnng) Kategorserar nput, bygger modell av omgvnngen Arbetsfördelnng genom sälvorganserng mha nbördes tävlan (WTA) Men, om endast CPCA Inlärnngen (de slutlga vterna) bestäms av orrelatoner ndata Kan nte lära sg godtyclga funtoner Exempel Tränngsdata utgörs av 4 nput-output händelser (events) önsad output nput = 1.0 = 0.0 Styrnng av atverng nätet Input och output presenteras tllsammans Alla nput-output-par presenteras, sedan en gång tll, en gång tll (dvs. flera epoer) Bruar presenteras ola ordnng för vare epo Atverng nätet får svänga n sg Styrs av dessa yttre rav på sg, dvs. nput och output-värdena ( hard clamped ) Vd fler än två lager måste fnnas opplngar från output-lagret tll tdgare lager, så att atverng an sprda sg baåt/neråt nätet Korrelatonerna som lärs n blr mellan nput och output Testnng av nätet Kör genom alla events en gång (dvs. en test-epo) Input presenteras vare event och nätet får sälv producera output Output ommer nu att vara beroende av nlärda vter 1

2 Typs nlärnngsurva Tränngsresultat med CPCA Fel = Dff mellan gssad och orret atverng vare ut-nod Summed Squared Error (SSE) Sntt över alla events, epo för epo Hebbans uppgftsnlärnng (CPCA) Efter tränng: Hebbans uppgftsnlärnng (CPCA) Efter tränng: Önsat Resultat t Önsat Resultat t (target): (target): Erhållet Resultat (output): o Erhållet Resultat (output): o tränngsfel = (t - o ) 0.0 (t - o ) 0.0 = tränngsfel Hebbans uppgftsnlärnng y 1 0,0 0,0 0,94 0,94 y 2 0,0 0,21 1,0 0,21 Uppgftsnlärnng x 1 x 2 x 3 x 4 x 1 x 2 x 3 x 4 vterna efter tränng (300 epoer) 2

3 Uppgftsnlärnng In- och utdata är på förhand ända Htta vtuppsättnng för önsad mappnng mellan n- och utdata Oberoende av orrelatoner Tränngsfelet (delta) Sllnad mellan önsad output och nätets output för vare event Utnyttas för att styra vtförändrngarna Två faser a) Gssa output (o) gvet nputsgnal (s) b) Beräna felet (t-o), och förändra vterna o t - fas + fas s Deltaregeln Deltaregeln w ( t o ) s t = önsad (target) atverng o = erhållen (output) atverng = felet w = vtförändrngen = nlärnngsfator s = sändande nodens atverng s o w ( t o ) s Mnsa felet vare gång event:et presenteras för nätet 1. Om, eller s = 0.0 w = 0 2. Om o borde vart större w > 0, w öar proporton tll hur atv s var 3. Om o borde vart mndre w < 0, w mnsar proporton tll hur atv s var Credt assgnment (eller blame assgnment) Vtförändrngarna bestäms av hur mycet respetve sändarnod bdrog tll felet Problemet med deltaregeln Deltaregeln an nte hantera nätver med fler än två lager Dolda lager är doc vtga För de flesta beränngsproblem måste mnst tre lager fnnas Måste därför unna träna de dolda lagren nätet Bacpropagaton of error 3

4 Atverngsflöde Feedforward Felet propageras baåt Framåtflöde av atverng Bacpropagaton of error Atverng propageras framåt nätet Felet propageras baåt 1. Beräna felet t o 2. w s 3. Beräna felet på förra lagret w '( ) 4. Synaptsa opplngar Antngen exctatorsa eller nhbtorsa Kan nte ändra typ av sgnalsubstans Förblr exctators el. nhbtors Enelrtad Impulsen går endast från den sändande neuronen tll mottagaren Ingen nformaton an förmedlas baåt Problemet med bacprop Bp är nte bologst plausbel! Bp räver att -värdet för vare lager propageras (förflyttas) baåt nätet Inga neurofysologsa data ger stöd för Bp En bologst plausbel varant av Bacprop är: the Generalzed Recrculaton Algorthm (GeneRec) Två faser GeneRec Bologst plausbel motsvarghet tll bacprop Deltaregel förutsätter två faser (beränngssteg) a) Beräna output (o) gvet nput (s) b) Beräna felet, och förändra vterna o t (- fas) (+ fas) s 4

5 Två faser Mnus-fas Input presenteras tll nätet Nätets atverng får svänga n sg = gssnng av output Plus-fas Input och output presenteras tllsammans Nätets atverng får svänga n sg med dessa yttre rav på sg OBS! Måste fnnas opplngar från output-lagret tll tdgare lager, så att atverng an sprda sg baåt/neråt nätet Dreta eller ndreta opplngar (va andra lager) GeneRec Mnusfasen Extern nput ( clamped ) Uppdatera nätet cyler tlls ämvt uppnåtts Läs av alla atverngar (act_m) Alla noder lagrar sna act_m GeneRec GeneRec Plusfasen Extern nput och orret output presenteras Nätet örs cyler tlls ämvt uppnåtts Läs av atverngarna (act_p) Vare nod an nu ämföra sn act_m med sn act_p Atverngs-sllnad mellan de bägge faserna vare ensld nod utgör felet = act_p nod act_m nod Styr nodens vtuppdaterng OBS! Återopplng rävs för att orreta atverngar sa unna sprdas nätet GeneRec ämfört med deltaregeln GeneRec CHL Deltaregeln: GeneRec: w ( t o ) s (act_p - act_m) ( y y x w ) Två usterngar GeneRec: a) Medelvärdet av sändarnodens atverng mellan och + fasen b) Medelvärdet av fram- och baåtvt (se ev. 5.39) w ( y ) x w ( x y x y ) y y = atverng av mottagande nod x = atverng av sändande nod Förändrad GeneRec: Contrastve Hebban Learnng (CHL) 5

6 Uppgftsnlärnng: CHL Bologs plausbltet Ingen mysts baåt-ommunaton längs synaptsa opplngar Atverngsbaserad, nget felvärde behöver scas V vet att det fnns återopplade sgnalvägar härnbaren Inlärnngsalgortmen tenderar att sapa symmetr vterna Övervaaren? Vtuppdaterng från x tll y la stor från y tll x Extern feedbac V säger XOR och blr orrgerade V hör vad v sälva säger När detta audtva stmulus sler sg från vad andra säger (eller vad v förväntar oss att höra) ommer denna sllnad att fungera som felsgnal Inst Språförståelse språproduton V måste först ha hört en massa uttryc, hur de låter, och opplat dem tll ola begrepp Vlet det fnns mycet star evdens för Vd tdpunten: t, vsuellt stmulus t+.5, ( fas) verbal respons (+ audtv feedbac) t+1, (+ fas) audtvt stmulus (orrgerng) XOR IOR! V förväntar oss att höra KASSE V förväntar oss att handen är här Vd tdpunten: t, vsuellt stmulus t+.5, förväntat audtvt stmulus t+1, audtvt stmulus Ett vsuellt stmulus ett förväntat audtvt stmulus Sllnaden mellan förväntat och fatst stmulus = felsgnalen KASSE NASSE! Vd tdpunten: t utförs en motors rörelse. t+.5 ( fas) förväntat vsuellt stmulus. t+1 (+ fas) vsuellt stmulus. Motors handlng ett förväntat vsuellt stmulus Sllnaden mellan förväntat och fatst stmulus = felsgnalen 6

7 V förväntar oss att se X men får se Y Vd tdpunten: t, vsuellt stmulus t+.5, förväntat vsuellt stmulus t+1, vsuellt stmulus Ett vsuellt stmulus ett förväntat vsuellt stmulus Sllnaden mellan förväntat och fatst stmulus = felsgnalen Kombnerad nlärnng Kombnerad nlärnng Fördelar med att ombnera Inlärnng två steg: 1. Prova 2. Få extern feedbac och ustera synapts effetvtet (vter) CPCA och CHL beränas var för sg Vtuppdaterng (CPCA resp. CHL) summeras för vare nod Uppgftsnlärnng Ice-loal: vtförändrngarna beror av felsgnaler från perfera delar av nätet Uppgftsnrtad: felsgnalen återspeglar hela nätets prestaton och alla vter an påveras för att bättre lösa uppgften Samordnande: vterna anpassas med hänsyn tll övrga vter Byrårats: 1. Problem för algortmen att bestämma vla vter som sa göra vad då alla är beroende av varandra 2. Inlärnngen tar (mycet) lång td Modellnlärnng Loal: vtförändrngen baseras på atverng hos de omedelbart närmaste noderna Autonom: vten förändras utan någon felsgnal Tllförltlg: ommer att extrahera de statstsa regelbundenheterna ndata Grg: det enda som spelar någon roll är den loala orrelatonen mellan resp. nput tll en nod Kortsynt: vterna förändras oberoende om det är tll gagn för den uppgft som nätet är tänt att lösa eller nte 7

8 Kombnerad nlärnng K hebb y x w x y x y w 1 hebb hebb hebb err hebb beränas +fasen (andra fasen); det vore ontraprodutvt att nätet lär sg orrelatoner som är onflt med önsad output Vd 50% Hebb (CPCA) domnerar modellnlärnng totalt över uppgftsnlärnng Uppgften löses förmodlgen nte Hebb har svårt att baca när den väl har börat arbetsfördela mellan noderna på fel sätt (dvs. tvärsemot uppgften) 1% Hebb (CPCA) funar oftast bra (satt som default) CHL ommer att htta en orret vtuppsättnng, om arteturen och ntala vter är adevata Hebb (CPCA) ser tll att vterna blr tydlga (mot 1 eller 0) Poängen med Hebb (CPCA) CPCA styr upp Underlättar/påsyndar arbetsfördelnng böran av nlärnngen Öar nätets generalserngsförmåga Delar upp nput särdrag som an omombneras Nätet ommer att unna änna gen även helt nya ombnatoner av dessa särdrag, dvs. ommer att unna generalsera tll ny nput Hälper även tll med ce-ombnators generalserng 8