ANN fk. Örjan Ekeberg. Framåtkopplade Nät. återkopplade nät. Olika arkitekturer. BackPropagation through Time. Kalman-Filter tekniker

Transkript

1 Hantering av Tid Återkopplade Återkopplade Återkopplade t Återkopplade Återkopplade Temporala signaler är svåra Gör om temporal signal till spatial t 1 t 2 t 3 t 4 Återkopplade t Enklaste formen Neuronal filter Kräver att vi väljer Minnesdjup Hur många tidssteg som sparas Upplösning Storleken på tidsstegen t 1 t 2 t 3 t 4 Återkopplade t t 1 t 2 t 3 t 4 y Återkopplade

2 Flersnät Återkopplade Fördröjning av alla signaler Återkopplade y Mer generell Svårare att träna Hur tränar man nätverk med fördröjningar? Vanlig Backprop? Fungerar när bara insignalen fördröjs Generalisering krävs med generella fördröjningar Felsignalen måste matchas mot gamla aktiveringsvärden Återkopplade Återkopplade Återkopplade Återkoppling av utsignalen Återkoppling av gömda lagret med ett tidssteg Återkopplade Återkopplade Gömt Ut NARX Nonlinear AutoRegressive with exogenous inputs Contet Units

3 Flers återkoppling Gömt Gömt Ut Återkopplade Andra-ordningens nät Produkt av insignal och återkoppling Varje par: <insignal återkoppling> har en egen vikt Många (specifika) vikter Återkopplade Recurrent Multilayer Perceptron Vad kan ett återkopplat nät göra? Ändlig automat Tillståndet motsvarar aktiviteten i kontetnoderna Kombinationen av tillstånd och input ger nästa tillstånd Återkopplade Återkopplade Återkopplade Återkopplat nät med fördröjning i kopplingarna Återkopplade Återkopplade Kan man träna ett återkopplat nät så att man lär sig att återskapa en given sekvens?

4 Nuvarande tillstånd beror av föregående Utrullning av historiken Återkopplade Återkopplade t 1 t t 3 t 2 t 1 t Återkopplade Återkopplade t 3 t 2 t 1 Målvärden utspridda i olika Summera bidrag från alla mål Samma vikt finns på flera platser! t t 3 t 2 t 1 t Alla gamla aktivitetsvärden måste sparas Problem vid långa sekvenser Trunkering av historiken Summera bidrag från alla platser Kontinuerlig inlärning Motsvarar inkrementell inlärning Fungerar bra om man tar små steg Återkopplade BackProp använder nätets aktivering Varför inte använda facit när det finns? Accelerering genom att använda gamla målvärden Återkopplade

5 Skattning av en linjär process dold av brus Återkopplade Återkopplade k = A k 1 + B u k 1 + ω k 1 Återkopplade z k = H k + ν k Processbrus ω: Normalfördelat N(0, Q) Mätbrus ν: Normalfördelat N(0, R) Uppdatera till nästa tid Idén bakom ˆ k = Aˆ k 1 + B u k 1 Succesiv skattning ˆ k av dolda tillståndet k Använd skillnaden mellan etrapolerad skattning Hˆ k och observerad signal z k Uppdatering Återkopplade Pk = AP k 1A T + Q Anpassa till observerad signal Återkopplade ˆ k = ˆ k + K(z k Hˆ k ) Matrisen K (Kalman Gain) kan beräknas K k = P k HT (HP k HT + R) 1 Bygger på skattning av felets ( k ˆ k ) kovarians P k ˆ k = ˆ k + K k(z k Hˆ k ) P k = (I K k H)P k Utnyttja för inlärning Betrakta vikterna som det dolda tillståndet et kan behandlas som linjärt för små ändringar Använd önskad sekvens som z k Återkopplade för att hitta vikterna k = A k 1 + B u k 1 + ω k 1 Utvidgning till icke-linjära processer z k = H k + ν k Återkopplade H ersätts av z

6 Konvergerar mycket snabbare än BackProp-through-Time Stora matriser...som ska inverteras Element långt från diagonalen kan försummas Återkopplade