Enlagersnät Flerlagersnät Generalisering. Artificiella Neuronnät

Relevanta dokument
Artificiella Neuronnät

2D Potentialen i en nervcell definieras normalt som skillnaden i spänning mellan dess axon och dendrit.

ARTIFICIELLA NEURALA NÄT. MARCO KUHLMANN Institutionen för datavetenskap

729G43 Artificiell intelligens (2016) Maskininlärning 2. Marco Kuhlmann Institutionen för datavetenskap

729G43 Artificiell intelligens / Maskininlärning 3. Marco Kuhlmann

729G43 Artificiell intelligens / Maskininlärning 2. Marco Kuhlmann

ANN fk. Örjan Ekeberg. Framåtkopplade Nät. återkopplade nät. Olika arkitekturer. BackPropagation through Time. Kalman-Filter tekniker

Linköpings universitet

729G43 Artificiell intelligens (2016) Maskininlärning 3. Marco Kuhlmann Institutionen för datavetenskap

HKGBB0, Artificiell intelligens

Fråga 5 (1 poäng) För att definiera ett sökproblem krävs...

Neuronnätsbaserad agent

Asymptotisk analys innebär att... man försöker uppskatta vad som händer för stora indatamängder.

de var svåra att implementera och var väldigt ineffektiva.

Fråga 5 (1 poäng) För att definiera ett sökproblem krävs...

LARS ULVELAND HOPFIELDNÄTVERK FÖR IGENKÄNNING AV DEGRADERADE BILDER OCH HANDSKRIVNA TECKEN

729G43 Artificiell intelligens Maskininlärning. Arne Jönsson HCS/IDA

CHALMERS Finit Elementmetod M3 Institutionen för tillämpad mekanik. Teorifrågor

Regression med Genetiska Algoritmer

Adaptiva Filter. Johan Haarala Signaler och System

Lågrangsapproximation exempel. Singulärvärden och tillämpningar

Asymptotisk analys innebär att... man försöker uppskatta vad som händer för stora indatamängder.

Självinlärning av fyra-i-rad. JOHAN DALENIUS och BJÖRN LÖFROTH

Själv-inlärning av fyra-i-rad

Neuronnätsbaserad identifiering av processparametrar vid tillverkning av pappersmassa

Föreläsning 5. Approximationsteori

Välkomna till TSRT19 Reglerteknik M Föreläsning 9

Tentamensinstruktioner. Vid skrivningens slut

Antag att b är förgreningsfaktorn, d sökdjupet, T (d) tidskomplexiteten och M(d) minneskomplexiteten.

Adaptiva algoritmer och intelligenta maskiner, 2005 Hemtentamen

Sammanfattning av föreläsning 4. Modellbygge & Simulering, TSRT62. Föreläsning 5. Identifiering av olinjära modeller

SF1669 Matematisk och numerisk analys II Lösningsförslag till tentamen DEL A. r cos t + (r cos t) 2 + (r sin t) 2) rdrdt.

1(15) Bilaga 1. Av Projekt Neuronnätverk, ABB Industrigymnasium, Västerås Vt-05

SELF- ORGANIZING MAPS

EKG-klassificering. Andreas Bergkvist, Michael Sörnell,

Biologi: en utmaning för Numerisk Analys

1. (Dugga 1.1) (a) Bestäm v (3v 2u) om v = . (1p) and u =

Optimalitetsvillkor. Optimum? Matematisk notation. Optimum? Definition. Definition

Sub-symbolisk kognition & Konnektionism. Kognitionsvetenskaplig Introduktionskurs (729G01) Mats Andrén,

Konvergens för iterativa metoder

Övning 3 FEM för Ingenjörstillämpningar Rickard Shen Balkproblem och Ramverk

Om the Big Five och förmågor

A B C D E F A B C D E F (3) Svar: Tabellen ger grafen:

Sammanfattning av föreläsning 11. Modellbygge & Simulering, TSRT62. Föreläsning 12. Simulering. Föreläsning 12. Numeriska metoder och Simulering

Sammanfattning (Nummedelen)

Neurala nätverk och språkigenkänning. Henrik Linnarsson. Linköping University

Neuronen 11/22/2012. Översikt. Artificiell nod. Kommunikation. Neuronen som detektor. Syftet med återstående föreläsningarna

Digitalteknik 7.5 hp distans: 5.1 Generella sekvenskretsar 5.1.1

Predicted Future - att förutsäga aktiekurser med artificiella neuronnät

Uppgifter till kurs: Geometriska analys och designmetoder för olinjära system

Modeller och simulering av språkprocessning

Teorifrågor. 6. Beräkna konditionstalet för en diagonalmatris med diagonalelementen 2/k, k = 1,2,...,20.

Ordinära differentialekvationer,

En generell prediktiv kodare utnyttjar signalens utseende N steg tillbaka i tiden för kodningen, dvs vi kodar efter den betingade fördelningen

Inlärning utan övervakning

Linjär prediktion. Prediktiv kodning. Linjär prediktion. Prediktiv kodare och avkodare

Tentamen i Digitalteknik TSEA22

Välkomna till TSRT19 Reglerteknik M Föreläsning 9

Sammanfattninga av kursens block inför tentan

Exempel på tentamensuppgifter

4.6 Stelkroppsrörelse i balk

Teknisk Beräkningsvetenskap I Tema 3: Styvhetsmodellering av mjuk mark med icke-linjära ekvationer

TENTAMEN I LINJÄR ALGEBRA OCH NUMERISK ANALYS F1/TM1, TMA

I en deterministisk omgivning beror nästa tillstånd bara av agentens handling och nuvarande tillstånd.

Lösningsförslag till tentamen i SF1861 Optimeringslära för T. Torsdag 28 maj 2010 kl

4 Paket- och kretskopplade nät

Inledning till statistikteorin. Skattningar och konfidensintervall för μ och σ

Tentamen i EDA320 Digitalteknik för D2

Laboration 3. Ergodicitet, symplektiska scheman och Monte Carlo-integration

Utmaningar i fo rskolan

Analys av egen tidsserie

Neurovetenskap 30/08/2013. Kognitiv neurovetenskap. Lober. Olika färg, olika vävnadsstruktur. Hjärnbarken

Tentamen i Beräkningsvetenskap II, 5.0 hp,

Tentamen i Digitalteknik, EITF65

Vad behövs för att skapa en tillståndsrymd?

Utvärdering av maskinlärningstekniker för styrning av individer i stridande förband i datorspel O L O F B J Ö R K

Institutionen för systemteknik, ISY, LiTH. Tentamen i. Tid: kl

Denna föreläsning. DN1212 Numeriska metoder och grundläggande programmering FN Felfortplantning och kondition

Observationer rörande omvandling av digitala yttäckande vektordata till rasterformat.

Kognitiv Modellering

Sätt t = (x 1) 2 + y 2 + 2(x 1). Då är f(x, y) = log(t + 1) = t 1 2 t t3 + O(t 4 ) 1 2 (x 1) 2 + y 2 + 2(x 1) ) 2 (x 1) 2 + y 2 + 2(x 1) ) 3

KTH 2D1240 OPEN vt 06 p. 1 (5) J.Oppelstrup

2D1250 Tillämpade numeriska metoder II

Träning av Artificiella Neuronnät med Motexempel Utvalda av Expertpanel (HS-IDA-EA )

Övningshäfte 2: Induktion och rekursion

Reglerteori. Föreläsning 4. Torkel Glad

Icke-linjära ekvationer

Institutionen för Matematiska Vetenskaper TENTAMEN I LINJÄR ALGEBRA OCH NUMERISK ANALYS F1/TM1, TMA

Delprov 1 rapport över sociala webben

. (2p) 2x + 2y + z = 4 y + 2z = 2 4x + 3y = 6

Kapitel 7 Samplingfördelningar och Centrala gränsvärdessatsen

Kunskapsrepresentation

Föreläsning 2: Simplexmetoden. 1. Repetition av geometriska simplexmetoden. 2. Linjärprogrammeringsproblem på standardform.

Föreläsning 7. Felrättande koder

F13: Regulatorstrukturer och implementering

Vad händer efter klick? Av Eva Bertilsson och Emelie Johnson Vegh, publicerad i Canis 2004

ALGORITMER, OPTIMERING OCH LABYRINTER

Laboration 1 i SF1544: Öva på Matlab och konstruera en optimal balk Avsikten med denna laboration är att:

TENTAMEN I LINJÄR ALGEBRA OCH NUMERISK ANALYS F1, TMA671

Tentamen i Beräkningsvetenskap I och KF, 5.0 hp,

Transkript:

Artificiella Neuronnät

1 Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund 2 Begränsningar Träning av enlagersnät 3 Möjliga avbildningar Backprop algoritmen Praktiska problem 4

Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund 1 Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund 2 Begränsningar Träning av enlagersnät 3 Möjliga avbildningar Backprop algoritmen Praktiska problem 4

Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund (ANN) Inspirerade av hur nervsystemet fungerar Parallell bearbetning

Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund (ANN) Inspirerade av hur nervsystemet fungerar Parallell bearbetning Vi begränsar oss här till en typ av ANN: Framåtkopplade nät med lagerstruktur

Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund (ANN) Inspirerade av hur nervsystemet fungerar Parallell bearbetning Vi begränsar oss här till en typ av ANN: Framåtkopplade nät med lagerstruktur

Användningsområden Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund Fungerar i princip som en generell Lärande låda!

Användningsområden Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund Fungerar i princip som en generell Lärande låda! Klassificering Ja/Nej

Användningsområden Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund Fungerar i princip som en generell Lärande låda! Funktionsapproximering [ 1, 1]

Användningsområden Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund Fungerar i princip som en generell Lärande låda! Flerdimensionell avbildning

Klassiska exempel Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund

Klassiska exempel Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund ALVINN System för att styra en bil

Klassiska exempel Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund ALVINN System för att styra en bil TV bild Rattutslag

Klassiska exempel Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund ALVINN System för att styra en bil TV bild Rattutslag Tränas med riktiga förares beteende som träningsexempel

Klassiska exempel Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund NetTalk Program för talsyntes

Klassiska exempel Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund NetTalk Program för talsyntes "Hejsan" Fonem Skriven text Kodat uttal

Klassiska exempel Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund NetTalk Program för talsyntes "Hejsan" Fonem Skriven text Kodat uttal Tränas med stor databas över uttalad text

Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund Hur fungerar riktiga nervceller?

Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund Hur fungerar riktiga nervceller? Dendriter Soma Axon

Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund Hur fungerar riktiga nervceller? Dendriter Soma Axon Dendriter Soma (cellkropp) Axon

Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund Hur fungerar riktiga nervceller? Dendriter Soma Axon Dendriter Passiv mottagning av (kemiska) signaler Soma (cellkropp) Axon

Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund Hur fungerar riktiga nervceller? Dendriter Soma Axon Dendriter Passiv mottagning av (kemiska) signaler Soma (cellkropp) Summering, tröskling Axon

Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund Hur fungerar riktiga nervceller? Dendriter Soma Axon Dendriter Passiv mottagning av (kemiska) signaler Soma (cellkropp) Summering, tröskling Axon Aktiva pulser sänds till andra celler

Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund Nervceller kan se väldigt olika ut

Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund Nervceller kan se väldigt olika ut

Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund ANN-karikatyren (en förenklad bild av informationsbehandlingen)

Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund ANN-karikatyren (en förenklad bild av informationsbehandlingen) Σ

Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund ANN-karikatyren (en förenklad bild av informationsbehandlingen) Σ Viktade insignaler Summering Trösklad utsignal

Begränsningar Träning av enlagersnät 1 Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund 2 Begränsningar Träning av enlagersnät 3 Möjliga avbildningar Backprop algoritmen Praktiska problem 4

Begränsningar Träning av enlagersnät Vad menas med ett?

Begränsningar Träning av enlagersnät Vad menas med ett?

Begränsningar Träning av enlagersnät Vad menas med ett? Varje cell fungerar oberoende av de andra!

Begränsningar Träning av enlagersnät Vad menas med ett? Varje cell fungerar oberoende av de andra! Det räcker att förstå vad en cell kan beräkna

Begränsningar Träning av enlagersnät Vad kan en enstaka cell beräkna?

Begränsningar Träning av enlagersnät Vad kan en enstaka cell beräkna? Σ

Begränsningar Träning av enlagersnät Vad kan en enstaka cell beräkna? Σ x Indata i vektorform w Vikterna i vektorform o Utsignalen

Begränsningar Träning av enlagersnät Vad kan en enstaka cell beräkna? Σ x Indata i vektorform w Vikterna i vektorform o Utsignalen ( ) o = sign x i w i i

Begränsningar Träning av enlagersnät Geometrisk tolkning ( ) o = sign x i w i i

Begränsningar Träning av enlagersnät Geometrisk tolkning ( ) o = sign x i w i i x 2 w x 1

Begränsningar Träning av enlagersnät Geometrisk tolkning ( ) o = sign x i w i i x 2 w x 1 Separerande hyperplan Linjär separerbarhet

Inlärning i ANN Begränsningar Träning av enlagersnät Vad innebär inlärning?

Inlärning i ANN Begränsningar Träning av enlagersnät Vad innebär inlärning? Nätets struktur är normalt fix

Inlärning i ANN Begränsningar Träning av enlagersnät Vad innebär inlärning? Nätets struktur är normalt fix Inlärning innebär att hitta de bästa vikterna w i

Inlärning i ANN Begränsningar Träning av enlagersnät Vad innebär inlärning? Nätets struktur är normalt fix Inlärning innebär att hitta de bästa vikterna w i Två bra algoritmer för enlagersnät: Perceptroninlärning Deltaregeln

Begränsningar Träning av enlagersnät Perceptroninlärning

Begränsningar Träning av enlagersnät Perceptroninlärning Inkrementell inlärning

Begränsningar Träning av enlagersnät Perceptroninlärning Inkrementell inlärning Vikterna ändras bara vid felklassificering

Begränsningar Träning av enlagersnät Perceptroninlärning Inkrementell inlärning Vikterna ändras bara vid felklassificering Uppdateringsregel: w i w i + η(t o)x i

Begränsningar Träning av enlagersnät Perceptroninlärning Inkrementell inlärning Vikterna ändras bara vid felklassificering Uppdateringsregel: w i w i + η(t o)x i Konvergerar alltid om klassningsproblemet är lösbart

Begränsningar Träning av enlagersnät Deltaregeln (LMS-regeln)

Begränsningar Träning av enlagersnät Deltaregeln (LMS-regeln) Inkrementell inlärning

Begränsningar Träning av enlagersnät Deltaregeln (LMS-regeln) Inkrementell inlärning Vikterna ändras alltid

Begränsningar Träning av enlagersnät Deltaregeln (LMS-regeln) Inkrementell inlärning Vikterna ändras alltid w i w i + η(t w T x)x i

Begränsningar Träning av enlagersnät Deltaregeln (LMS-regeln) Inkrementell inlärning Vikterna ändras alltid w i w i + η(t w T x)x i Konvergerar endast i statistisk mening

Begränsningar Träning av enlagersnät Deltaregeln (LMS-regeln) Inkrementell inlärning Vikterna ändras alltid w i w i + η(t w T x)x i Konvergerar endast i statistisk mening Hittar en optimal lösning även om problemet inte är exakt lösbart

Möjliga avbildningar Backprop algoritmen Praktiska problem 1 Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund 2 Begränsningar Träning av enlagersnät 3 Möjliga avbildningar Backprop algoritmen Praktiska problem 4

Möjliga avbildningar Backprop algoritmen Praktiska problem Vad är poängen med att ha flera lager?

Möjliga avbildningar Backprop algoritmen Praktiska problem Vad är poängen med att ha flera lager?

Möjliga avbildningar Backprop algoritmen Praktiska problem Vad är poängen med att ha flera lager?

Möjliga avbildningar Backprop algoritmen Praktiska problem Vad är poängen med att ha flera lager?

Möjliga avbildningar Backprop algoritmen Praktiska problem Vad är poängen med att ha flera lager? Ett tvålagersnät kan implementera godtyckliga beslutsytor

Möjliga avbildningar Backprop algoritmen Praktiska problem Vad är poängen med att ha flera lager? Ett tvålagersnät kan implementera godtyckliga beslutsytor...förutsatt att man har tillräckligt många gömda enheter

Möjliga avbildningar Backprop algoritmen Praktiska problem Blir det ännu bättre med ännu fler lager?

Möjliga avbildningar Backprop algoritmen Praktiska problem Blir det ännu bättre med ännu fler lager? Två lager kan beskriva alla klassificeringar Två lager kan approximera alla snälla funktioner

Möjliga avbildningar Backprop algoritmen Praktiska problem Blir det ännu bättre med ännu fler lager? Två lager kan beskriva alla klassificeringar Två lager kan approximera alla snälla funktioner Tre lager kan ibland göra samma sak effektivare

Möjliga avbildningar Backprop algoritmen Praktiska problem Blir det ännu bättre med ännu fler lager? Två lager kan beskriva alla klassificeringar Två lager kan approximera alla snälla funktioner Tre lager kan ibland göra samma sak effektivare Fler än tre lager används mycket sällan

Möjliga avbildningar Backprop algoritmen Praktiska problem Hur tränar man ett flerlagersnät?

Möjliga avbildningar Backprop algoritmen Praktiska problem Hur tränar man ett flerlagersnät? Varken perceptroninlärning eller deltaregeln kan användas

Möjliga avbildningar Backprop algoritmen Praktiska problem Hur tränar man ett flerlagersnät? Varken perceptroninlärning eller deltaregeln kan användas Fundamentalt problem: När nätet svarar fel vet man inte i vilken riktning vikterna ska ändras för att det ska bli bättre

Möjliga avbildningar Backprop algoritmen Praktiska problem Hur tränar man ett flerlagersnät? Varken perceptroninlärning eller deltaregeln kan användas Fundamentalt problem: När nätet svarar fel vet man inte i vilken riktning vikterna ska ändras för att det ska bli bättre Avgörande trick: Använd trösklingsliknande kontinuerliga funktioner

Möjliga avbildningar Backprop algoritmen Praktiska problem Hur tränar man ett flerlagersnät? Varken perceptroninlärning eller deltaregeln kan användas Fundamentalt problem: När nätet svarar fel vet man inte i vilken riktning vikterna ska ändras för att det ska bli bättre Avgörande trick: Använd trösklingsliknande kontinuerliga funktioner Σ Σ

Möjliga avbildningar Backprop algoritmen Praktiska problem

Möjliga avbildningar Backprop algoritmen Praktiska problem Grundidé: Minimera felet (E) som en funktion av alla vikter ( w)

Möjliga avbildningar Backprop algoritmen Praktiska problem Grundidé: Minimera felet (E) som en funktion av alla vikter ( w) 1 Beräkna den riktning i viktrummet dit felet ökar mest: grad w (E)

Möjliga avbildningar Backprop algoritmen Praktiska problem Grundidé: Minimera felet (E) som en funktion av alla vikter ( w) 1 Beräkna den riktning i viktrummet dit felet ökar mest: grad w (E) 2 Ändra vikterna i motsatt riktning w i w i η E w i

Möjliga avbildningar Backprop algoritmen Praktiska problem Normalt utnyttjar man felet för ett exempel i taget

Möjliga avbildningar Backprop algoritmen Praktiska problem Normalt utnyttjar man felet för ett exempel i taget E = 1 2 (t k o k ) 2 k Out

Möjliga avbildningar Backprop algoritmen Praktiska problem Normalt utnyttjar man felet för ett exempel i taget E = 1 2 k Out (t k o k ) 2 Som trösklingsliknande funktion används ofta ρ(y) = 1 1 + e y 1 0.75 0.5 0.25 1 1 + e x 0 10 5 0 5 10

Möjliga avbildningar Backprop algoritmen Praktiska problem Gradienten kan uttryckas som en funktion av ett lokalt generaliserat fel δ E w ji = δ i x j

Möjliga avbildningar Backprop algoritmen Praktiska problem Gradienten kan uttryckas som en funktion av ett lokalt generaliserat fel δ E w ji = δ i x j w ji w ji + ηδ i x j

Möjliga avbildningar Backprop algoritmen Praktiska problem Gradienten kan uttryckas som en funktion av ett lokalt generaliserat fel δ E w ji = δ i x j w ji w ji + ηδ i x j Utlagret: δ k = o k (1 o k ) (t k o k )

Möjliga avbildningar Backprop algoritmen Praktiska problem Gradienten kan uttryckas som en funktion av ett lokalt generaliserat fel δ E w ji = δ i x j w ji w ji + ηδ i x j Utlagret: δ k = o k (1 o k ) (t k o k ) Gömda lager: δ h = o h (1 o h ) w kh δ k k Out

Möjliga avbildningar Backprop algoritmen Praktiska problem Gradienten kan uttryckas som en funktion av ett lokalt generaliserat fel δ E w ji = δ i x j w ji w ji + ηδ i x j Utlagret: δ k = o k (1 o k ) (t k o k ) Gömda lager: δ h = o h (1 o h ) w kh δ k k Out Felet δ propagerar bakåt genom lagren Error backpropagation (BackProp)

Möjliga avbildningar Backprop algoritmen Praktiska problem Att tänka på när man använder BackProp

Möjliga avbildningar Backprop algoritmen Praktiska problem Att tänka på när man använder BackProp Långsam Kräver normalt tusentals genomgångar av datamängden

Möjliga avbildningar Backprop algoritmen Praktiska problem Att tänka på när man använder BackProp Långsam Kräver normalt tusentals genomgångar av datamängden Gradientföljning Riskerar att fastna i lokala minima

Möjliga avbildningar Backprop algoritmen Praktiska problem Att tänka på när man använder BackProp Långsam Kräver normalt tusentals genomgångar av datamängden Gradientföljning Riskerar att fastna i lokala minima Många parametrar Steglängden η Antal lager Antal gömda enheter In- och utrepresentationen Initiala viktvärden

1 Karaktäristiska egenskaper Användningsområden Klassiska exempel Biologisk bakgrund 2 Begränsningar Träning av enlagersnät 3 Möjliga avbildningar Backprop algoritmen Praktiska problem 4

Näten interpolerar normalt mjukt mellan träningsdatapunkterna

Näten interpolerar normalt mjukt mellan träningsdatapunkterna 1 0.75 0.5 0.25 0 0 0.2 0.4 0.6 0.8 1

Näten interpolerar normalt mjukt mellan träningsdatapunkterna 1 0.75 0.5 0.25 0 0 0.2 0.4 0.6 0.8 1 Ger oftast bra generalisering

Risk för överinlärning!

Risk för överinlärning! Om nätet har för många frihetsgrader (vikter) är risken större att inlärningen hittar en konstig lösning

Risk för överinlärning! Om nätet har för många frihetsgrader (vikter) är risken större att inlärningen hittar en konstig lösning 1 0.75 0.5 0.25 0 0 0.2 0.4 0.6 0.8 1

Genom att begränsa antalet gömda noder får man bättre generalisering

Genom att begränsa antalet gömda noder får man bättre generalisering 1 0.75 0.5 0.25 0 0 0.2 0.4 0.6 0.8 1