Kuskapsbaserade system, tetame 2000-03-0 Istitutioe för tekik Tetame i Kuskapsbaserade system, 5p, Data 3 Datum: 2000-03-0 Tid: 8.00-3.00 Lärare: Potus Bergste, 3365 Hjälpmedel: Miiräkare Uppgiftera ska lösas på separat papper. Skriv am och persoummer på samtliga ilämade blad. Skriv läsligt och rita tydliga figurer. Alla evetuellt ega iförda variabler skall tydligt förklaras. Otydlig eller tvetydig lösig ger poägavdrag. a) Gör e jämförelse mella e biologisk euro och e artificiell euro. (2) b) Ge exempel på två fudametala skillader mella algoritmisk problemlösig och problemlösig baserad på eurala ätverk. () 2 a) Beskriv det mista artificiella eurala ät beståede av perceptroer (bipolär aktiverigsfuktio) som ka klara av att skilja på de två klassera eda i de olika falle eda (Klass - fylld, Klass 2 - ofylld. Age ett ät för varje fall (3 st) eda. Du behöver ite räka ut ågra vikter. (.5) 3 a) Härled Widrow-Hoffs träigsregel för e Adalie. (Ata kvadratisk felfuktio, e = (d - y) 2, där d är öskad utsigal och y är aktuell utsigal). (2) b) Ata att ett atal träigsvektorer fis tillgägliga för träig av e Adalie: {(x, t ), (x 2, t 2 ),, (x p, t p )}.Visa hur dessa ka avädas för att bestämma viktera geom att aväda pseudoiverse av e matris. () 4 a) Redogör för hur adaptiv ekoutsläckig vid telefoi ka göras med e Adalie. E bild över hur sigalera överförs skall visas. Redogör också för exakt vad varje sigal represeterar såsom: eko, störd sigal, filtrerad sigal och fel. (4) b) Visa med e detaljerad bild hur e Adalie ka avädas för adaptiv systemidetifierig geom att förutsäga systemets utsigal y(t), med hjälp av de tre tidigare utsigalera y(t-), y(t-2) och y(t-3)? () 5 Visa att ett artificiellt euralt ät med flera lager beståede av lijära euroer ite är kraftfullare e ett ät beståede av ett lager med lijära euroer. (2)
Kuskapsbaserade system, tetame 2000-03-0 Istitutioe för tekik 6 a) Beskriv hur procedure early-stoppig aväds för att motverka överträig av ett feed-foward ät. () b) Beskriv procedure hur hold-oe-out går till vid träig av ett euralt ät samt vilke iformatio metode ger om de valda ätverks kofiguratio. (2) c) Beskriv de utökade felfuktioe som aväds för träig av ett feed-forward ät med regulariserig. Beskriv också det speciella fallet för träig med weight decay. (2) 7 a) Ett självorgaiserade ät med två euroer skall träas med competitive learig (wier-takes-it-all) till att utföra vektorkvatiserig. I bilde eda visas ett steg i träige är träigsvektor x preseteras för ätet. Vilke euro vier och hur kommer dess viktvektor (w) att uppdateras? x w w 2 b) Visa hur de troliga Vorooi mosaike (tesselatio) beskrive av ett elagers ät med 3 euroer kommer att se ut efter att edaståede datamägd har aväts för competitive learig (wier-takesit-all) av ätet. (2) () 8 a) Desiga e mista distas klassificerare för tre klasser med följade träigsvektorer: Klass :, 0.5.5 Klass 2:, 0.5 0.5 Klass 3:, 0.5.5 Klassificera seda vektor [0.5 -] T med di desigade klassificerare. Ta också fram de resulterade beslutslije mella Klass 2 och Klass 3. (2) b) Ge de geerella beslutsfuktioe för e optimal klassificerare med 0- förlust fuktio? () 9 a) Beskriv utförligt följade begrepp som uppkommer i sambad med geetiska algoritmer: urval, mutatio, crossover och schema. (3) b) Hur skulle du kua aväda e geetisk algoritm för träig av ett euralt ät? Beskriv också hur du skulle koda kromosomera och vilke fitess fuktio du skulle aväda. (.5)
Kuskapsbaserade system, tetame 2000-03-0 Istitutioe för tekik 0 Vad blir de resulterade fuzzymägde frå fuzzy påståedea p och p 2 (e mägd för varje påståede, aväd lämplig t-orm resp. t-coorm) p : X is A ad X is B p 2 : X is A or X is B Fuzzymägdera A och B är defiierade som eligt figur eda. Rita om figurera på eget papper för de två olika påståedea. A B (2)
Kuskapsbaserade system, omtetame 2000-03-0, lösigar Istitutioe för tekik och aturveteskap Kuskapsbaserade system, lösigar till omtetame 2000-03-0 Observera att lösigara ka vara kortfattade. a) Biologisk euro Neuromodell Dedrit Syaps x w i Cellkära Axo x 2 x w i2 w i f(.) a(.) θ i y i Cellkropp Biologisk euro Dedriter - ervbaor i till euroe Syapser - bestämmer koppliges styrka,stimulerade eller hämmade Ackumulerig av späig i euroe Tröskel att överstiga ia avfyrig av sigal geom axoe sker Form och amplitud på pulse som avfyras Neuromodell Koppligar mella euroera, iputs x, x 2, Motsvaras av viktera, w ij Itegrerigsfuktioe f Tröskel θ i Aktiverigsfuktioe a b) Ilärig- ett euralt ät lär sig geom exempel, e algoritmisk metod för att lösa ett problem måste ha exakt defiitio av problem. Parallellitet - ett euralt ät är parallellt till si struktur. Att parallellisera e sekvesiell algoritm ka vara mycket svårt. 2 Figur frå väster till höger (första eurolagret är ett buffertlager och har ige egetlig fuktio) : Lijärt separabelt 2: Ej lijärt separabelt, två lijer krävs i figure x w y x W V y x 2 x 2 3: Ej lijärt separabelt, två lijer krävs i figure x x 2 W V y
Kuskapsbaserade system, omtetame 2000-03-0, lösigar Istitutioe för tekik och aturveteskap 3 a) De iterativa variate ka tas fram geom att derivera felfuktioe för e presetatio av data. Utsigal: Felfuktio: y = w T x = i= w x i i 2 e = d w i x i, d är öskad utsigal för x. i= e Deriverig m.a.p. w i : = 2 d wi x i xi w i i= Uppdaterig i derivatas egativa riktig med e ilärigs kostat: ew old wi = wi + η2 d wi x i xi i= b) För e Adalie ka sambadet mella träigsvektorer och utdata skrivas som Xw = t där x x 2 K x 2 2 2 = x x2 K x X, M M O M p p p x x2 K x w w2 w = och M w t 2 t t =. M p t Viktera, w, blir lösige av ekvatiossystemet eligt: ~ w = X t, där ~ X är pseudoiverse av X. 4 a) Röst Mikrofo s + + s + + - ε = s + - y Delay Högtalare Telefolur y Part Adaptivt Filter Adaptivt Filter Överhörig Överhörig Part 2 Högtalare Telefolur Delay Röst Mikrofo s - Part s tal, origial sigal som part 2 höra). - Eko (dämpad versio av part 2 s tal) s+ - Störd sigal (part + part 2) y - Utsigal frå adalie ε - felet mella adalies utsigal och de störda sigale, detta är också de filtrerade sigale.
Kuskapsbaserade system, omtetame 2000-03-0, lösigar Istitutioe för tekik och aturveteskap 4 b) x(t) System y(t) z - z - z - LMS-uppdaterig w + - y (t) 5 Ex. ett gömt lager: Gömda lagret: Utlagret: y = Wx z = Vy = VWx = Qx z ka alltså fås geom trasformatio med e matris, alltså ekvivalet med ett lager. 6 a) Early stoppig. Två datamägder aväds vid träige, e träigsmägd och e testmägd. Träigsmägde aväds vid träige (med tex backprop). Totalt kvadratsumma fel beräkas för träigs resp. test mägd efter varje epok. E graf över kvadratsummafelet som fuktio av atal epoker ser då saolikt ut som följer (heldrage träigsmägd, streckad testmägd). Kvadratsumma fel Stopp Epok Det är uppebart att fortsättig av träige är testmägdes fel ökar ger ett överträat ät. b) Hold-oe out träig aväds för att skaffa iformatio om e klassificerares geeraliserigsförmåga. Klassificerare träas med hela träigsmägde utom e vektor. När träige är klar klassificeras de vektor som hölls utaför. Procedure görs om för varje vektor i träigsmägde. Om varje vektor som hållits utaför ka klassificeras korrekt så har ma fått iformatio om att ätets geeraliserigsförmåga och att datamägde kosistes förmodlige är OK c) Utökad felfuktio: E = E' + νω. Där E' är de valiga felfuktioe, ν är e lite kostat och Ω är e regulariserigsfuktio. Det har visat sig att stora värde på viktera i ett FF-ät ka försämra geeraliserige. Regulariserigsfuktioe för träig med weight decay ka defiieras N 2 som Ω = = ( w ) i i, alltså bestraffig av stora värde på viktera (weight decay). 2
Kuskapsbaserade system, omtetame 2000-03-0, lösigar Istitutioe för tekik och aturveteskap 7 a) Vikt vektor w som ligger ärmast x kommer att via och får därmed uppdatera eligt w = w + α(x w ) w flyttas alltså i riktig mot x. b) Wier-takes-it-all algoritme delar i rummet optimalt i celler (Vorooi mosaik) och skulle kua se ut som 8 a) Desiga klassificerare geom att räka ut medelvektorera för varje klass: m = [- -] T, m 2 = [ 0] T, m 3 = [- ] T. Beslutsfuktioe är: d i (x) = x T m i - 0.5m i T m i. Klassig av x test =[0.5 -] T : d (x test ) = [0.5 -][- -] T - 0.5[- -][ - -] T = -0.5 d 2 (x test ) = [0.5 -][ 0] T - 0.5[ 0][ 0] T = 0 d 3 (x test ) = [0.5 -][- ] T - 0.5[- ][ - ] T = -2.5 d 2 gav högst värde x test Klass 2 Beslutslije mella klass 2 till 3: Sätt beslutsfuktioera lika med varadra d 2 (x) = d 3 (x): [x x 2 ][ 0] T - 0.5[ 0][ 0] T = [x x 2 ][ - ] T - 0.5[- ][ - ] T Multiplicera ihop vektorera och bryt ut x 2 vilket då defiierar beslutslije mella klassera. b) Geerell beslutsfuktio (för e klass ω j ) för e statistiskt optimal klassificerare med 0- beslutsfuktio ges av d j (x) = p(x ω j )P(ω j ) där p(x ω j ) är värdet på saolikthetstäthetsfuktioe för x (möstervektor) givet klass ω j och P(ω j ) är saolikhete att klass ω j skall uppkomma.
Kuskapsbaserade system, omtetame 2000-03-0, lösigar Istitutioe för tekik och aturveteskap 9 a) urval - Avgör vilka idivider som skall leva vidare till ästa geeratio i algoritme. Ju större fitess desto större chas att leva vidare. mutatio E bit i kromosome ädrar slumpartat sitt värde. Om biär kodig aväds egeras bite. Mutatio ka förhidra att algoritme fastar i ett lokalt miima. crossover Två kromosomer byter geer med varadra i hopp om att avkomma skall få ett bättre fitess värde, ex med crossover pukt efter fjärde gee: 00 000 ger 00000 000 000 schema Ett schema är e mägd kromosomer som delar vissa egeskaper, t.ex. represeterar δ δ 2 * * δ 3 ett schema där δ, δ 2 ad δ 3 har fasta värde me * ka vara vad som helst. E kromosom tillhör detta schema om de har geer som överesstämmer exakt med δ, δ 2 ad δ 3. b) Ata att strukture på ätet är fast med ett visst atal euroer och koppligar. E speciell ätverkskofiguratioe ger då ett fast atal vikter. Dessa vikter skulle kua bestämmas geom att träa ätet med e geetisk algoritm. Om ätet har N vikter ka kromosomera för de olika idividera i de geetiska algoritme kodas som Idivid : Idivid 2: w w 2 w 3 w N w w 2 w 3 w N Varje idivid represeterar alltså alla vikter i ett euralt ät. Varje vikt i varje kromosom ka t.ex. kodas som ett biärtal med fixpukts kodig som späer iom ett lämpligt itervall (som bör bero på hur överförigs fuktioera ser ut i de olika euroera). E lämplig fitessfuktio skulle kua vara kvadratsummafelet över alla träigsdata, me egerat. 0 p : t-orm = mi p 2 : t-coorm = max A B A B