729G43 Artificiell intelligens / Maskininlärning 2. Marco Kuhlmann

Storlek: px

Starta visningen från sidan:

Download "729G43 Artificiell intelligens / Maskininlärning 2. Marco Kuhlmann"

Roland Hermansson
för 5 år sedan
Visningar:

1 729G43 Artificiell intelligens / 2015 Maskininlärning 2 Marco Kuhlmann

2 Förra gången: Linjär regression

3 Gradientsökning Vandra ner i felets dal. Steg 0: Börja med ett godtyckligt värde för θ. Steg 1: Räkna ut felfunktionens tangent i den punkt som motsvarar den aktuella modellparametern θ. Steg 2: Gå i motsatt riktning av tangenten: Om tangenten har positiv lutning, minska värdet på θ. Om tangenten har negativ lutning, höj värdet på θ. Detail: Lutningen multipliceras med en steglängdsfaktor. Upprepa steg 1 2 tills felet blir tillräckligt litet.

4 Gradientsökning 4 Steglängdsfaktor = 0,1 3 θ J(θ) Lutning 2,000 2,33 4,67 J(θ) ,5 0 0,5 1 1,5 2 2,5 θ θ θ 0,467

5 Gradientsökning 4 Steglängdsfaktor = 0,1 3 θ J(θ) Lutning 2,000 2,33 4,67 J(θ) ,5 0 0,5 1 1,5 2 2,5 θ θ θ 0,467

6 Gradientsökning 4 Steglängdsfaktor = 0,1 3 θ J(θ) Lutning 2,000 2,33 4,67 J(θ) 2 1,533 0,66 2, ,5 0 0,5 1 1,5 2 2,5 θ θ θ 0,249

7 Gradientsökning 4 Steglängdsfaktor = 0,1 3 θ J(θ) Lutning 2,000 2,33 4,67 J(θ) 2 1,533 0,66 2,49 1,284 0,19 1, ,5 0 0,5 1 1,5 2 2,5 θ θ θ 0,133

8 Gradientsökning 4 Steglängdsfaktor = 0,1 3 θ J(θ) Lutning 2,000 2,33 4,67 J(θ) 2 1,533 0,66 2,49 1 1,284 0,19 1,33 1,151 0,05 0,71 0-0,5 0 0,5 1 1,5 2 2,5 θ θ θ 0,071

9 Uppdateringsregeln för gradientsökning tangentens lutning i punkt θ steglängdsfaktor

10 Uppdateringsregeln för gradientsökning När vi räknar ut tangentens lutning explicit får vi: (För att räkna ut detta själv behöver man kunna ta derivator.)

11 Linjär regression med flera variabler

12 Linjär regression med flera variabler Linjär regression och gradientsökning kan generaliseras till modeller där man har flera särdrag x och parametrar θ. I många modeller flera miljoner särdrag och parametrar! I sådana situationer är det bekvämt att sammanfatta alla särdrag och parametrar i vektorer; dessa skrivs x och θ (fet stil). Tänk vektor = lista.

13 Träningsmängd Husets storlek (x1) Husets ålder (x2) Husets pris (y) träningsinstans = (särdragsvektor x, målvärde y)

14 Påminnelse: Linjär regression med en variabel Modellantagandet Sambandet mellan indata och utdata är en rät linje. Inlärningsuppgift Hitta den bästa räta linjen: den linje som minimerar det totala avståndet till datapunkterna.

15 Linjär regression med flera variabler Modellantagandet Sambandet mellan indata och utdata är ett hyperplan, ett plan i en flerdimensionell rymd. Vad betyder detta matematiskt? Inlärningsuppgift Hitta det bästa hyperplanet: det hyperplan som minimerar det totala avståndet till datapunkterna. Samma inlärningsuppgift som förr.

16 Plan i en tredimensionell rymd y θ 1 x 1 θ 2 x 2 x 1 x 2

17 Planets ekvation med tre variabler lutning i dimension 1 förskjutning från origo lutning i dimension 2

18 Låtsassärdraget Termen θ 0, förskjutningen från origo, står lite ensamt. Vi kan snygga till ekvationen genom att hitta på ett matchande särdrag x 0 som vi alltid sätter lika med 1. Denna ekvation är ekvivalent med den som vi hade innan. Varför?

19 Träningsmängd Special (x0) Husets storlek (x1) Husets ålder (x2) Husets pris (y) träningsinstans = (särdragsvektor x, målvärde y)

20 Modell med summanotation antalet variabler parameter i

21 Modell med vektornotation parametervektor särdragsvektor

22 Räkneövning Beräkna h(x) för de angivna parametrarna/särdragsvärden: θ 0 θ 1 θ x 0 x 1 x

23 Åt vilket håll ska vi gå? Istället för en enskild parameter θ har vi nu en flerdimensionell parametervektor θ. Precis som innan vill vi med hjälp av gradientsökning gå ner i felets dal, dvs. uppdatera θ sådant att felet J(θ) blir mindre. Tidigare ändrade vi θ genom att addera eller subtrahera lutningen på tangenten till J(θ) i punkt θ. Hur blir det nu när vi har fler än en dimension?

24 Hur ser felfunktionen ut? 4 θ 2 höjdkurvor 3 J(θ) 2 1 J(θ 1, θ 2 ) 0-0,5 0 0,5 1 1,5 2 2,5 θ θ 1 ett särdrag = parabel två särdrag = paraboloid

25 Hur ser gradienten ut? 4 θ 2 3 J(θ) 2 1 J(θ 1, θ 2 ) 0-0,5 0 0,5 1 1,5 2 2,5 θ θ 1 ett särdrag = endimensionell vektor två särdrag = tvådimensionell vektor

26 Vad är gradienten? När vi endast hade en dimension var felfunktionens gradient i punkt θ lutningen på felfunktionens tangent i den punkten. Kan alternativt ses som en endimensionell vektor. När vi nu har flera dimensioner är gradienten i punkt θ den vektor som innehåller alla lutningar, en lutning per dimension.

27 Uppdateringsregeln för gradientsökning gradient i punkt θ steglängdsfaktor

28 Fråga Vad händer om vi inte ändrar alla parametrarna samtidigt, utan en parameter i taget?

29 Inte gradientsökning Om vi inte ändrar alla parametrarna samtidigt, utan en parameter i taget, närmar vi oss felets dal i sicksackfart. alla parametrar samtidigt en parameter i taget

30 Perceptroninlärning

31 Binär klassifikation H företag H V V skola

32 Träningsmängd Special (x0) skola (x1) företag (x2) Block (y) vänster höger vänster höger träningsinstans = (särdragsvektor x, målvärde y)

33 Beslutsträd Patrons? None Some Full No Yes Est. wait? > No Alternate? Hungry? Yes No Yes No Yes Reservation? Fri/Sat? Yes Alternate? No Yes No Yes No Yes Bar? Yes No Yes Yes Raining? No Yes No Yes No Yes No Yes

34 Perceptron kombinerar linjär regression med en tröskelfunktion ,5 0 0,75 + = 0,5 0,75 0,5-0,5 0,25 0, ,5 0 0, ,5 0 0, ,5 0 0,5 1

35 Beslutsregel predicerat y-värde tröskelvärde

36 Beslutsregel predicerat y-värde (Tröskelvärdet kan bakas in i parametern θ 0.)

37 Inspiration: Neuron dendriter synapser med andra neuroner axon Källa: Wikipedia cellkropp

38 Kommunikation mellan neuroner Neuroner kan kommunicera via synapser och dendriter, kopplingar mellan en sändande och en mottagande neuron. De mottagna signalerna ackumuleras i cellkroppen. Om den ackumulerade signalen är tillräckligt stor alstras en nervimpuls. ackumulering = summering, tillräckligt stor = tröskelvärde Nervimpulsen alstrar signaler till andra neuroner.

39 Perceptron-modellen x 1 θ 1 Σ f h(x) x 2 θ 2 1. Beräkna den viktade summan av alla in-signaler: z = θ x. 2. Beräkna ut-signalen med tröskelfunktionen: h(x) = f(z).

40 Räkneövning Beräkna h(x) för de angivna parametrarna/särdragsvärden: θ 0 θ 1 θ x 0 x 1 x

41 Geometriskt perspektiv θ 1 θ 2 x 1 x 2 θ 1 θ 2 x 1 x 2 θ 1 θ 2 x 1 x

42 Beslutsgräns Den viktade summan θ x är > 0 om vinkeln mellan θ och x är < 90 grader < 0 om vinkeln mellan θ och x är > 90 grader = 0 om vinkeln mellan θ och x är = 90 grader Den linje som går genom de punkter där den viktade summan är noll definierar perceptronens beslutsgräns.

43 Beslutsgräns θ klass 0 klass 1

44 Felfunktion för perceptroninlärning I samband med linjär regression mätte vi felet för en enskild datapunkt som det kvadrerade avståndet mellan det predicerade värdet h(x) och målvärdet y. Hur ser denna kurva ut för perceptronen? fel 2 1,5 1 0,5 0-1,25 0 1,25 avstånd

45 Felfunktion för perceptroninlärning 2 2 1,5 1,5 fel 1 fel 1 0,5 0,5 0-1,25 0 1,25 0-1,25 0 1,25 avstånd avstånd linjär regression perceptroninlärning

46 Omöjlighet av gradientsökning Vi kan inte använda gradientsökning för att träna en perceptron: Felfunktionen är inte längre deriverbar. Därför behöver vi en annan inlärningsalgoritm.

47 Perceptroninlärning Börja med att sätta θ 0 (nollvektorn). För varje särdragsvektor x och målvärde y i träningsmängden: 1. Beräkna h(x): h(x) f(θ x) 2. Uppdatera parametervektorn: θ θ (h(x) y)x Upprepa tills klassifikationsfelet är tillräckligt litet.

48 Uppdateringsregel Samma uppdateringsregel som för gradientsökning! (Men inte längre gradientsökning!)

49 Analys av inlärningsalgoritmen Fall 1: h(x) = 0, y = 0 θ θ 0 Fall 2: h(x) = 1, y = 1 θ θ 0 Parametervektorn förblir oförändrad. Fall 3: h(x) = 0, y = 1 θ θ + x Parametervektorn flyttas mot x. Fall 4: h(x) = 1, y = 0 θ θ x Parametervektorn flyttas bort från x.

50 Fall 1: Korrekt klassificerat negativt exempel h(x) y h(x) y 0 0 ±0 θ ±0 θ θ 0 Parametervektorn ändras inte. x

51 Fall 2: Korrekt klassificerat positivt exempel h(x) y h(x) y 0 0 ± θ ±0 θ θ 0 Parametervektorn ändras inte. x

52 Fall 3: Felaktigt klassificerat positivt exempel h(x) y h(x) y 0 0 ±0 θ ±0 θ θ + x Parametervektorn flyttas mot x. x

53 Fall 4: Felaktigt klassificerat negativt exempel h(x) y h(x) y 0 0 ± θ ±0 θ θ x Parametervektorn flyttas bort från x. x

54 Analys av inlärningsalgoritmen Fall 1: h(x) = 0, y = 0 θ θ 0 Fall 2: h(x) = 1, y = 1 θ θ 0 Parametervektorn förblir oförändrad. Fall 3: h(x) = 0, y = 1 θ θ + x Parametervektorn flyttas mot x. Fall 4: h(x) = 1, y = 0 θ θ x Parametervektorn flyttas bort från x.

Relevanta dokument

729G43 Artificiell intelligens (2016) Maskininlärning 2. Marco Kuhlmann Institutionen för datavetenskap

729G43 Artificiell intelligens (2016) Maskininlärning 2 Marco Kuhlmann Institutionen för datavetenskap Förra gången: Gradientsökning tangentens lutning i punkt θ steglängdsfaktor Översikt Introduktion