Föreläsning 13 5 P erceptronen Rosen blatts p erceptron 1958 Inspiration från mönsterigenk änning n X y = f ( wjuj + b) j=1 f där är stegfunktionen.

Ä Ò Ö Ó ÃÓÑ Ò ØÓÖ ÓÔØ Ñ Ö Ò Ö Ö Ã Ð Å Ø Ñ Ø ÒØÖÙÑ Ö Ð Ò Ò ½ Æ ÙÖ Ð ÒØÚ Ö ÁÒØÖÓ Ù Ø ÓÒ È Ö ÔØÖÓÒ Ð Ö Ð Ö ËÙÔÔÓÖØ Î ØÓÖ Å Ò ÀÓÔ Ð ÓÐØÞÑ ÒÒÑ Ò Ò

ÁÒØÖÓ Ù Ø ÓÒ ØØ ÒÝØØ Ö Ò Ò ØØ È Ö ÐÐ ÐÐ Ø Ø Ö Ò Ø ÁÒÐÖÒ Ò ÇÔØ Ñ Ö Ò

À ØÓÖ ËØ ÖØ Ò Å ÙÐÐÓ ² È ØØ ½ Ï Ò Ö ² ÚÓÒ Æ ÙÑ ÒÒ À ½ Ö Ø ÐÝ Ö Ø ÊÓ Ò Ð ØØ Æ Ò Å Ò Ý¹È Ô ÖØ Ö Ø Ò Ò Ö Ú Ò ¼¹ Ó ¼¹Ø Рص ÀÓÔ Ð ÊÈ ÂÓÙÖÒ Ð Æ ÙÖ Ð Æ ØÛÓÖ Æ ÙÖ Ð ÓÑÔÙØ Ø ÓÒ Á ÌÖ Ò ÓÒ Æ Æ Î ÔÒ Ó ËÙÔÔÓÖØ Î ØÓÖ Å Ò ËÎŵ

ÓÐÓ À ÖÒ Ò 10 11 Ò ÙÖÓÒ Ö 10 4 ÝÒ Ô Ö Ô Ö Ò ÙÖÓÒ 10 16 ÓÔ Ö Ø ÓÒ Ö» ÙÒ 10 16 ÂÓÙлÓÔ Ö Ø ÓÒ Å ÖÓÔÖÓ ÓÖ 10 8 ÓÔ Ö Ø ÓÒ Ö» ÙÒ 10 8 ÂÓÙлÓÔ Ö Ø ÓÒ

È Ö ÔØÖÓÒ Ò ÊÓ Ò Ð ØØ Ô Ö ÔØÖÓÒ ½ ÁÒ Ô Ö Ø ÓÒ ÖÒ Ñ Ò Ø Ö Ò ÒÒ Ò n y = f( w j u j + b) j=1 Ö f Ö Ø ÙÒ Ø ÓÒ Òº

Å Ò Ý¹Ô Ô ÖØ Ö Ø Ò ÈÖÓ Ð Ñ Ø Ñ ÜÓÖ ÖÒ Ò Ò Ä Ò ÖØ Ô Ö Ð Ð Ö

ÌÚÐ Ö Ô Ö ÔØÖÓÒ Ò ÌÚÐ Ö Ô Ö ÔØÖÓÒ Ò Ä Ö ÇʹÔÖÓ Ð Ñ Øº

ÅÙÐØ Ð Ö Ô Ö ÔØÖÓÒ Ö Ö ÑØ ÓÔÔÐ Ò ÔÔÖÓÜ Ñ Ö Ö ¹Ð Ò Ö ÙÒ Ø ÓÒ Öº Ì ÓÖ Ø Ø Ø Ö ØØ ÑÒ ÙÒ Ø ÓÒ Ö Ö ØØ ÔÔÖÓÜ Ñ Ö Ô ØØ Øغ ØØ ÑØ Ð Ö Ö Ö ÔÖ Ò Ôº ÑÔ Ö Ø Ö Ø Ú Ø ØØ Ö Ð Ö Ò Ú Ö ÒÚÒ Ö º Ö ÐÓ Ö Ò Ú ÊÓ Ò Ð ØØ ÀÙÖ ÑÒ ÓÐ ÒÓ Ö Ñ Ò ÀÙÖ Ñ Ò ØÖÒ ØØ ÒØ

ËÙÔÔÓÖØ Î ØÓÖ Å Ò Ä Ò Ò ÒÐ Ö Ô Ö ÔØÖÓÒ Ò Ñ Ò Ò Ø x Ö Ö Ø Ú Ð Ø Ø ÐÐ ØØ ÒÒ Ø Ú ØÓÖÖÙÑ ÐÐ Ø ³ ØÙÖ Ô Φ : x Φ(x) Φ Ö Ú ÒÐ ØÚ Ð Ò Ö Ó ÖÓÖ Ô ÔÔÐ Ø ÓÒ Ñ Ò ÓÒ Ô ØÙÖ Ô Ö Ú ÒÐ ØÚ ÑÝ Ø Ö Ò Ñ Ò ÓÒ Ò Ô ÒÔÙØ Ô Ò Ø Ó Ñ Ú Ð Ø ÐÐ R º

ÁÒÐÖÒ Ò À Ò Ð ÒÐÖÒ Ò º Å Ò ÐÖ ÒØ Ø ØØ Ô Ø Ø Ò º ÄÖ ÖÐ ÒÐÖÒ Ò º ÆØ Ø Ö ÐÚ ØÖÙ ØÙÖ Ö ØØ ÐÑÔÐ ÁÒ Ô Ö Ø ÓÒ ÖÒ ÓÐÓ Òº ÓÒ Ð À Ã Ò Ò Ô Ý ÓÐÓ µ Ì ÇÖ Ò Þ Ø ÓÒ Ó Ú ÓÙÖ Ï Ð Ý ½ º À ÒÐÖÒ Ò Ö Ð Ñ ÐÖ Ö µ ÇÑ Ò ÝÒ Ô ÓÖ Ö Ò Ò ÙÖÓÒ ØØ Ò Ø ÙØ Ò Ð Ö Ñ Ò ÝÒ Ô ØÝÖ Òº w = γxy

ÁÒÐÖÒ Ò ¹ ØØ ÓÔØ Ñ Ö Ò ÔÖÓ Ð Ñ ØÖ Ø ÒÐÖÒ Ò Ò ÓÑ ØØ ÓÔØ Ñ Ö Ò ÔÖÓ Ð Ñº Ø ÐÐ Ö ØØ ØÐÐ Ò ÐÐ Ú Ö Ð Ö ØØ Ñ Ò Ö ØØ Ò Ø Ø Ò º ÒÚÒ Ö Ö Ú Ö Ö ÙÒ Ø ÓÒ Öº ÒÚÒ Ð ÓÔØ Ñ Ö Ò Ø ÓÖ Ö ØØ ØØ ÓÔØ ÑÙѺ Ö ÓÑÚ Ò Ð Ö Ø ÐÐ Ò ØÖ Ù Ö Ð ÓÖ ØÑ Ö ÓÑ ÙÒ Ö Ö ÐÓ Ðغ ÇÑ Ò ÙÖÓÒÑÓ ÐÐ Ò Ö y = F w (x) Ó Ú Ö ØØ ÒØ Ð Ø ÑÙÐ ÓÑ Ú Ú Ø Ø Ô ØØ Ô Ö Ñ ØÖ ÖÒ ÒÓÑ ØØ Ð min w N y i F w (x i ) 2 k=1

ËØ Ô Ø ÒØ ¹ ÔÖÓÔ Ø ÓÒ Ü ÑÔ Ð ØØ Ð Öº Î Ú ÐÐ ØØ ÒØ Ø Ú Ö y Ô Ø ÑÙÐ xº ÎÐ Ú Ø Ö w ÒÓÑ ØØ Ð min w V (w) = min w ÒÚÒ ËØ Ô Ø ÒØ 1 2 (y f(wt x)) 2 w = γ V w = γef (w T x)x Æ Ø Ò ÓÑ À Ö Ðº Ä Ò Ò Ö Ö Ð Öº

ÀÓÔ Ð ÒØ Ó ØÝ Ð Ò ÙÖÓÒ ÓÔÔÐ Ò Ö C i du i dt = j T ij f j (u j ) u i /R i + I i Æ ÙÖÓÒ ¹ Å ÒÝÁÒË Ò Ð ÇÙØ Æ Ð Ø ÔÙÐ Ò ØÙÖ Í ÑÔÐ ÝÒ Ñ Ï Ý ÝÒ Ñ Ù Ò Ò Ø Û Ø Ö ÒØ ÒÓÒ¹Ð Ò Ö Ø

ÀÓÔ Ð ÒØ Ö ÓÔØ Ñ Ö Ò ØØ ÀÓÔ Ð ÒØ ØÖÚ Ö Ø Ö ØØ Ñ Ò Ñ Ö Ò Ò Ö ÙÒ Ø ÓÒº E = 1 2 T ij V i V j + i i,j 1 R i Vi 0 f 1 i (V )dv i I i V i Ö Ú Ö Ó Ú ØØ de/dt 0º Á ÃÓÒ ØÖÙ Ö ØØ ÓÔ Ð ÒØ Ú Ö Ò Ö ÙÒ Ø ÓÒ ÑÓØ Ú Ö Ö ÑÐ ÙÒ Ø ÓÒ Ò f ÓÑ Ú Ú ÐÐ Ñ Ò Ñ Ö º ÀÓÔ Ð Ò Ì Ò ½ º ÆØ Ø Ð Ö Ò Ô Ö ÐÐ ÐÐ ÑÔÐ Ñ ÒØ Ø ÓÒ Ö ØØ ÐÓ Ð Ñ Ò Ñ º Ü ÑÔ Ð À Ò Ð Ö Ò ÔÖÓ Ð Ñ Øº Ü ÑÔ Ð Ñ ÜÔÐ Ø Ú Ø Öº

ÓÐØÞÑ ÒÒÑ Ò Ò ÓÐØÞÑ ÒÒÑ Ò Ò Ö ÙÒ Ö ÓÑ ØØ ÀÓÔ Ð ÒØ Ñ ØÓ Ø Ò ÙÖÓÒ Ú ÝÖÒ Ò º Ò Ø ÓÒ ÓÐØÞÑ ÒÒÑ Òº ØØ ÒØ Ð Ø ÐÐ ØÒ ÒÓ Öµ V i ÓÑ Ò Ú Ö ÒØ Ò Ò Ô ÐÐ Ö Ú Ú V i = 0 ÐÐ Ö 1º Ö Ñ Ú Ø s ij ÓÑ Ø ÑÙÐ Ö Ö s ij > 0 ÐÐ Ö Ò Ö Ö s ij < 0 ØØ ÒÓ Ô Öº ÃÓÒ Ò Ù ÙÒ Ø ÓÒº C = i,j s ij V i V j

ÓÐØÞÑ ÒÒÑ Ò Ò Ñ Ü Ñ Ö Ö ÓÒ Ò Ù ÙÒ Ø ÓÒ Ò ÒØ Ò Ò Ú ÒØ ÐÐØ ÐÐ Ö Ô Ö ÐÐ ÐÐغ ÌÖ ÃÓÒ ØÖÙ Ö Ò ÓÐØÞÑ ÒÒÑ Ò Ú Ö ÓÒ Ò Ù ÙÒ Ø ÓÒ Ö Ð Ñ ÑÐ ÙÒ Ø ÓÒ Òº ÓÐØÞÑ ÒÒÑ Ò Ò Ö Ö ØØ Ø ÓÔØ ÑÙÑ ÙÒ Ö ÓÑ ÑÙÐ Ö Ø ÐÒ Ò Ñ Ò Ú ÒØÙ ÐÐØ Ñ Ô Ö ÐÐ ÐÐ ÑÔÐ Ñ ÒØ Ø ÓÒº

Ê Ô Ø Ø ÓÒ ¹ Æ Ö ØÝÔ Ö Ú ÒØ Ð ÖÐ Ö ÒØ ËÙÔÔÓÖØ Î ØÓÖ Å Ò ÀÓÔ Ð ÒØ ÓÐØÞÑ ÒÒÑ Ò Ò Ê Ô Ø Ø ÓÒ ¹ ÃÓÔÔÐ Ò Ö Ø ÐÐ ÓÔØ Ñ Ö Ò ÁÒÐÖÒ Ò ¹ ÓÔØ Ñ Ö Ò ÀÓÔ Ð ÒØ Ó ÓÐØÞÑ ÒÒÑ Ò Ò Ò ÒÚÒ ÓÑ Ô Ö ÐÐ ÐÐ ÑÔÐ Ñ ÒØ Ø ÓÒ Ö Ú ÓÔØ Ñ Ö Ò Ð ÓÖ ØÑ Öº