ANN fk. Örjan Ekeberg. Strukturell Riskminimering. Kernels. Konsten att undvika att räkna högdimensionellt. Kernels

Transkript

1 Kernel Methods Observaton Nästan alltng är lnjärt separerbart högdmensonella rum Vanlga lågdmensonella data kan enkelt slängas ut ett rum. Två problem uppstår. Många fra parametrar dålg generalserng. Mycket ut Lnjär separerng Många acceptabla lösnngar dålg generalserng

2 Hyperplan med margnaler Breda margnaler mnskar VC-dmensonen Mer begränsad klassfcerare Mndre rsk för dålg generalserng Mnmerng av strukturella rsken maxmerng av margnalen Av alla hyperplan som löser problemet så kommer det med störst margnal att generalsera bäst Mndre valmöjlgheter bättre generalserng Separerande hyperplan Hyperplan med margnal w T x + b = 0 w T x + b när d = w T x + b när d = Bästa separerande hyperplan Mnmera w T w Bvllkor d ( w T x + b) Margnalens storlek w T w Mnmera w T w Transformera ndata cke-lnjärt tll ett feature-rum

3 Idén bakom Utnyttja fördelarna med ett rum utan att behöva representera någontng Förutsättnng: Det enda man gör med elementen det högdmensonella rummet är att beräkna skalärprodukter mellan par av element Vanlgt ANN Trck: Skalärprodukten beräknas ursprungsrepresentatonen stället Exempel Punkter D x = [ x x Transformaton tll 4D x 3 φ( x) = 3x 3x x x φ( x) T φ( y) = x 3 y 3 + 3x y x y + 3x y x y + x 3 y 3 = (x y + x y ) 3 = ( x T y) 3 = K( x, y) x 3 Vanlga Polynom Radalbaser K( x, y) = ( x T y + ) p K( x, y) = e ρ x y Mnmera w T w Bvllkor d ( w T φ( x ) + b) Lagranges multplkatormetod L = w T w α [d ( w T φ( x ) + b) Mnmeras m.a.p. w och b, maxmera m.a.p. α 0 w = 0 b = 0 L = w T w w = 0 = w b = 0 = α [d ( w T φ( x ) + b) α d φ( x ) = 0 α d = 0 Använd w = för att elmnera w L = w T w α d φ( x ) L = α α j d d j φ( x ) T φ( x j ),j,j α d = 0 α [d ( w T φ( x ) + b) α α j d d j φ( x ) T φ( x j ) b 0 + α L = α α α j d d j φ( x ) T φ( x j ),j

4 Duala Problemet Maxmera Under bvllkoren α α α j d d j φ( x ) T φ( x j ),j α d = 0 α 0 φ( x) och w behöver aldrg beräknas explct Icke-separerbara tränngsexempel Tllåt slack. Välj en lämplg kernelfunkton. Beräkna α (lös maxmerngsproblemet) 3. x svarande mot α 0 utgör supportvektorer 4. Klassfcera genom α d K( x, x ) > 0 Mnmera w T w+c ξ Maxmerngsproblemet med Slack Maxmera α α α j d d j φ( x ) T φ( x j ),j Bvllkor d ( w T φ( x ) + b) ξ Under bvllkoren α d = 0 0 α C För övrgt är allt som tdgare

5 Supportvektor-teknken fungerar även för funktonsanpassnng