Repetition DMI, m.m. Några begrepp. egenskap d. egenskap1

Transkript

1 Repetto DMI, m.m. I. ermolog och Grudproblem II. Ljär algebra III. Optmerg IV. Saolkhetslära V. Parameterestmerg Några begrepp Möstervektor (egeskapsvektor/data) lsta med umerska värde som beskrver möstret. Brukar heta. egeskap egeskap 2 = M egeskap d varje egeskap ses som e koordat ett d-dmesoellt rum 2 Börvärde. Ofta vektor (eg. target vector, el. desred output) de vektor som hör hop med. brukar heta t, y eller d. Mösterrum v betraktar ett möster,, som e pukt ett vektorrum med dmeso d. E: 2 (vkt) perso. perso 2 (lägd) 3

2 Grudproblem DMI Klassfcerg (förk. klassg ) syoym: möstergekäg ästa syoym: detekto Regresso ästa syoym: fuktosappromato Kodg effektv represetato av data 4 För detta krävs... Mägd med trägseempel (trägsmägd) syoymer: desgeempel, trägsdata atge (a) X = {, t..., N, t N} eller (b) X = {,..., N } Ilärg syoymer: träg, parameterestmerg ka var övervakad (supervsed, fall (a)) eller oövervakad (usupervsed, fall (b)) 5 Övervakad lärg rägsdata X = {, t..., N, t N} Målet är att, baserat på trägsdata, skapa e fukto som, gvet, predkterar t. Valg vd klassfcerg att låta t vara e s.k. dkatorfukto? tˆ skattg/estmat/ appromato t 0 M = 0 M på pos. om C 0 aars 6 2

3 Oövervakad lärg rägsdata X = {,..., N } Mål: fa (oftast kompakt) represetato av, dvs koda eller komprmera syfte att: Förekla lösge av problem som ka beskrvas som övervakad lärg. Vsualsera (Kode y har typskt ma 3 dmesoer. Ka då plotta möstre som pukter sprdgsdagram.)? y? ˆ y har lägre dmeso ä ˆ 7 Eempel på oövervakad lärg Va prcpalkompoetaalys (PCA). Kode är kotuerlg. Olka former av klustrg. Kode är dskret (heltal) Herarksk klustrg K-meas clusterg (KMC) Kombatoer av PCA och klustrg 8 Flera begrepp Dskrmatfuktoer. förekommer vd klassfcerg. E fukto per klass (udatag ev. för 2-klassproblem) Beräkar poäg för ett möster,. g ( ) g ( 2 ) M g C () ma beslut 9 3

4 Beslutsområde ett område som assoceras tll e vss dskrmatfukto (klass) beslutsområdet för klass C är det område mösterrummet där g ( ) > g j ( ) för alla j Beslutsgräs/beslutsyta gräse mella två beslutsområde pukter på beslutsgräse deferas av ekv: g ( ) = g ( ) j Data frå två klasser samt klassfcerares beslutsytor Beslutsomr. klass Data klass Data klass 2 beslutsyta 3 2 E: Beslutsomr. klass 2 Beslutsomr klass II. Ljär algebra Hur ma läser matrs/vektor-uttryck lättare Deftoer: eller W = y y = M, = y ( w L w ) u Dessutom U = u m d där w M m d M w = M w k mk och k radvektorer av dmeso d w W = M wm L L w w d M md 2 4

5 Hur ma läser... (a) Matrs/vektorprodukt sett som e vktad summa av kolumvektorer y = W = d k = w k k (b) Matrs/vektorprodukt sett som e sere skalärprodukter u y = U = M um 3 Hur ma läser... (c) Matrs/matrs-produkt sett som e sere matrs/vektor-produkter Blda Y = ( y y ), X = ( L ) Y = WX = L N N ( W L ) W N Egevärde (evä) och egevektorer (eve) Def. A = λ evä eve A är kvadratsk matrs 4 Avädbart verktyg : spåret (trace) av e matrs def: A) = ( A), tr(, egeskaper (se utdelat papper) Erbjuder ofta ett kompakt skrvsätt för uttryck som ehåller summor e: Krterefukto vd ljär regresso (OLS) 2 J ( W) = y yˆ = ( y W ) ( y W ) k k k dvs summa av dagoalelemete ka skrvas J ( W) = tr ( Y WX) ( Y WX) Y = ( y y ), X ( L ) med = ( ) L N N 5 5

6 Problem: mmera * söker vektor = III. Optmerg f () arg m Lokalt mmum deferas av m.a.p, dvs v f ( ) f f f ( ) = 0, där f ( ) = samt att H > 0 2 M Hessae 6 Metoder för optmerg gradetmetode (steepest descet) Newtos metod: Ide appromera fuktoe (lokalt) med e aylorutvecklg upp tll kvadratska termer. Mmera seda dea kvadratska fukto. Fördel: Mkt sabb koverges ära ett mmum Problem: Kräver att Hessae är pos. def. om dmesoe för är stor, stora beräkgar 7 Optmerg uder bvllkor * söker = arg m f ( ), b.v. c ( ) = 0, för =,..., Elgt Lagrage: Om är ett lok. m. tll f(.) (och uppfyller bvllkore) så esterar * λ,..., λk sådaa att och λ,..., λ K L(, λ,..., λk ) = 0 c ( ) = 0, λ 0 för alla L, λ,..., λ ) = f ( K ( ) λc( ) uppfyller ekv. K 8 6

7 IV. Saolkhetslära saolkhet assoceras med utsagor, te A= det regar Skövde I=vår bakgrudsformato A I) utläses: saolkhet att utsaga A är sa, gvet att I är sa. Egeskap: 0 A) Räkeregler för saolkheter Produktregel: A,B I)=A B,I)B I) och gvet att 9 Räkeregler, forts Summaregel: A eller B I)=A I)+B I)- A,B) Kosekves av produktregel: Bayes sats Gäller att P ( A, B I) = B, A I) P ( A B, I) B I) = B A, I) A I) A B, I) B I) P ( B A, I) = A I) Specalfall av summaregel: Om A och B är uteslutade (ka ej ske samtdgt) A eller B I)=A I)+B I), ty A,B I)=0 20 äthetsfördelg (pdf) för skalär, Beteckas p(). Egeskap p( ) 0. E b fukto såda att E: pdf för Normalfördelade 0.4 P ( a b) = p( ) d a p() Area=0.5 < <.5)

8 äthetsfördelg (pdf) för vektor, Beteckas p(). Egeskap: p( ) 0. betydelse : p ( ) = p(, 2,..., d ). Produktregel gäller, dvs = ( ),..., p (, 2,..., d ) = p( 2,..., d ) p( 2,..., d ). osv. Bladg av dskreta och kotuerlga varabler möjlgt, te p, klasstllhörghet C ) = p(, C ) = p( C ) C ) ( d förkortat skrvsätt 22 llämpg av shtslära om MI Ata att dras frå olka klasser med a pror-saolkheter P C C,...,C c C ) ( ),..., c Olka pdf:er, p( C),..., p( Cc), för varje klass Mmerg av felsaolkhet leder tll de optmala beslutsregel: väljc om C ) C j ) för alla j a-posterorsaolkhetera C ) fås va Bayes sats p( C ) C ) C ) = måste val. p( ) skattas 23 Några vktga begrepp: Vätevärde m = E[ ] = p( ) d =... p( ) dd... d2d 2 d ka tolkas som e tygdpukt för e massfördelg, p(). Kovarasmatrs ' [( m)( m) ] = ( m)( C = E m)' p( ) d ger formato om fördelges sprdg aalyseras m.h.a prcpalkompoetaalys 24 8

9 Betgad pdf, E: y och är skalärer. De har smultaa pdf:e p(,y) p(y ) beteckas p(y ) täthetsfördelge för y då är låst. Betgat vätevärde m y = E[ y ] = y p( y )dy y ygdpukte lägs dea lje Sgaler & System 25 Valgt e på vektorvärd pdf, ormalfördelge: kovarasmatrs p() = e (2π ) d / 2 C / 2 d=dmeso vätevärde ( m ) ' C ( m ) 2 determat Sgaler & System 26 V: Parameterskattg Problem: V har data X = {,..., N } som atas vara draga frå pdf p() som har käd parametrsk form. Parametraras värde är dock okäda. e: V atar att är ormalfördelad med vätevärde m och kovaramatrs C. vå (besläktade) prcper för parameterskattg: Mamum lkelhood (ML) Mamum a posteror (MAP) Sgaler & System 27 9

10 ML: MAP: Låt θ betecka e vektor som ehåller alla okäda parametrar θˆ θˆ ML = arg ma p( X θ ) = arg ma p( θ X ) MAP = s.k. lkelhoodfukto arg ma p( X θ ) p( θ ) s.k. pror Obs: om p(θ ) är relatvt kostat för θ ett stort område så sammafaller ML- och MAPskattgara 28 0