Föreläsning 7: Klassificering, minsta kvadratproblem, SVD, forts.

Föreläsning 7: Klassificering, minsta kvadratproblem, SVD, forts. Berkant Savas Tillämpad matematik i natur och teknikvetenskap, TNA5 Institutionen för teknik och naturvetenskap Linköpings universitet 2 mars 218 1 / 24

Projektion av träningsdata på aktuell underrum av dim 1 8 7 6 5 z (vikt) 4 3 2 1 15 1 5 5 1 15 x (hojd) y (bredd) Respektive underrum spänns upp av den första vänster-singulära-vektorn u 1 2 / 24

Norm av residualer vid projektion på underrum för morötter 8 7 Projektion pa underrum for morotter Residual for potatisar Residual for morotter 6 5 4 3 2 1 5 1 15 2 25 3 35 4 Norm av residual Beskriver underrummet morötterna bra? Beskriver underrummet potatisarna bra? 3 / 24

Norm av residualer vid projektion på underrum för potatis 9 8 Projektion pa underrum for potatis Residual for potatisar Residual for morotter 7 6 5 4 3 2 1 5 1 15 2 25 3 35 4 Norm av residual Beskriver underrummet morötterna bra? Beskriver underrummet potatisarna bra? 4 / 24

Projektion av träningsdata på aktuell underrum av dim 2 8 7 6 5 z (vikt) 4 3 2 1 5 1 15 15 1 5 y (bredd) x (hojd) Respektive underrum spänns upp av u 1 och u 2, de två första vänster-singulära-vektorerna. Notera att underrummen (båda) är plan genom origo! 5 / 24

Norm av residualer vid proj på underrum dim-2 för morötter 8 7 Projektion pa underrum av dim 2 for morotter Residual for potatisar, dim 2 Residual for morotter, dim 2 Residual for potatisar, dim 1 Residual for morotter, dim 1 6 5 4 3 2 1 5 1 15 2 25 3 35 4 Norm av residual Beskriver underrummet morötterna bra? Beskriver underrummet potatisarna bra? 6 / 24

Norm av residualer vid proj på underrum dim-2 för potatis 9 8 Projektion pa underrum for potatis Residual for potatisar, dim 2 Residual for morotter, dim 2 Residual for potatisar, dim 1 Residual for morotter, dim 1 7 6 5 4 3 2 1 5 1 15 2 25 3 35 4 Norm av residual Beskriver underrummet morötterna bra? Beskriver underrummet potatisarna bra? 7 / 24

Test: morötter från testmängden, dim-1 7 6 Morotter (testdata) Underrum for potatis, dim 1 Underrum for morot, dim 1 5 Residual 4 3 2 1 2 4 6 8 1 12 14 16 18 2 Morot Hur många blir korrekt klassificerade? 8 / 24

Test: potatis från testmängden, dim-1 8 7 Potatis (testdata) Underrum for potatis, dim 1 Underrum for morot, dim 1 6 5 Residual 4 3 2 1 2 4 6 8 1 12 14 16 18 2 Potatis Hur många blir korrekt klassificerade? 9 / 24

Test: morötter från testmängden, dim-2 3.5 3 Morotter (testdata) Underrum for potatis, dim 2 Underrum for morot, dim 2 2.5 Residual 2 1.5 1.5 2 4 6 8 1 12 14 16 18 2 Morot Hur många blir korrekt klassificerade nu? 1 / 24

Test: potatis från testmängden, dim-2 2.5 Potatis (testdata) Underrum for potatis, dim 2 Underrum for morot, dim 2 2 1.5 Residual 1.5 2 4 6 8 1 12 14 16 18 2 Potatis Hur många blir korrekt klassificerade nu? 11 / 24

Algoritm 3: Klassificering genom projektion på underrum TRÄNINGSFAS 1 Använd träningsdata för att bestämma ett underrum för varje klass. 2 Underrummen fås genom SVD från träningsdata för en klass: Ū Σ V t = A potatis R 3 2 Ũ ΣṼ t = A morot R 3 2 3 Bestäm dimensionen d av underrumen, t.ex. d = 1, d = 2 4 De första d vektorerna ur Ū och Ũ bildar baser för underrum: B p = (ū 1,..., ū d ) B m = (ũ 1,..., ũ d ) Endast basvektorerna i B p och B m används i testfasen. 5 Modellen för en klass blir underrummet som representeras av dess basvektorer i B p och B m. 12 / 24

Algoritm 3: Klassificering genom projektion på underrum TESTFAS 1 För varje objekt b i testmängden: 2 Projicera objektet på underrum för varje klass. Lös problemen 3 Lösningarna ges av min B p x b x med lösning x p min B m x b x med lösning x m x p = B t pb resp. x m = B t mb 4 b s projektion på underrummen blir B p x p samt B m x m 5 Bestäm normen av residualerna som hör ihop med varje projektion. np = b B p x p n m = b B m x m 6 Underrummet som ger minst residual bestämmer klassen för b. 7 Jämför med facit om resultatet blev rätt! 13 / 24

Siffrorna Siffrorna är från US Postal Service databas 1 2 3 4 5 6 7 8 9 1194 15 731 658 652 556 664 645 542 644 359 264 198 166 2 16 17 147 166 177 7291 siffror i träningsmängden 27 siffror i testmängden 14 / 24

Siffrorna Varje siffra är en bild med 16 16 pixlar i gråskala Varje siffra lagras som en 16 16 matris Numeriska värden för pixlarna ligger mellan och 1 = vit bakgrund 1 = svart bakgrund däremellan stegvis övergång från vit till svart Undersök i MATLAB 15 / 24

Siffrorna Morötter och potatisar representeras som vektorer i R 3 Men siffror är 16 16 matriser! Problem? Lösning? 16 / 24

Siffrorna Morötter och potatisar representeras som vektorer i R 3 Men siffror är 16 16 matriser! Problem? Lösning? En given matris kan associeras med en vektor T.ex. A = ( ) 1 3 2 4 1 a = 2 3 4 MATLAB-tips: använd funktionen reshape Vi associerar varje 16 16 matris (som representerar en siffra) med en vektor i R 256 Siffrorna utgör då punkter(vektorer) i R 256 Vi kan nu tillämpa samma metoder på siffrorna som vi gjorde med morötter och potatisar 17 / 24

Algoritm 3: Klassificering genom projektion på underrum TRÄNINGSFAS 1 Använd träningsdata för att bestämma ett underrum för varje klass. 2 Underrummen fås genom SVD från träningsdata för en klass: U (i) Σ (i)( V (i)) t = Ai R 256 n i i =, 1, 2,... 9 3 Bestäm dimensionen d av underrumen, t.ex. d = 8 4 De första d vektorerna ur U (i) bildar baser för underrum: B i = (u (i) 1,..., u(i) ) i =, 1, 2,... 9 d Endast basvektorerna i B,..., B 9 används i testfasen. 5 Modellen för en klass blir underrummet som representeras av dess basvektorer i B i 18 / 24

Algoritm 3: Klassificering genom projektion på underrum TESTFAS 1 För varje objekt b i testmängden: 2 Projicera objektet på underrum för varje klass. Lös problemen min x B i x b med lösning x i i =, 1, 2,... 9 3 Lösningarna ges av x i = B t i b, i =, 1, 2,... 9 4 b s projektion på underrummen blir B i x i, i =, 1, 2,... 9 5 Bestäm normen av residualerna som hör ihop med varje projektion. n i = b B i x i i =, 1, 2,... 9 6 Underrummet som ger minst residual bestämmer klassen för b. 7 Jämför med facit om resultatet blev rätt! 19 / 24

Rapportskrivning/redovisning En rapport och max två sidor lämnas in Ni får en annan rapport att opponera på Skriftlig opposition om ca en sida lämnas in Muntlig presentation (5 min) och muntlig opposition (5 min) Inlämning av ev. korrigerad rapport, alltid! Bedömningsmoment (per grupp): 1 Rapport och presentation 2 Opposition, skriftlig och muntlig Godkänd på MP2 när alla moment är godkända 2 / 24

Reproducerbarhet Resultatet skall gå att reproducera! Förutsättningar och procedurer måste anges tillräckligt noggrant för att kunna upprepas Utnyttja referenser En grundbult i begreppet "vetenskaplighet" 21 / 24

Förslag på disposition Inledning/bakgrund Redogörelse för hur problemet löstes, metoder, algoritmer Resultat Diskussion (rimlighet) Slutsatser Referenser 22 / 24

Planering för miniprojekt 2 http://webstaff.itn.liu.se/~bersa48/tna5/216/ tna5-216-uplan-vt2.pdf 23 / 24

24 / 24