Föreläsning 7: Klassificering, minsta kvadratproblem, SVD, forts.

Transkript

1 Föreläsning 7: Klassificering, minsta kvadratproblem, SVD, forts. Berkant Savas Tillämpad matematik i natur och teknikvetenskap, TNA5 Institutionen för teknik och naturvetenskap Linköpings universitet 2 mars / 24

2 Projektion av träningsdata på aktuell underrum av dim z (vikt) x (hojd) y (bredd) Respektive underrum spänns upp av den första vänster-singulära-vektorn u 1 2 / 24

3 Norm av residualer vid projektion på underrum för morötter 8 7 Projektion pa underrum for morotter Residual for potatisar Residual for morotter Norm av residual Beskriver underrummet morötterna bra? Beskriver underrummet potatisarna bra? 3 / 24

4 Norm av residualer vid projektion på underrum för potatis 9 8 Projektion pa underrum for potatis Residual for potatisar Residual for morotter Norm av residual Beskriver underrummet morötterna bra? Beskriver underrummet potatisarna bra? 4 / 24

5 Projektion av träningsdata på aktuell underrum av dim z (vikt) y (bredd) x (hojd) Respektive underrum spänns upp av u 1 och u 2, de två första vänster-singulära-vektorerna. Notera att underrummen (båda) är plan genom origo! 5 / 24

6 Norm av residualer vid proj på underrum dim-2 för morötter 8 7 Projektion pa underrum av dim 2 for morotter Residual for potatisar, dim 2 Residual for morotter, dim 2 Residual for potatisar, dim 1 Residual for morotter, dim Norm av residual Beskriver underrummet morötterna bra? Beskriver underrummet potatisarna bra? 6 / 24

7 Norm av residualer vid proj på underrum dim-2 för potatis 9 8 Projektion pa underrum for potatis Residual for potatisar, dim 2 Residual for morotter, dim 2 Residual for potatisar, dim 1 Residual for morotter, dim Norm av residual Beskriver underrummet morötterna bra? Beskriver underrummet potatisarna bra? 7 / 24

8 Test: morötter från testmängden, dim Morotter (testdata) Underrum for potatis, dim 1 Underrum for morot, dim 1 5 Residual Morot Hur många blir korrekt klassificerade? 8 / 24

9 Test: potatis från testmängden, dim Potatis (testdata) Underrum for potatis, dim 1 Underrum for morot, dim Residual Potatis Hur många blir korrekt klassificerade? 9 / 24

10 Test: morötter från testmängden, dim Morotter (testdata) Underrum for potatis, dim 2 Underrum for morot, dim Residual Morot Hur många blir korrekt klassificerade nu? 1 / 24

11 Test: potatis från testmängden, dim Potatis (testdata) Underrum for potatis, dim 2 Underrum for morot, dim Residual Potatis Hur många blir korrekt klassificerade nu? 11 / 24

12 Algoritm 3: Klassificering genom projektion på underrum TRÄNINGSFAS 1 Använd träningsdata för att bestämma ett underrum för varje klass. 2 Underrummen fås genom SVD från träningsdata för en klass: Ū Σ V t = A potatis R 3 2 Ũ ΣṼ t = A morot R Bestäm dimensionen d av underrumen, t.ex. d = 1, d = 2 4 De första d vektorerna ur Ū och Ũ bildar baser för underrum: B p = (ū 1,..., ū d ) B m = (ũ 1,..., ũ d ) Endast basvektorerna i B p och B m används i testfasen. 5 Modellen för en klass blir underrummet som representeras av dess basvektorer i B p och B m. 12 / 24

13 Algoritm 3: Klassificering genom projektion på underrum TESTFAS 1 För varje objekt b i testmängden: 2 Projicera objektet på underrum för varje klass. Lös problemen 3 Lösningarna ges av min B p x b x med lösning x p min B m x b x med lösning x m x p = B t pb resp. x m = B t mb 4 b s projektion på underrummen blir B p x p samt B m x m 5 Bestäm normen av residualerna som hör ihop med varje projektion. np = b B p x p n m = b B m x m 6 Underrummet som ger minst residual bestämmer klassen för b. 7 Jämför med facit om resultatet blev rätt! 13 / 24

14 Siffrorna Siffrorna är från US Postal Service databas siffror i träningsmängden 27 siffror i testmängden 14 / 24

15 Siffrorna Varje siffra är en bild med pixlar i gråskala Varje siffra lagras som en matris Numeriska värden för pixlarna ligger mellan och 1 = vit bakgrund 1 = svart bakgrund däremellan stegvis övergång från vit till svart Undersök i MATLAB 15 / 24

16 Siffrorna Morötter och potatisar representeras som vektorer i R 3 Men siffror är matriser! Problem? Lösning? 16 / 24

17 Siffrorna Morötter och potatisar representeras som vektorer i R 3 Men siffror är matriser! Problem? Lösning? En given matris kan associeras med en vektor T.ex. A = ( ) a = MATLAB-tips: använd funktionen reshape Vi associerar varje matris (som representerar en siffra) med en vektor i R 256 Siffrorna utgör då punkter(vektorer) i R 256 Vi kan nu tillämpa samma metoder på siffrorna som vi gjorde med morötter och potatisar 17 / 24

18 Algoritm 3: Klassificering genom projektion på underrum TRÄNINGSFAS 1 Använd träningsdata för att bestämma ett underrum för varje klass. 2 Underrummen fås genom SVD från träningsdata för en klass: U (i) Σ (i)( V (i)) t = Ai R 256 n i i =, 1, 2, Bestäm dimensionen d av underrumen, t.ex. d = 8 4 De första d vektorerna ur U (i) bildar baser för underrum: B i = (u (i) 1,..., u(i) ) i =, 1, 2,... 9 d Endast basvektorerna i B,..., B 9 används i testfasen. 5 Modellen för en klass blir underrummet som representeras av dess basvektorer i B i 18 / 24

19 Algoritm 3: Klassificering genom projektion på underrum TESTFAS 1 För varje objekt b i testmängden: 2 Projicera objektet på underrum för varje klass. Lös problemen min x B i x b med lösning x i i =, 1, 2, Lösningarna ges av x i = B t i b, i =, 1, 2, b s projektion på underrummen blir B i x i, i =, 1, 2, Bestäm normen av residualerna som hör ihop med varje projektion. n i = b B i x i i =, 1, 2, Underrummet som ger minst residual bestämmer klassen för b. 7 Jämför med facit om resultatet blev rätt! 19 / 24

20 Rapportskrivning/redovisning En rapport och max två sidor lämnas in Ni får en annan rapport att opponera på Skriftlig opposition om ca en sida lämnas in Muntlig presentation (5 min) och muntlig opposition (5 min) Inlämning av ev. korrigerad rapport, alltid! Bedömningsmoment (per grupp): 1 Rapport och presentation 2 Opposition, skriftlig och muntlig Godkänd på MP2 när alla moment är godkända 2 / 24

21 Reproducerbarhet Resultatet skall gå att reproducera! Förutsättningar och procedurer måste anges tillräckligt noggrant för att kunna upprepas Utnyttja referenser En grundbult i begreppet "vetenskaplighet" 21 / 24

22 Förslag på disposition Inledning/bakgrund Redogörelse för hur problemet löstes, metoder, algoritmer Resultat Diskussion (rimlighet) Slutsatser Referenser 22 / 24

23 Planering för miniprojekt 2 tna5-216-uplan-vt2.pdf 23 / 24

24 24 / 24