Projektion av träningsdata på aktuell underrum av dim Föreläsning : Klassificering, minsta kvadratproblem, SVD, forts. Berkant Savas Tillämpad matematik i natur och teknikvetenskap, TNA Institutionen för teknik och naturvetenskap Linköpings universitet mars z (vikt) x (hojd) y (bredd) Respektive underrum spänns upp av den första vänster-singulära-vektorn u / / er vid projektion på underrum för morötter er vid projektion på underrum för potatis Projektion pa underrum for morotter for potatisar for morotter 9 Projektion pa underrum for potatis for potatisar for morotter Beskriver underrummet potatisarna bra? / Beskriver underrummet potatisarna bra? /
Projektion av träningsdata på aktuell underrum av dim er vid proj på underrum dim- för morötter z (vikt) Projektion pa underrum av dim for morotter for potatisar, dim for morotter, dim for potatisar, dim for morotter, dim y (bredd) x (hojd) Respektive underrum spänns upp av u och u, de två första vänster-singulära-vektorerna. Notera att underrummen (båda) är plan genom origo! / Beskriver underrummet potatisarna bra? / er vid proj på underrum dim- för potatis Test: morötter från testmängden, dim- 9 Projektion pa underrum for potatis for potatisar, dim for morotter, dim for potatisar, dim for morotter, dim Morotter (testdata) Underrum for potatis, dim Underrum for morot, dim Beskriver underrummet potatisarna bra? / Morot Hur många blir korrekt klassificerade? /
Test: potatis från testmängden, dim- Test: morötter från testmängden, dim- Potatis (testdata) Underrum for potatis, dim Underrum for morot, dim. Morotter (testdata) Underrum for potatis, dim Underrum for morot, dim... Potatis Morot Hur många blir korrekt klassificerade? 9 / Hur många blir korrekt klassificerade nu? / Test: potatis från testmängden, dim- Algoritm : Klassificering genom projektion på underrum. Potatis (testdata) Underrum for potatis, dim Underrum for morot, dim TRÄNINGSFAS Använd träningsdata för att bestämma ett underrum för varje klass. Underrummen fås genom SVD från träningsdata för en klass: Ū V t = A potatis R. Ũ Ṽ t = A morot R Bestäm dimensionen d av underrumen, t.ex. d =, d = De första d vektorerna ur Ū och Ũ bildar baser för underrum:. B p =(ū,...,ū d ) B m =(ũ,...,ũ d ) Potatis Hur många blir korrekt klassificerade nu? / Endast basvektorerna i B p och B m används i testfasen. Modellen för en klass blir underrummet som representeras av dess basvektorer i B p och B m. /
Algoritm : Klassificering genom projektion på underrum TESTFAS För varje objekt b itestmängden: Projicera objektet på underrum för varje klass. Lös problemen Siffrorna Siffrorna är från US Postal Service databas Lösningarna ges av min kb p x x bk med lösning x p min kb m x x bk med lösning x m x p = B t pb resp. x m = B t mb b s projektion på underrummen blir B p x p samt B m x m Bestäm normen av residualerna som hör ihop med varje projektion. np = kb B p x p k n m = kb B m x m k Underrummet som ger minst residual bestämmer klassen för b. Jämför med facit om resultatet blev rätt! / 9 9 9 9 9 siffror i träningsmängden siffror i testmängden / Siffrorna Siffrorna Varje siffra är en bild med pixlar i gråskala Varje siffra lagras som en matris Numeriska värden för pixlarna ligger mellan och = vit bakgrund = svart bakgrund däremellan stegvis övergång från vit till svart Undersök i MATLAB Morötter och potatisar representeras som vektorer i R Men siffror är matriser! Problem? Lösning? / /
Siffrorna Morötter och potatisar representeras som vektorer i R Men siffror är matriser! Problem? Lösning? En given matris kan associeras med en vektor T.ex. A =! a = B C @ A MATLAB-tips: använd funktionen reshape Vi associerar varje matris (som representerar en siffra) med en vektor i R Siffrorna utgör då punkter(vektorer) i R Vi kan nu tillämpa samma metoder på siffrorna som vi gjorde med morötter och potatisar Algoritm : Klassificering genom projektion på underrum TRÄNINGSFAS Använd träningsdata för att bestämma ett underrum för varje klass. Underrummen fås genom SVD från träningsdata för en klass: U (i) (i) V (i),t = A i R n i i =,,,...9 Bestäm dimensionen d av underrumen, t.ex. d = De första d vektorerna ur U (i) bildar baser för underrum: B i =(u (i),...,u(i) ) i =,,,...9 d Endast basvektorerna i B,...,B 9 används i testfasen. Modellen för en klass blir underrummet som representeras av dess basvektorer i B i / / Algoritm : Klassificering genom projektion på underrum TESTFAS För varje objekt b itestmängden: Projicera objektet på underrum för varje klass. Lös problemen min x kb i x bk med lösning x i i =,,,...9 Lösningarna ges av x i = B t i b, i =,,,...9 b s projektion på underrummen blir B i x i, i =,,,...9 Bestäm normen av residualerna som hör ihop med varje projektion. n i = kb B i x i k i =,,,...9 Underrummet som ger minst residual bestämmer klassen för b. Jämför med facit om resultatet blev rätt! 9 / Rapportskrivning/redovisning En rapport och max två sidor lämnas in Ni får en annan rapport att opponera på Skriftlig opposition om ca en sida lämnas in Muntlig presentation ( min) och muntlig opposition ( min) Inlämning av ev. korrigerad rapport, alltid! Bedömningsmoment (per grupp): Rapport och presentation Opposition, skriftlig och muntlig Godkänd på MP när alla moment är godkända /
Reproducerbarhet Förslag på disposition Resultatet skall gå att reproducera Förutsättningar och procedurer måste anges tillräckligt noggrant för att kunna upprepas Utnyttja referenser En grundbult i begreppet "vetenskaplighet" Inledning/bakgrund Redogörelse för hur problemet löstes, metoder, algoritmer Resultat Diskussion (rimlighet) Slutsatser Referenser / / Viktiga datum I Viktiga datum II Gruppindelning meddelas respektive lärare per e-post senast tisdag mars kl. ED-specifika datum: Uppladdning av rapport miniprojekt senast tisdag april kl. :. Oppositionslista för ED anslås på Lisam senast tisdag april kl. :. Uppladdning av opposition miniprojekt senast onsdag 9 april kl. :. KTS- och MT-specifika datum: Uppladdning av rapport miniprojekt senast onsdag 9 april kl. 9:. Oppositionslista för KTS och MT anslås på Lisam senast torsdag april kl. 9:. Uppladdning av opposition miniprojekt senast fredag april kl. :. Uppladdning av eventuellt omarbetad rapport miniprojekt senast fredag maj kl. :. Resultat med återkoppling anslås inom tio arbetsdagar från maj. Uppladdning av rapport miniprojekt senast måndag 9 maj kl. : Resultat anslås inom tio arbetsdagar från maj. Inlämning får inte ske via e-post. Det blir ett extrainsatt lektionstillfälle i datorsal, mitten på nästa vecka. Jag kommer att vara tillgänglig (framförallt) för frågor kring implementering. / /