Laboration 2. Minsta kvadratproblem

Transkript

1 Laboraion Tillämpade Numeriska Meoder Minsa kvadraproblem Farid Bonawiede Michael Lion 5 februari 5 Inledning När man har skapa en maemaisk modell som beskriver e viss fenomen vill man verkligehesanpassa denna. Dea görs genom a man samlar in daa från fenomene och därefer anpassar e par olika paramerar ill den insamlade daan. I den här laboraionen ska vi undersöka olika meoder för a lösa de ekvaioner som uppkommer då vi försöker göra dessa anpassningar. Ekvaionerna som uppkommer är normalekvaionerna som vi har lös genom a beräkna (A T A) A T. Emellerid kan dessa ine lösas på e illfredssällande sä om probleme är illakondiionera, man gör då isälle en uppdelning av marisen A. Vi ska ia på vå olika sä a göra dea: Singulärvärdesuppdelning och QR fakorisering. I del vå ska vi använda en av de nya meoderna för a göra ansiksigenkänning.

2 Innehåll Anpassning av polynom ill en daaserie 3. Singulärvärdesuppdelning, SVD QR fakorisering QR och SVD, anpassning med runkering Sörning av exponenialfunkionen Yerligare funderingar Anpassning med hjälp av Tikhonov regularisering 5 3 Bildigenkänning med hjälp av SVD 7 3. Finns de ansiken i båda arkiven? Finns de fler bilder av samma person? Finns Farid med i finger-arkive? Slusas

3 y y Anpassning av polynom ill en daaserie Give är re sycken olika funkioner som ska generera daaserierna i m sycken olika punker y () = e y () = y 3 () = e + ɛe där ɛ avser en lien sörning som genereras enlig uppgif. Dessa re ska approximeras med polynom upp ill den 4:e graden. Dea görs genom a minimera residualens kvadrasumma i y-led, dvs. lösa normalekvaionerna. A T Ax = A T b där x är koefficienerna hos approximaionspolynome och b är daaserievärdena i de avsedda punkerna.. Singulärvärdesuppdelning, SVD Enlig sas kan varje maris singulärvärdesuppdelas enlig A = USV T. Varje maris är en linjär ransformaion i R n och i de här falle finns de en naurlig geomerisk olkning av singulärvärdesuppdelningen. Marisen U är en oronormal basransformaion, S som är en sräckning och sluligen V T som är en roaion. Dessa egenskaper kan lä verifieras genom a man berakar bland anna deerminanen för respekive maris. Gör man singulärvärdesuppdelningen och applicerar den på normalekvaionerna kommer man fram ill V S T SV T x = V S T U T b Poenserna, n = 7 Poenserna, n = Figur : Kolonnerna i A Nu ska vi beraka kolonnerna i A marisen. Dessa kolonner beskriver poenserna i polynomen och är självfalle ideniska för de re olika daaserierna. Dea efersom de är koefficienerna, x, som bygger upp approximaionspolynomen. I figur e syns dessa för n = 7 och n = 5. I figur vå redovisas hur de nya orogonala baserna, u i ser u. Man kan konrollera a de är orogonala genom a numerisk göra beräkningen U T U och noera a alla elemen är av sorleksordningen 5. Då dea kan ses som en sörning beroende på daorprecisionen 3

4 y y y kan vi i vår sammanhang anse a produken är noll vilke innebär a de är inbördes vinkelräa i R..4 Poenserna, n = 7.4 Poenserna, n = Figur : Kolonnerna i U, dvs. baskvekorerna u i Jämför man nu dessa med cos(x) och sin(x) inses likheen. Funkionerna är orogonala, i absrak mening, vilke kan inses genom a göra beräkningen π sin(x) cos(x)dx =.4.3 Poenserna, n = 7 3 sin(x) cos(x) Figur 3: Jämförelse mo sin(x) sam cos(x) 4

5 Sluligen ar vi en i på elemenen i S marisen och verifierar a dom är monoon avagande. Om A hade vari symmerisk så hade singulärvärdena vari dess egenvärden. σ Sorleken Kolonn / σ i Figur 4: Singulärvärdena. QR fakorisering När man QR fakoriserar en maris A, delar man upp den i vå sycken nya mariser. En orogonal maris som spänner upp arbesrumme, dvs. Q T Q = I, och en övre högerriangulär maris R sådana a A = QR. Vi börjar med a ia på vilka likheer de finns emellan Legendrepolynomen och kolonnerna i Q. Till a börja med kan man få en känsla av a de borde vara lika på grund av a Legendrepolynomen kan skapas genom Gram-Schmids orogonaliseringsprocess. Dea innebär a man borde kunna sälla upp en maris som korresponderar mo Legendrepolynomen. De kanske jus är så a minsakvadraproblem är e lämplig sökområde. Yerligare bör man kunna hia siuaioner då Chebyshev- och Hermiepolynomen liknar kolonnerna i Q. 5

6 Qs kolonner Legendrepolynom Figur 5: Basvekorerna i Q och de försa Legendrepolynomen Innan vi undersöker de runkerade probleme ska vi ia på hur diagonalelemenen i R förhåller sig ill mosvarande elemen i S. 5 r ii r ii s ii r ii s ii s ii r ii s ii Figur 6: Jämförelse mellan diagonalerna. Man kan observera a diagonalelemenen r ii oscillerar run noll. Dea är anmärkningsvär av den anledning a de srider mo bokens påsående om dessa värden men de sämmer väl överens med malabs qr funkion. De syns också a ill beloppe är diagonalelemenen i R mindre än mosvarande diagonalelemen i S..3 QR och SVD, anpassning med runkering I de här probleme gör vi en runkering, dvs. borser från informaion, som här är relaiv redundan. Med de menar vi a anpassningen väsenligen ine blir bäre efer de a vi har häma u illräcklig med informaion. Som angive i laboraionslydelsen kan man också observera a normen ökar på e icke önskvär sä. Vi använde oss av diagrammen i figuren nedan för a välja en rang som var lämplig för respekive uppdelning. 6

7 SVD rang 5 Transformera led Diagonalen i S Rang QR rang 6 4 Transformera led Diagonalen i R Rang Figur 7: Jämförelse, ransformera högerled och singulärvärden. y () = e När de blir sörre än mosvarande singulära värden eller diagonalelemen i R väljer man u de närmase posiiva helal, avrunda uppå. Dea innebär a rang SV D = 6 och rang QR = 5. Iakagelsen gjordes för n = 5. Om vi isälle berakar n = 7 kan man sänka rangen yerligare e seg i singulärvärdesuppdelningen SVD rang Transformera led Diagonalen i S Rang QR rang Transformera led Diagonalen i R Rang Figur 8: Jämförelse, ransformera högerled och singulärvärden. y () = 7

8 Efersom vi har genomför en läare zoom har vi skuri bor de oscillaiva beeende kurvorna sinsemellan. Nu är de lä a inse a rang SV D = 7 och rang QR = 4. Åerigen kan rangen hos SVD sänkas e seg om approximaionen görs med e polynom av grad sju. Genom a nu unyja de beydlig mindre mariserna ska vi undersöka hur bra den nya anpassningen blir. Föruom de föreslagna funkionerna kommer vi a ia på lie mer, i vår ycke, exoiska funkioner. Emellerid kommer vi ine a ria u de vå ovansående figurerna för varje funkion vi berakar uan de är underförså a vi väljer en lämplig rang för varje problem. Vi börjar med a ia på de vå försa daaserierna som genereras uav e sam. Förs berakar vi exponenialfunkionen som approximeras med e sjunde gradens polynom och sedan med e 5 grads polynom. 3.5 Anpassningen Malfunkionen SVD QR 5 x 4 Residualerna y SVD residualen QR residualen Figur 9: Som synes är anpassningen bra för både QR och SVD. Residualerna är av sorleksordningen 4. QR är lie sämre. 3.5 Anpassningen Malfunkionen SVD QR 5 x 4 Residualerna y SVD residualen QR residualen Figur : När gradale hos polynome höjs blir SVD bäre men QR är så go som oförändrad. 8

9 .4. Anpassningen Malfunkionen SVD QR...8 Residualerna SVD residualen QR residualen y Figur : Sämre residualer än vid de exponeialfunkionen men i övrig ganska god anpassning. y Anpassningen Malfunkionen SVD QR Residualerna SVD residualen QR residualen Figur : Här kan man observera samma beeende som vid gradalsförändringen i exponeialapproximaionen. Saiken i QR residualen och förändringen i SVD har en enkel förklaring. Rangen för QR hålls konsan men rangen hos SVD sänks e seg efersom konvergensen i graferna pekar på a de är e bra val. Innan vi iar på hur mycke man kan söra exponenailfunkionen ska vi som hasigas bara visa några anpassningar. Dea inkluderar vå sycken diskoninuerliga funkioner, x.5 och Heavysidefunkionen. 9

10 Anpassningen Malfunkionen SVD QR.5. Residualerna SVD residualen QR residualen.4.5 y Figur 3: QR residualen är symmerisk run singulärieen och gör således en lika god anpassning på båda sidor om denna. Desamma gäller ine för SVD vilke figuren ydlig visar Anpassningen Residualerna SVD residualen QR residualen.5.5 Malfunkionen y SVD QR Figur 4: Den här sorens hopp, av yp spänningspålägg, brukar beskrivas av Fourierserier av varierade ordning. Uppenbarligen är både QR och SVD dåliga approximaioner efersom polynome är av för låg grad för a kunna macha den knepiga funkionen. Kanske åerspeglas de av figuren som vi har använ som riklinje inför rangval?

11 5 5 5 SVD rang Transformera led Diagonalen i S Rang QR rang Transformera led Diagonalen i R Rang Figur 5: Som väna oscillerar den här på e sä som föreslår a vår approximaionsval är olämplig.

12 .3. Sörning av exponenialfunkionen Sluligen ska vi ia på hur mycke man kan söra exponenialfunkionen. Vi har val a ia på funkionen för ɛ {.5,.5, 5, 6 } och dessuom så är sörningen likformig fördelad, ɛ [, ]. Yerligare så skapar vi e slumpfrö genom rand( sae,5) för a kunna göra jämförelser Daaserien SVD QR Anpassningen.6.4 Residualerna 3. y SVD residualen QR residualen Figur 6: ɛ =.5 Här är SVD anpassningen så pass oscillaiv a den omöjligen kan olkas som exponenialfunkionen. QR har vå lusiga knyck men är mer lik exponenialfunkionen, yvärr så är också QR(). Anpassningen kommer givevis också vara beroende av rang. Om man försöker välja denna blir rang SV D = 5 och rang QR = 6. Emellerid ska nämnas a rangkurvorna börjar oscillera efer a de har lugna ner sig, men oscillaionen är ine sor. Vi provade även för ɛ = och då var dea beeende beydlig värre.

13 3.8.6 Daaserien SVD QR Anpassningen.6.4 SVD residualen QR residualen Residualerna.4.. y Figur 7: ɛ =.5 Här är de forfarande illa, som väna så är residualen i viss mån proporionell mo sörningen. För öga ser de här ganska okej u men residualerna är ine de minsa lika residualerna i de icke runkerade anpassningsprobleme. y Daaserien SVD QR Anpassningen x 5 Residualerna SVD residualen QR residualen Figur 8: ɛ = 5 Vale av sörning görs på grund av viss proporionalie mellan sörning och residual. Här kan man börja känna igen residualerna. 3

14 y Daaserien SVD QR Anpassningen 4 6 x 5 Residualerna 4 SVD residualen QR residualen Figur 9: ɛ = 6 Här är de lik de icke runkerade probleme Vi menar a man kan känna igen exponenialfunkionen då anpassningarna börjar ana samma egenskaper i probleme som varken är sör eller runkera. Dea inräffar ungefär då ɛ väljs ill 5..4 Yerligare funderingar Efer a man har ia på runkeringen ve man a genom en rang redukion så kan man sänka sorleken på normen, men ändå göra en fullgod anpassning. Dea efersom residualen ändå blir illräcklig lien. Observera a en låg rang kan i vissa fall göra anpassningen bäre än vid full rang. Emellerid är de ine allid önskvär a sräva efer perfeka anpassningar då de blir väldig problemspecifika och ine hanerar approximaioner av nya siuaioner lika bra som en anpassning med lie sörre residual. Fenomene kallas för overfining och är någoning man ofa vill undvika. 4

15 Anpassning med hjälp av Tikhonov regularisering En mindre norm kan nås genom a använda sig av regularisering. Då löser man isälle minimeringsprobleme, min x Ax b + µ x Genom a variera µ och löser minimeringsprobleme med den inbyggda ruinen i Malab. Då får vi lösningsnormen x som funkion av residualen r. Vi börjar med a göra dea för y = e och Resulae visas i figuren nedan, där vi samidig markera de µ som vi anser inressana.. µ=6.649e µ=.96e 6 µ=.5. Normen av lösningen x µ= Normen av residualen r Figur : Regulariseringskurvan för y = e. Bäsa µ ligger så klar i början vilke innebär a man bör använda så hög rang och så hög gradal som möjlig. 5

16 8 7 µ=6.649e 6 Normen av lösningen x µ=.9 µ=.3 µ=8.7 Normen av residualen r Figur : Regulariseringskurvan för y =. När man undersöker böjen närmare inses a den en opimala rangen fem och de opimala gradale fyra. E bra val av regulariseringsparameer är µ.3 4 µ=6.649e 3 Normen av lösningen x µ=.96e 6 µ=.5 µ= Normen av residualen r Figur : Regulariseringskurvan för y = e ( + ɛ) då ɛ = 5. För de sörda falle blir isälle den en opimala rangen sju och de opimala gradale sex. Här väljer vi isälle µ

17 3 Bildigenkänning med hjälp av SVD 3. Finns de ansiken i båda arkiven? Vi ska i denna del ureda hur man går illväga när man ska använda SVD i en prakisk illämpning, nämligen bildigenkänning. Vi ska även a reda på hur bra meoden är i dea avseende sam vilka problem som kan uppså. Vi började med a läsa in vå olika bildarkiv, där de ena var på neurala ansiken och de andra på leende ansiken. Här följer några exempel ur vardera arkiv. Figur 3: Exempel på bilder ur de vå arkiven Vi normerade alla bilderna med kommando normc. Sedan såg vi ill så a medelvärde blev noll genom a förskjua värderna för kolonnerna med deras medelvärde. Vi lyckades dock ine uppnå precis noll uan fick isälle medelvärden av sorleksordningen 6. Från idigare laboraion ve vi a dea beror på daorprecision och kan anses vara noll. Genom a singulärvärdesuppdela en bild så fick vi u re mariser med olika informaion om hur bilden såg u. U marisedans kolonner är en sors egenansiken. De innebär a varje vekor represedanerar en specifik egenskap i ansiksdaabasedan. Dea innebär a man kan bygga upp varje ansike som en linjärkombinaion av egenansiken. Emellerid känner vi ine ill hur mycke av varje egenskap, väsedanligen koefficienerna i kombinaionen, som ska användas. Singulärvärderna är jus e må på hur mycke informaion varje egenskap ger, allså hur generell eller vikig en viss egenskap är. Se ploen nedan. Neurala Leende Singulärvärden σ Egenansikena r Figur 4: Singulärvärdena illhörande de vå bildarkiven 7

18 Man ser i ploen a e leende ansike är mer specifik än e neural. Dea moiveras på så se a singulärvärdena är sörre för de flesa egenansikena. Dea innebär a de har fler specifika egenskaper och således innehåller mer informaion. Vi anser a de känns rä naurlig a de förhåller sig så. Nu vill vi besämma hur många egenansiken som behövs för a få en illräcklig specifik bild för a kunna göra bra analyser med. Vi vill allså ha en illräcklig sor varians i maeriale men uan a behöva spara all informaion. Om man inegrerar över de försa singulärvärden och dividerar med inegralen av över singulärvärden så erhålls hur sor del av variansedan som finns kvar. De går på så sä a hia de värden på r som ger oss 7, 8 och 9% av variansedan (för de neurala arkive). Resula: r = 7 ca : 9% r = ca : 8% r = 7 ca : 7% Som idigare nämn kan kolonnerna berakas som egenansiken. De svara parierna represedanerar de områden som är specifik för e viss egenansike. Se nedan. Figur 5: Egenansikena,, 4 och 5 svarande mo de neurala arkive Hur många egenansiken som behövs för a man ska känna igen en människa beror på hur speciell personen ser u. För vissa bilder räcke de med fem sycken egenansiken och vissa krävdes olv sycken. Nu när vi få fram illräcklig med informaion om hur SVD fungerar änke vi avslua med hur bra meoden är vid idenifikaion av individer. Vi börjar med a konrollera ifall vi kan hia de leende ansikena i de neurala arkive. Genom a sudera konakkaror av de båda gallerierna så ve vi a de är samma 34 personer i båda gallerierna. Vi gör dea genom a förs skapa en Caalog-maris av de neurala arkive. Sedan ransformerar vi varje ansike ur de leende arkive ill de neurala arkives bas genom a muliplicera varje ansiksvekor med U T. Vi jämför sedan med vilke ansike i arkive som ger lägs -norm. Vi provade även med -norm längs kolonnerna men de gjorde de varken sämre eller bäre. 8

19 Probleme har allså formen, min i SV T U T X Vi gör dea för alla delmängder av egenansiken och undersöker hur många ansiken som vi lyckas idenifiera i de neurala arkive. 3 5 Anal lyckade idenifieringar Anal egenansiken r Figur 6: Relaionen mellan anal egenansiken och lyckade idenifieringar Ur ploen framgår de a de ine behövs fler än 3 egenansiken för a få någon märkbar förbäring. De ser u som om vi ine kan få en mycke bäre noggrannhe än 4-5 s korreka idenifieringar. 3. Finns de fler bilder av samma person? Bilderna i de försa arkive var förbehandlade, exempelvis så var ögonen cenrerade. Vi undersöke yerligare e bildarkiv med någo sämre bilder men med fler pixlar. Figur 7: Exempel på bilder ur de sora arkive Genom a sudera en konakkara, genererad ur dea arkiv, insågs a de var re sycken bilder av 6 olika personer. De vi ville undersöka här var ifall vi kunde hia de vå andra bilderna av samma person genom a a u en ur arkive. Vi började med a räkna u hur många egenvärden som krävs för a behålla 7, 8 och 9% av variansedan sam ploa singulärvärdena. 9

20 Singulärvärden σ Resula: r = 33 ca : 9% r = 4 ca : 8% r = 7 ca : 7% Egenansikena r Naurligvis exiserar även här egenansiken. Nedan visas några av dessa. Figur 8: Egenansikena,, 4 och 5 skapade ur de oborsade arkive På samma se som idigare skapade vi en Caalog-maris av de nya arkive. Sedan iade vi på skillnaden mellan vekorn vi avsåg a jämföra och kolonnerna i Caalog-marisedan. Här definerade vi en lyckad idenifiering som a de re sycken med lägs norm ska vara av samma person. Man kan observera a en av normerna kommer allid a bli noll här. Vi konrollerade också hur många lyckade idenifieringar som gjordes för olika anal egenansiken Anal lyckade idenifieringar Anal egenansiken r Figur 9: Relaionen mellan anal egenansiken och lyckade idenifieringar Här inses a de behövs 3 sycken egenansiken innan man sluar få någon förbäring av a a med yerligare egenansiken. De maximala anale lyckade idenifieringar är allså cirka 3 sycken.

21 3.3 Finns Farid med i finger-arkive? Med den kunskap vi nu har om dea ycker vi a de verkar kul a prova applicera dea verkyg på e ege bildarkiv och sedan a några bilder på en person som vi ve finns med i arkive och se ifall vi lyckades idenifiera denne. Arkive byggde vi upp av xfinger-bilder på personer som går i vår årskurs fusklapp, formell refererad ill som F-. Bilderna är förbehandlade med Adobe Phooshop CS. Figur 3: Exempel på bilder ur vår egna arkiv.3.. Singulärvärden σ Egenansikena r Figur 3: Singulärvärdena ill vår egna arkiv Genom a använda samma meod som idigare beräknar hur många egenansiken, r, som behövs. Resula: r = 7 ca : 9% r = ca : 8% r = 7 ca : 7%

22 Då beräkningen resulerade i samma anal som idigare jämförde vi singulärvärdena, ur respekive arkiv, för a hia en förklaring. Man kan då observera a linjerna som skapas av singulärvärdena näsan blir parallella för σ > σ..5 Neurala Vår egna Singulärvärden σ Egenansikena r Figur 3: Jämförelse singulärvärdena emellan De kan också vara inressan a ia på egenansikerna. Figur 33: Egenansikena,, 4 och 5 i vår egna arkiv Då vi ve a de finns en bild på en av oss i arkive, nämligen Farid, änke vi undersöka ifall vår program lyckas idenifiera honom uifrån fyra andra bilder på honom. En av dessa är en gammal semeserbild och de re andra og vi med en mobilkamera under laboraionens gång. Vi har delvis cenrera ögonen och reducera bakgrunden då vi ve sedan idigare ve a dea kan inverka negaiv på idenifieringsprocessen. Vi lä dock en av bilderna ha kvar sin bakgrund för a verifiera hypoesen a meoden är oillräcklig i sådana fall.

23 Bilden i arkive såg u så här: Figur 34: Bilden ur arkive Bilderna vi änke söka med var dessa: Figur 35: Bilderna på Farid Genom a sudera dessa bilder ansåg vi a bild vå och vå var de som var mes lika arkivbilden. Men efersom bild 4 har kvar sin bakgrund så sällde vi oss lie frågande ifall idenifieringen skulle bli bra överhuvudage. Resulae synes nedan Anal egenansiken r Figur 36: Resulae från idenifieringen av Farid Här ser vi a redan med 5 s egenansiken lyckas meoden mappa bild vå ill rä bild i arkive. Används bild re så behövs isälle s egenansiken medan bild e och fyra aldrig leder ill korrek idenifiering. Bild e konvergerar isälle emo följande bild redan efer 7 s egenansiken. Och bild fyra konvergerar mo följande bild efer endas vå s egenansiken. 3

24 Figur 37: De ansike som bild konvergerar emo Figur 38: De ansike som bild 4 konvergerar emo 3.4 Slusas Nu kan man fråga sig om meoden är bra a använda vid bildigenkänning. I de försa arkive lyckades idenifieringen med 4 av 34 personer genom a bara använda 3 av 34 egenansiken, vilke gjorde a vi kunde spara cirka 6% av minne, vilke förefaller bra. När de gällde a hia de bilder som hörde ill samma person lyckades idenifieringen korrek 3 av 48 gånger genom a använda 3 av 48 egenansiken. I de här falle kunde de isälle sparas cirka 5% av minne. Allså är de rolig a SVD är godagbar för dea ändamål, men de är lång ifrån bra. I vår egna arkiv behövdes de endas av 34 egenansiken, om man använde vå av bilderna, för a göra korreka idenifieringar av Farid. Dea innebär allså a de kan sparas 7% av minne om vi vill bygga e användbar arkiv. I de vå fall då idenifieringen misslyckades anser vi a de finns rä sora likheer mellan bilden som skulle idenifieras och bilden som den idenifierades med. Berakar man de försa bilden på Farid inses a ansikena är roerade ungefär lika mycke sam a öronen är rä lika. Egenskaperna hos den fjärde bilden på Farid och dess machning i arkive luar lika mycke och även här är öronen rä lika varandra. Efersom de nu verkar förhålla sig så a luningen på ansikena avgör rä mycke är SVD ine den bäsa meoden a använda för ansiksigenkänning om man ska ha den inbyggd i e övervakningssysem eller någo liknande. Den behöver uppenbarligen kompleeras. Däremo för sökning i en daabas med bra sudiofoograferade bilder så kan meoden evenuell vara bäre. Dea särskil med anke på hur mycke av informaionen vi kan borse ifrån uan a försämra sökningen. 4

25 Synd är a idenifieringen ine gjordes bäre då bilder som uppenbarligen föresällde en person ine medförde en korrek idenifiering. Dea beror bland anna på a anale pixlar var relaiv låg men också på a meoden är naiv. Skulle vi få uforma vår egen meod skulle vi nog försöka lea rä på olika ansikesspecifika egenskaper och jämföra proporioner och avsånd. Troligen är SVD en hyfsad meod om man ine använder sig av objek som är för lika. Som noera fungerar också meoden dålig om man har samma objek med olika bakgrunder. En lösning på de probleme skulle vara a a snie, i någon mening, av bilderna som innehåller samma objek. 5