Ansiktsigenkänning Anna Ericsson Linköpings Universitet Linköping 2011-09-18
Innehållsförteckning Sammanfattning... 1 Introduktion... 2 Ansiktsigenkänning med Eigenfaces... 3 Eigenfaces steg för steg... 3 Steg 1... 4 Steg 2... 5 Steg 3 och 4... 5 Stillbilder och rörliga bilder... 6 Användningsområden... 6 Fördelar och nackdelar... 6 Diskussion... 7 Referenser... 8
Sammanfattning Syftet med det här projektarbetet är att visa hur ett mänskligt ansikte från en tvådimensionell bild kan identifieras genom att använda sig av eigenfacemetoden (även känt som principal component analysis ). Metoden går ut på att information om ett ansiktes olika egenskaper lagras i form av s.k. eigenfaces, som sedan jämförs med eigenfaces från andra ansikten för att hitta ett ansikte som matchar. Jag tänker här försöka förklara hur metoden fungerar rent principiellt, och utelämnar därför matematiska formler och uträkningar till förmån för konkreta beskrivningar och förklaringar. 1
Introduktion Vi människor känner igen ansikten hela tiden utan att ens tänka på hur vi gör eller hur det går till och utmaningen ligger i att lära datorer att utföra samma uppgift. Det är en oerhört komplex uppgift som inte är så lätt att överföra till ett maskinellt system, och det har krävts år av forskning för att närma sig en lösning på problemet. Redan 1950 började man intressera sig för ansiktsigenkänning utförd av människor inom psykologin, medan forskning på ansiktsigenkänning utförd av maskiner började dyka upp under tidigt sjuttiotal (Zhao et al., 2003). Till en början handlade det om att mäta avstånd mellan ansiktets olika delar, men i början av nittiotalet utvecklade Alex Turk och Matthew Pentland eigenface-metoden, en metod för automatisk ansiktsigenkänning där man statistiskt räknar ut vad som karakteriserar ett ansikte. Det finns en mängd metoder med vilka man kan ta sig an problemet med att få ett system att automatiskt känna igen ett ansikte och de flesta kan delas in i två kategorier; holistiska matchningsmetoder, eller metoder där matchning baseras på ansiktsdrag (Zhao et al., 2003). Jag har här valt att fokusera på en holistisk matchningsmetod; Eigenfacemetoden. De metoder som använder sig av matchning baserad på ansiktsdrag delar upp ansiktet i mindre områden (t.ex. ögon, näsa, mun) som sedan analyseras. De här metoderna är bättre på att hantera varierande belysning och vinklar än de holistiska matchningsmetoderna, men får problem med identifieringen om t.ex. ögonen eller munnen är stängda. De holistiska matchningsmetoderna däremot behandlar ansiktet och dess drag som en enhet ur vilken man extraherar information som särskiljer det från andra ansikten (Zhao et al., 2003), och det är så eigenfacemetoden fungerar. 2
Ansiktsigenkänning med Eigenfaces Till eigenfacemetoden använder man sig av tvådimensionella bilder av ansikten, och för att metoden ska vara effektiv krävs att belysningen på bilderna är bra samt att bilden är tagen framifrån, dvs. att ansiktet inte är vinklat (Turk & Pentland, 1991). Ju mer ansiktet är vinklat desto svårare blir det att känna igen, och ingen del av ansiktet får heller vara dolt, exempelvis av solglasögon. En varierande belysning kan skapa svårigheter på så sätt att det uppstår skuggor som gör det svårt att upptäcka karaktärsdrag i ett ansikte, bilden kan bli så pass förvrängd att ett ansikte inte går att identifiera eftersom de förvrängda karaktärsdragen på bilden inte alls matchar jämförelsebildens. De här problemet uppstår eftersom ansikten är tredimensionella objekt, men de behandlas som tvådimensionella vid identifieringsprocessen. För att undvika sådana störningsmoment krävs att både bilder med ansikten som ska identifieras och ansikten på jämförelsebilder är vända rakt fram, att de är lika stora, och att belysningen är så likartad som möjligt. Uppfylls inte dessa kriterier så minskar igenkänningsgraden betydligt, och det kan då vara lämpligt att använda sig av en annan metod. Genom eigenfacemetoden utvinner man information om ett specifikt ansikte genom statistiska uträkningar, dock så representeras uträkningarna i form av bilder som mer eller mindre liknar ansikten, så kallade eigenfaces. Eigenfaces steg för steg Följande steg beskriver, enligt Matthew P. Turk och Alex P. Pentland, metoden i korthet: 1. Lägg in en uppsättning ansikten i en databas och räkna ut deras eigenfaces. Dessa utgör vårt s.k. facespace. 2. För ett nytt ansikte räknar man ut en uppsättning av vikter baserat på bilden av det nya ansiktet samt de eigenfaces som finns sen tidigare. 3. Genom att jämföra det nya ansiktet med de i facespace kan man se om det är ett ansikte över huvud taget, och om det är ett känt eller okänt ansikte. 4. Förutsatt att det är ett ansikte så hamnar det antingen under kategorin okänt, eller känt. Nedan följer en mer noggrann genomgång av varje steg i processen. 3
Steg 1: Facespace ett galleri av ansiktsdrag Som input behöver man en bild av ett ansikte, antingen känt sedan tidigare, eller ett helt nytt, men för att kunna identifiera ett ansikte så behöver man ha andra ansikten att jämföra med. Eigenfacemetoden fungerar, grovt beskrivet, genom att man jämför egenskaper från det ansikte man vill identifiera med de egenskaper man hittar i andra ansikten. För att kunna göra detta så behövs dels en databas där bilder på training images (ett antal individuella ansikten) finns lagrade (Zheng, 2011), och dels ett facespace som består av egenskaper från dessa ansikten. De här egenskaperna lagras inte i form av enskilda områden av ansiktet, som t.ex. näsa, ögon, mun och så vidare, utan i form av så kallade eigenfaces som är en slags kodning av ansiktsdrag. Till att börja med vill man normalisera bilderna, det innebär bland annat att bakgrunden på bilderna tas bort för att slippa störande inslag och att storleken justeras. Eigenfaces får man sedan fram genom att variationerna som finns i ett ansikte lagras i form av vektorer, sk. eigenvectors eller eigenvektorer. En vektor är N² lång, och varje vektor representerar en N*N stor bild (Turk & Pentland, 1991). Eigenvektorerna kombineras sedan med varandra för att bilda eigenfaces, de ser ut som en sorts diffusa, spöklika bilder av ansikten (se fig. 1). Dessa bilder har inte alltid så stora likheter med ett ansikte över huvud taget, men de innehåller värdefull information som sedan används för identifiering av ett nytt ansikte. Man skulle kunna säga att alla dessa eigenfaces bildar ett galleri med ansiktsdrag som får representera variationen mellan ansiktena i databasen, och genom att kombinera eigenfaces linjärt med varandra kan alla ansikten i databasen representeras. Alltså, för alla bilder i databasen extraheras ett antal eigenfaces, och det är dessa eigenfaces som utgör det facespace vi strax kommer att använda oss av. Figur 1. Eigenfaces (Kshirsagar, Baviskar & Gaikwad, 2011) 4
Steg 2: Vikter När man vill identifiera eller verifiera ett nytt ansikte måste man först transformera bilden på det nya ansiktet till en uppsättning eigenfaces, precis som i steg 1. Detta gör man för att kunna jämföra med de tidigare eigenfaces som tagits fram från ansiktena ur databasen. Sedan undersöker man hur lika det nya ansiktets eigenfaces är jämfört med de eigenfaces som man fått från databasens ansikten, och ju mer lika de är desto högre vikt tilldelas de vektorer som hör till det nya ansiktet. Varje vektor får alltså en vikt som får representera likhetsgraden mellan det nya ansiktet och de från databasen. Steg 3 och 4: Identifiering För att identifiera ett ansikte så kombinerar man ihop olika eigenfaces så att de liknar bilden på det nya ansiktet. Är det allt för stor skillnad mellan den kombinationen och originalbilden så kan man anta att det troligtvis inte är ett ansikte på bilden. På det här sättet kan eigenfacemetoden, förutom identifiering av ansikten, även användas till att se om det verkligen är ett ansikt på en bild eller om det är någonting helt annat. Detta förutsätter dock, precis som vid identifering, att det eventuella ansiktet är vänt framåt och bra belyst, annars får systemet problem med att känna igen ansiktet oavsett. Om kombinationen visar sig ligga nära originalbilden så antas det att det är ett ansikte på bilden, och då är följande steg att jämföra vikterna mellan kombinationen av eigenfaces och ansiktena i databasen. Ju närmare varandra vikterna ligger, desto större chans att det är samma ansikte på båda bilderna. Är likhetsgraden över ett visst tröskelvärde anses ansiktet vara identifierat och klassificeras som känt ansikte, hamnar det under tröskelvärdet är ansiktet inte identifierat och klassificeras då som okänt ansikte. 5
Stillbilder och rörliga bilder Att använda sig av stillbilder fungerar bra under kontrollerade förhållanden, om man befinner sig i en miljö där man kan styra belysning, ansiktets vinkel och bildens upplösning. Det uppstår däremot problem om det är stillbilder från en miljö där man inte har någon kontroll över bildens egenskaper, exempelvis stillbilder från övervakningskameror där ansikten kan vara både dåligt belysta, vinklade och delvis dolda. I sådana fall kan rörliga bilder vara att föredra då de ger mer information till ett igenkänningssystem om ansiktets arkitektur. Det har visat sig lättare, åtminstone för människor, att känna igen ansikten från videosekvenser än stillbilder från samma videor (Knight & Johnston, 1997), något som skulle kunna indikera att detsamma gäller för maskinell ansiktsigenkänning. Till nackdelarna hör att videoinspelningar ofta kan vara gryniga och ansikten kan vara små till storleken, vilket försvårar identifiering. Användningsområden Det finns ett antal användningsområden där automatisk igenkänning av ansikten kan vara användbart, t.ex. för identifiering eller verifiering av anställda på en arbetsplats, övervakning av olika slag, eller människa/system-interaktion. Fördelar och nackdelar En fördel med att använda eigenfacemetoden är att det ska vara en snabb metod som inte kräver så stor minneskapacitet (Mohamed Lamine Toure, Zou Beiji), vilket kan vara bra när identifiering behöver ske fort. Begränsningen för metoden ligger i svårigheten att kunna identifiera ansikten som är vinklade eller dåligt belysta, och även ansiktbehåring kan innebära ett problem. Det kan vara större skillnad mellan två bilder på samma person, men med olika belysning, än vad det är mellan två olika individer (Zhao et al.). Då belysningen påverkar igenkänningsgraden i stor utsträckning samtidigt som man inte alltid kan ha kontroll över ljuskällor (t.ex. vid olika tidpunkter på dygnet, bilder tagna inom- eller utomhus), så innebär det att metoden kanske är mer lämplig för identifiering i mer kontrollerade miljöer, exempelvis på arbetsplatser, än t.ex. stillbilder från övervakningskameror som ofta är både dåligt belysta och vinklade. 6
Diskussion Det finns idag många olika metoder för att känna igen och identifiera ansikten, metoder som kan känna igen rörliga bilder, vinklade ansikten osv. och som kanske är bättre än metoden jag har beskrivit här. Det intressanta med just eigenfacemetoden tycker jag är att det var en av de allra första metoderna som utvecklades och att man härifrån har gått vidare och utvecklat andra metoder. Jag upplever inte att automatisk ansiktigenkänning i praktiken är så vanlig ännu, men det är mycket möjligt att det kan komma att bli det i framtiden när metoderna blir mer och mer tillförlitliga och man börjar upptäcka fördelarna. Det är fascinerande att tänka sig att automatisk ansiktsigenkänning kan komma att användas i brottsutredningar, där det säkert skulle kunna vara av stor hjälp, men detta förutsätter som sagt att det är en extremt tillförlitlig metod då man inte har något utrymme för felanalyser, man vill inte riskera att fel personer misstänka blir misstänka. Dock så tror jag inte att ansiktsigenkänning, om och när den väl kommer, kommer att fungera som den gör vid brottsutredningar i tv-serier (t.ex. CSI), utan att det kommer vara en betydligt mer tidskrävande och komplicerad process än att bara skicka in ett okänt ansikte och få ett svar tillbaka nästan omedelbart. Vi har nog en bit kvar tills ansiktigenkänning kommer att lösa brott, men så länge fungerar det alldeles utmärkt att använda till mindre nogräknade aktiviteter som exempelvis video- och dataspel och annan underhållning. 7
Referenser Kshirsagar, V.P., Baviskar, M.R., Gaikwad, M.E. (2011). Face Recognition Using Eigenfaces, 2011 3rd International Conference on Computer Research and Development Volume 2, Article number 5764137, Pages 302-306. Lamine Toure, Mohamed, Beiji, Zou (2010). Intelligent Sensor for Image Control point of Eigenface for face Recognition, 2010 2nd International Conference on Signal Processing Systems (ICSPS). Turk, Matthew A. & Pentland Alex P. (1991). Face Recognition Using Eigenfaces, Proceedings of the 1991 IEEE Computer Society Conference on Computer Vision and Pattern Recognition; Maui, HI; 3 June 1991 through 6 June 1991; Code 16244. Zhaor, W., Chellappa, R., Phillips, P. J. & Rosenfeld, A. (2003) Face Recognition: A Literature Survey, ACM Computing Surveys, Vol. 35, No. 4, pp. 399 458. Zheng, Yufeng (2011). A Novel Orientation Code for Face Recognition, Visual Information Processing XX; Orlando, FL; 26 April 2011 through 27 April 2011; Code 85566. 8