Examensarbete i datalogi: Aktivt seende system för gestigenkänning (Active vision system for gesture recognition) -

Transkript

1 Examensarbete i datalogi: Aktivt seende system för gestigenkänning (Active vision system for gesture recognition) - Nikolaj Marquez von Hage f93-nmh@nada.kth.se Examinator/Handledare: Tony Lindeberg Biträdande handledare: Lars Bretzner 24 maj 2002

2

3 Sammanfattning I detta examensarbete presenteras ett aktivt seende system för handföljning och igenkänning av handgester. Systemet använder en aktiv kamera för att följa en hand under förenklade antaganden om belysning och bakgrund. För att initialt detektera handen används en metod som kombinerar hudfärgs- och rörelsesegmentering. Då handen detekterats används en följningsmodul baserad på partikelfiltrering för att med hjälp av särdragsdetektion lokalisera handen givet vissa antaganden om aktuell handgest, handens orientering och storlek i bilden. Kamerakalibrering har utförts för att kompensera för geometrisk distortion hos kameran, samt möjliggöra mätning i ett världskoordinatsystem när kameran rör sig. Kamerans dynamiska parametrar har också tagits fram för att möjliggöra styrning av kameran i handföljningssyfte. Världskoordinaterna för handen tas fram ur handens bildkoordinater samt uppgifter om kamerans orientering. Dessa världskoordinater kan användas för att detektera dynamiska handgester eller på andra sätt analysera rörelsemönster. I en specifik tillämpning som implementerats presenteras handens världskoordinater i realtid i ett diagram, samtidigt som användaren ges möjlighet att styra ett objekt (här en lampa) medelst en kombination av statiska och dynamiska handgester. En viktig aspekt av systemet är dess modulära uppbyggnad. Denna möjliggör återanvändning av enstaka moduler för andra tillämpningar (efter relevanta modifieringar). Systemets begränsningar redovisas och framtida förbättringar och utvidgningar diskuteras. Active vision system for gesture recognition: abstract In this thesis, an active vision system for hand tracking and gesture recognition is presented. The system uses an active camera to track a hand under rather strong assumptions about lighting and background. The initial hand detection combines skin color segmentation with motion segmentation. Once the hand is found, a condensation tracker locates the hand using feature detection. Strong assumptions are made concerning what hand gestures are possible as well as the size and the orientation of the hand. The geometrical distortion of the camera view is corrected after a camera calibration. Dynamical parameters of the camera have been computed in order to move the camera accurately while tracking. The world coordinates of the hand are extracted from image coordinates together with information about the orientation of the camera. The world coordinates make analysis of the hand trajectory possible, and specifically the detection of dynamical hand gestures. In the current implementation chosen, the world coordinates of the hand are presented on the screen in real time, and the user can alter the light intensity of a light bulb by dynamical hand gestures combined with static hand poses. An important aspect of the system is its modular structure, making it possible to reuse modules for other implementations (after appropriate modifications). The limitations of the system are presented, and future improvements och extensions are discussed. 3

4

5 Förord Detta examensarbete i datalogi har utförts vid Institutionen för numerisk analys och datalogi (NADA) vid KTH. Det praktiska arbetet har till största delen utförts vid Computational Vision and Perception Laboratory (CVAP) med vägledning från min handledare och examinator Tony Lindeberg samt biträdande handledare Lars Bretzner. Jag vill tacka dessa samt Ivan Laptev och mina bröder Christian och Sebastian för värdefull hjälp. 5

6

7 Innehåll 1 Inledning 11 2 Gestbaserad människa-datorinteraktion Metoderförgestigenkänning Svårighetermedseendebaserademetoder Aktivt seende Beskrivningavpassivtseende Beskrivningavaktivtseende Speciellakravvidkonstruktionavaktivtseendesystem Detektion av vinkningar Rörelsesegmentering Färgsegmentering Valavfärgrymd Hudfärgskriterium Vinkningskriterium Insamlingavdata Analysavinsamladedata Modellering och igenkänning av statiska handgester Metoderbaseradepå3D-modellering Vybaserademetoder Exempel: anpassning av ellips Enkla handdeskriptorer Fingertoppsdetektion Exempel:Objektföljningmedhierarkiskmodell Bilddeskriptorer Kvalitativa relationer mellan bildegenskaper Hierarkiskhandmodell Dynamisktvalavhandmodell Kamerakalibrering Motivering till kamerakalibrering Generellbeskrivningavkamerakalibrering Kameramodellen Idealperspektivprojektion Optiskdistortion Omskalning till pixelkoordinater Bestämningavkalibreringsparametrar Införandeavfelmått Bestämningavkamerarelateradevinkelkoordinater Kalibreringförvariabelzoominställning Oberoende bestämning av expansionscentrum genom zoomning Anpassning av linje till punktmängd Anpassning av expansioncentrum till linjemängd InternkalibreringavkameranEVI-D Tekniska uppgifter

8 6.6.2 Bestämning av i 0 och j Bestämning av f x, f y, a ¼ 1 och a¼ Bestämning av α c och β c från i, j och z Kalibrering av dynamiska storheter Designavkameragränssnitt Reglerteknik Servoproblemet Målförhandföljningen Naiv ansats till följningsalgoritm Beteckningar Handföljningenuttrycktsomservoproblem PID-regulatorn Speciellaproblemmeddiskretasignaler Styrningavzoominställning Systemspecifikation Systembeteendevidkommunikationmedanvändare Översikt Återkoppling till användaren Restriktionerpåanvändaren Metoderochalgoritmersomanvändsavsystemet Hudfärgsdetektion Rörelsedetektion Igenkänningsmodul Kalibreringavkameraoptikoch-motorik Modulär uppbyggnad av systemet Huvudkontroll Kameran Grabber Hudfärgsdetektion Rörelsedetektion Igenkänningsmodul Gränssnitt kamera - huvudkontroll: detaljer Kamerastyrning Beteckningar Kamerastyrning i pan/tilt-led Justeringavzoomgradiföljningssyfte Tidsfördröjning Detektion av dynamisk handgest Praktiskadetaljer Parallellaprocesser Synkronisering av informationsflöden Experiment och utvärdering Vinkdetektor: analys och diskussion Villkor på omgivning Utvärdering av vinkdetektor: diskussion Förslag på förbättringar av vinkdetektor Kamerastyrning:analysochutvärdering

9 9.2.1 Ettexempelpåkamerastyrning Fördröjningstid T Möjliga åtgärder Igenkänningsmodul: analys och utvärdering Handdata Noteradeproblem Möjliga åtgärder Sammanfattning Litteraturlista 64 9

10

11 1 Inledning För ett system som använder datorseende för att få information om en dynamisk omgivning, är det viktigt att kunna fokusera kameran mot intressanta områden. Därvid kan en aktiv kamera användas. Med detta menas en kamera vars kameraparametrar (orientering, zoomgrad, etc.) kan styras. Ett sådant aktivt seende system kan vara av intresse i en mängd sammanhang. I videokonferenser kan kameran styras mot (och zooma in) den deltagare som för tillfället har ordet, med ökad tydlighet i den visuella kommunikationen (minspel, gester) som följd. Vid fjärrsända föreläsningar kan en kamera följa talaren då denna rör sig över podiet, så att en högupplöst bild hela tiden erhålles. I interaktiva tillämpningar är aktivt seende av stort intresse, vilket bl.a. motiveras av möjligheten för människor att kommunicera med datorer med naturliga medel, såsom tal och kroppsrörelser. Detta är ett växande forskningsområde då datorer blir allt vanligare i våra dagliga liv. I många situationer erbjuder inte de vanliga verktygen, som tangentbord och mus, den flexibilitet man skulle vilja ha. I dessa fall kan gester eller tal erbjuda ett effektivt och naturligt sätt att kommunicera. I ett antal situationer kan handgester tänkas vara att föredra, t.ex. i en högljudd omgivning eller då användaren vill förmedla kvantitativ information eller spatiala relationer. Möjligheten för döva att kommunicera med en dator med hjälp av teckenspråk kräver automatisk gestigenkänning. I alla dessa situationer är aktivt seende en önskvärd egenskap hos systemet, som underlättar för användaren t.ex. genom ökad rörlighet. Detta är således bakgrunden till föreliggande examensarbete, som består i att bygga ett prototypsystem som genomför aktiv kamerastyrning i realtid, samtidigt som kameran ingår i ett integrerat datorsystem som löser en given uppgift. Här koncentrerar vi oss på ett testproblem: att konstruera ett aktivt system för gestigenkänning. I denna rapport kommer vi att ge bakgrunden till problemställningen, en teknisk beskrivning av de moduler som systemet består av, samt ge en sammanfattande bedömning av i vilken grad målet uppfyllts. I uppgiften ingår speciellt att styra ett aktivt kamerahuvud så att en högupplöst bild av användarens hand erhålls vid varje tidpunkt. Detta innefattar dels uppgiften att lokalisera användarens hand då denna uppträder i bilden, dels uppgiften att styra kameran med en reglermekanism så att handen följs kontinuerligt och mjukt, och dessutom att få systemet att upptäcka när handen försvunnit ur bilden, t.ex. genom att användaren lämnat rummet. En central uppgift i examensarbetet är också att kalibrera kameran, så att koordinaterna för varje bildpunkt i en bild, tagen med viss pan, tilt och zoom för kameran, kan räknas om till världskoordinater för synstrålen genom denna bildpunkt. En ytterligare deluppgift är vidare att realisera en tillämpning inom ramen för detta system, i vilken en användare med statiska och dynamiska handgester kommunicerar med systemet. En viktigt aspekt vid designen av systemet har varit att uppnå hög grad av modularitet, dvs. att skilda funktioner implementeras i skilda moduler. Detta bör göra det relativt enkelt att återanvända moduler för andra tillämpningar. Exempelvis kan en motsvarande typ av rörelsedetektor tänkas ingå i ett system för övervakning, och om handlokaliseringsmodulen byts ut för att lokalisera ansikten kan kameran aktivt följa ansikten istället, osv. Uppgiftens karaktär av systembygge innebär att rapporten omfattar skilda områden såsom kamerakalibreringsteknik och färgsegmentering liksom mer allmänt orienterande material om människa-datorinteraktion. 11

12 Denna rapport är upplagd på följande vis: I kapitel 2 och 3 förs en allmän diskussion kring människa-datorinteraktion och aktivt seende, de problemområden som motiverar detta examensarbete. En kort historisk överblick presenteras. I kapitel 4 presenteras ett avgränsat problem som är av relevans i detta examensarbete, nämligen hur man detekterar en vinkande hand. De metoder och algoritmer för vinkdetektion som valts för examensarbetets vidkommande presenteras och diskuteras kort. I kapitel 5 förs en allmän diskussion kring modellering och igenkänning av statiska handgester. 3D-modellbaserade respektive vybaserade metoder diskuteras, och ett exempel på en vybaserad metod ges. Slutligen beskrivs den vybaserade metod som används i detta examensarbete: särdragsdetektion följd av partikelfiltrering. I kapitel 6 ges en allmän beskrivning av kamerakalibrering följd av en detaljerad redogörelse för hur kalibrering genomförts i detta fall. Kapitlet är relativt tekniskt och kan läsas översiktligt utan att övriga delar av rapporten blir lidande. Kapitel 7 diskuterar de reglertekniska mekanismer som krävs för att styra en aktiv kamera samt den metod som här valts. Ikapitel8ges en detaljerad beskrivning av det system för aktivt seende som implementerats. Här beskrivs systemets beteende gentemot användaren, dess interna struktur i termer av moduler och gränssnitten mellan dessa, samt den demotillämpning som valts. I kapitel 9, slutligen, analyseras och utvärderas det seende systemets olika funktioner i prestandaavseende. Detta sker dels med hjälp av kvantitativa mått, dels med subjektiva bedömningar. Förslag på hur mer stringent analys kan utföras presenteras. Förslag på förbättringar, modifieringar och utvidgningar framförs. 12

13 2 Gestbaserad människa-datorinteraktion Människa-datorinteraktion, eller MDI, blir allt vanligare i det dagliga livet. Det finns ingen anledning att tro att denna utveckling kommer att avta. I takt med att metoderna för att hantera stora informationsflöden förbättras på hårdvarusidan, med snabbare processorer, bredbandkommunikation osv, framstår allt tydligare begränsningarna hos de metoder som står till buds för oss människor för att interagera med datorer, metoder som vi i de flesta fall använt i årtionden och som kanske av många oreflekterat anses som självklara. Här avses förstås främst tangentbordet och musen. Det finns således goda skäl att se sig om efter nya tekniker för MDI. Här inställer sig genast två former av kommunikation som människor använder i samspelet med varandra: tal och gester. Man har sedan datorernas barndom hållit visionen om ett sådant humant gränssnitt levande; det har varit ett långsiktigt mål inom MDI-forskningen. Automatisk taligenkänning har utvecklats under decennier för att under 90-talet bära frukt i form av kommersiellt gångbara tillämpningar på en rad områden. Forskningen kring kommunikation via gester för MDI har på senare tid kommit igång på allvar. I denna genomgång av området fokuseras på en form av sådan gestuell kommunikation: handgester. I mänskligt samspel används sådana i en rad olika sammanhang, från enkla pekande gester och medvetet informativa handrörelser, till illustrativa gester som uttrycker känslor, och vilkas innebörd ofta är kraftigt kontextberoende. 2.1 Metoder för gestigenkänning En förutsättning för MDI via handgester är att datorn på något sätt erhåller information om de positioner som intas av användarens hand. Tidiga system för att tolka handgester var beroende av att användaren bar någon form av handske som med elektriska sensorer eller färgade punkter underlättade identifikationen av gesterna (Pavlovic m.fl., 1997). Dessa metoder kan vara lämpliga för specialiserade tillämpningar, men som allmänna tekniker för MDI är de inga långsiktiga alternativ. Ökade hårdvaruprestanda har medfört att datorseendemetoder, tidigare förbehållna analys av stillbilder, istället alltmer kommit att framstå som en väg utvecklingen skulle kunna ta. Här fångas användarens gester i varje ögonblick av en eller flera videokameror, som skickar varsin videoström till datorn för analys. Denna analys kan se ut på flera sätt och några olika varianter beskrivs i denna framställning. En stor fördel med att använda rena datorseendemetoder vid gestigenkänningen är att det rör sig om en fullständigt kontaktfri kommunikation; användaren är fri från en viss apparat (t.ex. mus) eller rentav plats i rummet. Ett exempel på ett seendebaserat gränssnitt ges i Kjeldsen och Kender (1995). Tillämpningen av kontaktlös MDI skulle exempelvis kunna användas för att kommunicera med objekt i s.k. smarta omgivningar. I ett tänkbart scenario kan en användare kommunicera med TV, stereo, takbelysning osv. med hjälp av rösten eller handgester. I en smart omgivning kan det kanske räcka att användaren utför en stigande handrörelse för att få till en motsvarande höjning av stereoanläggningens ljudvolym; se exempelvis Negroponte (1995) eller Freeman och Weissman (1995). 2.2 Svårigheter med seendebaserade metoder Två stora fördelar med rent seendebaserad MDI är dess naturlighet samt frånvaron av mekaniska tillbehör som måste nyttjas av användaren. Svårigheterna med att realisera 13

14 ett sådant system är dock betydande med den datorkraft som finns tillgänglig idag. Några viktiga problem i fallet med tolkning av handgester är: segmenteringen av en rörlig hand ur en ofta komplex, kanske föränderlig bakgrund. att hålla reda på handens position relativt omgivningen. analysen av handrörelserna för att kunna identifiera dynamiska gester. att bestämma handflatans / fingrarnas inbördes konstellation i syfte att identifiera olika former av handgester. Det är för att minska beräkningstyngden hos denna analys som vissa realiserade system tar hjälp av t.ex. handskar med färgade punkter, som nämndes ovan. Andra metoder som valts för att möjliggöra en rimlig grad av igenkänning med dagens teknik är att använda en uniform, enfärgad bakgrund, en kraftigt begränsad uppsättning av förenklade gester eller att t.ex. de dynamiska gesterna inte ingår i gestvokabulären (vilket begränsar analysen till statiska handgester). 14

15 3 Aktivt seende I detta examensarbete är en central egenskap hos det seende systemet dess förmåga att följa efter användarens hand med kameran så att hela tiden en högupplöst bild av handen erhålles. Detta är ett exempel på hur ett system genom att styra parametrar för bildinhämtning (i detta fall kamerans läge) kan fokusera på intresseområden. Andra exempel är en kamera som följer en föreläsare som förflyttar sig under ett framträdande, eller en kamera som under en videokonferens rör sig till den deltagare som för tillfället har ordet (dessa exempel beskrivs i inledningen, kap. 1). I detta avsnitt ges en allmän beskrivning av ovan beskrivna egenskap hos ett seende system. Vi kommer således att undersöka vad som menas med aktivt seende och varför det i många situationer är önskvärt. 3.1 Beskrivning av passivt seende Låt oss till att börja med beskriva passivt seende hos ett system. Detta består av en eller flera kameror (eller andra visuella sensorer) som skickar bilder till datorn för analys, antingen vid ett specifikt tillfälle eller kontinuerligt. Kamerorna är fixa i rummet, liksom deras orientering. De optiska parametrarna ändras inte (t.ex. zoomgrad), eller överlåts åt kamerans inbyggda automatik (t.ex. fokus och bländare). Kriterierna för systemet i detta examensarbete är att användaren av bekvämlighetsskäl ska kunna kommunicera med det från olika platser i rummet, bara han/hon är inom synhåll för kameran. Låt oss anta att systemet är passivt i den ovan angivna meningen. Det är uppenbart att med en monokulär vy (dvs. att endast en kamera används) måste följande problem lösas: vyn måste vara tillräckligt stor så att den täcker den del av rummet där användaren kan tänkas vistas, medan å andra sidan handen bör uppta en stor del av bilden för att inte förväxlas med andra detaljer och för att underlätta identifieringen av olika gester. Dessa mål är svåra att kombinera om inte användaren befinner sig nära kameran och medvetet anstränger sig för att hålla handen nära kameran då gester utförs. Ett besläktat problem är att passivt seende ställer stora krav på bearbetningskapacitet, på grund av att frånvaron av en mekanism som styr kameran till områden av intresse medför ett stort antal bildpunkter som måste analyseras. 3.2 Beskrivning av aktivt seende Man kan tänka sig att lösningen på dilemmat ovan är ökade hårdvaruprestanda och förbättrade algoritmer i bildanalysen. Till viss del kan detta vara sant, men man har alltmer kommit till insikt om att passivt seende lider av inneboende begränsningar. I en komplex och föränderlig miljö är vissa delar av omgivningen intressantare att undersöka än andra, och det är då lämpligt att systemet riktar sin insats mot dessa. Detta är vad biologiska system gör då deras bärare vrider på huvudet och utför ögonrörelser för att följa ett rörligt föremål, eller kisar med ögonen för att kompensera för ändrade ljusförhållanden, eller fokuserar blicken på olika avstånd, för att nämna några exempel. Aktivt seende beskrivs bra genom följande (fritt översatta) passus som hämtats ur Viéville (1995): I ett aktivt seende system förbättras funktionalitet och prestanda genom att inhämtandet av visuella data modifieras av reaktiva mekanismer som kontrollerar de visuella sensorernas förflyttning och interna parametrar. Ett aktivt seende system hämtar således in bilddata, analyserar dessa och återkopplar till de visuella sensorer via vilka bilddata erhålles. Sensorparametrarna kan vara 15

16 följande: sensorns (kamerans) position i rummet, dess orientering, dess rörelseriktning och hastighet. egenskaper hos linssystemet såsom zoomgrad, fokus, bländaröppning och exponeringstid. signalbehandlande hårdvara i kameran eller i videokortet (samplingstäthet, gammakorrektion). I vårt aktiva seende system inskränker vi oss till återkoppling på kamerans zoomgrad och dess orientering (åt vilket håll den riktas). Eftersom den rörliga kameradelen vilar på en sockel som sätts fast på ett stativ eller på någon plan yta, kommer vi att anta att positionen för kamerans optiska centrum inte ändras. Detta innebär en viss förenkling då optiska centrum ändras med bl.a. zoomgraden; se t.ex. Li och Lavest (1995). 3.3 Speciella krav vid konstruktion av aktivt seende system Ett aktivt seende system har mer komplexa data att behandla än ett passivt. Detta gäller exempelvis då ett visst objekts position i världen ska beräknas. Med en fix kamera kan man genom kamerakalibrering (se kapitel 6) relatera en bildkoordinat till världskoordinater för synstrålen genom denna bildpunkt, för att få objektets position i rummet sånär som på en frihetsgrad. Med en aktiv zoomlins, å andra sidan, kommer relationen mellan bild- och världskoordinater att ändras med zoomläget. Kamerakalibreringen måste därför göras med zoomläget betraktad som ytterligare en kalibreringsparameter vilket ökar komplexiteten i beräkningarna. Se för övrigt avsnitt Ett rörligt kamerahuvud innebär en källa till instabilitet för systemet. Handdetektion via rörelsesegmentering (se avsnitt 4.1) kan exempelvis ha svårt att ge bra resultat så länge kameran rör sig, eftersom hela bakgrunden då rör sig i bilden. Om handen tappas bort, måste systemet agera på ett lämpligt sätt med avseende på de visuella sensorerna. Här måste agerandet specificeras noggrannt utifrån vad som ger bäst resultat. Ska t.ex. kameran sluta röra sig eller ska den först återgå till startläget? Ska utzoomning ske genast, eller efter en viss tid? Vid konstruktion av ett aktivt seende system blir således specificerandet av systemets beteende mer komplex än för ett passivt system. För fler intressanta iakttagelser om aktivt seende, se kap. 2 i Uhlin (1996). 16

17 4 Detektion av vinkningar En primär egenskap hos ett aktivt seende system är att kunna fokusera på intresseområden i en omgivning. Syftet med detta är ofta bl.a. att minska den mängd information som måste behandlas. Fokusering kan exempelvis innebära att ett delområde bestäms i den inkommade bilden, vilket analyseras vidare, medan resten av bilden ignoreras. Fokusering kan även innebära att en kamera zoomar in på ett objekt i omgivningen så att detta framträder med högre upplösning. I det senare fallet utnyttjas aktivt seende (se kapitel 3). I det aktuella examensarbetet måste systemet automatiskt kunna upptäcka när en användare kommer in i kamerans synfält och detektera då denna startar upp systemet, vilket i detta fall sker med en vinkande handrörelse (se beskrivningen av systemets beteende gentemot användaren i kapitel 8.1.1). Systemet måste alltså kunna lokalisera en vinkande hand. Detta problem kan angripas på en mängd tänkbara sätt: 3D-modellbaserade eller vybaserade metoder (se kapitel 3) kan användas för att lokalisera handen, varefter analys vidtar av handens förflyttning i bilden för att detektera vinkrörelse. En mängd kriterier på vad som konstituerar en sådan vinkrörelse kan tänkas. Här har en rudimentär metod för vinkdetektion valts, som endast fungerar under förenklade förhållanden. En diskussion av dessa förhållanden samt begränsningarna hos metoden diskuteras i detalj i kapitel 9.1, där även en utvärdering av metoden presenteras. Nedan ges en uteslutande teknisk beskrivning, i termer av algoritmer som används etc. Se t.ex. Hong m.fl. (2000) för en mer avancerad metod för vinkdetektion. 4.1 Rörelsesegmentering För att upptäcka en vinkande hand är det rimligt att särskild uppmärksamhet ägnas åt delar av bilden där rörelse tycks pågå. En enkel och realtidsanpassad metod att detektera rörelse hos föremål i en bild är att betrakta intensitetsförändringar över tiden. Eftersom kameran inte rör sig då den vinkande handen ska detekteras (se systembeskrivningen i avsnitt 8.3) kommer de orörliga delarna av bakgrunden troligtvis inte att ge upphov till stora intensitetsvariationer över tiden. I detta arbete kommer en rudimentär metod för rörelsedetektion att användas som går till på följande sätt: Bakgrunden antas vara statisk. Låt bilderna i videoströmmen indexeras k 2k 1kµ där bild nr k är den senaste. Låt p i jµ beteckna bildpunkten med index i jµ. LåtI i jmµ beteckna intensiteten hos bildpunkt p i jµ i bild nr m. För att bestämma den mängd R av bildpunkter i bilden där rörelse pågår vid tidpunkten för bild k, väljs följande kriterium (där T är ett tröskelvärde): 10 R kt p i jµ : T l0 I i jkµ I i jk lµ (1) Observera att detta kriterium inte nödvändigtvis behöver svara mot rörelse. En jämnt belyst enfärgad yta som rör sig behöver inte ge upphov till intensitetsförändringar förutom vid konturerna. Omvänt kan ändringar i belysning (på grund av en fladdrande gardin, t.ex.) resultera i felaktigt detekterad rörelse. Andra sådana källor kan vara bildbrus och små skakrörelser hos kameran. En stor nackdel med rörelsedetektion är att den är svår att kombinera med aktivt seende, eftersom kamerans rörelse ger samma intryck som en rörlig omgivning. Försök som gjorts att kompensera för kamerans rörelse har påvisat svårigheterna som är behäftade med detta; se t.ex. Murray och Basu (1994). 17

18 4.2 Färgsegmentering Eftersom sökområdet för handen ringats in genom framtagandet av en spatial mask ur rörelsesegmenteringen, ökar förutsättningarna för att hitta handen genom färgsegmentering. Undersökningar som presenterats i Fleck m.fl. (1996) visar att kulör- och mättnadsvärdena hos hudfärg tenderar att vara relativt okänsliga för skiftande ljusförhållanden, vilket gör hudfärg till en lämplig ledtråd för att urskilja en hand under dynamiska förhållanden Val av färgrymd Bilden från en videokamera når oftast ett system via ett videokort som delar upp bilden i R- G- och B-komponenter. Detta är ett av de vanligaste sätten att representera en digital färgbild. Dock är denna uppdelning av färgkomponenterna i en kartesisk färgrymd mindre lämplig för hudfärgssegmentering eftersom intensitetsinformationen inte skiljs från den kromatiska informationen; se t.ex. färgsegmenteringsdelen i Freeman och Weissman (1995). Därför är det lämpligt att som ett första steg transformera från RGB-rymden till någon annan lämplig färgrymd. En sådan färgrymd är HSV-representationen av färg. I denna modell separeras intensitet, kulör och mättnad som tre olika komponenter. Dock är transformationen från RGB till HSV ickelinjär, vilket är en nackdel för ett system som har begränsade beräkningsresurser till sitt förfogande. Ett alternativ som är lämpligt i vårt fall, där snabbhet är ett krav, är att transformera till rg-rymden med transformationerna R r (2) R G B G g (3) R G B Dessa transformationer gör en acceptabel åtskillnad av kromatiska komponenter från intensitet och kommer att användas i det följande Hudfärgskriterium Följande hudfärgskriterium är hämtat ur Laptev och Lindeberg (2001a). För att ha data att utgå från, segmenteras hudfärgsområden manuellt (innehållande t.ex. en hand) fram ur ca 30 bilder, som tagits för detta syfte. Tvådimensionella histogram över rgµ ackumuleras för både hudfärgsregioner och icke-hudfärgsregioner. Dessa histogram normaliseras enligt: i H hudi Hhud (4) rg i H hudi H i H bgi bg (5) rg i H bgi Sannolikheten att en viss bildpunkt, med färgvärden rgµ, tillhör ett hudfärgsområde uppskattas till p max 0aH hud rgµ H bg rgµµ hud rgµ (6) rg max 0aH hud rgµ H bg rgµµ där a är en konstant som anger graden av diskriminering mellan hudfärg och bakgrund. För att erhålla en binär hudfärgsmask ur en bild trösklas värdet på p hud rgµ för varje bildpunkt. Tröskeln väljs manuellt genom utprovning. 18

19 4.3 Vinkningskriterium Insamling av data Snittet av rörelsemasken och hudfärgsmasken bildar en vinkningsmask som förhoppningsvis svarar mot mänsklig hud som förflyttat sig. Man kan tänka sig flera kriterier som svarar mot en handvinkning. En enkel metod som visat sig ge rimligt resultat beskrivs i det följande. För en analys och utvärdering av denna metod, samt en redogörelse för de premisser under vilka den fungerar, hänvisas till kap Först insamlas de data som ska ligga till grund för vinkdetektionsanalysen: Inkommande binära bilder från hudfärgs- och rörelsedetektorerna matchas och snittet av dessa tas fram i form av en binär bild A. Ca 12 sådana bilder per sekund erhålles. Bilden A analyseras med avseende på sammanhängande regioner. Koordinaterna för deras tyngdpunkter och storlek (i bildpunkter räknat) beräknas. Denna information lagras, tillsammans med en tidsstämpel, för ett antal konsekutiva bilder så att en tid bakåt på ca fyra sekunder täcks (motsvarande ca 48 bilder). Låt oss beteckna mängden av sparade regioner med R. Med dessa data som grund, utförs en analys för att lokalisera den vinkmasksekvens som (förhoppningsvis) svarar mot en handvinkning i ett visst område. Analysen beskrivs i nästa avsnitt Analys av insamlade data Samtliga regioner under en viss storlek (för närvarande 4 bildpunkter) ignoreras (sorteras bort). För var och en av regionerna i den senaste bilden utförs följande analys: Regionens tyngdpunkt i reg j reg µ beräknas. Om i mängden R (samtliga lagrade regioner) minst M regioner återfinns, från minst M olika tidpunkter, sådana att tyngdpunkten i m j m µ förvarochenavdem uppfyller i reg j reg µ i m j m µ A (7) för något största tillåtna avstånd A, så anses en vinkning ha detekterats. Ovanstående villkor kan också uttryckas så, att rörelse måste ha detekterats i närheten av regionen med tyngdpunkt i reg j reg µ vid minst M tidpunkter under de senaste 4 sekunderna för att regionen ska anses svara mot en vinkning. Metoden utgör en enkel vinkdetektor som ej tar hänsyn till periodicitet eller riktning hos den detekterade rörelsen. Med lämpligt val av relevanta trösklar erhålls dock en rimlig grad av effektiv vinkdetektion kontra känslighet för sporadisk rörelse i bilden (för en mer detaljerad utvärdering av metoden, se avsnitt 9.1). 19

20 5 Modellering och igenkänning av statiska handgester Här följer en snabb översikt av några vanliga rent seendebaserade metoder för att känna igen statiska handgester. Vi tar alltså inte upp andra metoder som t.ex. bygger på att användaren bär en speciell handske för att underlätta handlokaliseringen eller gestigenkänningen. Framställningen bygger till stora delar på Cipolla och Pentland (1999), Pavlovic m.fl. (1997) och Huang och Pavlovic (1995). Vi beskriver två metoder mer detaljerat för att exemplifiera strategier som kan användas. För att gestigenkänningen ska fylla ett praktiskt syfte måste den kunna operera i realtid. Systemet ska kunna identifiera en handgest så pass fort att fördröjningen inte blir irriterande för användaren. Denna kritiska tid beror naturligtvis av tillämpningen, men en tiondels sekund är ofta en övre gräns enligt Ahmad (1994). De vanligaste metoderna för gestigenkänning är grovt sett av två slag: dels (1) metoder som baseras på 3D-modeller av handen, dels (2) metoder som analyserar egenskaper hos bilden som ej direkt motsvarar handgeometrin. Här följer en allmän beskrivning av idéerna bakom dessa två typer av metoder. Vi ger också några exempel på metoder som baseras på bildegenskaper. Det förutsätts att handen detekterats och segmenterats felfritt, så att en tydlig bild av handen finns att utgå från (detta är i sig ett icketrivialt problem i fallet med en generell bakgrund). 5.1 Metoder baserade på 3D-modellering En hand är i verkligheten uppbyggd av ett stort antal ben som sitter ihop i leder. Benen kan inta olika vinklar i förhållande till varandra. En godtycklig (statisk) handgest kan teoretiskt sett beskrivas fullständigt genom att ange dessa ledvinklar. 3D-modellbaserade metoder försöker ur bilddata ta fram fingrarnas och handflatans konstellation i rummet, för att ur denna information se vilken gest som utförts (Cipolla och Pentland, 1999). Ett vanligt angreppssätt är att bygga upp en tredimensionell modell av en hand i vilken varje fingerled representeras av en cylinder. Modellens parametrar är då t.ex. cylindrarnas längd och tjocklek samt ledvinklarna. Dessa parametrar varieras under det att 3D-modellen projiceras på en 2D-yta och matchas till sekvensen av videobilder. Parametrar som svarar mot t.ex. ledvinklar och handflatans orientering estimeras. Värdena på dessa parametrar används för att genomföra identifieringen av gesten. För 3D-handmodeller gäller generellt att de har stor potential, eftersom de syftar till att ta fram handens faktiska konstellation i varje ögonblick. De kan sålunda användas för vilken tillämpning som helst. Priset är dock att det är många parametrar som ska bestämmas, och de ofta komplexa villkoren för ledvinklarna måste tas hänsyn till. Bestämningen av samtliga 3D-parametrar från tvådimensionella bilder innebär ett obestämbarhetsproblem; ofta kan flera möjliga handpositioner matchas till bilddata. Dessutom uppstår problem med övertäckning av ytor. I dagsläget kan den fulla potentialen hos 3D-modellbaserade metoder inte utnyttjas, eftersom hårdvaruprestanda inte tillåter dylik modellering i realtid. De realiseringar som gjorts har alla varit partiella sådana. En bra sammanfattning av dessa återfinns i Wu m.fl. (2001). 5.2 Vybaserade metoder Gemensamt för denna typ av metoder är att de inte utför någon direkt 3D-modellering utan istället extraherar vissa bilddata, som erfarenhetsmässigt befunnits lämpliga för att 20

21 identifiera en viss uppsättning handgester. Analysen resulterar således många gånger inte i någon estimering av handens verkliga parametrar (såsom ledvinklar etc.). De data som analyseras kan vara allt från enklare geometriska egenskaper i bilden såsom handens tyngdpunkt och storlek i bild, till sådan information som är resultatet av en mer beräkningskrävande analys (Zernikemoment, neurala nätverk). En kort sammanfattning av olika vybaserade metoder återfinns i Pavlovic m.fl. (1997). Noteras kan också att vybaserade metoder är tillämpbara vid analys av ansikten för att t.ex. identifiera användare; se t.ex. Cootes m.fl. (2000). Låt oss närmare beskriva några exempel på bildegenskaper som använts i konkreta tillämpningar. 5.3 Exempel: anpassning av ellips I det följande beskrivs en rudimentär metod att identifiera handgester, som kan hänföras till den typ av metoder som baseras på bildegenskaper (avsnitt 5.2 ovan). Metoden utnyttjas i t.ex. Ahmad (1994) Enkla handdeskriptorer Antag att handen tagits fram ur bilden genom hudfärgsegmentering (se beskrivning av färgsegmentering i avsnitt 4.2). Handen definieras som mängden av de bildpunkter som segmenterats fram av systemets färgsegmenteringsmodul. Kalla denna mängd R. Handens position, uttryckt i bildkoordinater, är i h j h µ, och kan antas vara R:s masscentrum : i h 1 N i; j 1 h N j (8) p i jµ¾r p i jµ¾r där p i jµ är bildpunkten med koordinater i och j, ochn är antalet bildpunkter som ingår i R. Ett mått på handens storlek i bild, liksom dess orientering, kan fås genom att anpassa en ellips till R på följande vis. Ta fram andra gradens momentdeskriptorer: m 20 i i h µ 2 (9) p i jµ¾r m 02 j j h µ 2 (10) p i jµ¾r m 11 i i h µ j j h µ (11) p i jµ¾r En ellips vars storlek och orientering approximerar handens utseende kan representeras av matrisen m20 m M 11 R (12) m 11 m 02 Låt oss nu införa parametriseringen C m 20 m 02 S 2m 11 Q Ô C 2 S 2 (13) v 2 Q Vi kan då uttrycka de sinsemellan ortogonala egenvektorerna till M R som: C Q S v 1 (14) S C 21

22 De mot egenvektorerna svarande egenvärdena är: λ P Q 12 (15) 2 Den sökta ellipsens principalaxel är parallell med v 1, och dess dimensioner bestäms av λ 1 och λ 2 enligt figur 1. v1 1 2 Figur 1: Ellips definierad av vektorn v 1 och skalärerna λ 1 och λ Fingertoppsdetektion Då läget för handens masscentrum i bild samt handflatans radie är bestämd enligt metoden ovan, kan följande metod användas för att mycket grovt bestämma handens fingerpositioner för att därur identifiera gester, återigen enligt Ahmad (1994). Metoden fungerar bara under det begränsande antagandet att handflatan är någorlunda parallell med bildplanet, dvs. att användaren antingen avsiktligt håller upp handen framför kameran eller att t.ex. handen filmas uppifrån då den vilar på en bordsskiva. Vi lokaliserar fingertopparna på följande vis: Identifiera de bildpunkter som segmenterats fram såsom tillhörande handen, men som ligger utanför den beskrivna ellipsen och således troligtvis inte tillhör handflatan. Dessa bildpunkter antas tillhöra fingrarna. Inför antagandet att fingerbenen emanerar från en punkt P ungefär vid handleden. Punkten P fås genom att projicera ellipscentrum bakåt på ellipsens kant i principalaxelns riktning. Mängden möjliga vinklar som kan intas av fingrarna diskretiseras i ett antal fack i syfte att Hough-transformera de bildpunkter som tillhör fingrarna. Varje sådan bildpunkt b bildar en linje till P, som bildar en viss vinkel λ b till ellipsens principalaxel. Bildpunkten b ger ett bidrag till det fack i Houghrymden som ligger närmast λ b. För varje fack noteras även vilken bildpunkt som ligger längst bort från P. Efter transformering till Houghrymden väljs de fem största topparna, vilka antas svara mot fingrarna. De motsvarande mest avlägsna bildpunkterna väljs till fingertoppar. 22

23 Med hjälp av handflatans orientering och läge samt fingertopparnas placering kan sedan ett antal statiska eller dynamiska gester identifieras, vilket Ahmad (1994) dock inte behandlar. 5.4 Exempel: Objektföljning med hierarkisk modell I detta avsnitt beskrivs kortfattat den metod för följning av objekt utvecklad av Bretzner och Lindeberg (1999) som används i det färdiga systemet. Vår omvärld uppvisar olika struktur beroende av på vilken skala den betraktas. Vid bildanalys kan detta återspeglas i det faktum att en intensitetsfunktion, som uppvisar vissa topologiska egenskaper betraktad på en mycket grov skala, kan uppvisa en helt annan topologisk struktur på en finare skala. Bilddetaljer som t.ex. kanter, hörn och blobbar detekterade på olika skalor kan ingå i topologiska eller geometriska relationer till varandra, som tenderar att behållas över tid trots ändringar av t.ex. betraktningsvinkel eller ljusförhållanden. En representation av ett objekt, i vårt fall en hand, skulle kunna avspegla detta faktum. Detta kan göras med en s.k. hierarkisk modell Bilddeskriptorer Låt oss med skalrummet beteckna det tredimensionella rum som utgörs av bildens två dimensioner samt den skala s på vilken intensitetsfunktionen betraktas. Vi kommer att använda deskriptorer som tar fram skalrumsmaxima, dvs. sådana punkter i skalrymden där någon geometrisk egenskap med differentialoperator D antar lokala maxima med avseende på bildplanet och skalan (Lindeberg, 1998). Vid sådana punkter gäller: D norm L x;sµµ 0 (16) s D norm L x;sµµ 0 (17) L ;sµ betecknar skalrumsrepresentationen av en bild med intensitetsfördelning f erhållen genom faltning av f medengausskärnag ;sµ där s är skalparametern. D norm erhålls genom att i D ersätta spatiala derivator xi med γ-normaliserade sådana: ξi s γ2 xi. Två sådana deskriptorer är den normaliserade Laplaceoperatorn för blobdetektion (med γ 1): 2 norml s L xx L yy µ (18) samt en operator för åsdetektion: AL γ norm s 2γ L xx L yy µ 2 4L 2 xy µ (19) Dessa operatorer är praktiska att använda ur beräkningssynpunkt.till varje skalrumsmaximum kan vi associera en ellips representerad av matrisen g η;s int µdη (20) µ 2 L 2 x L x L y η¾ê L x L y L 2 y där s int är proportionell mot den skala på vilken maximum återfinns. Vi har alltså ett ytterligare exempel på ellipsanpassning, utöver det som gavs i avsnitt 5.3. Endimensionella strukturer i bilden, såsom åsar, kommer att ge upphov till avlånga ellipser, medan noll- och tvådimensionella strukturer ger upphov till närapå cirkulära ellipser (se figur 2). 23

24 Figur 2: Två exempel på hur en hands kännetecken fångas upp av den hierarkiska handmodellen Kvalitativa relationer mellan bildegenskaper Mellan ovannämnda framtagna egenskaper kan olika relationer definieras i bildplanet. Utan att gå in på de formella definitionerna kan nämnas följande relationer: Spatial koincidens: En region (ellips) överlappar en annan, helt eller delvis. Stabilitet hos skalrelationer: För två bildstrukturer, framtagna på skala s A respektive s B, förväntar vi oss att förhållandet s A s B ska vara approximativt detsamma över tid. Vi utelämnar här formaliseringen av detta villkor. Riktningsrelation: En endimensionell bildstruktur A, representerad av en avlång ellips, bildar en viss vinkel till en annan struktur B enligt figur 3. A v B Figur 3: Riktningsrelationen mellan två kännemärken A och B är vinkeln v mellan A:s största egenvektor och linjen mellan de båda centra. Ovannämnda relationer är invarianta med avseende på translation och rotation, samt även mindre trivialt med avseende på skala, vilket dock inte visas här. 24

25 5.4.3 Hierarkisk handmodell Vi kan nu betrakta det specifika exemplet med följning av en användares hand i bild. Vår kvalitativa handmodell innehåller en handflata, fem fingrar samt en fingertopp för varje finger. De kvalitativa relationerna mellan dessa komponenter är följande: Varje finger är i en relation av spatial koincidens till handflatan, liksom varje fingertopp är i denna relation till sitt finger. Varje finger har en riktningsrelation till handflatan samt till sin fingertopp. Varje finger är i en skalstabilitetsrelation till handflatan, liksom varje fingertopp är i en sådan relation till sitt finger. Denna kvalitativa handmodell har flera fördelar. Många hierarkiska relationer, såsom exempelvis relationen handflata-finger, tenderar att finnas kvar även om t.ex. ljusförhållanden eller betraktningsvinkeln förändras. Även om några av komponenterna skulle försvinna under följningen, på grund av övertäckning eller något fel i detektionen, är det troligt att tillräckligt många av komponenterna i den hierarkiska strukturen kvarstår för att man ska kunna rekonstruera läget och orienteringen hos den tappade komponenten Dynamiskt val av handmodell Om användaren ska kunna utföra gester med ett valfritt antal fingrar utsträckta, måste den hierarkiska handmodellen se ut på sådant sätt att den överensstämmer med handens utseende i bilden. Handmodellens parametrar kan sammanfattas i en vektor X xysαlµ som beskriver handens position xyµ, storleks, dess rotation α samt antalet utsträckta fingrar l (se figur 4). Valet av handmodell bör i en användbar tillämpning ske automatiskt, dvs. systemet detekterar kontinuerligt antalet fingrar och väljer antal ingående fingrar i handmodellen därefter. Det är värt att nämna att principen för denna objektföljning naturligtvis är användbar för annat än händer, t.ex. ansikten. α x,y,s l=1 l=2 l=3 l=4 l=5 Figur 4: Särdragsbaserade handmodeller svarande mot olika antal fingrar. Cirklar och ellipser svarar mot de i bilden detekterade särdragen. För att få modeller att överensstämma med bilder utförs rotation, translation och skalning av särdragen genom att parametervektorn X varieras. En metod för följning enligt Laptev och Lindeberg (2001b) går ut på att givet en eller flera bilder av handen ta fram särdrag på multipla skalor enligt ovan (avsnitt 5.4.1), och kontinuerligt matcha en lämplig handmodell till dessa. Detta görs genom att matcha komponenterna i modellen till de ur bilden framtagna särdragen med hjälp av ett olikhetsmått φ f 1 f 2 µ mellan två särdrag f 1 och f 2 som tar hänsyn till skillnaden i position, 25

26 storlek, orientering och anisotropi hos motsvarande ellipser. Utifrån denna information beräknas ett mått på hur väl handmodellen beskriver data, och det sker en optimering av modellparametrar genom den sökmetod som går under namnet partikelfiltrering (Isard och Blake, 1996). Denna metod (som ej kommer att beskrivas här) motiveras av dess snabbhet och robusthet, egenskaper som är viktiga eftersom för varje ny bild både identifiering av särdrag och val av lämplig handmodell ska utföras. Figur 5: För varje bild jämförs en uppsättning handmodeller med den faktiska bilden genom partikelfiltrering. Den modell som ger upphov till det största likhetsvärdet (eng. similarity) väljs ut att motsvara handen. 26

27 6 Kamerakalibrering 6.1 Motivering till kamerakalibrering Vi vill att det seende systemet ska ha tillgång till världskoordinaterna för användarens hand, detta för att underlätta följningen och gestigenkänningen. Med världskoordinater åsyftas här vinkelkoordinaterna α och β relativt det seende systemets öga, dvs. videokameran (se figur 6). objekt beta alfa optisk axel Figur 6: Världskoordinater parametriserade i termer av vinklar α och β för synstråle utgående från optiska centrum (sfärens mitt). Vad systemet har direkt tillgång till är dock endast bildkoordinaterna i jµ för handen (så som de räknats fram av igenkänningsmodulen; se avsnitt 8.2.3) samt kamerans zoominställning z, panläge p samt tiltläge t. Genom att genomföra en kamerakalibrering kan vi relatera dessa kända storheter till världskoordinaterna α och β. 6.2 Generell beskrivning av kamerakalibrering Ett föremål i en tredimensionell värld kan via ett kameraobjektiv avbildas på en tvådimensionell yta. Matematiskt uttryckt transformerar man världskoordinater X w Y w Z w µ till bildkoordinater i jµ: T : X w Y w Z w µ i jµ (21) Utseendet hos denna transformation beror av kamerans position i rummet, kamerans orientering samt de optiska komponenter (linser m.m.) i kameran som fokuserar infallande ljus på bildplanet. Ett antal matematiska modeller för hur sagda transformation ser ut och vilka parametrar den beror av finns utarbetade, och i följande avsnitt beskrivs den modell som använts vid kalibreringen av den Sonykamera som används i systemet. 27

28 Givet en kameramodell, och därmed en transformation T enligt uttryck 21, samt värdena på de parametrar som ingår i modellen, kan man med ledning av bildkoordinaterna i jµ för ett objekt bakåtprojicera dessa på X w Y w Z w µ-rymden och erhålla objektets läge så när som på en frihetsgrad. Om man känner både objektets världskoordinater och dess bildkoordinater, kan man omvänt beräkna värdena på de parametrar som ingår i transformationen T. Detta förfarande kallas för kamerakalibrering. En beskrivning av den allmänna definitionen av kamerakalibrering finns t.ex. i Hartley och Zisserman (2000). 6.3 Kameramodellen I detta avsnitt beskrivs den kameramodell som kommer att användas och de parametrar som ska kalibreras. Initialt görs detta givet en viss fix zoominställning hos kameran. I ett senare skede kommer vi att kalibrera för ett antal olika zoominställningar i syfte att hantera variabel zoom (se avsnitt 6.4.3) Ideal perspektivprojektion Vi använder oss av två tredimensionella koordinatsystem: ett objektorienterat världskoordinatsystem W med koordinater X w Y w Z w µ och ett kameraorienterat koordinatsystem C med koordinater X c Y ¼ c Z c ½µ. Dessa ¼ system ½ antas vara relaterade via en stelkroppstransformation X c Y c R X w Y w T (22) Z c Z w där R är rotationsmatrisen och T translationsvektorn. Kamerakoordinatsystemet är centrerat kring det optiska centrum O c,medz c -axeln sammanfallande med optiska axeln (se figur 7). Yw Xw i i0 Zw j Zc j0 Oi x Oc y Xc Yc Figur 7: Bildgeometrin och koordinatsystemen som används. I bilddomänen har vi ett tvådimensionellt koordinatsystem I med koordinater xyµ som är centrerat i den punkt O i där optiska axeln skär bildplanet, och med x- ochyaxlarna parallella med X c -ochy c -axlarna. Fokallängden f är avståndet från O c till O i (dvs. mellan optiska centrum och bildplanet). Under perspektivprojektion ( lådkameramodellen ) ges relationen mellan en objektpunkt X c Y c Z c µ i C och dess avbildning 28

29 xyµ i bildkoordinatsystemet I av: x f X c Z c ; y f Y c Z c (23) Optisk distortion För verkliga kameror gäller inte ovanstående modell exakt. Linssystem ger upphov till olika former av geometriska distortioner, vilka vanligen modelleras enligt Tsai (1987): x x d D xr x d y d µ D xt x d y d µ (24) y y d D yr x d y d µ D yt x d y d µ (25) där vi infört x d y d µ för de distorderade bildkoordinaterna och där D xr respektive D yr innefattar radiell, och D xt respektive D yt tangentiell distortion. Ett sätt att uttrycka dessa distortioner är enligt följande (Li och Lavest, 1995): D xr x d y d µ x d a 1 r 2 a 2 r 4 a 3 r 6 µ (26) D yr x d y d µ y d a 1 r 2 a 2 r 4 a 3 r 6 µ (27) D xt x d y d µ p 1 r 2 2x 2 d 2p 2 x d y d (28) D yt x d y d µ p 2 r 2 2y 2 d 2p 1 x d y d (29) r Õx 2 d y2 d (30) Erfarenhetsmässigt har det visat sig att det ofta är tillräckligt att använda enbart radiell distortion och helt bortse från tangentiell distortion (Tsai, 1987). Vidare har experiment visat att de två första termerna i den radiella distortionen är tillräckligt för våra syften (se figur 8). Därför kommer vi i detta arbete att använda följande distortionsmodell: x x d x d a 1 r 2 a 2 r 4 µ; y y d y d a 1 r 2 a 2 r 4 µ (31) Ett exempel på hur denna distortionsmodell verkar visas i figur 9. I figur 8 visas hur användandet av endast en distortionsparameter ger otillräckligt resultat Omskalning till pixelkoordinater Bildkoordinaterna x d y d µ i den kontinuerliga bilden kan relateras till pixelindex i den digitala bilden medelst: x d i i 0 µdx; y d j j 0 µdy (32) där i jµ är bildkoordinater i koordinatsystemet D centrerat kring den punkt i 0 j 0 µ där optiska axeln skär bildplanet (se figur 7). dx och dy är centrum-centrumavståndet mellan närliggande sensorelement i kameran i horisontell respektive vertikal led. Således sker fyra transformationer från världskoordinaterna X w Y w Z w µ till bildkoordinaterna i jµ (se figur 10). Fortsättningsvis kommer vi att initialt betrakta en fix kamera (som inte panorerar, tiltar eller zoomar) där vi bortser från den första stelkroppstransformationen och antar att W och C sammanfaller. Senare kommer vi att relaxera dessa antaganden och betrakta en rörlig kamera. 29