HAND TRACKING MED DJUPKAMERA ETT PROJEKT I TNM090 - SOFTWARE ENGINEERING Rasmus KARLSSON Per JOHANSSON Erik HAMMARLUND raska293@student.liu.se perjo020@student.liu.se eriha891@student.liu.se 2014-01-14
Abstrakt Djupkameror kan utföra många uppgifter idag. Spårning av händer har länge varit möjligt men kräver ofta hjälpmedel som hjälper kameran att identifiera orientering och position. Lite svårare men fullt möjligt är att hitta och spåra händer eller andra objekt utan några andra hjälpmedel. Detta projekt behandlar just spårning av händer utan externa hjälpmedel. 1 Projektidé och mål Vid val av projekt valde tre personer en projektidé som baserade sig på att med hjälp av en djupkamera kunna följa handrörelser och handpositioner. Dessa tre var Rasmus, Per och Erik som bildade en projektgrupp som skulle ta sig an idén. Efter möte med kunden beslutade sig gruppen för att använda en djupkamera av märket Prime- Sense, vilken kan avgöra djup mellan ca 35cm och 1,4m. Målbilden för projektidén var ett projekt [4] genomfört av tre personer vid ett univeristet i Grekland. De hade med hjälp av en djupkamera lyckats göra ett program som markerar, med en renderad kropp som hade samma form som en hand ovanpå användarens hand. Till en början inriktade sig gruppen att skriva ett program som använder Open- NI för att hämta djupbilden från kameran. Dessutom påbörjades en kod från grunden som skulle rita ut de objekt som skulle renderas ovanpå kamerabilden. Problem uppstod dock med dels störningar i djupbilden i form av brus samt med skapandet av de parametriska objekt som skulle renderas. Det första problemet gick att komma runt i och med att bilden rensades från bakgrund och stationära objekt. Det andra blev ett stort och bestående problem. Att skapa ett parametriskt objekt från grunden med olika objekt som ska sitta ihop visade sig vara för tidskrävande och hann inte påbörjas av gruppen utan blir en senare uppgift. Dessutom blev det ett problem att få till objekt som ser ut som en hand och har lika många frihetsgrader som en hand eller åtminstone tillräckligt många frihetsgrader för att likna en hand. En grundläggande strategi för att bestämma frihetsgraderna för den parametriska handen var att undersöka en beskuren djupbild av den riktiga handen. Djupbilden ska då vara beskuren så att endast handen är i fokus och där exempelvis handleden är en lämplig utgångspunkt för att börja avgöra dess orientering. Därefter kan ytterligare parametrar utrönas så att den parametriska handen kan renderas så likt originalet som möjligt. Implementationen tog längre tid än gruppen hade trott. Därför förenklades målet från att hitta och följa en hands rörelse till att hitta och följa en bolls rörelse. 2 Dokumentation Protokoll för sprintmöten har förts i form av en digital scrumboard 1, där backlog och uppgifter är listade och fördelade. Där 1
syns om en uppgift är påbörjad, arbetas på eller är klar. Kod ska fungera, vara dokumenterad och vara kollad av en annan person innan den anses vara klar. Med dokumenterad avses välkommenterad kod som beskriver dess funktionalitet och ska vara kompatibel med doxygen. Under det följande sprintmötet kommer backloggen att kollas för att bekräfta vad som är klart och om det finns eventuella rester. Resterna kommer i så fall att behöva arbetas på under ytterligare en iteration beroende på hur mycket arbete som återstår på respektive uppgift. Innan den första egentliga sprinten genomfördes en planeringssprint där backloggen formulerades, namnoch kodkonventioner valdes och en modell över arkitekturen designades. I bilden 2 nedan visas en överblick över den klasstruktur som formulerades under planeringssprinten och som senare vidareutvecklats under projektets gång. Även om den genomgående strukturen är densamma så har den utökats och ändrats lite då problem som inte var kända under planeringen dök upp. 3 Gruppmedlemmar I gruppen ingick Rasmus Karlsson, Per Johansson och Erik Hammarlund. Rasmus har varit ytterst ansvarig för aktuell version av programmet och som en del i den uppgiften ålades det honom att se till att den senaste fungerade versionen som utvecklats fanns tillgänglig för alla gruppmedlemmar. Dessutom har Rasmus haft ansvar för att programmet får in bild och djupbild från kameran på korrekt sätt med så lite brus som möjligt och även för att ta ut rätt position av bollen i tre dimensioner. Per har haft i uppgift att hålla iordning på alla gruppens dokument och som en del i uppgiften också skriva protokoll och uppdatera de levande dokumenten. Utöver dessa uppgifter har han även varit ansvarat för att rendering på grafikkortet ska stödas. Detta inkluderar initialisering av texturer, Frame Buffer Objects, shaders, samt en datastruktur för objekt. Erik har varit ansvarig att sköta kontakten med kunden genom hela projektet. Dessutom har han skrivit klasser för att skapa parametriska objekt, hjälpt Rasmus skapa funktioner som tar in bilder från djupkameran. Erik har sedan skapat funktioner som rensar upp bilden från bakgrund och bord eller vad som statiskt finns med i bilden och returnerar denna upprensade version för att kunna användas av andra klasser och funktioner. I och med att gruppen haft relativt få medlemmar har det varit svårt att dela upp projektarbetet i mindre bitar. Vissa delar är dock naturligt separerbara, såsom information från kameran och hanteringen av det samt renderingen av objektet som ska placeras ovanpå kamerabilden samt transformeringen av denna. 2
Figur 1: Urklipp från gruppens backlog Figur 2: Exempel på grundläggande klasstruktur 4 Implementering och resultat Gruppen valde att göra implementeringen i C++ med OpenGL[2] och använde GLUT[1] för fönsterhantering. Anledningen var att vi senare behövde så hög prestanda som möjligt för de kommande matchningsalgoritmerna. Med hjälp av kodbiblioteket OpenNI[3] kan en färg- och en djupbild tas ut i realtid från PrimeSense- 3
kameran. Bilden sparas som en textur och renderas sedan på ett plan framför kameran. Genom att låta djupkameran spara en bild av bakgrunden kan den subtraheras i den nuvarande bilden vilket ger en bättre separation av bollen och bakgrunden 3. Genom att undersöka positionen i den närmsta punkten kan bollen renderas ut på rätt position i tre dimensioner. 5 Vidareutveckling Eftersom det ursprungliga målet inte uppnåddes finns det fortfarande mycket att utveckla. I nuläget renderas en boll ut i den punkt som ligger närmast djupkameran, vilket innebär att det ännu inte sker någon matchning. Ett kommande steg är därför att utveckla en matchingsmetod som hjälper till att bestämma parametrar för det parametriska objektet. Därefter ska bollen så småningom bytas ut mot en hand, vilken lämpligen modelleras i ett extern program, exempelvis Maya. Denna ska sedan kunna styras i programmet på ett enkelt sätt. Att göra detta snyggt kan kräva någon form av skinning eller liknande metod. 4
Figur 3: Filtrering av bakgrund Figur 4: Skärmdump av det slutgiltiga programmet 5
Referenser [1] Glut - the opengl utility toolkit. http://www.opengl.org/resources/libraries/glut/. [Online; senast hämtad 14 januari 2014]. [2] Opengl. http://www.opengl.org/. [Online; senast hämtad 14 januari 2014]. [3] Openni. http://www.openni.org/. [Online; senast hämtad 14 januari 2014]. [4] Antonis A. Argyros Iason Oikonomidis, Nikolaos Kyriazis. Efficient modelbased 3d tracking of hand articulations using kinect. Technical report, Computational Vision and Robotics Lab., Institute of Computer Science, FORTH, 2011. 6