Algortmsk och geometrsk prestanda av optska nlednngssystem för undervattensbruk Dego Vegas TRITA-NA-E567
Numersk analys och datalog Department of Numercal Analyss KTH and Computer Scence 1 44 Stockholm Royal Insttute of Technology SE-1 44 Stockholm, Sweden Algortmsk och geometrsk prestanda av optska nlednngssystem för undervattensbruk Dego Vegas TRITA-NA-E567 Examensarbete om poäng nom frstående kurs datalog Stockholms unverstet år 5 Handledare på Nada var Carsten Rother Examnator var Jan-Olof Eklundh
Algortmsk och geometrsk prestanda av optska nlednngssystem för undervattensbruk Dego Vegas 5 Sammanfattnng Försvarsmakten utvecklar en obemannad undervattensfarkost, AUV (Autonomous Underwater Vehcle), som självständgt ska utföra högrskuppdrag och därefter bärgas. I värsta fall dockas AUV:n va en torpedtub, där vkten av noggrannhet kräver ett oberoende nlednngssystem. Optsk sgnalerng med datorseende är numera en realstsk lösnng som dessutom mnmerar rsken att upptäckas, jämfört t.ex. med akustska metoder. Med en kamera hos AUV:n och ett antal ljuskällor på docknngsstatonen en gven geometr, kan poston och atttydvnklar mellan koordnatsystemen bestämmas. Gällande examensarbete jämför felen hos flera mplementerade postonerngsalgortmer och en rad bldupplösnngar, samt studerar känslghet för brus och för s.k. krtska konfguratoner (algortmskt felbenägna punktgeometrer). Generellt eftersträvas resultat från smulerng som kan kartlägga felmargnaler hela systemet. Resultatet av arbetet har vart väldgt lyckat specellt algortmprestandat, tack vare en ny välanpassad metod med mycket hög noggrannhet och brustålghet. Genom en ngående defnton av tänkbara krtska konfguratoner och tester av dessa har deras nverkan på systemet desgnmässgt kunnat avstyras. Ytterlgare lnjär förbättrng kan enkelt uppnås genom högre bldupplösnng, som presenteras grafskt rapporten.
Algorthmc and Geometrc Performance of Optcal Gudance Systems for Submersbles Dego Vegas 5 Abstract The Swedsh Armed Forces are developng an Autonomous Underwater Vehcle, AUV, to ndependently operate rsk crtcal mssons followed by recovery. A worst case recovery scenaro s dockng the AUV va a torpedo tube, demandng a level of accuracy only supported by an ndependent gudance system. Optc sgnallng wth computer vson has lately proved to be a vable soluton that also mnmzes the rsk of exposure, n partcular compared wth acoustc technques. Formng a geometry of lght dodes on the target and lettng these be projected n a camera placed on the AUV, gves the possblty of calculatng the relaton between the two coordnate systems,.e. the pose (poston and orentaton) of the AUV. Ths Master s thess compares the performance of several mplemented pose determnaton algorthms and mage resolutons, also studyng senstveness to nose and crtcal confguratons (algorthmcally ncompatble geometres). The dea s to produce results n a smulated envronment that help to mprove the performance of the system as a whole. Results have been very successful partcularly wthn the algorthm performance, due to a superbly ftted method wth unbeatable accuracy and nose endurance. All concevable crtcal confguratons have been thoroughly defned and tested, preventng rsk already n the desgn stage. Addtonal system enhancement can easly be brought about by a hgher mage resoluton, graphcally presented n the report.
Förord Denna rapport är ett examensarbete datalog, vd Nada, Stockholms unverstet, och specellt nom Computatonal Vson and Actve Percepton Laboratory, Cvap. Handledare är Teknologe Doktor Carsten Rother och examnator Professor Jan-Olof Eklundh. Själva arbetet har gjorts hos uppdragsgvaren Kockums AB, där ytterlgare två handledare har vart tll hjälp; Magnus Johnsson och Teknologe Doktor Anders Erksson. Härmed vll jag hjärtlgen tacka alla som stått vd mn sda genom detta krävande arbete. Ett stort tack rktas tll Teknologe Doktor Carsten Rother, för kontnuerlg handlednng och ett oändlgt bollande av déer. Allt under en stundande dsputaton med tllhörande arbetsbörda. Professor Tony Lndeberg tackas för sn översyn som prelmnär examnator, men också för ett alltgenom konstruktvt och vänlgt bemötande. Slutlg examnator, Professor Jan-Olof Eklundh, tackas för sn hjälp och språklga uppskattnng. Jag vll rkta ett alldeles specellt tack tll mna handledare på Kockums, för deras tålamod och väglednng ngenjörskonsten. Stor tacksamhet vsas tll företaget för sponsrngen utan vlken arbetet svårlgen hade kunnat utföras. Förutom handlednng och ersättnng har Kockums tllhandahållt ltteratur, omedelbar systemservce, och dessutom skämt bort mg med oslagbara lokaler med utskt över Öresund. Sst men nte mnst vll jag tacka mn mamma, Karn Vegas, som erbjöd bostad och stöd åt sn förlorade son, samt assmlerade framgång som motgång, bland på rena grekskan
Innehåll 1 Inlednng...1 1.1 Bakgrund...1 1. Mål... Teor: Kameramodeller, algortmer, standarduträknngar, upplösnng, brus och krtska konfguratoner...3.1 Kameramodeller...3.1.1 Hålkameran...3.1. Affna kameror...7. Algortmer kameraparametrar från känd punktkorrespondens....13..1 Normalserng av data...15.. Kameraparametrar och vnklar ur projektonsmatrsen...16..3 Lnjär sexpunktsalgortm...19..4 Lnjär affn fyrpunktsalgortm...1..5 Trggs fyrpunktsalgortm.....6 POS wth ITeratons (POSIT)...5..7 Trggs fempunktsalgortm...8.3 Upplösnng och Brus...9.3.1 Upplösnng...9.3. Brus...3.4 Krtska konfguratoner med en kamera...31.4.1 Krtska konfguratoner D Chasles teorem...33.4. Krtska konfguratoner 3D...34 3 Genomförande...37 3.1 Smulerng av kamera...37 3. Mätetal objektsstorlek bld för avstånd...37 3.3 Geometrer...39 3.4 Smulerade rotatoner och translatoner...4 3.5 Translatons- och rotatonsfel...44 3.6 Brus...45 4 Algortmer...46 4.1 Affn fyrpunktsalgortm...47 4. Trggs fyrpunktsalgortm...47 4.3 Lnjära sexpunktsalgortmen vs. POSIT...49 5 Upplösnng...51 6 Brus.....53 6.1 Geometrskt brus...53 6. Dskret brus...54
7 Algortmer och brus...56 7.1 Kategorska postoner...56 7. Algortmspecfka omständgheter rekaptulaton. 56 7.3 Translatonsfel...57 7.4 Rotatonsfel...58 7.5 Fel fokallängd...59 8 Krtska konfguratoner...6 8.1 Planärtet...6 8. Plan och lnje...63 8.3 Tre lnjer...63 8.4 Twsted cubc...65 9 Resultat...67 9.1 Dskusson...67 Referenser...68 Ltteraturförtecknng...68 Blaga Matlab-kod...7 A Affn fyrpunktsalgortm...7 B Trggs fyrpunktsalgortm...7 C POSIT...74 D Lnjär sexpunktsalgortm...75
1 Inlednng Som ett led det svenska alltmer ntellgenta och förlustkrtska försvaret utvecklas en obemannad undervattensfarkost, AUV (Autonomous Underwater Vehcle). Tanken är att den ska kunna ge värdefull nformaton om tll exempel en fendes poston och tllstånd och på så sätt förbättra beslutstödet, som sn tur förväntas mnska konfrontatoner och förluster. Möjlga uppdrag är att avsöka hamnar, röja mnor och bevaka gränser. Utfrån en docknngsstaton, t.ex. en ubåt, ska AUV:n kunna skckas på uppdrag och återvända självständgt utan någon som helst kontakt som eventuellt kan röja den. På grund av undervattensläget är satelltkontakt dessutom omöjlg, varför den måste förlta sg tll ett eget navgerngssystem som kan förskjutas relatvt docknngsstatonens. En trolg docknngskanal är en torpedtub placerad på ubåtsnosen, där öppnngen också blr formgvande för farkosten lång och smal. Det är därför vktgt att nseglngen sker parallellt med torpedtuben och dessutom med stor noggrannhet, eftersom få centmetrar skljer farkosten från torpedtubens nre vägg. En standardlösnng tll detta problem skulle vara akustsk sgnalerng, men gällande fall kan sgnalerna fortplanta sg vattnet och eventuellt röja båda farkosterna. Ett optskt nlednngssystem baserat på en kamera hos AUV:n och ett antal ljuskällor hos docknngsstatonen vsar sg vara ett fruktbart och genomförbart alternatv. En förutsättnng för problemformulerngen är att ljuskällorna på docknngsstatonen är utplacerade en känd geometr, och att korrespondensen mellan dessa källor och deras blder går att bestämma. Exsterande algortmer ger då kameran en translaton och en rotaton gentemot geometrns koordnatsystem. Utfrån dessa kan relatv poston och atttydvnklar bestämmas, vlka möjlggör en stabl nseglng lnje med torpedtuben. Optsk sgnalerng har mycket kortare räckvdd under vatten, vlket mnskar rsken för att bl upptäckt, men räcker för att leda n farkosten från ett realstskt avstånd [14]. 1.1 Bakgrund Teknk som använder ett antal kända 3D-punkter (geometrsk modell) och blder av denna för beräknande av kamerans relatva poston och atttydvnklar har många användnngsområden. Som exempel (förutom gällande arbete) kan det nämnas kamerakalbrerng, kartograf, objektsföljnng och genkännng av föremål. Det har länge funnts lösnngar som vlar på ett uträknande av projektonsmatrsens elva sgnfkanta element m.h.a. korrespondenser mellan sex eller fler punkter. Den enklaste av dessa är sexpunktsalgortmen [1], men också varanter med olka bruk av Newton-Raphsons metod har tagts 1
fram []. I ntroduktonen tll [8] fnns en välformulerad sammanfattnng med bra referenser för denna hstorska pusselbt. På senare år har fler angreppssätt med skftande teknska tyngdpunkter gjort sg gällande t.ex. algortmskt komplexa [,3] eller geometrskt välgrundade [8]. Numera eftersträvas ofta lösnngar som ger både punktkorrespondens och poston med rotaton samtdgt, eftersom båda problemen under gynnsamma förhållanden är enkla, såvda det andra redan är löst [6,7,]. Den teoretska defntonen av krtska konfguratoner är på senare år gven [1], under förutsättnng att geometrn är känd. Forsknng pågår för att klara fallet utan det vllkoret, vlket dock faller utanför ramen för detta examensarbete. 1. Mål Med detta examensarbete som grund är ntentonen att Kockums AB systemkonstruktonen med fördel ska kunna väga olka krav mot varandra, för att ramen av en budget desgna bästa möjlga nlednngssystem. Baserat på en första stude genomförbarhet av hela nlednngssystemet [14], är fokus nu generellt att studera och om möjlgt skapa felmargnal desgn och mjukvara. Då de fysska krtererna redan är studerade och testade, lgger betonngen nu på algortmprestanda, brusreducerng och eventuella krtska konfguratoner (algortmskt felbenägna geometrer, se avsntt.4). Studen genomförs genom att smulera systemet matematkprogrammet Matlab, gvet en kamera på den obemannade undervattensfarkosten och ett valfrtt antal ljuskällor på docknngsstatonen. Utfrån smulerngen ska ett urval av de exsterande postonerngsalgortmerna mplementeras och testas, felkällorna bldupplösnng och brus studeras, samt rsken bedömas för så kallade krtska konfguratoner som geometrer på docknngsstatonen. Utanför ramen för arbetet fnns frågan om korrespondens mellan världs- och bldpunkter (ljuskällorna och dess blder), som är en förutsättnng för valda algortmer och befntlg problemformulerng. En lösnng tllhandahålls av uppdragsgvaren Kockums AB, men nya déer och upptäckter uppmuntras.
Teor I detta kaptel redogörs för nödvändg teor för arbetets genomförande. I avsnttet om kameramodeller presenteras en perspektv och en affn kamera, samt förväntat fel affn modellerng av perspektvprojekton. Under avsnttet om algortmer fnns teor för normalserng av data, extrakton av kameraparametrar från projektonsmatrs, samt valda postonerngsalgortmer. I Upplösnng och brus presenteras systemets förväntade felkällor, där brus delas upp två undergrupper, och krtska konfguratoner får ett eget avsntt..1 Kameramodeller Nedan presenteras först hålkameran som är grunden för perspektva kameror, med alla ngående kameraparametrar. Affna projektonsprncpen är ett specalfall med ett par varanter som också förekommer studen. Alla dessa är ytterst relevanta arbetet och presenteras därför grundlgen. Vktgaste referensen för detta avsntt är [1]..1.1 Hålkameran Perspektvprojekton kan beskrvas av en projektonsmatrs P som delas n nre respektve yttre kameraparametrar. Nedan härleds dessa parametrar med utgångspunkt från en enkel hålkamera, dvs en kamera utan lns hålet. De nre parametrarna kan sägas vara kamerans egenskaper vd projektonen, och de yttre kamerans placerng. Fokallängd En av de vktgaste begreppen för att förstå perspektvprojekton dvs den avbldnng som alla vanlga kameror och våra ögon gör är skalförhållandet. I jämförelse med parallellprojekton där alla strålar är parallella, kommer blden det fallet att få samma proporton som verklgheten, se fgur.1. I perspektvprojekton skär alla strålar från världen varandra en punkt, kameracentrat, se fgur.1, och det sker en omskalnng av världen som konsekvens. I fgur.1 kan bldplanets poston väljas längs en axel, vlket också bestämmer storleken på blden ju närmare kameran desto mndre bld, och tvärtom. Detta avstånd kallas fokallängd, vlket alltså bestämmer hur stort skalförhållandet är. Observera att verklgheten är bldplanet på motsatt sda om 3D-punkterna sett från kameracentrat, men detta är matematskt analogt med nedan schematska framställnng. 3
y parallellprojekton X perspektvprojekton c z f Fgur.1: Parallellprojekton och perspektvprojekton yz-planet av 3Dpunkten X, med kameracenter c orgo. I perspektvprojekton ändras objektets storlek blden proportonerlgt med fokalavståndet f, vlket nte är fallet med parallellprojekton. Grundläggande geometr Hålkameran är den enklaste modellen för att beskrva perspektvprojekton, se fgur. och.3. I denna modell motsvaras bldpunkten av den punkt där lnjen genom både 3D-punkten och kameracentrat skär bldplanet. Anta att en punkt rymden X = ( X Y Z) projceras på bldplanet Z = f. Eftersom det är en projekton ( R 3 R ) förloras en dmenson detta fall djupet, eller Z-koordnaten. Lkformga tranglar ger därför bldens koordnater x = ( x y) ur följande två ekvatoner: x = fx Z y = fy Z (.1) x X y c (x,y) x z Fgur.: Hålkameramodellen ett koordnatsystem där orgo sammanfaller med kameracentrat c. 3D-punkten X projceras på bldplanet. 4
y X (x,y) c p fy/z z f Fgur.3: Bldplanet med prncpalpunkten genomskärnng. Här blr fokallängd och ekvatonen för y-koordnaten bldpunkten tydlg. Genom att nföra homogena koordnater behålls den tredje bldkoordnaten, varpå den bryts ut för att motsvara det sökta skalförhållandet. För att senare kunna härleda kameramatrsen är det önskvärt att relatera fokallängden tll världskoordnaterna. Därför multplceras ekvatonerna med djupet, vlket ger att skalförhållandet motsvaras av djupet: Zx fx Zy = fy Z Z (.) Prncpalpunkt Prncpalaxeln är den lnje från kameracentrat som är vnkelrät mot bldplanet och rktat mot objektet. Den punkt där denna lnje skär bldplanet kallas prncpalpunkt. I ovan gvna härlednng förutsätts prncpalpunkten vara orgo bldplanets koordnatsystem, men så behöver nte vara fallet. Ekvaton (.1) utökas tll Zx fx + Zp Zy = fy + Zp Z Z x y (.3) och får homogena koordnater (symbolen ~ står för okänd skala) x fx + Zp y ~ fy + Zp 1 Z x y f = f p p 1 x y X Y. (.4) Z 1 5
Bldens axelförhållande En kamera har normala fall ett 1:1 förhållande mellan bldplanets x- och y-axel. För ökad generaltet har man dgtalkameror lagt tll möjlgheten att modellera cke-kvadratska pxlar, vlket möjlggör ett annat skalförhållande mellan axlarna. Detta uppnås genom att multplcera de två ngångarna för fokallängden kameramatrsen (.5) med var stt tal, x och y, och därmed få K = m x m y p x p y 1, (.5) där m x = x f och m y = y f. Då antas prncpalpunkten vara gven med m x och m y multplcerade tll x- respektve y-koordnaten, där x och y modellerar kvadratska pxlar. Skjuvnng Fullständg generaltet av de nre kameraparametrarna uppnås först då man kan modellera s.k. skjuvnng en sorts förvrängnng. Ett enkelt exempel är en kub som blr ett parallellogram. Normalt kommer denna parameter antas vara noll eftersom det är en oönskad egenskap, men även den har tllämpnngsområden. V kan med axelförhållande och skjuvnng utvdga kameramatrsen (.5) tll m x s p x K = m y p y, (.6) 1 och således ge ekvatonen för perspektvprojekton med alla nre kameraparametrar X x fx + Zp x m x s p x y ~ fy + Zp y = m y p y Y. (.7) Z 1 Z 1 1 Ovan gvna ekvaton kan kort skrvas som x = KI [ ] X cam, (.8) där det har precserats att världskoordnaterna är gvna kamerans koordnatsystem. Rotaton och translaton Httlls har bldplan och punkter rummet defnerats utfrån kamerans koordnatsystem, där bldplanet fås genom en förflyttnng av xy-planet 6
längs z-axeln. I vanlga fall ges dock punkterna rummet ett annat koordnatsystem som erhålles genom en lkformg transformaton av kamerans system. Denna transformaton kan beskrvas med en rotaton och en translaton, vlket ger en 3x3-matrs R för rotatonen och en homogen 3-vektor C för translatonen. Dessa kan v lägga tll ekvaton (.8) och få x = KR[ I C]X. (.9) Ur (.9) erhålles den fullständga projektonsmatrsen för perspektvprojekton: [ C] P = KR I. (.1).1. Affna kameror Intutvt går det att förstå en affn projekton om man utgår från en perspektvprojekton men utan nformaton om djupet. Som en defnton räcker det att nedersta raden kameramatrsen är radvektorn ( 1) [1], vlket ger precs samma resultat. En möjlg härlednng är att nföra följande procedur och sedan modellera denna: Tänk att du förflyttar dn kamera rakt från objektet du vll ha blden, men genom att samtdgt zooma n det bbehåller dess storlek blden. Då kommer nformatonen om perspektvtet gradvs att försämras, dvs lnjer som möts en förlängnng kommer successvt att bl mer parallella, se fgur.4. Om denna procedur skulle kunna fortsätta tlls både fokalavståndet och avståndet tll objektet är oändlgt stora, uppnås den affna kamerans egenskaper. Fgur.4: (T.v.), en hög grad av perspektvtet, (t.h.) en svagare, där fortsättnngen av kubens sdor skulle mötts utanför blden. Denna effekt kan uppnås genom att zooma n ett objekt samtdgt som man kompenserar förstorngen av objektet genom att avlägsna sg det, så att det bbehåller sn storlek blden. 7
Modell från perspektvtet tll affntet En perspektv projektonsmatrs kan skrvas som r 1T r 1T C P = KR[ I C]= K r T r T C, (.11) r 3T r 3T C där r T är den :te radvektorn rotatonsmatrsen R. Vektorn r 3 pekar prncpalaxelns rktnng, se avsntt.1.1, C är kamerans poston och alltså är d = r 3T C avståndet tll världskoordnatsystemets orgo objektets mtt detta fall. För att modellera rörelsen från objektet längs prncpalaxeln nförs en tdsenhet t. Med denna tdsenhet blr C tr 3T ett uttryck för kameracentrats poston. Då kan (.11) stället uttryckas som r 1T r 1T (C tr 3 ) r 1T r 1T C P t = K r T r T (C tr 3 ) = K r T r T C, (.1) r 3T r 3T (C tr 3 ) r 3T d t där r T r 3 är noll för = 1,. Faktorn d t = r 3T C + t är avståndet från kameracentrat C tll världskoordnatsystemets orgo längs prncpalaxeln vd tden t. Effekten av denna rörelse från objektet motsvaras alltså projektonsmatrsen av att byta ut element P 3,4 med avståndet d t. Nu kombneras tdgare nämnda zoomnng med denna rörelse för önskad effekt objektets storlek bbehålls. Om förstorngsfaktorn sätts tll k = d t /d, får v oförändrad storlek av blden och därmed också av objektet. Projektonsmatrsen vd tden t kan då skrvas som d t d P t = K d t d = K 1 r 1T r T r 3T r 1T C r T C d t = d r 1T r 1T C t K r T r T C, (.13) d r 3T d d t d där faktorn d t /d kan bortses från. Vd tden t = motsvaras kameramatrsen P t av (.11), men då t går mot oändlgheten blr gränsvärdesmatrsen r 1T r 1T C P = lmp t = K r T r T C, (.14) t T d 8
som är den typska affna projektonsmatrsen enlgt ovan. Eftersom en kameramatrs med ssta raden enlgt ( 1) är en defnton på en affn kamera [1], är (.14) en nstans av en sådan. Ett annat sätt att förstå en affn projekton är att se det som en parallellprojekton med två affna avbldnngar 1 en före projektonen och en efter. Den första applceras på 3D-kroppen och den andra på blden: 1 P A = B 33 1 C, (.15) 44 1 där B 33 och C 44 är matrser som motsvarar affna avbldnngar planet respektve rummet. Mellan dessa framgår tydlgt matrsen för parallellprojekton 1 P parallell = 1. (.16) 1 En annan vktg egenskap hos affna projektonsmatrser är att prncpalpunkten nte går att bestämma. Detta nses tydlgare om matrsen från härlednngen (.14) först delas upp enlgt P = K x T R t, (.17) 1 T d där R består av de förstå två radvektorerna en rotatonsmatrs. Vektorn t är ( r 1T C, r T C) T, och T är vektorn (, ) T. Vdare är P = K x T R t 1 T d = d 1 K x R t, (.18) T 1 T 1 där v ersätter K med d 1 K och sätter d =1. Om produkten då faktorseras ger detta 1 Typskt för en sådan avbldnng är förutom en rotaton att strukturen bara deformeras längs endast en rktnng [1]. 9
P = K R K t + x T = K 1 T R 1 t + K 1 T 1 = K K t + x T R. (.19) 1 T 1 Med substtutoner för t och x kan v skrva affna projektonsmatrsen på endera två sätt: P = K T R t 1 T = K x 1 T R. (.) 1 T 1 Följaktlgen är antngen x eller t =. Med andra faktorserngen (.) blr projektonen av rumskoordnatsystemets orgo P ( 1) T = ( x T, 1) T. Prncpalpunkten vsar sg på så sätt nte vara relaterad tll kameran, utan tll valet av rumskoordnater. P har således nte en defnerad prncpalpunkt. Affn vs. perspektv projekton Nu kan de generella skllnaderna mellan en generell affn projekton och en perspektvprojekton sammanfattas: Projektonsmatrsen för parallellprojekton används stället för den generella matrsen för perspektvprojekton. 1 1 1 för parallell-, respektve 1 1 1 för perspektv projekton. Inre kameramatrsen K T stället för K, (.6). 1 Prncpalpunkten är nte defnerad. Det är också vktgt att komma håg att fokallängden en affn kamera blr en betydelselös skalfaktor, eftersom projektonen ändå tappar skalenlghet när nformaton om djupet förloras. Specallfall Faktum är att ortogonal och affn projekton kan ses som ytterlgheter där v har två välkända mellantng; skalad ortogonalprojekton, se avsntt..6, och s.k. weak perspectve projecton, se fgur.5. I den första har det ortogonala projektonen lagts tll möjlgheten att skala objektets storlek genom att sätta P 1,1 = P, = k. I den andra ges dessa två parametrar möjlgheten att vara olka, och på så sätt modelleras förhållandet mellan bldplanets x- och y-axel. I båda fallen fnns naturlgtvs alternatvet att lägga tll de externa kameraparametrarna rotaton och translaton, precs som vd ortogonal och affn projekton. x 1
d weak perspectve X c f perspektv Fgur.5: Weak perspectve använder sg av både parallellprojekton och vanlg perspektvprojekton. Här ser v ett exempel genomskärnng med gvet kameracenter c, fokalavstånd f, och djupet Z på vlket 3D-punkten X parallellprojceras. Djupet denna projekton motsvaras här av d, och som v ser bestämmer denna parameter graden av varje projektonstyp. Som jämförelse ser v också en fullständg perspektvprojekton och skllnaden mellan dessa projektonstyper bldplanet. Fel affn modellerng av perspektvprojekton I jämförelse med perspektvprojekton leder en affn projekton tll ett fel som beror av vssa vllkor. V utgår från proceduren att man förflyttar sg bakåt men samtdgt zoomar n objektet fråga så att bldens storlek förblr densamma. V observerar att det fnns en mängd punkter som är oförändrade av proceduren, nämlgen de som lgger på planet Z, se fgur.5, vnkelrät mot prncpalaxeln som samtdgt skär objektets orgo. Dessa punkter kan alla uttryckas som 1 r + r X = 1 Z, (.1) 1 där r och r är axlarna vnkelräta med prncpalaxeln, och och är godtycklga konstanter. Betrakta nu en punkt som lgger på ett avstånd d = vnkelrät från detta plan Z. Punkten kan skrvas som X r = 1 + r 1 + r 3. (.) Om v skrver projektonsmatrserna för perspektva respektve affna avbldnngar som och 1 r T 1 r T C P = KR[ I C] = Kr T r T persp C, (.3) 3 3 r T r T C 11
1 1 r T r T C P = T T affn K r r C, (.4) T Z där Z är planets djup, blr blden av denna punkt för en perspektv respektve en affn kamera: x x persp = K y (.5) Z + och x x affn = K y, (.6) Z 1 där r T x = C och y = r T C. Om matrsen med endast de nre kameraparametrarna skrvs om som mx s x K x x K = m y y = T, (.7) 1 1 blr ekvatonerna för vardera projekton stället och K x x + ( Z + ) x x persp = (.8) Z + K xx + Z x x affn =. (.9) Z Bldpunkterna för de båda fås enlgt ovan genom att dela med djupet, och v nöjer oss detta fall med cke homogena koordnater: x = x + K x Z + ) (.3) persp x ( och x affn = x. (.31) + K xx Z Av dessa två ekvatoner kan skllnaden härledas mellan de två projektonerna som 1
x affn x persp = Z ( x x ) persp, (.3) vlket defnerar vllkoren för att en affn approxmaton av en perspektvprojekton ska vara lten:. Objektets djup är ltet förhållande tll bldens medeldjup Z.. Avståndet från punkten tll prncpalaxeln är ltet.. Algortmer kameraparametrar från känd punktkorrespondens När nlednngssystemet desgnas är det nödvändgt att veta exakt vlket resultat det kan förvänta sg av mjukvaran. Nedan presenteras teor för algortmer som bestämmer ett urval av kamerans parametrar med främsta målet att postonera och orentera kameran förhållande tll docknngsstatonen. Detta koncept ställer vssa krav på teknken, som leder tll ett vsst urval av algortmer. I detta urval fokuseras på karaktären hos n- och utdatan, som exempelvs påstådd snabbhet, robusthet och noggrannhet, men också uträknade kameraparametrar och mnsta antal punkter. Dessa kan nämlgen ndrekt dktera andra delar av nlednngssystemet. Algortmernas funkton Algortmernas funkton beskrvs enlgt följande n- och utdata: Indata: Utdata: Rumskoordnater: En känd geometrsk struktur med ett känt antal punkter X förutsättes. I systemet är dessa punkter representerade av utplacerade ljuskällor på docknngsstatonen. Bldkoordnater: Kamerans bld av dessa ljuskällor processas med gven teknk tll en mängd punkter x som alla lgger ett och samma plan. Punktkorrespondens: Bldkoordnaterna x får också med gven teknk [14] en bestämd korrespondens tll den ursprunglga strukturens punkter. X x gäller för alla punkter. Translaton: En vektor som beskrver hur de båda koordnatsystemen världs- och bldpunkternas förhåller sg tll varandra. Kockums AB tllhandahåller en fungerande algortm som med hjälp av ett antal bldmanpulatoner utvnner matematska punkter ur ljuskällornas blder [14]. 13
Rotaton: En rotatonsmatrs som beskrver den totala rotatonen som skljer de olka koordnatsystemen åt. Inre kameraparametrar: De olka algortmerna ger olka urval av de nre kameraparametrarna. De som kommer på tal är främst fokallängd, men också skjuvnng, prncpalpunkt och bldens axelförhållande, se avstt.1.1. I detta arbete har bestämmandet av punktkorrespondensen utelämnats eftersom det redan exsterar en fungerande lösnng baserad på systemets specfka egenskaper [14]. Det är värt att nämna att det fnns algortmer som också löser detta svårare problem, vlka skulle vara ett bonus för arbetet genom att ge valmöjlghet och möjlgen högre prestanda. En generalserng kan dock förväntas försämra snabbheten markant [7,], samtdgt som en markant nvåhöjnng svårghetsgrad skulle få bemötas. Antal punkter geometrn För utformnngen av den geometrska strukturen tll docknngsfarkosten är det vktgt att veta vlken roll antalet ljuskällor har för systemets prestanda. I valet av algortmer har en vss vkt lagts vd ett eventuellt mnmum av punkter, eftersom bortfallet av ljuskällor är en uppenbar rskfaktor vd fotograferng under vatten. Absolut mnst tänkbara antal är fyra stycken, då färre alltd kommer att ngå ett plan och därmed ge sngulärteter uträknngarna. Dessa algortmer saknar som regel övre gräns för antal punkter, men fungerar bland sämre med väldgt många. Urval av postonerngsalgortmer Postonerngsalgortmer med känd punktkorrespondens är ett relatvt aktvt forsknngsområde och urvalet av teknker blr därför ganska stort och ständgt växande. Vd arbetets genomförande är följande urval relatvt brett, med flera grundteknker nkorporerade: Lnjär sexpunktsalgortm [1] Lnjär affn fyrpunktsalgortm [1] Trggs fyrpunktsalgortm [3] Trggs fempunktsalgortm [] POS wth ITeratons (POSIT) [8] För Trggs algortmer är [16,17] också fruktbara referenser. I kaptlet med kameramodeller, se avsntt.1, presenterades en projektonsmatrs P som byggde på hålkamerans geometr, dvs en kamera utan lns. I de flesta kameror används lnser för att av olka anlednngar skala om världen ytterlgare, vlket gör att P nte kan bestämmas tll rätt skala. Detta är ett vktgt faktum att komma håg gällande kaptel. 14
15 Alla med undantaget Trggs fempunktsalgortm fnns som fungerande Matlab-kod under Blaga. Teorn för fempunktsalgortmen presenteras som vanlgt, trots att mplementerngen av den stötte på problem och aldrg gav frukt. Detta berodde sannolkt på ett mplementatonsfel av den förhållandevs avancerade matematken...1 Normalserng av data Vssa algortmer fungerar bättre med normalserat ndata [1]. Anlednngen är att värdena kan vara av väldgt olka storleksordnng, vlket kan vara en nackdel vd numerska uträknngar. I synnerhet bldkoordnaterna kan lätt sklja sg med en faktor hundra eller tusen. Tanken är att skala om koordnaterna så att medelvärdet blr ett. Genom att flytta tyngdpunkten av bldpunkterna tll orgo uppnår man detta. Tyngdpunkten t för n bldpunkter kan skrvas som = = n n 1 1 x t, (.33) där bldpunkterna skrvs som ( ) y x = x. Medelavståndet tll varje punkt kan då skrvas som = + = n y x t y t x n a 1 ) ( ) ( 1 (.34) V kan enlgt ovan enkelt normalsera homogena bldkoordnater med matrsen = 1 Bld a t a a t a y x N. (.35) För objektskoordnater blr ekvatonerna analoga och matrsen stället = 1 3 3 3 3 3 3 Obj a t a a t a a t a z y x N. (.36) Om bldkoordnaterna normalseras enlgt D Bld D X X = N norm, (.37)
och objektskoordnaterna enlgt X = N X 3D norm Obj 3D, (.38) erhålles P-matrsen för de ckenormalserade värdena från den framräknade P enlgt norm 1 Bld P = N P N (.39) norm Obj.. Kameraparametrar och vnklar ur projektonsmatrsen En algortm bestämmer vanlga fall en projektonsmatrs P, ur vlken kameraparametrar sedan måste räknas fram. Eftersom algortmerna omfattar två kameramodeller, nämlgen perspektv och affn, delas även detta avsntt upp två delfall. Undantaget denna framställnng är POSIT-algortmen, som stället ger de externa kameraparametrarna drekt. Härlednngar nedan återfnns tll stor del [4]. Perspektva fallet Ekvaton (.1) skrvs om så att alla elementen P träder fram och varje element tlldelas en varabel: 1 X P = KR[ I C]= KR 1 Y 1 Z p 11 p 1 p 13 p 14 = p 1 p p 3 p 4. (.4) p 31 p 3 p 33 p 34 Genom att faktorsera matrsen med varabler blr där 1 X KR 1 Y 1 Z p 11 p 1 p 13 ' 1 p 14 ' = p 1 p p 3 1 p 4, (.41) ' p 31 p 3 p 33 1 p 34 p 11 p 1 p 13 p 1 p p 3 p 31 p 3 p 33 ' p 14 ' p 4 ' p 34 = p 14 p 4 p 34 Med genkännng kan följande dentferas: (.4) 16
och p11 p1 p13 KR = p1 p p3 (.43) p31 p3 p33 X Y = Z ' p 14 ' p 4 ' p 34 p 11 p 1 p 13 = p 1 p p 3 p 31 p 3 p 33 1 p 14 p 4 p 34. (.44) I första ekvatonen (.4) är nre kameramatrsen K och rotatonsmatrsen R uttryckta P-matrsens no element ( p11 K p33 ), precs som (.43). På lknande sätt nses (.44) att translatonen är bestämd av P-matrsens alla element. Det förefaller därför ntressant att dela upp högerledsmatrsen (.43) två matrser som har samma egenskaper som K och R. Nämlgen att den ena är högertrangulär och att den andra är ortogonal. Genom att transponera båda matrserna blr den högertrangulära vänstertrangulär, och kravet blr alltså endast att den är trangulär. En uppdelnng kan t.ex. göras med Choleskyfaktorserng. Cholesky-faktorserng: Om X är postvt defnt gäller att Cholesky(X) = Y, där Y är trangulär och Y T Y = X. Om M är högerledsmatrsen (.43), dvs blr p 11 p 1 p 13 M = KR = p 1 p p 3 p 31 p 3 p 33 (.45) MM T = KR( KR) T = KRR T K T = KK T. (.46) Genom att nvertera KK T erhålls rätt form för faktorserngen: ( KK T ) 1 = ( K T ) 1 K 1 = ( K 1 ) T K 1, där K 1 också är trngulär. Inverterngen måste kompenseras för efter Cholesky-faktorserngen för att erhålla K. Resultatet blr ( ) K = Cholesky ( MM T ) 1. (.47) Här är det lämplgt att dvdera bort en eventuell skalfaktor, vlket görs genom att dvdera alla elementen K med det element där det önskas fnnas en etta, nämlgen K 33. Då är kameramatrsen standardform. Rotatonsmatrsen R erhålls sedan ur M och K genom 1 1 R = K M. (.48) 17
Ett annat sätt att dela upp M på är genom QR-faktorserng, där en högertrangulär matrs och en ortogonal matrs fås drekt ur M. Translatonen C erhålls ur (.44) som p14 1 C = M p4, (.49) p34 vlket som önskat stämmer med ekvatonen Affna fallet PC=. (.5) I det affna fallet är P-matrsens ssta radvektor som bekant ( 1), så M blr stället p11 p1 p13 M =. (.51) p1 p p3 Det går ändå att Cholesky-faktorsera, vlket stället ger en x-matrs, som är den övre vänstra delmatrsen K. Analogt med perspektva fallet ovan blr K = Cholesky( ( MM T ) 1 ) 1. (.5) Eftersom en affn kamera nte har någon prncpalpunkt kan v bygga upp hela K som K x K =, (.53) T 1 där = ( ) T. R erhålls som det perspektva fallet genom att använda hela K och M 3x3, men eftersom M 3x3 nu bara är av rang två, kommer tredjeradsvektorn R att bestå av nollor: 1 1 1 1 r 1 r r3 r R = r1 r r3 = r (.54) Denna radvektor erhålls stället genom kryssprodukten av de andra två: r 3 1 = r r. (.55) Translatonen ter sg affna fallet som en orenterng. Lkhet mellan rktga translatonen och orenterngen ges därför genom normalserng av båda vektorerna. Orenterngen W fås ur M W = genom att 18
exempelvs räkna fram endmensonella nollrummet av M. Denna erhålls som vektorn motsvarande det mnsta sngulärvärdet V vd en sngulärvärdesuppdelnng av M = UDV (Matlab-kommandot svd). Eftersom M är en x3-matrs blr W en tredmensonell vektor. Kameracentrat erhålles lkt tdgare ur w 1 C = w. (.56) Vnklar ur rotatonsmatrsen Rotatonsmatrsen kommer att vara beroende av vlka koordnatsystem som används. I arbetet har ett s.k. högerhands-system använts, och då passar det att använda Gven s rotatons (.57) för att få hela rotatonsmatrsen R trgonometrska uttryck. Eftersom en rotaton krng en axel sker moturs om man ser orgo från dess postva axel, kan rotatonerna krng axlarna (x, y, z) beskrvas som 1 cos sn cos sn R x = cos sn, R = 1, R = y sn cos, (.57) z sn cos sn cos 1 där R x, R y och R z motsvarar en rotaton krng ursprunglga x-, y-, respektve z-axeln med vnklarna, och, samma ordnng. Om totala rotatonen R defneras som R = R R R, (.58) x y erhålls R trgonometrska uttryck som z cos cos R = sn sn cos + cos sn cos sn cos + sn sn cos sn sn sn sn + cos cos cos sn sn + sn cos sn sn cos. (.59) cos cos Axelrotatonernas vnklar, och, erhålls sedan från R,3 tan =, sn = R1,3, R 3,3 R1, tan =. (.6) R..3 Lnjär sexpunktsalgortm Den lnjära sexpunktsalgortmen använder sex punkter och beräknar alla frhetsgrader P, vlket betyder att den ger alla nre respektve yttre parametrar av projektonen. Den kan ses som ett enkelt 1,1 19
tllvägagångssätt för att postonera och kalbrera 3 en kamera, som dessutom är lätt att mplementera, snabb och ger god noggrannhet under gynnsamma omständgheter [1]. Det fnns två standardförfaranden för sexpunktsalgortmen som båda leder tll uträknng av nollrummet för en större matrs vars storlek beror på antalet punktkorrespondenser. I arbetet används varanten med den rättframma teknken Drect Lnear Transform (DLT) [1], för att den tycktes vara enklare och ge något bättre resultat (detta är nte vsat, men hur som helst är skllnaden lten). DLT bygger på kryssprodukten av projektonsekvatonen med bldpunkten, medan den andra [4,14] omformar projektonsekvatonerna drekt. Om X = ( X Y Z 1) T är en punkt rummet uttryckt homogena koordnater, projceras den som bekant enlgt ekvatonen x = PX (.61) där x = ( x y 1) T är en punkt blden också homogena koordnater (med bldkoordnaterna x och y, där lnsens skalfaktor bortses från genom = 1). DLT-teknken går ut på att ta kryssprodukten med x enlgt: x x = x PX = x PX (.6) Om P uttrycks som radvektorer enlgt 1 P T P = P T, (.63) 3 P T erhålls PX som P PX = P P 1 T T 3 T Då kan x PX skrvas som x PX X X. (.64) X 3 yp T X P = 1 P T X xp xp T X yp där = 1..6, för 6 stycken punkter. T 3 T X X, (.65) X 1 T 3 Bestämmandet av projektonsmatrsens parametrar hos en vss kamera efter faktska förhållanden optken. Ett sätt är att mnmera yttre fel genom att utgå från en känd 3D-struktur konstruerad med hög noggrannhet. Då relateras rummets koordnater tll bldens så exakt som möjlgt [4, 1].
T Eftersom P x = x P för = 1..3, ger detta tre homogena ekvatoner uttryckta som funkton av radvektorerna enlgt T T X yx T X x X T T T T yx xx T T 1 1 P P =. (.66) 3 P Dessa ekvatoner är lnjärt beroende och därför räcker det att välja ut två av dessa och använda en punktkorrespondens för varje par. Enlgt ovan har P elva frhetsgrader och det behövs således sex par ekvatoner för att kunna lösa dem. En 11-matrs A ställs upp med koeffcenterna från dessa ekvatoner, och ger Ap =, där p är en 11- vektor med radvektorerna P på samma sätt som (.63). Elementen P är nollrummet av A som förslagsvs erhålls genom att sngulärvärdesuppdela A enlgt A = UDV, och sedan välja egenvektorn v hörande tll det lägsta egenvärdet. Med Matlab-kommandot svd kommer egenvärdena att motsvaras av dagonalen D och vara ordnade med det största först och det mnsta sst. Detta ger den högra vektorn V att svara mot det mnsta egenvärdet och följaktlgen vara det sökta nollrummet. Det är också möjlgt att använda ovan gvna algortm med fler än sex punktkorrespondenser, vlket leder tll en anpassnng av lösnngen vd sngulärvärdes-uppdelnngen...4 Lnjär affn fyrpunktsalgortm Under antagandet att man har använt en affn kameramodell går det att beräkna ett urval av frhetsgraderna med endast fyra punktkorrespondenser. Teknken är enklare än sexpunktalgortmens och uträknngarna kan förväntas vara snabbare. Detta antagande leder enlgt tdgare dock tll ett fel som bland annat beror på avståndet mellan kamera och objektspunkter, se avsntt.1.. Trots detta kan den vara en användbar teknk att tllgå som en snabb uppskattnng och jämförelse utsatta stuatoner, t.ex. vd plötslgt bortfall av ljuskälla/-or. Det ngår som en uppgft att utreda om problemformulerngen kan gynnas av nämnd teknk, men detta redogörs för senare rapporten. Algortmen är tll stor del hämtad från [1]. Eftersom en affn kamera saknar nformaton om djupet på vlket objektet befnner sg, är det vktgt att komma håg en rekonstrukton enlgt affna prncper nte ger translatonsvektorn rätt skala. Translatonen ter sg bara som en orenterng förhållande tll geometrn. Man kan enkelt beskrva det som en normalserad translaton där proportonerna mellan förflyttnngarna x- och y-axelns rktnngar är huvudsaklga vnsten. Om X = ( X Y Z 1) är en punkt rummet uttryckt homogena koordnater och X = x y 1 ( ) är en punkt blden, kan v enlgt
defntonen av en affn projektonsmatrs P, se avsntt.1., skrva de två första raderna projektonsekvatonerna som X T T X T T P P 1 T T x = y där = 1..4, för 4 stycken punkter., (.66) Om dessa par av ekvatoner staplas med ett par för varje punktkorrespondens erhålls en 8x8-matrs B som satsferar Bp = x a, där 1 P p a =, (.67) P dvs en 8x1-vektor av radvektorer 1 och från P. p a kan då lösas ut genom att blda pseudonversen B och beräkna nollrummet tll B x genom en sngulärvärdesuppdelnng, se avsntt..3. Då har v första och andra radvektorerna P. Tredje radvektorn är som tdgare nämnt alltd samma en affn projektonsmatrs och ser ut som 3 T ( 1) P =. (.68)..5 Trggs fyrpunktsalgortm Med fyra punkter och tre väl motverade antaganden om kameramatrsen har Bll Trggs lyckats bestämma kamerans poston, translaton samt fokallängd [3]. Denna algortm har en ganska tung teoretsk grund jämförelse med de övrga och jag har försökt återge den så att en onvgd förstår stegen. För att greppa den sn helhet hänvsas läsaren tll artkeln och dess referenser, samt tll [1] för generell orenterng. Algortmen grundar sg på antagandet att man känner tll skalförhållandet mellan axlarna, skjuvnngen s och prncpalpunkten p, samt att dessa är ( samma ordnng) 1 = 1, s =, p =, (.69) varav de två första är goda antaganden enlgt avsntt.1.1. Prncpalpunkten kan antas vara orgo tll bldens koordnatsystem endast om man vet att kameran är kalbrerad med det vllkoret. Tll en början applceras samma sätt som med lnjära sexpunktsalgortmen, se avsntt..3, men som väntat erhålls nte en 11-matrs utan en 81-matrs C då det bara fnns fyra punkter att tllgå. Nu saknas fyra dmensoner för att C ska ha full rang, vlket leder tll att C har ett nollrum med lka många dmensoner. Eftersom nollrummet
faktskt beskrver elementen projektonsmatrsen P, kan nollrummets bas trots allt uttryckas enlgt d P = P( µ ) µ P, (.7) = 1 där µ ( = 1..4) är okända parametrar. Det gäller att räkna fram dessa parametrar för att sedan återskapa P ur summan, för vlket man använder sna antaganden (.69). V vll alltså htta ekvatoner som ur kameramatrsen med antagandena ger nformaton om µ ( = 1,,4). Som hjälp fnns den s.k. dual absolute quadrc, som en eukldsk ram har den kanonska formen 1 1. (.71) 1 är nvarant upp tll skala under en lkformg avbldnng H enlgt T = HH, (.7) där ~, och ~ betyder lkhet med okänd skala. V kan sätta H = P och få PP ~ s = ( s 1 s ), (.73) där är en s.k. dual mage of the absolute quadrc (DIAC) och K är kameramatrsen (.6). Detta faktum är mycket användbart eftersom ett lösbart delproblem med gamla vllkor tar form. De ntella antagandena (.69) om kameramatrsen K kan nu användas för att räkna fram µ :na och därefter med hjälp av dem summan med de fyra P-matrserna (.7). Antagandena (.69) ger följande fyra ekvatoner: 11 = (.74) 1 = 13 = 3 = Dessa är uttryckta varablerna µ ( = 1..4) som dessutom är kvadrerade, vlket ger oss de to varablerna vektorn v = (µ 1 µ 1 µ µ 1 µ 3 µ 1 µ 4 µ µ µ 3 µ µ 4 µ 3 µ 3 µ 4 µ 4 ) T. V kan uttrycka detta m.h.a. en 41-matrs D enlgt Dv=. (.75) För att kunna lösa ut dessa varabler behövs fler ekvatoner, och därför konstrueras en multresultantmatrs av typ McCauley [15]. Multresultantmatrsen uppnås genom att multplcera ekvatonerna med nya varabler, tlls det är ett överbestämt ekvatonssystem. 3
Tanken är att de ursprunglga µ ( = 1,,4) ska återfnnas dessa resulterande varablerna på ett sådant sätt att de har en gemensam faktor. Denna kan svaret betraktas som konstant, lösas ut och dvderas bort sedan när P-matrsen återskapas (då denna ändå bara är upp tll en vss skalfaktor). För att svaret (matrsens nollrum) lättare kunna lösa ut de ursprunglga µ ( = 1,,4), görs valet att multplcera med varabler bestående av kombnatoner av precs dessa fyra (.76). Varablerna att multplcera n bör dessutom uppfylla följande två vllkor: 1. För att få ett överbestämt ekvatonssystem måste det uppnådda antalet ekvatoner överstga det uppnådda antalet varabler.. I fallet att varablernas antal nte räcker tll för att uppfylla vllkor 1, måste de kombneras med varandra för att öka deras antal. Då behöver det säkerställas att den gemensamma faktorn att betrakta som konstant faktskt är representerad, vlket enkelt görs genom att använda alla kombnatoner av valda faktorer. Efter en del räknng nses snart att det lägsta faktorantal som uppfyller dessa krav är tre. Då erhålls kombnatoner där varje varabel kan skrvas som µ µ j µ k där, j och k kan vara lka. Denna uppsättnng varabler sätts en vektor 3 u = ( µ µ L (.76) 1 1 µ 3 1 µ 4 µ 1µ µ 1µ µ 3 µ 1µ µ 4 µ L 3 µ ) T 3µ 4 µ 4 1x µ När u multplceras med de fyra ekvatonerna erhålls 56 nya varabler; ett tal att jämföras med de 4 = 8 ekvatonerna som de ger upphov tll. När koeffcenterna från 41-matrsen D har ordnats n en 856- matrs E så att E u =, (.77) räknas nollrummet tll E ut med sngulärvärdesuppdelnng, se..3, så att värdena på varablerna u erhålls. För bättre värden på P väljer v ut den sammansättnng av varabler som har största eukldska normen och adderar hop summan (.7) med µ :na, men håller konstanten k utanför summorna. P-matrsen erhålls enkelt genom att dela med denna konstant enlgt P = P/(3,3). Innan rotaton och translaton kan räknas fram behövs också kameramatrsen K, där det enda obekanta elementet enlgt antagandena är fokallängden f. Denna ges av 4
(1,1) + (,) f =. (.78) (3,3) Täljaren är kvadratroten ur medelvärdet av fokallängdens två ngångar, som dvderats med konstanten k...6 POS wth ITeratons (POSIT) För fyra eller fler punkter hämtas POSIT från [8], en algortm som har gett upphov tll en del forsknng och sett nämnvärda förbättrngar sedan dess [6,7,13]. Den bygger på parallellprojekton med skalnng eller, Pose from Orthography and Scalng (POS), där en första approxmaton erhålls, från vlken rotaton och translaton tereras fram. Dess styrka god konvergensmljö är snabbhet, numersk robusthet och en transparens som tllåter en att htta enkla geometrska motsvargheter varje steg. Jag har valt att återge algortmens grundläggande drag så att läsaren förstår teknken ntutvt, och nte tappar bort sg den mängd betecknngar som behövs för en matematskt korrekt presentaton. För bevs och vssa fullständga geometrska lkheter hänvsas läsaren tll artkeln. Första steget är att välja ut en referenspunkt M av de punkter M rummet som projceras på blden, se fgur.6. Sedan bldas ett plan K som är parallellt med bldplanet G, och så att M lgger planet. Innan objektspunkterna perspektvprojceras låts de först parallellprojceras på planet K så att djupet av alla objektspunkter denna avbldnng blr samma som referenspunktens. Denna konstrukton av parallellprojekton följd av en perspektvprojekton får samma resultat som om parallellprojektonen skalas med en vss skalfaktor per bldpunkt. Detta har gett upphov tll namnet Scaled Orthographc Projecton, SOP, som just betyder parallellprojekton med skalnng. 5
z M P K N M Z G m m p k j y O x Fgur.6: POSIT-algortmen använder sg av en s.k. Scaled Orthographc Projecton ( weak perspectve ) för att terera fram rotaton och translaton mellan objekt och kamera. Den består av en parallellprojekton P på ett plan K och en perspektvprojekton m av ett objekt M. Planet K går genom en utvald referenspunkt M tll vlken rotatonen och translatonen relateras. För att htta denna SOP-bld, kan ekvatoner (.79) lätt httas som beskrver en lkformghet mellan vektorn M M :s projekton på K, dvs M P, och bldens motsvarghet m p. Det enda som skljer är skalvektor s = ( s 1 s ), som beskrvs närmare nedan. M M s1 = x x (.79) M M s j = y y och j är enhetsvektorer motsvarande x- respektve y-axeln kamerans koordnatsystem det enda systemet v ska relatera koordnater tll med tllägget att de uttrycker bldens dmenson. Av dessa ekvatoner ser v att v har SOP-bldens x- och y-värden av parallellprojektonen av en vss objektspunkt upp tll skalan s, som är den enda obekanta. Man kan något förenklat säga att den rktga perspektvprojektonen av en objektspunkt blden lgger emellan referenspunktens perspektvprojekton och objektspunktens projekton av nämnd konstrukton, se fgur.6. Det nses lätt att just för referenspunkten samman- 6
faller dock dessa poler, då referenspunkten också blr den gällande objektspunkten. Denna ntutva lknelse kan uttryckas som en utvdgnng av ekvatonerna ovan (.79) och utgör grunden POSIT-algortmen. M M s = x (1 + ) x 1 M M s j = y (1 + ) y 1 (.8) Värdet på för en vss teraton bestämmer var emellan de två bldpunkterna man hamnar. Tll en början sätts tll och det nses lätt att koordnaterna då motsvarar punkten SOP-blden. Eftersom skalfaktorerna skalvektorn är gvna av perspektvprojektonen kan v sätta f f I = och J = j, (.81) Z Z och då kan samma ekvatoner uttryckas som M M I = x (1 + ) x M M J = y (1 + ) y (.8) Men det är också tydlgt att (se [8] för en fullständg geometrsk härlednng) 1 = M M k, (.83) Z där k är defnerad som k = j. Eftersom v nlednngsvs satte =, erhålls vd första teratonen approxmatva värden på I och J från ekvatonssystemet. Sedan kan värden motsvarande och j räknas fram som ger oss k, som sn tur ger oss Z. Allt enlgt gvna lkheter. Med Z kan v få ut ett nytt värde på som v använder nästa teraton. Enlgt artkeln behövs det bara ett fåtal teratoner för att få ett räknemässgt korrekt värde, med tllägget att algortmen nte konvergerar alls under vssa specella omständgheter. Tll exempel vlar SOPprojektonen på antagandet att alla objektspunkter befnner sg på samma avstånd från kameran, vlket blr ett olycklgt antagande om dessa punkter såväl fnns nära som långt från kameran. Vdare är det nämnvärt att algortmen kan anpassas genom att kräva en vss noggrannhet uttryckt för att avslutas, vlket också har en drekt nverkan på antalet teratoner. För normala omständgheter och realstska vllkor på noggrannhet konvergerar POSIT-algortmen på under to teratoner. 7
..7 Trggs fempunktsalgortm Med utgångspunkt från fyrpunktsalgortmen från [3] presenterad ovan, behövs ett antagande mndre om antalet punktkorrespondenser ökas tll fem. Fempunktsalgortmen blr då väldgt lk fyrpunktsalgortmen, och jag väljer därför att nte upprepa självklara steg, utan fokusera på de påtaglga skllnaderna. Tyvärr gav nte mplementerngen av denna algortm ett vettgt resultat, vlket gör att den nte fnns som Matlab-kod under Blaga. Som stöd för bortprorterngen av fempunktsalgortmen fnns också Trggs egna resultat [3], vlka tyder på att den t.o.m. skulle vara sämre än varanten med fyra. De två antaganden som fortfarande behövs är 1 = 1 och s =. (.84) Antagandet om prncpalpunkten behövs ej, och stället erhålls denna som resultat av den extra mnmpunkten. Fokallängden erhålls nu som fallet med fyra punkter. Med DLT får v en 11- stället för en 81-matrs, och följaktlgen ett nollrum två dmensoner stället för fyra. P-matrsen motsvaras av nollrummet och kan alltså precs som tdgare sättas upp som en summa d P = P( µ ) µ P, (.85) = 1 där µ ( = 1,) är okända parametrar. På samma sätt som med fyra punkter använder man sg nu av matrsen tll den s.k. dual absolute quadrc (.71), som samma eukldska sammanhang som ovan ger vllkor på kameramatrsen K som kan T skrvas som två ekvatoner. Nu är vllkoren nte lnjära KK, men å 1 andra sdan är de det T ( KK ), vlket med rätta omskrvnngar blr följande två ekvatoner 1 33 33 3 3 = 31 11 = 33 13 (.86) de fem varablerna 4 3 3 ( µ µ µ µ µ µ µ ) v =. (.87) 4 1 1 1 1 µ Detta underbestämda system av ekvatoner ger en 88 resultantmatrs av typ Sylvester [19,5] vars nollrum ger de 8 nya varablerna relaterade tll den. Alternatvt kan v som med fyra punkter göra en multre- 8
sultantmatrs enlgt McCauley-metoden 4, vlken fallet med fem punkter också ger en 88-matrs nya kombnatoner av våra ursprunglga varabler µ 1 och µ. Enlgt ovan gvna vllkor för valet av faktorantal hos varabler att multplcera ekvatonerna med, blr faktorantalet av varje uppkommen varabelkombnaton av ordnng sju. Dessa löses ut genom matrsens nollrum precs som med Sylvesterresultanten. Då erhålls tllsammans med de två antagandena fram fokallängd och prncpalpunkt, varpå nre och yttre projektonsparametrar följer..3 Upplösnng och Brus Systemets störnngar kan delas n tre större grupper: 1) fel före kameran, ) fel nne kameran och 3) fel efter kameran. I fgur.7 delas dessa tre n ytterlgare delgrupper. Fel före kamera Fel kamera Fel efter kamera - Felplacerng av ljuskällor - Skftande brytnng av vattnet - Krtska konfguratoner - Fel antagande om nre kameraparametrar - Gldnng av nre kameraparametrar - Radell dstorson 5 eller lknande - Upplösnng - Förlust av ljuskälla/-or - Postonerngs-algortm - Algortm för extrakton av ntenstetstoppar Fgur.7: De olka felkällor som kan förväntas uppkomma hela systemet, uppdelade den ordnng de uppkommer m.a.p. kamerans nblandnng. Nedan grupperas de olka felkällorna efter vlken teknk de relateras tll. Krtska konfguratoner behandlas för sg, se avsntt.4, och förlust av ljuskällor samt postonerngsalgortm är nbakade urvalet av algortmer, se avsntt...3.1 Upplösnng Relaterade felkällor: Upplösnng Algortm för extraherng av ntenstetstoppar Pxlar En dgtal bld består av ett rutnät av mnsta enheter som var och en kan ha en egen ntenstet en så kallad pxel. Det är självklart att fler pxlar ger en bättre bld, och tvärtom. Det är också uppenbart att varje ntenstetstopp blden (t.ex. blden av en ljuskälla) alltd är begränsad av denna mnsta enhet och kommer följaktlgen nte att motsvara en 4 Samma metod som används för att skapa multresultant-matrsen fallet med fyra punkter, se avsntt..5, [15]. 5 Brukandet av lns medför ett fel (radell dstorson) som beror på avståndet från prncpalaxeln. Det är vedertaget att felet också ökar när fokallängden (och prset på kameran) mnskar. Radell dstorson går att kompensera för matematskt [1]. 9
matematsk punkt. Eller snarare, för att få en punkt från en pxel blr avrundnngen större desto färre pxlar v väljer att ha upplösnngen. Algortmen som beräknar ntenstetstoppen eller tyngdpunkten av en grupp pxlar är drekt beroende av upplösnngen. Den är tll stor del dskret och har ett vsst medelfel mätt ett antal pxlar, som alltd är samma vlken upplösnng som än väljs. Detta fel måste multplceras med avståndet mellan pxlarna för att resultera ett längdmått. Det är nämnvärt att det fnns en rad olka teknker för beräknng av ntenstetstoppen av ett antal pxlar sub-pxel estmaton. Under arbetets gång är teknken begränsad tll tvådmensonell tyngdpunktsberäknng 6, men dén fnns att nterpolera en andragradsyta över gällande pxelntensteter och på så vs låta ytans topp ge ett bättre värde..3. Brus Brus delas för tydlghetens skull n två prncpellt olka undergrupper med egna benämnngar, nämlgen geometrskt och dskret brus. Geometrskt brus Ur tabellen ovan, se fgur.7, kan det dentferas en grupp som ger fel av geometrsk karaktär, dvs sådana fel som får själva projektonen att vara en annan än den väntade. Relaterade felkällor: felplacerng av ljuskällorna skftande brytnng av vattnet p.g.a. varaton salntet fel antagande om nre kameraparametrar gldnng av kamerans nre parametrar radell dstorson eller lknande Denna typ av fel ges benämnngen geometrskt brus. Geometrskt brus kan mätas med ett längdmått oberoende av upplösnng. För en högre upplösnng motsvaras felet av fler pxlar än för en lägre. Dskret brus Som tdgare nämnt, se.3.1, bdrar algortmen som beräknar ntenstetstoppar med ett fel som står drekt proporton tll pxelavståndet upplösnngen. Detta fel ges enkelt benämnngen dskret brus. Geometrskt vs Dskret brus Enlgt resonemanget ovan mäts geometrskt brus enklast en längdenhet, och dskret brus enklast pxlar. Det är lätt att nse att upplösnngen kommer att spela en mndre roll vd smulerngen av det geometrska bruset. Kraften hos en bättre upplösnng kommer då att gå åt för att precsera hur stort ett exsterande fel är, nte för att bekämpa det. I fallet med dskret brus har upplösnngen en drekt effekt 6 Teknken är gven av uppdragsgvaren [14]. 3
på storleksordnngen av felet, eftersom dessa står drekt förhållande tll varandra va en konstant pxelavståndet..4 Krtska konfguratoner med en kamera Arbetet är httlls koncentrerat tll prestandan av algortmer som kan bestämma en projektonsmatrs utfrån ett antal kända punktkorrespondenser X x, där x är D-punkter och X är kända 3D-punkter. I gällande kaptel behandlas problematken med konfguratoner av 3D-punkter som ger problem vd uträknandet av projektonsmatrsen. Tanken är att studera vlka typer av geometrer det rör sg om, för att senare arbetet sätta dem på prov och defnera rskerna för nlednngssystemets konstrukton. Med hjälp av två defntoner projektv ekvvalens och bldekvvalens kan problematken sägas komma från konfguratoner som ger samma bld trots olka placerngar av kameran. Chasles teorem D vsualserar fnt detta fenomen för punkter och kameracentra ngående en ellps. Som en utvdgnng av teoremet defneras en rad vllkor för sammansättnngar av kurvor med samma problematk 3D, vlka leder tll sex konkreta delfall [1]. Genom hela arbetet lksom nu studeras sammanhang med kända objektspunkter X, men det är nämnvärt att forsknng pågår för att kartlägga fenomen vd okända X. För kända X är problemet helt löst med nämnda delfall som resultat, vlka utgör grunden för studen. Projektv geometr Projektv geometr är ett kraftfullt verktyg för att beskrva många fenomen nom datorseende, men vd första mötet med den kan det vara svårt att ta den tll sg. Därför har jag httlls begränsat rapporten tll den eukldska ramen hos projektva fenomen, som fallet med dual absolute quadrc Bll Trggs fyra- och fempunktsalgortmer. Nu behövs begreppen projektv ekvvalens och projektva avbldnngar, och även om de ntutvt också kan förstås utfrån vanlg geometr rekommenderar jag den ntresserade att ta tll sg den projektva för en mer fullständg bld [3,1]. Kameramatrsens unkhet För att kunna studera vlka geometrer som vållar problem är kamerans roll en vktg fråga. Påverkar kameramatrsen antalet tolknngar av en vss geometr? Svaret är att alla kameraparametrar utom en är ovdkommande sammanhanget, nämlgen kameracentrat. Detta är ett mycket vktgt faktum som behöver styrkas, eftersom det tllåter oss att koncentrera studen endast tll geometrns punktkoordnater och kamerans placerng. Som förklarng tll detta faktum ges en sats och en ntutv grund, men för ett formellt bevs hänvsas läsaren tll [1]. 31
Sats: Låt P och P vara två kameramatrser med samma kameracenter. Då exsterar det en projektv bldtransformaton representerad av en cke-sngulär matrs H, så att P = HP. Intutvt kan fallet överföras tll blder av kameror med samma kameracenter. Skllnaden mellan olka kameror med samma kameracentra kan beskrvas som en projektv transformaton av dess blder. Man kan alltså få en godtycklg bld att bl vlken annan bld som helst förutsatt att blderna är tagna av samma objekt och med gvet vllkor på kamerorna, dvs samma kameracenter. Projektva ekvvalensklasser V stannar vd en projekton D, eftersom 3D-fallet fås som en generalserng av denna. Om v tänker oss en kamera placerad c och fyra punkter x 1,, x 4 som projceras på bldpunkterna x 1,, x 4, se fgur.8, får v att bldpunkterna och lnjerna c x är projektvt ekvvalenta de bldar en projektv ekvvalensklass [1]. Med detta resultat kan blden av punkterna stället motsvaras av lnjerna c x och betraktas som en mängd som betecknas {c; x 1,, x n }. För fyra punkter har v dessutom möjlgheten att tlldela en klass ett värde, nämlgen med ett s.k. dubbelförhållande, eller cross rato, av de fyra bldpunkterna. Detta begrepp defneras enlgt där x1, x x3, x 4 Cross( x 1, x, x3, x 4 ) =, (.88) x, x x, x x1 x j1 x x j = det. x x j 1 En ekvvalensklass kan också nnefatta flera kameror, så att { c 1,, c m ; x 1,, x n } är en klass med godtycklga m och n. Idén med dessa klasser är att det nte spelar någon roll vlken kamera man använder sg av, bara kameracentrat är defnerat. Det är alltså möjlgt att ändra alla nre kameraparametrar utom placerngen, och blderna kommer fortfarande att tllhöra samma projektva ekvvalensklass. I fgur.8 nedan kan man säga att de nre kameraparametrarna bestämmer var mellan kameracentrat och objektspunkterna lnjen l hamnar, och vlken rktnng den har. 3 4 3
x 1 l x x 1 x x 3 c x 3 x 4 x 4 Fgur.8: Kameran c och bldpunkterna ( x 1,, x 4 ) bldar en projektv ekvvalensklass. Ekvvalensen består trots att lnjen l:s placerng och rktnng ändras (så att bldstrålarna skärs), om bara c är konstant. Bldekvvalens För att lättare handskas med Chasles teorem nedan, defneras också bldekvvalens. Trots att fokus fortfarande är D, nkluderar bldekvvalens 3D-fallet. Defntonen behöver nte någon närmare förklarng: Defnton: Två konfguratoner { c 1,, c m ; x 1,, x n } och { c 1,, c m ; x 1,, x n } kallas för bldekvvalenta om { c ; x 1,, x n } = { c ; x 1,, x n }, för alla = 1,,m..4.1 Krtska konfguratoner D Chasles teorem I fallet att konfguratonen satsferar bldekvvalens men nte projektv ekvvalens fås antagandena tll Chasles teorem, se fgur.9: Sats: Låt x ( = 1,,m) vara en mängd punkter och c samt c vara två kameracentra, alla ngående ett plan. Då gäller { c; x 1,, x n } = { c ; x 1,, x n } om och endast om ett av följande påstående är sant:. Punkterna c, c och x lgger alla på en cke degenererad ellps.. Punkterna c, c och x lgger alla på en degenererad ellps, dvs. unonen av två lnjer, och båda kamerorna på en och samma lnje. 33
x 1 x x x 3 x n x 3 x 1 c c c c x 4 Fgur.9: Krtska konfguratoner D. Tll vänster en cke degenererad ellps, och tll höger en degenererad sådan. Fyllda punkter symbolserar objektspunkter, och hålga symbolserar kameracentra..4. Krtska konfguratoner 3D I D fann v att problematska strukturen var en ellps, degenererad eller cke degenererad. Fallet med en vanlg 3D-kamera kan behandlas analogt med D-fallet, men det leder då tll en mängd delfall, som alla erhålls ur en enkel defnton: Defnton: En krtsk konfguraton 3D består av två delar:. En algebrask kurva C med två kameracentra och ett godtycklgt antal 3D-punkter. Nämnd kurva kan vara (a) en cke degenererad s.k. twsted cubc (se nedan), (grad 3), (b) en ellps (grad ), (c) en lnje (grad 1), (d) en punkt (grad ).. En sammansättnng av lnjära underrum L (lnjer eller plan) som nnehåller vlket antal 3D-punkter som helst. Kurvan och de lnjära underrummen uppfyller följande tre vllkor:. Alla lnjära underrum måste skära kurvan C.. Summan av kurvans grad och lnjära underrummens dmensoner får vara högst tre.. Förutom fallet där C är en enda punkt, får nte kamerorna lgga skärnngspunkten mellan C och de lnjära underrummen. Ovan gvna vllkor blr sex delfall som läsaren lätt kan komma fram tll på egen hand, se fgur.1. Dessa är 34
. en cke degenererad s.k. twsted cubc C (grad 3),. en ellps C (grad ) och en lnje L som skär ellpsen (grad 1),. en lnje C (grad 1) och upp tll två lnjer L (sammanlagd grad ) som skär den första lnjen, v. en lnje C (grad 1) och ett plan L (grad ), v. en punkt C (grad ) och upp tll tre lnjer L (sammanlagd grad 3) där punkten ngår alla dessa, v. en punkt C (grad ) och en lnje samt ett plan L (sammanlagd grad 3) där punkten ngår båda dessa.... v. v. v. Fgur.1: Defntonen av krtska konfguratoner kan delas upp sex delfall. Fyllda punkter symbolserar objektspunkter, och hålga symbolserar kameracentra. Plan är gråa. Delfall med Twsted Cubc Ovan har det blvt tydlgt att en krtsk konfguraton består av dels en kurva C av grad 3 och en samlng lnjära underrum L, där alla underrum skär kurvan och där graden av C U L är högst tre. I fallet att kurvan ensam är av grad tre vet v att det är en twsted cubc och att punkter och kameror på den utgör krtska konfguratoner. Nedan defneras formen fullständgt, men läsaren hänvsas tll [11,18] för fler llustratoner och egenskaper. Ett kägelsntt det tvådmensonella projektva planet kan beskrvas som en kurva parameterform enlgt 35
36 + + + + + + = = 33 3 31 3 1 13 1 11 3 1 1 a a a a a a a a a x x x A, (.89) där A är en ckesngulär 33-matrs. På ett analogt sätt kan en twsted cubc beskrvas som en kurva parameterform det tredmensonella projektva rummet som + + + + + + + + + + + + = = 3 44 43 4 41 3 34 33 3 31 3 4 3 1 3 14 13 1 11 3 4 3 1 1 a a a a a a a a a a a a a a a a x x x x A, (.9) där A är en ckesngulär 44-matrs. Kurvans form rummet kan uppnås genom att först rta ut en parabel xy-planet och sedan böja tll dess ändar z-axelns rktnng, så att den projceras på xz-planet som en tredjegradskurva. Alternatvt kan man se det som en skärnng mellan två plan en andragrads- och en tredjegradskurva rummet. Med följande plan erhålls en utmärkt twsted cubc, se fgur.11: 3 x y x z = = (.91) Fgur.11: En twsted cubc är en krtsk konfguraton och kan fås som skärnngen mellan en andragrads- och en tredjegradskurva, båda tre dmensoner.