7 SIGNALER I TRE DIMENSIONER 7.1 Tredimensionell signalbehandling Endimensionell signalteori och signalbehandling är möjlig att utvidga inte bara till tvådimensionella signaler och funktioner utan i princip till vilken mångdimensionell värld som helst. Eftersom vår egen är rumsligt tredimensionell finns det gott om naturliga fenomen som låter sig avbildas som tredimensionella funktioner f(x,y,z). Dessa utgör den direkta 3D-motsvarigheten till de 2D-funktioner, bilder, som varit huvudintresset i tidigare kapitel. Vi noterar att vad som ofta kallas 3D-bilder inte är annat än 2D-projektioner av ett tredimensionellt rum. Vanliga fotografier av tredimensionella scener hör hit. Ibland betecknas dessa bilder som 2 1/2-dimensionella, men den intensitetsfunktion f(x,y) som finns att tillgå är trots allt rent tvådimensionell. Av denna orsak kommer vi att för riktiga 3D-bilder, funktioner av typen f(x,y,z), ibland använda beteckningen volymer eller t o m 3D-volymer. Övergången från 2D till 3D sker alltså under observation av bl a nedanstående motsvarigheter. 2D f(x,y) pixel bild intensitet 3D f(x,y,z) voxel volym densitet Ordet voxel är en parafras på pixel. Densitet synes i 3D-fallet vara lämpligare än intensitet eftersom ett signalvärde f(x,y,z), i motsats till f(x,y), inte kan nå våra ögon som ljusintensitet. Däremot kan man möjligen föreställa sig att man med känseln kan uppleva f(x,y,z) som en täthetsfunktion. Problemet att se in i en täthetsvolym behandlas i nästa avsnitt. Som bekant framställes ofta vårt universum som fyrdimensionellt med tiden som den fjärde variabeln. Signaler av typen f(x,y,z,t) borde därmed vara den fullständiga modellen för ett dynamiskt skeende. I vissa medicinska sammanhang, t ex när man vill registrera det totala beteendet av ett slående hjärta är sådana fyrdimensionella signaler aktuella. I detta kapitel nöjer vi oss emellertid med att behandla 3D-volymer som stillbilder, avbildningar av en frusen natur, alternativt ett snap-shot av ett skeende. Tiden som varia- 167
168 Bildanalys bel uppträder emellertid i avsnitt 7.3 där vi behandlar bildsekvenser, dvs signalvolymer av typen f(x,y,t). Vårt eget synsinne är väl utvecklat för att analysera och känna igen mönster i stillbilder men minst lika slående är vår förmåga att extrahera meningsfull information ur den mäktiga ström (sekvens) av bilder som flyter in via vår näthinna. Bilduppfångande instrument för 3D, dvs med förmåga att generera data av typen f(x,y,z) har framtagits i ökande utsträckning under det senaste decenniet. Bland dessa märks framför allt - Datortomografer, (CT) (röntgen) - Magnetkameror, (MR) (kärnspinnresonans) - Ultraljudskameror - Konfokala mikroskop - Transmissionselektronmikroskop med tomografi - Gammakameror med tomografi - Mekanisk snittning följt av fotografering av olika preparat inom biologi och materialteknik Flera av de ovanstående metoderna kräver sofistikerade rekonstruktionsmetoder, vilket är ämnet för ett senare kapitel. Orsaken är att täthetsfunktionen f(x,y,z), eller f(x,y) om problemet framställs som tvådimensionellt, inte kan detekteras direkt av det mätande instrumentet. Mätvärdena representerar istället linjärsummor av f(x,y)-värden. Dessa önskade utresultat kan emellertid beräknas ur de primära mätvärdena med någon form av inversionsförfarande. Resultatet av bilduppfångningen (och ev. rekonstruktion) är ett antal plan av tvådimensionellt organiserade voxel, en skiva (slice), vilka sammanställes till en volym (stack of slices). Se Fig. 7.1. Varje skiva, eller för den delen ett plan av voxelvärden i godtycklig orientering, är naturligtvis presenterbar som en 2D-bild. En intensitetsbild av en skiva visas i Fig. 7.1. I Fig. 7.1 visas också ett stereopar. De båda bilderna har vardera 256x256 pixel och har åstadkommits genom att integrera voxelvärden i en volym utefter 256x256 parallella horisontella synstrålar. Riktningen av de parallella strålarna har en divergens på ca 8. Bilderna är gjorda för att ses med korsande blick. Detta sätt är betydligt lättare att använda för stereoseende (dvs få ögonen att betrakta var sin bild) än det vanligen rekommenderade sättet vilket är att försöka få vänster öga att låsa på vänster bild och höger öga på höger bild. För att se i stereo, gör så här: Titta på stereoparet på ca 30 cm:s avstånd. Håll gärna ett finger mellan dina ögon och stereoparet som hjälp för att korsa blicken. Efter en stund ser du tre suddiga bilder av nervcellen Koncentrera dig då på den mittersta och försök få den så skarp och stadig som möjligt. Förhoppningsvis ser du nu i stereo!
Kapitel 7. Signaler i tre dimensioner 169 Fig. 7.1 Tredimensionell datavolym med skiva och voxel. Stereoparet är två genomlysningsprojektioner av en volym från ett konfokalt mikroskop och föreställer en nervcell från ett nejonöga. I nervcellen ligger cellkärnan och dendritutskotten i stort sett i samma plan men från detta avlägsnar sig axonen nära nog i normalens riktning. Fouriertransform, linjär filtrering, faltning och korrelation är på ett rättframt sätt generaliserbara till 3D-signaler. Den tredimensionella Fouriertransformen F(u, v, w) av f(x,y,z) definieras med följande samband F(u, v, w) f (x, y, z) e j2 (ux vy wz) dxdydz och är liksom den tvådimensionella motsvarigheten separerbar och möjlig att omforma till diskret variant, dvs 3D DFT, vilken i sin tur kan beräknas med FFT. Vi kommer att nyttja Fouriertransformen ytterst sparsamt i detta kapitel. Deriverande operatorer av första graden är naturligtvis tre till antalet. Sobelliknande varianter av sådana derivatorer visas i Fig. 7.2. Liksom i två dimensioner är det arbetsbesparande att använda separerbara faltningskärnor.
170 Bildanalys x g x (1 p 2 )(1 q) 2 (1 r) 2 2 x 2 g xx g x g x 2 x y g xy g x g y 2 g xx g yy g zz Fig. 7.2 Faltningskärnor för approximativa 3D-derivatorer. I själva verket betalar sig separerbarheten ännu bättre än i 2D-fallet. Se Tabell 9.1. I samtliga fall åsyftas perfekt separerbara operatorer av generaliserad Sobeltyp. Alla koefficienter utom 1, 0, 1 antages kräva en multiplikation, alla utom 0 kräver en addition. Det bör observeras att om flera närbesläktade kärnor appliceras på samma bild blir vinsten vid separation av kärnorna ännu större. Ett sådant fall visas av Fig. 7.3. Faltningskärnorna är av storleken 3x3x3, vilket kräver ett minimum av två bildfördröjare i pipe-line-implementeringen.
Kapitel 7. Signaler i tre dimensioner 171 Fig. 7.3 Pipe-line-implementering av tre st tredimensionella Sobeloperatorer. Tre typer av fördröjningselement användes: bildfördröjare (B), linjefördröjare (L) samt pixelfördröjare (d). Operatorbe- teckning Typ av kärna Antal op utan separation MUL ADD ADD g x 3x3 2 5 4 g xx 5x5 10 13 8 g x 3x3x3 10 17 6 g xy 5x5x5 72 79 12 Antal op med separation Polygonrepresentationen för 3D-filter kräver tre variabler p, q, r för signalstorheterna x,y, z respektive. Fig. 7.4 Tre olika definitioner på konnektivitet ger tre olika metriker. Binära bilder introducerar konnektivitetsproblem som är avsevärt mera komplicerade än i 2D-fallet. Se Fig. 7.4. Beroende på om man såsom förbundenhet accepterar angrän-
172 Bildanalys sande sida, sida eller kant, sida eller kant eller hörn, så får man en omgivning som består av 6, 18 respektive 26 voxel. De tre definitionerna resulterar i tre olika metriker och tre olika sätt att utföra de elementära operationerna för krympning och expansion. Liksom vid oktagonal krympning/spridning i 2D-fallet kan hygglig isometri (approximativt Euklidisk metrik) åstadkommas genom att växla mellan de tre metrikerna under ett upprepat krympnings- eller spridningsförlopp. Avståndskartor produceras på i princip samma sätt som för 2D-fallet. Den rekursiva propageringen för exempelvis fallet d (6) -metrik sker med två motriktade volymskan enligt Fig. 7.5. Fig. 7.5 Avståndskartering i 3D. Rekursiva operatorer för d (6) -, d (18) - eller d (26) -metrik kräver två volymskan. Fig. 7.6 Rekursiva propagerande omgivningsoperatorer för Euklidisk avståndskartering i 3D. Euklidisk avståndskartering sker med hjälp av en tredimensionell avståndsvektor (u,v,w) i varje voxel, dvs u(x,y,z) v(x,y,z) w(x,y,z) ger en pekare till närmsta voxel av motsatt fas och dess position är (x u, y v, z w) Den Euklidiska avståndskarteringen sker med fyra volymskan som med d (26) -omgivning får utseendet enligt Fig. 7.6 (efter Ragnemalm [7.1]).
Kapitel 7. Signaler i tre dimensioner 173 Praktiskt taget alla de användningar som anförts i kapitel 3 för morfologiska operationer och avståndskartor är direkt överförbara till 3D-volymer. Detta är emellertid knappast fallet för operationer av typ tunning och andra konnektivitetsbevarande operationer. Orsaken är att tredimensionella topologier och konnektivitetsbegrepp är långt mer svårfångade än det relativt triviala 2D-fallet. Sålunda är begreppet hål i objekt helt klart och självförklarande i 2D-fallet medan man i 3D-fallet måste skilja på den typ av hål som av en konvex kropp skapar en torus och det hål eller blåsa av typ konkavitet som är helt inneslutet i ett objekt. Några väldefinierade, enkla och tillförlitliga tunningsoperationer för 3D-volymer har ännu inte framtagits. Segmenteringsalgoritmer av den typ som beskrevs ovan i Fig. 3.43 går bra att anpassa till 3D. I första volymskannet då man gör den primära etiketteringen kan man välja att propagera etiketten med ett enda skan i varje slice (identiskt med Fig. 7.5) eller att dessutom också göra ett motriktat skan för att eliminera flera fall av dubblerad etikettering av samma objekt. Konturföljning i 2D motsvaras i 3D-fallet av ytföljning men motsvarigheten till 2D kedjekodning väntar fortfarande på sin uppfinnare. 7.2 Presentationsproblemet Som inledningsvis antytts kan man egentligen inte se en 3D-funktion f(x,y, z); på näthinnan fastnar, hur vi än gör, en 2D-funktion. För att visualisera 3D-funktioner måste vi därför utföra 2D-avbildningar, projektioner i vid mening av densamma. Den första typen av sådana avbildningar som vi ska behandla är egentliga projektioner, projektioner i matematisk mening, även kallade genomlysningsprojektioner. Se Fig. 7.7. För enkelhets skull låter vi projektionsstrålarna löpa parallellt med z-axeln och generera pixel i xy-planet. Genom en volym av NxNxN voxel löper NxN projektionstrålar och bildar var och en en voxelsumma (linjeintegral) q(x,y) enligt (7.1). q(x,y) är därmed (parallell)-projektionen av f(x,y,z) och kan om så önskas presenteras direkt på bildskärm för observation. Bilden q(x,y) har hög intensitet där projektionsstrålen passerat voxel med hög täthet. N 1 q(x, y) f (x, y, z) (7.1) z 0
174 Bildanalys q(x.y) Fig. 7.7 Projektionsstråle genom en volym genererar en pixel i projektionsbilden. Erfarenheten visar att en betydligt bättre visualisering erhålles om vi före presentationen översätter det primärt erhållna projektionsvärdet q(x,y) till p(x,y) på sätt som definieras av (7.2). p(x, y) 1 e q(x, y) (7.2) är här en parameter som kan anpassas till omständigheterna. Fig. 7.8 visar några kurvor som beskriver avbildningen (7.2). Den för visualiseringen gynnsamma effekten består i att p(x,y) endast asymptotiskt närmar sig 1 = full utstyrning för stora q(x,y) medan redan små q-värden 0 ger märkbar kontrast i bilden p(x,y). Fig. 7.8 Pixelvärde p som funktion av projektionsvärde q. Rotation av volymen eller snarare intrycket av rotation erhålles genom att variera projektionsstrålarnas riktning. Se Fig. 7.9. En sekvens av parallellprojektioner med varje projektion upptagen med en viss vinkelskillnad i förhållande till den närmast föregående visas i följd på skärmen. Intrycket blir att volymen roterar. Beräkningen av en voxelsumma (linjeintegral) utefter sneda projektionsstrålar är identisk med att beräkna den roterade bilden med omsampling och därefter summera radvis (eller kolumnvis) vilket illustreras av Fig. 7.10.
Kapitel 7. Signaler i tre dimensioner 175 Fig. 7.9 skall förstås på följande sätt. Ur volymen beräknas (förberäknas) en sekvens av projektioner för olika vinklar med ca 1 vinkelskillnad. Rotationseffekt erhålles genom att till bildskärm leverera en successiv följd av dessa projektioner för presentation. Stereoeffekt erhålles med polariseringsteknik som låter vänster och höger öga hos betraktaren se två olika projektioner tagna med ca 8 vinkelskillnad. Ögonen matchar olika strukturer i sina två bilder, t ex A och B i Fig. 7.11. Hjärnan uppfattar att parallaxvinkeln, dvs den skillnad mellan ögonens vinkelinställning som krävs för att matcha A 1 -A 2 är större än vinkeln som krävs för att matcha B 1 -B 2. Hjärnan förlägger därför A hitom B i sin 3D-rekonstruktion. Fig. 7.9 Kombinerad rotation- och stereoeffekt med projektionsvisning. Fig. 7.10 Integrering längs parallella linjer är ekv. med rotation och radsummering.
176 Bildanalys Fig. 7.11 Stereoseende upplevs genom inmätning av ögonparallax. Den stereopresentation som illustreras i Fig. 7.9 går tyvärr inte att erbjuda läsaren av dessa rader. Ett mindre sofistikerat sätt är att visa de två bilderna bredvid varandra såsom illustrerades redan i Fig. 7.1. Tröskelsättning av en 3D-volym resulterar liksom i 2D-fallet i binära voxelvärden. Översatt till täthet motsvaras objekten lämpligen av ogenomskinliga voxel, bakgrunden av transparenta. Den binära volymen b(x, y, z) [f (x, y, z) T] (7.3) är därmed inte olik vad vi normalt kan finna omkring oss i vår dagliga tillvaro. Presentationen, visualiseringen av en sådan värld är som bekant beroende av belysning och reflektivitet. Fig. 7.12 visar överst två djupkodade bilder, vilka erhållits på följande sätt. Se återigen Fig. 7.7. Parallella projektionsstrålar sänds genom volymen. Istället för att som i Fig. 7.7 summera påträffade voxelvärden utför man jämförelsen (7.3) tills densiteten > T påträffas. I pseudokod kan detta uttryckas med (7.4). För varje projektionsstråle (x,y) startar man med z=n 1 och stegar sedan z nedåt så länge (7.3) inte är uppfyllt. För alla (x, y) (0, 0),, (N 1, N 1) z : 0 Z(x, y) : N 1 Repetera Z(x, y) : Z(x, y) 1 z : z 1 så länge (f (x, y, z) T) (7.4) Resultatet blir därmed en djupkodad projektionsbild Z(x,y) där intensiteten är hög för objektvoxel som ligger nära betraktaren (åt höger i Fig. 7.7), låg för voxel som ligger
Kapitel 7. Signaler i tre dimensioner 177 längre bort. Den visuella effekten är ungefär som om objekten glöder med en intensitet som avtar med avståndet. a) b) c) Fig. 7.12 3D-volym av människohuvud presenterad med a) djupkodning och b), c) skuggade ytor. Bilderna till vänster är framtagna ur volymen med en tröskel T 1 och de till höger med en högre tröskel T 2 där T 1 < T 2. Tröskeln T 1 diskriminerar mellan luft och allt annat material, tröskeln T 2 mellan ben och mjukdelar. En binär bildvolym med rymden indelad i objektvoxel (volympunkter inuti objektet) och bakgrundsvoxel (volympunkter utanför objektet) är den typ av 3D-värld som produceras med ständigt stigande sofistikeringsgrad inom området datorgrafik. Den visuella presentationen kan drivas till mycket hög grad av realism men det är ett ämne som faller utanför ramen av denna framställning. En relativt enkel och rättfram metod för att förbättra presentationen jämfört med den enkla djupkodningen är att presentera varje ytelement av objektet med den ljusintensitet den skulle få om en punktformig ljuskälla belyste scenen. Se Fig. 7.12 och Fig. 7.13. Tekniken brukar benämnas skuggade ytor.
178 Bildanalys Maximalt ljus speglas in i ögat (dvs skall tilldelas den punkt på bildskärmen där ytelementet avbildas) om vinkeln =0. Normalens riktning och ljuskällans vinkel bestämmer vinklarna och enligt (7.5) 2 (7.5) Man brukar skilja på en ytas diffusreflekterande förmåga, koefficienten R d, och dess spegelreflekterande förmåga, koefficienten R s. Den s k Phongs formel för den totala ljusintensitet I som i Fig. 7.13 lämnar ytelementet i horisontal riktning lyder som följer I I 0 Rd cos R s cos n (7.6) Här är I 0 infallande intensitet och n en parameter som anger graden av perfekt spegling för R s -egenskapen. Bilderna i mitten av Fig. 7.12 är framtagna med en förenklad variant av (7.6) där R s =0 och i ett fall där =0, dvs där belysningskällan är placerad i samma riktning som betraktaren som i Fig. 7.13 b). a) b) Fig. 7.13 När en punktkälla belyser ett objekt är den observerade ljusintensiteten beroende av ytnormalens riktning och spegelvinkeln. Spegelvinkeln blir då 2 och formeln (7.6) förenklas till I I 0 Rd cos R s cos n 2 (7.7) och vinkeln = är den vinkel normalen bildar med betraktelseriktningen. De två nedersta bilderna i Fig. 7.12 har beräknats med (7.7) och n=5. För att uppnå den relativt höga kvalitet som bilderna i Fig. 7.12 uppvisar måste man beräkna vinkeln med stor omsorg. Ett enkelt sätt som inte fungerar visas i Fig. 7.14. Här visas hur normalens riktning varierar i ett vertikalt snitt genom ytan om en från höger, i synriktningens djupled applicerad 3x3 Sobel operator skulle användas för att beräkna ytans lutning. På längre plana partier (4, 5, 6 och 9, 10) pekar normalen mot betraktaren, i skarven (7, 8) lutar den. Resultatet blir de falska konturer som sfären i Fig. 7.15 a) uppvisar. Betydligt bättre är resultatet i Fig. 7.15 b) där ytans lutning har beräknats ur 3D-gradienten i den icke-tröskelsatta täthetsvolymen. Storheten cos i (7.6) och som hänför sig till situationen i Fig. 7.13 b) beräknas enligt cos f z (7.8) f 2 x f2 y f 2 z