Bildtillämpningar av flervariabelanalys. Supplement till Persson Böiers, Analys i flera variabler

Transkript

1 Bildtillämpningar av flervariabelanalys Supplement till Persson Böiers, Analys i flera variabler Matematik, LTH, 6 oktober 2006 Rikard Berthilsson Gunnar Sparr

2 2

3 Innehåll 0 Förord 5 Funktioner av flera variabler 7.7 Representation av bilder Differentialkalkyl för reellvärda funktioner 2. Partiella derivator Gradient och riktningsderivata Partiella derivator av högre ordning Laplaceoperatorn Optiskt flöde (kursivt) Värmeledning i bilder (kursivt) Diskretisering. Digitala bilder Derivering i digitala bilder Interpolation i bilder Differentialkalkyl för vektorvärda funktioner Linjära, affina och projektiva avbildningar. Kameramodell Linjära avbildningar Affina avbildningar Projektiva avbildningar D-modeller Optimering Rekonstruktion av scen Kalibrerade stereopar Användning av integraler Filtrering av bilder Diskreta fallet

4 4 INNEHÅLL Kontinuerliga fallet Bildkomprimering

5 Kapitel 0 Förord Otaliga fenomen inom teknik- och naturvetenskap utnyttjar flervariabelanalys för beskrivning och analys. Många sådana exempel, ofta av fysikalisk natur, diskuteras i Persson Böiers, Analys i flera variabler. Föreliggande kompendium bidrar med exempel i en annan riktning, mot bildbehandling, vilket kan vara av speciellt intresse för datorinriktade utbildningsprogram. Syftet med kompendiet är tvåfaldigt, dels att konkretisera de matematiska begreppen i kursen, såsom partiell derivata, gradient och integral med hjälp av bilder, och dels att påvisa begreppens användbarhet och kraftfullhet i specifika bildbehandlingstillämpningar. Inga ytterligare förkunskaper krävs utöver de som gäller för den vanliga kursen i flerdimensionell analys. Vi använder samma kapitelindelning som i läroboken Persson Böiers, nedan förkortad (P-B). Vid hänvisningar där tvetydighet kan uppstå låter vi ett S framför ange att det är supplementet som avses, tex kap S... Supplementet är tänkt att läsas parallellt med motsvarande avsnitt i (P - B). Det finns också en del helt nya avsnitt, där numreringen anger lämplig placering i kursen. Författarna vill passa på att tacka Fredrik Kahl, Henrik Malm, Sven Spanne och Kalle Åström för att ha hjälpt till med detta kompendium. 5

6 6 KAPITEL 0. FÖRORD

7 Kapitel Funktioner av flera variabler.7 Representation av bilder I (P-B) avsnitt.4 beskrivs allmänna funktioner R n till R p, med åskådliga geometriska tolkningar som ytor och kurvor då n och p är lika med, 2 eller 3. Här beskrivs nu ytterligare ett sätt att visualisera en funktion, som en gråskalebild. I vardagslag skiljer man ofta på två typer av bilder, svartvita och färg. I det första fallet talar man också om gråskalebilder, där det av namnet framgår att i bilden förekommer en skala av gråtoner. Gråtonen kan representeras av ett talvärde i något intervall [a,b] R, där höga värden brukar betyda hög ljusintensitet, dvs ljusa punkter, och låga värden mörka punkter. Ofta arbetar man med intervallet [0,] eller [0,255] (se nedan). Bilden antas täcka ett ett område D i planet, vanligen en rektangel. Vi börjar med att ge en formell definition av detta. Definition.7.. Låt D R 2 och låt [a,b] R. En gråskalebild beskrivs av en funktion f : D [a,b]. y 000 D f a x Vanligtvis låter vi x-axeln peka nedåt och y-axeln peka åt höger när det gäller bilder. Detta val av koordinatsystem kommer av att det är det man använder för att 7 R b

8 8 KAPITEL. FUNKTIONER AV FLERA VARIABLER ange element i matriser. Som vi senare ska se så tolkas ofta digitala bilder just som matriser. I figur., till vänster, visas en bild på det sätt vi vanligen uppfattar den. Till höger visas motsvarande funktionsyta. För bilder talar man ofta om grånivålandskap i stället för funktionsyta Figur.: Vanlig bild och bild som funktionsyta. Ett specialfall är att det förekommer bara två gråtoner, så att funktionens värdemängd består av två punkter a och b. Bilden sägs i så fall vara binär, se figur 2.3. Observera ovan att funktionen f för bilder ofta inte är kontinuerlig, mörka och ljusa områden gränsar ofta skarpt mot varandra. Gränskurvan kallas en kant. En sådan bild kan ändå ofta approximeras med en kontinuerlig funktion, där man har en kontinuerlig övergång av gråtoner i ett område kring kanten. På sidan 7 i (P B) introduceras begreppet nivåkurvor för att ge en uppfattning om utseendet av en funktion i två variabler. Samma sak är också tillämplig på bilder. Figur.2 visar en bild och dess nivåkurvor. Vi ser att nivåkurvorna ligger tätare där intensiteten ändrar sig mycket medan de saknas i områden med liten variation i intensitet. Anmärkning. Ovan har vi bara talat om bilder representerade av funktioner definierade på tex en rektangel D i planet, och med värden i ett intervall [a,b]. För att arbeta med bilder i dator måste man gå över till en digital representation, och ersätta såväl D som [a,b] ovan med diskreta punktmängder. Mer om detta i avsnitt S.2.8. Anmärkning. För att representera färgbilder har man tagit inspiration av hur det mänskliga ögat fungerar. I ögat finns tre olika typer av sensorer som registrerar färg, så kallade tappar. De tre olika typerna registrerar primärfärgerna rött, grönt eller blått. Några andra färger kan vi egentligen inte uppfatta, utan sinnesintrycket av olika färger uppkommer som blandningar av dessa tre grundfärger. Det betyder

9 .7. REPRESENTATION AV BILDER Figur.2: Originalbild och dess grånivåer. att det räcker att använda sig av tre färger i en dator. I en vanlig färg-tv finns också bara dessa tre färger, rött, grönt och blått. Detta sätt att representera färg kallas RGB-kodning. Matematiskt definierar vi en bild enligt RGB-kodningen som en funktion f = (f,f 2,f 3 ) : D R 3 där mängden D är som ovan och varje f j : D R, j =,2,3, är en gråskalebild enligt ovan.

10 0 KAPITEL. FUNKTIONER AV FLERA VARIABLER

11 Kapitel 2 Differentialkalkyl för reellvärda funktioner 2. Partiella derivator I (P-B) sid 38 illustreras betydelsen av partiell derivata med en figur av en funktionsyta. För bilder tänker vi oss som vanligt funktionsytan som ett grånivålandskap. Vi ser att ett stort värde av f x i en viss punkt betyder att grånivåerna varierar mycket i x-led i en omgivning av punkten. Ofta indikerar detta en kant med horisontal utsträckning i bilden. På samma sätt betyder ett stort värde av f y en kant med vertikal utsträckning. I figur 2. framgår hur de olika partiella derivatorna framhäver lodräta och vertikala kanter. Partiella derivator i gråskalebilder kan alltså användas för att detektera vågräta och lodräta kanter. 2.4 Gradient och riktningsderivata Tillägg om kantdetektering I föregående avsnitt 2. påpekade och illustrerade vi att partiella derivator f x och f y var för sig kan användas för att detektera vågräta resp lodräta kanter i gråskalebilder. Detta skall nu generaliseras till kanter med godtycklig riktning. Från (P-B), sidan 66, vet vi att riktningsderivatan för en funktion f : R n R, i en godtycklig riktning v R n, där v =, är f v(a) = gradf(a) v.

12 2KAPITEL 2. DIFFERENTIALKALKYL FÖR REELLVÄRDA FUNKTIONER Figur 2.: Partiell derivata i horisontell led (höger). ( f y ) 2 ( ) 2 (vänster) och vertikal led f x Enligt (P-B) Sats 7, sid 67, gäller att gradf(a) pekar i den riktning i vilken f växer snabbast i punkten a, och att mätetalet på den maximala tillväxten är gradf(a). Enligt (P-B) Sats 8, sid 69, är gradf(a) normalvektor i a till den nivåkurva för f som går genom a. Ur detta ser vi att ett stort värde på gradf(a) indikerar en kantpunkt och att kanten har en (approximativ) normalriktning gradf(a). Genom att använda gradienten kan vi alltså detektera kanter i godtycklig riktning. Figur 2.2 visar en gråskalebild f och en gråskalebild av funktionen gradf(x,y) 2 = f x (x,y)2 + f y (x,y) Figur 2.2: Originalbild f och bilden gradf 2. En bild av enbart kantpunkter kan fås genom en så kallad tröskling av gradf(x,y) 2,

13 2.5. PARTIELLA DERIVATOR AV HÖGRE ORDNING 3 genom att man skapar bilden g(x,y) = där c är en förbestämd konstant, se figur 2.3. { 0, gradf(x,y) 2 < c, gradf(x,y) 2 c Figur 2.3: Binär bild g(x,y) från gradient. En diskussion av kanter och motsvarigheten till derivering för digitala bilder kommer i avsnitt S Partiella derivator av högre ordning Det finns också behov av derivator av högre ordning inom bildbehandling. Dessa kan liksom gradienten användas för att framhäva vissa delar av en bild som tex kanter och hörn. De dyker också upp i vissa differentialekvationer med relevans för bildbehandling. Några exempel ges nedan Laplaceoperatorn I den binära bilden 2.3 markerades alla punkter där gradf 2 c som vita och resten svarta. De vita punkterna tolkas som kantpunkter. De utgör ett helt band i bilden, med en viss tjocklek. Man vill ofta representera kanten som en kurva, och då uppkommer frågan hur den skall definieras. Vi börjar med en bild som bara har variation i en ledd, figur 2.4. I figur 2.5 till vänster visas motsvarande grånivåprofil y f(0, y), och till höger dess derivata y f y(0,y). Ett naturligt sätt att välja den punkt som man vill skall representera kanten är som maximipunkten för absolutbeloppet av derivatan (dvs den punkt där funktionen växer snabbast). Sådana punkter kännetecknas av att f yy(x,y) = 0, och

14 4KAPITEL 2. DIFFERENTIALKALKYL FÖR REELLVÄRDA FUNKTIONER Figur 2.4: Diffus kant Figur 2.5: Grånivåprofil, y f(0,y) och y f y (0,y). kallas inflexionspuntkter. Funktionen x f(x, y) är konstant vilket ger att även f xx(x,y) = 0 så att summan f xx(x,y) + f yy(x,y) = 0. Detta gällde en speciell typ av bilder, med en lodrät kant. På samma sätt behandlas vågräta kanter, med hjälp av f xx(x,y) = 0. Även här gäller att summan f xx (x,y) + f yy (x,y) = 0. Vad motsvaras detta av för kanter med andra riktningar? Ett naturligt krav är att den detekterade kanten i bilden inte är beroende av vilket koordinatsystem man använder. Om man gör ett ortogonalt koordinatbyte { u = ax by v = bx + ay, a2 + b 2 = så skall man få samma kant i (u,v)-koordinaterna som i (x,y)-koordinaterna. Det visar sig att 2 f x f y 2 = 2 f u f v 2.

15 2.5. PARTIELLA DERIVATOR AV HÖGRE ORDNING 5 Den kombination av andraderivator som dyker upp här är en av de vanligast förekommande i olika tillämpningar. Många fysikaliska fenomen beskrivs av ekvationer där sådana uttryck ingår, tex värmeledning och vågrörelser. Det är intressant att se att samma uttryck även dyker upp inom bildbehandling. Uttrycket har ett särskilt namn. Definition Laplaceoperatorn verkande på funktionen f : R 2 R definieras av f = 2 f x f y 2. Det följer alltså att Laplaceoperatorn är oberoende av ortogonala variabelbyten. Detta gör att den kan användas för att detektera kanter i en godtycklig riktning på samma sätt som f xx (x,y) och f yy (x,y) för lodräta resp vågräta kanter. Kantpunkterna kännetecknas alltså av att f = 0. Vanligtvis används gradienten enligt avsnitt S2.4, men Laplaceoperatorn fungerar ibland bättre för att detektera kanter i bilder som har diffusa kanter Optiskt flöde (kursivt) Låt f(x,y,t) : D R R vara en bild som beror av tiden t R, där f(x,y,t) är intensiteten för bilden i punkten (x, y) D vid tiden t. Om f är bilder av en scen som ändras med tiden så kommer också bilden f att vanligtvis ändras med tiden. Det finns dock undantag. Tänk dig till exempel en perfekt enfärgad sfär som roterar. Bilden av den kommer att bli densamma för varje tidpunkt t. Låt δt vara ett litet tidsinterval. Vi söker en funktion så att g(x,y) = (u(x,y),v(x,y)) R 2 R 2 f(x + uδt,y + vδt,t + δt) = f(x,y,t) + δt B(δt), där B(δt) 0 när δt 0. Funktionen g som löser ekvationen ovan kallas optiskt flöde. Antag att f är differentierbar. Då följer att f(x + uδt,y + vδt,t + δt) = f(x,y,t) + f x uδt + f y vδt + f t δt + δt B(δt), vilket ger f x uδt + f y vδt + f t δt = δt B(δt).

16 6KAPITEL 2. DIFFERENTIALKALKYL FÖR REELLVÄRDA FUNKTIONER Genom division med δt och sen låta δt 0 så följer att det optiska flödet är lösning till f x u + f y v + f t = 0. För varje tidpunkt t ges det optiska flödet i varje punkt (x, y) som lösningen till ett linjärt ekvationssystem med två obekanta och en ekvation. Entydig lösning existerar alltså inte. För att få entydighet så ställer man ofta ytterligare krav på det optiska flödet. Vi gör detta genom att begränsa storleken på grad u och grad v, dvs antar att u och v inte varierar alltför kraftigt. Detta sker genom att sådana variationer straffas, genom att man definierar det optiska flödet som lösningen till optimeringsproblemet min u,v ( grad u 2 + grad v 2 )dxdy + λ (f x u + f y v + f t ) 2 dxdy där λ > 0 är en förvald konstant. Optimeringsproblemet ovan kan lösas med s.k. variationskalkyl och ligger utanför ramen för denna kurs. Det visar sig att problemet kan omformuleras som lösningen till u = λ(f x u + f y v + f t )f x och v = λ(f x u + f y v + f t )f y. Här känner vi igen operatorn som Laplaceoperatorn från föregående avsnitt Värmeledning i bilder (kursivt) Värmeledning i ett plan kan approximativt modelleras matematiskt som lösningen f(x, y, t) till differentialekvationen f t c f = 0, t > 0,c > 0, med något startvärde f(x,y,0). Funktionen f(x,y,t) beskriver temperaturen i punkten (x, y) vid tidpunkten t. Tolka nu intensiteten i en gråskalebild som temperatur, låt f(x,y,0) vara originalbilden och låt f(x,y,t), t > 0 vara bilden vid tiden t, då värmen i bilden har fått sprida sig. I takt med att värmen sprider sig ger detta en utjämning av den ursprungliga bilden som blir jämnare med större värden på t. Man kan även låta c vara en funktion c(x,y). Genom att välja c(x,y) klokt kan man få önskade effekter vid utjämningen. I figur 2.6 har utjämningen varit mindre över kanter än längs med, vilket har resulterat i att kanterna bevarats.

17 2.8. DISKRETISERING. DIGITALA BILDER 7 Figur 2.6: Originalbild av tumavtryck f(x, y, 0) och bilden f(x, y, t), t > Diskretisering. Digitala bilder När som ovan definitionsmängden utgörs av en rektangel D talar vi om kontinuerliga bilder, även om funktionen f inte är kontinuerlig. y 000 D x f a För att representera en bild i en dator måste man göra en diskretisering, såväl av a) definitionsmängd som b) värdemängd. Detta kan ske på följande sätt: R b a) Definitionsmängd: Dela in området D i delområden, tex rektanglar R ik, i =,...,m, k =,...,m. Låt p ik vara centrumpunkten i R ik. Dessa punkter bildar ett punktgitter. Bestäm för varje delområde R ik medelvärdet av grånivåerna, och beteckna detta med f ik. Detta kallas sampling av den kontinuerliga bilden.

18 8KAPITEL 2. DIFFERENTIALKALKYL FÖR REELLVÄRDA FUNKTIONER y m x m Den samplade bilden representeras naturligt av en matris f, f,2... f,m f 2, f 2,2... f 2,m f(x,y) (2.) f m, f m,2... f m,m Observera att i matrisrepresentationer är det praktiskt att låta x-axeln pekar nedåt och y-axeln åt höger. b) Värdemängd: I en dator kan man bara arbeta med ett ändligt antal intensitetsnivåer, och behöver göra en diskretisering även av grånivåerna. För att förenkla hantering av digitala bilder så används ofta heltal för grånivåer, tex i intervallet [0,255] vilket ger att det räcker med en byte (8 bitar) för att lagra en pixel. Tyvärr kan detta ändå ta mycket minne i anspråk. En digitalkamera använder idag ca 4 miljoner bildpunkter per bild, dvs 4 MB för en grånivåbild och 2 MB för en RGB-bild. Samtidigt har den cirka 6 MB GB internminne. Bilden komprimeras därför. Det kan ske på många olika sätt men vanligtvis gäller att för att åstadkomma stor kompression så måste bilden förenklas på något sätt så att den kan lagras mer effektivt i en dator. Detta sker till exempel när man komprimerar en bild med jpeg-metoden som är en vanlig metod för komprimering av bilder Derivering i digitala bilder Vi utgår från den diskreta bildrepresentationen (2.). I den går det inte att beräkna partiella derivator eftersom bilden endast är definierad i gitterpunkterna. Istället approximeras partiella derivator med differenser som till exempel Oktober 2003 f x (x,y) f(x +,y) f(x,y) (2.2)

19 2.8. DISKRETISERING. DIGITALA BILDER 9 eller f x (x,y) f(x +,y) f(x,y). Vanligtvis är man inte intresserad av om man arbetar med bilden f eller cf där c > 0 är en konstant, varför vi inte dividerar med steglängden 2 i det andra exemplet. Derivatan i y-led definieras analogt. Andraderivatan kan approximeras som f x(x,y) f(x,y) 2f(x,y) + f(x +,y), vilket ger att Laplaceoperatorn kan approximeras med f(x,y) f(x,y) + f(x +,y) + f(y,x) + f(y +,x) 4f(x,y). Denna operator har en intressant egenskap, medelvärdesegenskapen. Om f = 0 i ett område D så gäller för varje punkt (x,y) att f(x,y) = (f(x,y) + f(x +,y) + f(y,x) + f(y +,x)). 4 I ord betyder detta att värdet i punkten (x,y) är medelvärde av de fyra grannarna uppåt och nedåt. Man kan visa att även den kontinuerliga Laplaceoperatorn har en liknande egenskap Interpolation i bilder Vi har ovan sett hur en bild digitalt representeras av en matris (2.). Ibland är den ursprungliga samplingen inte tillräcklig, som till exempel när en bild ska skalas om eller en del av en stor bild ska skäras ut och förstoras. Det man först kan komma att tänka på i en sådan situation är att förstora varje enskild pixel, men detta ger i allmänhet ett kantigt utseende av den inzoomade delen, se figur 2.7 och 2.8. Ett bättre alternativ fås av att interpolera bilden. Låt f vara en diskret bild definierad i punkterna (x j,y k ), j = 0,,...,m, k = 0,,...,n. Interpolering av f sker genom att man konstruerar en kontinuerlig funktion g så att g(x j,y k ) = f(x j,y k ), j = 0,,...,m, k = 0,,...,n. Vi undersöker nu en vanlig interpolationsmetod, bilinjär interpolation. Antag att gittret av punkter där bilden är samplad består av punkter med heltalskoordinater så att vi har situationen f(0,0) f(0,)... f(0,n ) f(,0) f(0,)... f(,n ) f(m,0) f(m,)... f(m,n ).

20 20KAPITEL 2. DIFFERENTIALKALKYL FÖR REELLVÄRDA FUNKTIONER Figur 2.7: Originalbild. Låt D j,k = {(x,y) j x j +, k y k + } vara det kvadratiska området med hörn i (j,k), (j,k + ), (j +,k + ), (j +,k). För att beräkna f(x,y), (x,y) D j,k så konstruerar vi nu ett 2:a ordningens polynom g j,k i D j,k så att g j,k är lika med f i gitterpunkterna, det vill säga g j,k (j,k) = f(j,k) g j,k (j +,k) = f(j +,k) g j,k (j +,k + ) = f(j +,k + ) g j,k (j,k + ) = f(j,k + ). Notera att randen av D j,k ofta har punkter som ligger i en annan mängd D j,k. För att få en jämn bild vid interpolation kräver vi därför också att g j,k och g j,k ska stämma överens på den gemensamma randen. Detta uppfylls till exempel om g j,k är en linjär funktion på varje kant av det kvadratiska området D j,k. Definiera nu l (y) = (k + y)f(j,k) + (y k)f(j,k + ) och l 2 (y) = (k + y)f(j +,k) + (y k)f(j +,k + ).)

21 2.8. DISKRETISERING. DIGITALA BILDER Figur 2.8: Förstorad del av originalbild utan interpolering. Vi ser att l (k) = f(j,k) l (k + ) = f(j,k + ) l 2 (k) = f(j +,k) l 2 (k + ) = f(j +,k + ). Med hjälp av l har vi interpolerat linjärt i y-led mellan f(j,k) och f(j,k + ), och med hjälp av l 2 mellan f(j +,k) och f(j +,k + ). Interpolera nu i x-led linjärt mellan l (y) och l 2 (y) genom g j,k (x,y) = (j + x)l (y) + (x j)l 2 (y). Vi ser att g j,k (x,y) uppfyller alla villkoren ovan. Med hjälp av denna funktion kan vi alltså interpolera fram ett funktionsvärde i varje punkt (x,y) i D j,k. Utskrivet

22 22KAPITEL 2. DIFFERENTIALKALKYL FÖR REELLVÄRDA FUNKTIONER Figur 2.9: Förstorad del av originalbild med interpolering. får vi att g j,k (x,y) = (j + x)(k + y)f(j,k) + (j + x)(y k)f(j,k + )+ +(x j)(k + y)f(j +,k) + (x j)(y k)f(j +,k + ). Notera att x g j,k (x,y 0 ) är en linjär funktion för varje y 0 och att detsamma gäller för y g j,k (x 0,y) för varje x 0. Funktioner med denna egenskap kallas bilinjära. Mera precist gäller att en funktion g(x,y) : R m+n R, där x R m och y R n, kallas bilinjär om x g(x,y 0 ) och y g(x 0,y) båda är linjära funktioner. Den vanliga skalärprodukten mellan två vektorer i R n är ett annat exempel på en bilinjär funktion.

23 Kapitel 3 Differentialkalkyl för vektorvärda funktioner 3.7 Linjära, affina och projektiva avbildningar. Kameramodell 3.7. Linjära avbildningar Från linjär algebra vet vi att en linjär avbildning F : R m R n kan skrivas med hjälp av matriser som F(x) = Ax, där x är en m matris, y = F(x) är en n matris och A är en n m matris. För linjära avbildningar gäller att F(x + y) = F(x) + F(y) (3.) och Speciellt följer att F(0) = 0. F(λx) = λf(x). (3.2) Affina avbildningar En affin avbildning F : R m R n kan skrivas med hjälp av matriser som F(x) = Ax + b, (3.3) där F(x), A och x är som ovan och b är en n matris. För en affin avbildning med b 0 så gäller ingen av de två egenskaperna (3.) och (3.2) ovan för linjära avbildningar. Speciellt är F(0) = b 0. 23

24 24KAPITEL 3. DIFFERENTIALKALKYL FÖR VEKTORVÄRDA FUNKTIONER Av formeln ser vi att en affin avbildning är sammansatt av en linjär x Ax och en translation x x + b. Exempel: Betrakta avbildningen ( y y 2 ) = ( 2 )( x x 2 ) + ( ) 2 Då gäller (0,0) (2,), (,0) (3,3) (0,) (,2), (,) (2,4) Figur 3.: Exempel på affin avbildning av fyra punkter. Vi ser att enhetskvadraten i den vänstra figuren, 3. avbildas på en parallellogram i den högra. Speciellt gäller att de räta vinklarna gått förlorade, likaså liksidigheten. Från linjär algebra vet vi att en linjär avbildning F : R n R n, y = F(x) = Ax, är bijektiv (inverterbar) om och endast om avbildningsmatrisen A är inverterbar, vilket inträffar om och endast om det A 0. Avbildingsmatrisen för den inversa avbildningen är A, dvs F (y) = A y. Härur följer Theorem En affin avbildning F : R n R n, y = F(x) = Ax + b, är bijektiv (inverterbar) om och endast om avbildningsmatrisen A är inverterbar, vilket inträffar om och endast om det A 0. Inversen ges av x = F (y) = A (y b). För bijektiva affina avbildningar F : R 2 R 2 gäller alltid att linjer avbildas på linjer, och till och med att parallella linjer avbildas på parallella linjer. På samma

25 3.7. LINJÄRA, AFFINA OCH PROJEKTIVA AVBILDNINGAR. KAMERAMODELL25 sätt gäller för bijektiva affina avbildningar F : R 3 R 3 att plan avbildas på plan, och till och med att parallella plan avbildas på parallella plan. Motsvarigheter gäller även i högre dimensioner, men det kommer inte att utnyttjas här. Vi gör till sist en observation som möjliggör ett annat sätt att skriva affina avbildningar. Vi börjar med fallet R 2 R 2, och ser att avbildningen ( ) ( )( ) ( ) y a a = 2 x b + y 2 a 2 a 22 kan skrivas som y y 2 x 2 a a 2 b = a 2 a 22 b På detta sätt kan alltså den affina avbildningen uttryckas med hjälp av enbart en matrismultiplikation, y x y 2 = à x 2, utan att separatbehandla translationen. Priset man får betala är att matrisen à blir en storlek större, av typ 3 3. Geometriskt har vi ersatt xy-planet med planet z = i R 3. Detta sker genom att varje vektor ( ) x x ersätts med x x 2. 2 Vektorn (x,x 2,) sägs vara utvidgade koordinater för (x,x 2 ). Samma trick fungerar allmänt för affina avbildningar R m R n, som med utvidgade koordinater, x och ỹ, kan skrivas ỹ = à x, där à är en (m+) (n+) matris Projektiva avbildningar Problemet att avbilda den tredimensionella världen på en tvådimensionell yta har studerats under århundraden, såväl av matematiker som konstnärer och ingenjörer. I våra dagar spelar sådana avbildningar en viktig roll inom bla datorgrafik. Förståelse av den viktiga perspektivavbildningen kom under renässansen, bla genom Dürer, som beskriver dess princip i illustrationen 3.2. Detta är också principen för en ideal kamera (lådkamera). För att beskriva den geometriska principen analytiskt börjar vi med att se vad som händer i ett plan genom fokalpunkten som är vinkelrätt mot bildplanet. x x 2 b 2.

26 26KAPITEL 3. DIFFERENTIALKALKYL FÖR VEKTORVÄRDA FUNKTIONER Figur 3.2: Perspektivavbildning illustrerad av renässanskonstären Dürer. Med hjälp av koordinatsystemet i fönstret ritar tecknaren in bilden i koordinatsystemet på bordet. Inför ett koordinatsystem med origo i fokalpunkten och med Z-axeln i bildplanets normalriktning, och undersök vad som händer i XZ-planet. Bildplanet har ekvationen Z = f, där f kallas fokallängd. Från likformiga trianglar i figur 3.3 följer att avbildningen från en scenpunkt (X,Z) R 2 till en bildpunkt R ges av x f = X Z. X (X,Y) camera centre f x Y image line Figur 3.3: Perspektivavbildning Betrakta nu den tredimensionella fallet med scenpunkter (X,Y,Z) R 3 och en tvådimensionell kamera med bildplanskoordinater (x,y) R 2. Ekvationen för bildplanet är Z = f. Gör man samma resonemang i y-led som det som ovan gjor-

27 3.7. LINJÄRA, AFFINA OCH PROJEKTIVA AVBILDNINGAR. KAMERAMODELL27 des i x-led så erhålles det analytiska uttrycket för en perspektivavbildning: x f = X Z, (3.4) y f = Y Z. (3.5) Vi kan nu skriva upp perspektivavbildningen (X, Y, Z) (x, y) på matrisform med hjälp av ekvation (3.4) och (3.5) som X x f Z y = 0 f 0 0 Y Z. (3.6) Precis som för affina avbildningar har vi funnit att man får mer kompakta formler genom att använda utvidgade koordinater. En viktig skillnad gentemot affina avbildningar är att det dyker upp en skalfaktor Z i vänster led i (3.6). Vi ser också att denna har den geometriska betydelsen av djup. När vi härledde ekvation (3.6) använde vi ett gemensamt speciellt valt koordinatsystem för både bildplan och scenpunkter, se figur 3.3. Till exempel måste bildplanet ha z-axeln som normal och x-axeln är parallell med X-axeln. Mer generellt kan vi anta att bildkoordinaterna mäts i ett koordinatsystem med koordinater (x,y ) och scenpunkterna i ett annat med koordinater (X,Y,Z ). Vidare antar vi att koordinaterna (x,y) fås som en affin transformation av de primmade koordinaterna enligt (x,y,) T = A (x,y,) T, där A är en 3 3 matris. På samma sätt fås scenpunkterna som (X,Y,Z,) T = A 2 (X,Y,Z,) T, där A 2 är en 4 4 matris. Sätter vi in detta i (3.6) får vi x f λ(x,y,z )A y = 0 f 0 0 A där λ(x,y,z ) är uttrycket för Z uttryckt i (X,Y,Z ). Sätt nu f P = A 0 f 0 0 A X Y Z,

28 28KAPITEL 3. DIFFERENTIALKALKYL FÖR VEKTORVÄRDA FUNKTIONER Det följer att x λ(x,y,z ) y = P X Y Z, (3.7) där P är en 3 4 matris. Detta är ett generellt sätt att beskriva projektiva avbildningar. Anmärkning. Det ligger utanför kursen att visa att P kan faktoriseras enligt 0 0 t x P = KR 0 0 t y 0 0 t z där R är en 3 3 rotationsmatris och t = (t x,t y,t z ). Rotationsmatrisen R och t utgör de så kallade yttre parametrarna som anger kamerans läge i scenen. Mer precist gäller att R anger hur kameran är roterad och t kamerans center. K är en 3 3 övre triangulär matris och innehåller de så kallade inre parametrarna som beskriver kamerans inre geometri. Mer precist gäller att K kan skrivas f sf x 0 K = 0 γf y 0, 0 0 där f är fokallängden som ovan. De andra parametrarna beskriver olika defekter hos kameran. De kan ofta antas vara 0 förutom γ som vanligvis är. Sammanfattningsvis gäller att sambandet mellan scenpunkt och bildpunkt kan skrivas 0 0 t x λ(x,y,z ) y = KR 0 0 t y 0 0 t z x X Y Z. Vi har hittills bara använt utvidgade koordinater på formen (x,y,) R 3 och (x,y,z,) R 4, det vill säga med som sista koordinat. I ekvationerna ovan, tex i (3.6), så uppträder en skalfaktor Z, som geometriskt betyder djup. Detsamma gäller i den allmännare ekvationen (3.7), där skalfaktorn betecknas λ. För fixt (x,y ) och genom variation av λ gäller ekvationen (3.7) för alla punkter (X,Y,Z ) på strålen genom fokalpunkten och bildpunkten med koordinater (x,y ). Detta motiverar att man inte gör skillnad på på punkter som ligger på samma stråle från origo. Man identifierar vektorerna (x,y,) och t(x,y,) för alla t 0, och vilken som helst av dessa tripplar kallas homogena koordinater för punkten

29 3.8. 3D-MODELLER 29 (eller egentligen strålen). När man använder homogena koordinater skriver man ofta inte ut skalfaktorn, utan skriver tex ekvation (3.7) som x X y P Y Z. Mängden av homogena koordinater blir alltså densamma som mängden av strålar från origo i R n. Denna mängd betecknas P n och kallas för projektivt rum av dimension n. En projektiv avbildning P : P n P p ges av en p n-matris. Det följer att en perspektivavbildning är en projektiv avbildning D-modeller I många datorspel och vid tillverkning och formgivning av föremål så används 3Dmodeller. I datorspel med 3D-grafik så finns de olika objekten som presenteras på skärmen representerade i datorn som kurvor eller ytor. Samma sak gäller vid tillverkning och formgivning av till exempel bilar, där hela bilen kan finnas representerad i ett så kallat CAD-program. Det finns olika sätt att representera 3D-objekt och området är stort. Vi ska här bara nämna några. Kurvor kan representeras på parameterform som t (x(t), y(t), z(t)). En kurva kan också representeras implicit som lösningen till f(x,y,z) = 0, g(x,y,z) = 0 för några lämpliga funktioner f och g. Ytor kan representeras i parameterform som (s,t) (x(s,t),y(s,t),z(s,t)) och implicit som lösningen till f(x,y,z) = 0. En sfär beskrivs som bekant av en nivåyta till funktionen f(x,y,z) = x 2 + y 2 + z 2. I båda fallen är det vanligt att representationen endast gäller i ett begränsat område. För att bestämma dessa områden börjar man med att placera ut n punkter A = {(x k,y k,z k )} n k= på det objekt som ska modelleras. I det enklaste fallet så anpassas en yta till punkterna genom att definiera delmängder till A bestående av tre punkter och låta dessa spänna upp ett plan. Den del av planet som ligger mellan de tre punkterna få bli ytan för det stora objektet i det området. På så sätt kommer hela ytan bli en sammansättning av triangulära delytor, se figur 3.4. Om man

30 30KAPITEL 3. DIFFERENTIALKALKYL FÖR VEKTORVÄRDA FUNKTIONER istället väljer delmängder med 4 punkter så spänner de inte alltid upp ett plan utan ytan mellan de fyra punkterna får representeras av till exempel ett 2:a ordningens polynom. En populär klass av polynom är så kallade splines av ordning 3. Figur 3.4: Del av 3D-modell utan textur. Till sin 3D-modell av objektets yta kan man sen lägga till ytterligare information, som till exempel att vissa delar av modellen kan få röra sig relativt de andra, vilken färg olika delar ska ha, textur och hur ytan ska reflektera ljus i övrigt, och så vidare, se figur 3.5. Ytans färg och ljusintensitet får ofta bero på det infallande ljusets vinkel och intensitet.

31 3.8. 3D-MODELLER 3 Figur 3.5: Bild av 3D-modell med textur.

32 32KAPITEL 3. DIFFERENTIALKALKYL FÖR VEKTORVÄRDA FUNKTIONER

33 Kapitel 4 Optimering 4.4 Rekonstruktion av scen Problemet att utifrån ett antal bilder av en scen beräkna en 3D-modell för scenen kallas rekonstruktion. Det vanliga fallet är att man har n bilder av en scen i vilken man valt ut m unika punkter som identifierats i varje bild. Problemet som ska lösas är att från bilderna och den information man har om kamerornas yttre och inre parametrar räkna ut var de m punkterna befinner sig i rummet. Varje bild har bara 2 dimensioners information, vilket inte är tillräckligt för att räkna ut de m punkternas placeringen i rummet. Har man däremot flera bilder så är det under vissa villkor möjligt. Låt x jk y jk vara bildpunkt nummer j i bild k och låt P k vara kameramatris k, se (3.7). De sökta scenpunkterna betecknas X j Y j Z j. Om inget är känt om kameramatriserna så ska man lösa λ jk x jk y jk = P k 33 X j Y j Z j.

34 34 KAPITEL 4. OPTIMERING Det enda man kan mäta är bildpunkterna. Resten måste beräknas. Hur detta kan göras ligger utanför ramen för kursen. Istället angriper vi två betydligt enklare fall Kalibrerade stereopar. Ett specialfall ges av när vi har två bildplan som ligger i samma plan med känt avstånd emellan och med samma fokallängd f. Låt den vänstra kameran ges av X x v f b/2 λ v y v = 0 f Y Z (4.) och den högra av λ h x h y h Det följer att λ v = λ h = Z och att vilket ger X f b/2 = 0 f Y (4.2) x v f = X + b/2, Z x h f = X b/2, Z y v f = y h f = Y Z, (4.3) X = b(xv+x h) 2(x v x h ) Y = byv x v x h Z = bf x v x h. Konstanten b > 0 är avståndet mellan kameracenterna. För detta noggrant uppsatta par av kameror så går det alltså enkelt att räkna var scenpunkterna befinner sig under förutsättning att man vet vilka bildpunkter som hör ihop i vänster och höger bild. 2. Vi gör nu samma antaganden om kamerorna som i förra exemplet men vi tar hänsyn till att bildpunkternas position inte alltid kan mätas exakt. I förra exemplet krävs till exempel att y v = y h i ekvation (4.3). Från (4.) följer att ( f 0 xv 0 f y v ) X Y = Z ( ) fb/2. 0 Z

35 4.4. REKONSTRUKTION AV SCEN 35 Löser vi detta med avseende på (X,Y,Z) blir det alla punkter på linjen l (t) = ( b2 ),0,0 + t f (x v,y v,f). På samma sätt ger ekvation 4.2 alla punkter på linjen ( ) b l 2 (t) = 2,0,0 + t f (x h,y h,f). Vi söker punkten p = (X,Y,Z) som ligger så nära de båda linjerna som möjligt. Detta kan lösas med metoder från linjär algebra. Vi väljer istället att formulera det som optimeringsproblemet min l (t ) p 2 + p l 2 (t 2 ) 2. t,t 2,p

36 36 KAPITEL 4. OPTIMERING

37 Kapitel 8 Användning av integraler 8.6 Filtrering av bilder Det är i många fall av intresse att behandla bilder på olika sätt för att framhäva och tydligöra vissa drag i bilden. Det kan till exempel vara att man vill göra en bild skarpare genom att förstärka intensiteten hos kanter. Detta gjorde vi tidigare med hjälp av gradiented, se figur 2.2. Ibland kan det omvända vara önskvärt och man vill göra en bild diffusare genom att minska variationen i intensiteten hos bilden. Dessa problem och även andra kan lösas genom att filtrera bilden på lämpligt sätt Diskreta fallet Låt g vara en diskret bild vars definitionsområde D utgörs av punkterna (j, k), j = 0,...,m, k = 0,...,n. Vi får att medelvärdet av intensiteten i bild g ges av mn m n g(j,k). j=0 k=0 Medelvärdet i en 3 3 omgivning av g(j 0,k 0 ) fås som 3 3 j= k= g(j 0 + j,k 0 + k). Medan den första beräkningen ger medelvärdet för hela bilden ger den andra information om bilden i en omgivning av (j 0,k 0 ). Det lokala medelvärdet kan naturligtvis beräknas för alla (j 0,k 0 ), där hänsyn måste tas till hur beräkningen ska göras vid bildens rand, det vill säga då j 0 = 0, j 0 = m, k 0 = 0, eller k 0 = n. 37

38 38 KAPITEL 8. ANVÄNDNING AV INTEGRALER Utvidga nu funktionen g till en funktion i alla heltalspunkter (j, k), genom att sätta g(j, k) = 0 utanför D, dvs då (j, k) / D. Inför funktionen { f(j,k) = 9, j, k 0, annars. Det följer att det lokala medelvärdet ovan i punkten (j 0,k 0 ) ges av j= k= f(j j 0,k k 0 )g(j,k), (8.) när 0 < j 0 < m, 0 < k 0 < n, men summationen går att beräkna för alla (j 0,k 0 ). Funktionen (8.) kallas diskreta korskorrelationen mellan g och f. Funktionen f kallas ibland för filter eller mask. I fallet ovan sägs masken vara en medelvärdesmask. Diskret partiel derivering kan också beräknas med hjälp av korrelation. Den partiella derivatan i x-led, se (2.2), kan fås genom att välja, (j,k) = (,0) f(j,k) =, (j,k) = (0,0) 0, annars. På samma sätt kan sen andra partiella derivator, riktningsderivator och Laplace av bilden beräknas Kontinuerliga fallet Definition Låt f : R 2 R och låt g : R 2 R funktioner i planet. Korskorrelationen av f och g definieras som f g(x,y) = f(α x,β y)g(α,β)dαdβ, under förutsättning att den generaliserade integralen konvergerar. Vi förutsätter att så är fallet härefter samt att vi kan derivera under integraltecknet om integranden är deriverbar. Det följer omedelbart av definitionen att f g(x,y) = = f(α x,β y)g(α,β)dαdβ f(α,β)g(α + x,β + x)dαdβ = g f( x, y),

39 8.6. FILTRERING AV BILDER 39 genom variabelbytet α := α x och β := β y. Om dessutom f är differentierbar så följer med derivering under integraltecknet att x f g(x,y) = f(α x,β y)g(α,β)dαdβ = f x x g(x,y). På samma sätt fast med derivering med avseende på y ger f g(x,y) = f y y g(x,y) Korskorrelation kan användas för att jämna ut bilder. Det kan behövas om en bild är brusig och man vill tvätta bort bruset. Det kan också vara så att man vill göra bilder jämnare. Låt g vara en bild man vill jämna ut och sätt {, x < /2, y < /2 f(x,y) = 0, annars Då är fdxdy = och f 0. Det följer att f g(0,0) = /2 α= /2 /2 β= /2 f(α, β)dαdβ, det vill säga medelvärdet av bilden g i området x < /2, y < /2. Generellt blir f g(x, y) medelvärdet av g i en kvadratisk omgivning av (x, y) med centrum i (x,y) och kanter av längd som är parallella med koordinataxlarna. Medelvärdesbildning gör att bilden g blir jämnare och samtidigt reduceras eventuellt brus. Det är svårare att ta bort brus och att samtidigt behålla skärpan i bilden. Korskorrelation är ett exempel på filtrering av bilder. I fallet ovan så filtreras bilden g av masken f genom att man successivt flyttar masken över bilden och räknar ut integralen. I exemplet ovan uppfyller f att fdxdy = och f 0. Det är generella krav som ska vara uppfyllda för att masken ska kallas medelvärdesmask. En intressant iakttagelse man kan göra är att om vi låter { c 2, x < /(2c), y < /(2c) f(x,y) = 0, annars,

40 40 KAPITEL 8. ANVÄNDNING AV INTEGRALER där c > 0. Då gäller fortfarande att fdxdy = och f 0 oberoende av c. Om dessutom g är kontinuerlig så följer att f g(0,0) = c 2 /(2c) = α= /(2c) [ ] x/c = α y/c = β /(2c) = α= /2 g(α, β)dαdβ β= /(2c) /2 /2 β= /2 g(x/c, y/c)dxdy g(0, 0) då c. Genom att välja c stort blir alltså f g(x,y) g(x,y). Man kan göra samma sak men byta ut f mot en deriverbar funktion som till exempel f(x,y) = 2πσ 2e (x2 +y 2 )/(2σ 2), vilket ger att fdxdy = och att f 0 så att det är ett medelvärdesfilter. På samma sätt som ovan följer att f g(x,y) g(x,y) då σ 0. En väsentlig skillnad mellan f g och g är att f g alltid är deriverbar (oändligt antal gånger) medan detta inte behöver gälla för g. Detta faktum kan användas för att definiera derivata på bilder som inte är deriverbara genom att definiera f g(x,y) = f y y g(x,y) som den partiella derivatan med avseende på y av g och på samma sätt med övriga derivator, se figur Figur 8.: Bild av y f g för olika värden på σ. Se originalbild sidan 2, figur 2.2.

41 8.7. BILDKOMPRIMERING 4 Problemen med korskorrelation är att den inte är symmetrisk, att derivering ändrar tecken samt att den inte är translationsinvariant. Alla dessa skönhetsfläckar kan undvikas genom att istället använda sig av faltningar. Definition Låt f : R 2 R och låt g : R 2 R vara integrerbara begränsade funktioner i planet där åtminstone en är noll utanför någon kompakt mängd. Faltningen av f och g definieras som f g(x,y) = f(x α,y β)g(α,β)dαdβ. Inför beteckningen ˇf(x,y) = f( x, y). Det följer omedelbart att f g = ˇf g. Med liknande räkningar som ovan fås nu att och f g(x,y) = g f(x,y), f f g(x,y) = x x g(x,y) f f g(x,y) = y y g(x,y). Sätt h(x,y) = f(x a,y b). Det följer att h g(x,y) = f g(x a,y b), vilket kan jämföras med h g(x,y) = f g(x+a,y +b). Detta, bland annat, gör att man vanligtvis använder faltning istället för korskorrelation. 8.7 Bildkomprimering Låt φ vara en bild definierad på D och låt ψ k, k =,2,...,n vara en sekvens av bilder på D sådana att {, j = k ψ j (x,y)ψ k (x,y)dxdy = (8.2) 0, j k. D Sätt c = (c,...,c n ) R n och låt Q(c) = φ(x,y) D n c j ψ j (x,y) j= 2 dxdy. Vi vill hitta det c som minimerar Q(c). Det följer att ( n Q(c) = φ(x,y) c j ψ j (x,y) φ(x,y) D j= k= ) n c k ψ k (x,y) dxdy =

42 42 KAPITEL 8. ANVÄNDNING AV INTEGRALER D φ(x,y) 2 2 n c j φ(x,y)ψ j (x,y) + j= På grund av 8.2 får vi att Q(c) = D D φ(x,y) 2 dxdy 2 φ(x,y) 2 dxdy + Minimum ges alltså av n ( j= n j= D c j = n c j c k ψ j (x,y)ψ k (x,y) dxdy. j= k n c j φ(x,y)ψ j (x,y)dxdy + j= n c 2 j = j= ( 2 c j φ(x,y)ψ j (x,y)dxdy) D φ(x,y)ψ j (x,y)dxdy) 2. D φ(x,y)ψ j (x,y)dxdy. Denna metod att approximera en bild φ som en linjärkombination av ett antal andra bilder ψ j, j =,...,n, kan användas för att reducera den mängd data som behöver sparas för att representera bilden i en dator. Istället för att diskretisera bilden och spara varje bildpunkt så kan man istället spara talen c,...,c n, vilka ju beror på bilden enligt ovan. Bilderna ψ j, j =,...,n, är däremot desamma för varje bild och behöver således bara sparas en gång. Genom att välja ψ j, j =,...,n, på ett kolkt sätt kan approximationen göras bra med endast ett fåtal c j och en hög kompression kan uppnås. I figur 8.2 och 8.3 har vi valt att bilda linjärkombinationer av de fyra olika funktionerna sin(jπx) sin(kπy) sin(jπx) cos(kπy) (8.3) cos(jπx) sin(kπy) cos(jπx) cos(kπy). I figur 8.2 har vi använt så många c j att det motsvarar 0% av antalet bildpunkter i bilden. I figur 8.3 har vi bara använt så många c j att det motsvarar % av antalet bildpunkter i bilden. Här blir det också en märkbar kvalitetsskillnad i den komprimerade bilden. Den vanliga jpeg-metoden för bildkomprimering bygger på den här tekniken.

43 8.7. BILDKOMPRIMERING Figur 8.2: Lena originalbild och med 90% kompression Figur 8.3: Lena originalbild och med 99% kompression.