Behaviour of color histograms during changes in distance and ambient light

Transkript

1 Sammanfattning Att använda färghistogram för att beskriva bilder är vanligt inom ett flertal användningsområden. Ett känt problem med färghistogram är deras känslighet vid förändrade ljusförhållanden, vilket försvårar användandet av denna teknik i miljöer med varierande omgivningsljus. Målet med denna studie är att undersöka hur färghistogram förändras vid olika ljusförhållanden och vid olika avstånd mellan kameralins och föremål, samt hur dessa förändringar skiljer sig mellan färgmodellerna RGB, HSV och L*a*b*. De genomförda experimenten visar att färghistogram inte påverkas alls, eller påverkas ytterst marginellt av förändringar i avstånd mellan kameralins och föremål. Experimenten visar också att färghistogram genomgår stora förändringar vid förändrat omgivningsljus, och att de största förändringarna då inträffar i färgmodellen RGB medan de minsta sker i L*a*b*. Behaviour of color histograms during changes in distance and ambient light Abstract Using color histograms for describing images is common in a variety of applications. A known issue with color histograms is their sensitivity to light conditions, which complicates the use of this technique in environments with fluctuating ambient light. This study investigates changes in color histograms, with different lighting conditions and at different distances between camera and an object. The study also investigates how these changes differ between the color models RGB, HSV and L*a*b*. The conducted experiments show that color histograms is not affected at all, or only marginally affected by changes in the distance between the camera lens and object. The experiments also show that color histograms are sensitive to changing light conditions, and that the biggest changes occurs in the RGB color model, while the smallest changes occurs in the L*a*b* color model.

2

3 Tack Författaren vill tacka följande personer: Thomas Hellström, som gav mig möjligheten att genomföra denna studie. Pedher Johansson, som tog sig tid när jag behövde tips och råd under examensarbetet. Rebecka Gulliksson, för oräkneliga råd och synpunkter under såväl detta examensarbete, som under vår övriga utbildningstid. Annelie Lindgren, min älskade sambo, som alltid tror på mig och stöttar mig i allt jag gör.

4

5 Innehållsförteckning Introduktion. Färghistogram.2 Färgmodeller 3.2. RGB HSV L*a*b* 5.3 Experimentens genomförande 5 2 Påverkan av avstånd 9 2. Automatiska kamerainställningar inaktiverade Automatiska kamerainställningar aktiverade 3 Påverkan av ljusstyrka 7 3. Automatiska kamerainställningar inaktiverade Automatiska kamerainställningar aktiverade 9 4 Sammanfattning och diskussion 25 Referenser 27

6

7 Introduktion Inom robotik är det ofta önskvärt att kunna hitta ett specifikt föremål i en bild genererad av en kamera eller videokamera. Ett effektivt sätt att göra detta är med hjälp av färghistogram, där dessa visar fördelningen av olika färger i bilden []. En robot kan jämföra färghistogram från ett känt föremål med färghistogram som har genererats från valda delar av den aktuella bilden. Det eftersökta föremålet kan sedan antas ha hittats om de jämförda färghistogrammen är tillräckligt lika varandra. Beroende på applikationen skulle det vara möjligt för en robot som har lokaliserat ett föremål på detta sätt att följa föremålet om det flyttar sig, eller att ompositionera sig för att exempelvis greppa föremålet. För att detta ska fungera måste dock färghistogrammen vara relativt stabila under tiden som roboten utför sin uppgift. En förändring i färghistogrammen skulle kunna innebära att roboten inte längre kan identifiera föremålet, och att den pågående uppgiften därmed inte kan slutföras. Ett känt problem med färghistogram är deras känslighet för förändrade ljusförhållanden [], vilket försvårar denna teknik för objekt-detektering i miljöer med varierande omgivningsljus. Beteendet hos färghistogrammen är dessutom olika beroende på vilken färgmodell som beaktas. Målet med denna studie är att undersöka hur färghistogram förändras vid olika ljusnivåer och vid olika avstånd mellan kameralins och föremål, samt hur dessa förändringar skiljer sig mellan färgmodellerna RGB, HSV och L*a*b*. Samtliga bilder som analyseras under experimenten har genererats med en webbkamera, och experimenten har genomförts både med och utan kamerans automatiska inställningar för exempelvis exponering, ljusstyrka och vitbalans.. Färghistogram Att försöka beskriva motivet i en bild med enbart ord kan vara svårt, och det har därför utvecklats ett flertal tekniker för att representera bilder på andra sätt. Ett exempel på detta är att med hjälp av färghistogram beskriva hur många pixlar en bild innehåller av varje färg. Genom att beräkna färghistogram för en specifik bild och sedan jämföra detta med en annan bilds färghistogram, så kan det avgöras om de två bilderna består av liknande färger och därmed kan antas ha liknande motiv. Denna teknik är vanlig inom exempelvis image retrieval, där bilder ofta eftersöks enligt vissa specificerade attribut som färg, form eller struktur [2, 3]. Andra områden där färghistogram används för att representera bilder är exempelvis objektdetektering, objekt-identifiering och objekt-spårning [4]. I dessa fall eftersöks oftast ett specifikt objekt i bilden, och till skillnad från vid exempelvis image retrieval så finns därför behovet att dela bilden i mindre delar innan färgernas antal beräknas för varje del. Principen är dock densamma i den mening att bildens delar kan representeras genom fördelningen av

8 färger, och att detta kan redovisas i form av histogram som sedan jämförs med färghistogram från andra bilder med målet att hitta en matchning. Vid objekt-detektering, objekt-identifiering och objekt-spårning finns ofta risken att den omgivande miljön utsätts för variationer i ljusförhållanden, och att avståndet mellan föremål och kamera varierar. Detta kan leda till problem i de fall då den valda tekniken använder sig av färghistogram, eftersom dessa är känsliga för bland annat förändringar i ljusnivån. Eventuella förändringar i färghistogrammen försvårar möjligheten att identifiera, detektera eller spåra ett specifikt objekt eftersom detta kan innebära att det aktuella färghistogrammet inte längre matchar färghistogrammet som representerar det kända objektet. Det är således önskvärt att färghistogrammen påverkas så lite som möjligt vid eventuella förändringar i omgivningen. Ett flertal metoder har utvecklats för att generera och jämföra färghistogram, och på detta sätt avgöra om två bilder liknar varandra. Ingen av dessa metoder kommer dock att diskuteras i denna rapport. För ytterligare information och några exempel på sådana metoder, se [, 5, 6, 7]. För att minska antalet unika färger i en färgrymd och därmed göra beräkningar och jämförelser mellan färghistogram snabbare, så grupperas ofta färgvärdena i något som kallas bins [2, 8]. Ett bestämt intervall av färgvärden fördelas mellan dessa bins, vilket leder till en minskning av det totala antalet unika färger i den aktuella färgrymden. En uppdelning i 8 bins för varje färgkanal i RGB-modellen skulle exempelvis resultera i totalt 52 olika färgvärden (8 x 8 x 8). Detta kan jämföras med unika färgvärden när varje kanal innehåller 256 olika värden, vilket är vanligt förekommande för RGB då denna färgmodell används för att representera färger i exempelvis datorskärmar. I Figur visas tre exempel på färghistogram för de olika färgkanalerna i RGB-modellen. Varje färgkanal har delats i 32 olika bins där varje stapel i histogrammet således motsvarar en bin. Det översta färghistogrammet visar att samtliga färgvärden i den röda kanalen har hamnat i den högsta av kanalens 32 bins. Detta innebär i praktiken att samtliga pixlar i den bild som representeras av de tre färghistogrammen har en intensitet som ligger mellan 247 och 255 i den röda kanalen. Enligt färghistogrammet för den gröna kanalen så innehåller den representerade bilden i denna kanal färgvärden med något lägre intensitet. Dessa värden har också en större spridning vilket resulterar i att de har hamnat i tre olika bins. Den blå kanalen nederst i figuren innehåller värden med lägre intensitet än de övriga färgkanalerna, och har dessutom störst spridning mellan dessa värden. Dessa har därför placerats i fyra olika bins där den lägsta av dessa innehåller minst antal färgvärden. Observera att det faktiska antalet färgvärden som har placerats i en bin inte framgår av histogrammen. Den lodräta axeln i ett färghistogram visar fördelningen av det totala antalet färgvärden som har placerats i varje bin i den aktuella färgkanalen. Samtliga bilder som genererades med den webbkamera som användes under experimenten, består av 256 möjliga färgvärden per kanal. Dessa färgvärden har sedan räknats till antalet och placerats in i bins på liknande sätt som beskrivs ovan. Den exakta uppdelningen av färgkanalerna för de olika färgmodeller som ingick i denna studie, beskrivs under rubriken för varje specifik färgmodell. 2

9 Figur : Exempel på färghistogram för de tre kanalerna i färgmodellen RGB, där pixlar med olika intensitet grupperas i 32 olika bins per kanal. I histogrammen motsvarar varje stapel en bin..2 Färgmodeller Nedan följer en kort beskrivning av färgmodellerna som har använts i studien för att ge en grundläggande kunskap om dessa. Här beskrivs också de skalor och uppdelningar av färgkanaler som förekommer senare i rapporten för att redovisa och diskutera resultaten. De tre färgmodellerna som beskrivs är RGB, HSV och L*a*b*. För ytterligare information om dessa färgmodeller, se [9,, ]..2. RGB Färgmodellen RGB baseras på primärfärgerna röd, grön och blå. Genom att blanda dessa tre färger i varierande mängd kan andra färger genereras (se figur 2). Det huvudsakliga syftet med RGB-modellen är att representera eller visa bilder i elektroniska system som exempelvis LCD-skärmar, scanners och digitalkameror. RGB är enhetsberoende vilket innebär att olika enheter kan tolka och representera RGB-värden på olika sätt. Hur färgerna i praktiken återges kan därmed variera på olika fysiska enheter trots att de tre färgkanalernas värden är desamma. Figur 2: Färgrymden RGB där olika färger kan genereras genom att blanda primärfärgerna röd, grön och blå. By SharkD (Own work) [CC-BY-SA-3. ( or GFDL ( via Wikimedia Commons 3

10 I samtliga experiment som genomfördes under denna studie, så angavs de tre färgerkanalernas intensitet i en skala mellan och. Om samtliga tre färgkanaler har värdet kommer således den resulterade färgen att vara svart, och om samtliga färgkanaler har värdet så kommer resultatet att vara vit. Övriga kombinationer av färgkanalernas intensitet kommer att generera andra färger som ryms inom denna modells färgrymd. Färghistogrammen som presenteras för de olika färgkanalerna i RGB har delats in i 32 olika bins som vardera innehåller 8 olika färgvärden. Värden mellan och 7 ligger således i samma bin, 8 till 5 i nästa bin och så vidare. Det är inte ovanligt att de tre kanalerna i denna färgmodell delas in i färre antal bins vid beräkningar av färghistogram, men i denna rapport ansågs ovan nämnda uppdelning vara lämpligt för att på ett tydligt sätt redovisa de genomförda experimentens resultat..2.2 HSV HSV (Hue, Saturation, Value) står för färgnyans, färgmättnad och ljusstyrka och är en cylinerformad representation av RGB-modellen (se figur 3). Eftersom HSV-modellen är en transformation av RGB-rymden så är HSV i likhet med RGB enhetsberoende. Återgivning av färger kan därmed variera på olika fysiska enheter. Fortsättningsvis kommer de tre färgkanalerna i denna färgmodell att benämnas med sina engelska namn Hue, Saturation och Value alternativt med bokstäverna H, S och V. Figur 3: Färgrymden HSV där Hue anger färgnyansen, Saturation mängden av vitt och Value mängden svart. 2 När denna färgmodell används för att beräkna och jämföra olika färghistogram med varandra, så är det vanligt att kanalerna Saturation och Value delas in i färre antal bins än kanalen Hue. Detta beroende på att dessa färgkanaler anses vara särskilt känsliga för förändringar, och därför blir svåra att hantera om indelningen blir för fin. En vanlig indelning av de tre kanalerna brukar vara 8 bins för Hue samt 3 bins vardera för Saturation och Value. I denna rapport har dock samtliga tre kanaler i HSV delats i 2 bins eftersom detta ansågs vara lämpligt för att tydligt kunna presentera de olika kanalernas beteenden under experimenten. Hue anges i en skala mellan och där båda dessa värden betyder röd. Mellan dessa värden ligger i tur och ordning färgerna gul, grön, cyan, blå och magenta. Saturation anges mellan och. Ett lägre värde har lägre färgmättnad och innehåller en större andel vitt, och ett högre värde har högre färgmättnad med lägre andel vitt. Value anges mellan mellan och där ett högre värde har högre ljusstyrka. Ett lägre värde 2 By SharkD (Own work) [CC-BY-SA-3. ( or GFDL ( via Wikimedia Commons 4

11 innehåller större andel svart, och ett högre värde mindre andel svart..2.3 L*a*b* L*a*b* är i likhet med RGB och HSV en tredimensionell färgmodell där ljusstyrkan i den aktuella bilden anges med L*, och olika färger genereras genom att blanda parametrarna a* och b*. Färgmodellen L*a*b* inkluderar alla synbara färger vilket innebär att dess färgrymd är större än exempelvis RGB och HSV. I motsats till RGB och HSV är L*a*b* inte enhetsberoende, vilket innebär att färger kan definieras oberoende av vilken enhet de skapas eller återges på. Parametern L* anger hur ljus eller mörk färgen är där är svart och är diffust vit. L* kan uppnå värden högre än vid reflekterande ytor. a* beskriver en färgskala mellan röd och magenta, där värden lägre än,5 betyder röd och värden högre än,5 betyder magenta. b* beskriver en färgskala mellan blå och gul, där värden lägre än,5 betyder blå och värden högre än,5 betyder gul. De tre färgkanalerna i L*a*b* har i denna rapport delats in i 32 olika bins vardera, eftersom detta bedömdes vara ett lämpligt antal för att på ett tydligt sätt presentera experimentens resultat..3 Experimentens genomförande För att kunna genomföra experimenten och generera relevanta data skapades en testmiljö med målet att ljusnivåerna skulle kunna kontrolleras. Detta för att resultaten skulle påverkas av så få slumpmässiga parametrar som möjligt. Rummet där experimenten genomfördes isolerades därför noggrant från eventuella ljuskällor utanför rummet. Under samtliga experiment registrerades ett antal bilder, och i vardera av dessa bilder markerades det område som skulle ligga till grund för beräkningarna (se figur 4). Med hjälp av programmet Matlab konverterades det markerade området från RGB till HSV och L*a*b*, och för varje färgkanal i dessa tre färgmodeller beräknades antalet pixlar av varje färgintensitet, medelvärdet av dessa, samt standardavvikelsen. Utifrån dessa data genererades de diagram och färghistogram som senare i rapporten används för att redovisa resultaten från de olika experimenten. Eftersom medelvärde och standardavvikelse är två nyckeltal för histogram så har i huvudsak dessa värden studerats under experimenten. Detta för att förenkla jämförelser mellan histogram vid olika avstånd och ljusnivåer. Standardavvikelsen är ett mått på hur mycket de olika värdena i en population avviker från medelvärdet, och eftersom samtliga experiment i denna studie genomfördes på enfärgade föremål förväntades standardavvikelsen vara låg för alla färghistogram. Detta eftersom ytan på ett enfärgat föremål i en bild består av pixlar vars färgintensitet ligger nära varandra. Webbkameran som användes för samtliga experiment var en Logitech HD Webcam C3, och samtliga bilder som genererades hade storleken 64 x 48 pixlar. Denna kamera bedömdes med avseende på kvalitet och funktionalitet vara representativ för en genomsnittlig webbkamera, och ansågs lämplig för att undersöka hur de automatiska inställningarna i denna typ av kamera kompenserar för förändringar beroende på avstånd och omgivningsljus. 5

12 Figur 4: Exempel på hur ett specifikt område i bilden har markerats för att sedan ligga till grund för beräkningar i Matlab. Samtliga experiment som genomfördes innefattade datainsamling för de tre färgmodellerna RGB, HSV och L*a*b*. Experimenten utfördes på två olikfärgade föremål, samt både med och utan kamerans automatiska inställningar för exempelvis exponering, ljusstyrka och vitbalans. Under de experiment som genomfördes med kamerans automatiska inställningar inaktiverade, sattes reglagen för inställningarna manuellt enligt figur 5. Att just dessa inställningar valdes, beror på att de bedömdes generera användbara bilder för såväl det gula som det gröna föremålet som användes under experimenten. Det viktigaste ansågs inte vara att optimera dessa inställningar, utan att inställningarna var identiska under samtliga experiment som genomfördes med kamerans automatiska inställningar inaktiverade. Figur 5: Kamerans inställningar under samtliga experiment som genomfördes med de automatiska kamerainställningarna inaktiverade. Anledningen till att färgerna på föremålen som användes under experimenten valdes till gul och grön, var att dessa färger bedömdes vara lämpliga representanter för en ljus respektive 6

13 mörk färg. Något som ansågs ge möjligheten att undersöka om resultaten från experimenten påverkades av färgen på föremålet. Följande experiment har genomförts: påverkan av avstånd, och påverkan av ljusstyrka. En mer utförlig beskrivning om experimenten samt resultaten från dessa redovisas under experimentens respektive rubrik senare i rapporten. 7

14 8

15 2 Påverkan av avstånd I detta kapitel beskrivs de experiment som genomfördes för att undersöka hur färghistogram eventuellt förändras när avståndet mellan kameralins och ett föremål förändras. I kapitlet redovisas även resultaten från dessa experiment. Experimenten genomfördes på två olikfärgade föremål, en gul och en grön träkloss. Avståndet mellan kameralinsen och föremålen var inledningsvis 5 centimeter, och minskades med 5 centimeter per bild ner till ett avstånd på 5 centimeter. På 5 centimeters avstånd upptog föremålen,3 procent av den totala bildytan (4 pixlar), och på 5 centimeters avstånd upptog de 3 procent av bildytan (4 pixlar). För varje avstånd registrerades en bild och dess färghistogram beräknades. För varje färgkanal beräknades dessutom medelvärdet och standardavvikelsen för de pixlar som tillhörde föremålet. I diagrammen som redovisar resultaten av experimenten visas medelvärdet av samtliga pixlars intensitet i varje enskild färgkanal, samt standardavvikelsen vid det aktuella avståndet. Varje specifikt avstånd som redovisas i diagrammens vågräta axlar kan således betraktas som kompakta representationer av de färghistogram som beräknades för den aktuella färgmodellens tre kanaler. För att underlätta jämförelser mellan färghistogram vid objekt-detektering, objekt-identifiering och objekt-spårning är det önskvärt att färghistogrammen uppvisar så små variationer som möjligt vid eventuella förändringar i omgivningen. Vid avläsning av resultaten bör det därför betraktas som positivt om förändringarna i medelvärden och standardavvikelser är små, och negativt om förändringarna är stora. 2. Automatiska kamerainställningar inaktiverade Grönt föremål Figur 6 visar att förändringarna av kanalernas medelvärden var små för samtliga färgmodeller när avståndet mellan kameralinsen och det gröna föremålet minskades. Granskar man resultaten i detalj kan vissa små skillnader urskiljas mellan färgmodellerna. I RGB skedde förändringarna relativt jämt mellan de olika kanalerna i modellen, medan både HSV och L*a*b* uppvisade något större variation i sina respektive färgkanalers beteenden. Det mest avvikande beteendet under detta experiment uppvisades av färgkanalen S i HSV, där standardavvikelsen var synbart högre än i någon annan av de tre färgmodellernas kanaler. I färgmodellen RGB sjönk medelvärdena i färgkanalerna med mellan,38 och,6 (se figur 6a). Vid en granskning av färghistogrammen som beräknades för RGB vid avstånden 5 respektive 5 centimeter bekräftas att skillnaden mellan färghistogrammen i likhet med förändringarna av kanalernas medelvärden var liten mellan dessa avstånd (se figur ). Färgmodellen HSV skiljer sig från de övriga modellerna vid en granskning av standard- 9

16 avvikelsen för färgkanalen S (se figur 6b). Standardavvikelsen för denna kanal var som högst,66, vilket inträffade på ett avstånd av 5 centimeter mellan kameralinsen och föremålet. Detta kan jämföras med den blå kanalen i RGB som uppvisade den näst högsta standardavvikelsen med endast,26. Figur visar färghistogrammen för kanalerna i HSV där det tydligt framgår att färgvärdena i kanalen S har fördelats i ett flertal olika bins vid avståndet 5 centimeter. Detta bekräftar den i sammanhanget höga standardavvikelsen. Den största förändringen av medelvärdet uppvisades i denna färgmodell av kanalen V som sjönk med,6, och den minsta förändringen uppstod i H där medelvärdet sjönk med,4. Den färgmodell som i sin helhet uppvisade allra minst förändringar under detta experiment var L*a*b*, där medelvärdet i färgkanalerna a* och b* endast förändrades med,5 respektive,. I färgkanalen L* sjönk medelvärdet med,58, vilket således innebar den största förändringen i denna färgmodells kanaler (se figur 6c). Gult föremål Under experimentet med det gula föremålet uppvisade färgkanalerna små förändringar i samtliga färgmodeller (se figur 7). I både RGB och HSV uppnådde en av färgkanalerna det högsta möjliga medelvärdet vid samtliga avstånd under experimentet. Till skillnad från i experimentet som genomfördes med det gröna föremålet, var standardavvikelsen nu låg i samtliga färgkanaler i de tre modellerna. Under experimentet uppnådde den röda kanalen i RGB högsta möjliga medelvärde vid samtliga avstånd (se figur 7a). Medelvärdet för den gröna och blå kanalen sjönk med,8 respektive,9. I färgmodellen HSV uppnådde även kanalen V maximalt medelvärde vid samtliga avstånd, medan medelvärdet i kanalen H sjönk med,27 och i S ökade med,2 (se figur 7b). I L*a*b* stod färgkanalen L* för den största förändringen av de tre kanalerna då medelvärdet sjönk med,69, medan b* stod för den minsta med,9. Till skillnad från i de båda andra färgmodellerna, uppnådde ingen av färgkanalerna i L*a*b* högsta möjliga medelvärde under experimentet (se figur 7c). 2.2 Automatiska kamerainställningar aktiverade Grönt föremål Förändringarna av färgkanalernas medelvärden påminde med de automatiska kamerainställningarna aktiverade om när dessa istället var inaktiverade. En skillnad var dock den till synes omotiverade ökningen av medelvärdet i många av färgkanalerna när avståndet mellan kameralinsen och föremålet var 25 centimeter eller mindre (se figur 8). Orsaken till denna plötsliga ökning är inte känd, men antas bero på någon av de automatiska inställningarna som skedde i kameran. I färgmodellen RGB liknade förändringarna i de tre kanalerna varandra, medan HSV och L*a*b* uppvisade något större variation i sina färgkanalers beteenden. Precis som under experimentet med det gröna föremålet och de automatiska kamerainställningarna inaktiverade, så uppvisade färgkanalen S synbart högre standardavvikelser än någon annan av de övriga åtta kanalerna i färgmodellerna. Förändringarna som uppstod i de tre färgkanalerna i RGB liknade varandra, och medelvär-

17 dena i dessa kanaler ökade under experimentet med mellan,32 och,59 (figur 8a). För HSV låg förändringarna av medelvärdena i stort sett på samma nivå som för kanalerna i RGB. Undantaget från detta var färgkanalen H där den totala förändringen av medelvärdet endast var,9 (se figur 8b). I färgkanalen S var standardavvikelsen högre än i någon annan kanal under experimentet. Allra högst var standardavvikelsen i denna färgkanal vid ett avstånd på 5 centimeter då den beräknades till,73. Färgmodellen som totalt sett uppvisade något mindre förändringar än övriga modeller under detta experiment var L*a*b* (figur 8c). Den största förändringen i denna modell uppstod i L* som i likhet med många kanaler i de övriga färgmodellerna uppvisade en plötslig ökning när avståndet mellan kameralinsen och föremålet var 25 centimeter eller mindre. Medelvärdet i L* förändrades under experimentet med,6 medan medelvärdet i a* och b* endast förändrades med,5 respektive,2. Gult föremål Under experimentet med det gula föremålet och med de automatiska kamerainställningarna aktiverade, uppvisade samtliga färgmodellers kanaler små förändringar av medelvärdet och låga standardavvikelser (se figur 9). Somliga av färgkanalerna i RGB och HSV uppnådde under experimentet högsta möjliga medelvärde, vilket däremot aldrig inträffade i färgmodellen L*a*b*. I RGB maximerades den röda kanalens medelvärde under den första delen av experimentet (se figur 9a). Till skillnad mot när kamerans automatiska inställningar var inaktiverade så sjönk dock medelvärdet när avståndet mellan kameralins och föremål minskade. Den blå kanalens medelvärde förändrades inte alls eftersom medelvärdet för denna kanal vid samtliga avstånd mellan kameralins och föremål var det minsta möjliga. I den röda kanalen sjönk medelvärdet med,77 och i den gröna kanalen sjönk det med,6. I HSV sjönk medelvärdet i färgkanalen V med,77, medan de två övriga kanalernas medelvärden inte förändrades alls (se figur 9b). Färgkanalen S uppvisade under detta experiment största möjliga medelvärde vid samtliga avstånd mellan kameralins och föremål. I L*a*b* sjönk medelvärdet för L* med,6, medan förändringarna i a* och b* endast var, respektive,2 (se figur 9c). Till skillnad från i de båda andra färgmodellerna, uppnådde ingen av färgkanalerna i L*a*b* högsta eller lägsta möjliga medelvärde under experimentet. Tar man hänsyn till färgmodellernas samtliga kanaler så var förändringarna något mindre för HSV och L*a*b* är för RGB. Någon större skillnad mellan förändringarna i HSV och L*a*b* är däremot svår att urskilja.

18 RGB vid minskande avstånd. Grönt föremål. Automatiska kamerainställningar inaktiverade.8 Röd Grön Blå Avstånd (cm) (a) HSV vid minskande avstånd. Grönt föremål. Automatiska kamerainställningar inaktiverade.8 H S V Avstånd (cm) (b) L*a*b* vid minskande avstånd. Grönt föremål. Automatiska kamerainställningar inaktiverade.8 L* a* b* Avstånd (cm) (c) Figur 6: Färgkanalernas medelvärden och standardavvikelser för ett grönt föremål vid förändrat avstånd mellan kameralins och föremål. Kamerans automatiska inställningar för exponering, ljusstyrka och vitbalans är inaktiverade. 2

19 RGB vid minskande avstånd. Gult föremål. Automatiska kamerainställningar inaktiverade Röd Grön Blå Avstånd (cm) (a) HSV vid minskande avstånd. Gult föremål. Automatiska kamerainställningar inaktiverade H S V Avstånd (cm) (b) L*a*b* vid minskande avstånd. Gult föremål. Automatiska kamerainställningar inaktiverade Avstånd (cm) (c) L* a* b* Figur 7: Färgkanalernas medelvärden och standardavvikelser för ett gult föremål vid förändrat avstånd mellan kameralins och föremål. Kamerans automatiska inställningar för exponering, ljusstyrka och vitbalans är inaktiverade. 3

20 RGB vid minskande avstånd. Grönt föremål. Automatiska kamerainställningar aktiverade.8 Röd Grön Blå Avstånd (cm) (a) HSV vid minskande avstånd. Grönt föremål. Automatiska kamerainställningar aktiverade.8 H S V Avstånd (cm) (b) L*a*b* vid minskande avstånd. Grönt föremål. Automatiska kamerainställningar aktiverade.8 L* a* b* Avstånd (cm) (c) Figur 8: Färgkanalernas medelvärden och standardavvikelser för ett grönt föremål vid förändrat avstånd mellan kameralins och föremål. Kamerans automatiska inställningar för exponering, ljusstyrka och vitbalans är aktiverade. 4

21 RGB vid minskande avstånd. Gult föremål. Automatiska kamerainställningar aktiverade Röd Grön Blå Avstånd (cm) (a) HSV vid minskande avstånd. Gult föremål. Automatiska kamerainställningar aktiverade H S V Avstånd (cm) (b) L*a*b* vid minskande avstånd. Gult föremål. Automatiska kamerainställningar aktiverade Avstånd (cm) (c) L* a* b* Figur 9: Färgkanalernas medelvärden och standardavvikelser för ett gult föremål vid förändrat avstånd mellan kameralins och föremål. Kamerans automatiska inställningar för exponering, ljusstyrka och vitbalans är aktiverade. 5

22 (a) 5 cm mellan kameralins och föremål. (b) 5 cm mellan kameralins och föremål. Figur : Färghistogram för RGB vid två olika avstånd under experimentet med det gröna föremålet och de automatiska kamerainställningarna inaktiverade. Figur : Färghistogram för kanalerna i HSV vid ett avstånd av 5 centimeter mellan kameralinsen och det gröna föremålet. Standardavvikelsen i färgkanalen Saturation är synbart högre än i de övriga kanalerna. Under experimentet var de automatiska kamerainställningarna inaktiverade. 6

23 3 Påverkan av ljusstyrka I detta kapitel beskrivs de experiment som genomfördes för att undersöka hur färghistogram påverkas vid förändrat omgivningsljus. I kapitlet redovisas även resultaten från dessa experiment. Under experimenten fanns endast en ljuskälla i rummet, vilken bestod av en 6 watts lampa kopplad till en dimmer. Omgivningsljuset förstärktes gradvis med hjälp av dimmern i elva steg, där ljusnivån inleddes med dimmerns mörkaste inställning och avslutades med den ljusaste inställningen. Experimenten med det gröna föremålet visade sig dock producera väldigt svårbedömd data vid de två mörkaste lägena på dimmern. Föremålet verkade vid dessa ljusnivåer vara för mörkt för att någon av färgmodellerna skulle kunna tolka föremålets färg som något annat än svart. Då dessa mätningar ansågs vara irrelevanta har data som involverar dessa två lägen exkluderats från resultaten. För att kunna jämföra resultaten mellan det gröna och gula föremålet vid samma ljusförhållanden, så har de två mörkaste lägena även avlägsnats från det gula föremålets resultat. Detta innebär således att samtliga resultat nedan bygger på data från nio av dimmerns olika lägen. Varje gång inställningen ändrades ett steg på dimmern registrerades en bild och dess färghistogram beräknades. För varje färgkanal beräknades dessutom medelvärdet och standardavvikelsen för de pixlar som tillhörde föremålet. Experimentet genomfördes på två olikfärgade föremål, en gul och en grön träkloss. Avståndet mellan kameralins och föremålen var konstant 2 centimeter. Ett avstånd som innebar att ytan på föremålen bestod av ungefär 22 pixlar. I diagrammen som redovisar resultaten från experimenten med förändrat omgivningsljus har de olika ljusnivåerna fått benämningarna L till L9. L redovisar färgkanalernas medelvärden och standardavvikelser vid den mörkaste inställningen på dimmern, och L9 vid det ljusaste inställningen. 3. Automatiska kamerainställningar inaktiverade Grönt föremål Till skillnad från de relativt små förändringar som uppmättes i färgkanalernas medelvärden under experimenten med minskande avstånd, så uppvisade många av färgmodellernas kanaler tydliga förändringar när omgivningsljuset ökade i styrka (se figur 2). I färgmodellen RGB ökade medelvärdet i samtliga tre färgkanaler i takt med att omgivningsljuset ökade. Även i HSV och L*a*b* ökade färgkanalerna V och L* när omgivningsljuset ökade, medan medelvärdena i övriga färgkanaler i dessa modeller förändrades avsevärt mindre. I HSV uppvisade färgkanalerna H och S väldigt höga standardavvikelser vid de mörkaste ljusnivåerna under experimentet. Standardavvikelsen sjönk sedan i dessa båda kanaler när 7

24 omgivningsljuset ökade. I färgmodellen RGB uppvisade samtliga tre kanaler beteenden som liknade varandra. I alla dessa färgkanaler ökade medelvärdet i takt med att omgivningsljuset ökade, och mellan det ljusaste och mörkaste läget på dimmern ökade medelvärdena med mellan,37 och,424 (L till L9 i figur 2a). I HSV uppvisade färgkanalen V ett liknande beteende som kanalerna i RGB då medelvärdet i denna kanal ökade med,424. Både färgkanal H och S uppvisade synbart mindre förändringar, vilket kan ses i figur 2b. Färgkanalen H ökade med,23 medan S efter en snabb ökning mellan ljusnivåerna L och L2 sjönk med,2. Färgkanalerna S och H uppvisade höga standardavvikelser vid de mörkaste ljusnivåerna under experimentet. Något som också syns tydligt när man granskar färghistogrammen i figur 6 där fördelningen av pixlarnas intensitet redovisas för HSV vid den lägsta av de nio olika ljusnivåerna (L i figur 2b). Vid ljusnivån L var standardavvikelsen, för kanalen H och,236 för kanalen S. I figur 2b syns att standardavvikelsen i S minskade successivt när ljusstyrkan ökade under experimentet. I färgkanalen H minskade standardavvikelsen snabbare och kan anses ha sjunkit till en relativt låg nivå redan vid ljusnivån L3. I L*a*b uppvisade kanalen L* en liknande förändringskurva som de tre kanalerna i RGB och V i HSV, medan färgkanalerna a* och b* uppvisade synbart mindre förändringar (se figur 2c). I L* ökade medelvärdet med,442 medan det i a* sjönk med,64 och i b* ökade med,63. Om man bortser från färgkanalerna V i HSV och L* i L*a*b*, var förändringarna i dessa färgmodeller synbart mindre än i RGB. Med hänsyn till de höga standardavvikelserna i HSV, var L*a*b* den färgmodell som under detta experiment uppvisade störst stabilitet i sina färgkanaler. Gult föremål Beteendet hos de olika färgkanalerna liknade under detta experiment de beteenden som uppvisades under experimenten med det gröna föremålet. De största skillnaderna var att en av färgkanalerna i RGB och en färgkanal i HSV uppnådde högsta möjliga medelvärde vid de ljusare lägena på dimmern, samt att ingen av färgkanalerna under detta experiment uppvisade nämnvärt höga standardavvikelser (se figur 3). I färgmodellen RGB ökade medelvärdet i den röda kanalen med,389 innan det uppnådde högsta möjliga värde vid ljusnivå L5 (se figur 3a). Medelvärdet i färgkanalerna G och B ökade under experimentet med,5 respektive,36. I likhet med den röda kanalen i RGB, uppnådde även kanalen V i HSV högsta möjliga medelvärde när ljusnivån passerade L5 (se figur 3b). Färgkanalen H uppvisade modellens minsta förändringar av medelvärdet då detta ökade med,62, medan medelvärdet i färgkanalen S sjönk med,254. L*a*b* uppvisade en ökning av medelvärdet i färgkanalen L* med,442, medan medelvärdet i a* sjönk med,2 och ökade i b* med,54 (se figur 3c). Till skillnad från i de båda andra färgmodellerna, uppnådde ingen av färgkanalerna i L*a*b* högsta möjliga medelvärde under detta experiment. Tar man hänsyn till färgmodellernas samtliga kanaler så var förändringarna totalt sett minst i L*a*b*. Det bör dock noteras att skillnaden mellan de totala förändringarna i L*a*b* och i HSV var relativt liten. 8

25 3.2 Automatiska kamerainställningar aktiverade Grönt föremål Förändringarna i de olika färgmodellernas kanaler var under detta experiment påtagligt mindre än när kamerans automatiska inställningar var inaktiverade. När kameran kompenserade för variationen i omgivningsljus skapades i många av färgkanalerna de vågformade rörelser som syns i figur 4. Det mest avvikande beteendet under detta experiment uppvisades av färgkanalen S i HSV, där standardavvikelsen var högre än i någon annan färgkanal. Ett beteende som således kunde konstateras vara typiskt för denna färgkanal vid samtliga genomförda experiment med det gröna föremålet. I färgmodellen RGB uppvisade samtliga tre kanaler det vågliknande beteende som syns i figur 4a. Förändringarna av medelvärdet i denna modells färgkanaler låg mellan,38 och,3. I färgmodellen HSV uppvisade kanalen S den högsta standardavvikelsen av samtliga nio kanaler, som vid ljusnivån L5 där standardavvikelsen var allra högst, beräknades till,78 (se L5 i figur 4b). Medelvärdena för färgkanalerna i denna modell förändrades med mellan,7 och,82. Färgmodellen som med hänsyn till samtliga kanaler uppvisade något mindre förändringar av medelvärdet än övriga modeller var L*a*b*, där förändringarna i a* och b* endast var,46 respektive,2. Gult föremål Under experimentet med det gula föremålet och de automatiska kamerainställlningarna aktiverade, kompenserade kameran till stor del för förändringarna i omgivningsljuset. De vågformade rörelser som uppstod i färgkanalernas beteenden under det föregående experimentet med det gröna föremålet, var dock inte fullt lika påtagliga under detta experiment (se figur 5). Standardavvikelsen var under detta experiment låg i samtliga färgkanaler, till skillnad mot under experimentet med det gröna föremålet. Under detta experiment uppnådde den röda kanalen i RGB högsta möjliga medelvärde vid en majoritet av de olika ljusnivåerna, medan den blå kanalen vid de flesta av ljusnivåerna beräknades till minsta möjliga värde (se figur 5a). Medelvärdet för den röda färgkanalen ökade med,9, medan det för den gröna och blå kanalen ökade med,29 respektive,45. I färgmodellen HSV uppnådde kanalerna S och V i likhet med R i RGB högsta möjliga medelvärde vid de flesta av ljusnivåerna i experimentet (se figur 5b). Förändringarna av medelvärdet i denna modells färgkanaler låg mellan,26 och,2. I L*a*b* uppvisade kanalen L* liknande förändringar som R i RGB och V i HSV, men uppnådde till skillnad från dessa aldrig det högsta möjliga medelvärdet (se figur 5c). Förändringarna i medelvärdet för a* och b* var,82 respektive,39. Färgmodellen HSV uppvisade i detta experiment något mindre förändringar i sina kanalers medelvärden är de övriga två modellerna. 9

26 RGB vid ökande omgivningsljus. Grönt föremål. Automatiska kamerainställningar inaktiverade.8 Röd Grön Blå L L2 L3 L4 L5 L6 L7 L8 L9 Omgivningsljus (a) HSV vid ökande omgivningsljus. Grönt föremål. Automatiska kamerainställningar inaktiverade.8 H S V L L2 L3 L4 L5 L6 L7 L8 L9 Omgivningsljus (b) L*a*b* vid ökande omgivningsljus. Grönt föremål. Automatiska kamerainställningar inaktiverade.8 L* a* b* L L2 L3 L4 L5 L6 L7 L8 L9 Omgivningsljus (c) Figur 2: Färgkanalernas medelvärden och standardavvikelser för ett grönt föremål vid förändrat omgivningsljus. Kamerans automatiska inställningar för exponering, ljusstyrka och vitbalans är inaktiverade. 2

27 RGB vid ökande omgivningsljus. Gult föremål. Automatiska kamerainställningar inaktiverade Röd Grön Blå L L2 L3 L4 L5 L6 L7 L8 L9 Omgivningsljus (a) HSV vid ökande omgivningsljus. Gult föremål. Automatiska kamerainställningar inaktiverade H S V.2. L L2 L3 L4 L5 L6 L7 L8 L9 Omgivningsljus (b) L*a*b* vid ökande omgivningsljus. Gult föremål. Automatiska kamerainställningar inaktiverade L L2 L3 L4 L5 L6 L7 L8 L9 Omgivningsljus (c) L* a* b* Figur 3: Färgkanalernas medelvärden och standardavvikelser för ett gult föremål vid förändrat omgivningsljus. Kamerans automatiska inställningar för exponering, ljusstyrka och vitbalans är inaktiverade. 2

28 RGB vid ökande omgivningsljus. Grönt föremål. Automatiska kamerainställningar aktiverade.8 Röd Grön Blå L L2 L3 L4 L5 L6 L7 L8 L9 Omgivningsljus (a) HSV vid ökande omgivningsljus. Grönt föremål. Automatiska kamerainställningar aktiverade.8 H S V L L2 L3 L4 L5 L6 L7 L8 L9 Omgivningsljus (b) L*a*b* vid ökande omgivningsljus. Grönt föremål. Automatiska kamerainställningar aktiverade.8 L* a* b* L L2 L3 L4 L5 L6 L7 L8 L9 Omgivningsljus (c) Figur 4: Färgkanalernas medelvärden och standardavvikelser för ett grönt föremål vid förändrat omgivningsljus. Kamerans automatiska inställningar för exponering, ljusstyrka och vitbalans är aktiverade. 22

29 RGB vid ökande omgivningsljus. Gult föremål. Automatiska kamerainställningar aktiverade Röd Grön Blå. L L2 L3 L4 L5 L6 L7 L8 L9 Omgivningsljus (a) HSV vid ökande omgivningsljus. Gult föremål. Automatiska kamerainställningar aktiverade H S V.2. L L2 L3 L4 L5 L6 L7 L8 L9 Omgivningsljus (b) L*a*b* vid ökande omgivningsljus. Gult föremål. Automatiska kamerainställningar aktiverade L L2 L3 L4 L5 L6 L7 L8 L9 Omgivningsljus (c) L* a* b* Figur 5: Färgkanalernas medelvärden och standardavvikelser för ett gult föremål vid förändrat omgivningsljus. Kamerans automatiska inställningar för exponering, ljusstyrka och vitbalans är aktiverade. 23

30 Hue, m:.64 s: Saturation, m:.367 s: Value, m:.87 s: Figur 6: Färghistogram för HSV vid lågt omgivningsljus och med de automatiska kamerainställningarna inaktiverade. Kanalerna Hue och Saturation uppvisar en högre standardavvikelse än övriga sju kanaler i färgmodellerna vid samma ljusnivå. 24

31 4 Sammanfattning och diskussion De genomförda experimenten visar att färghistogram inte påverkas alls, eller påverkas ytterst marginellt av förändrade avstånd mellan kamera och föremål. Förändringarna är däremot stora vid förändrad ljusstyrka i omgivningsljuset. Färgmodellen RGB uppvisar störst förändringar i färghistogrammen, medan förändringarna i både HSV och L*a*b* är synbart mindre. De allra minsta förändringarna i färghistogrammen återfinns under de flesta av experimenten i färgmodellen L*a*b*. Vid förändringar i avståndet mellan kameralins och föremål anses förändringarna i färghistogrammen vara marginella. Detta gäller samtliga färgmodeller och oavsett om kamerans automatiska inställningarna för exempelvis exponering, ljusstyrka och vitbalans var aktiverade eller inte. De små förändringar som trots allt uppstod i färgkanalerna under experimenten antas bero på att ljuset som omgav föremål och kamera indirekt utsattes för viss påverkan när avståndet mellan kamera och föremål ändrades. När kameran flyttades närmare föremålet är det sannolikt att vissa skillnader uppstod i hur omgivningsljuset reflekterades mot exempelvis det aktuella föremålet, rummets väggar, bordsytor eller liknande. Experimenten med förändrad ljusstyrka visade stora förändringar i färghistogrammen, och som väntat var förändringarna störst under experimenten med de automatiska kamerainställningarna inaktiverade. De största förändringarna i färghistogrammen inträffade då i färgmodellen RGB, där samtliga tre färgkanaler uppvisade stora ökningar av medelvärdet i takt med att omgivningsljuset ökade. Detta beteende gällde både under experimentet med det gula föremålet och med det gröna föremålet. Förändringarna var alltså relativt jämt fördelade mellan de olika kanalerna i RGB, vilket inte var fallet i färgmodellerna HSV och L*a*b*. I dessa modeller var förändringarna generellt störst i färgkanalerna V och L*, och mindre i dessa färgmodellernas övriga två kanaler. Standardavvikelsen anses vara låg för de flesta av färgkanalerna under experimenten. Undantagen var färgkanalerna H och S i HSV, där framför allt färgkanalen S uppvisade avsevärt högre standardavvikelser än någon av de övriga färgkanalerna under experimenten som genomfördes med det gröna föremålet. Detta inträffade oavsett om de automatiska kamerainställningarna var aktiverade eller inaktiverade. L*a*b* uppvisade med undantag för kanalen L* små förändringar i färghistogrammen, och modellen avvek från de två andra genom att ingen av dess tre kanaler under något av experimenten uppvisade högsta eller lägsta möjliga medelvärde. Något som inträffade för både RGB och HSV under experimenten med det gula föremålet. Sammanfattningsvis visade experimenten med de automatiska kamerainställningarna inaktiverade att samtliga färgkanaler i RGB uppvisar stora förändringar av medelvärdet vid förändringar i omgivningsljuset. De beteenden som återfanns i färgmodellen HSV var mer fördelaktiga, eftersom färgkanalen H uppvisade avsevärt mindre förändringar i medelvärdet än någon av kanalerna i RGB. Standardavvikelsen för kanalen S var dock hög vid samtliga experiment som genomfördes med det gröna föremålet, vilket inte är ett önskvärt beteende 25

32 vid beräkningar av färghistogram för ett enfärgat föremål. I L*a*b* var färgkanalen L* den enda kanal som uppvisade stora förändringar av medelvärdet vid förändringar i omgivningsljuset, medan både a* och b* uppvisade små förändringar i sina medelvärden och dessutom hade låga standardavvikelser. Detta innebär att L*a*b* var den färgmodell som uppvisade minst förändringar vid förändrat omgivningsljus. Något som gör denna färgmodell intressant för exempelvis objekt-detektering, objekt-identifiering och objekt-spårning i miljöer där omgivningsljuset kan variera. Under experimenten som genomfördes med kamerans automatiska inställningar aktiverade, kompenserade kameran till stor del för förändringarna i omgivningsljuset. Förändringarna i färgkanalernas medelvärden var med dessa kamerainställningar aktiverade synbart mindre än när de var inaktiverade. Det kan därmed konstateras att en kamera med denna typ av funktionalitet bör kunna vara till hjälp när bilder ska genereras i miljöer med varierande omgivningsljus och sedan ligga till grund för beräkningar av färghistogram. Det bör dock påpekas att färgmodellen L*a*b* uppvisade i det närmaste samma stabilitet i sina färgkanaler oavsett om kamerans automatiska inställningar var aktiverade eller inte, om man bortser från kanalen L*. Om de jämförelser som görs mellan olika färghistogram till största delen baseras på färgkanalerna a* och b*, bör en kamera med denna eller liknande funktionalitet således inte vara nödvändig. 26

33 Referenser [] M. J. Swain and D. H. Ballard, Color indexing, Int. J. Comput. Vision, vol. 7, pp. 32, Nov. 99. [2] R. Chakravarti and X. Meng, A study of color histogram based image retrieval, pp , 29. [3] A. K. Jain and A. Vailaya, Image retrieval using color and shape, Pattern recognition, vol. 29, no. 8, pp , 996. [4] M. Mason and Z. Duric, Using histograms to detect and track objects in color video, in Applied Imagery Pattern Recognition Workshop, AIPR 2 3th, pp , IEEE, 2. [5] S. Jeong, Histogram-based color image retrieval, Psych22/EE362 Project Report, 2. [6] J. R. Smith and S.-F. Chang, Tools and techniques for color image retrieval, in Electronic Imaging: Science & Technology, pp , International Society for Optics and Photonics, 996. [7] C. Li, Q. Cao, and F. Guo, A method for color classification of fruits based on machine vision, WSEAS Transactions on Systems, vol. 8, pp , 29. [8] P. Kerminen and M. Gabbouj, Image retrieval based on color matching, Proceedings of FINSIG, vol. 99, pp , 999. [9] Wikipedia, Rgb color space wikipedia, the free encyclopedia, 23. [Online; accessed 23-May-23]. [] Wikipedia, Hsl and hsv wikipedia, the free encyclopedia, 23. [Online; accessed 23-May-23]. [] Wikipedia, Lab color space wikipedia, the free encyclopedia, 23. [Online; accessed 23-May-23]. 27