BILDBEHANDLINGSMETOD INNEFATTANDE BRUSREDUCERING I BILD MED LOKALT ADAPTIV FILTERKÄRNA Author: Stefan Olsson Published on IPQ website: April 10, 2015 Föreliggande uppfinning avser en metod för bildbehandling innefattande brusreducering med lågpassfilter med lokalt adaptiva filterkoefficienter. Därtill avser uppfinningen en anordning för bildbehandling innefattande registreringsanordning för bild, bildbehandlingsenhet, samt bildvisningsenhet för bild. Uppfinningen avser därtill datorprogram innefattande programkod. Uppfinningen avser därtill en datorprogramprodukt innefattande ett datorläsbart medium och ett datorprogram där det datorläsbara mediet innefattar datorprogrammet. Olika lösningar för bildbehandling som exempelvis olika former av filtrering eller förstärkning av detaljer är välkända tekniker får att förbättra en registrerad bilds visualisering. Även olika typer av komprimering av bildinformation är kända, dels för att minska bildens informationsinnehåll, och därmed skapa bilder med mindre informationsmängd, men även för att anpassa bilden för bildens betraktare. En människa har som betraktare en begränsad förmåga att särskilja såväl detaljer som olika färger och gråskalor. Bilder ämnade att visa får människor behöver således enbart en begränsad mängd informationsinnehåll. System för att registrera och visa bilder tagna i förhållanden då dagsljus inte föreligger använder olika former av bildbehandling för att förbättra den registrerade bildens informationsinnehåll Bildbehandling sker företrädesvis genom matematiska metoder på en digital representation av den registrerade bildens informationsinnehåll Vanligt förekommande är att detaljer och kanter i den registrerade bilden förstärks. Ett exempel på bildregistrering då ljusförhållandena är sådana att det är svårt att använda normal optisk utrustning är användandet av JR-video eller JR-fotografering
där IR står för infraröd. Detaljer och struktur i R-video utgörs normalt av små variationer i signalstyrka inom ett lokalt område. Samtidigt kan det totala dynamikomfånget i en enskild bild vara stort. Skillnaden i signalnivå mellan ett kallt område och ett varmt område kan ge upphov till att ca 65000 grå nivåer kan registreras. Typiskt skall denna signal komprimeras så att dess totala dynamikomfång blir 8 bitar eller 256 distinkta grånivåer från svart till vitt för att passa videoformatet och bättre lämpa sig för presentation för operatör eller annan användare av bildinformationen. Orsaken till detta är en anpassning till olika videostandarder samt att en människa enbart kan särskilja runt 100 grånivåer. En ren linjär komprimering av signalen är nästan alltid olämplig då ett litet område med starkt avvikande signalnivå riskerar att använda allt dynamikomfång varpå en bild med i princip ett fåtal färg-och gråskalenivåer fås. Ett vanligt sätt att komma runt detta är att utnyttja bildens histogram (fördelning av signalnivåer) och utifrån detta fastställa lämplig konvertering från t.ex. 16 till 8 bitar så att tillgänglig dynamik inte förbrukas eller används på nivåer där det inte finns någon signal. Även om histogramutjämning är mycket effektiv i många sammanhang så är det i regel svårt att förutse om rätt detaljer verkligen framhävs. Därför används andra metoder som ger mer robusta resultat. En sådan metod är att använda ett kantbevarande lågpassfilter för att ta fram en bakgrundsbild utan detaljer eller struktur och subtrahera denna bild från originalbilden för att på så sätt ta fram de små signalvariationerna där de små signalvariationerna utgörs av detaljerna. Kantbevarande lågpassfilter är kända och ett exempel på ett sådant filter beskrivs i C. Tomasi och R. Manduchi, Bilateral Filtering for Gray and Color Images, Proc. 1998 IEEE 6th Int. Conf.on Computer Vison, Bombay India. Genom att ersätta varje bildpunkts värde med medelvärdet av närliggande bildpunkters värden erhålles en slät bild. Om icke kantbevarande filter används kommer bildpunkter med grannar med kraftigt avvikande signalintensitet att påverkas så att de hamnar på en högre eller lägre nivå än de egentligen borde. En bild som anpassats för visualisering med olika former av bildbehandling har tillförts brus dels genom bildbehandlingsmetoderna samt dels vid registrering av bilden. Det tillförda bruset är oönskat och olika former av metoder för filtrering av
brus förekommer. En välkänd metod är Gaussisk oskärpa där störningar i en bild reduceras genom en matematiskt införd oskärpa genom att pixelvärden, det vill säga bildens minsta enskilda informationsbärare, ersätts med en viktad summa bestämd av en normalfördelning utifrån omgivande pixelvärden. Filter för lokalt eller spatialt anpassad brusreduktion är även känt i exempelvis patentdokument US 2005/0135700 Al som beskriver en metod för brusreduktion baserad på en första och en andra filtrerin av bilden där den första filtreringen nyttjar ett högpassfilter på delar av bilden utifrån en vertikal, horisontell och diagonal gruppering av bildens pixlar och den andra filtreringen är en lågpassfiltrering utifrån en ve1iikal grupperingar om tre rader. Även filter med adaptiv filterkärna är kända och ett exempel på ett sådant filter beskrivs i patentdokument SE 1230022-4 där den adaptiva filterkärnan används för att eliminera ljusringar i bild. Det i patendokument SE 1230022-4 beskrivna filtret visar ej att storleken på filterkärnan anpassas utifrån nivån på kantdetektering för att brusreducera bilden. Problem med de idag kända metoderna för filter för brusreduktion av bildinformation är att uppnå effektiv borttagande av brus samtidigt som de små detaljerna bevaras i de filtrerade bilderna. Ett syfte med föreliggande uppfinning är att föreslå en metod för filtrering av bildinformation så att då en bild kantförstärks så kommer filtreringen att ske med lokalt adaptiva filterkoefficienter för att bevara detaljer i områden i bilden med stor detaljrikedom och ge en hög brusreduktion i områden i bilden med låg detaljrikedom. Genom att filterkärnstorleken är liten i områden med starka kanter kan detaljnivån bevaras och genom att filterkärnstorleken är stor i områden där kanter saknas kan brus undertryckas.
Andra syften med uppfinningen beskrivs mer i detalj i samband med den detaljerade beskrivningen av uppfinningen. Uppfinningen avser en bildbehandlingsmetod för brusreducering med lågpassfilter med lokalt adaptiva filterkoefficienter där följande steg innefattas; 1. en originalbild skaffas, 2. ett kantinformationsmått beräknas för varje bildelement i originalbilden 3. en filterkärnstorlek beräknas utifrån kantinformationsmåttet 4. ett bildelement i originalbilden lågpassfiltreras med ett adaptivt lågpassilter med den beräknade filterkärnstorleken till ett lågpassfiltrerat bildelement, 5. en brusreducerad bild fås av att samtliga av de lågpassfiltrerade bildelementen sammanförs till en bild. Enligt ytterligare aspekter för det förbättrade bildbehandlingsmetoden får brusreducering med lågpassfilter med lokalt adaptiva filterkoefficienter gäller; att ett bildelement utgörs av minst en pixel. att lågpassfiltret är ett gaussiskt filter. att filterkärnstorleken väljs utifrån en uppslagstabell med indata från kantinformationsmåttet. att filterkärnstorleken beräknas utifrån en kärnstorleksalgoritm med indata från kantinformationsmåttet.
att kantinformationsmåttet beräknas med en Sobel-operator. Vidare utgörs uppfinningen av ett datorprogram innefattande programkod där programkoden då den exekveras i en dator åstadkommer att datorn utför bildbehandlingsmetod enligt ovan. Vidare utgörs uppfinningen av en datorprogramprodukt innefattande ett datorläsbart medium och ett datorprogram där det datorläsbara mediet innefattar datorprogrammet. Vidare utgörs uppfinningen av en anordning för bildbehandling innefattande registreringsanordning för bild, bildbehandlingsenhet, samt bildvisningsenhet för bild där; 1. registreringsanordningen skaffar en originalbild, 2. bildbehandlingsenhet beräknar ett kantinformationsmått för vmje bildelement av original bilden, 3. bildbehandlingsenhet beräknar en filterkärnstorlek utifrån kantinformationsmåttet, bildbehandlingsenheten lågpassfiltrerar varje bildelement av originalbilden med ett adaptivt lågpassfilter med filterkärnstorlek till ett lågpassfiltrerat bildelement, 4. bildbehandlingsenheten beräknar en brusreducerad bild genom att sammanföra de från originalbilden lågpassfiltrerade bildelementen, 5. bildvisningsenheten visualiserar den brusreducerade Enligt ytterligare aspekter får det förbättrade anordning får bildbehandling enligt uppfinningen gäller; att ett bildelement utgörs av minst en pixel.
att registreringsanordningen för bild är en IR-kamera. att filterkärnstorleken väljs i bildbehandlingsenheten utifrån en uppslagstabell med indata från kantinformationsmåttet att filterkärnstorleken beräknas i bildbehandlingsenheten utifrån en kärnstorleksalgoritm med indata från kantinformationsmåttet Uppfinningen kommer i det följande att beskrivas närmare under hänvisning till de bifogade figurerna där: Fig. l visar blockschema för bildbehandlingsmetod för brusreducering av bild med lokalt adaptiv filterkärna enligt en utförandeform av uppfinningen. Fig. 2 visar blockschema för komponenter i ett bildbehandlingssystem enligt en utförandeform av uppfinningen. Ett blockschema för bildbehandlingsmetod för brusreducering av bild med lokalt adaptiv filterkärna l enligt uppfinningen visas i fig. l. Bildbehandlingsmetoden utgår från en gruppering av bildinformation till delar av den kompletta digitala bilden vidare kallad originalbild 2. Grupperingen av bildinformation sker företrädesvis i form av en 16 bit ram där ram definierar en uppsättning av digital information i form av ett antal digitala bit. En komplett digital bild delas upp i ett stort antal mindre grupper eller ramar för att enklare kunna bildbehandlas. Bildbehandlingsmetoden får brusreducering med lokalt adaptiv filterkärna 1 utgår ifrån en originalbild 2 som skaffats med lämplig registreringsutrustning, ej vidare beskriven i denna ansökan. Ett block med en kantdetekterande funktion 3 beräknar ett kantinformationsmått utifrån varje bildelement av originalbilden 2. Bildelementet
är företrädesvis en pixel men varje bildelement kan även utgöras av flera pixlar, exempelvis 2, 4, 6 eller 9 pixlar. Kantinformationsmåttet beskriver placering och nivå av en kant i originalbilden 2 eller andra värden relaterat till förändringar i originalbilden 2. Resultaten från den kantdetekterande funktionen 3 behandlas vidare av det adaptiva lågpassfiltret eller LP-filtret 4. Invärden eller styrvärden till det adaptiva lågpassfiltret 4 är en av den kantdetekterande funktionen 3 skapat informationsmått, ett kantinformationsmått, samt bildinformation från originalbilden 2. Resultatet av det adaptiva lågpassfiltret 4 är en lågpassfiltrerad bild 5. Den lågpassfiltrerade bilden skapas genom en signalbehandling eller på andra sätt modifiering av originalbilden 2 utifrån innehållet i kantinformationsmåttet och originalbilden 2 i lågpassfiltret 4. Bilden delas upp i ett antal enheter som därefter lågpassfiltreras i LP-filtret 4. Storleken på de enheter som bilden uppdelas i är företrädesvis en pixel, det vill säga en enskild bildinformationsbärare och den minsta delen av en digital bild. Kantinformationsmåttet bestämmer storleken på det adaptiva lågpassfiltret 4. storleken på det adaptiva lågpassfiltret 4 benämns även kärnstorlek där kärnan har en uppsättning filterkoefficienter. Kärnstorleken, eller filterkoefficienterna, bestäms utifrån distansen från kanten och/eller med intensiteten på kanten. Bestämning av kärnstorleken, eller filterkoefficienterna, sker utifrån kantinformationsmåttet genom en beräkning eller genom uppslag i tabell. I fallet att värdet slås upp i en tabell, även benämnd uppslagstabell eller på engelska look-up-table, så identifieras ett värde i uppslagstabellen utifrån kantinformationsmåttet Uppslagstabellen är sedan tidigare beräknad och anpassad utifrån applikationen och uppslagstabellen lagras i bildbehandlingsutrustningen, exempelvis i en bildbehandlingsenhet 12. Alternativt kan kärnstorleken beräknas med en för ändamålet anpassad algoritm benämnd kärnstorleksalgoritm med kantinformationsmåttet som indata till kärnstorleksalgoritmen. Kärnstorleksalgoritmen kan även benämnas filterkoefficientalgoritm. I områden i bilden med hög andel kanter, och därmed detaljer, blir kärnstorleken liten och detaljerna i bilden bevaras. I områden i bilden med låg andel kanter eller helt i avsaknad av kanter, och därmed med få registrerade detaljer, blir kärnstorleken stor. Den lågpassfiltrerade bilden 5 är kantförstärkt och filtrerad med ett adaptivt filter vilket medfört att bilden har väl definierade konturer utan att brus eller andra störande formationer eller andra avvikelser förekommer i bilden. Den lågpassfiltrerade bilden 5 är en brusreducerad bild av originalbilden 2 där bruset reducerats i områden där detaljrikedomen är låg samtidigt som områden med hög detaljrikedom bevarats. Den lågpassfiltrerade bilden 5 kan komprimeras med lämplig algoritm, exempelvis histogramutjämning, huvudsakligen för att minska informationsinnehållet i den filtrerade lågpassbilden och därmed även reducera
mängden information från originalbilden. Den filtrerade och komprimerade lågpassbilden innehåller företrädesvis mindre information än originalbilden 2 och är anpassad för den aktuella tillämpningen och/eller utrustningen. Exempelvis genom att antalet gråtoner har minskats. Komprimering sker med standardalgoritmer som inte vidare berörs i denna ansökan. I fig. 2 visas ett blockschema för komponenter i ett bildbehandlingssystem l O enligt uppfinningen. Bildbehandlingssystemet l O består av en registreringsanordning 11 som är en bildhämtningsenhet och kan vara en kamera eller bildsensor, en bildbehandlingsenhet 12 samt en bildvisningsenhet 13. Registreringsanordningen 11 registrerar en bild på det mål eller område mot vilket bildhämtningsenheten riktats. Registreringsanordningen 11 är företrädesvis i detta fall en IR-kamera men kan även vara andra typer av bildhämtande utrustning så som kameror eller sensorer. Bildbehandlingsenheten 12 behandlar bilden från registreringsanordningen 11 med för ändamålet lämpliga algoritmer. Exempel på lämpliga algoritmer är kantförstärkning, komprimering, brusreducering och andra typer av filtreringsalgoritmer respektive bildmodifieringsalgoritmer. Dä1till kan filtreringsalgoritmerna vara skalbara och filterkärnan eller filterkärnorna kan vara modifierbara. Bildbehandlingen utförs företrädesvis i programmerbar elektronik innefattande mikroprocessorer och/eller signalprocessorer. Bildbehandlingsenheten 12 utgörs således av anordning för hantering, av bildinformation från registreringsanordningen 11, anordning för att bildbehandla bildinformationen från bildhämtningsenheten samt anordning för att överföra den bildbehandlade bildinformationen till en bildvisningsenhet 13. Bildvisningsenheten 13 kan utgöras av en display eller annan optisk visualiseringsutrustning anpassad utifrån bildbehandlingssystemets l O användning och installation. Uppfinningen är inte begränsad till de speciellt visade utföringsformerna utan kan varieras på olika sätt inom patentkravens ram. Det inses att ovan beskrivna metoden för bildbehandling och/eller den anordning för registrering av bild, bildbehandling och presentation av
bildbehandlad bild kan tillämpas för i princip alla bildbehandlingssystem som IRkameror, kameror eller andra optiska sensorer för alla tänkbara våglängdsområden. PATENTKRAV 1. Bildbehandlingsmetod för brusreducering med lågpassfilter med lokalt adaptiva filterkoefficienter kännetecknad av att följande steg innefattas; 1. en originalbild skaffas, 2. ett kantinformationsmått beräknas för varje bildelement originalbilden, 3. en filterkärnstorlek beräknas utifrån kantinformationsmåttet, 4. ett bildelement i originalbilden lågpassfiltreras med ett adaptivt lågpassfilter med den beräknade filterkärnstorleken till ett lågpassfiltrerat bildelement 5. en brusreducerad bild fås av att samtliga av de lågpassfiltrerade bildelementen sammanförs till en bild. 2. Bildbehandlingsmetod enligt krav 1 kännetecknad av att ett bildelement utgörs av minst en 3. Bildbehandlingsmetod enligt något av krav 1 till 2 kännetecknad av att lågpassfiltret är ett gaussiskt 4. Bildbehandlingsmetod enligt något av krav l till 3 kännetecknad av att filterkärnstorleken väljs utifrån en uppslagstabell med indata från kantinformationsmåttet. 5. Bildbehandlingsmetod enligt något av krav 1 till 3 kännetecknad av att filterkärnstorleken beräknas utifrån en kärnstorleksalgoritm med indata från kantinformationsmåttet.
6. Bildbehandlingsmetod enligt något av krav 1 till 5 kännetecknad av att kantinformationsmåttet beräknas med en Sobel-operator. 7. Datorprogram innefattande programkod där programkoden då den exekveras i en dator åstadkommer att datorn utför bildbehandlingsmetod enligt något av patentkrav 1 6. 8. Datorprogramprodukt innefattande ett datorläsbart medium och ett datorprogram enligt patentkrav 7 där det datorläsbara mediet innefattar datorprogrammet. 9. Anordning för bildbehandling innefattande registreringsanordning (11) för bild, bildbehandlingsenhet (12), samt bildvisningsenhet (13) för bild kännetecknad av att; 1. registreringsanordningen (11)skaffar en originalbild, 2. bildbehandlingsenhet (12) beräknar ett kantinformationsmått för varje bildelement av originalbilden, 3. bildbehandlingsenhet (12) beräknar en filterkärnstorlek utifrån kantinformationsmåttet, 4. bildbehandlingsenheten (12) lågpassfiltrerar varje bildelement av originalbilden med ett adaptivt lågpassfilter med filterkärnstorlek till ett lågpassfiltrerat bildelement, 5. bildbehandlingsenheten (12) beräknar en brusreducerad bild genom att sammanföra de från originalbilden lågpassfiltrerade bildelementen, 6. bildvisningsenheten (13) visualiserar den brusreducerade 10. Anordning för bildbehandling enligt krav 9 kännetecknad av att ett bildelement utgörs av minst en
11. Anordning för bildbehandling enligt något av krav 9 till 10 kännetecknad av att registreringsanordningen (11) för bild är en IR-kamera. 12. Anordning för bildbehandling enligt något av krav 9 till 11 kännetecknad av att filterkärnstorleken väljs i bildbehandlingsenheten (12) utifrån en uppslagstabell med indata från kantinformationsmåttet. 13. Anordning för bildbehandling enligt något av krav 9 till 11 kännetecknad av att filterkärnstorleken beräknas i bildbehandlingsenheten (12) utifrån en kärnstorleksalgoritm med indata från kantinformationsmåttet SAMMANFATTNING Uppfinningen avser en bildbehandlingsmetod för brusreducering med lågpassfilter med lokalt adaptiva filterkoefficienter där följande steg innefattas; (a) en originalbild skaffas, (b) ett kantinformationsmått beräknas får varje bildelement i originalbilden, (c) en filterkärnstorlek beräknas utifrån kantinformationsmåttet, (d) ett bildelement i originalbilden lågpassfiltreras med ett adaptivt lågpassfilter med den beräknade filterkärnstorleken till ett lågpassfiltrerat bildelement, (e) en brusreducerad bild fås av att samtliga av de lågpassfiltrerade bildelementen sammanförs till en bild. Uppfinningen avser därtill datorprogram innefattande programkod. Uppfilmingen avser därtilll en datorprogramprodukt innefattande ett datorläsbart medium och ett datorprogram där det datorläsbara mediet innefattar datorprogrammet. Uppfinningen avser därtill en anordning för bildbehandling innefattande registreringsanordning för bild, bildbehandlingsenhet, samt bildvisningsenhet för bild kännetecknad av att; (a) registreringsanordningen skaffar en originalbild, (b) bildbehandlingsenhet beräknar ett kantinformationsmått for varje bildelement av
originalbilden, (c) bildbehandlingsenhet beräknar en filterkärnstorlek utifrån kantinformationsmåttet, (d) bildbehandlingsenheten lågpassfiltrerar varje bildelement av originalbilden med ett adaptivt lågpassfilter med filterkärnstorlek till ett lågpassfiltrerat bildelement, (e) bildbehandlingsenheten beräknar en brusreducerad bild genom att sammanföra de från originalbilden lågpassfiltrerade bildelementen, (f) bildvisningsenheten visualiserar den brusreducerade bilden.