Projekt i danalys Trafikövervakning F 99 F 00 Handledare : Håkan Ardö Hösten 3 vid Lunds Tekniska Högskola Abstract Using traffic surveillance cameras the authorities can get information about the traffic in for example intersections. They can monitor the behaviour of the road-users, and get the number of cars passing and how fast these cars move. In this work we develop an automatic segmentation and classification of the cars in an intersection in Lund. The project is done in the course Image analysis at Lund Institute of Technology. The algorithm is written in MatLab and succeeds to find and mark the cars in the images using criterias of area and speed. 1
Innehåll 1 Introduktion 3 2 Metod 3 3 Resultat 4 4 Diskussion 5 A Bilder 6 2
1 Introduktion Allt fler vägkorsningar blir utrustade med övervakningskameror. Bland dem som är intresserade av filmerna finns exempelvis Vägverket, som vill veta hur hårt trafikerade korsningar är. Även polisen kan ha nytta av kamerorna för att kunna kontrollera att trafikanterna följer lagen. Informationen som fås från en övervakningskamera i en korsning måste analyseras innan den kan användas. Till exempel vill man veta vad som rör sig i den, och hur fort det rör sig. För att slippa tillbringa många timmar framför derna för att manuellt extrahera information, vore det bra om det fanns ett datorprogram som gjorde det automatiskt. Vårt projekt är gjort inom kursen Bildanalys vid Lunds tekniska högskola. Vi har segmenterat ut fordon ur derna och sedan försökt skilja ut de som är ar. Den data vi hade bestod i en 40 minuter lång filmsekvens som visade korsningen Sölvegatan Tornavägen i Lund. Objekten segmenterades genom att bakgrunden subtraherades från derna, och fordonen klassificerades utifrån area och hastighet. Inga ar missades men ibland fick brus eller en cyklist felaktigt markeringen. 2 Metod De första minuterna av filmen från övervakningskameran sparades som 0 der. Dessa skalades ner till halva storleken för att beräkningarna skulle gå fortare. En bakgrundsd beräknades genom att alla der adderades och summan dividerades med antalet der. På så sätt erhölls en medelvärdesd. Denna d visar bara statiska föremål som vägbanan, lyktstolpar och hus eftersom trafikanter bara befinner sig på samma ställe i ett litet antal der. Denna beräkning tog ganska lång tid men behövde bara göras en gång, eftersom bakgrundsden sedan sparades och användes i alla senare beräkningar. Ur den första den segmenterades vägbanan manuellt, för att slippa att rörelser utanför vägbanan störde beräkningarna. MatLab-funktionen roipoly användes för att skapa en binär mask som sedan sparades. För varje d som laddades in subtraherades bakgrunden och masken lades på. När en d laddats in trösklades den så att alla pixlar med intensitet över 0,065 fick intensitet 1 och alla andra fick intensitet 0. För att ta bort små brusfläckar gjordes öppning på den med hjälp av MatLab-funktionen bwareaopen. För att göra områdena mer sammanhängande användes sedan dilatation med strukturelementet line i MatLab. Slutligen användes bwlabel för att ge varje område ett identifikationsnummer. I en sidofunktion beräknades tyngdpunkten och arean för varje objekt i den. Först eliminerades alla objekt som bestod av mindre än pixlar. För de som var kvar beräknades mittpunkten i x-led och y-led, samt arean som det antal pixlar objektet bestod av. Dessa tre variabler sparades i vektorer. Det största objektets data sparades på plats ett i vektorerna och därefter sorterades datan in efter minskande storlek på objekten. 3
För att kunna jämföra fordonens placering i olika der sparades x- och y- koordinaterna i två matriser. På första raden i matriserna lades koordinaterna för objekten i den första den och så vidare. För att kunna följa fordonen genom flera der behövde varje koordinat läggas in under den som troligast motsvarade det fordonet i förra den. För att kunna göra detta beräknades ytterligare en matris, i vilken de euklidiska avstånden mellan alla mittpunkter i den förra den och alla mittpunkter i den aktuella den sparades. För att para ihop koordinaterna söktes först det minsta avståndet i matrisen upp. De två tyngdpunkter som hade detta avstånd antogs höra ihop och sorterades in under varandra. För att inte det valda fordonet i den aktuella den skulle kopplas ihop med fler fordon i den gamla den sattes alla avstånd till det valda fordonet till oändligt stora. Sedan upprepades proceduren tills det minsta avståndet var större än 40 pixlar. Alla fordon i den aktuella den som ännu inte blivit ihopkopplade med något i den gamla den antogs vara nya, det vill säga just ha dykt upp. Koordinaterna för dessa lades in längst till höger i matriserna. I ytterligare en sidofunktion undersöktes om objekten var ar eller inte. Två kriterier användes, area och fart. Eftersom den inte var rektifierad utan en perspektivd var ar närmast kameran betydligt större än ar långt bort. Därför behövdes olika kriterier för vad som var en normal storlek. Om objektet befann sig på den övre halvan av den och var större än pixlar antogs det vara en, men på den undre halvan av den var tröskelvärdet 400. Om objektet rörde sig fortare än ett visst tröskelvärde skulle det också klassificeras som en. För var tionde d beräknades det euklidiska avståndet mellan koordinaterna för ett objekt i den och samma objekt tio der tidigare. Om detta avstånd var större än 10 pixlar antogs objektet vara en. För att visualisera resultatet visades den dilaterade den med röda cirklar (beräknade med MatLab-funktionen ellipse) kring objektens mittpunkter. Vid de objekt som klassats som ar skrevs texten ut. 3 Resultat Figur 1 visar d nummer av de 0 derna. I detta ögonblick finns fyra ar och två cyklister i korsningen. Bakgrundsden visas i figur 2. I denna syns inga fordon, utan bara statiska föremål. I den har vägbanan segmenterats. Figur 3 visar d efter att bakgrunden subtraherats. Bara fordonen finns kvar. När den trösklats, öppnats och dilaterats ser den ut som i figur 4. Bilden är binär, en del brus har plockats bort och fordonen hänger ihop. Efter att alla element mindre än pixlar tagits bort ser den ut som i figur 5. I figur 6 har banan för en av tyngdpunkterna följts i tio der och är utritad som ett streck i figuren. Figur 7 visar vilka objekt som klassas som ar om areakriteriet helt tagits bort. Runt de beräknade tyngdpunkterna är cirklar utritade, och de objekt som klassats som ar är märkta med ordet. Det enda som nu avgör om ett objekt är en är hur fort det rör sig, och den stillastående en i övre vänstra hörnet (som väntar på grönt ljus) blir felklassificerad. Figur 8 visar slutligen hur d ser ut när algoritmen klassificerat fordonen efter både area och hastighet. 4
4 Diskussion Bakgrundsden beräknades på alla 0 der för att få bästa möjliga resultat. Beräkning med ett lägre antal der hade gått snabbare men gett ett brusigare resultat eftersom en som till exempel väntar på grönt ljus då är med i en större del av derna och kommer med i bakgrundsden. När bakgrundsden sedan subtraheras från en d där en inte är med kommer det att se ut som om det står en där i alla fall. Omvänt kommer en inte att komma med i de der när den faktiskt finns där. Eftersom beräkningen bara behövde göras en gång gjorde det inte så mycket att det tog lång tid. När derna laddats in och bakgrundsden subtraherats trösklades de eftersom det är enklare att arbeta med binära der. Sedan gjordes en öppning på derna eftersom små brusfläckar då försvinner. Dilatationen gjorde att områdena hängde bättre ihop och att vi fick färre områden att identifiera. Trots dessa åtgärder ser man vid en jämförelse av figur 3 och figur 5 att en större brusfläck ändå följt med. Denna kommer troligen av trädskuggornas rörelse på vägbanan. Problemet är att fläcken är så stor att en algoritm som hade tagit bort den också hade tagit bort den stillastående cykeln bredvid. Tittar man i originalden (figur 1) ser man att det finns en cyklist mitt i korsningen. Tyvärr blir det objektet så litet att det filtreras bort. I figur 4 finns det fortfarande kvar men i figur 5 är objektet borta. Hade så små element släppts igenom hade figur 5 haft betydligt fler brusfläckar. Eftersom man alltid förlorar information när man filtrerar är det en svår avvägning att bestämma hur hög tröskel man ska ha. Vår algoritm lyckades klassificera arna ganska bra. Inga ar missades, men däremot klassificerades en del objekt felaktigt som ar. Ett problem är att skuggorna rör sig likadant som objekten, och ett litet objekt med en stor skugga ser därför större ut i vår segmentering. Problemet med att trädkronorna rör sig i vinden har vi undkommit genom den manuella segmenteringen i början. Tyvärr kastar träden skuggor på vägbanan, och rörelseartefakter finns därför kvar. Ett annat segmenteringsproblem uppstår eftersom den är en perspektivd, vilket medför att objekt kan täcka varandra och ser då i vår segmentering ut som ett objekt. Genom att rektifiera derna, det vill säga titta mer uppifrån, hade man kunnat minska detta problem. Strecket i figur 6 visar att algoritmen lyckats följa ett objekt i tio der. Detta var inte helt lätt. Om inte tillräckligt många pixlar är sammanhängande uppfattar algoritmen att objektet har försvunnit. När området i någon d senare är tillräckligt stort tror programmet att det är en ny och börjar en ny följning. En jämförelse av figur 7 och 8 visar tydligt att både hastighet och area måste tas i beaktande då objekten klassificeras. En stillastående blir inte klassificerad som om bara hastigheten används, trots att den är stor nog för enkelt klassificeras rätt utifrån area. Hastigheten behövs till exempel för att ar som är delvis dolda (och därför ser mindre ut), men ändå rör sig fort ska kunna klassificeras rätt. 5
A Bilder 300 3 400 4 0 5 300 400 0 600 700 Figur 1: Bild nummer i originalserien. 6
300 3 Figur 2: Bakgrundsden beräknad som medelvärdet av 0 der. Vägbanan är manuellt segmenterad och bara statiska föremål syns. 300 3 Figur 3: Bild nummer när bakgrunden subtraherats bort. Bara fordonen har blivit kvar. 7
300 3 Figur 4: Bild nummer efter att bakgrunden subtraherats bort och återstoden trösklats, öppnats och dilaterats. 300 3 Figur 5: Den trösklade den efter att objekt mindre än pixlar tagits bort. Detta är den d programmet jobbar med. De fyra arna och en cyklist syns tydligt. Den andra cyklisten har försvunnit. Dessutom finns en brusfläck (förmodligen orsakad av trädskuggornas rörelse) fortfarande kvar. 8
300 3 Figur 6: Den färdigmanipulerade den. Strecket i en i mitten visar hur ens tyngdpunkt rört sig under 10 der. 300 3 Figur 7: Objektens tyngdpunkter visas med cirklar och objekten har klassificerats bara utifrån sina hastigheter. Bilen till vänster som väntar på grönt ljus blir felklassificerad. Den väntande cyklisten och bruset blir omärkt, vilket är korrekt. 9
300 3 Figur 8: Den slutgiltiga den när algoritmen är färdig och arna klassificerats utifrån area och hastighet. Alla ar har hittats och klassificerats rätt. Tyngdpunktsberäkningen har hittat alla objekt. 10