Sensorsystem för urban miljö Årsrapport 2007

Sensorsystem för urban miljö Årsrapport 2007 Stefan Nilsson (editor) FOI är en huvudsakligen uppdragsfinansierad myndighet under Försvarsdepartementet. Kärnverksamheten är forskning, metod- och teknikutveckling till nytta för försvar och säkerhet. Organisationen har cirka 1000 anställda varav ungefär 800 är forskare. Detta gör organisationen till Sveriges största forskningsinstitut. FOI ger kunderna tillgång till ledande expertis inom ett stort antal tillämpningsområden såsom säkerhetspolitiska studier och analyser inom försvar och säkerhet, bedömning av olika typer av hot, system för ledning och hantering av kriser, skydd mot och hantering av farliga ämnen, IT-säkerhet och nya sensorers möjligheter. FOI Totalförsvarets forskningsinstitut Tel: 013-37 80 00 www.foi.se Sensorsystem Fax: 013-37 81 00 Box 1165 581 11 Linköping FOI-R--2360--SE Teknisk rapport Sensorsystem ISSN 1650-1942 December 2007

Stefan Nilsson (editor) Sensorsystem för urban miljö Årsrapport 2007

Titel Sensorsystem för urban miljö - Årsrapport 2007 Title Sensor systems for urban environment - Annual report 2007 Rapportnr/Report no FOI-R--2360--SE Rapporttyp Report Type Teknisk rapport Technical report Utgivningsår/Year 2007 Antal sidor/pages 52 p ISSN ISSN 1650-1942 Kund/Customer Försvarsmakten Forskningsområde Programme area Delområde Subcategory Projektnr/Project no Godkänd av/approved by 4. Sensorer och signaturanpassning 4. Sensors and Low Observables 42. Sensorer 42. Above surface Surveillance, Target acquisition and Reconnaissance E3087 Björn Larsson Totalförsvarets Forskningsinstitut FOI Avdelningen för Sensorsystem Box 1165 581 11 Linköping 2

Innehållsförteckning SAMMANFATTNING 5 SUMMARY 6 1. FÖRORD 7 2. PROJEKTFAKTA 7 2.1. MOTIV 7 2.2. MÅL OCH KUNDNYTTA 7 2.3. MILSTOLPAR 7 2.4. PROJEKTBUDGET 8 2.5. PROJEKTMEDARBETARE 8 2.6. INTERNATIONELL SAMVERKAN 9 2.6.1. NATO-SET-076 RTG 44 Sensors for urban operations 9 2.6.2. NATO-SET-ET-058 Multi-sensor integration for Urban Operations 9 2.7. NATIONELL SAMVERKAN 10 2.8. UTGIVNA PUBLIKATIONER 10 2.9. ÖVERSIKT AV 2007 ÅRS VERKSAMHET 11 3. ÖVERVAKNING AV FOLKSAMLINGAR 13 3.1. BILDALSTRANDE SENSORER 13 3.2. MÄTNINGAR MOT BEVÄPNADE PERSONER 14 3.3. MÄTRESULTAT 16 3.4. DATAFUSION 17 3.4.1. Framtagning av siluetter i bildalstrande sensorer 18 3.4.2. Sensordatafusion 18 3.4.3. Mätdata från fältförsök 19 3.4.4. Fortsatt arbete år 2008 19 4. KONTINUERLIG ÖVERVAKNING 20 4.1. INLEDNING 20 4.2. AKTIVITETER, ÖVERSIKT 20 4.3. SAMVERKAN OCH SCENARIO 21 4.4. SPATIELLT HÖGUPPLÖST AKUSTIK 21 4.5. BILDBEHANDLING 24 4.6. FUSION I TRÅDLÖST NÄTVERK 24 5. AVVIKELSEDETEKTION 26 5.1. INLEDNING 26 5.2. SCENARIO OCH DEMONSTRATION 27 5.3. AVVIKELSEDETEKTION I AKUSTIK OCH I BILDER 28 5.3.1. Akustik 28 5.3.2. Video och Termisk IR 28 5.4. OLIKA TYPER AV METODER FÖR AVVIKELSEDETEKTION 29 5.5. AVVIKELSEDETEKTION OCH SAMMANSTÄLLNING AV EN LÄGESBILD 31 5.6. STATISTISKA METODER FÖR AVVIKELSEDETEKTION 32 5.6.1. Shapiro-Wilk test för Gaussiskhet 33 5.6.2. Stationäritet 33 5.6.3. Grubbs test för outliers 34 5.7. SYSTEMKRAV 34 5.8. FORTSATT ARBETE 36 3

6. FÄLTFÖRSÖK: KONTINUERLIG ÖVERVAKNING OCH AVVIKELSEDETEKTION 37 6.1. INLEDNING 37 6.2. INSAMLINGSUTRUSTNING 37 6.3. SCENER 38 7. INHÄMTNING AV LÄGESBILD 39 7.1. INLEDNING 39 7.2. NIVÅER FÖR LÄGESBILD 39 7.2.1. Nivå 1 - Lägesbild för planering 39 7.2.2. Nivå 2 - Lägesbild för framryckning 39 7.2.3. Nivå 3 - Lägesbild vid kartläggning 40 7.3. KARTLÄGGNING AV SENSORER FÖR INSAMLING AV DATA 40 7.3.1. Satelliter 40 7.3.2. Flygspaning 41 7.3.3. Bi- och monostatisk SAR för kartläggning av yttre och inre strukturer i byggnader 42 7.4. FÖRSLAG PÅ FORSKNINGSVERKSAMHET 44 8. RED AND BLUE FORCE TRACKING 45 8.1. ALLMÄNT 45 8.2. INRIKTNING LASER 46 8.2.1. Möjliga sensorsystem för Kontrollplats (Check-point) 46 8.2.2. Möjliga sensorsystem för Kontroll av byggnad 47 8.3. INRIKTNING EO 47 8.4. INRIKTNING RADAR 48 8.4.1. Bi- och monostatisk SAR för kartläggning av yttre och inre strukturer i byggnader 48 8.4.2. Positionsbestämning med RFID 49 9. REFERENSER 51 4

Sammanfattning Föreliggande rapport redovisar genomförda aktiviteter och framkomna resultat under år 2007 för det treåriga FM-projektet "Sensorsystem för urban miljö". Projektet syftar till att studera och värdera hur olika kombinationer av sensorsystem i nätverk kan bidra till en förbättrad militär situationsuppfattning i den urbana miljön, jämfört med vad de enskilda sensorerna var för sig kan uppnå. Projektet använder expertis och resultat som genereras från FOIs olika teknikprojekt. En målsättning är att de slutsatser som uppnås inom projektet bidrar till att inrikta forskningen inom området. Tillsammans med militär expertis har fyra urbana huvudförmågor valts ut: Kontinuerlig övervakning, Kontroll av folkmassa, Lägesbild samt Red and blue force tracking. Detektion av avvikelser från normalbilden är en viktig förmåga som griper över alla typscenarier. Avvikelsedetektion drivs därför som ett eget delprojekt. Delstudier har genomförts som inventerat sensorbehoven för Lägesbild och Red and blue force tracking samt givit förslag på systeminriktad forskningsverksamhet. Inom delprojekten Kontinuerlig övervakning och Kontroll av folkmassa har omfattande mätkampanjer med multisensorsystem genomförts. Insamlat mätdata kommer att användas för att utvärdera en ny operatörsvänlig multisensorfusionsmetod för detektion av vapen gömda under kläder samt för att utvärdera hur sensordata från en kombination av visuella övervakningskameror och akustiska sensorer kan öka möjligheten till robust följning av intressanta personer, detektera avvikande händelser etc. Nyckelord: sensorsystem, sensornätverk, urban miljö, avvikelsedetektion, lägesbild kontinuerlig övervakning, red and blue force tracking, kontroll av folkmassa 5

Summary This report describes the activities carried out and the results produced in the year 2007 for the three-year Armed Forces project Sensor systems for urban environment. The project aims at studying and evaluating how various combinations of sensor systems in networks can contribute to an improved military situation awareness in the urban environment, in comparison with what the individual sensors can attain separately. The project uses expertise and results generated by FOI's various technique projects. An objective is that the conclusions reached in the project will contribute to directing the research in the area. Together with military expertise, four urban main abilities have been chosen: "Continuous Surveillance", "Crowd Control", "Situation Picture", and "Red and Blue Force Tracking". Detection of departures from the normal picture is an important capacity that includes all the type scenarios. "Anomalies Detection" is therefore carried out as a sub- project of its own. Partial studies have been carried out that have inventoried the sensor needs for "Situation Picture" and "Red and Blue Force Tracking", and have given proposals for system-biased research activities. In the sub-projects "Continuous Surveillance" and "Crowd Control" extensive measurement campaigns have been carried out with multi-sensor systems. The collected measurement data will be used to evaluate a new operator-friendly multi-sensor fusion method for detection of weapons concealed under clothing and to evaluate how the sensor data from a combination of visual surveillance cameras and acoustic sensors can increase the possibility for robust tracking of interesting persons, detect deviant events etc. Keyword: Sensor Systems, Sensors in Network, Urban Environment, Anomalies Detection, Situation Picture, Continuous Surveillance, Red and Blue Force Tracking, Crowd Control. 6

1. Förord Föreliggande årsrapport redovisar genomförda aktiviteter och framkomna resultat under 2007 för det 3-åriga FM-projektet "Sensorsystem för urban miljö" (2006-2008). Rapporten har sammanställts av PL Stefan Nilsson utgående från underlag skrivna av följande personer: Maria Andersson, Marie Andersson, Tomas Chevalier, Martin Holmberg, Anders Gustavsson, Andris Lauberts, Dietmar Letalick, Lage Svensson, Fredrik Lantz, David Lindgren, Stefan Nilsson, Johan Rasmusson och Johan Öhgren, 2. Projektfakta 2.1. Motiv Projektet kommer att vara systeminriktat och inriktas mot att värdera samverkande sensorsystem i nätverk för urban miljö där olika sensortekniker kombineras. Projektet har i samverkan med representanter från försvarsmakten tagit fram ett antal typsituationer i vilka dessa sensorsystem testas. De typsituationer som anges i denna projektplan skall regelbundet stämmas av med kunden då behovsbilden snabbt kan förändras. Projektet arbetar med olika tekniker som kan användas för att stödja operatörer i de valda typsituationerna. I vissa fall finns behov av teknik som ännu inte är mogen, varför arbetet sker med sikte på att ge nytta på längre sikt. För andra typsituationer kan stöd fås av teknik som är betydligt mer mogen. I dessa fall kommer projektet att kunna ge nytta för Försvarsmakten på kortare sikt. Projektet drar nytta av den verksamhet som bedrivs i andra teknikprojekt, och fokus på arbetet i detta projekt blir att studera hur dessa tekniker kan komplettera varandra samt på metodik och teknik för att detta ska kunna ske. 2.2. Mål och kundnytta I projektet ska för ett antal typsituationer värderas hur samverkande sensorsystem i nätverk kan öka förbands situationsuppfattning i den urbana miljön. Projektets mål är att utifrån dessa slutsatser inrikta framtida forskning inom området. Nyttan för försvarsmakten förväntas bli att genom en bättre situationsuppfattning öka förmågan att snabbt och effektivt lösa givna uppgifter i en urban miljö. Dessutom förväntas säkerheten för egen personal kunna öka. 2.3. Milstolpar Leveranstidpunkt Beskrivning Kvartal 2 Memo - Lägesrapport Kvartal 3 Memo - Konferensbidrag till relevant vetenskaplig konferens Kvartal 4 Årsrapport med inriktning av Demo 2008 7

2.4. Projektbudget År Budget (kkr) 2006 6000 2007 6000 2008 6700 2.5. Projektmedarbetare Följande personer har under året arbetat inom projektet: Namn Avdelning Institution Ahlberg, Jörgen Sensorsystem Sensorvärdering Andersson Marie Sensorsystem Optroniksystem Andersson, Maria Ledningssystem Lednings- och beslutsstöd Andersson, Thord Sensorsystem Sensorinformatik Carlsson, Elisabeth Sensorsystem Sensorvärdering Chevalier, Tomas Sensorsystem Sensorinformatik Gustavsson, Anders Sensorsystem Radarsystem Habberstad, Hans Sensorsystem Optroniksystem Hemström, Fredrik Sensorsystem Sensorinformatik Holmberg, Martin Ledningssystem Lednings- och beslutsstöd Karlsson, Nils Sensorsystem Sensorvärdering Kjellgren, Jan Sensorsystem Radarsystem Lantz, Fredrik Ledningssystem Lednings- och beslutsstöd Lauberts, Andris Ledningssystem Lednings- och beslutsstöd Letalick, Dietmar Sensorsystem Optroniksystem Lindell, Roland Sensorsystem Optroniksystem Lindgren, David Ledningssystem Lednings- och beslutsstöd Lunden, Olof Sensorsystem Sensorteknologi Nilsson, Stefan Sensorsystem Radarsystem Nygårds, Jonas Ledningssystem Lednings- och beslutsstöd Persson, Leif Försvars- och säkerhetssystem Undervattensforskning Rasmusson, Johan Sensorsystem Radarsystem Sume, Ain Sensorsystem Radarsystem Svensson Lage Sensorsystem Sensorvärdering Wadströmer, Niclas Sensorsystem Sensorinformatik Wellander, Niklas Sensorsystem Sensorvärdering Öhgren, Johan Sensorsystem Optroniksystem Örbom, Anders Sensorsystem Radarsystem Observera att personer som gjort mindre punktinsatser motsvarande någon dags arbete har utlämnats i ovanstående förteckning. 8

2.6. Internationell samverkan 2.6.1. NATO-SET-076 RTG 44 Sensors for urban operations Från starten 2004 har FOI arbetat inom NATO-SET-076 RTG 44 Sensors for urban operations. Stefan Nilsson och Lage Svensson har representerat Sverige. Övriga deltagande länder är Frankrike, Canada, USA, Storbritannien, Sverige, och Nederländerna (2004-06). Gruppens arbete syftar till att identifiera "technical gaps" och forskningsbehov avseende sensorsystem för urban miljö. I arbetet beaktas såväl teknisk expertis och slutanvändarbehov. I detta sammanhang har också radarsensorer för väggpenetration behandlats. Medverkan finansierades från början av projektet "Sensorteknik för urban miljö" och senare av "Radarsensorer för urban miljö". Under 2007 har finansieringen emellertid utgått från projektet "Sensorsystem för urban miljö". Under årens lopp har sex stycken arbetsmöten och en workshop hållits. Den 11 maj 2007 redovisades en översikt av arbetet för SET-panel. NATO-gruppen kommer att avslutas i samband att slutrapporten utges, vilket enligt plan ska ske före årsskiftet. Kommentarer från detta arbete redovisas mer detaljerat i en kommande rapportering. 2.6.2. NATO-SET-ET-058 Multi-sensor integration for Urban Operations Som en fortsättning på NATO-SET-076 RTG 44 har ett Exploratory Team bildats och det första mötet sker den 15-16 januari 2008 i RTAs lokaler, Neuilly-sur-Seine, France. FOI medverkar med två representanter och dessa finansieras genom projektet "Sensorsystem för urban miljö". Förutom Sverige deltar också USA, Storbritannien, Canada och Schweiz. Miltära operationer i urban miljö innebär många utmaningar för existerande sensorer. Ett gemensamt resultat från studier och försök visar att ingen enskild sensor kan användas för att lösa alla problem. Mycket forskning är inriktad mot att undersöka hur man bäst kan kombinera sensorer i en nätverksstruktur och hantera insamlat data. Det återstår mycket forskningsarbete för att optimera sensorer att arbeta tillsammans med ömsesidig återkoppling av information, med avsikt att uppnå en högre tillförlitlighet i registrering av händelser eller vid identifiering av målobjekt. Detta är nödvändigt från såväl en ensam multisensor-plattform som ett distribuerat sensornätverk. Operationer i urban miljö kommer att fortsätta att testa gränserna för sensorteknologien. Den nu aviserade gruppen kommer att med ledning av pågående arbeten bestämma grundförutsättningen för att starta ett treårigt forskningsprojekt (Task group) inom området. Den efterföljande gruppen kommer att kartlägga existerande sensorer och undersöka hur resultat från en sensor kan återkopplas till andra sensorer för att ge en förbättrad situationsuppfattning. Målsättningen är att sedan testa framkomna slutsatser i ett kontrollerat fältförsök. Exploratory team kommer att använda de resultaten från SET-076 och IST-046 tillsammans med tillgänglig expertis i gruppen för att välja ut ett eller flera urbana scenarier vilka innebär betydande sensorutmaningar. Genom att ta del av pågående forskning inom området etableras kunskap om state-of-the-art. 9

2.7. Nationell samverkan Interaktionen med projektets referensgrupp (FOI, FM och FMV) är en viktig kanal för att avrapportera och vid behov ominrikta delar av projektets forskningsverksamhet. Denna samverkan avses stärkas ytterligare. Projektet har visst samarbete med universitet och högskola - främst då KTH, LiU och UU. 2.8. Utgivna publikationer Under året har 7 stycken publikationer utgivits i projektets regi. Två av dessa är FOIrapporter och fem är FOI Memo. Nr Beskrivning 1. Kjellström, H., Grauman, K., Darrell, T.: "Non-Parametric Detection of Motion Anomalies with Large Databases", in preparation for the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2008. FOI Sensorsystem, Linköping, FOI Memo 2148, September 2007. 2. Svensson, L.: Sensorsystem för urban miljö - Lägesredovisning, FOI Sensorsystem, Linköping, FOI Memo 2089, Juni 2007. 3. Nilsson, S. et al.: "Sensorsystem för urban miljö - Årsrapport 2007", FOI Sensorsystem, Linköping, Teknisk rapport, FOI-R--2360--SE, December 2007. 4. Chevalier, T., Andersson, M., Gustavsson, A., Rasmusson, J.: "Lägesbildsunderlag inför insatser i urban miljö", FOI Sensorsystem, Linköping, Teknisk rapport, FOI-R--2385--SE, December 2007. 5. Lindgren, D., Svensson, L., Lauberts, A., Lantz, F.: "Kontinuerlig övervakning och avvikelsedetektion i urban miljö - inledande studie", FOI Memo 2252, December 2007. 6. Lindgren, D., Lantz, F.: "Fältförsök nr. 1, kontinuerlig övervakning och avvikelsedetektion i urban miljö", FOI Memo 2257, December 2007. 7. Hemström, F., Lindgren, D.: "Dataformat för sensornätverk i urban miljö," FOI Memo 2256, December 2007 10

2.9. Översikt av 2007 års verksamhet Kontinuerlig övervakning Övervakning av av folksamlingar Lägesbildunderlag Avvikelsedetektion Red Red & Blue Blue force force Tracking Figur 1. Bilden visar de fem delområden som projektet behandlar. Under det första året identifierades i samverkan med representanter från FM ett antal miltära uppgifter/förmågor i den urbana miljön, där ett sensortekniskt stöd efterfrågas för att erhålla en tillräckligt god situationsuppfattning [37]. Projektet har inriktats mot att behandla fyra av dessa förmågor för vidare forskning under 2007-2008. Övervakning av folksamlingar - Martin Holmberg Kontinuerlig övervakning - David Lindgren Red & Blue force Tracking - Dietmar Letalick Lägesbildunderlag före insats - Tomas Chevalier Varje område inrymmer en mängd tekniska frågeställningar och arbetet inom respektive delområde drivs i form av delprojekt. Ansvarig för respektive projekt är angivna med kursiv stil. Förmågan att upptäcka minor, IED och krypskyttar har valts bort då tillhörande tekniska frågor hanteras av andra projekt inom FOI. Kontroll av byggnader inryms för närvarande i delprojekt Lägesbildunderlag. Ett antal scenarier har definierats för att projektet enklare ska kunna identifiera och utpeka vilka tekniska frågeställningar som behöver utforskas vidare. Projektet inriktar sina forskningsinsatser mot att lösa problemställningar kopplade till sensorsamverkan i den komplexa urbana miljön, där fokus riktas mot följande områden: Detektion/klassificering av mänsklig rörelse Datafusion i sensornät Sensorer i samverkan Avvikelsesdetektion Detektion av avvikelser från normalbilden ingår som en viktig del i samtliga typscenarier (Figur 1) och har bedömts så central att Avvikelsedetektion drivs som ett eget delprojekt: Avvikelsedetektion - Fredrik Lantz Viktiga frågeställningarna för projektet handlar om att utreda vilka sensorkonfigurationer som kan tillgodose informationsbehovet i de olika scenariesituationerna. Sensordata för 11

värdering och systemutveckling inhämtas från FOIs pågående sensortekniska projekt samt från egna arrangerade fältförsök. Inom delprojekten Kontinuerlig övervakning och Kontroll av folkmassa har två större mätkampanjer med multisensorsystem genomförts. Insamlat mätdata kommer att användas för att utvärdera en ny operatörsvänlig multisensorfusionsmetod för detektion av vapen gömda under kläder samt för att utvärdera hur sensordata från en kombination av visuella övervakningskameror och akustiska sensorer kan öka möjligheten till robust följning av intressanta personer, detektera avvikande händelser etc. Begränsade resurser under 2007 har inneburit att en kraftsamling gjorts inom Kontinuerlig övervakning, Kontroll av folkmassa och Avvikelsedetektion. Delprojekten Red & Blue force tracking och Lägesbildunderlag har mer haft karaktären av studier med syfte att inventera möjliga sensorsystemkonfigurationer, samt ge förslag på forskningsverksamhet inom respektive område. Under hösten 2008 kommer projektet att medverka i en demonstration för försvarsmakten, kallad "Ledningssystem - demonstration och värdering av teknik och metodik" (Demo 08). Forskningsresultat kring samverkande sensorer inom delprojekten Kontinuerlig övervakning, Avvikelsedetektion och Övervakning av folksamlingar kommer att demonstreras i olika scenarier. Interaktionen med projektets referensgrupp (FOI, FM och FMV) är en viktig kanal för informationsutbyte och inriktning. Denna avses förstärkas och målsättningen är att referensgruppsmöten skall hållas varje kvartal. Projektet kommer inom relevanta områden att fördjupa samarbetet med UoH - främst KTH, LiU och UU. En växelverkan sker med EDA. 12

3. Övervakning av folksamlingar I detta delprojekt ska studeras vilken information som valda olika sensortyper kan ge vid övervakning av folksamlingar, samt hur dessa kan samverka (multisensorfusion) för att få en läges- och hotbild vid händelser där en folkmassa är inblandad. Eftersom sensorerna dessutom kan användas för dokumentation av händelserna kan även metoder för att detta ska kunna ske effektivt studeras. I idealfallet ska sensorerna vara små och enkla att placera ut vid en efterhandssituation, men inledningsvis studeras huvudsakligen förhandssituationer eftersom urvalet av sensortyper annars skulle vara för litet. Under 2007 har delprojektet fokuserat på förmågan att på behörigt avstånd snabbt kunna avslöja beväpnade personer. Detta är efterfrågat från såväl militär som polisiär sida. En ny operatörsvänlig realtidsmetod som snabbt pekar ut vilken eller vilka personer bland en grupp människor som bär hotobjekt under kläderna ska utvärderas. Den föreslagna sensorlösningen består av en kombination av bildalstrande radar, IR och videokamera (digitalkamera). Radarvågor har förmåga att penetrera igenom kläder vilket gör att underliggande vapensignaturer kan registreras om den avviker från den övriga kroppens reflektivitet. IRvågor har inte samma penetrerande förmåga som radar men kontraster i värmestrålning mellan kropp och vapen kan eventuellt utnyttjas. Processade sensordata från radar och IR synkroniseras och presenteras på den underliggande visuella bilden (se Figur 2). Figur 2. Bilden visar hur en tänkt sammanvägning av visuella data och radardata kan komma att presenteras för en framtida operatör. De röda områdena i bilden är radardata som överlagrats på den visuella bilden och som emanerar från objekt gömda under kläderna. För metodutvärderingen används egna sensordata som upptogs utomhus vid mätkampanj i september 2007. Se vidare avsnitt 3.2. 3.1. Bildalstrande sensorer Under 2007 har två fältförsök med bildalstrande sensorer gjorts. I det ena fältförsöket kombinerades sensorerna med radarsensorer (beskrivs i nästa avsnitt), medan det andra fältförsöket innehöll nätverk av kameror, akustiska sensorer och IR-sensor (beskrivs i avsnittet om delprojektet Kontinuerlig övervakning ). Utvärdering av dessa data har endast påbörjats, och redovisas inte i denna rapport. 13

Syftet med det första fältförsöket var att studera möjligheten att kombinera kamerabild med radarbild för att kunna skapa överlagrade bilder som i Figur 2 ovan Syftet med det andra fältförsöket var att ta fram data för att undersöka möjligheten att följa personer i ett nätverk av kameror (se även avsnittet om datafusion nedan) kombinera bild- och IR-sensorbilder då sensorerna finns i olika positioner undersöka förmågan att återupptäcka personer som under en period försvunnit ur sikte, t.ex. genom att färdas i bil. Dessutom har de händelser som filmats valts för att på sikt kunna användas för att studera möjligheten att klassificera olika typer av rörelser och händelser. Detta kommer dock inte ske på kort sikt i detta projekt, däremot finns liknande verksamhet i andra projekt som eventuellt kommer nyttja data för detta ändamål. 3.2. Mätningar mot beväpnade personer En multisensormätning genomfördes under september månad 2007 vid FOIs radarmätplats Lilla Gåra - beläget 20 km söder om Linköping. Vid mätningen användes de tre olika bildalstrande sensorerna: radar, IR och visuell kamera. De samtidiga mätningarna utfördes mot en gemensam scen bestående av fyra personer, som stod uppradade intill varandra med framsidan vänd mot sensorsystemen. Mätavståndet från radarsensorn till varje person var 3.5 meter, vilket innebar att personerna kom att stå utmed en cirkelbåge. Vid den första mätningen var personerna obeväpnade. Vid den andra registreringen var varje person utrustad med ett vapen som hölls gömt under kläderna, se Figur 3 och Figur 4. Figur 3. Bilden visar positionen för de vapen som under mätningen hålls gömda under kläderna. Personerna ordnade från vänster bär bombbälte (bestående av cylindriskt formade bombattrapper), pistol (byxlinningen), handgranat (nedstoppad i höger jackficka) respektive AK4 (hängande i axelrem). 14

Figur 4. Fotografi som visar försökspersonernas positionering under själva mätningen. Under kläderna bärs vapenlaster enligt de positioner som visas i Figur 3. I bildens vänstra kant syns en kalibreringsreflektor vilande på ett stöd av frigolit. Nedtill i bildens högra kant skymtas också stödet till den andra reflektorn. Dessa reflektorer används för att kalibrera radardatat men är också viktiga referenser för att positionera radardatat. För radarmätningarna användes Lilla Gåras radarmätsystem som normalt används för olika typer radarsignaturmätningar. Under de senaste åren har detta system också använts för olika typer av korthållsmätningar, se ref [32]-[35]. Vid försöken var radarantennerna monterade på ett 2-axligt vridbord som stegades mekaniskt i asimut resp elevation för att täcka in den aktuella mätscenen. Antennerna var inriktade så att lobavtrycket för sändar- resp mottagarantenn helt överlappar varandra på avståndet 3.5 m. Dessutom var antennernas matarhorn positionerade så att fjärrfältsegenskaper erhölls i närfältsregionen och därigenom ökade antennens vinkelupplösning till att motsvara ett lobavtryck på ca 10 cm på personerna [31]. Vid varje antennriktning stegades frekvensen från 28-40 GHz i 1001 konstanta steg om 12 MHz. Detta ger hög avståndsupplösning på 1.25 cm och ett invikningsfritt område på 12.5 m. Registreringen av hela scenen tog drygt 10 minuter, vilket naturligtvis är ohållbart i operativa sammanhang där realtidsfunktion behövs. Framtida operativa systemlösningar måste istället vara baserad på modern antennteknik, t.ex. elektriskt styrda gruppantenner. Figur 5. Radarmätningarna utfördes med Lilla Gåra systemet (vänster) och IR-mätningarna gjordes med Multimir-systemet (höger). 15

För de samtidiga IR-registreringarna nyttjades FOIs Multimir-system (AEG Infrarot- Module), vilket arbetar inom 4 olika våglängdsband: 1.55-1.75 μm, 2.05-2.45 μm, 3.45-4.15 μm, 4.55-5.20 μm. IR-kameran har en bilduppdateringstakt på 25 Hz, vilket gör den väl lämpad för realtidstillämpningar. 3.3. Mätresultat Efter mätningarna har en inledande granskning av upptagna mätdata gjorts och där framförallt kvalitén hos mätdata har värderats, för att kunna avgöra huruvida om förnyade mätningar måste göras eller inte. Denna granskning konstaterade att såväl radar- som IRdatat är av god kvalitet. Vad beträffar den registrering där försökspersonerna bar vapen avslöjades att datat i bildens övre del, strax ovanför den längsta personens axelparti, var successivt förskjutet åt vänster. Den del av bilden som innehåller reflexer från vapnen är således opåverkad. Den bakomliggande orsaken till denna defekt är inte känd men en korrigering av datat har gjorts med utgångspunkt från den registrering som gjordes av personerna utan vapen. Efter genomförd kalibrering har en tämligen högupplöst radarbild där personernas silhuetter tydligt framträder och på kropparna syns en del starka reflexer. Vissa av dessa är naturliga kroppsreflexer medan andra härrör från vapnen. Speciellt bombbältet tycks ge stark retur. Figur 6. Den resulterande radarbilden upptagen med Lilla Gåra systemet. Bilden visar kalibrerade radardata. De två starka reflexer i rött som framträder upp till vänster resp ned till höger om folksamlingen är kalibreringsreflektorer. IR-data registrerades i fyra olika band och trots noggrann kalibrering kan ingen kontrast från vapnen skönjas. Detta resultat var dock inte helt oväntat, men det var viktigt att få bekräftelse via mätningar. IR-kameran är ändå fortsatt intressant att använda för dylika applikationer under omständigheter där ljusförhållanden är dåliga. Den fortsatta analysen och arbetet med att associera och fusionera sensordata (visuellt och radar) fortsätter under 2008. 16

Figur 7. Visar IR-bilder i de fyra olika våglängdsområdena. Dessvärre kan ingen kontrast som härrör från de dolda vapnen skönjas. Detta visar med tydlighet att IR inte är en framkomlig sensor för att detektera metalliska föremål gömda under kläder. 3.4. Datafusion En litteraturstudie har genomförts för följande två områden: 1. Metoder för att ta fram siluetter av personer i bildalstrande sensorer. 2. Metoder för sensorfusion i övervakningssystem. Litteraturstudien visar att det har gjorts mycket vad det gäller metoder för att ta fram siluetter från videobilder. I några artiklar finns även metoder beskrivna för bildalstrande IR-sensorer. Se referenserna [1]-[9]. Det har också gjorts mycket vad det gäller metoder för att representera bilderna i ett gemensamt koordinatsystem. Detta benämns registrering. Registrering är ett nödvändigt steg för att sedan kunna göra jämförelser mellan bilderna (t ex sensorfusion för identifiering, klassificering och följning). Några intressanta artiklar har också hittats som tar upp problematiken med sensorfusion i distribuerade övervakningssystem (med och utan överlappande täckningsområden). Se referenserna [10]-[13]. Det har än så länge inte framkommit några artiklar som beskriver metoder för siluettframtagning och bildregistrering för bildalstrande radar, tillsammans med video och/eller IR. Några av de metoder för siluettframtagning och registrering som har identifierats kan dock utgöra en utgångspunkt för vidareutveckling till motsvarande metoder för bildalstrande radar. Ett sådant arbete är t ex ett pågående examensarbete på FOI (som kommer att presenteras inom kort). Resultatet från litteraturstudien beskrivs kortfattat nedan. 17

3.4.1. Framtagning av siluetter i bildalstrande sensorer En ofta använd procedur för att ta fram siluetter i bilder är följande, se även ref. [1]-[5]: Ta fram en statistisk bakgrundsmodell, d v s någon form av normalbild. Jämför aktuella bilder med bakgrundsmodellen. Avvikelser, enligt vissa kriterier, antas representera förgrundsobjekt, eller s k ROI (Regions Of Interest). Klassificera ROI. Klassificering kan t ex baseras på statistiska modeller som tar hänsyn till domänkunskap om objektklasser, d v s vilka egenskaper har personer, fordon etc ([4], [9]). De flesta artiklar handlar om bakgrundsmodeller för videosensorer, men i [1] presenteras en metod som baseras på både video- och IR-sensorer. I [2] presenteras en bakgrundsmodell som även tar hänsyn till långsamma förändringar i omgivningsljus och i scenerna (t ex en bil parkeras vid trottoaren). Flertalet artiklar beskriver metoder som utgår ifrån att man tydligt ser hela individen, till skillnad från när personer står tätt ihop i en grupp. I [6] föreslås att ansiktsigenkänning kan vara ett bra komplement för att bättre kunna hitta och följa enstaka individer i en folkmassa. Ett annat alternativ är att avbilda personen som en tredimensionell figur med överensstämmande proportioner med aktuell person [7]. Med en så pass noggrann modell av personen så underlättas övervakning och följning när personerna står nära varandra i en grupp. På FOI, vid institutionen för Sensorinformatik, pågår ett examensarbete som handlar om att detektera personer i videobilder, baserat bland annat på en statistisk bakgrundsmodell. Metoden i examensarbetet samt metoderna som beskrivs i [1] är en bra utgångspunkt för det fortsatta arbetet i detta projekt. 3.4.2. Sensordatafusion Metoder för att representera olika bilder i ett gemensamt koordinatsystem (d v s registrering) beskrivs i [1] och [10]-[11]. Här behandlas registrering av dels videobilder, dels video- och IR-bilder. Registrering behövs för att kunna analysera data antingen från olika tidssekvenser, eller olika sensorpositioner. I Matlabs Image Processing Toolbox finns också en rad olika metoder för registrering av bilder. I [13] diskuteras sensorfusion för övervakningssystem där gemensamt täckningsområde saknas. I artikeln diskuteras först och främst följande problem: 1. Observationer av personer är ofta ordentligt separerade i tid och rum. Det finns alltså relativt långa tidsperioder där personen inte kan observeras. 2. Utseendet/formen på en person i en kamerabild är ofta mycket annorlunda jämfört med utseendet/formen hos samma person in en annan kamerabild. Anledningen till detta är skillnader i omgivningsljus, personens vinkel mot kameran och kamerans egenskaper. För att lösa problem 1 så utnyttjas att personer tenderar att följa vissa mönster, vilka baseras på befintliga vägar, trottoarer, korridorer etc. Algoritmen utnyttjar dessa begränsningar för att skatta att en viss person som ses i en viss kamera sannolikt är samma person som en stund tidigare sågs i en annan kamera. Algoritmen får för ett visst område lära sig hur aktuella begränsningar ser ut. För att lösa problem 2 så utnyttjas att färgerna på samma person i olika kamerabilder förändras enligt ett visst mönster. Algoritmen får lära sig hur denna färgförändring sker då personen ses i olika vinklar och på olika platser. På så sätt kan en skattnings göras huruvida en viss person som ses i en viss vinkel i en kamera är samma person som sågs i en annan vinkel i en tidigare kamera. 18

3.4.3. Mätdata från fältförsök I ett fältförsök som hölls den 9 november 2007 i delprojekten Kontinuerlig övervakning och Förändringsdetektion så lades även ett scenario in för att illustrera en folkmassa. Sensorer som användes vid fältförsöket var video, IR samt akustiska sensorer. Data från fältförsöket kommer att användas under år 2008 för att värdera metoder för framtagning av siluetter och metoder för sensorfusion (inklusive registrering). 3.4.4. Fortsatt arbete år 2008 Värdera några olika metoder för framtagning av siluetter från video- och IR-bilder (t ex [1] och examensarbetet) som kan vidareutvecklas för att tillämpas även på radarbilder. Mätdata från fältförsöken i november och tidigare i höstas (då radar, video och IR användes) kommer att utnyttjas som indata till modellerna. Värdera några olika metoder för registrering av video- och IR-bilder. Syftet är att hitta lämpliga metoder som kan vidareutvecklas för att tillämpas även på radarbilder. Även här kommer mätdata från de båda fältförsöken att utnyttjas. Utveckla metoder för sensordatafusion i ett distribuerat nätverk innehållande video, radar och/eller IR. Metoderna ska kunna hantera övervakning för både överlappande och icke-överlappande täckningsområden. Utveckla metoder för sensorstyrning i övervakningssystem, t ex zooma in en sensor mot en viss individ. Detta ska kunna göras utan att förlora alltför mycket information om folkmassan i övrigt. FOI-R--2360--SE 19

4. Kontinuerlig övervakning 4.1. Inledning Med kontinuerlig övervakning avses här övervakning dygnet runt under en 6-12 månaders insats, exempelvis en fredsbevarande insats i främmande land. Miljön är urban och övervakningen syftar till att förutspå och därigenom förhindra våld och våldsamma upplopp. Tekniskt stöd för övervakningen är ett nätverk av optiska sensorer som är känsliga inom olika våglängdsområden och akustiska sensorer med god riktningsverkan. Då insatsen är tidsbegränsad är sensornätverket mobilt i bemärkelsen att det relativt enkelt kan transporteras och etableras. Varje sensor, eller sensornod, har därför egen signalbehandling, lagringskapacitet, förmåga att verka trådlöst, samt förmåga att automatiskt bestämma sin position. Istället för att sensorerna på traditionellt vis skickar sina video- eller ljuddata till en central övervakningsoperatör, når sensorerna lokalt konsensus kring en gemensam lägesbild, och meddelar istället operatören endast avvikelser eller potentiella hot detekterade i denna lägesbild. Lägesbilden byggs upp genom att sensorerna sinsemellan kommunicerar väldefinierade särdrag ur video- och akustikströmmarna. Särdragen gör det möjligt att exempelvis samassociera objekt som ses eller hörs av sensorer vid olika positioner. Sensornätverket täcker speciellt torg, trafikleder och resestationer, men förväntas i övrigt ha relativt gles täckning av det urbana området. För att ändå kunna följa rörelser och aktiviteter globalt, har nätverket inbyggd förmåga att återigenkänna personer och fordon som tillfälligt lämnat täckningsområdet. Nätverket kan därigenom uppdras att spana eller fokusera på objekt som rör sig oberoende av täckningsområdet. Sensorernas datalagringsförmåga tillåter att denna fokusering även kan ske forensiskt, d.v.s. att objekt (kriminella) spåras bakåt i tiden. 4.2. Aktiviteter, översikt I syfte att åtminstone delvis beskriva sensornätverkets teknik har under 2007 följande aktiviteter pågått: 1. Inledande studie. Under projektets inledande fas gjordes en litteraturstudie kring sensornätverk i urban miljö, se [14]. 2. Fältförsök. För att samla data för konceptutvärdering har ett fältförsök med fem videokameror, 30 mikrofoner och en IR-kamera utförts. Under fältförsöket iscensattes mer eller mindre våldsamma aktiviteter. 3. Spatiellt högupplöst akustik. Forskning inom akustik har syftat till att ta fram en välgrundad teori om vilka möjligheter och begränsningar det finns vad gäller att mäta in ett torg med hög spatiell akustisk upplösning, samt hur dessa möjligheter och begränsningar i sin tur påverkar möjligheten till fusion med optiska sensorer. 4. Bildbehandling. Forskning inom bildbehandling har syftat till att beskriva återigenkänning av personer etc. som tillfälligt lämnat videotäckningsområdet och att genom denna återigenkänning kunna följa aktiviteter globalt. Bildbehandlingsforskningen beskriver också hur ett objekt kan associeras och följas av flera kameror. 5. Fusion i trådlöst nätverk. Fusionsforskning har syftat till att beskriva hur ett nätverk av sensornoder trots bandbreddsbegränsningar kan nå konsensus om en gemensam lägesbild. 6. Geolokalisering. Metoder för geolokalisering av sensorer har studerats. Aktiviteterna 2-5 beskrivs närmare lite längre fram. 20

4.3. Samverkan och Scenario Arbetet i (del-) projektet samverkar med ett antal andra FOI-projekt och FHS för att genomföra en gemensam teknikdemonstration under hösten 2008. Det Bogalandscenario som användes vid den stora ledningsövningen GSÖ 07/CJSE 07 i Enköping 2007 kommer att ligga till grund för demonstrationen och den urbana förebilden kommer att vara Norrköping. Ett miniscenario som harmoniserar med Bogalandscenariot används som utgångspunkt i Kontinuerlig övervakning, och har tagits fram i samverkan med delprojektet Avvikelsedetektion. Detta beskrivs närmare under Scenario och demonstration under kapitlet om Avvikelsedetektion. FOI-R--2360--SE 4.4. Spatiellt högupplöst akustik Akustisk övervakning av urban miljö enskilt eller tillsammans med optiska sensorer ger en möjlighet att få en bättre lägesbild än system baserade enbart på optik. Den urbana miljön ställer stora krav på akustiska sensorer då störningar i form av buller och reflektioner måste undertryckas för att få god selektivitet vid avlyssning av intressanta områden. Utmaningen inom projektet med avseende på akustik är att kunna med hjälp av kameror eller GPS positioneringsutrustning styra akustiska arrayer för att lyssna i områden där händelser anses vara intressanta utifrån andra typer av sensorer som till exempel kameror. Likaledes kan akustiken användas för styra in kameror på motsvarande sätt. I fältförsöket var målsättningen inom akustik att kombinera olika akustiska sensorers egenskaper för att nå en tillräckligt god signalkvalité så att detektion och viss förståelse av tal kan ske. Vid försöket utsågs fyra platser där akustiska sensorer ställdes upp. På varje plats monterades en akustisk parabol med riktverkan, samt en linjearray med 8 mikrofoner. Parabolerna riktades in mot punkter där intressant akustisk aktivitet förväntades. Även linjearrayen kan ge riktningsverkan, men den ges signalbehandlingsmässigt. Riktningen kan då bestämmas i efterhand, eftersom linjearrayernas samtliga ljudkanaler sparats. Det totala antalet akustiska sensorer uppgick till 30 enheter. De akustiska parabolerna har en mycket god förstärkning vid höga frekvenser vilket utnyttjas som komplement till de linjearrayer av mikrofoner med sin övre brytfrekvens vid 1000 Hz. Brytfrekvensen motsvarar frekvensen för akustisk vikning och inträffar när avståndet mellan sensorerna motsvarar en halv våglängd. De aktuella arrayerna har sensoravståndet (d) 0.17 meter och är uträknat enligt formel (1) och (2) för aktuell frekvens, se [15] och [16]. λ ν d = = (1) 2 2 f γ p T v = o 331,4 (2) ρo 273 Frekvensförstärkningen för parabolmikrofonen är uppmätt i en ekofri miljö och visar en kurvform som stiger med 20 db/dekad tills diffraktion runt mikrofonen på grund av våglängden begränsar, se Figur 8. 21

Figur 8. Uppmätt frekvenskaraktäristik för den akustiska parabol som användes vid fältförsöket 2007. Diagrammet visar frekvenssvaret för en akustisk parabol vid olika vinklar till en punktformig ljudkälla. Parabolen har en lobbredd på cirka 20 grader (-3dB) @1000 Hz vilket har antagits som tillräckligt bra för ändamålet. Lobformning med den akustiska arrayen har utseendet enligt Figur 9 och baseras på sambandet (3), se [15]. d sin Nk z 1 2 Ψ( ω : k = z ) (3) N d sin kz 2 där k z motsvarar vågtalet (ω/ν). Figur 9. Lobformningskaraktäristik för en akustisk linjearray med åtta mikrofoner. Avståndet mellan sensorerna är satt till 0,15 m då övre gränsfrekvensen är anpassad till 1 khz, där parabolmikrofonen har sin undre gränsfrekvens. X-axeln representerar vinkel i förhållande till arrayen där 90 grader motsvarar parallellt infall av ljudvågen. Y-axeln visar frekvens (0-2500 Hz) och z-axeln visar antennvinsten i decibel (20log). En första analys med hjälp av beamformning av mikrofonarray i kombination med parabol gav resultat enligt Figur 10, Figur 11 och Figur 12. 22

Figur 10. Spektrogram av akustisk talsignal från försöket hösten 2007. Signalen är tagen från en mikrofon med frifältskaraktäristik, vilken var placerad mot en tegelvägg på 30 till 40 meters avstånd från källan. Signalen är i detta fall mycket påverkad av eko och buller från omgivningen. X-axeln visar tid (0-10 s) och y-axeln visar frekvens (0-5800 Hz, linjär skala). Figur 11. Spektrogram av akustisk talsignal från försöket hösten 2007. Ljudsekvensen är motsvarande som föregående spektrogram och föreställer frekvenssvaret hos en parabolmikrofon inriktad på den akustiska källan. Sensorpositionen är motsvarande föregående spektrogram. Signalen är i detta fall högpassfiltrerad vid 1 khz för att passa linjearrayens lobformning. X-axeln visar tid (0-10s) och y- axeln visar frekvens (0-5800 Hz, linjär skala). Figur 12. Figuren visar ett sammansatt resultat av lobformning med åtta mikrofoner i en linjearray i kombination med den akustiska parabolen inriktade mot den akustiska källan. Signalvinsten motsvarar cirka 18dB eller mer i det intressanta frekvensområdet. X-axeln visar tid (0-10s) och y-axel visar frekvens (0-5800 Hz, linjär skala). 23

4.5. Bildbehandling Kontinuerlig övervakning syftar till att med hjälp av sensorer utplacerade i urban miljö skapa en lägesbild i termer av hur personer, fordon och objekt rör sig inom området. Genom att följa hur objekt rör sig i rummet och vilka kontakter de har med varandra hoppas vi att systemet ska kunna upptäcka avvikelser från normalt beteende som kan vara tecken på otillåten eller oönskad aktivitet. Systemet ska också kunna klassificera beteenden och larma vid oönskade händelser, såsom fysisk våld mellan personer. Systemet ska hela tiden ha en aktuell lägesbild men systemet ska också kunna användas för att analysera inspelade data så att man t.ex. kan ta reda på var någon varit, vilka denne haft kontakt med etc. Systemet ska larma så tidigt som möjligt, för att kunna avvärja hotande situationer redan innan de utvecklats till oönskade händelser. Vi vill ta reda på vilka sensorer som är lämpliga att använda och på vilket sätt de kan bidra till lägesbilden. Problemet är att hitta, följa och karakterisera objekt. Vi har gjort ett fältförsök där ett fingerat torg övervakats med fem stycken videokameror med delvis överlappande synfält, en IR-kamera och mikrofoner. På torget spelar vi upp fem scener med en handfull personer, några objekt och två bilar. Ett av syftena är att testa hur väl följningsalgoritmer fungerar, och speciellt då återigenkänning, då objekten varit utom synhåll. Objekten behöver inte komma tillbaka på samma ställe som de försvunnit vilket gör att återigenkänningen försvåras. När det gäller följning är objektens position och rörelseriktning av stor vikt. Man kan då uppskatta var objekten kommer att vara i nästa bild. Om man har tur har man gissat bra och det går lätt att koppla ihop nästa mätning med föregående mätning. När det gäller återigenkänning spelar rumslig position och rörelse en viss betydelse, men betydligt viktigare är andra egenskaper som gör att man kan knyta bildsekvensen till ett objekt. Dessa egenskaper kan vara textur, färgfördelning, storlek, rörelsemönster etc. Det är en fördel om lägesbilden utgörs av beskrivningar i en 3D-modell eftersom många olika sensorer ska samverka och det inte är självklart hur man kopplar ihop data från vitt skilda sensorer, såsom t.ex. att visa hur en bild och ett ljud hör ihop. 4.6. Fusion i trådlöst nätverk Som ramverk för att hantera fusionen av data från olika sensorer i nätverket är kanalfilter enligt [17] en initial kandidat. Ramverket ger en helt decentraliserad fusion d.v.s. det finns ingen central nod där helhetsbilden skapas, utan varje nod upprätthåller en egen lägesbild. För att undvika ryktesspridningseffekten krävs att nätet har trädstruktur, så att inga slingor bildas, se Figur 13. Parvisa kontakter innebär att representationen av data kan variera mellan olika par av noder så länge den är väldefinierad inom paret samt att den kan konverteras till representationen i alla övriga kanaler kopplade till en given nod. Eftersom kanalfiltret har ett minne på vad som kommunicerats på varje kanal är nätverket robust mot länkavbrott då ickekommunicerad information kan sändas då länken återupprättats. Om man bortser från kommunikationsfördröjningar så är lägesbilden densamma överallt i nätet. Detta innebär att man kan få en total lägesbild genom att koppla upp sig mot vilken nod som helst i nätet. För situationer där ett relativt enkelt centralt fusionsfilter baserat på kalmanfiltrering ger acceptabelt resultat, så ger ett kanalfilter jämförbart resultat fast i ett decentraliserat nätverk. För lägen där kalmanfiltrering eller den ursprungliga versionen av kanalfilter inte räcker till finns modernare resultat att tillgå i [18]. 24

informations noder kanaler Figur 13 Topologi för ett tänkt sensornätverk. Informationen från sensorer sammanställs i informationsnoder som sedan kommunicerar med varandra över kanaler. Nätverket har trädform för att undvika slingor och ryktesspridning. Idén är att varje nod, förutom sitt lokala filter, även har ett filter för vad som kommunicerats på kanalen. I det lokala filtret fusioneras den nya informationen från kanalen ihop med de lokala mätningarna för att ge en total lägesbild. En sammanställning av det som är ny information lokalt och på andra kanaler kommuniceras sedan på kanalen. I princip väger man sänkt kommunikationsbehov mot ökade beräkningsbehov. I ett systemperspektiv måste man fortfarande utreda om detta är optimalt ur energisynpunkt. Sådana avvägningar kan bara ske mot en specifik uppgift och eftersom kanalfiltret ger ett enhetligt sätt att hantera information så är det en bra metod att studera initialt. Kommunikationsbehovet och delvis också beräkningsbehovet, kan sänkas ytterligare om man modifierar hur långt man ska sända vidare information i nätet om den inte efterfrågas. Datafusion kan ju bara ske om flera noder har kompletterande information om ett objekt. Om man inte har ett krav på total lägesbild räcker det om man kommunicerar information om gemensamma objekt. En total lägesbild kan uppnås om den efterfrågas, eftersom varje nod i kanalfiltret har kontroll på vad som ännu inte kommunicerats, och vad som alltså kan levereras vidare. Fältförsökets upplägg med varierande överlapp av kameravyerna samt kompletterande akustiska arrayer och paraboler ger ett passande exempel att prova algoritmen på. Förmodligen kan man följa objektens position i markplanet och även skatta hastigheten, men alternativa representationer som t.ex. direkt i bildkoordinater kan vara intressanta att pröva. Vid försöken användes också GPS-loggar som också kan införas som en informationsnod. Då GPS:erna inte kördes differentiellt kan stöttning från kamerainformation behövas för att justera banorna. Detta kan göras automatiskt i kanalfiltret. 25

5. Avvikelsedetektion 5.1. Inledning Målet för delprojektet Avvikelsedetektion i urban miljö (AD) är att hitta intressanta, avvikande händelser och händelseförlopp i en lägesbild i stadsmiljö. Speciellt är fokus på att hitta avvikande händelseförlopp där händelserna som ingår i förloppet inte är avvikande i sig, utan bara sedda som en kedja av händelser. För avvikelsedetektion är ett grundkrav alltså att systemet ska kunna identifiera händelser av olika typ. Med detta avses i detta fall en identifiering av den aktivitet som utförs, den aktör som utför aktiviteten, den plats aktiviteten utförs på och den tid aktiviteten utförs. Systemet ska sedan kunna identifiera sammansatta händelser av olika slag för att avgöra om dessa är avvikande eller inte. Sammansatta händelser är i första hand händelseförlopp, men kan även inbegripa händelser som inträffar samtidigt på olika platser. En lägesbild betraktas i detta sammanhang som en mängd händelsebeskrivningar. En normal lägesbild är då händelserna, sedda enskilt eller sammansatt, är både kända, vanliga och tillåtna. Att händelserna är kända betyder att systemet känner igen händelserna i lägesbilden. Detta är troligen olika om man betraktar systemet inklusive eller exklusive en operatör. Att händelserna är vanliga innebär att händelserna förekommer ofta i någon väldefinerad mening. Detta är i allmänhet i statistisk mening. Att händelserna är tillåtna innebär att de är definierade som tillåtna av någon expert, alternativt inte definierade som otillåtna av denne expert. Dessutom bör antalet händelser och händelsernas sammansättning vara normal. Att lägesbilden är avvikande betyder att någon händelse eller sammansättning av händelser är okänd, är ovanlig eller är otillåten. Delprojektet har en rad andra förutsättningar och målsättningar: 1. Typsituationen gäller för en insatsstyrka under en fredsbevarande operation liknande de uppdrag militären idag har i Kosovo och Afghanistan. 2. Metoder för avvikelsedetektion är en del av ett system för intelligent övervakning. Systemet för avvikelsedetektion måste ses i ett sammanhang med andra system som det ska samverka med. 3. Metoder för avvikelsedetektion är del av ett beslutsstöd för att skapa situationsförståelse hos användarna. Syftet är med andra ord inte att skapa metoder som ska användas för att fatta automatiska beslut, utan systemet ska stödja en användare. I detta sammanhang är det viktigt att användaren avlastas från att hela tiden bevaka ett antal sensorer, utan enbart måste ta ställning till händelser som är intressanta och avvikande. 4. Systemet ska användas för tidig och tillförlitlig varning. Det är viktigt att systemet inte ger upphov till alltför många falska varningar för avvikelser, samtidigt som systemet måste varna tillräckligt tidigt för att användarna ska hinna fatta beslut och agera. Dessutom finns ett antal förutsättningar för avvikelsedetektion vad gäller hantering av osäkerhet. Detta hänger samman med att all kunskap som lärs in automatiskt eller kommer från experter är osäker, att sensordata är osäkra, d.v.s. vilka händelser som faktiskt inträffar är osäkert, att vilka händelser som hänger ihop är osäkert, att alla händelser som kan tänkas inträffa kan inte beaktas av systemet, hur osäkerhet från enskilda händelser ska sättas samman till osäkerhet för en sammansatt händelse. 26