Sensorsystem för urban miljö Årsrapport 2007

Sensorsystem för urban miljö Årsrapport 2007 Stefan Nilsson (editor) FOI är en huvudsakligen uppdragsfinansierad myndighet under Försvarsdepartementet. Kärnverksamheten är forskning, metod- och teknikutveckling till nytta för försvar och säkerhet. Organisationen har cirka 1000 anställda varav ungefär 800 är forskare. Detta gör organisationen till Sveriges största forskningsinstitut. FOI ger kunderna tillgång till ledande expertis inom ett stort antal tillämpningsområden såsom säkerhetspolitiska studier och analyser inom försvar och säkerhet, bedömning av olika typer av hot, system för ledning och hantering av kriser, skydd mot och hantering av farliga ämnen, IT-säkerhet och nya sensorers möjligheter. FOI Totalförsvarets forskningsinstitut Tel: 013-37 80 00 www.foi.se Sensorsystem Fax: 013-37 81 00 Box 1165 581 11 Linköping FOI-R--2360--SE Teknisk rapport Sensorsystem ISSN 1650-1942 December 2007

Stefan Nilsson (editor) Sensorsystem för urban miljö Årsrapport 2007

Titel Sensorsystem för urban miljö - Årsrapport 2007 Title Sensor systems for urban environment - Annual report 2007 Rapportnr/Report no FOI-R--2360--SE Rapporttyp Report Type Teknisk rapport Technical report Utgivningsår/Year 2007 Antal sidor/pages 52 p ISSN ISSN 1650-1942 Kund/Customer Försvarsmakten Forskningsområde Programme area Delområde Subcategory Projektnr/Project no Godkänd av/approved by 4. Sensorer och signaturanpassning 4. Sensors and Low Observables 42. Sensorer 42. Above surface Surveillance, Target acquisition and Reconnaissance E3087 Björn Larsson Totalförsvarets Forskningsinstitut FOI Avdelningen för Sensorsystem Box 1165 581 11 Linköping 2

Innehållsförteckning SAMMANFATTNING 5 SUMMARY 6 1. FÖRORD 7 2. PROJEKTFAKTA 7 2.1. MOTIV 7 2.2. MÅL OCH KUNDNYTTA 7 2.3. MILSTOLPAR 7 2.4. PROJEKTBUDGET 8 2.5. PROJEKTMEDARBETARE 8 2.6. INTERNATIONELL SAMVERKAN 9 2.6.1. NATO-SET-076 RTG 44 Sensors for urban operations 9 2.6.2. NATO-SET-ET-058 Multi-sensor integration for Urban Operations 9 2.7. NATIONELL SAMVERKAN 10 2.8. UTGIVNA PUBLIKATIONER 10 2.9. ÖVERSIKT AV 2007 ÅRS VERKSAMHET 11 3. ÖVERVAKNING AV FOLKSAMLINGAR 13 3.1. BILDALSTRANDE SENSORER 13 3.2. MÄTNINGAR MOT BEVÄPNADE PERSONER 14 3.3. MÄTRESULTAT 16 3.4. DATAFUSION 17 3.4.1. Framtagning av siluetter i bildalstrande sensorer 18 3.4.2. Sensordatafusion 18 3.4.3. Mätdata från fältförsök 19 3.4.4. Fortsatt arbete år 2008 19 4. KONTINUERLIG ÖVERVAKNING 20 4.1. INLEDNING 20 4.2. AKTIVITETER, ÖVERSIKT 20 4.3. SAMVERKAN OCH SCENARIO 21 4.4. SPATIELLT HÖGUPPLÖST AKUSTIK 21 4.5. BILDBEHANDLING 24 4.6. FUSION I TRÅDLÖST NÄTVERK 24 5. AVVIKELSEDETEKTION 26 5.1. INLEDNING 26 5.2. SCENARIO OCH DEMONSTRATION 27 5.3. AVVIKELSEDETEKTION I AKUSTIK OCH I BILDER 28 5.3.1. Akustik 28 5.3.2. Video och Termisk IR 28 5.4. OLIKA TYPER AV METODER FÖR AVVIKELSEDETEKTION 29 5.5. AVVIKELSEDETEKTION OCH SAMMANSTÄLLNING AV EN LÄGESBILD 31 5.6. STATISTISKA METODER FÖR AVVIKELSEDETEKTION 32 5.6.1. Shapiro-Wilk test för Gaussiskhet 33 5.6.2. Stationäritet 33 5.6.3. Grubbs test för outliers 34 5.7. SYSTEMKRAV 34 5.8. FORTSATT ARBETE 36 3

6. FÄLTFÖRSÖK: KONTINUERLIG ÖVERVAKNING OCH AVVIKELSEDETEKTION 37 6.1. INLEDNING 37 6.2. INSAMLINGSUTRUSTNING 37 6.3. SCENER 38 7. INHÄMTNING AV LÄGESBILD 39 7.1. INLEDNING 39 7.2. NIVÅER FÖR LÄGESBILD 39 7.2.1. Nivå 1 - Lägesbild för planering 39 7.2.2. Nivå 2 - Lägesbild för framryckning 39 7.2.3. Nivå 3 - Lägesbild vid kartläggning 40 7.3. KARTLÄGGNING AV SENSORER FÖR INSAMLING AV DATA 40 7.3.1. Satelliter 40 7.3.2. Flygspaning 41 7.3.3. Bi- och monostatisk SAR för kartläggning av yttre och inre strukturer i byggnader 42 7.4. FÖRSLAG PÅ FORSKNINGSVERKSAMHET 44 8. RED AND BLUE FORCE TRACKING 45 8.1. ALLMÄNT 45 8.2. INRIKTNING LASER 46 8.2.1. Möjliga sensorsystem för Kontrollplats (Check-point) 46 8.2.2. Möjliga sensorsystem för Kontroll av byggnad 47 8.3. INRIKTNING EO 47 8.4. INRIKTNING RADAR 48 8.4.1. Bi- och monostatisk SAR för kartläggning av yttre och inre strukturer i byggnader 48 8.4.2. Positionsbestämning med RFID 49 9. REFERENSER 51 4

Sammanfattning Föreliggande rapport redovisar genomförda aktiviteter och framkomna resultat under år 2007 för det treåriga FM-projektet "Sensorsystem för urban miljö". Projektet syftar till att studera och värdera hur olika kombinationer av sensorsystem i nätverk kan bidra till en förbättrad militär situationsuppfattning i den urbana miljön, jämfört med vad de enskilda sensorerna var för sig kan uppnå. Projektet använder expertis och resultat som genereras från FOIs olika teknikprojekt. En målsättning är att de slutsatser som uppnås inom projektet bidrar till att inrikta forskningen inom området. Tillsammans med militär expertis har fyra urbana huvudförmågor valts ut: Kontinuerlig övervakning, Kontroll av folkmassa, Lägesbild samt Red and blue force tracking. Detektion av avvikelser från normalbilden är en viktig förmåga som griper över alla typscenarier. Avvikelsedetektion drivs därför som ett eget delprojekt. Delstudier har genomförts som inventerat sensorbehoven för Lägesbild och Red and blue force tracking samt givit förslag på systeminriktad forskningsverksamhet. Inom delprojekten Kontinuerlig övervakning och Kontroll av folkmassa har omfattande mätkampanjer med multisensorsystem genomförts. Insamlat mätdata kommer att användas för att utvärdera en ny operatörsvänlig multisensorfusionsmetod för detektion av vapen gömda under kläder samt för att utvärdera hur sensordata från en kombination av visuella övervakningskameror och akustiska sensorer kan öka möjligheten till robust följning av intressanta personer, detektera avvikande händelser etc. Nyckelord: sensorsystem, sensornätverk, urban miljö, avvikelsedetektion, lägesbild kontinuerlig övervakning, red and blue force tracking, kontroll av folkmassa 5

Summary This report describes the activities carried out and the results produced in the year 2007 for the three-year Armed Forces project Sensor systems for urban environment. The project aims at studying and evaluating how various combinations of sensor systems in networks can contribute to an improved military situation awareness in the urban environment, in comparison with what the individual sensors can attain separately. The project uses expertise and results generated by FOI's various technique projects. An objective is that the conclusions reached in the project will contribute to directing the research in the area. Together with military expertise, four urban main abilities have been chosen: "Continuous Surveillance", "Crowd Control", "Situation Picture", and "Red and Blue Force Tracking". Detection of departures from the normal picture is an important capacity that includes all the type scenarios. "Anomalies Detection" is therefore carried out as a sub- project of its own. Partial studies have been carried out that have inventoried the sensor needs for "Situation Picture" and "Red and Blue Force Tracking", and have given proposals for system-biased research activities. In the sub-projects "Continuous Surveillance" and "Crowd Control" extensive measurement campaigns have been carried out with multi-sensor systems. The collected measurement data will be used to evaluate a new operator-friendly multi-sensor fusion method for detection of weapons concealed under clothing and to evaluate how the sensor data from a combination of visual surveillance cameras and acoustic sensors can increase the possibility for robust tracking of interesting persons, detect deviant events etc. Keyword: Sensor Systems, Sensors in Network, Urban Environment, Anomalies Detection, Situation Picture, Continuous Surveillance, Red and Blue Force Tracking, Crowd Control. 6

1. Förord Föreliggande årsrapport redovisar genomförda aktiviteter och framkomna resultat under 2007 för det 3-åriga FM-projektet "Sensorsystem för urban miljö" (2006-2008). Rapporten har sammanställts av PL Stefan Nilsson utgående från underlag skrivna av följande personer: Maria Andersson, Marie Andersson, Tomas Chevalier, Martin Holmberg, Anders Gustavsson, Andris Lauberts, Dietmar Letalick, Lage Svensson, Fredrik Lantz, David Lindgren, Stefan Nilsson, Johan Rasmusson och Johan Öhgren, 2. Projektfakta 2.1. Motiv Projektet kommer att vara systeminriktat och inriktas mot att värdera samverkande sensorsystem i nätverk för urban miljö där olika sensortekniker kombineras. Projektet har i samverkan med representanter från försvarsmakten tagit fram ett antal typsituationer i vilka dessa sensorsystem testas. De typsituationer som anges i denna projektplan skall regelbundet stämmas av med kunden då behovsbilden snabbt kan förändras. Projektet arbetar med olika tekniker som kan användas för att stödja operatörer i de valda typsituationerna. I vissa fall finns behov av teknik som ännu inte är mogen, varför arbetet sker med sikte på att ge nytta på längre sikt. För andra typsituationer kan stöd fås av teknik som är betydligt mer mogen. I dessa fall kommer projektet att kunna ge nytta för Försvarsmakten på kortare sikt. Projektet drar nytta av den verksamhet som bedrivs i andra teknikprojekt, och fokus på arbetet i detta projekt blir att studera hur dessa tekniker kan komplettera varandra samt på metodik och teknik för att detta ska kunna ske. 2.2. Mål och kundnytta I projektet ska för ett antal typsituationer värderas hur samverkande sensorsystem i nätverk kan öka förbands situationsuppfattning i den urbana miljön. Projektets mål är att utifrån dessa slutsatser inrikta framtida forskning inom området. Nyttan för försvarsmakten förväntas bli att genom en bättre situationsuppfattning öka förmågan att snabbt och effektivt lösa givna uppgifter i en urban miljö. Dessutom förväntas säkerheten för egen personal kunna öka. 2.3. Milstolpar Leveranstidpunkt Beskrivning Kvartal 2 Memo - Lägesrapport Kvartal 3 Memo - Konferensbidrag till relevant vetenskaplig konferens Kvartal 4 Årsrapport med inriktning av Demo 2008 7

2.4. Projektbudget År Budget (kkr) 2006 6000 2007 6000 2008 6700 2.5. Projektmedarbetare Följande personer har under året arbetat inom projektet: Namn Avdelning Institution Ahlberg, Jörgen Sensorsystem Sensorvärdering Andersson Marie Sensorsystem Optroniksystem Andersson, Maria Ledningssystem Lednings- och beslutsstöd Andersson, Thord Sensorsystem Sensorinformatik Carlsson, Elisabeth Sensorsystem Sensorvärdering Chevalier, Tomas Sensorsystem Sensorinformatik Gustavsson, Anders Sensorsystem Radarsystem Habberstad, Hans Sensorsystem Optroniksystem Hemström, Fredrik Sensorsystem Sensorinformatik Holmberg, Martin Ledningssystem Lednings- och beslutsstöd Karlsson, Nils Sensorsystem Sensorvärdering Kjellgren, Jan Sensorsystem Radarsystem Lantz, Fredrik Ledningssystem Lednings- och beslutsstöd Lauberts, Andris Ledningssystem Lednings- och beslutsstöd Letalick, Dietmar Sensorsystem Optroniksystem Lindell, Roland Sensorsystem Optroniksystem Lindgren, David Ledningssystem Lednings- och beslutsstöd Lunden, Olof Sensorsystem Sensorteknologi Nilsson, Stefan Sensorsystem Radarsystem Nygårds, Jonas Ledningssystem Lednings- och beslutsstöd Persson, Leif Försvars- och säkerhetssystem Undervattensforskning Rasmusson, Johan Sensorsystem Radarsystem Sume, Ain Sensorsystem Radarsystem Svensson Lage Sensorsystem Sensorvärdering Wadströmer, Niclas Sensorsystem Sensorinformatik Wellander, Niklas Sensorsystem Sensorvärdering Öhgren, Johan Sensorsystem Optroniksystem Örbom, Anders Sensorsystem Radarsystem Observera att personer som gjort mindre punktinsatser motsvarande någon dags arbete har utlämnats i ovanstående förteckning. 8

2.6. Internationell samverkan 2.6.1. NATO-SET-076 RTG 44 Sensors for urban operations Från starten 2004 har FOI arbetat inom NATO-SET-076 RTG 44 Sensors for urban operations. Stefan Nilsson och Lage Svensson har representerat Sverige. Övriga deltagande länder är Frankrike, Canada, USA, Storbritannien, Sverige, och Nederländerna (2004-06). Gruppens arbete syftar till att identifiera "technical gaps" och forskningsbehov avseende sensorsystem för urban miljö. I arbetet beaktas såväl teknisk expertis och slutanvändarbehov. I detta sammanhang har också radarsensorer för väggpenetration behandlats. Medverkan finansierades från början av projektet "Sensorteknik för urban miljö" och senare av "Radarsensorer för urban miljö". Under 2007 har finansieringen emellertid utgått från projektet "Sensorsystem för urban miljö". Under årens lopp har sex stycken arbetsmöten och en workshop hållits. Den 11 maj 2007 redovisades en översikt av arbetet för SET-panel. NATO-gruppen kommer att avslutas i samband att slutrapporten utges, vilket enligt plan ska ske före årsskiftet. Kommentarer från detta arbete redovisas mer detaljerat i en kommande rapportering. 2.6.2. NATO-SET-ET-058 Multi-sensor integration for Urban Operations Som en fortsättning på NATO-SET-076 RTG 44 har ett Exploratory Team bildats och det första mötet sker den 15-16 januari 2008 i RTAs lokaler, Neuilly-sur-Seine, France. FOI medverkar med två representanter och dessa finansieras genom projektet "Sensorsystem för urban miljö". Förutom Sverige deltar också USA, Storbritannien, Canada och Schweiz. Miltära operationer i urban miljö innebär många utmaningar för existerande sensorer. Ett gemensamt resultat från studier och försök visar att ingen enskild sensor kan användas för att lösa alla problem. Mycket forskning är inriktad mot att undersöka hur man bäst kan kombinera sensorer i en nätverksstruktur och hantera insamlat data. Det återstår mycket forskningsarbete för att optimera sensorer att arbeta tillsammans med ömsesidig återkoppling av information, med avsikt att uppnå en högre tillförlitlighet i registrering av händelser eller vid identifiering av målobjekt. Detta är nödvändigt från såväl en ensam multisensor-plattform som ett distribuerat sensornätverk. Operationer i urban miljö kommer att fortsätta att testa gränserna för sensorteknologien. Den nu aviserade gruppen kommer att med ledning av pågående arbeten bestämma grundförutsättningen för att starta ett treårigt forskningsprojekt (Task group) inom området. Den efterföljande gruppen kommer att kartlägga existerande sensorer och undersöka hur resultat från en sensor kan återkopplas till andra sensorer för att ge en förbättrad situationsuppfattning. Målsättningen är att sedan testa framkomna slutsatser i ett kontrollerat fältförsök. Exploratory team kommer att använda de resultaten från SET-076 och IST-046 tillsammans med tillgänglig expertis i gruppen för att välja ut ett eller flera urbana scenarier vilka innebär betydande sensorutmaningar. Genom att ta del av pågående forskning inom området etableras kunskap om state-of-the-art. 9

2.7. Nationell samverkan Interaktionen med projektets referensgrupp (FOI, FM och FMV) är en viktig kanal för att avrapportera och vid behov ominrikta delar av projektets forskningsverksamhet. Denna samverkan avses stärkas ytterligare. Projektet har visst samarbete med universitet och högskola - främst då KTH, LiU och UU. 2.8. Utgivna publikationer Under året har 7 stycken publikationer utgivits i projektets regi. Två av dessa är FOIrapporter och fem är FOI Memo. Nr Beskrivning 1. Kjellström, H., Grauman, K., Darrell, T.: "Non-Parametric Detection of Motion Anomalies with Large Databases", in preparation for the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2008. FOI Sensorsystem, Linköping, FOI Memo 2148, September 2007. 2. Svensson, L.: Sensorsystem för urban miljö - Lägesredovisning, FOI Sensorsystem, Linköping, FOI Memo 2089, Juni 2007. 3. Nilsson, S. et al.: "Sensorsystem för urban miljö - Årsrapport 2007", FOI Sensorsystem, Linköping, Teknisk rapport, FOI-R--2360--SE, December 2007. 4. Chevalier, T., Andersson, M., Gustavsson, A., Rasmusson, J.: "Lägesbildsunderlag inför insatser i urban miljö", FOI Sensorsystem, Linköping, Teknisk rapport, FOI-R--2385--SE, December 2007. 5. Lindgren, D., Svensson, L., Lauberts, A., Lantz, F.: "Kontinuerlig övervakning och avvikelsedetektion i urban miljö - inledande studie", FOI Memo 2252, December 2007. 6. Lindgren, D., Lantz, F.: "Fältförsök nr. 1, kontinuerlig övervakning och avvikelsedetektion i urban miljö", FOI Memo 2257, December 2007. 7. Hemström, F., Lindgren, D.: "Dataformat för sensornätverk i urban miljö," FOI Memo 2256, December 2007 10

2.9. Översikt av 2007 års verksamhet Kontinuerlig övervakning Övervakning av av folksamlingar Lägesbildunderlag Avvikelsedetektion Red Red & Blue Blue force force Tracking Figur 1. Bilden visar de fem delområden som projektet behandlar. Under det första året identifierades i samverkan med representanter från FM ett antal miltära uppgifter/förmågor i den urbana miljön, där ett sensortekniskt stöd efterfrågas för att erhålla en tillräckligt god situationsuppfattning [37]. Projektet har inriktats mot att behandla fyra av dessa förmågor för vidare forskning under 2007-2008. Övervakning av folksamlingar - Martin Holmberg Kontinuerlig övervakning - David Lindgren Red & Blue force Tracking - Dietmar Letalick Lägesbildunderlag före insats - Tomas Chevalier Varje område inrymmer en mängd tekniska frågeställningar och arbetet inom respektive delområde drivs i form av delprojekt. Ansvarig för respektive projekt är angivna med kursiv stil. Förmågan att upptäcka minor, IED och krypskyttar har valts bort då tillhörande tekniska frågor hanteras av andra projekt inom FOI. Kontroll av byggnader inryms för närvarande i delprojekt Lägesbildunderlag. Ett antal scenarier har definierats för att projektet enklare ska kunna identifiera och utpeka vilka tekniska frågeställningar som behöver utforskas vidare. Projektet inriktar sina forskningsinsatser mot att lösa problemställningar kopplade till sensorsamverkan i den komplexa urbana miljön, där fokus riktas mot följande områden: Detektion/klassificering av mänsklig rörelse Datafusion i sensornät Sensorer i samverkan Avvikelsesdetektion Detektion av avvikelser från normalbilden ingår som en viktig del i samtliga typscenarier (Figur 1) och har bedömts så central att Avvikelsedetektion drivs som ett eget delprojekt: Avvikelsedetektion - Fredrik Lantz Viktiga frågeställningarna för projektet handlar om att utreda vilka sensorkonfigurationer som kan tillgodose informationsbehovet i de olika scenariesituationerna. Sensordata för 11

värdering och systemutveckling inhämtas från FOIs pågående sensortekniska projekt samt från egna arrangerade fältförsök. Inom delprojekten Kontinuerlig övervakning och Kontroll av folkmassa har två större mätkampanjer med multisensorsystem genomförts. Insamlat mätdata kommer att användas för att utvärdera en ny operatörsvänlig multisensorfusionsmetod för detektion av vapen gömda under kläder samt för att utvärdera hur sensordata från en kombination av visuella övervakningskameror och akustiska sensorer kan öka möjligheten till robust följning av intressanta personer, detektera avvikande händelser etc. Begränsade resurser under 2007 har inneburit att en kraftsamling gjorts inom Kontinuerlig övervakning, Kontroll av folkmassa och Avvikelsedetektion. Delprojekten Red & Blue force tracking och Lägesbildunderlag har mer haft karaktären av studier med syfte att inventera möjliga sensorsystemkonfigurationer, samt ge förslag på forskningsverksamhet inom respektive område. Under hösten 2008 kommer projektet att medverka i en demonstration för försvarsmakten, kallad "Ledningssystem - demonstration och värdering av teknik och metodik" (Demo 08). Forskningsresultat kring samverkande sensorer inom delprojekten Kontinuerlig övervakning, Avvikelsedetektion och Övervakning av folksamlingar kommer att demonstreras i olika scenarier. Interaktionen med projektets referensgrupp (FOI, FM och FMV) är en viktig kanal för informationsutbyte och inriktning. Denna avses förstärkas och målsättningen är att referensgruppsmöten skall hållas varje kvartal. Projektet kommer inom relevanta områden att fördjupa samarbetet med UoH - främst KTH, LiU och UU. En växelverkan sker med EDA. 12

3. Övervakning av folksamlingar I detta delprojekt ska studeras vilken information som valda olika sensortyper kan ge vid övervakning av folksamlingar, samt hur dessa kan samverka (multisensorfusion) för att få en läges- och hotbild vid händelser där en folkmassa är inblandad. Eftersom sensorerna dessutom kan användas för dokumentation av händelserna kan även metoder för att detta ska kunna ske effektivt studeras. I idealfallet ska sensorerna vara små och enkla att placera ut vid en efterhandssituation, men inledningsvis studeras huvudsakligen förhandssituationer eftersom urvalet av sensortyper annars skulle vara för litet. Under 2007 har delprojektet fokuserat på förmågan att på behörigt avstånd snabbt kunna avslöja beväpnade personer. Detta är efterfrågat från såväl militär som polisiär sida. En ny operatörsvänlig realtidsmetod som snabbt pekar ut vilken eller vilka personer bland en grupp människor som bär hotobjekt under kläderna ska utvärderas. Den föreslagna sensorlösningen består av en kombination av bildalstrande radar, IR och videokamera (digitalkamera). Radarvågor har förmåga att penetrera igenom kläder vilket gör att underliggande vapensignaturer kan registreras om den avviker från den övriga kroppens reflektivitet. IRvågor har inte samma penetrerande förmåga som radar men kontraster i värmestrålning mellan kropp och vapen kan eventuellt utnyttjas. Processade sensordata från radar och IR synkroniseras och presenteras på den underliggande visuella bilden (se Figur 2). Figur 2. Bilden visar hur en tänkt sammanvägning av visuella data och radardata kan komma att presenteras för en framtida operatör. De röda områdena i bilden är radardata som överlagrats på den visuella bilden och som emanerar från objekt gömda under kläderna. För metodutvärderingen används egna sensordata som upptogs utomhus vid mätkampanj i september 2007. Se vidare avsnitt 3.2. 3.1. Bildalstrande sensorer Under 2007 har två fältförsök med bildalstrande sensorer gjorts. I det ena fältförsöket kombinerades sensorerna med radarsensorer (beskrivs i nästa avsnitt), medan det andra fältförsöket innehöll nätverk av kameror, akustiska sensorer och IR-sensor (beskrivs i avsnittet om delprojektet Kontinuerlig övervakning ). Utvärdering av dessa data har endast påbörjats, och redovisas inte i denna rapport. 13

Syftet med det första fältförsöket var att studera möjligheten att kombinera kamerabild med radarbild för att kunna skapa överlagrade bilder som i Figur 2 ovan Syftet med det andra fältförsöket var att ta fram data för att undersöka möjligheten att följa personer i ett nätverk av kameror (se även avsnittet om datafusion nedan) kombinera bild- och IR-sensorbilder då sensorerna finns i olika positioner undersöka förmågan att återupptäcka personer som under en period försvunnit ur sikte, t.ex. genom att färdas i bil. Dessutom har de händelser som filmats valts för att på sikt kunna användas för att studera möjligheten att klassificera olika typer av rörelser och händelser. Detta kommer dock inte ske på kort sikt i detta projekt, däremot finns liknande verksamhet i andra projekt som eventuellt kommer nyttja data för detta ändamål. 3.2. Mätningar mot beväpnade personer En multisensormätning genomfördes under september månad 2007 vid FOIs radarmätplats Lilla Gåra - beläget 20 km söder om Linköping. Vid mätningen användes de tre olika bildalstrande sensorerna: radar, IR och visuell kamera. De samtidiga mätningarna utfördes mot en gemensam scen bestående av fyra personer, som stod uppradade intill varandra med framsidan vänd mot sensorsystemen. Mätavståndet från radarsensorn till varje person var 3.5 meter, vilket innebar att personerna kom att stå utmed en cirkelbåge. Vid den första mätningen var personerna obeväpnade. Vid den andra registreringen var varje person utrustad med ett vapen som hölls gömt under kläderna, se Figur 3 och Figur 4. Figur 3. Bilden visar positionen för de vapen som under mätningen hålls gömda under kläderna. Personerna ordnade från vänster bär bombbälte (bestående av cylindriskt formade bombattrapper), pistol (byxlinningen), handgranat (nedstoppad i höger jackficka) respektive AK4 (hängande i axelrem). 14

Figur 4. Fotografi som visar försökspersonernas positionering under själva mätningen. Under kläderna bärs vapenlaster enligt de positioner som visas i Figur 3. I bildens vänstra kant syns en kalibreringsreflektor vilande på ett stöd av frigolit. Nedtill i bildens högra kant skymtas också stödet till den andra reflektorn. Dessa reflektorer används för att kalibrera radardatat men är också viktiga referenser för att positionera radardatat. För radarmätningarna användes Lilla Gåras radarmätsystem som normalt används för olika typer radarsignaturmätningar. Under de senaste åren har detta system också använts för olika typer av korthållsmätningar, se ref [32]-[35]. Vid försöken var radarantennerna monterade på ett 2-axligt vridbord som stegades mekaniskt i asimut resp elevation för att täcka in den aktuella mätscenen. Antennerna var inriktade så att lobavtrycket för sändar- resp mottagarantenn helt överlappar varandra på avståndet 3.5 m. Dessutom var antennernas matarhorn positionerade så att fjärrfältsegenskaper erhölls i närfältsregionen och därigenom ökade antennens vinkelupplösning till att motsvara ett lobavtryck på ca 10 cm på personerna [31]. Vid varje antennriktning stegades frekvensen från 28-40 GHz i 1001 konstanta steg om 12 MHz. Detta ger hög avståndsupplösning på 1.25 cm och ett invikningsfritt område på 12.5 m. Registreringen av hela scenen tog drygt 10 minuter, vilket naturligtvis är ohållbart i operativa sammanhang där realtidsfunktion behövs. Framtida operativa systemlösningar måste istället vara baserad på modern antennteknik, t.ex. elektriskt styrda gruppantenner. Figur 5. Radarmätningarna utfördes med Lilla Gåra systemet (vänster) och IR-mätningarna gjordes med Multimir-systemet (höger). 15

För de samtidiga IR-registreringarna nyttjades FOIs Multimir-system (AEG Infrarot- Module), vilket arbetar inom 4 olika våglängdsband: 1.55-1.75 μm, 2.05-2.45 μm, 3.45-4.15 μm, 4.55-5.20 μm. IR-kameran har en bilduppdateringstakt på 25 Hz, vilket gör den väl lämpad för realtidstillämpningar. 3.3. Mätresultat Efter mätningarna har en inledande granskning av upptagna mätdata gjorts och där framförallt kvalitén hos mätdata har värderats, för att kunna avgöra huruvida om förnyade mätningar måste göras eller inte. Denna granskning konstaterade att såväl radar- som IRdatat är av god kvalitet. Vad beträffar den registrering där försökspersonerna bar vapen avslöjades att datat i bildens övre del, strax ovanför den längsta personens axelparti, var successivt förskjutet åt vänster. Den del av bilden som innehåller reflexer från vapnen är således opåverkad. Den bakomliggande orsaken till denna defekt är inte känd men en korrigering av datat har gjorts med utgångspunkt från den registrering som gjordes av personerna utan vapen. Efter genomförd kalibrering har en tämligen högupplöst radarbild där personernas silhuetter tydligt framträder och på kropparna syns en del starka reflexer. Vissa av dessa är naturliga kroppsreflexer medan andra härrör från vapnen. Speciellt bombbältet tycks ge stark retur. Figur 6. Den resulterande radarbilden upptagen med Lilla Gåra systemet. Bilden visar kalibrerade radardata. De två starka reflexer i rött som framträder upp till vänster resp ned till höger om folksamlingen är kalibreringsreflektorer. IR-data registrerades i fyra olika band och trots noggrann kalibrering kan ingen kontrast från vapnen skönjas. Detta resultat var dock inte helt oväntat, men det var viktigt att få bekräftelse via mätningar. IR-kameran är ändå fortsatt intressant att använda för dylika applikationer under omständigheter där ljusförhållanden är dåliga. Den fortsatta analysen och arbetet med att associera och fusionera sensordata (visuellt och radar) fortsätter under 2008. 16

Figur 7. Visar IR-bilder i de fyra olika våglängdsområdena. Dessvärre kan ingen kontrast som härrör från de dolda vapnen skönjas. Detta visar med tydlighet att IR inte är en framkomlig sensor för att detektera metalliska föremål gömda under kläder. 3.4. Datafusion En litteraturstudie har genomförts för följande två områden: 1. Metoder för att ta fram siluetter av personer i bildalstrande sensorer. 2. Metoder för sensorfusion i övervakningssystem. Litteraturstudien visar att det har gjorts mycket vad det gäller metoder för att ta fram siluetter från videobilder. I några artiklar finns även metoder beskrivna för bildalstrande IR-sensorer. Se referenserna [1]-[9]. Det har också gjorts mycket vad det gäller metoder för att representera bilderna i ett gemensamt koordinatsystem. Detta benämns registrering. Registrering är ett nödvändigt steg för att sedan kunna göra jämförelser mellan bilderna (t ex sensorfusion för identifiering, klassificering och följning). Några intressanta artiklar har också hittats som tar upp problematiken med sensorfusion i distribuerade övervakningssystem (med och utan överlappande täckningsområden). Se referenserna [10]-[13]. Det har än så länge inte framkommit några artiklar som beskriver metoder för siluettframtagning och bildregistrering för bildalstrande radar, tillsammans med video och/eller IR. Några av de metoder för siluettframtagning och registrering som har identifierats kan dock utgöra en utgångspunkt för vidareutveckling till motsvarande metoder för bildalstrande radar. Ett sådant arbete är t ex ett pågående examensarbete på FOI (som kommer att presenteras inom kort). Resultatet från litteraturstudien beskrivs kortfattat nedan. 17

3.4.1. Framtagning av siluetter i bildalstrande sensorer En ofta använd procedur för att ta fram siluetter i bilder är följande, se även ref. [1]-[5]: Ta fram en statistisk bakgrundsmodell, d v s någon form av normalbild. Jämför aktuella bilder med bakgrundsmodellen. Avvikelser, enligt vissa kriterier, antas representera förgrundsobjekt, eller s k ROI (Regions Of Interest). Klassificera ROI. Klassificering kan t ex baseras på statistiska modeller som tar hänsyn till domänkunskap om objektklasser, d v s vilka egenskaper har personer, fordon etc ([4], [9]). De flesta artiklar handlar om bakgrundsmodeller för videosensorer, men i [1] presenteras en metod som baseras på både video- och IR-sensorer. I [2] presenteras en bakgrundsmodell som även tar hänsyn till långsamma förändringar i omgivningsljus och i scenerna (t ex en bil parkeras vid trottoaren). Flertalet artiklar beskriver metoder som utgår ifrån att man tydligt ser hela individen, till skillnad från när personer står tätt ihop i en grupp. I [6] föreslås att ansiktsigenkänning kan vara ett bra komplement för att bättre kunna hitta och följa enstaka individer i en folkmassa. Ett annat alternativ är att avbilda personen som en tredimensionell figur med överensstämmande proportioner med aktuell person [7]. Med en så pass noggrann modell av personen så underlättas övervakning och följning när personerna står nära varandra i en grupp. På FOI, vid institutionen för Sensorinformatik, pågår ett examensarbete som handlar om att detektera personer i videobilder, baserat bland annat på en statistisk bakgrundsmodell. Metoden i examensarbetet samt metoderna som beskrivs i [1] är en bra utgångspunkt för det fortsatta arbetet i detta projekt. 3.4.2. Sensordatafusion Metoder för att representera olika bilder i ett gemensamt koordinatsystem (d v s registrering) beskrivs i [1] och [10]-[11]. Här behandlas registrering av dels videobilder, dels video- och IR-bilder. Registrering behövs för att kunna analysera data antingen från olika tidssekvenser, eller olika sensorpositioner. I Matlabs Image Processing Toolbox finns också en rad olika metoder för registrering av bilder. I [13] diskuteras sensorfusion för övervakningssystem där gemensamt täckningsområde saknas. I artikeln diskuteras först och främst följande problem: 1. Observationer av personer är ofta ordentligt separerade i tid och rum. Det finns alltså relativt långa tidsperioder där personen inte kan observeras. 2. Utseendet/formen på en person i en kamerabild är ofta mycket annorlunda jämfört med utseendet/formen hos samma person in en annan kamerabild. Anledningen till detta är skillnader i omgivningsljus, personens vinkel mot kameran och kamerans egenskaper. För att lösa problem 1 så utnyttjas att personer tenderar att följa vissa mönster, vilka baseras på befintliga vägar, trottoarer, korridorer etc. Algoritmen utnyttjar dessa begränsningar för att skatta att en viss person som ses i en viss kamera sannolikt är samma person som en stund tidigare sågs i en annan kamera. Algoritmen får för ett visst område lära sig hur aktuella begränsningar ser ut. För att lösa problem 2 så utnyttjas att färgerna på samma person i olika kamerabilder förändras enligt ett visst mönster. Algoritmen får lära sig hur denna färgförändring sker då personen ses i olika vinklar och på olika platser. På så sätt kan en skattnings göras huruvida en viss person som ses i en viss vinkel i en kamera är samma person som sågs i en annan vinkel i en tidigare kamera. 18

3.4.3. Mätdata från fältförsök I ett fältförsök som hölls den 9 november 2007 i delprojekten Kontinuerlig övervakning och Förändringsdetektion så lades även ett scenario in för att illustrera en folkmassa. Sensorer som användes vid fältförsöket var video, IR samt akustiska sensorer. Data från fältförsöket kommer att användas under år 2008 för att värdera metoder för framtagning av siluetter och metoder för sensorfusion (inklusive registrering). 3.4.4. Fortsatt arbete år 2008 Värdera några olika metoder för framtagning av siluetter från video- och IR-bilder (t ex [1] och examensarbetet) som kan vidareutvecklas för att tillämpas även på radarbilder. Mätdata från fältförsöken i november och tidigare i höstas (då radar, video och IR användes) kommer att utnyttjas som indata till modellerna. Värdera några olika metoder för registrering av video- och IR-bilder. Syftet är att hitta lämpliga metoder som kan vidareutvecklas för att tillämpas även på radarbilder. Även här kommer mätdata från de båda fältförsöken att utnyttjas. Utveckla metoder för sensordatafusion i ett distribuerat nätverk innehållande video, radar och/eller IR. Metoderna ska kunna hantera övervakning för både överlappande och icke-överlappande täckningsområden. Utveckla metoder för sensorstyrning i övervakningssystem, t ex zooma in en sensor mot en viss individ. Detta ska kunna göras utan att förlora alltför mycket information om folkmassan i övrigt. FOI-R--2360--SE 19

4. Kontinuerlig övervakning 4.1. Inledning Med kontinuerlig övervakning avses här övervakning dygnet runt under en 6-12 månaders insats, exempelvis en fredsbevarande insats i främmande land. Miljön är urban och övervakningen syftar till att förutspå och därigenom förhindra våld och våldsamma upplopp. Tekniskt stöd för övervakningen är ett nätverk av optiska sensorer som är känsliga inom olika våglängdsområden och akustiska sensorer med god riktningsverkan. Då insatsen är tidsbegränsad är sensornätverket mobilt i bemärkelsen att det relativt enkelt kan transporteras och etableras. Varje sensor, eller sensornod, har därför egen signalbehandling, lagringskapacitet, förmåga att verka trådlöst, samt förmåga att automatiskt bestämma sin position. Istället för att sensorerna på traditionellt vis skickar sina video- eller ljuddata till en central övervakningsoperatör, når sensorerna lokalt konsensus kring en gemensam lägesbild, och meddelar istället operatören endast avvikelser eller potentiella hot detekterade i denna lägesbild. Lägesbilden byggs upp genom att sensorerna sinsemellan kommunicerar väldefinierade särdrag ur video- och akustikströmmarna. Särdragen gör det möjligt att exempelvis samassociera objekt som ses eller hörs av sensorer vid olika positioner. Sensornätverket täcker speciellt torg, trafikleder och resestationer, men förväntas i övrigt ha relativt gles täckning av det urbana området. För att ändå kunna följa rörelser och aktiviteter globalt, har nätverket inbyggd förmåga att återigenkänna personer och fordon som tillfälligt lämnat täckningsområdet. Nätverket kan därigenom uppdras att spana eller fokusera på objekt som rör sig oberoende av täckningsområdet. Sensorernas datalagringsförmåga tillåter att denna fokusering även kan ske forensiskt, d.v.s. att objekt (kriminella) spåras bakåt i tiden. 4.2. Aktiviteter, översikt I syfte att åtminstone delvis beskriva sensornätverkets teknik har under 2007 följande aktiviteter pågått: 1. Inledande studie. Under projektets inledande fas gjordes en litteraturstudie kring sensornätverk i urban miljö, se [14]. 2. Fältförsök. För att samla data för konceptutvärdering har ett fältförsök med fem videokameror, 30 mikrofoner och en IR-kamera utförts. Under fältförsöket iscensattes mer eller mindre våldsamma aktiviteter. 3. Spatiellt högupplöst akustik. Forskning inom akustik har syftat till att ta fram en välgrundad teori om vilka möjligheter och begränsningar det finns vad gäller att mäta in ett torg med hög spatiell akustisk upplösning, samt hur dessa möjligheter och begränsningar i sin tur påverkar möjligheten till fusion med optiska sensorer. 4. Bildbehandling. Forskning inom bildbehandling har syftat till att beskriva återigenkänning av personer etc. som tillfälligt lämnat videotäckningsområdet och att genom denna återigenkänning kunna följa aktiviteter globalt. Bildbehandlingsforskningen beskriver också hur ett objekt kan associeras och följas av flera kameror. 5. Fusion i trådlöst nätverk. Fusionsforskning har syftat till att beskriva hur ett nätverk av sensornoder trots bandbreddsbegränsningar kan nå konsensus om en gemensam lägesbild. 6. Geolokalisering. Metoder för geolokalisering av sensorer har studerats. Aktiviteterna 2-5 beskrivs närmare lite längre fram. 20

4.3. Samverkan och Scenario Arbetet i (del-) projektet samverkar med ett antal andra FOI-projekt och FHS för att genomföra en gemensam teknikdemonstration under hösten 2008. Det Bogalandscenario som användes vid den stora ledningsövningen GSÖ 07/CJSE 07 i Enköping 2007 kommer att ligga till grund för demonstrationen och den urbana förebilden kommer att vara Norrköping. Ett miniscenario som harmoniserar med Bogalandscenariot används som utgångspunkt i Kontinuerlig övervakning, och har tagits fram i samverkan med delprojektet Avvikelsedetektion. Detta beskrivs närmare under Scenario och demonstration under kapitlet om Avvikelsedetektion. FOI-R--2360--SE 4.4. Spatiellt högupplöst akustik Akustisk övervakning av urban miljö enskilt eller tillsammans med optiska sensorer ger en möjlighet att få en bättre lägesbild än system baserade enbart på optik. Den urbana miljön ställer stora krav på akustiska sensorer då störningar i form av buller och reflektioner måste undertryckas för att få god selektivitet vid avlyssning av intressanta områden. Utmaningen inom projektet med avseende på akustik är att kunna med hjälp av kameror eller GPS positioneringsutrustning styra akustiska arrayer för att lyssna i områden där händelser anses vara intressanta utifrån andra typer av sensorer som till exempel kameror. Likaledes kan akustiken användas för styra in kameror på motsvarande sätt. I fältförsöket var målsättningen inom akustik att kombinera olika akustiska sensorers egenskaper för att nå en tillräckligt god signalkvalité så att detektion och viss förståelse av tal kan ske. Vid försöket utsågs fyra platser där akustiska sensorer ställdes upp. På varje plats monterades en akustisk parabol med riktverkan, samt en linjearray med 8 mikrofoner. Parabolerna riktades in mot punkter där intressant akustisk aktivitet förväntades. Även linjearrayen kan ge riktningsverkan, men den ges signalbehandlingsmässigt. Riktningen kan då bestämmas i efterhand, eftersom linjearrayernas samtliga ljudkanaler sparats. Det totala antalet akustiska sensorer uppgick till 30 enheter. De akustiska parabolerna har en mycket god förstärkning vid höga frekvenser vilket utnyttjas som komplement till de linjearrayer av mikrofoner med sin övre brytfrekvens vid 1000 Hz. Brytfrekvensen motsvarar frekvensen för akustisk vikning och inträffar när avståndet mellan sensorerna motsvarar en halv våglängd. De aktuella arrayerna har sensoravståndet (d) 0.17 meter och är uträknat enligt formel (1) och (2) för aktuell frekvens, se [15] och [16]. λ ν d = = (1) 2 2 f γ p T v = o 331,4 (2) ρo 273 Frekvensförstärkningen för parabolmikrofonen är uppmätt i en ekofri miljö och visar en kurvform som stiger med 20 db/dekad tills diffraktion runt mikrofonen på grund av våglängden begränsar, se Figur 8. 21

Figur 8. Uppmätt frekvenskaraktäristik för den akustiska parabol som användes vid fältförsöket 2007. Diagrammet visar frekvenssvaret för en akustisk parabol vid olika vinklar till en punktformig ljudkälla. Parabolen har en lobbredd på cirka 20 grader (-3dB) @1000 Hz vilket har antagits som tillräckligt bra för ändamålet. Lobformning med den akustiska arrayen har utseendet enligt Figur 9 och baseras på sambandet (3), se [15]. d sin Nk z 1 2 Ψ( ω : k = z ) (3) N d sin kz 2 där k z motsvarar vågtalet (ω/ν). Figur 9. Lobformningskaraktäristik för en akustisk linjearray med åtta mikrofoner. Avståndet mellan sensorerna är satt till 0,15 m då övre gränsfrekvensen är anpassad till 1 khz, där parabolmikrofonen har sin undre gränsfrekvens. X-axeln representerar vinkel i förhållande till arrayen där 90 grader motsvarar parallellt infall av ljudvågen. Y-axeln visar frekvens (0-2500 Hz) och z-axeln visar antennvinsten i decibel (20log). En första analys med hjälp av beamformning av mikrofonarray i kombination med parabol gav resultat enligt Figur 10, Figur 11 och Figur 12. 22

Figur 10. Spektrogram av akustisk talsignal från försöket hösten 2007. Signalen är tagen från en mikrofon med frifältskaraktäristik, vilken var placerad mot en tegelvägg på 30 till 40 meters avstånd från källan. Signalen är i detta fall mycket påverkad av eko och buller från omgivningen. X-axeln visar tid (0-10 s) och y-axeln visar frekvens (0-5800 Hz, linjär skala). Figur 11. Spektrogram av akustisk talsignal från försöket hösten 2007. Ljudsekvensen är motsvarande som föregående spektrogram och föreställer frekvenssvaret hos en parabolmikrofon inriktad på den akustiska källan. Sensorpositionen är motsvarande föregående spektrogram. Signalen är i detta fall högpassfiltrerad vid 1 khz för att passa linjearrayens lobformning. X-axeln visar tid (0-10s) och y- axeln visar frekvens (0-5800 Hz, linjär skala). Figur 12. Figuren visar ett sammansatt resultat av lobformning med åtta mikrofoner i en linjearray i kombination med den akustiska parabolen inriktade mot den akustiska källan. Signalvinsten motsvarar cirka 18dB eller mer i det intressanta frekvensområdet. X-axeln visar tid (0-10s) och y-axel visar frekvens (0-5800 Hz, linjär skala). 23

4.5. Bildbehandling Kontinuerlig övervakning syftar till att med hjälp av sensorer utplacerade i urban miljö skapa en lägesbild i termer av hur personer, fordon och objekt rör sig inom området. Genom att följa hur objekt rör sig i rummet och vilka kontakter de har med varandra hoppas vi att systemet ska kunna upptäcka avvikelser från normalt beteende som kan vara tecken på otillåten eller oönskad aktivitet. Systemet ska också kunna klassificera beteenden och larma vid oönskade händelser, såsom fysisk våld mellan personer. Systemet ska hela tiden ha en aktuell lägesbild men systemet ska också kunna användas för att analysera inspelade data så att man t.ex. kan ta reda på var någon varit, vilka denne haft kontakt med etc. Systemet ska larma så tidigt som möjligt, för att kunna avvärja hotande situationer redan innan de utvecklats till oönskade händelser. Vi vill ta reda på vilka sensorer som är lämpliga att använda och på vilket sätt de kan bidra till lägesbilden. Problemet är att hitta, följa och karakterisera objekt. Vi har gjort ett fältförsök där ett fingerat torg övervakats med fem stycken videokameror med delvis överlappande synfält, en IR-kamera och mikrofoner. På torget spelar vi upp fem scener med en handfull personer, några objekt och två bilar. Ett av syftena är att testa hur väl följningsalgoritmer fungerar, och speciellt då återigenkänning, då objekten varit utom synhåll. Objekten behöver inte komma tillbaka på samma ställe som de försvunnit vilket gör att återigenkänningen försvåras. När det gäller följning är objektens position och rörelseriktning av stor vikt. Man kan då uppskatta var objekten kommer att vara i nästa bild. Om man har tur har man gissat bra och det går lätt att koppla ihop nästa mätning med föregående mätning. När det gäller återigenkänning spelar rumslig position och rörelse en viss betydelse, men betydligt viktigare är andra egenskaper som gör att man kan knyta bildsekvensen till ett objekt. Dessa egenskaper kan vara textur, färgfördelning, storlek, rörelsemönster etc. Det är en fördel om lägesbilden utgörs av beskrivningar i en 3D-modell eftersom många olika sensorer ska samverka och det inte är självklart hur man kopplar ihop data från vitt skilda sensorer, såsom t.ex. att visa hur en bild och ett ljud hör ihop. 4.6. Fusion i trådlöst nätverk Som ramverk för att hantera fusionen av data från olika sensorer i nätverket är kanalfilter enligt [17] en initial kandidat. Ramverket ger en helt decentraliserad fusion d.v.s. det finns ingen central nod där helhetsbilden skapas, utan varje nod upprätthåller en egen lägesbild. För att undvika ryktesspridningseffekten krävs att nätet har trädstruktur, så att inga slingor bildas, se Figur 13. Parvisa kontakter innebär att representationen av data kan variera mellan olika par av noder så länge den är väldefinierad inom paret samt att den kan konverteras till representationen i alla övriga kanaler kopplade till en given nod. Eftersom kanalfiltret har ett minne på vad som kommunicerats på varje kanal är nätverket robust mot länkavbrott då ickekommunicerad information kan sändas då länken återupprättats. Om man bortser från kommunikationsfördröjningar så är lägesbilden densamma överallt i nätet. Detta innebär att man kan få en total lägesbild genom att koppla upp sig mot vilken nod som helst i nätet. För situationer där ett relativt enkelt centralt fusionsfilter baserat på kalmanfiltrering ger acceptabelt resultat, så ger ett kanalfilter jämförbart resultat fast i ett decentraliserat nätverk. För lägen där kalmanfiltrering eller den ursprungliga versionen av kanalfilter inte räcker till finns modernare resultat att tillgå i [18]. 24

informations noder kanaler Figur 13 Topologi för ett tänkt sensornätverk. Informationen från sensorer sammanställs i informationsnoder som sedan kommunicerar med varandra över kanaler. Nätverket har trädform för att undvika slingor och ryktesspridning. Idén är att varje nod, förutom sitt lokala filter, även har ett filter för vad som kommunicerats på kanalen. I det lokala filtret fusioneras den nya informationen från kanalen ihop med de lokala mätningarna för att ge en total lägesbild. En sammanställning av det som är ny information lokalt och på andra kanaler kommuniceras sedan på kanalen. I princip väger man sänkt kommunikationsbehov mot ökade beräkningsbehov. I ett systemperspektiv måste man fortfarande utreda om detta är optimalt ur energisynpunkt. Sådana avvägningar kan bara ske mot en specifik uppgift och eftersom kanalfiltret ger ett enhetligt sätt att hantera information så är det en bra metod att studera initialt. Kommunikationsbehovet och delvis också beräkningsbehovet, kan sänkas ytterligare om man modifierar hur långt man ska sända vidare information i nätet om den inte efterfrågas. Datafusion kan ju bara ske om flera noder har kompletterande information om ett objekt. Om man inte har ett krav på total lägesbild räcker det om man kommunicerar information om gemensamma objekt. En total lägesbild kan uppnås om den efterfrågas, eftersom varje nod i kanalfiltret har kontroll på vad som ännu inte kommunicerats, och vad som alltså kan levereras vidare. Fältförsökets upplägg med varierande överlapp av kameravyerna samt kompletterande akustiska arrayer och paraboler ger ett passande exempel att prova algoritmen på. Förmodligen kan man följa objektens position i markplanet och även skatta hastigheten, men alternativa representationer som t.ex. direkt i bildkoordinater kan vara intressanta att pröva. Vid försöken användes också GPS-loggar som också kan införas som en informationsnod. Då GPS:erna inte kördes differentiellt kan stöttning från kamerainformation behövas för att justera banorna. Detta kan göras automatiskt i kanalfiltret. 25

5. Avvikelsedetektion 5.1. Inledning Målet för delprojektet Avvikelsedetektion i urban miljö (AD) är att hitta intressanta, avvikande händelser och händelseförlopp i en lägesbild i stadsmiljö. Speciellt är fokus på att hitta avvikande händelseförlopp där händelserna som ingår i förloppet inte är avvikande i sig, utan bara sedda som en kedja av händelser. För avvikelsedetektion är ett grundkrav alltså att systemet ska kunna identifiera händelser av olika typ. Med detta avses i detta fall en identifiering av den aktivitet som utförs, den aktör som utför aktiviteten, den plats aktiviteten utförs på och den tid aktiviteten utförs. Systemet ska sedan kunna identifiera sammansatta händelser av olika slag för att avgöra om dessa är avvikande eller inte. Sammansatta händelser är i första hand händelseförlopp, men kan även inbegripa händelser som inträffar samtidigt på olika platser. En lägesbild betraktas i detta sammanhang som en mängd händelsebeskrivningar. En normal lägesbild är då händelserna, sedda enskilt eller sammansatt, är både kända, vanliga och tillåtna. Att händelserna är kända betyder att systemet känner igen händelserna i lägesbilden. Detta är troligen olika om man betraktar systemet inklusive eller exklusive en operatör. Att händelserna är vanliga innebär att händelserna förekommer ofta i någon väldefinerad mening. Detta är i allmänhet i statistisk mening. Att händelserna är tillåtna innebär att de är definierade som tillåtna av någon expert, alternativt inte definierade som otillåtna av denne expert. Dessutom bör antalet händelser och händelsernas sammansättning vara normal. Att lägesbilden är avvikande betyder att någon händelse eller sammansättning av händelser är okänd, är ovanlig eller är otillåten. Delprojektet har en rad andra förutsättningar och målsättningar: 1. Typsituationen gäller för en insatsstyrka under en fredsbevarande operation liknande de uppdrag militären idag har i Kosovo och Afghanistan. 2. Metoder för avvikelsedetektion är en del av ett system för intelligent övervakning. Systemet för avvikelsedetektion måste ses i ett sammanhang med andra system som det ska samverka med. 3. Metoder för avvikelsedetektion är del av ett beslutsstöd för att skapa situationsförståelse hos användarna. Syftet är med andra ord inte att skapa metoder som ska användas för att fatta automatiska beslut, utan systemet ska stödja en användare. I detta sammanhang är det viktigt att användaren avlastas från att hela tiden bevaka ett antal sensorer, utan enbart måste ta ställning till händelser som är intressanta och avvikande. 4. Systemet ska användas för tidig och tillförlitlig varning. Det är viktigt att systemet inte ger upphov till alltför många falska varningar för avvikelser, samtidigt som systemet måste varna tillräckligt tidigt för att användarna ska hinna fatta beslut och agera. Dessutom finns ett antal förutsättningar för avvikelsedetektion vad gäller hantering av osäkerhet. Detta hänger samman med att all kunskap som lärs in automatiskt eller kommer från experter är osäker, att sensordata är osäkra, d.v.s. vilka händelser som faktiskt inträffar är osäkert, att vilka händelser som hänger ihop är osäkert, att alla händelser som kan tänkas inträffa kan inte beaktas av systemet, hur osäkerhet från enskilda händelser ska sättas samman till osäkerhet för en sammansatt händelse. 26

5.2. Scenario och demonstration Delprojektets scenario är utvecklat tillsammans med delprojekt Kontinuerlig Övervakning i Urban Miljö (KÖ). Avsikten är att scenariot ska vara anpassat till FM verksamhet i internationella insatser och de uppgifter och situationer som är relevanta i detta sammanhang. Ett scenario, se nedan, har utvecklats där ett sensorsystem för övervakning i stadsmiljö ska användas för att upptäcka ett antal bilbomber. Detta sker genom att ett sensorsystem för kontinuerlig övervakning samlar in information om händelser i staden varefter ett system för avvikelsedetektion upptäcker avvikelser i dessa händelser. Syftet med scenariot är att ha definierat en gemensam ram för delprojektens verksamheter som kan användas för att styra delprojekten mot ett gemensamt mål. Scenariot ska också användas för att säkerställa verksamhetens relevans för FM och för att kunna användas i demonstrationer. Delprojekt AD kommer att delta i en demonstration organsierad av projektet LedDoV (Ledningssystem, demonstration och värdering av teknik och metodik) under hösten 2008. Detta är ett övergripande projekt där ett antal projekt på FOI och FHS kommer att demonstrera sina resultat på FM UtvC. I detta projekt har ett övergripande scenario definerats i vilket SUMs delprojekt KÖ och AD ska demonstrera någon eller några förmågor. Denna demonstration kräver samverkan mellan SUMs delprojekt AD och KÖ, mellan SUM och de enheter på FHS i vars visualiseringsverktyg resultatet kommer att demonstreras. Under året har visst arbete utförts för att medverka i utformningen av denna demonstration. Arbete för att medverka i LedDoV kommer att vara en stor del av delprojektets verksamhet under 2008. Scenario: En etnisk grupp (G1) planerar att utföra en terrorhandling mot en annan grupp (G2) genom att spränga ett antal säg tre bilbomber i en stad/stadsdel dominerad av G2, och på en plats där bomberna ger maximal effekt, exempelvis ett torg. Svensk insatstrupp är på plats och har i uppgift att förhindra sådana händelser. En händelsesekvens vi vill studera är följande: 1. En bilförare (Primus) parkerar en bil med bomb på ställe eller sätt som på något sätt förefaller avvikande, t.ex. mitt på ett torg. En insatssoldat, kanske med hjälp av lokalbefolkningen, noterar bilens avvikande placering, och rapporterar, utan att känna till bomben i bilen, observationen till övervakningssystemet. 2. Övervakningssystemet kommer nu att automatiskt att besluta undersöka varifrån bilen kom och eventuellt om föraren är ökänd. Dessa undersökningar görs med hjälp av sensorsystemet genom att automatiskt söka i systemets inspelade data samt i databaser med kriminella. 3. Systemet bedömer också att Primus rörelser även ska följas framgent, d.v.s. sensorsystemet ska spåra Primus efter det att Primus klivit ur bilen och i realtid skatta Primus position. Primus eventuella interaktion med andra individer ska automatiskt detekteras och klassificeras, samt de andra individerna om möjligt identifieras. Om intressanta ord yttras i en dialog, detekteras detta automatiskt. 4. Primus kliver in i ett nytt fordon. Systemet upptäcker detta och följer fordonet till järnvägsstationen. 5. Primus känns igen då Primus kliver ur fordonet, och följs då Primus fortsätter till fots på järnvägsstationen. 6. Primus träffar och konverserar med två personer (Secundus och Tertius). Vissa intressanta ord uttalas, vilket gör Secundus och Tertius tidigare förehavanden i sammanhanget intressanta. 7. Systemet spårar bakåt hur Secundus och Tertius kom till järnvägsstationen. 8. Systemet upptäcker att även Secundus och Tertius kommit till staden i varsitt fordon och att dessa bilar nu finns parkerade i närheten av torget. 27

9. Att personerna lämnar torget utan de fordon de kom i antas vara tillräckligt skäl för systemet att slå larm, varefter insatstruppen får ingripa på lämpligt sätt. 5.3. Avvikelsedetektion i akustik och i bilder I nästa kapitel Fältförsök Kontinuerlig övervakning och Avvikelsedetektion beskrivs det fältförsök som utförts gemensamt mellan delprojekten KÖ och AD. Nedan följer en närmare motivering och redogörelse för fältförsöket från AD:s perspektiv. 5.3.1. Akustik Flera olika typer av avvikelser kan förekomma i akustik. Relevant för delprojekt AD är t ex: Volymen på det ljud som en person eller ett fordon ger ifrån sig. Det kan t ex gälla att en person skriker. Volymen är beroende av avståndet till källan, varför också objektets position måste användas för att bedöma om volymen är avvikande. Frekvensinnehållet i det ljud som en person eller ett fordon ger ifrån sig. Olika ljud med avvikande frekvenser kan vara en indikation. Hur en person talar kan vara avvikande. Detta gäller t ex personens språk eller dialekt. En möjlighet att identifiera ett avvikande språk eller dialekt kan vara att systemet känner igen vissa vanliga ord talade på det normala språket eller dialekten, varefter konversationer som inte innehåller dessa ord kan betraktas som avvikande. Eventuellt finns vissa karaktäristiska ljud i språket/dialekten. I detta fall behöver systemet inte identifiera orden som talas. De ord som en person använder kan vara avvikande. Detta förutsätter att systemet kan identifiera olika ord. Flera av de avvikelser som förekommer i akustik är känsliga att identifiera av integritetsskäl. Speciellt gäller detta om systemet har förmåga att identifiera ord som personer uttalar. Om en förmåga att identifiera ord ska utvecklas i projektet kräver detta en mer omfattande konsekvensanalys. För det fältförsök som utformades innehåller scen 2 två akustiska avvikelser. Den första avvikelsen sker genom att volymen i konversationen i denna scen bör ha varit högre än i de andra scenerna. Detta bör ses speciellt i förhållande till scen 3 där en normal konversation utspelas. I denna scen talas dessutom engelska av en av de inblandade grupperna, vilket kan betraktas som en avvikelse i förhållande till svenska konversationer i försöket i övrigt. Även ord med aggressivt innehåll uttalas. I scen 4 förekommer också en konversation där avvikande ord uttalas. Denna scen innehåller två konversationer för att göra scenen mer utmanade för de akutiska sensorerna. Varken scen 1 eller 3 innehåller några (planerade) akustiska avvikelser. Scen 3 ska ses som en scen där en normal situation utspelar sig. 5.3.2. Video och Termisk IR Många typer av avvikelser kan förekomma i bilder. Relevant för delprojekt AD är t ex: Att en person kan ha en avvikande position eller kroppsställning. Avvikande positioner är ofta bestämt genom någon form av regel för var man får och inte får vara. Att en person ligger ner kan vara tecken på något avvikande. Antalet personer på en viss plats kan vara avvikande. Att avvikande rörelser kan förekomma. Detta gäller både för personen som helhet som armar, ben eller andra kroppsdelar. Slag eller sparkar är (i de flesta sammanhang) typiska, avvikande rörelser. 28

Att objekt kan röra sig med en avvikande hastighet i bilderna. Snabba rörelser kan vara en indikation. Att objekt kan ha en avvikande färg. En person kan ha en avvikande klädsel eller på annat sätt ha en avvikande färgsammansättning. Ett fordon kan ha en avvikande färg. Detta gäller i det visuella våglängdsområdet. Flera av de avvikelser som förekommer i bilder är också känsliga att identifiera av integritetsskäl. Speciellt gäller detta om systemet har förmåga att identifiera vilken person som bilderna gäller eller olika former av karaktärsdrag för en viss etnisk grupp. För det fältförsök som utformades innehåller scen 1 en avvikelse på så sätt att en person sätter ned en väska och går därifrån. Scen 2 innehåller ett slagsmål, vilket kan betraktas som en avvikande händelse. I första hand gäller det att det finns avvikande rörelser, avvikande rörelsehastighet och en avvikande kroppsställning (en person lämnas kvar liggande efter slagsmål). Scen 3 innehåller inga avvikelser, utan ska ses som en scen där enbart normala händelser inträffar. Scen 4 är framför allt utformad för att innehålla händelser som passar in det scenario som har utvecklats. 5.4. Olika typer av metoder för avvikelsedetektion För att kunna hantera händelser som är okända, ovanliga och otillåtna måste ett system för avvikelsedetektion kunna hantera minst två typer av metoder för avvikelser/anomalier: statistiska och regelbaserade metoder. En statistisk anomali är osannolika händelser givet en sannolikhetsfördelning som definierar normalitet. Denna fördelning måste skattas med träningsdata som ofta är svårt och/eller dyrt att få heltäckande och konsistent. En regelbaserad anomali är när händelser bryter mot restriktioner som är definierade av operatören, ofta i form av spatio-temporala regler, t.ex. man får kontinuerligt uppehålla sig i område A i högst 5 minuter, med minst 30 minuter mellan gångerna. Det kan vara värt att notera att en regelbaserad anomali inte behöver vara en ovanlig händelse statistiskt sett. Denna definition av anomali är väldigt generell och i ett verkligt system måste vi bestämma oss för vilka typer av anomalier vi är intresserade av och i vilket sammanhang detektionen skall ske. I delprojekt AD har vi följande grundförutsättningar: 1. Urban miljö. 2. Kontinuerlig övervakning sker, både med sensorer och av människor. 3. Många heterogena sensorer, med och utan överlapp. 4. Många visuella kameror som i sin tur är heterogena av olika typ och prestanda (zoom, rörlighet, färg/svartvit, vidvinkel, ). a. IR-kameror. b. Mikrofoner av olika typ. c. Sensorerna är anslutna till ett nätverk. 5. Avvikelserna vi söker är att hitta intressanta, avvikande händelser och händelseförlopp. Speciellt fokus är att hitta avvikande händelseförlopp där händelserna i sig inte är avvikande men sekvensen av dem är det. Enligt punkt 5 ovan så räcker det alltså inte att en händelse är avvikande utan den måste också vara intressant. Detta är en naturlig nödvändighet eftersom t.ex. ett nytt klädmode inför avvikande visuella stimuli som inte behöver vara speciellt intressanta. För statistiska anomalier innebär detta att data-/informationsrepresentationen måste vara sådan att ointressanta scenariovariationer inte får något genomslag i representationen. Man säger att signalrepresentationen är invariant mot vissa typer av variationer. Ibland går det inte att undvika detta fullständigt och då är det viktigt att representationen har en lämplig metrik där intressanta scenariovariationer ger mycket större signalvariation än ointressanta sådana. 29

För regelbaserade anomalier gäller på samma sätt att den syntax, semantik och ontologi som bygger upp reglerna måste vara tillräckligt kraftfulla. Om detta inte är fallet så kan man lätt hamna i ett av två specialfall; antingen krävs det massor av specialregler för att täcka intressanta händelser, eller så har man ett fåtal regler som är svåra att få tillräckligt specifika och man erhåller för många falsklarm eller för få skarpa larm. Eftersom vi är intresserade av händelseförlopp som är bevakade av olika typer av sensorer krävs en modellbaserad följning för att kunna klara av hand-overs. Att vi dessutom letar efter avvikande händelseförlopp där inget av de ingående enstaka händelserna behöver vara avvikande, kräver att representationen som används för händelser och sekvenser av händelser innefattar sannolikhetsmått och temporala relationer. Dessutom bör representationen även vara lämplig för regelbaserade anomalidetektioner där resonemang om platser, tider, aktörer och följder av händelser kan göras. För att kunna hantera alla relevanta typer av anomalier måste ett system för avvikelsedetektion troligen använda flera, parallella och kompletterande metoder. Åtminstone krävs en regelbaserad metod för att hantera kända, otillåtna händelser och en statistisk metod för att hantera ovanliga händelser. Förutom detta bör systemet kunna bedöma sin egen osäkerhet vid klassificering av händelser och vid relevanta tillfällen klassificera händelser som okända. 30

5.5. Avvikelsedetektion och sammanställning av en lägesbild Avvikelsedetektion måste göras i förhållande till någon form av lägesbild som sammanställts från framför allt sensordata. I delprojekt AD finns fokus på att under 2008 använda den lägesbild som tillhandahålls från delprojekt KÖ. För att kunna göra detta finns minst tre förutsättningar. För det första måste delprojekt KÖ sammanställa en lägesbild i tid för att delprojekt AD ska hinna använda dessa data i sin utveckling och för demonstration. Troligen kommer detta att bara uppnås delvis, för vissa sensorer eller scener. För det andra kan den lägesbild som sammanställs troligen inte användas direkt av delprojekt ADs metoder för avvikelsedetektion, utan måste modifieras. Av båda dessa skäl måste troligen data också simuleras för att delprojekt AD ska kunna få en användbar lägesbild. Den tredje förutsättnigen gäller om det kommer att finnas tillräckligt med data för att skapa en normalbild i statistisk mening och därigenom hitta ovanliga händelser emot denna normalbild. Detta är heller inte troligt, varför det idag bästa sättet att studera avvikelsedetektion är genom att avvikande händelser definieras på förhand och systemet utformas för att hitta dessa kända avvikelser. Simulerade data kan heller inte i allmänhet användas för att skapa en trovärdig normalbild. I princip bör lägesbilden innehålla information om relevanta objekts positioner, rörelse, klass och attribut. Lägesbilden bör beskriva ett förlopp, d.v.s. beskriver inte läget i en viss tidpunkt utan läget i ett tidsintervall. Även momentant beteende kan ingå i lägebeskrivningen, d.v.s. om objekten i fråga springer, hoppar, ligger, pratar, skriker, slår, kastar, sparkar, lyssnar, etc., etc. Det finns dock ingen möjlighet att skatta alla dessa parametrar och beteenden. Av det som hittills har framkommit om lägesbilden i KÖ kan nämnas: Det objekt som ingår i lägesbilden är fordon, människor och andra potentiellt rörliga objekt. Lägesbilden kommer att vara distribuerad bland flera sensorer som kommer att ha sin egen del av lägesbilden. Det kommer alltså inte finnas någon total lägesbild som AD kan ske emot. Detta innebär att en sådan måste skapas i projekt AD om detta är nödvändigt. I detta fall är det huvudsakliga problemet förknippat med association av målspår från en sensor med målspår från en annan sensor. Då information för igenkänning ska ingå i målspårets tillståndsbekrivning är detta troligen ett problem som går att lösa, även om det inte är säkert att ett objekt ser helt lika ut sett från olika sensorplaceringar. Den lägesbild som genereras av delprojekt KÖ måste tolkas i en kontext för att vara användbar till avvikelsedetektion av händelser och händelseförlopp. Ett visst beteende är ofta bara onormalt i en viss kontext. Speciellt måste en geografisk kontext introduceras, d.v.s. vi måste översätta var i en karta som en given koordinat befinner sig. Avvikelsedetektion måste ske på flera olika nivåer. Det är inte lämpligt att all avvikelsedetektion sker i ett centraliserat system, utan avvikelsedetektion måste också ske individuellt för enskilda sensorer. För att hitta vissa avvikelser krävs analys av stora mängder data, ofta bilddata, vilket inte i ett bandbreddsbegränsat sensornätverk kan kommuniceras till en enskild plats för analys. I ett sådant fall krävs åtminstone att potentiella avvikelser upptäcks av enskilda sensorer, varefter en större mängd data automatiskt väljs ut, kommuniceras och vidareanalyseras. 31

De saker som systemet för sammanställning av lägesbilden ska skatta är ännu osäkert, men dessa saker kan eller bör ingå: Positionen i planet för dessa objekt, men inte i höjdled, skattas i lägesbilden. Objektens rörelse i planet skattas likaså. De klasser av objekt som ska skattas är: människa, fordon, djur och sådant man ställer ifrån sig. Den sista klassen gäller i första hand väskor. Objektens orientering kan eventuellt skattas. Om två människor står orienterade med ansiktena mot varandra eller inte kan vara relevant information. I vissa fall även olika former av poser hos objekten (människorna). Detta kan i så fall användas för att härleda t ex om en människa sitter eller står. Vilka ljud objekten ger ifrån sig ska skattas. För fordon gäller detta i första hand om motorn är på eller av, om den slås av eller på. För människor gäller detta om personen pratar eller är tyst, hur högt personen pratar, om personen pratar med någon etc. Bland de attribut som kan skattas ingår objektens längd och bredd. Med nödvändighet kommer attribut som kan användas för återigenkänning att skattas. Det är dock inte givet att sådana attribut kan användas för avvikelsedetektion. Detta kan vara t ex ett färghistogram för video eller ett frekvensspektrum för akustiken. I detta fall kan man troligen använda färghistogrammet för att bedöma personens klädsel, varefter man kan se om någon person har en avvikande klädsel eller byter klädsel. 5.6. Statistiska metoder för avvikelsedetektion En avvikelse från ett normalt tillstånd kan i många fall betraktas som en anomali i en datamängd som beskriver tillståndet. Ett grundantagande är att det är rejält många fler normala data än det finns anomalier i datamängden. För att med säkerhet avgöra om en anomali är signifikant annorlunda än de andra data måste ett normaltillstånd definieras, beskrivas och analyseras. I detta arbete måste datatillstånd väljas och noggrant analyseras, d.v.s. hur är data representerat - är det ett aggregat av olika värden, är det nivåer från sensorsystem eller är det bilder. Data kan också finns i form av stödvariabler som t ex individobservationer, busstabeller. Kvaliteten i data bör också analyseras och bedömmas. Har vissa datamängder för dålig kvalitet bör de uteslutas, annars är risken för falsklarm stor. Anomalidetektion kan beskrivas som ett larm för ovanligt systembeteende. Detta ämne beskrivs i ett klassiskt papper av Denning: An Intrusion Detection Model [19]. Anomalidetektion i denna mening används främst för datasystemsäkerhet och brandväggstillämpningar. Man särskiljer i denna litteratur mellan Intrusion Detection System (IDS) och Anomaly Detection System (ADS). Båda söker efter potentiella incidenter i ett system eller nätverk. Dessa system ger samma slutgiltiga resultat de flaggar för en misstänkt händelse för att analyseras vidare av en operatör eller administrator. IDS och ADS arbetar dock på lite olika sätt. IDS utnyttjar ett definierat antal regler eller filter som har utvecklats för att fånga en speciellt misstänkt händelse. ADS definierar ett normaltillstånd och letar efter avvikelser från detta tillstånd. När IDS söker efter en känd, avvikande signatur så letar ADS efter händelser den inte känner igen. Ett IDS kan bara hitta aktivitet eller uppträdande som den har blivit programmerad att fånga upp. Allt utanför denna lista av misstänkta saker kommer inte att detekteras. Ett ADS har däremot potentialen att detektera nya, okända och olistade händelser. Detta gör att ADS och IDS kompletterar varandra väl. För ett ADS är det centralt att kunna bestämma ett normalbeteende och därmed flagga för ett avvikande uppträdande. För att klara av detta behövs några tester som grundverktyg. Ett statistiskt test måste användas för ett beslutsunderlag för en begränsad mängd av data. Först specificeras två olika beslut kallade H0 och H1. Dessa två är olika hypoteser som kan provas 32

med hypotesprövning. Nollhypotesen H0 är korrekt och vårt mål är att acceptera eller förkasta H0 relativt en alternativ hypotes H1. Några exempel då ett sådant testförfarande kan tänkas vara intressanta för analys av avvikelser är t ex tester för Gaussiskhet, Stationaritetstester och Outliertester. Exempel på dessa skall nu kortfattat beskrivas. FOI-R--2360--SE 5.6.1. Shapiro-Wilk test för Gaussiskhet Om det finns skäl att anta att normala data är Gaussiskt fördelade och det gör det ofta så är följaktligen ett test för att avgöra om data är Gaussiskt fördelade eller inte ett sätt att hitta onormala data. Om den datamängd som skall testas inte är alltför stor (<5000), är Shapiro- Wilk ett mycket användbart test för detta, [4]. Teststatistika T n (n är sampelmängden) är kvoten av variansestimatet till den vanliga korrigerade kvadratsumman av variansen. Statistika T n är alltid större än noll och mindre än eller lika med ett, d.v.s. 0< T n 1. Små värden av T leder till förkastning av H0, d.v.s. H1 gäller och data är inte normalfördelade. I praktiska tillämpningar för karakterisering av undervattensbrus kan n = 5000 användas. För analys av data skapas ett fönster där antalet data är 5000 i fönstret. Detta fönster får sedan glida över den givna datamängden och skapar på så sätt ett stort antal delmängder med 5000 data i varje delmängd. När en avvikelse från normalfördelning har skett ges denna delmängd en markering. Vi har följt Shapiro and Wilk [22] och Conover [20] i implementeringen av koden. Utvidgningen till mångdimensionella variabler kan ske genom att variablerna brytes ner i underliggande variabler eller projektioner, alternativt att testen sker mot högre aggregat. Data behöver inte vara ordnat i tidsserier utan kan mycket väl användas för att studera olika delmängder i bilder. Om inte Gaussiskhet är ett lämpligt mått för avvikelse kan tester mot godtyckliga fördelningar utföras. En variant av Lilliefors test, som är en utvidgning av det nedan beskrivna Kolmogorov-Smirnov testet, är då en lämplig kandidat. Den går ut på att hitta maximala skillnaden mellan den estimerade kumulativa fördelningen och den fördelning som man har valt att testa mot. Detta kan anpassas mot godtyckliga variabler. 5.6.2. Stationäritet En stokastisk process är stationär om dess egenskaper är oberoende av när i tiden dess sampel är tagna. De flesta metoder och verktyg för analys baseras på antagandet att data är stationärt för trovärdiga och konsistenta estimat. Data kan kategoriseras efter dess stationaritetsegenskaper, från stationärt till icke-stationär, och via grader av stationaritet. Att data är strikt stationära innebär att datas fördelning F är oberoende av när i tiden eller var i bilden den representeras enligt: F(a t ) = F(a t+τ ). F behöver inte vara 1-dimensionell utan kan utökas till vald dimension eller projiceras mot lämplig variabel. Dock vill man jämföra mellan en referens och en nyligen uppmätt datamängd eller mellan två tänkbara situationer. a t och a t+τ är data vid t ex olika platser, olika pixlar eller olika tider. En förändring eller skillnad som gör att variabeln är icke-stationär gör att datamängden klassas som en anomali. En annan möjlighet är att det finns regimskiften i den underliggande processen som genererar variabeln som t ex att ett föremål plötsligt dyker upp i en bild. I KS-testen antas att data kan på något sätt ordnas så att datavärden a t beskrivs successivt t = [1,,n] och kan beskrivas med en okänd fördelning F(a). Hypoteserna är (dubbelsidigt test) H0: F(a) = F*(a) och H1: F(a) F*(a). F*(a) beräknas från en mängd av data skilt från referensfördelningen F(a). Dubbelsidig betyder att man inte tar hänsyn till om den nya fördelningen är större eller mindre än F(a) utan bara att den signifikant skiljer sig åt H1 eller är lika H0. Teststatistikan för KS-testet är T = suprenum CDF1 - CDF2 där CDF1 är den kumulativa beräknade fördelningen för referensdatamängden F(a) och CDF2 är den som skall testas mot d.v.s. F*(a). Lilliefors test kan användas på samma sätt som K-S genom att mäta data F(a) mot en referens F*(a) enligt ovan och avgöra om det finns en signifikant skillnad. 33

5.6.3. Grubbs test för outliers Med en outlier menas här med något som finns signifikant i utkanten av en viss sannolikhetsfördelning. Grubbs test [21] används för att detektera outliers i ett univariat set av data. Den baseras på antagandet att data följer en normalfördelning. Så därför behövs först att data blir testat och analyserat med t ex Shapiro-Wilk test. Grubbs test detekterar en outlier åt gången. Denna markeras och exkluderas, varefter testet fortsätter tills alla outliers har blivit markerade. Grubbs test är också känd i litteraturen för the maximum normed residual test. Grubbs test svarar alltså på frågan finns det några outliers i data och hur många finns det. I detta fall är de relevanta hypoteserna: H0: Det finns inga outliers i data setet och H1: Det finns minst en outlier i datamängden. Grubbs teststatistika är: Yi = Y G = max s där Y och s betecknar datamängdens medelvärde och standardavvikelse. Grubbs teststatistika är den största avvikelsen från medelvärdet i enheter av datamängdens standardavvikelse. Detta är en tvåsidig test. I detta fall bör man avvisa H 0 om: ( N 1) G > N t 2 ( α / N, N 2) 2 N 2 + t ( α / N, N 2) t α med ( /(2N ), N 2) som betecknar det kritiska värdet av t-fördelningen med (N-2) frihetsgrader och en signifikansnivå av α/(2n). 5.7. Systemkrav Mängden artiklar och tillgänglig information om intelligent/automatiserad övervakning är mycket stor. Aktuella översikter över området, och som också beskriver state-of-the-art är t.ex. [23] från 2007 (speciellt kap 5 och 7) men också [24]-[28]. Ett väl fungerande övervakningssystem med ett heterogent sensornätverk och anomalidetektion över händelsekedjor kräver metoder och algoritmer från en lång rad teknikområden som Computer Vision (Detektion, Klassificering, Optical Flow, Learning), Data- och informationsfusion (följning och attributskattning), händelse-, beteende- och anomalidetektion (Statistik, HMM, Markov Random Fields, Bayesianska Nätverk, ANN, SVM, ), etc. Den samlade mängden information om dessa metoder och algoritmer utgör en väldig verktygslåda, men för att kunna välja rätt verktyg krävs en noggrann analys av t.ex. vilka problem man verkligen vill lösa och i vilka miljöer systemet skall kunna fungera. Nedan följer några exempel på frågor som måste kunna bevaras vid design och implementation av ett verkligt system: Skala & Robusthet: I många artiklar fokuserar man på ett visst problem i ett visst scenario med en liten mängd kontrollerade data att testa på. Hur resultaten skalar till verkliga scenarier, miljöer och sensorer är inte alls självklart. Hur robust är den förslagna algoritmen mot förändringar av antaganden? A priori krav: Vilka krav ställer systemet på a priori information? Hur erhåller man träningsdata? Måste alla scener finnas som 2D/3D-modeller? Förbindelsematriser? Modeller av människor, djur och andra följningsobjekt? Är kraven realistiska? Val av anomaliklasser: Skall systemet hitta onormala rörelsemönster i en videosekvens, ett visst ansikte eller en onormal följd av normala händelser? Vilken balans mellan statistisk och regelbaserad anomalidetektion vill man ha? Systemkrav: I vilka miljöer skall systemet fungera? Under vilka tider och förhållanden? (Regn, snö, natt, dag, arbetsdag/karneval, ) 34

Adaptivitet: Är systemet slutgiltigt när det levereras eller skall man kunna bygga ut systemet efter hand? Ska systemet definiera om normalitet on-line? Automatisk inlärning? Tids- och rumsupplösning: I någon skala pågår nästan alltid något unikt och avvikande i ett verkligt system. Hur stora och omfattande händelsekedjor behövs? Initiering av intressanta kedjor: Avvikelsedetektion av enstaka händelser är lokaliserade händelser i tid och rum där detektionssignalbehandlingen kontinuerligt kan ske i, eller nära, de bevakande sensorerna: Allt avvikande kan i princip upptäckas. Detektion av avvikande händelsekedjor har inte samma begränsning. I princip måste alla objekt, relationer och interaktioner följas hela tiden över tid och rum. Detta är naturligtvis inte möjligt och begränsningar i händelsekedjornas omfattning (se ovan) och upplösning måste ske, samt en initiering/val av speciellt intressanta händelsekedjor. Hur skall man göra detta val? Spårning framåt och bakåt från en avvikande händelse är en lösning, men vad gör man om det inte finns någon sådan händelse att utgå ifrån? Detta är en intressant forskningsfråga för framtida arbete. Det finns intressanta kopplingar till spelteori där man effektivt försöker söka i gigantiska state-spaces, t.ex. spelet schack eller Go. I dessa spel har man dock tillgång till perfekt information om spelplanen, något som saknas här. Andra framkomliga vägar kan vara Monte Carlo Chains och Reinforcement Learning. Sensortopologi och sensorhomogenitet: Hur sensorerna täcker området och hur lika/olika sensorerna är ställer olika krav på algoritmerna. Förklarande system: Önskar man ett system som kan resonera och annotera en händelseföljd, och förklara med enkla nyckelord t.ex. för en operatör varför en händelseföljd är vanlig/ovanlig? Eller räcker det med ett larm om en ovanlig händelse? Realtidskrav: Vilka operationer skall ske i realtid och vad räcker att man kan göra offline? Lagringskrav: Vad skall lagras? Hur länge? Var skall det lagras? Vilka sökkrav på det lagrade finns? Sårbarhetsfrågor? Infrastrukturfrågor: Vilken nätverksprestanda kräver systemet? Tillgänglighetsfrågor? Strömförsörjning? Säkerhetsfrågor? Ställtid: Efter installation; hur lång tid får det ta innan systemet är operativt? Adaptivitets- och utbyggnadskrav: När systemet är installerat och operativt; hur mycket, och vad, kan förändras innan systemet slutar att fungera? Vilka typer av adaptivitet vill man ha? Skall systemet lätt kunna byggas ut och vad krävs för detta? Stödpersonalskrav: Hur mycket stödpersonal krävs för installation, drift och förändring/underhåll? Vilka kompetenser krävs bland stödpersonalen? Operatören? Sårbarheter och motmedel: Vilka sårbarheter finns i systemet och vilka är tänkbara motmedel mot systemet? Är dessa acceptabla? Kostnad? Spårbarhet: Hur mycket skall man kunna söka i systemet? Skall man kunna ifrågasätta ett larm och begära underlag för larmet? Prestandamått: Vilka prestandamått skall finnas? Hur bra fungerar systemet just nu? Konfidensmått? Täckningskartor? Multipla hypoteser? 35

5.8. Fortsatt arbete Det är viktigt att ett målsystem defineras där ovanstående frågor beaktas. Målsystemet definierar implicit vilka algoritmer, metoder och designer som är aktuella. Fortsatt arbete: Gör en fullständig definition av målsystemet. Definition av den/de lägesbild/er i vilken metoderna för avvikelsedetektion ska hitta avvikelser. Val av implementation och presentation till demonstrationer. Vad behöver simuleras? Fortsatt diskussion om relevanta förutsättningar för FM i ett internationellt uppdrag i stadsmiljö. Forskning på hur man inhämtar träningsdata och modeller till målsystemet på ett effektivt sätt. Här bör tekniker från supervised/unsupervised/reinforcement learning beaktas. Forskning på detektion av avvikande och intressanta händelsekedjor med hjälp av både statistiska och regelbaserade metoder. Hur ska dessa kombineras på ett naturligt och komplementärt sätt? 36

6. Fältförsök: Kontinuerlig övervakning och Avvikelsedetektion 6.1. Inledning Ett för delprojekten Kontinuerlig övervakning (KÖ) och Avvikelsedetektion (AD) gemensamt fältförsök har utförts i syfte att samla data för koncept- och algoritmutvärdering. Fältförsöket utfördes den 9:e november på FOI i Linköping i en utomhusmiljö som fått gälla som torg i urban miljö. Ett antal scener med bl.a. våldsinslag utspelades av upp till 6 aktörer och två personbilar. Fem videokameror, 30 mikrofoner i array- och parabolkonfigurationer, samt en IR-kamera registrerade skådespelet. Bilderna ovan visar en ögonblickbild från videokameror och IR-kamera under en scen där två rivaliserande gäng ryker ihop. Hur fältförsöket motiveras utifrån de olika delprojektens perspektiv (avvikelsedetektion, akustik, bildbehandling) kommer att redogöras närmare för under respektive delprojekt. Nedan följer allmän redogörelse för fältförsökets genomförande. 6.2. Insamlingsutrustning Akustikdata registrerades via kablar direkt på hårddisk i en central GPS-synkroniserad inspelningsrack med 32 kanaler (30 kanaler utnyttjades för akustik). Videokamerorna av märke SONY DCR SR190E startades i början av försöket, och fick sedan gå oavbrutet. Videokamerorna spelade in i bredbildsformat. Synkronisering av kamerorna skedde med traditionell filmklappa ansluten via en brytare till det GPS-synkade inspelningsracket. Vid scentagningarna bar samtliga aktörer GPS-logger för att registrera referensdata. Noggrannheten i GPS är dock så låg att användbarheten av dessa data är begränsad, trots att loggarna kalibrerades via referenspunkter. Uppställning och scener under fältförsöket beskrivs närmare i planeringsdokumentet [29]. 37

En speciell databas har utformats för att hantera de stora och komplexa datamängder som genereras av sensornätverket, se [30]. 6.3. Scener Fältförsöket i stort har utformats dels för att kunna utvärdera grundläggande teknik för KÖ, men framförallt för att ett antal olika typer av avvikelser ska kunna studeras inom AD. De utförda försöken har delats upp i fem olika scener: 1. En person lägger en väska på torget, och går därifrån. 2. Slagsmål utbryter mellan två rivaliserande gäng. 3. En grupp rör sig på sådant sätt att en person i gruppen döljs. 4. Personer som kliver i och ur personbilar. 5. En folkmassa med ett antal olika beteenden. Scenerna finns detaljerat beskrivna i [29]. De fyra första scenerna är utformade för att svara mot önskemål som definierats utifrån delprojekten KÖ och AD och det sista försöket är utformat utifrån önskemål från delprojekt Övervakning av folkmassa. Ur perspektivet från delprojekt AD har fyra saker varit centrala: 1. Några scener måste innehålla vissa avvikelser som kan upptäckas i akustiska sensorer och vissa avvikelser som kan upptäckas i kameror (visuellt och/eller IR). 2. Scenerna måste innehålla avvikelser av flera olika typer. 3. Scenerna bör vara så representativa som möjligt vad gäller de situationer och förhållanden som råder för FM under internationella insatser. 4. Minst en scen bör kunna användas för att demonstrera delar av projektets scenario under demonstrationen hösten 2008 organiserad av LedDoV. 38

7. Inhämtning av lägesbild 7.1. Inledning Under första halvåret gjordes en studie kring informations- och sensorbehov för olika nivåer av lägesbildinhämtning vid urbana militära operationer. Arbetet innehåller en översikt av möjliga sensorer för att inhämta behövlig information. I slutet av kapitlet ges förslag på olika forskningsverksamheter inom området. 7.2. Nivåer för lägesbild 7.2.1. Nivå 1 - Lägesbild för planering Första fasen, nivå 1, ger stöd för planeringen på brigad- och bataljonsnivå. Den innehåller översiktlig information i ett stort perspektiv. En karta är ett exempel på underlag på denna nivå. Kartunderlag finns i de flesta fall tillgängligt i exempelvis Europa, men om insatser ska ske på andra platser, såsom i Afrika, eller Asien, där kartmaterial är hemligt, svårtillgängligt eller i bästa fall bara dåligt uppdaterad måste alternativa vägar sökas. I dessa fall exempelvis satellitdata införskaffas. Fördelen är att detta är väl uppdaterat, medan en nackdel kan vara att bilderna är svåra att tolka, exempelvis kan vägar vara svåra att urskilja. Utökat stöd på denna nivå kan erhållas genom att ha höjdinformation, exempelvis från SRTM-data, se avsnittet om sensorer för kartläggning. Denna typ av information kan antingen presenteras på papper, såsom kartor används idag, men om höjdinformation finns tillgänglig så bör datoriserat stöd användas. Då kan underlaget utnyttjas bäst, vad gäller siktsträckor och allmän omvärldsuppfattning. Denna information är förhållandevis oföränderlig över tiden eftersom den i huvudsak beror på landskapet. Utbredningen och sammansättningen av städer ändrar sig i större omfattning. 7.2.2. Nivå 2 - Lägesbild för framryckning Andra fasen, nivå 2, ger stöd inför framryckning, för kompani- och plutonsnivå. För att bättre kunna förbereda sig för framryckning innehåller denna nivå information om formen på enskilda hus, positionen och höjden på träd, placering av kraftledningsstolpar etc. En framkomlighetsanalys kan göras i dessa data, exempelvis genom att lokalisera stenblock, diken och vägar. Exempel på system som samlar in data till underlag på denna nivå är flygande plattformar med avancerade sensorer, såsom laserskanner, SAR, hyperspektrala kameror etc., se avsnittet som kartlägger sensorer. Tillgängligheten för dessa sensorer i en insatsmiljö varierar dock stort mellan olika platser i världen. I Europa är tillgängligheten god på sensorer, oavsett typ, medan problemet snarare är hotbilden. SAR mäter på långa avstånd och med snett infall, och får anses som förhållandevis fritt från hot, medan flygfoto i olika varianter, inklusive laserskanning oftast används i stort sett rakt uppifrån från lägre höjd. Informationen i dessa olika sensorer är väldigt olika och snarare kompletterar varandra än ersätter varandra. Ingen sensor erbjuder enskilt en fullständigt korrekt lägesbild. I och med att tillgången på obemannade plattformar ökar, ökar även möjligheten att sätta in sensorer närmare en hotfull miljö. I exempelvis Afrika och Asien finns idag, inom Försvarsmakten, mycket begränsade möjligheter att snabbt sätta in sensorer för att erhålla denna information. Den israeliska mini-uavn Skylark, i Sverige benämnd SUAV-02 Falken, som är inköpt för att ingå i ISAR-kompaniet inom NBG08, har kapacitet att flygfotografera med visuell eller termisk kamera från låga höjder. Tillgången är god men prestandan är hårt begränsad. Idag finns heller inga automatiska metoder att bearbeta data från Falken för att generera lägesbild, utan data kan endast beskådas som videofilm, alternativt som stillbilder. Som ett alternativ kan nämnas att man utifrån ett stereopar av satellitbilder manuellt kan bygga upp enkla husmodeller. Dessa modeller kommer ha stor osäkerhet i position och form och genererar ingen mer information än dessa husformer, d.v.s. sakna diken, kraftledningar, stenblock etc. 39

I förberedelserna inför en framryckning i stadsmiljö kan datorstöd vara till stor hjälp, för att illustrera lägesbilden i tre dimensioner. Då kan exempelvis siktlinjer för krypskyttar och observatörer bedömas. Framkomligheten kan också bättre bedömas i en tredimensionell miljö. Under framryckningen är tidsförloppen korta och beslut behöver tas snabbt. I detta läge används företrädesvis en pappersversion av lägesbilden. Då undviks momenten som kan ta tid och därmed fördröja ett tidskritiskt beslut. Alternativa vägar bör föreslås redan i förberedelsefasen med stöd av den tredimensionella miljön. Eftersom denna nivå kan vara väldigt detaljrik är den inte tillförlitlig under lika lång tid som lägesbilden vid nivå 1. Hus kan snabbt raseras eller byggas om, och träd och buskar växer. 7.2.3. Nivå 3 - Lägesbild vid kartläggning Tredje fasen, nivå 3, innebär lägesbild vid kartläggning av exteriörer och interiörer, på plutons-, grupp- och soldatnivå. Vid kartläggning vill man kunna dokumentera en flervåningsbyggnad eller ett kvarter i detalj, såväl utvändigt och invändigt. Utvändigt dokumenteras exempelvis positionen av dörrar, fönster och externa trappor för att få en uppfattning av hotbilden från krypskyttar och för att bedöma möjligheten till inbrytningar och utbrytningar. Utifrån kan man med olika sensor även mäta inre strukturer. En laserskanner mäter på ett kraftfullt sätt genom fönster (samt även persienner) och ser yttersta rummen, medan radarsensorer till och med håller på att testas för att avbilda samtliga inre väggar i ett hus. Med denna information kan man på ett bra sätt förbereda sig för en genomsökning och kompletterande kartläggning. Ett alternativ är att utifrån fönsterplacering och kunskap om verksamheten i byggnaden göra en kvalificerad bedömning av fördelningen hos rummen. Ett hotell har ju ofta likadana rum, med ett rum per fönster, medan ett köpcentrum har stora lokaler separerade med en stor korridor/galleria. Det är dessutom viktigt att kunna separera olika våningsplan från varandra, vilket gör en tredimensionell presentation nödvändig. Under en kompletterande kartläggning med soldater som rycker fram genom byggnaden behövs en medföljande uppdaterad karta, exempelvis genom en handdator, kontinuerligt synkroniserad med en dator utanför byggnaden. Oavsett hur informationen av den inre strukturen är insamlad inför den inre kartläggningen kan den till viss del vara felaktig och en kontinuerlig uppdatering är nödvändig. För att uppdatera kartan automatiskt behövs olika typer av sensorer, som ser omgivningen runt de framryckande soldaterna. Exempel på sådana sensorer är personburna ultraljud-, laser- och radarsensorer, men idag finns inget sådan komplett system att köpa på marknaden. Ett ytterligare forskningsområde är att positionera personal inne i en byggnad, eftersom GPS-signalerna inte når in nog långt i byggnader. Olika system med antenner utplacerade utanför byggnaden finns, men kräver mycket manuell hantering. Dessutom kan soldaterna utrustas med tröghetsnavigeringssystem, men i dessa system uppstår en drift och efter lång förflyttning ger dessa system ofta en stor osäkerhet. DHS såväl som DARPA har program som undersöker dessa två områden. 7.3. Kartläggning av sensorer för insamling av data Utbudet av sensorer för att samla in data för förbättrad lägesbild är enormt, och det sker en ständig utveckling. Nya satelliter skickas upp i luften och andra flygande plattformar utrustas med nya typer av sensorer, med högre och högre upplösningar. Detta avsnitt beskriver några av de tillgängliga systemen. En mer extensiv förteckning redovisas i [38]. 7.3.1. Satelliter För att snabbt generera ett lägesbildsunderlag som täcker in mycket stora ytor krävs satelliter. Idag finns satelliter såväl med optiska sensorer som radarsensorer. Med olika optiska sensorer kan man få svart-vita bilder, färgbilder, samt olika former av IR-bilder. För att nämna några satelliter med optisk mätkapacitet finns följande i luften idag (eller snart): Landsat-7, IKONOS, EROS-B1, QuickBird-2, SPOT-5, Orbview-3, GeoEye-1. Data från dessa sensorer har ibland så hög markupplösning som 0,4 m mellan bildpunkterna. Sannolikt finns satelliter som kan ge högre upplösning, men de är inte kommersiellt tillgängliga. 40

Nackdelar med att köpa satellitbilder är att säljaren märker av dina spaningsintressen, att kostnaden kan bli stor (ca 20 USD per km 2 ), att man måste vänta tills satelliten passerar över den intressanta regionen (3-30 dagars intervall). Optiska sensorer saknar nattlig mätningskapacitet (förutom de med termiska sensorer) och skyms av moln och alltför dåligt väder. Då finns istället satellitburna radarsensorer som dock på den civila sidan har haft för låg upplösning. Från och med 2007 kommer en ny generation av civila radarsatelliter med upplösning i meterklass, t.ex. tyska TerraSAR-X. Satellitdata är mycket lämpliga som kartunderlag. Detaljundersökning av områden går också bra, men är begränsad av upplösningen. Med ett stereopar av optiska satellitbilder kan man manuellt arbeta fram en höjd och grov form på byggnader. Hotbilden är låg även om Kina under 2006 visade hur man kan skjuta ner en satellit. Som förstärkning av bildinformationen från satellitbilderna finns höjddata över stora delar av jorden tillgängligt genom ett rymdskytteluppdrag utfört under 2001. FOI-R--2360--SE 7.3.2. Flygspaning För att erhålla högre upplösning och ge möjlighet till kontinuerlig spaning finns alternativet flygspaning. Plattformerna kan vara kommersiella flygplan såväl som obemannade farkoster. UAVer finns i alla storleks- och prestandaklasser, och är ofta redan utrustade med vissa specifika sensorer, medan flygplan friare kan utrustas med önskad förmåga. ISTAR inom NBG08 är utrustad med mini-uavn SUAV-02 Falken, som har sensoralternativen visuell kamera och termiska kamera (för nattuppdrag). För att få ännu högre prestanda kan flygburen laserskanning användas. Då avbildas exempelvis marken (diken, stenblock mm.) genom lövverk, registreras den exakta former på byggnader och ges ett kraftfullt stöd för automatisk klassificering. Kombineras detta med flygfoto erhålls mycket lättolkade omvärldsmodeller. Denna typ av sensor finns kommersiellt tillgänglig i Västeuropa, men är idag svårt att få tillgång till i exempelvis Afrika och Asien. På grund av den låga flyghöjden är även hotbilden stor. Eftersom laserskannern mäter punkt för punkt kan inte kontinuerlig spaning utföras. Figur 14. Exempel på omvärldsmodell över del av Linköping. Bild från FOI. 41

7.3.3. Bi- och monostatisk SAR för kartläggning av yttre och inre strukturer i byggnader Jämfört med flertalet andra sensorer så har radar god förmåga att tränga långt in byggnader och igenom flera väggar. Penetrationen är god för låga radarfrekvenser (< 3 GHz) igenom de flesta byggnadsmaterial förutom metall. Radar har därmed en potential att avbilda såväl yttre och inre strukturer av byggnader t.ex. för att detektera objekt, dolda rum eller att hitta människor eller vapen inuti byggnader. Radar kan användas på avstånd vid fri sikt. Jämförelse Ultraljud Konventionell radar Termisk (IR) Röntgen Bredbandig lågfrekv. SAR Upplösning God Marginell God God God Dag/natt /alla väder Ja Ja Nej Ja Ja Väggpenetratation Marginell Hyfsad Nej* God God Genomträngning i metall Nej Nej Nej Enstaka mm Markpenetration Ja Hyfsad Nej* - Ja Fömåga att identifiera Nej Nej Ja Ja Ja Tabell 1. Enkel jämförelse mellan några olika sensorer med viss genomträngande förmåga. * värmetransporteffekter till ytan kan ge information. Bistatiska och multistatiska radarsystem har sändare och mottagare separerade till skillnad från monostatiska radarsystem. Olika kombinationer av samverkande fasta och rörliga plattformar för sändare respektive mottagare är möjliga, t.ex.: rörlig sändare och mottagare rörliga sändare och fasta mottagare fasta sändare och rörliga mottagare Nej Figur 15. Vision av kartläggning före insats av byggnadens yttre och inre struktur med flera olika samverkande radarsändare och mottagare. Byggnadens mått, placering av fönster, trappor, korridor samt och ingående material och våningsplanslayout kan kartläggas. Sensorerna kan även bestämma rörelsemönster av personer i byggnaden samt övervaka trafik och kommunikation till och från byggnaden (Källa: http://www.darpa.mil ). 42

Bi- och multistatiska radarsystem har flera fördelar jämfört med monostatiska system: Den ökade frihetsgraden med separerad sändare och mottagare ger ökat informationsinnehåll i radardata som kan användas till nya typer av avbildningar, t.ex. för kartläggning av inre strukturer i byggnader. Bistatisk radar har potentiellt bättre förmåga att upptäcka smyganpassade mål och mål i bakgrund t.ex. via ökad radarmålarea och/eller reducerat bakgrundsklotter i lämpligt valda bistatiska geometrier. Reduktion av starka signaler t.ex. spekulärreflexer från vinkelräta hörn kan göras med signalbehandling. Därmed kan bättre avbildningar fås och mindre signaler framhävas. Tillgängliga utsända signaler i etern, t.ex. mobiltelefoni, analog och digital TV eller radio, kan användas som sändare i passiva bistatiska tekniktillämpningar för detektion av t.ex. människor och fordon. För att i förhand få inblick i vad radarexperiment kan tänkas ge är elektromagnetiska (EM) simuleringar av stort värde. Simuleringar kan påvisa inverkan av olika parametrar, bistatiska och monostatiska. EM simuleringar bör utföras för att t.ex. Göra kloka val av lämpliga parametrar, frekvenser och geometrier vid kommande praktiska experiment. Studera grundläggande fenomen i väl avgränsade modeller. Studera inverkan av närvaron eller frånvaron av enskilda detaljer. Studera effekter av flervåningshus och stadskvarter med flera närliggande byggnader. Figur 16. Enkel husmodell med tre rum, fönster, innerväggar, golv och tak av olika material för bistatiska och monostatiska EM.-simuleringar. Till höger visas en beräknad monostatisk SAR-bild av husmodellen. SAR-avbildningen har åstadkommits genom att rotera sändare och mottagare ett helt varv (360º) runt modellen (Källa: Torleif Martin, FOI, 2007, som inom projektet Bistatisk SAR för urban miljö utfört bi- och monostatiska EM simuleringar av mindre byggnader). 43

7.4. Förslag på forskningsverksamhet Undersöka potentiell prestanda hos radarsatellitbilder - t.ex. från den tyska satelliten TerraSAR X som beräknas vara i bana från sommaren 2007. För Norrköping, där andra sensordata redan finns insamlade, vore det av intresse att studera vad radarbilder med meterupplösning från satellit kan tillföra marklägesbilden i urban miljö. Parametrar av intresse är t ex positioneringsnoggrannhet efter geokodning (rektifiering), skuggeffekter vid närstående hus, förändringsdetektion. Genomföra en mindre studie, med experimentellt inslag, av potentiellt handburna sensorer för kartläggning av inre strukturer. Specificera minst ett sensorsystem för att kartera en byggnads inre strukturer inifrån. Systemet ska på sikt kunna vara handburet. Genomför något mindre försök för att påvisa förmågan. Utföra SAR-simuleringar för kartläggning av strukturer i byggnader. Fortsatta elektromagnetiska simuleringar av bistatiska geometrier för kartläggning av inre strukturer i byggnader samt studier som syftar till att hitta lämpliga parametrar vid avbildande bistatiska experiment. Simuleringarna utökas till större scener än tidigare för att undersöka inverkan av närstående byggnader samt inverkan av olika material och strukturer vid avbildning. Undersöka möjligheten till automatisk byggnadsmodellering från optisk satellit, samt bedöma prestandan jämfört med modeller från laserskanning. Ifrån ett stereopar av bilder från satellit, tagna i olika vinkel mot samma plats, kan höjden på hus m.m. extraheras. Idag är detta ett manuellt arbete som tar lång tid. I denna projektdel ska metoder för automatisk extraktion av huskroppar undersökas. Verifiera, experimentellt, radarmetoder för kartläggning av inre strukturer i byggnader. Baserat på resultat från EM-simuleringarna verifieras någon lovande uppställning experimentellt. Mätning av uppställningen görs med flygande plattform (LORA UHF) alternativt nära marken från räls eller lastbil. I det sistnämnda fallet kan en extern belysare, t.ex. en TV-sändare, vara av intresse att studera (Passiv radar). Identifiera och utvärdera lämpliga tekniker för presentation/visualisering. Kartor tryckta på papper används i stor omfattning och är bra för 2 dimensionell information. 3D information gör sitt intåg och här undersöks alternativa presentationssätt lämpliga för sådan information inom Försvarsmakten. Workshop/möte/spel med MSS för att identifiera militärens behov inom detta område ingår också. 44

8. Red and blue force tracking 8.1. Allmänt Red and blue force tracking har definierats utgående från två grundläggande situationer där den ena är en checkpoint/kontrollplats för fordon och personal som upprättas av egna styrkor. Den andra situationen är ett hus som antas innehålla motståndare och som skall genomsökas efter att ha förberetts och kartlagts av oss. Kontrollplatsen skall kunna identifiera hot mot personalen eller det man skyddar genom att upptäcka och identifiera hot på 300 m för beväpnade personer och fordon samt självmordsbombare eller dolda vapen på 30 m. (Avstånden har fastställts efter att ha lyssnat och resonerat med personer på bl a NATO konferenser.) För byggnaden gäller det att kunna följa våra styrkor när de går in i huset, upptäcka andra personer, helst identifiera dessa samt varna våra styrkor för andra människor innan de möts ansikte mot ansikte. Följande avsnitt: 8.2-8.4, är utdrag från delstudier rörande "red and blue force tracking" som genomfördes innan sommaren och som finns redovisade mer detaljerat i [36]. 45

8.2. Inriktning Laser 8.2.1. Möjliga sensorsystem för Kontrollplats (Check-point) Grindad avbildning (GV); ögonsäker 1,5 µm våglängd 3D-avbildande laserradar; ögonsäker 1,5 µm våglängd Laservibrometer; koherent detektion och ögonsäker 1,5 µm våglängd 8.2.1.1. Grindad avbildning och 3D avbildande laser Med 3D-information underlättas väsentligt möjligheten att fastställa om personer bär vapen eller inte. Figuren nedan visar bilder från en 3D-laserradar av en beväpnad person på 100 m avstånd. Genom att rotera punktmolnet kan vapnet lätt urskiljas. Möjligheten till långa igenkänningsavstånd med grindad avbildning visas, där personen med vapen kan urskiljas på 2,5 km avstånd. En 3D-kamera med realtidskapacitet kan också ge 3D-information om rörelsemönster, vilket kan användas för identifiering av en person. Figur 17. Överst t.v. en visuell bild från 100 m höjd av en beväpnad person, t.h. samma person i närbild. Underst visas visas bilder tagna med en 3D-laserradar; 3D-punktmolnet kan roteras så att det ses från olika aspektvinklar, vilket underlättar upptäckten av vapnet. (FOI). Möjligheten till igenkänning och klassificering av människor med hjälp av 3D-information (baserat på maskeringsfärg, biometri, rörelsemönster, vad som hålls i handen etc.) behöver undersökas och värderas. Speciellt hur 3D-information förbättrar denna möjlighet jämfört med 2D-sensorer. Även fusionering av aktiva och passiva sensorer, exempelvis 3D-laserradar och en hyperspektral sensor, bör studeras. Olika sensorkoncept behöver värderas ytterligare för att man så småningom ska kunna göra en kravspecifikation på ett system för taktiskt tillämpning: System för grindad avbildning, 3D-laserradar baserat på olika detektorteknik (SPAD-detektorer, flash ladar, mm). 46

Tekniken att detektera nervositet med laservibrometri behöver undersökas ytterligare, dels genom en fördjupad litteraturstudie dels genom egna försök. Det senare kan med fördel ske i samverkan med institutionen för MSI. Förslag på forskningsverksamhet: En fördjupad litteraturstudie av användningen av laservibrometri för beröringsfri avläsning av puls och muskelrörelser i ansiktet genomförs, i samverkan med MSI. Testförsök med befintlig utrustning för 3D-avbildning genomförs för ansiktsigenkänning och identifiering baserat på rörelsemönster. Försöken omfattar exempelvis testförsök med GV-avbildning genom fönster, samt prov med en enklare 3D-kamera (Canesta) i realtidstillämpning, d.v.s. ett rörligt scenario. Om möjlighet ges till samverkan med andra projekt kan en 3D flash -laserradar från AFRL (ASC) användas för realtidsavbildning på längre avstånd. 8.2.2. Möjliga sensorsystem för Kontroll av byggnad Laservibrometri kan användas för avlyssning genom t ex fönster men kan också ge möjlighet till rörelsedetektion, exempelvis för att detektera rörelser i en lokal, på hustak, bakom buskage, staket och liknande. Rörelser orsakade av andning och hjärtslag kan detekteras. Även 3D-avbildande laserradar kan användas för att se in i fönster, bakom gardiner och persienner och bakom staket. Med polarisationsdetektion kan t.ex. snubbeltråd detekteras. Föreslag på forskningsverksamhet: Fördjupad litteraturstudie av fjärravlyssning med laservibrometri genomförs. Ett besök vid The City College of New York, NY, USA, genomförs för att diskutera fjärravlyssning med laservibrometri. Ett kommersiellt system för avlyssning anskaffas för utvärdering. Demonstrationsförsök med 3D-avbildning: kartering av byggnader, se in genom fönster, detektion av snubbeltråd m.m. genomförs med ett realtidssystem. Detta kan troligen genomföras i samverkan med AFRL, USA. 8.3. Inriktning EO Insatser i urban miljö innebär särskilda utmaningar för soldaten. Det överblickbara området är ofta litet, exempelvis längs en smal gata som strax viker av, eller enbart det rum som man befinner sig i om man är i en byggnad. Mycket folk är i rörelse och man vet inte vem man möter. Med hjälp av olika tekniker kan soldaten erhålla en bättre överblick än vad de egna sinnena ger och även få hjälp att skilja på de egna, motståndaren och icke-stridande. I en särskild delstudie som ingår i [36] redovisas flera av dessa EO tekniker och förslag ges på verksamhet för att fastställa teknikens användning i dag och dess möjliga användning i framtiden. Studien är i huvudsak begränsad till elektrooptiska system som kan bäras av en enskild soldat och två scenarion har pekats ut som särskilt viktiga. Förslag på forskningsverksamhet inom området: Användningsmiljö Hur ser den elektromagnetiska bakgrunden ut där systemen ska användas? Vad är normaltillståndet och hur kan det ändras? Vad gör motståndaren för att försvåra användandet av tekniken? Vilka mekaniska påfrestningar klarar den? Svåra ljusförhållanden välj ut några miljöer med svåra ljusförhållanden. Försök görs för att med olika elektrooptiska system avbilda en person under svåra ljusförhållanden. För att 47

underlätta kan ett kompletterande belysarsystem användas och för att försvåra kan personen som ska avbildas använda något bländande system. Exempel på situationer med svåra ljusförhållanden är fordon på en solbelyst gata, skuggor under träd och i portuppgångar, starkt motljus från solen, solreflexer eller strålkastarljus, ett mörkt rum som har en öppning mot ett ljust (eller omvänt) samt mörka rum. Även plötslig övergång mellan ljus och mörker. Exempel på elektrooptiska system som kan användas för avbildningen är Multimir, Emerald, Redlake, EM-CCD, NVG, LWIRkamera, Wabec, ILRIS-3D, 3d-FLASH och naturligtvis vanliga kameror för VIS. Ansiktsigenkänning på avstånd Olika elektrooptiska system används för att avbilda en person (främst ansiktet) på olika avstånd. Vanliga, kommersiella kameror och kameror för olika våglängdsområden (Multimir, Emerald, Redlake, EM-CCD, bildförstärkare, LWIRkamera) kan provas. Eventuellt med belysarsystem. Märkning av egna soldater med optisk kännetecken Försök genomförs för att avbilda optiska kännetecknen med hjälp av passande kamera, eventuellt med belysare. Multimir, Emerald, Redlake, EM-CCD, LWIRkamera är exempel på kameror som kan användas. Tillverkning av kännetecken och belysarsystem behöver inte bli särskilt kostsam, förmodligen under 20 000 kr. 8.4. Inriktning Radar 8.4.1. Bi- och monostatisk SAR för kartläggning av yttre och inre strukturer i byggnader Elektrooptiska (EO) sensorsystem har mycket god förmåga i många situationer men har även många begränsningar. När fri sikt saknas t.ex. i urbana canyons runt byggnader och inuti dem är flertalet av dagens EO sensorsystem helt eller delvis blinda. Icke desto mindre finns just i just dessa besvärliga scenarion ett stort behov av sensorinformation vilket erbjuder nya utmaningar och möjligheter att använda andra typer av sensorer med genomträngande förmåga t.ex. radar. En vision för detta kan vara att utveckla ett system med flera olika genomträngande sensorer och signalbehandling så att militär eller annan insatspersonal kan köra eller flyga förbi ett stadskvarter och skanna av byggnaders interiör och exteriör samt övervaka människorna där. Detta är en omfattande och krävande utmaning inte minst tekniskt, som sannolikt ger forskarna en hel del att arbeta med en lång tid framöver. Frågeställningar: Hur kan man använda bi- och monostatisk SAR för att kartlägga det inre av byggnader från stand-off-avstånd? Hur upplösa 3D? Kvalitets och tidsaspekter? Användbarhet för presentationssätt och planering? Bistatiska radarsystem har sändare och mottagare separerade till skillnad från monostatiska radarsystem. Olika kombinationer av samverkande fasta och rörliga plattformar för sändare respektive mottagare är möjliga, t.ex.: Rörlig sändare och rörlig mottagare Rörliga sändare och fasta mottagare Fasta sändare och rörliga mottagare 48

Exempel på rörliga plattformar kan vara satelliter, flygplan, helikoptrar, UAVer, fordon, fartyg. Jämfört med monostatisk radar finns flera tekniska utmaningar med bi- och multistatiska radarsystem; bland annat ställs högre krav på synkronisering och positionering då sändaren och mottagaren är separerade. Bi- och multistatiska radarsystem har dock flera fördelar jämfört med monostatiska system: Den ökade frihetsgraden med separerad sändare och mottagare ger ökat informationsinnehåll i radardata som kan användas till nya typer av avbildningar, t.ex. kartläggning av inre strukturer i byggnader. Bistatisk radar har potentiellt bättre förmåga att upptäcka smyganpassade mål och mål i bakgrund t.ex. via ökad radarmålarea och/eller reducerad bakgrundsklotter i lämpligt valda bistatiska geometrier. Reduktion av starka signaler t.ex. spekulärreflexer från vinkelräta hörn kan göras signalbehandlingsmässigt. Därmed kan bättre avbildningar fås och mindre signaler framhävas. Tillgängliga utsända signaler i etern, t.ex. digital-tv, kan användas som sändare i passiva bistatiska tekniktillämpningar för detektion av t.ex. människor, fordon och mobiltelefoner. FOI-R--2360--SE 8.4.2. Positionsbestämning med RFID En vanlig variant för positionering är att terrängen eller husen är taggade i förväg med aktiva RFID-taggar på kända koordinater. Om en tagg har kontakt med flera läsare kan man triangulera fram positionen av taggen med hjälp av läsarnas svarstider och att de har kända positioner. Det omvända gäller för en läsare som har kontakt med flera taggar med kända positioner. Alternativt bestämmer man bara ett område inom vilket taggen/läsaren befinner sig i, givet av taggens/läsarens räckvidd. Alternativt kan man använda GPS för positionering. Idag finns GPS-mottagare med så stor känslighet att de fungerar inomhus. Rapportering av koordinater kan ske med mobiltelefon. Man kan även tänka sig andra sätt att sända informationen till central. Några förslag på systemlösningar: 1. RFID-system för att förhindra bekämpning av egen personal, plattformar och materiel. Varje soldat och stridsfordon märks med RFID-taggar. Soldaterna/ fordonen inmäter sina lägen med hjälp av radiofyrar och sänder sina positioner till RFID-läsare som sänder den till en databas. Läget för varje individ och fordon återrapporteras. Varje soldat kan därigenom fastställa om han siktar på vän eller fiende. Systemet bör vara av stor hjälp vid strid i urban miljö. Pulsmätare och andra sensorer kan kopplas till systemet för övervakning av soldatens funktioner. Civilt kan detta system användas av t.ex. brandmän. Radiofyrarnas läge bestäms t.ex. med GPS. I ett sådant system sänder soldaterna inte någon röjande signal om inte just dess tagg är aktiverad av radiofyren. 2. Märk upp byggnader med aktiva taggar med kända koordinater. Personal förses med läsare som positionsbestäms genom triangulering när flera taggar är inom räckhåll. Detta är inte en bra lösning för soldater eftersom de röjer sig när de läser taggarna. Systemet bör fungera bra för rökdykare och annan personal, t.ex. patrullerande vakter. 3. Alternativt bestäms position direkt med GPS, vars koordinater rapporteras med GSM. Det finns GPS-mottagarna som nu är så känsliga att de fungerar inomhus. 4. Läsare placeras ut med kända positioner i miljön, ev. bestäms positionerna med GPS, integrerade med läsaren. Personer förses med passiva taggar vars lägen bestäms med triangulering. Koordinaterna rapporteras med GSM. 49

5. Fordon förses med GPS och passiva/aktiva taggar eller läsare. Personal märks med läsare/taggar. Positionering relativt fordonen med triangulering. Förslag på forskningsverksamhet med RFID-taggar för Blue Force tracking: 1. Utvärdering av aktiva RFID-system I samarbete med någon leverantör av aktiva RFID-system vill vi välja lämpliga RFID-system för utvärdering. Kontakter finns etablerade med svenska företaget Radionic. Vi vill mäta upp praktiska räckvidder och noggrannheter i positionsinmätning för RFID-taggarna inuti hus i en stadsliknande miljö med flervåningshus etc. Vi vill värdera deras användbarhet för insatsstyrkor vid större militära operationer samt identifiera ytterligare några civila tillämpningsområden. 2. Visualisering av positionsdata och identiteter från RFID-taggar Undersöka hur insamlade data från RFID-taggar med positioner och identiteter varje enskild soldat i en pluton kan visualiseras. Förutsättningarna för att importera data till en syntetisk 2D/3D-miljö och där presenteras i realtid undersöks. 3. Fältprov med aktiva RFID-system Vi vill genomföra fältprov, gärna i Kvarn i samarbete med Markstridsskolan, för att i en urban miljö via aktiva RFID-taggar och mottagare samla in data med avseende på position och för varje enskild soldat i en pluton under en MOUT-övning. Figur 18. Passiv resp. aktiv RFID-tag (transponder) samt foto av en batteridriven aktiv RFID -tag. Figur 19. Simulerade 2- och 3D-miljöer visande aktuella positioner av egen trupp, fordon och utrustning. 50

9. Referenser Nr Referens [1] Davis, J. W., Sharma, V.: Background-subtraction using contour-based fusion of thermal and visible imagery, Computer Vision and Image Understanding 106, pp. 162-182, 2007. [2] Stauffer, C., Grimson, W. E. L.: Learning Patterns of Activity Using Real-Time Tracking, in IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, Issue 8, pp. 747 757, 2000. [3] Haritaoglu, I., Harwood, D., Davis, L.: W4: Who, when, where, what: A real time system for detecting and tracking people, Third Face and Gesture Recognition Conference, pp. 222-227, 1998. [4] Haritaoglu, I., Cutler, R., Harwood, D., Davis, L. S.: Backpack: Detection of People Carrying Objects Using Silhouettes, Int. Journal of Computer Vision and Image Understanding, Vol. 81, pp. 385-397, 2001. [5] Bose, B.: Classifying Tracked Objects in Far-Field Video Surveillance, Thesis for Master of Science in Electrical Engineering and Computer Science, Massachusetts Institute of Technology, 2004. [6] Hjelmås, E., Low, B. K.: Face detection: a survey, in Int. Journal of Computer Vision and Image Understanding, Vol. 83, pp. 236-274, 2001. [7] Plänkers, R., Fua, P.: Tracking and Modelling People in Video Sequences, Int. Journal of Computer Vision and Image Understanding, Vol. 81, pp. 285-302, 2001. [8] Aggarwal, J. K., Cai, Q.: Human Motion Analysis: A Review, Int. Journal of Computer Vision and Image Understanding, Vol. 73, No. 3, pp. 428-440, 1999. [9] Lipton, A., Fujiyoshi, H., Patil, R.: Moving target detection and classification from real-time video, Proceedings of IEEE Workshop on Application of Computer Vision, 1998. [10] Irani, M., Anandan, P.: Robust Multi-Sensor Image Alignment, in IEEE International Conference on Computer Vision (ICCV), India, January, 1998. [11] Krotsky, S. J., Trivedi, M. M.: Multual information based registration of multimodal stereo videos for person tracking, Int. Journal of Computer Vision and Image Understanding, 106, pp. 270-287, 2007. [12] http://www.mathworks.com/products/image/description6.html [13] Javed, O., Shafique, K., Rasheed, Z., Shah, M.: Modeling inter-camera space-time and appearance relationships for tracking across non-overlapping views, Int. Journal of Computer Vision and Image Understanding, in press, 2007. [14] Lindgren, D., Svensson, L., Lauberts, A., Lantz, F.: "Kontinuerlig övervakning och avvikelsedetektion i urban miljö - inledande studie", FOI Memo 2252, December 2007. [15] v. Trees, H. L.: Optimum Array Processing, Part 4 of: Detection, Estimation, and Modulation Theory: John Wiley & Sons, 2002. [16] Kinsler, L. E., Frey, A. R., Copper, A. B., Sanders, J. V.: Fundamentals of Acoustics: John Wiley & Sons, 2000. [17] Grime, S., Durrant-Whyte, H. F.: "Data fusion in decentralized sensor networks", In Control Engineering Practice, vol. 2, pp. 849-863, 1994. [18] Makarenko A., Durrant-Whyte, H.: "Decentralized Bayesian algorithms for active sensor networks", Information Fusion, vol. 7, pp. 418-433, December 2006. [19] Denning, D.: An intrusion-detection model, IEEE Trans. on Software Engineering, 51

Vol. SE-13, No. 2, pp. 222-232, 1987. [20] Conover, W. J.: Pratical nonparametric statistics, J. Wiley, 3ed. [21] Grubbs, F.: Procedures for Detecting Outlying Observations in Samples, Technometrics, Vol. 11, No. 1, pp. 1-21, 1969. [22] Shapiro, S. S., Wilk, M. B.: "An analysis of variance for normality (complete samples)", Biometrika, vol 52, no 3 page 591-611, 1965. [23] Bremond, F.: PhD Thesis: "Scene Understanding: perception, multi-sensor fusion, spatio-temporal reasoning and activity recognition", HDR Université de Nice-Sophia Antipolis, July 2007. [24] Boulay, B.: PhD Thesis: "Human Posture Recognition for Behavior Understanding" HDR Université de Nice Sophia Antipolis, January 2007. [25] Robertson, N.: PhD Thesis: "Automatic Causal Reasoning for Video Surveillance", Hertford Collage, University of Oxford, 2006. [26] Kjellström, H., Grauman, K., Darrell, T.: "Non-Parametric Detection of Motion Anomalies with Large Databases", In Preparation for the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2008. [27] Smith D., Singh, S.: "Approaches to Multisensor Data Fusion in Target Tracking: A survey", IEEE Trans. on Knowledge and Data Engineering, Vol. 18, No. 12, December 2006. [28] Hu, W., Tan, T., Wang, L., Maybank, S.: "A Survey on Visual Surveillance of Object Motion and Behaviours", IEEE Trans. on Systems, Man, and Cybernetics, Part C: Applications And Reviews, Vol. 34, No. 3, August 2004. [29] Lindgren, D., Lantz, F.: "Fältförsök nr. 1, kontinuerlig övervakning och avvikelsedetektion i urban miljö", FOI Memo 2257, December 2007. [30] Hemström, F., Lindgren, D.: "Dataformat för sensornätverk i urban miljö," FOI Memo 2256, December 2007. [31] Sume, A.: Närfältsfokusering av paraboloidantenn, FOI Sensorteknik, Linköping, Teknisk Rapport, FOI-R--1719--SE, September 2005. [32] Nilsson, S., Axelsson, D., Gustafsson, M., Jänis, A., Kjellgren, J., Sume, A., Örbom, A.: "Väggpenetrerande radar - En omvärldsanalys", FOI Sensorteknik, Linköping, Teknisk Rapport, FOI-R--1774--SE, December 2005. [33] Kjellgren, J.: "Presentation av 3D radardata och sammanlagring med kameradata - Mätningar mot person med dolda vapen", FOI Sensorteknik, Linköping, Teknisk Rapport, FOI-R--2067--SE, September 2006. [34] Nilsson, S., Gustafsson, M., Karlsson, M., Kjellgren, J., Larsson, H., Sume, A., Örbom, A.: "Radarsensorer för urban miljö - Slutrapport", FOI Sensorteknik, Linköping, Teknisk Rapport, FOI-R--2137--SE, December 2006. [35] Nilsson, S., Axelsson, D., Gustafsson, M., Habberstad, H., Huss, L-G., Jänis, A., Karlsson, M., Kjellgren, J., Larsson, H., Letalick, D., Sume, A., Örbom, A.: "Teknisk värdering av nya sensorförmågor för strid i bebyggelse", FOI Sensorteknik, Linköping, Teknisk Rapport, FOI-R--2138--SE, December 2006. [36] Svensson, L.: Sensorsystem för urban miljö - Lägesredovisning, FOI Sensorsystem, Linköping, FOI Memo 2089, Juni 2007. [37] Rindstål, P., Holmberg, M.: "Sensorsystem för urban miljö: Scenarior som används i spelverksamheten, Upplägg, genomförande och resultat", FOI Memo 1738, 2006. [38] Chevalier, T., Andersson, M., Gustavsson, A., Rasmusson, J.: "Lägesbildsunderlag inför insatser i urban miljö", FOI Sensorsystem, Linköping, Teknisk rapport, FOI-R-- 2385--SE, December 2007. 52