Slutrapport Version 2.1

Slutrapport Version 2.1 Granskad Godkänd 1

SensorVisions Design-Build-Test, HT08 Umeå Universitet, Tillämpad fysik och elektronik Namn Ansvar Telefon E-post Daniel Eriksson Dokumentansvarig 070-2277810 daer0005@student.umu.se Daniel Zakrisson Testansvarig 070-5917732 daza0002@student.umu.se Magnus Olofsson Designansvarig 073-0522462 oonmas04@student.umu.se Johan Norberg Ekonomiansvarig 070-3560913 jonnog04@student.umu.se Daniel Axelsson 070-5148491 daax0001@student.umu.se Martin Nilsson 070-5471596 c04mnn@cs.umu.se Omas Jakobsson 070-6860429 c04ojn@cs.umu.se Johan Zakrisson 070-3967071 joza0002@student.umu.se Kund: IFOR Kontaktperson hos kund: Martin Servin, 090-786 65 08, martin.servin@physics.umu.se Kursansvarig: Roland Rosqvist, 090-785 25 29, roland.rosqvist@molbiol.umu.se Handledare: Björne Lindberg,. 090-786 60 56, bjorne.lindberg@tfe.umu.se 2

Innehåll 1. INTRODUKTION... 5 1.1. PARTER... 5 1.2. SYFTE OCH MÅL... 5 2. BUDGET... 5 2.1. TIDSÅTGÅNG... 6 2.2. EKONOMI... 8 3. KRAVUPPFLYLLNAD... 9 4. PROBLEM OCH REFLEKTIONER... 15 5. LEVERANS... 15 3

Dokumenthistorik version datum utförda förändringar utförda av granskad 0.9 2009-01-08 Första utkast. Daniel E, Johan N 1.0 2009-01-13 Nästan färdigställt, behövs korrekturläsas. Daniel E, Johan N 2.0 2009-01-16 Nu är allt färdigställt. Daniel E, Johan N 2.1 Introduktion tillagt Daniel A, Martin N 4

1. Introduktion Vårt projekt är en del av kursen Design-Build-Test som pågick under HT08. Syftet med denna slutrapport är att beskriva hur framgångsrikt projektet har varit i termer av måluppfyllnad, budget och tidsåtgång. Projektet avser utveckling, utvärdering och demonstrering av teknologi för fjärrstyrning av arbetsmaskiner i utomhusmiljö. Projektet kan ses vara ett steg i riktningen mot fullständigt autonoma maskiner i off-road terräng. Systemet avser stödja manuell och automatiserad uppdatering av digitala kartor (med information om terräng, hinder och objekt) samt stöd för fjärrstyrning genom smart behandling och visning av data från videosignal, kartinformation, GPS och sensordata. Se Figur 1 för en konceptuell illustration. Figur 1. Konceptuell illustration av systemet i dess omgivning. 1.1. Parter Beställare: IFOR med samarbetsföretag Komatsu Forest och BAE Hägglunds. Utförare: Projektet kommer genomförs inom ramen för teknisk utbildning vid Umeå universitet i kursen Design-Build-Test projektkurs för ingenjörer. Till sin hjälp i projektet har studenterna lärare/forskare vid universitetet samt experter från företagen. 1.2. Syfte och Mål Syfte: utveckling, utvärdering och demonstrering av teknologi för fjärrstyrning av arbetsmaskiner i off-road miljö. Mål: konstruera ett system som tar emot, hanterar och presenterar omvärldsdata (video-, sensor-, kartdata, GPS) för fjärroperatör och tar in styrkommandon från denna. 2. Budget 5

Budgeten som ingick i projektet var delad på en ekonomisk del och en tidsbaserad del. Under projektet så uppgick den ekonomiska delen till 4 000 kronor och tiden vi fick lägga ner på projektet var 2 560 timmar. För att klara av detta så gjorde vi en tidsplan som innehåller de aktiviteter som vi trodde skulle behövas i projektet. Vi gjorde även uppskattningar på hur lång tid det skulle ta att göra de olika aktiviteterna. När vi sedan började göra en ekonomisk budget så märkte vi att 4 000 kronor inte var en tillräcklig budget för det här projektet så vi förhandlade fram en ny budget på 10 000 kronor. Utifrån denna så skapade vi en budget som vi skulle hålla oss efter. Vi blev också tilldelad tid med konsulter, och den tiden var följande: BAE Hägglunds: Komatsu Forest: Niclas Börlin: Ola Ringdahl: Simon Westerberg: 16 timmar. 16 timmar. 40 timmar. 30 timmar. 30 timmar. 2.1. Tidsåtgång Av tiden vi hade till förfogande så skapade vi en tidsplan innehållande de aktiviteter vi antog behövdes för projektet, denna reviderade vi en gång och den slutgiltiga versionen bestod av följande aktiviteter och dess tidsåtgång. Företgsnamn 24 timmar Logga 24 timmar Projektmöte 322 timmar Kravspecification 106 timmar Eget arbete 65,5 timmar Föreläsningar 91 timmar Projektplan 263,75 timmar Infohämtning 28 timmar Beställarmöte 49 timmar Projektrollsarbete 84 timmar Införskaffa ett fordon 17,5 timmar Bygga en testrigg 69,5 timmar Testa fordon 8 timmar Begränsa sikten 10 timmar Införskaffa bränsle 5 timmar Strömförsörjning 5 timmar Systemdesign 61 timmar Behandling av bildpar 81,25 timmar Uppdatering av 2.5D-karta 105 timmar Säker färdväg 40 timmar GUI 179,5 timmar Testplansarbete 23 timmar Lagringsrutiner 8 timmar Online databehandling 67,5 timmar Modul för webkamera 39,5 timmar 6

Positionsbestämning Modul för laserscanner Modul för 3D-kamera Implementation av proxy Implementation av SAM Canontidsensormodul Modul för objektsensor Implementation av fordonsmodul Implementation av streaming Test och integration Reservtid Dokumentering Demonstration Kalibrering 25 timmar 30 timmar 48 timmar 30 timmar 20 timmar 20 timmar 10 timmar 30 timmar 27,5 timmar 77 timmar 114 timmar 243 timmar 70 timmar 38 timmar Detta blir totalt 2559,5 timmar. Den faktiska tid som vi har använt för projektet är följande: Företgsnamn 24 timmar Logga 24 timmar Projektmöte 326 timmar Kravspecification 116 timmar Eget arbete 65,5 timmar Föreläsningar 91 timmar Projektplan 283 timmar Infohämtning 32,8 timmar Beställarmöte 46 timmar Projektrollsarbete 109 timmar Införskaffa ett fordon 17,5 timmar Bygga en testrigg 70 timmar Testa fordon 0 timmar Begränsa sikten 0 timmar Införskaffa bränsle 1 timmar Strömförsörjning 0 timmar Systemdesign 61 timmar Behandling av bildpar 91,8 timmar Uppdatering av 2.5D-karta 62,5 timmar Säker färdväg 30,5 timmar GUI 170 timmar Testplansarbete 23 timmar Lagringsrutiner 8 timmar Online databehandling 75,6 timmar Modul för webkamera 37,5 timmar Positionsbestämning 21 timmar Modul för laserscanner 11 timmar Modul för 3D-kamera 52 timmar Implementation av proxy 0 timmar Implementation av SAM 13,2 timmar 7

Canontidsensormodul Modul för objektsensor Implementation av fordonsmodul Implementation av streaming Test och integration Reservtid Dokumentering Demonstration Kalibrering 0 timmar 2 timmar 14,5 timmar 31,6 timmar 166 timmar 10 timmar 463 timmar 61,8 timmar 60,5 timmar Detta blir totalt 2672,3 timmar. Vi har alltså gått över i budget med ca 4,4 %. Av den tilldelade tiden vi fick med konsulter så har vi använt följande mängd timmar med de olika konsulterna. BAE Hägglunds: 0 timmar. Komatsu Forest: 0 timmar. Niclas Börlin: 13 timmar. Ola Ringdahl: 10 timmar. Simon Westerberg: 7,5 timmar. 2.2. Ekonomi Den budget som vi sammanställde i början av kursen såg ut som följande: Budget Trädgårdstraktor m. släp 6 500 kr Hyrbil (NTK), 25 kr/mil 875 kr Hyrbil (NTK), 100 kr/dygn 100 kr Hyrsläp 400 kr Bränsle 500 kr Testrigg 1 000 kr Rigg för att begränsa sikt 300 kr Övrigt 200 kr Totalt 9 875 kr Nedan följer en redogörelse av hur vi har förfogat över de 10 000 kronor som budgeten består av. Budget Fyrhjuling m. släp 6 500 kr Hyrbil (NTK), 25 kr/mil 850 kr Hyrbil (NTK), 100 kr/dygn 100 kr Hyrsläp 285 kr Bränsle 187 kr Testrigg 1 000 kr Material till rigg 122 kr Spånskiva 89 kr 8

Totalt 9 133 kr Eftersom de utgifter vi har haft uppgår till 9 133 kronor så ligger vi inom ramarna för budgeten. 3. Kravuppflyllnad Nedan förljer en tabell över samtliga krav och dess uppfyllnad. För mer information om vilka tester som genomförts hänvisas till projektrapporten. Krav nr 1 Krav nr 2 Versions nummer Kravtext 1.5 Stöd för insamling av geospatial information och manuell insamling av framkomlighetsdata med avseende på markfordon (fas 1). 1.5 Möjliggöra för mänsklig operatör att fjärrstyra ett markfordon (fas 2) i 20 km/h, där vi simulerar fjärrstyrning med kommando till mänsklig servo i maskin. Om uppfyllt eller ej. Delsystem 1 - Maskin Maskinen bär sensorutrustning, tar emot styrkommandon och omsätter dessa i rörelse. Inledande beskrivning av delsystem 1 Krav nr 3 1.5 God framkomlighet på ej asfalterad och kurvig väg i skogsområde. Fordon bestämmer underlag. Krav nr 4 1.3 Utrymme för att bära, människa och nödvändig sensor- och styrutrustning samt mindre last. Gränssnitt Krav nr 5 1.3 Manuell styrning (gas, broms och sväng). Krav nr 6 1.5 Kan styras efter högnivåkommandon (gas, broms och sväng) från dator. Kan simuleras genom kommandon till mänsklig servo. 9

Funktionella krav för delsystem 1 Krav nr 7 1.3 Topphastighet på minst 20 km/h. Delsystem 2 - Sensorenhet Sensorenheten utgörs av systemets olika sensorer och deras signalvägar. Olika sensorer används i fas 1 och fas 2. Inledande beskrivning av delsystem 2 Krav nr 8 1.3 Systemet kan spela in sensordata med tidstämpel (fas 1). Krav nr 9 1.5 Systemet kan streama behandlad och obehandlad sensordata och de sensordata som behövs för säker navigering. Säker navigering bedöms utifrån projektgruppens perspektiv. Gränssnitt Krav nr 10 1.5 Operatör kan starta/stoppa inspelning av sensordata (fas 1). Krav nr 11 1.5 Operatör kan markera särskilt viktiga tidpunkter (fas 1). Funktionella krav för delsystem 2 10

Krav nr 12 1.3 Lagring av parvisa digitala bilder för 3D bildrekonstruktion. Krav nr 13 1.3 Lagring av 3D-kamera data. Krav nr 14 1.3 Lagring av DGPS-data. Krav nr 15 1.3 Streaming av videosignal. Krav nr 16 1.3 Streaming av 1.5D laserscannerdata. Krav nr 17 1.3 Streaming av DGPS-data. Delsystem 3 - Databehandling Databehandling tar emot och behandlar data från sensorer, hantering av kartinformation, lokalisering. Inledande beskrivning av delsystem 3 Krav nr 18 1.3 Tar emot och behandlar inspelat sensordata. Krav nr 19 1.5 Skall kunna läsa in, modifiera och spara digital 2.5D karta. Krav nr 20 1.3 Lokaliserar fordonet - position och pose - i kartkoordinater. Gränssnitt Krav nr 21 1.5 Manuell inmatning av data om framkomlighet och objekt är möjligt genom ett GUI (graphical user interface). Data innebär position, utbredning i 2D och typ av objekt eller framkomlighetsklass. Funktionella krav för delsystem 3 Krav nr 22 1.5 Utifrån sensordata generera 3Dyta med upplösning 1m på ett område 25 m kring fordonet inom det rekade området. Krav nr 23 1.6 Uppdatera befintlig 2.5D digitalkarta med ny höjdnivådata, med krav på 0.1 meters precision. Ej uppfyllt på grund av hårdvara. 11

Krav nr 24 Krav nr 25 Krav nr 26 Krav nr 27 1.5 Känna igen och lokalisera objekten trästock och träd. 1.6 Lagra manuellt införd data om specifikt objekt i digital karta. Data innebär position, utbredning i 2D och typ av objekt, där dike skall vara ett av de valbara objekten. 1.3 Lagra data om markförhållanden områdets utsträckning och typ (olika framkomlighetsklasser). 1.6 Lagra körd färdväg = säker korridor i digitalkarta, där alla hinder inom säker korridor är markerade och bredden på den säkra korridoren möjliggör körning i 20 km/h då inga närstående objekt finns närvarande. Ej uppfyllt på grund av hårdvara. Delsystem 4 - Styrinterface Interface mot för fjärroperatör, visuell presentation av information för fjärrstyrning, inmatning av styrkommandon. Gränssnitt Krav nr 28 1.5 Kartinformation, uppdragsbeskrivning, färdväg, målobjekt, framkomlighetsdata och streamad video presenteras på ett tydligt sätt. Ej uppfyllt. Funktionella krav för delsystem 4 Krav nr 29 1.4 Presenterar maskinens placering och pose i digital karta. Krav nr 30 1.3 Visar streamad video från kamera på maskinen (kamera riktad i färdriktningen). 12

Krav nr 31 1.4 Krav nr 32 Krav nr 33 Visualiserar information om framkomlighet i maskinens rekogniserade närområde, 50m. 1.5 Stöder operatör med information om objekt (målobjekt eller hinder), framkomlighetsklass och färdväg. 1.3 Tar emot styrkommandon. Prestandakrav Krav nr 34 1.5 Uppdateringsfrekvens vid fjärrstyrning ska vara tillräcklig för att färdas i 20 km/h, där fjärrstyrning kan simuleras genom kommandon till mänsklig servo. Krav nr 35 Krav nr 36 1.5 Tid för offline-behandling av sensordata från en sträcka av 500 m får max uppgå till ett dygn. 1.5 Systemet ska vara tillräckligt för att stödja fjärrstyrning på skogsbilväg i en sträcka A B av 500 m, där fjärrstyrning kan simuleras genom kommandon till mänsklig servo. Krav på vidareutveckling Krav nr 37 1.3 Systemet ska enkelt kunna överföras på andra markfordon. Tillförlitlighet Krav nr 38 1.3 Fjärrstyrningssystemet ska inte krascha inom 30 minuter. Kravet är otestat. 13

Ekonomi Krav nr 39 1.4 Tidsresursen för genomförande av projektet (8 personer) är 8x8x40 = 2560 arbetstimmar. Ej uppfyllt. Krav nr 40 2.0 Projektet har en budgetram på 10000 kr för inköp eller hyra av material för projektets genomförande. Inköp görs enligt budget eller i samråd med beställare. Budgeten kan omförhandlas i samråd med beställare. Krav nr 41 1.3 Projektet har möjlighet att konsultera experter enligt: BAE Hägglunds 16 timmar Komatsu Forest 16 timmar Niclas Börlin 40 timmar Ola Ringdahl 30 timmar Simon Westerberg 30 timmar Leveranskrav och delleveranser I projektet ingår följande leveranser Krav nr 42 1.4 Systemdesign 17 oktober 2008 Till beställare Krav nr 43 Krav nr 44 Krav nr 45 Krav nr 46 1.4 Plan för testning 17 oktober 2008 Till beställare 1.3 Beta-system: demonstration 4 november 2008 Till beställare 1.3 Färdigt system 9 jan 2009 Till beställare 1.3 Dokumentation 16 jan 2009 Till beställare 14

Valitetskrav Krav nr 47 1.4a En testansvarig utses. 1.4b En dokumentansvarig utses. Krav nr 48 Krav nr 49 Krav nr 50 1.3 En testplan upprättas. 1.3 En riskanalys för projektgenomförandet genomförs. 1.3 En öppen kommunikation med beställare om hur riskerna bedöms och eventuella förseningar. 4. Problem och reflektioner I detta system är ej sensorer och datorer avskärmade från omgivningen. Detta medför att vi ej kan operera i nederbörd på grund av att datorerna samt Cannon-kamerorna är känsliga för väta. Vid applikation på större fordon kan man nog lättare skydda datorer och kameror och göra utrustning oberoende av väder. Datorerna som användes under projektet är väldigt långsamma, vilket ha medfört att vi inte kan köra alla våra applikationer och samtidigt ha på webbkameran under körning i 20 km/t. Batteriernas livslängd under de kalla förhållanden vårt system testades i blev väldigt korta. Vilket medförde många batteribyten. Detta borde inte vara något problem under sommaren. En ide kan ju vara att antingen värma batterierna eller koppla sensorerna till fordonets batteri. Ibland hade vi svårt att få ett fix med DGPS:en vilket minskade precisionen från cm till meter. Varför det ibland strulade vet vi inte. Vår uppgift är beroende på att vi kan samanföra kartor, fordons position, objekt osv. Med en osäkerhet i meter så faller hela konceptet. Kamerorna har även begränsningar när det gäller ljus. De fungerar inte i mörker. Dock så kan fas 2, alltså den simulerade fjärrstyrningen genomföras i mörker. Bildbehandlingsprogrammet har även problem att hitta punkter när de ligger snö på marken, vilket är ett problem för att det är just marken vi ska uppdatera. 5. Leverans Tillsammans med Projektrapporten och Slutrapporten så medförs det en cd-skiva med samtlig programmeringskod. Med på skivan kommer även båda dokumenten att finnas. I princip så kommer all mjukvara att medföljas. 15