Användarhandledning Autonom spaning med quadcopter

Användarhandledning Autonom spaning med quadcopter Version 1.1 Projektgrupp: Datum: 2014-12-03 Status Granskad Emil Klinga 141203 Godkänd Christian A. Naesseth 141203

Projektidentitet E-post: Hemsida: Beställare: Kund: Kursansvarig: Handledare: @gmail.com http://www.isy.liu.se/edu/projekt/tsrt10/2014/quadcopter/ Christian A. Naesseth, ISY, Linköping University Tel.: +46 13 281087, E-post: christian.a.naesseth@liu.se Maria Andersson, FOI E-post: maria.andersson@foi.se Daniel Axehill, Linköpings universitet Tel.: +46 13 284042, E-post: daniel@isy.liu.se Clas Veibäck, Linköpings universitet Tel.: +46 13 281890, E-post: clas.veiback@liu.se Gruppmedlemmar Namn Ansvar Telefon E-post (@student.liu.se) Magnus Blomberg Designasnvarig 073-929 54 57 magbl113 Tobias Hammarling Testansvarig 070-425 55 32 tobha614 Teodor Johnsson 073-080 74 38 teojo382 Emil Klinga Projektledare 070-130 23 49 emikl364 Oliver Larsson 076-273 41 82 olila044 Anton Niglis 070-360 53 01 antni601 Martin Pettersson Dokumentansvarig 070-347 78 90 marpe238 Per Öberg 070-494 82 45 perob757

Dokumenthistorik Version Datum Utförda ändringar Utförda av Granskad 1.1 141204 Ändringar efter förändringar i MP MP bildbehandlingens GUI 1.0 141203 Ändringar efter kommentar från EK EK handledare och beställare 0.2 141202 Ändring efter kommentarer från EK EK handledare 0.1 141202 Första utkast MK, PÖ, AN, EK EK

Innehåll 1 Inledning 1 1.1 Parter............................................... 1 1.2 Definitioner............................................ 1 2 Mjukvara och material 2 2.1 Mjukvara............................................. 2 2.2 Övrigt material.......................................... 2 3 Uppstart 2 3.1 Uppstart av plattform...................................... 2 3.2 Uppstart av klient........................................ 2 4 GUI 3 4.1 Planera uppdrag......................................... 3 4.2 Utföra uppdrag.......................................... 4 4.3 Manuell styrning......................................... 5 4.4 Nödstopp............................................. 6 4.5 Inställningar bildbehandling................................... 6 4.5.1 Bildbehandlingsmetoder................................. 7 4.5.2 Bildvisningsmetoder................................... 7 4.5.3 Bild............................................ 7 4.5.4 Färgkalibrering...................................... 8 4.5.5 Målbildskalibrering.................................... 9 5 Säkerhet 10 6 Batteriunderhåll och hantering 11 6.1 Varning.............................................. 11 6.2 Laddning av batteri....................................... 11 6.3 Förvaring............................................. 11 7 Felsökning 12

Autonom spaning med quadcopter 1 1 Inledning Detta är en användarhandledning i projektet Autonom spaning med quadcopter. Projektet görs i samband med kursen TSRT10 - Reglerteknisk projektkurs på ISY, Institutionen för systemteknik, på Linköpings universitet. Dokumentet presenterar det tillvägagångssätt som används för att för att hantera och använda programvaran utvecklad av för att styra plattformen. 1.1 Parter De delaktiga parterna i projektet är som följande: Kund: Maria Andersson, FOI Beställare: Christian A. Naesseth, ISY Handledare: Clas Veibäck, ISY Examinator: Daniel Axehill, ISY Projektgrupp: 1.2 Definitioner I dokumentationen av projektet kommer flertalet områdesspecifika begrepp att användas. Dessa är punktade nedan med tillhörande beskrivning. Plattform: Trajektoria: Standardmål: Täckningsgrad: GUI/HMI: GPS: LiPo: Med plattform avses quadcoptern sammanlänkad med GPS och videokamera som en enhet. Den kurva som plattformen har som mål att följa vid autonom styrning. Enkla geometrier som bildbehandlingsmodulen klarar av att känna igen. Andelen av en yta som blivit avsökt. Grafiskt användargränssnitt. (eng. Graphical User Interface, Human Machine Interface) Globalt positioneringssystem Litium polymer batteri

Autonom spaning med quadcopter 2 2 Mjukvara och material Här ges en beskrivning över de komponenter som ingår vid användning. 2.1 Mjukvara Mjukvaran som krävs för autonom flygning är en prdukt levererad av. Den består av ett flikbaserat GUI för att planera uppdrag, konfigurera bildbehandling samt utföra uppdrag. Under fliken för att utföra uppdrag finns även möjlighet till manuell kontroll av plattformen. 2.2 Övrigt material Komponenter som krävs utöver s programvara. Plattform: En AR.Drone 2.0 med inbyggd WIFI-länk och kaross för inom- eller utomhusbruk GPS: Flight Recorder med USB anslutning Batteri: LiPo batteri med tillhörande laddare Klient: PC eller Mac med trådlöst nätverkskort MatLab: För att uppdragsplaneringen skall kunna kalkylera trajektoria krävs att MatLab är installerat. 3 Uppstart Här beskrivs hur plattform och klient förebereds för start. 3.1 Uppstart av plattform 1. Spänn fast batteriet och GPS-pucken i det inre utrymmet på plattformen. 2. Se till att plattformen står plant och alla propellrar kan snurra fritt, rikta in plattformen sådan att kameran pekar mot norr. 3. Anslut batteriet till strömkontakten och låt plattformen gå igenom en initierings sekvens. Det är färdigt när ledlamporna lyser grönt. 4. Sätt lämlig kaross på plattformen beroende på flygning utomhus eller inomhus 3.2 Uppstart av klient 1. Anslut klienten till plattformen genom att ansluta till det trådlösa näverket ardrone2 012421. 2. Anslut en USB-dongel för internetanslutning. 3. Starta s programvara.

Autonom spaning med quadcopter 3 4 GUI Här beskrivs hur Kvaddakopterprogramvarans GUI är uppbyggt och dess funktioner. Programmets visuella del är uppdelad i tre flikar för planering, bildbehandling och slutförande. 4.1 Planera uppdrag När GUI startas kommer användaren till den första av tre flikar, planering. Här är det möjligt att planera 3 typer av uppdrag. Figur 1 går igenom de olika möjligheterna som finns vid planering. Figur 1: Översikt av planering. 1. Ge uppdraget ett namn. Detta används för att identifiera uppdraget senare. 2. Välj vilken typ av uppdrag det ska vara. Här finns tre alternativ: runt koordinat, längs sträcka eller inom område. 3. Välj på vilken konstant höjd plattformen ska flyga under uppdraget. Parametern används även för att senare beräkna optimal trajektoria. 4. Klicka på knappen New search area. Detta aktiverar möjligheten att placera ut navigationskoordinater på kartan. Beroende på vilken typ av uppdrag som valts är kartans beteende något annorlunda. Circle coordinate: En eller flera koordinater ska placeras ut runt vilken/vilka avsökning ska ske. Runt koordinaterna ritas en cirkel ut som kan modifieras till önskad radie (klicka på cirkeln för att låsa upp redigering). Along trajectory: Valfritt antal koordinater kan placeras ut som tillsammans bildar en sträcka som plattformen ska söka av. Klienten kan hantera multipla sträckor som då binds samman till en lång trajektoria.

Autonom spaning med quadcopter 4 Area coverage: Valfritt antal koordinater kan placeras ut som tillsammans bildar en polygon som utgör det område där avsökning ska ske inom. Multipla områden för avsökning kan väljas genom att återigen klicka på knappen New search area för det nya området. 5. Klicka på knappen Quad start position för att markera ut var plattformen kommer starta (genom att klicka på kartan). Detta används av optimeringen. 6. Valfritt: Klicka på knappen New forbidden area. Detta aktiverar möjligheten att placera ut förbjudna områden på kartan. Denna funktion beter sig exakt som funktionen Area coverage under föregående punkt. 7. Klicka på knappen Generate trajectory för att optimera fram en trajektoria. 8. Efter att en trajektoria är genererad visar denna ruta den estimerade sträckan. 9. Efter att en trajektoria är genererad visar denna ruta den estimerade tiden. 10. Klicka på knappen Save mission när du vill spara ditt färdiga uppdrag. Uppdraget kommer efter detta att finnas som val under fliken Execute. 11. Valfritt: Denna funktion ger användaren möjlighet att se satellitbilder istället för de vanliga kartorna. Alla funktioner i övrigt är precis som normalt. 4.2 Utföra uppdrag Uppdrag kan endast utföras om det redan finns ett planerat uppdrag sparat. Att initiera plattformen och utföra uppdraget går till på följande sätt: 1. Se till att plattformen är uppstartad. 2. Välj ur listan (1), vilket uppdrag som ska utföras. Uppdraget ska då ritas ut på kartan. 3. För att initiera kontakt med plattformen och göra den redo för uppdraget tryck på knappen Arm (2). När kontakt uppnåtts markeras GPS- och WIFI-kontakt med OK (3) och (4). 4. Uppdraget kan nu sättas igång med knappen Execute (5). Plattformen lyfter då och flyger till den utmarkerade startpunkten, väntar där i tre sekunder för att sedan flyga efter uppdragets trajektoria. 5. Önskas den autonoma driften att avslutas görs det med knappen abort (6), plattformen landar då på plats. Vid oförutsedda händelser där uppdraget snabbt måste avbrytas kan knappen Emergency användas (7). Detta bör dock undvikas i största mån då strömmen bryts till motorerna och plattformen kraschlandar vilket kan medföra skador på plattformen.

Autonom spaning med quadcopter 5 Figur 2: Översikt vid uppdragsutförande. 4.3 Manuell styrning Vid manuell flygning bör följande tillvägagångssätt följas: 1. Se till att plattformen är uppstartad. 2. Välj ur listan (1), ett uppdrag, inte relevant vilket som väljs men rutan kan ej vara tom. 3. För att initiera kontakt med plattformen och göra den redo för manuell flygning tryck på knappen Toggle Auto (8) för att växla mellan auto och manuell. Då knappen är markerad är plattformen i läge manuell. Tryck därefter på knappen Arm (2). När kontakt uppnåtts markeras GPS och WIFI kontakt med OK (3) och (4). 4. Flygning kan nu sättas igång med knappen Execute (5). Plattformen lyfter då och hovrar på plats. Använd tangenter specificerade i tabell 1 för att styra plattformen. 5. Önskas den manuella flygningen att avslutas görs det med knappen Abort eller mellanslag, plattformen landar då på plats. Vid oförutsedda händelser där flygningen snabbt måste avbrytas kan knappen Emergency användas (7) eller E på tangentbordet. Detta bör dock undvikas i största mån då strömmen bryts till motorerna och plattformen kraschlandar vilket kan medföra skador på plattformen. Då manuell styrning väljs i GUI kan plattformen kontrolleras med tangentbord se tabell 1. Observera att alla styrkommandon lägger på ett inkrement på styrsignalen. Detta innebär att då ett kommando ges hålls detta kvar tills motsatt kommando skickas, håll därför aldrig in en tangent utan ge enskilda kommandon.

Autonom spaning med quadcopter 6 Knapp Pil upp Pil ned Pil höger Pil vänster Blanksteg Shift + pil upp/ned Shift + pil höger/vänster E Kommando Pitch framåt Pitch bakåt Roll höger Roll vänster Lyfta/landa Yaw vänster/höger Höjd upp/ned Nödstopp Tabell 1: Beskrivning över vilka tangentbordsknappar som används för manuell styrning av plattformen och vilka styrkommandon de motsvarar. 4.4 Nödstopp Ett nösdstopp är implementerat så att användaren när som kan avbryta uppdrag eller manuell flygning om något skulle visa sig gå fel. Nödstoppet initieras genom att trycka på knappen Emergency i gränssnittet alternativt via tangenten E. 4.5 Inställningar bildbehandling Bildbehandlingsmodulen har ett antal inställningar som går att variera via en egen flik i GUI:t. Detta GUI är uppdelat i start/stopp, bildbehandlingsmetoder, bildvisningsmetoder, färgkalibrering, målbildskalibrering. En bild på GUI:t visas i figur 3. Figur 3: Bildbehandlingens inställningar 1. Starta Initierar bildbehandlingsmodulen och bilddekodaren. Bilddekodaren kopplar upp sig mot bildströmmen från quadcoptern. Bildbehandlingsmodulen börjar leverera bild specificerad av bildbehandlingsmetoderna. 2. Stoppa Stoppar bildbehandlingsprocessen. Går att starta igen genom att trycka på startknappen. 3. Öppna färgkalibrering Öppnar verktyget färgkallibrering av färgmallar i ett ett eget fönster.

Autonom spaning med quadcopter 7 4. Öppna målbildskalibrering Öppnar verktyget för målbildsmallar i ett eget fönster. 5. Färgmallar Öppnar en rullista med färgmallar, både inaktiva och aktiva. 6. Målbildsmallar Öppnar en rullista med målbildsmallar, både inaktiva och aktiva. 7. Aktivera/deaktivera färgmall Aktivera/deaktivera färgmallen vald i listan med färgmallar. X för aktiv, - för inaktiv. 8. Aktivera målbildsmall Aktivera/deaktivera färgmallen vald i listan med färgmallar. X för aktiv, - för inaktiv. 4.5.1 Bildbehandlingsmetoder Dessa knappar används för att växla mellan de olika bildbehandlingsmetoder som finns att välja mellan. 9. Färgmatchning Slå på/av färgmatchingsalgoritm för att detektera objekt med aktiva färgmallar. 10. Målbildsmatchning Slå på/av målbildsmatchning för att detektera objekt med aktiva målbildsmallar. 11. Bakgrundssubtraktion Slå på/av bakgrundssubtraktion för att detektera objekt i rörelse. OBS! Detta läge är inte implementerat. 12. Bildkvalitetsbestämmning Slå på/av bestämning av bildens skärpa. 13. Färgkalibrering Slå på/av färgkalibreringsläget i bildbehandlingsmodulen. Inaktiverar samtliga andra metoder och gör så att bildbehandlingsmodulen levererar trösklad bild från kalibreringsmall. 14. Målföljning Slå på/av målföljning med Kalmanfilter. Då målföljning är påslagen visas upptäckta mål överlagrade på kartbilden i utförandevyn. 4.5.2 Bildvisningsmetoder Det går att bestämma vilken bild som ska visas genom ett antal växlingsknappar. Dessa beskrivs nedan. 15. Standardbild Bild direkt från videoströmmen utan behandling visas. 16. Målföljningsbild Bild med objekt som följs visas. 17. Färgmatchningsbild Bild med de funna objekt med sökt färg visas. 18. Bild från målbildsmatchning Bild från målbildsmatchning visas. 19. Bild från Färgkalibrering Bild från färgkalibrering visas. 4.5.3 Bild 20. Bildvisning Bilden visas enligt specificerad inställning.

Autonom spaning med quadcopter 8 4.5.4 Färgkalibrering Kalibrering av färgmall och tilläggning av nya färgmallar görs genom ett eget fönster vilket aktiveras av knapp 16. Detta fönster visas i figur 4. I fönstret finns reglage för att ställa in min- och maxvärden för HSV-kanalerna och ett fält för att beskriva mallen. Om knappen för att lägga till mall trycks läggs nuvarande kalibreringsmall in i listan med aktiva mallar. När man är färdig kan man trycka på avsluta-knapen eller helt enkelt stänga rutan. HSV-kanalerna är specificerade i intervallen [0:180], [0:255] och [0:255]. Figur 4: Kalibrering av färgmallar För att visa bild som stämmer med kalibreringsläget måste färgkalibrering aktiveras i huvudförnstret. Då visas en bild liknande bild 5 där vitt är områden med utskuren färg inom tröskelvärden satta med reglagen. Figur 5: Kalibrering av färgmallar

Autonom spaning med quadcopter 9 4.5.5 Målbildskalibrering Kalibrering av målbildsmallar görs i ett eget fönster som öppnas av knapp 17. Vid kalibrering av målbilden väljer man först sin målbild. Detta görs genom att klicka på knappen Select Template Image. När målbilden är vald kan man sedan specificera ett intresseområde i målbilden. Intresseområde avgränsas av en rektangel. Template Height Justera områdets höjd. Template Width Justera områdets bredd. Offset X Justera områdets förskjutning i x-led. Offset Y Justera områdets förskjutning i y-led. Figur 6: Kalibrering av målbildsmallar I figur 6 visas ett exempel på ett valt område. De färglagda cirklarna innanför intresseområdet är så kallade intressepunkter. För en bra målbildmatchning vill man gärna ha så många interesse-punkter i sitt område som möjligt. Då man är färdig med sin kalibering av målbilden klickar man på knappen Save Template. Målbilds-mallen sparas då och är redo för användning.

Autonom spaning med quadcopter 10 5 Säkerhet För att både omgivningen och användare skall hållas säkra beskrivs här ett antal åtgärder för att undvika olyckor och onödig skada på plattformen. Produkten är inte lämplig att användas av barn under 14 år. Då flygning sker inomhus skall karossen för inomhusbruk vara installerad för att undvika skador vid eventuell kollission. Under flygning skall plattformen alltid vara inom synhåll för att undvika skada på människor, djur eller egendom. Att använda plattformen i olika publika sammanhang kan vara förbjudet. Användaren skall alltid undersöka om det är lagligt att framföra plattformen där flygning planeras. Respektera folks privatliv. Att filma utan tillstånd anses olagligt och är straffbart. Då proppellrarna är aktiva kan dessa skada människor, djur och egendom. Rör därför aldrig plattformen då den är aktiv och vänta tills propellrarna är helt stilla innan plattformen hanteras. Undvik att någon eller något är närmre pattformen än 1 m då den är aktiv för att undvika skada. Flyg aldrig i närheten av högspänningsledningar, träd, byggnader eller andra potentiellt farliga områden. Plattformens prestanda kan påverkas eller plattformen kan ta skada då den framförs i dåliga metrologiska förhållanden, till exempel regn, snö, stark vind, åska med mera. Undvik att landa och starta plattformen på blött eller sandigt underlag för att undvika skador. Undvik att använda plattformen i närheten av starka magnetfält, radiovågor eller stark strålning då detta kan påverka dess sensorer.

Autonom spaning med quadcopter 11 6 Batteriunderhåll och hantering 6.1 Varning Lithium Polymer batterier är farliga och kan åstadkomma skada på personer eller egendom. Användaren skall vara medveten om ansvaret att använda denna typ av batterier då tillverkaren och försäljaren inte kan garantera att de hanteras korrekt. Om batteriet skulle börja läcka, undvik kontakt med hud och ögon. Om kontakt med hud uppstår tvätta noga. Om kontakt med ögonen uppstår, skölj noga med vatten och kontakta en läkare. Om det uppstår en främmande doft eller indikationer på rök i närheten av laddaren avbryt genast. Om inte batteriet hanteras på rätt sätt kan det uppstå gas, eldsvåda, stötar eller explosion. 6.2 Laddning av batteri Ladda endast batteriet med den medföljande laddaren. Ladda aldrig batteriet om det finns skador på laddare, sladdar eller kontakter på laddaren eller batteriet. Ladda aldrig ett batteri som är svullet, har läckt eller på något sätt har skadats. Överladda aldrig batteriet. Då batteriet är fulladdat skall detta tas ur kontakten annars riskeras överhettning. Ladda aldrig batteriet nära brandfarliga ämnen eller direkt efter användning. Täck aldrig över batteriet vid laddning. 6.3 Förvaring Förvara batteriet utom räckhåll för barn. Utsett aldrig batteriet för hetta eller eld. Undvik att låta batteriet få kontakt med någon som helst vätska. Förvara aldrig batteriet i en fuktig omgivning. Undvik kortslutning. Detta kan innebära värmeutveckling och gas som är skadlig för hälsan. Förvara batteriet i rumstemperatur och undvik stora temperaturdifferenser. När plattformen inte används skall batteriet kopplas ur. Då laddaren inte används skall denna vara urkopplad.

Autonom spaning med quadcopter 12 7 Felsökning Några vanliga fel som kan uppstå och dess lösningar: Kontakt till plattform förloras/saknas då den armeras (under uppdragsinitiering). Lösning: Initiera om plattformen och programvaran och se till att en korrekt WIFIanslutning erhålls. Plattformen lyser rött och slår ej om till grönt efter initiering. Lösning: Initiera om plattformen (dra ur batteriet och sätt in det igen) och se till att plattformen står still under initieringssekvensen. Löser sig fortfarande inte problemet bör batteriet bytas ut eller en slutgiltig tillvägagångssätt är att göra en reset på plattformen. Detta görs genom att batteri och GPS avlägsnas och en smal sticka används för att trycka på resetknappen, notera att batteriet fortfarande måste vara anslutet för att reset ska fungera. Plattformen flyger inte korrekt efter koordinater på rätt sätt vid autonom flygning. Lösning: Stoppa uppdraget och återinitiera plattformen och programvaran, se till att kameran pekar i riktning norr när plattformen initieras. Plattformen lyfter inte vid manuell eller autonom flygning när knappen execute markeras. Lösning: Se efter batterinivå på plattformen och gör eventuellt ett byte. Återinitiera sedan uppdraget på nytt. Sker ingen förbättring bör eventuella felmeddelanden undersökas. WIFI-kontakt förloras ofta och lätt Lösning: Flertalet märken på datorer använder en energisparfunktion som sänker WIFI-styrkan vid dåligt batteri, se därför alltid till att ha fullt batteri vid flygning. GUI ger felmeddelande och buggar när kartan flyttas runt. En känd bugg från bibloteket Gmaps FX och händer när muspekaren tar tag i kartan och släpper den utanför GUI-fönstret. Lösning: starta om programvaran.

Autonom spaning med quadcopter 13 Referenser [1], Autonom spaning med quadcopter Kravspecifikation, September 2014. [2], Autonom spaning med quadcopter Systemskiss, September 2014. [3], Autonom spaning med quadcopter Designspecifikation, September 2014.