Visuell GUI Testning

Transkript

1 Visuell GUI Testning

2 Vad är ett Graphical User Interface (GUI)? Icke-animerat GUI Animerat GUI

3 Nuläget System- och acceptanstestning är dyrt! Manuellt Långsamt Enformigt Svårt att replikera exakt Nödvändigt Regressionstestning Verifiera att systemet fungerar efter underhåll/nyutveckling Validering av systemet med kund-feedback

4 Vad är svårast att Automatisera? Krav Acceptanstest Arkitektur System test Applikations design Integrations test Kodning Enhetstest UI Service Enhet

5 System nivåer System nivåer Exempel test-teknik Hög nivå Låg nivå Grafiskt användargränsnitt GUI-komponenter Systemkomponenter Systemkod Visuell GUI testning Record and Replay Enhetstestning Kod-granskning

6 Tidigare tekniker GUI baserad testning Testning via GUI:t, inte av GUI:t Funnits verktyg i många år TestComplete, HP Quick Test Professional, IBM Rational Functional Tester, Visual Studio Test Professional, etc. Använts i industrin Med tveksamt resultat Två grupper av tekniker Första generationen: Koordinatbaserad testning Andra generationen: Widgetbaserad testning

7 Första generationens testning Den första generationens testautomatiseringsverktyg baserades på absoluta koordinater

8 För- och nackdelar Enkel teknik som är lätt att lära och förstå (Inlärningsbarhet) Fungerar inte bra för automatisering av fönsterbaserade applikationer

9 Andra generationens testning Den andra generationens testautomseringsverktyg baseras på identifikation av Widgets

10 För- och nackdelar Okänslig för ändring av fönsterstorlek Widget:en behöver ej vara synlig på skärmen Använder första generationens teknik för Widgets som inte stöds av verktyget Stora och dyra verktyg Komplex hantering av komponentdatabas Uppspelning görs inte på exakt samma sätt som när man gör det manuellt Stödjer bara ett begränsat antal typer av gränssnitt och miljöer Tvingas utvärdera verktygets testbarhet för applikationen man avser att testa Måste samarbeta med utvecklare för att bl.a. Bygga in identiteter i de grafiska objekten

11 Visuell GUI Testning (VGT) Teknik med verktygsstöd för automatiserad System- och Acceptanstestning Bildigenkänning Scenario-baserad testning Möjliggör emulering av en mänsklig användare Artificiell syn Simulering av mus och tangentbord Verktyg JAutomate, Sikuli, EggPlant, SeeTest, T-Plan Robot, Testing Anywhere

12 Pseudokod exempel MouseClick( ) Write( admin \t admin ) MouseClick( ) Wait( You are logged in )

13 Exempel

14 JAutomate Automatisk inspelning av testfall Enkelt att förstå utan programmeringserfarenhet Manuella och halvautomatiska teststeg Stöd för datadrivna testfall och testsviter Kan söka fram dolda bilder och texter Fungerar på alla plattformar

15 JAutomate video demo

16 Sikuli Open source (Utvecklat på MIT) Python som skriptspråk Tillåter importer av Python och även Java bibliotek Optical character recognition (OCR) stöd Exportering av körbara skript

17 Sikuli video demo

18 Forskningen om VGT

19 Forskningen om VGT

20 Jämförelsestudie Studien Akademiska Experiment CommercialTool och Sikuli på Saab Resultat Högre applicerbarhet med Sikuli (Fler GUI typer) Antal scriptbara testfall: 98% Snabbare testkörning (est. för 50 testfall): 5.3 ggr snabbare Estimerad utvecklingstid (50 testfall): 20 affärsdagar Verktygen lika bra (Ingen statistiskt signifikant skillnad)

21 Forskningen om VGT

22 VGT i industrin Studien Sikuli användes i ett verkligt utvecklingsprojekt Resultat Testarna var mycket nöjda 16 gånger snabbare än manuell testning Nu: 2 ggr i veckan. Förr: 1 gång på 6 månader 3 nya defekter funna 25% av utvecklingskostnaden att underhålla 90% av scripten Problem, utmaningar och begränsningar

23 Forskningen om VGT

24 JAutomate Studien Jämförelse mellan JAutomate, Sikuli och CommercialTool Enkätstudie i industrin Resultat Olika verktyg har olika funktioner Ex: JAutomate stödjer Record and Replay, etc. Alla verktyg har fördelar Ex: Flexibilitet, oberoende av bakomliggande teknik, etc. Finns ett bekräftat industriellt behov för JAutomate och VGT

25 Fördelar och utmaningar med VGT Oberoende av bakomliggande teknik Testar på samma sätt som en mänsklig testare Enkelt att förstå och ändra vad testfallet gör Införande-kostnader Begränsas av SUT:ens mognad och hastighet Verifierade underhållskostnader Kräver låg teknisk kompetens

26 Samarbete är nyckeln Vad behövs för att förbättra VGT? Fler fall Olika system och domäner Mer samarbete Industriell öppenhet Vi måste göra detta tillsammans! Industri ı

27 Frågor Industri ı