Jörgen Damberg, Claremont, SAST Örebro Testautomation. När, var, hur?

Storlek: px

Starta visningen från sidan:

Download "Jörgen Damberg, Claremont, SAST Örebro 2014-06-03. Testautomation. När, var, hur?"

Fredrik Gunnarsson
för 8 år sedan
Visningar:

1 Hello world

2 Jörgen Damberg, Claremont, SAST Örebro Testautomation När, var, hur?

3 Vad vill ni prata/höra om?

4 10 CLS 20 Print Testing, boring routine work? 30 REM Short 40 PRINT Test automation introduction 50 PRINT Test automation concepts 60 PRINT Do/Dont 70 PRINT Tools 80 INPUT$ 90 GOTO Mingle 100 SLEEP 60* GOTO Home

PRINT Test automation concepts 60 PRINT Do/Dont 70

verkliga Testningens uppgift Tänka på allt som ingen annan tänkt på Finna ut var olika människor förstått eller tolkat samma sak olika Upptäcka alla förutsättningar som

5 verkliga Testningens uppgift Tänka på allt som ingen annan tänkt på Finna ut var olika människor förstått eller tolkat samma sak olika Upptäcka alla förutsättningar som ingen annan upptäckt Specialfall i data eller användning Användningsområden Tidsberoenden Tekniska beroenden osv Påtala glömda aktiviteter Hitta var någon råkat gjort fel

som ingen annan upptäckt Specialfall i data eller användning Användningsområden

6 [au-tu-ma-ti sé-ra ]

7 Current trends beneficial for test automation TDD/BDD Shorter iterations Focus on business value Focus on working code Refactoring Centraliced architektures quick change cycle Dynamic teams Insights in maintenance costs A lot of reuse of old code in new ways More use of standard components Better automation tools Cheaper automation tools Parallell development and maintenance More mature testing insights in many organizations Test automation

costs A lot of reuse of old code in new ways More use of standard components Better automation tools Cheaper

8 Current trends making test automation more cumbersome Shorter life cycles for development technologies More frequent changes to systems The W model is flattened Products under test getting more and more complex Maaaaany devices Test automation

frequent changes to systems The W model is flattened

9 Testning Testing Checking/ verification Validation

10 Mini course in automated testing Test automation

11 Why automate the testing? Faster execution => quicker/more frequent feedback More exact checks very repetetive Not being dependent on specific persons with specific competences, and getting rid of the lead times from that dependency Re-use of effort Quality metrics More combinations tested Freeing time for manual testing where the humans excel

Not being dependent on specific persons with specific competences, and getting rid of

12 Risk Continuous quality control Risk reduction Time

13 Automated testing When? Support programmers Critique product Functional AT Showcasing Exploratory Business facing Automated Manual Technology facing Unit tests Edge cases Fast ~80% of the tests Automated Automated/ Manual Performance tests Security tests

Exploratory Business facing Automated Manual Technology facing

14 UT IT Varje Pros nivå har sina Cons pros&cons Robust Cope with change Quick Thorough Quite quick Could get thorough Easy to implement negative testing Robust Doesn t test that the system works Easily simplified More care to the environment Data management is an issue ST Test the whole system Make sure the business value remains Slow Many dependencies Hard to get good coverage SIT Quick (In the best of worlds) Slow (In the worst of worlds) Lots of dependencies Hard to get coverage Dependencies to things outside of team control

is an issue ST Test the whole system Make sure the business value remains Slow Many dependencies Hard to get good coverage SIT Quick

15 Automation type Business process coverage Code coverage Execution time GUI 70% 5% Hours API 25% 25% Minutes Unit testing 5% 70% Seconds

16 Körs ofta Kodnära Whitebox. Testtyper Tester som säkrar utvecklingsteamets heder inför beställaren (kod, DBstruktur osv) Sprinttester Enhetstester Körs mindre ofta Förtroendeskapande Blackbox Tester som säkrar ITorganisationens heder inför verksamheten (MW-konfiguration, produktionsplanering osv) Scenariobaserade flödestester Smoke tests

DBstruktur osv) Sprinttester Enhetstester Körs mindre ofta Förtroendeskapande

17 Stor kostnad Mycket ledtid Mycket kod Mycket underhåll Komplex interaktion Komplexa gränssnitt

18 Ett testautomatiseringsscript motsvarar den mest detaljerade testspec du någonsin tagit fram, och som alltid måste vara exakt uppdaterad för att funka. Förmodligen dessutom av specialister Ställer stora krav på testkodsarkitektur för att bli förvaltningsbart

19 Checking and verification against an oracle In order to have an oracle for at test case you ll need: Correct sequence of events, on the right object Appropriate environment (i.e. parameter configuration, integrations) Right versions of components Correct input data Right order of test executed Assumed meta-data in the system Assumed background data in the system Correct user rights for the user account and so forth

t sequence of events, on the right object Appropriate environment (i.e. parameter configuration,

23 Verktygstyper - systemtest Verktygsvalet beror på val av approach och gränssnitt WS/API/MQ och andra systemgränssnitt ICC-verktyg Protokollnivå (headless browser) GUI-verktyg Bildigenkänning Objekthanterande

24 Vilka tester lämpar sig för automation? Tråkiga tester Datadrivna tester Smoke tests (vertikal integration) Vital, men perifer, funktionalitet (affärsregler) Tidödande tester Testförberedelser Test automation

25 Utmaningar med automatisering Lätt att råka tappa kontrollen över vad testfallen gör Det ÄR en mjukvarulösning med intima beroenden till en annan mjukvarulösning Kräver disciplin Kommunikationsglapp blir tydliga vid en automatisering Ta hand om någon annans bebis Scripten är i förvaltning från första körningen. Blir lätt nerprioriterat när det hettar till, och tappar då snabbt värde Ingen serendipitet

26 Fördelar med automatisering Fördelar med automatisering: Ökad förvaltningbarhet av systemet Snabbare incidenthantering Testtid över till mer högvärda tester Fler kombinationer testade, mer regelbundet Snabbare återkoppling Noggranna kontroller Slippa personberoende och ledtider Testa oftare

27 Skill set för testautomatiserare Kommunikation Struktur Kreativitet

28 Är det verkligen testexekveringen som man ägnar mest tid till?

29 Effektiv testning Koll på förutsättningarna för test Koll på utvecklarmaskiner, kodgrenar och byggen Automatisera det som gör mest nytta Informations-spårbarhet Kommunikation Testdatahantering Testfallsframställning (Pairwise testing) Testmiljöhantering Testexekvering

30 More things to automate Automation of combinatory testing: Pairwice Automation of test data management (subsetting, anonymization of data, syncing data between systems, configuration management) Automation of release management/deployment

31 Detta är verktygs-bilden (gratisverktyg) Pairwice: ACTS, Pict, Allpairs GUI-baserade systemtester: Sikuli Objekt-baserade systemtester: AutoIT, Selenium, Sahi, Watir/Watin BDD: Specflow/Cucumber API-baserade systemtester: SoapUI Webb-utilities: Link-crawlers (Xenu), W3Ccheckers, Firebug, Yslow, Chrome Dev.tools. Miljöhantering: PowerShell, AutoIT

32 Några olika testautomationskoncept Model based testing (MBT) Specification by example (SBE/BDD) Testapor Scenariobaserad end-2-end testing Automatiserade regressionstester Datadriven testning Keyword driven test automation

33 Alternativ till automation Hårt arbete Optimera utvecklingsprocessen Test on tap Acceptans av risk och teknisk skuld Acceptans av ledtider Redigt tillförlitliga rollback-rutiner

34 Frågor, sharing, synpunkter och kommentarer

36 PageObject Model Introduction MBT ATDD TDD BDD Success factors SIT ST History Pitfalls Alternatives Pairwice testing UT CI/CD Deploy process Specification-by-example Test data management Environments Challenges Tips and trix Etc Choosing the right tool Appropriateness and ROI

37 Further reading? Googleable stuff Page Object Model/Data Factories Keyword driven testing Stuff to try out Opensourcetesting.org HP/IBM/MicroFocus/MS web sites JAutomate, Project White, Specflow Attend a course

Relevanta dokument

Testramverk och Model based testing med java i praktiken

WHITE PAPER MODEL BASED TESTING Testramverk och Model based testing med java i praktiken Prolore AB Page 1 (6) Web: www.prolore.se Målet med artikeln Den här artikeln syftar till att praktiskt visa hur