Open Source testverktyg. En marknadsöversikt

Transkript

1 Open Source testverktyg En marknadsöversikt Jörgen Damberg SAST 15-årsjubileum oktober 2010

2 Agenda Ω 1. Ultrakort om verktyg 2. För/emot open source 3. Exempel på verktyg 4. Alternativ Omega represents the all-encased whole

3 Handuppräckning Hur många här : använder Open Source-verktyg idag? använder testadministrativa verktyg? kommer från företag som säljer testverktyg?

4 Jag kommer att berätta att Det finns gratisverktyg för de flesta testverktygsgrupper Det finns verktyg som fungerar bra Inga verktyg är gratis Det finns inga perfekta verkyg bara bättre eller sämre för situationen Hoppas ni hittar något att använda själva

5 Varför använda verktyg? Snabbare Smidigare Billigare Pi is the product in mathematics

6 Requirement management tools σ Test management tools Test automation tools Issue tracking tools Performance testing tools Code analysis tools (static/dynamic) Analysis tools and documentation tools Test environment management tools Surveillance tools for applications and env. Sigma represents divider in numeral theory

7 Huvudspelare i testverktygsbranschen HP (Mercury Interactive) IBM (Rational) Micro Focus (Compuware & Borland) Microsoft RadView Vermont Konsultbolag1 Envive FitNesse Selenium Quest Telelogic Oracle Keynote Jama Software Cognizant Cyrano RSW Freeware Open Source Dev tool vendors Hosted services Solstice Testquest Critical Logic Parasoft QES The symbol represents a subset in statistics

8 Två axiom! Gratis mjukvara!= Open Source > 3000 free testing tools

9 Vilka tycker att gratis är gott? $ Dollar represents value

10 Trender ω Agile Affärsnytta Iterativ utveckling Centralicerade arkitekturer Korta ledtider och autonomitet Outsourcing Mätning och styrning Attityder Omega represents one possible outcome of an experiment

11 Kategorier av FOSS-användare ε Agila autonoma projekt Snabbväxande företag Byråkratiska organisationer Decentraliserade organisationer Epsilon is the empty string in computer science

12 Typiska skäl till att använda FOSS ν Prestandatestverktyg anses för dyra Utvecklare vill automatisera tester För utdragen process med inköp Ingen årlig underhållskostnad Bättre än utan Dela utvecklingskostnad för verktyg med andra Nu is used for frequency

13 Fördelar π Anpassningsbara Ingen leverantörsrelation Säkrat underhåll om leverantören upphör Inget licensstök när man får nya projektmedarbetare Lyhörd verktygsutveckling Bättre än utan Att påverka uppmuntras Pi represents the gain in game theory and macro economic theory

14 Varför undvika FOSS? Delta represents the difference

15 Nackdelar ζ Inga integrerade sviter Svårt att få garanterad support Miljöbegränsningar Man är själv ansvarig Suboptimerat i ett större sammanhang Pyssligt att sätta upp Licensmodeller förändras Många är buggiga Open Source!= Säkert Zeta represents the dampening coefficient

16

17 Fler fallgropar ρ only for non-commercial use En del licenstyper tvingar användare att publicera kod Oensad vokabulär Grupp-psykologisk risk att testare inte känner sig prioriterade Free!= License free Free!= Cost free Ro represents correlation in statistics

18 Exempel på kostnader vid sidan om licensen Effektivitets- och Installations- och konfigurationstid verkställighetsökning Utvärderingsarbete betalar förhoppningsvis Inga verktyg är Serverkostnad och underhåll gratis att använda Licenser för delkomponenter (OS, DB osv) Utbildning TO/SÄ/SA Potentiell stilltid Relativ effektivitetsförlust Jurister Produktpaktering Infrastrukturhantering Ө Theta represents mean time between failure in reliability

19

20 Fler anförda skäl Starka krav på t.ex. AD/LDAP-kopplingar Nya relationer till tillverkare kostar Det kan finnas Preffered Vendors Rädsla för redundanta verktygskompetenser Önskan att styra arbetsflöde och process Rädsla att fastna I suboptimerad förändringshanteringsprocess Rädsla att det blir en interimslösning med dyrbar senare datamigrering

21 När allt kommer till kritan β Många använder, och är nöjda med, FOSS Beta is the not entirely completed in computer science

22 Γ Exempel på verktyg Gamma symbolizes the normal distribution (Gauss distribution)

23 Bug management Mantis Bugzilla Bugtracker.NET Automation AutoIt Selenium Cucumber FitNesse PushToTest Performance Open STA WebLoad(?) Jmeter Grinder Specials Test case data PICT ACTS Allpairs XML managers XML Notepad Notepad ++ Testadministration RTH Testlink TestCase web

24 Ability to execute Requirement, Test, and Bug Management tools Challengers Leaders Mantis BugZilla TestLink Ant Defects TestMaster TestCaseWeb RTH Salome Niche players Completeness of vision Visionaries

25 Mindmapping FreeMind Analys Firebug Unit testing Wireshark JUnit Chrome nunit Screen capturing AutoScreenRecorder Jing DB Test environment PostgreSQL SyncBack MySQL Amanda backup SQLite VM ware Player QEMU VirtualBox Test data management Jitterbit OpenDigger

26 Office replacements OpenOffice Home made tools Jboss Hibernate Eclipse OS Linux Open BSD Free BSD Version management Subversion Infohantering Wikis

27 υ Finishing off Fi represents the golden section

28 Alternativ Hosted services Manuellt arbete (out-/crowdsourcing) Billiga verktyg Enterprise-lösningar/sviter av verktyg The symbol represents isomorphism, exchangeability

29 Success factors for efficient quality assurance Analysis Design Dev. Dep. Maint. VM and CM Document just enough Control on test environments Good test data Disciplined change management Unit testing Control on circumstances Collaboration Tools Visual communication Participation from all stakeholders Risk based approach Delta represents partial differential equation

30 Konklusioner τ Om förutsättningarna stämmer går det lätt att introducera verktyg Använd verktyg! Det finns massor av verktyg Ett tips: Använd de välanvända verktygen Tao is used for correlation

31 Jag har berättat att: Det finns gratisverktyg för de flesta testverktygsgrupper Det finns verktyg som fungerar bra Inga verktyg är gratis Det finns inga perfekta verkyg bara bättre eller sämre för situationen Hoppas ni hittar något att prova själva

32 Tack!