Regressionstestning teori och praktik

Transkript

1 Regressionstestning teori och praktik Lic. Emelie Engström Software Engineering Research Group LUND UNIVERSITY Sweden SWELL the Swedish Research School in Software Verification and 1

2 Disposition Regressionstestning... vad är det? vad vet vi? hur gör vi? 2

3 Regressionstestning......vid utveckling över tid 3

4 Regressionstestning......vid utveckling över tid [ 4

5 Regressionstestning......vid återanvändning 5

6 Regressionstestning......vid testning på flera nivåer 6

7 Definition regression testing. Selective retesting of a system or component to verify that modifications have not caused unintended effects and that the system or components still complies with its specified requirements. [IEEE ] 7

8 Levels (views of the system) LUND UNIVERSITY Flera dimensioner av regressionstest Test cases Acceptance test System test Integration test Unit test Coverage Items Expectations, Quality requirements Functional requirements, Design Interfaces, Implementation Repetitive tests across versions across variants across levels Redundancy? Versions (evolution in time) 8

9 Regressionstestning - teori Urval (Selection) Testa ändringar och möjliga bieffekter Kodanalys Prioritering (Prioritization) Oberoende av ändringar Surrogat Reducering (Reduction or Minimization) Eliminera redundans Permanent eller tillfälligt 9

10 Regressionstestning teori och praktik Mycket forskning (30 år) Litet genomslag Komplex kontext Få studier i industrin Kombinerade metoder An empirical evaluation of regression testing based on fix-cache recommendations [Engström10] Improving Regression Testing Transparency and Efficiency with History Based Prioritization - an Industrial Case Study [Engström11] 10

11 Regressionstestning - praktik Fokusgrupp diskussioner 15 deltagare 10 företag Enkät 32 svarande 29 företag 11

12 Fokusgrupp Vad är regressionstestning? När regressionstestar ni? Hur regressionstestar ni? Vilka är era utmaningar med avseende på regressionstetning? Vilka är era styrkor med avseende på regressionstestning? 12

13 Enkät 13

14 Enkät 14

15 Enkät 15

16 Analys av resultaten Vad? Upprepad testning efter ändringar Nya versioner Nya konfigurationer bugfixar Nya lösningar Ny hårdvara... Hitta fel eller mäta kvalitet Mängd och frekvens styrs av Bedömd risk Omfattning och typ av ändring Tillgängliga resurser 16

17 Analys av resultaten När? På olika nivåer system, integration, enhet I olika skeden Så tidigt som möjligt, så sent som möjligt, kontinuerligt 17

18 Analys av resultaten Hur? Komplett omtestning Prioritering och urval Statisk och dynamisk testsvit Expertbedömning Manuellt / Automatiskt 18

19 Analys av resultaten Utmaningar! Testfallsurval Påverkansanalys Analys av täckningsgrad Spårbarhet mellan krav och test Automatisk vs. manuell testning Kostnadsmodell Testmiljö Design för testbarhet Beroenden i mjukvaran Avgränsning 19

20 Analys av resultaten Goda erfarenheter! Automatisera på nivåer under användargränssnittet Regressionstesta kontinuerligt Skifta fokus mellan olika testrundor Visualisera progressen Koppla kvalitetsattribut till varje testfall 20

21 Sammanfattning Definitioner är allmänt vedertagna Praxis varierar Kontexten är avörgande Samarbete mellan industri och akademi behövs 21

22 Photo: Tom Harris LUND UNIVERSITY Pågående forskning Test Scope Selection History Based Testing Alignment 22

23 Tack! Frågor? Kommentarer? Idéer? se 23