STUM Syntetiskt tal utan modulering Övergripande Testplan Redaktör: Version: 1.1 Sammanfattning Detta är en övergripande testplan som i stora drag beskriver planerade testfaser och testaktiviteter under projektet. Organisationen och ansvarsfördelningen av testarbetet beskrivs. Tekniska detaljer om exakt vilka testmetoder och tillvägagångssätt som kommer att användas har utelämnats.
Projektidentitet Projektgrupp Stum Linköpings tekniska högskola (IDA) Projektmedlemmar Namn Ansvarsområde Telefon E-post Ali Aghajani Projektledare 0730460493 aliag988@student.liu.se Kjell Enblom Dokumentansvarig 076-2353375 kjeen007@student.liu.se Filip Klasson Kvalitetsansvarig 076-2311778 filkl784@student.liu.se Johan Millving Designansvarig 0709-788619 johmi359@student.liu.se Andreas Rasmussen Implementationsansvarig 070-3718879 avatar@lysator.liu.se Gustav Veide Systemansvarig 070-5514745 gusve322@student.liu.se Patrik Sandström Kundansvarig 0735464898 patsa014@student.liu.se Testansvarig 0709-507595 tomja961@student.liu.se E-postlista för hela gruppen pum1@und.ida.liu.se Hemsida http://www-und.ida.liu.se/~pum1 Kund Kundkontakt Bertil Lyberg, berly@ida.liu.se Mustapha Skhiri, mussk@ida.liu.se Handledare Sten Sunnergren, sten.sunnergren@ekhosat.se Examinator och kursansvarig Robert Kaminski, robka@ida.liu.se, IDA
Dokumenthistorik Version Datum Utfärdade ändringar Utfärdade av 1.0 2005-09-06 Dokumentet skapas 1,1 Små uppdateringar efter kommentarer ii
iii
Thomas Janowaski Övergripande Testplan... 3 Översikt... 3 Testfaser... 3 Aktivitetsplan... 4 Ansvar och roller... 4 Testsamordnare... 4 Testkonstruktör... 4 Testare... 5 Utvärderare... 5 Enhetstest... 5 Syfte... 5 Ansvar... 5 Genomförande... 5 Uppföljning... 5 Modultest... 5 Syfte... 5 Ansvar... 6 Genomförande... 6 Uppföljning... 6 Integrationstest... 6 Syfte... 6 Ansvar... 6 Genomförande... 6 Uppföljning... 6 Systemtest... 7 Syfte... 7 Ansvar... 7 Genomförande... 7 Uppföljning... 7 Acceptanstest... 7 Syfte... 8 Ansvar... 8 Genomförande... 8 Uppföljning... 8 1
2
1 Övergripande Testplan Detta dokument behandlar i generella drag testförfarandet för enhetstest, modultest, integrationstest, systemtest och acceptanstest. De metoder och rutiner som kommer att användas i de olika testfaserna beskrivs. 1.1 Översikt Testning används för att öka kvalitén och tillförlitligheten på den slutliga produkten. För att försäkra sig om att testningen går till på ett effektivt sätt bör man ha ett antal punkter i åtanke: - Testning skall avslöja fel, inte verifiera korrekthet. - Testning skall minska kostnaden på projektet. Kostnaden minskas genom att skapa tester så att allvarliga fel hittas i ett så tidigt skede som möjligt. Det är väldigt kostsamt att rätta fel efter leverans till kund. - Systemet bör konstrueras med testning i åtanke, t ex genom att indata i varje modul kontrolleras. På detta sätt minskas risken för fel och testningen blir lätttare att genomföra. - Designspecifikationen skall hållas på en sådan noggrannhetsnivå att testkonstruktören oberoende av implementeraren, skall kunna framställa testfall. - Den person som har implementerat de moduler som skall testas skall inte konstruera testfall till dessa, då detta kan medföra att exempelvis eventuella missförstånd av designen inte upptäcks. - Innan testning sker skall förväntade resultat för varje testfall framställas. Dessa jämförs sedan med de verkliga testresultaten. Om detta förfarande inte följs riskerar fel att inte fångas upp i testningen. - Allt testarbete skall dokumenteras väl. Detta kommer sedan användas för att uppskatta systemets kvalitet. - Alla tester skall vara möjliga att upprepa. För att alla test skall bibehålla hög kvalité genom hela projektet bör alla test följa nedanstående mönster: - Definera tydliga testmål och bestäm hur testet skall genomföras. - Konstruera testfall samt förväntade resultat på dessa. - Utför och dokumentera testningen noga. - Analysera testresultatet och ta beslut om när det är dags att sluta testa. Den testansvarige (TEST) leder och koordinerar testningen. 1.2 Testfaser Testningen delas in i följande testfaser: - Enhetstest - Modultest - Integrationstest Kapitel 1: Övergripande Testplan 3
- Systemtest - Acceptanstest. Testningen sker enligt ovan angiven ordning, men förarbetet till de olika testfaserna skall göras tidigare. För att testningen skall bli så effektiv som möjligt planeras testfaserna så att implementation och testning kan utföras parallellt. Enhetstestningen utförs av programmeraren själv under implementation. När en modul är implementerad kan modultestet genomföras. När ytterligare moduler är implementerade kan dessa integrationstestas. Moduler bör implementeras i sådan ordning att integrationstestningen kan påbörjas så tidigt som möjligt. När modultest och integrationstest är färdiga kan systemtestet genomföras. När systemtestet är genomgånget och slutfört kan acceptanstestet genomföras. De fyra första testfaserna genomförs internt, utan kunden. Acceptanstestet genomförs i samverkan med kunden. Testarbetet kommer att löpa över dessa projektfaser: - Definitionsfas - Designfas - Implementationsfas/Testfas - Leverans 1.2.1 Aktivitetsplan Nedan anges i vilken ordning och inom vilken projektfas de olika testrelaterade aktiviteterna sker. Observera att många av aktiviteterna löper parallellt. Testrelaterade dokument som skall produceras i respektive fas anges också. Definitionsfasen - Skapande av övergripande testplan och kravspecifikation med acceptanstestfall. Designfasen - Skapande av testplan och testfall. Implementations- och testfasen - Enhetstest, modultest, integrationstest och systemtest genomförs. Leveransfasen - Acceptanstest genomförs. Testresultat och testrapport sammanställs. 1.3 Ansvar och roller I avsnittet beskrivs kortfattat de roller som behövs för att utföra ett test och det ansvarsområde som omfattas av respektive roll. 1.3.1 Testsamordnare Huvudansvarig för testarbete och samordning är testansvarig (TEST). Denne skall samordna testarbetet, utse ansvariga för olika uppgifter och utdela arbetsuppgifter till dessa. Testansvarig skall hållas informerad när en modul eller ett delsystem är redo för testning och hålla reda på vilka moduler eller delsystem blivit godkända för nästa testnivå. 1.3.2 Testkonstruktör Testkonstruktören ansvarar för att ett specifikt test konstrueras, testspecifikationer skrivs samt att testfallet uppfyller testmålet. 4 Kapitel 1: Övergripande Testplan
1.3.3 Testare Testaren är den som utför testerna och antecknar resultat i ett testprotokoll. 1.3.4 Utvärderare Under flertalet testmoment kommer TEST att agera utvärderare. Utvärderaren tar beslut om när det är dags att sluta testa och gå vidare till nästa modul och/ eller testnivå. Om fel upptäcks rapporterar utvärderaren detta till respektive implementerare och planerar in eventuella framtida test i väntan på att felen åtgärdas. 1.4 Enhetstest Enhetstestningen består av kompilering och kodgranskning enligt en enkel checklista. Detta kommer att utföras regelbundet, oftast av implementeraren själv. 1.4.1 Syfte Syftet med enhetstestningen är att upptäcka fel, såsom uppenbara programmeringsfel och buggar på ett så tidigt stadium som möjligt, för att underlätta senare testningsarbete. 1.4.2 Ansvar Testsamordnare - TEST Testkonstruktör - TEST Testare - Implementationsgruppen Utvärderare - TEST, IMP 1.4.3 Genomförande Enhetstestningen sker löpande och testningen är i huvudsak automatiserad genom hjälpmedel inbyggda i kompilatorer och interpretatorer. Här skall dock testaren inte enbart lita på dessa hjälpmedel utan själv kontrollera koden enligt checklistan för enhetstest. 1.4.4 Uppföljning Enhetstestningen skall ske i samråd med implementations- och testansvarig. Implementeraren tar sedan gemensamt beslut med IMP och TEST om när en aktuell modul är redo för modultest. 1.5 Modultest I denna fas testas de enskilda modulerna var för sig. En modul bör modultestas så snart den är färdigställd och enhetstestad. Skälet till detta är dels att den person som har tagit fram har bäst uppfattning om hur den är byggd (och snabbt kan åtgärda eventuella fel) och dels för att arbetet med att testa delsystem som modulen används i skall kunna inledas. 1.5.1 Syfte Syftet med modultesterna är att upptäcka fel i de enskilda modulernas inre funktionalitet och verifiera att designspecifikationen har följts. Kapitel 1: Övergripande Testplan 5
1.5.2 Ansvar Testsamordnare - TEST Testkonstruktör - Testgruppen Testare - Testgruppen Utvärderare - TEST, IMP 1.5.3 Genomförande Testkonstruktören skriver testfall som lämnas till testaren. Denne får sedan aktuell modul från implementeraren och utför testet utifrån testfall och testskript. Utfallet av dessa dokumenteras i en testrapport som testsamordnaren får ta ställning till. 1.5.4 Uppföljning Alla testprotokoll som genereras skall sparas för att man senare skall kunna gå tillbaka till dem. Fel som upptäckts skall rättas och nya tester skall planeras om behov föreligger. Utförandet av detta arbete ligger under testsamordnarens ansvar. Vissa typer av moduler skall speciellt uppmärksammas: - Moduler som testas mycket mer än genomsnittet. En eventuell omdesign av modulen bör i så fall övervägas - Moduler som blivit godkända efter relativt få test. Skapandet av fler testfall bör i så fall övervägas. 1.6 Integrationstest I integrationstestet är målet att testa hur väl de olika modulerna fungerar tillsammans. Olika delsystem av moduler testas och dessa delsystem utökas tills dess att alla moduler omfattas. Testet kan påbörjas så snart ett flertal moduler som bildar ett delsystem är modultestade och godkända. 1.6.1 Syfte Syftet med integrationstesterna är att hitta fel i gränssnitten mellan de olika samverkande modulerna. 1.6.2 Ansvar Testsamordnare - TEST Testkonstruktör - Testgruppen Testare - Testgruppen Utvärderare - TEST, DES 1.6.3 Genomförande Konstruktören skapar testfall som testaren använder i sin testning. Testningen sammanfattas i testprotokollet och utvärderas av testsamordnaren. 1.6.4 Uppföljning Testprotokoll arkiveras för framtida referens. Om interaktionen mellan testobjekten inte fungerar som det är tänkt kontaktas implementerarna för ett möte 6 Kapitel 1: Övergripande Testplan
där de interaktionsproblem som uppkommit analyseras samt lösningar på dessa diskuteras. När alla moduler är integrationstestade tar testansvarig tillsammans med designansvarig beslut ifall det är dags att gå vidare till systemtest. 1.7 Systemtest Systemtest utförs när samtliga moduler anses vara färdiga och interaktionen mellan dessa fungerar på ett tillfredsställande sätt. 1.7.1 Syfte Syftet med systemtest är att testa att de krav som är ställda på systemet är uppfyllda. 1.7.2 Ansvar Testsamordnare - TEST Testkonstruktör - Testgruppen Testare - Testgruppen Utvärderare - TEST, Projektgruppen 1.7.3 Genomförande Testkonstruktören skriver en systemtestspecifikation med testfall och förväntade resultat som täcker in alla krav i kravspecifikationen. Testsamordnaren skall övervaka testningen och bedöma om fler eller mer omfattande testfall behövs. Testaren ansvarar för att testet utförs enligt testspecifikationen och för ett noggrant protokoll över vad som sker. 1.7.4 Uppföljning När systemtestet utförts kallar testsamordnaren till ett testmöte. På testmötet skall alla projektmedlemmar medverka. Under mötet kommer resultatet av systemtestet att diskuteras. Beslut om eventuell förändring av testspecifikation och testskript kan tas under mötet. Särskilt bör följande frågor ställas: - Var testfallen relevanta? - Testades systemets alla funktioner? - Testades alla krav i kravspecifikationen? Gemensamt beslut fattas huruvida systemet är redo för acceptanstest. 1.8 Acceptanstest Acceptanstestet är kundens möjlighet att kontrollera att systemet uppfyller acceptansvillkoren som återfinns i projektets kravspecifikation. Innan acceptanstestet kan utföras bör följande villkor vara uppfyllda: - Systemtestet skall vara avslutat och godkänt. - Alla upptäckta och relevanta fel i dokument och programvara skall vara åtgärdade. Kapitel 1: Övergripande Testplan 7
- Användarhandledningen skall vara levererad till kunden i god tid innan testet. - Eventuell nödvändig installation av systemet skall ha utförts. 1.8.1 Syfte Att kunden skall få kontrollera att systemet uppfyller de önskemål och krav som kunden och projektgruppen kommit överens om i kravspecifikationen. 1.8.2 Ansvar Testsamordnare - TEST Testkonstruktör - TEST, KUND, SYS Testare - KUND, Kunden Utvärderare - TEST, Projektgruppen 1.8.3 Genomförande Kundansvarig och kunden själv utför acceptanstestet. Testansvarig och eventuella andra projektgruppmedlemmar kan närvara. Resultatet bokförs i ett testprotokoll. 1.8.4 Uppföljning Om kunden är nöjd och godkänner produkten undertecknas acceptansöverkommelsen. Är kunden missnöjd kallar testsamordnaren till möte där beslut angående eventuella åtgärder tas. Ett nytt acceptanstest planeras in i samråd med kunden. 8 Kapitel 1: Övergripande Testplan