Testslutrapport Cambroprojektet

Transkript

1 Testslutrapport Cambroprojektet Funktionalitet Vad har vi testat? Verifierat ny funktionalitet uppgradering till ny version (2.6) nya verktyg EvalSys, QnA, Resultat, LaTex formelskrivning Verifiering av buggrättningar inom projektet Olika flöden samt de verktyg som är flitigast tillagda Uppföljning testaktiviteter Testresurser Vi har haft en testare från på 80 %, samt en testledare/testare på 50 % under hela projektet. Vi har även haft sju verksamhetstestare (lärare) från alla fakulteter under hela projektet utan tidigare testerfarenhet. Tyvärr har vi inte fått ut full tid från verksamhetstestarna. Tillvägagångssätt Exploratory Testing (utforskande testning) har använts som angreppssätt i testandet. Anledningen till detta är bl a att tiden för förberedelser är kortare och det blir mer fokus på att utföra tester. Detta ger större möjligheter att anpassa testandet och därmed hitta flera fel och brister. Ställer också krav på att man förstår systemet väl, vilket verksamhetstestarna gör. Ett inledande möte hölls i början av projektet med verksamhetstestarna: genomgång av projektets syfte och testarnas roll genomgång av test, hur vi jobbar med test på genomgång av Exploratory Testing och hur vi ska jobba i testsessioner och med Test Charters genomgång av hur vi rapporterar buggar/issues Verksamhetstestarna har testat genom att dels själva komma med förslag på testområden som legat till grund för Test Charters samt med fördefinierade Test Charters från oss. Efter ungefär halva projekttiden bestämde vi oss för att ändra fokus på testandet och för att få mer fokusrad testning på vissa moduler och på vissa arbetsflöden. Från att enbart hitta fel och brister till kvalitetssäkring för att kunna lämna kvalitetsinfo om systemet. Ett möte hölls med verksamhetstestarna för att gå igenom bedömningskriterier och fortsatt testarbete.

2 Vi beslutade att ha fem workshops där de som kunde delta testade tillsammans. Vi skapade kurser där vi bjöd in varandra som studenter för att få både student och lärareperspektiv vid testandet. Verksamhetstestarna har fått ge en bedömning av de moduler som de främst fokuserat på. Ett avslutande möte hölls där vi gick igenom detta. Under projektets gång har verksamhetstestarna fått feedback på sina Test Charters, om oklarheter och svårigheter funnits i de inlämnade Test Chartrarna har vi gått igenom och diskuterat detta. De har även fått feedback på insända buggrapporter om de åtgärdas inom projektet eller inte, samt att de fått möjlighet att testa av sina egna inrapporterade och rättade buggar. Testtäckning Vi har använt Sessions verktyget för att få fram statistik över testade områden/verktyg. Test & Quizzes har testats flitigt, följt av EvalSys, Wiki och Assignments. T&Q har haft många inrapporterade ärenden och har därför varit viktigt att lägga testtid på. EvalSys (Kursutvärdering) och är ett nytt och hett efterfrågat verktyg, så där har det också varit prioriterat att testa. Vad gäller övriga verktyg så har vi främst fokuserat på de verktyg som är mest tillagda i Cambros kurssajter i verklig drift.

3 Tester har också gjorts på indatafält för att kontrollera begränsningar och felmeddelanden när stora mängder tecken matas in. Det har sammanfattats i en rapport som är ivägsänd till SAKAIcommunityt, se rapport i SP (Sharepoint). Verktyg Jira har använts som projektverktyg. Verksamhetstestarna har mejlat in buggar/issues till testledare som lagt in dessa i Jira. Anledningen till rapportera via testledare var för att få bättre insyn och kontroll över vad och hur ärenden rapporterades in. Fungerat bra men tagit extra testledartid. Jira som verktyg har fungerat väldigt bra. Det har varit lätt att rapportera in ärenden och följa upp dem. NotePad ++ har använts för att skriva Test Charters. Detta för att kunna få ut statistik bl a runt testtäckning av olika områden via ett scan verktyg, Sessions : NotePad ++ som verktyg och Test Charter mallarna har till viss del upplevts som klumpigt. Har ej gått att styra det som skrivs in i mallarna och mycket manuell redigering/rättning i chartrarna har fått göras för att kunna läsa in chartrarna i scan verktyget. Funktionalitetens status Verksamhetstestarna har fått göra en kvalitetsbedömning av Cambro strax innan projektets slut. De moduler som använts i testsajterna har bedömts. Modulerna har också betygssatts med en skala 1 5 (där 1 är sämst). Bedömningskriterier A. Funkar intuitivt är begriplig B. Funkar efter koll i manual C. Går att utföra det jag vill men på ett annat sätt D. Kan ej utföra det jag vill trots att jag läst i manual E. Är krånglig och svårbegriplig trots att jag läst manual Bedömning Modul (svenska) Modul (engelska) A B C D E Medelbetyg Förkunskaper Antal svarbetyg Ny viss Van Forum Forums 4 1 4, Inlämningsmapp Drop Box 4 4, Wiki Wiki , Moduler Modules/Melete , Blogg Blogs 4 3, Chatt Chat Room 4 1 4,

4 Uppgifter Assignments 5 1 4, Resultat Gradebook 1 3 3, Meddelanden Messages 4 1 3, Test och quiz Test and quizzies , Filsamling Resources 4 1 3, Anslagstavla Announcements 7 4, Kursutvärdering EvaluationSystem (EvalSys) ,0 5 6 Frågor och svar Questions and Ansvers (QnA) ,8 4 5 Cambro hela systemet 1 2 3, De grönmarkerade modulerna ligger på 4,0 och över i medelbetyg vilket får anses vara ett bra betyg. Det går att utföra det man vill i dessa moduler på ett relativt intuitivt sätt. De gulmarkerade ligger på 3,0 upp till 4,0. Funkar att utför a det man vill, men kanske inte på det sätt man är van. Några dessa moduler är nya (EvalSys och QnA) vilket kan bidra till det sämre betyget, eftersom man aldrig provat på dessa tidigare. Cambro som helhet får ett medelbetyg på 3,5. Tyder på att Cambro verkar upplevas som ett ganska hyfsat system, det verkar uppfylla lärarnas behov på ett OK sätt. En kommentar till detta är att den nya versionen (2.6) upplevs som ett lyft. Driftssättningstester Driftsättningstester är planerade den 18/6. Några av verksamhetstestarna kan delta, samt vi som testat i projektet. Testplan finns i SP. Erfarenheter kring test i projektet (Marie): Att testa och dokumentera har varit problematiskt för många av verksamhetstestarna och de har behövt mycket stöd. Inte så konstigt med tanke på att testarbete varit en ny erfarenhet för de flesta av dem. Exploratory Testing har varit det naturliga angreppssättet i detta projekt, samtidigt som det oftast fungerar bäst om man har tidigare erfarenhet från mjukvarutestning. Mycket tid har gått till uppföljning och genomgång av deras arbete, och testledarrollen har därmed tagit mer tid än beräknat. Projektet har varit relativt kort, så det har känts viktigaste att de har kunnat lägga så mycket testtid som möjligt och inte tid på att lära sig rapportera på rätt sätt i verktygen. Det är en viktig erfarenhet till kommande, liknande projekt där man har med verksamhetstestare utan testerfarenhet.

5 Workshoparna har varit uppskattade av verksamhetstestarna. De flesta tycker att de lärt sig mycket om Cambro under projekttiden som de har nytta av framöver, och förhoppningsvis kan sprida till andra kollegor! Själv tycker jag att det har varit jätteroligt och givande att jobba med test i det här projektet, med engagerade kollegor och verksamhetstestare! Har lärt mig mycket att arbeta med Scrum som projektmetod, Exploratory Testing fullt ut som angreppssätt i testandet och att testa ett LMSsystem som omväxling. Känns tyvärr som jag haft för lite tid till att testa själv.