Tilldelningsbeslut 2015-12-18 Upphandlande organisation Göteborgs universitet Upphandling Digital salstentamen DEX Malin Martinsson EUI 15 033 1.1 Tilldelningsbeslut Enligt anbudsutvärdering har följande anbud bedömts som ekonomiskt mest fördelaktigt: Med hänvisning till ovanstående beslutar undertecknad med stöd av delegation att anta ovanstående företag som leverantör av Digital salstentamen DEX Avtalet träder i kraft 2016-01-01 och löper till 2017-12-31 Avtalet kan förlängas med ett år vid fyra tillfällen. (1+1+1+1) Efter avtalets utgång upphör avtalet att gälla utan föregående uppsägning om avtalet inte förlängts enligt gällande avtalsvillkor. Från det att den upphandlande myndigheten meddelat anbudsgivarna tilldelningsbeslut, inträder en avtalsspärr där myndigheten inte får teckna avtal. Avtalsspärren gäller från och med 2015-12-18 till och med 2015-12-28. Avtal kommer tidigast att tecknas 2015-12-29. För Göteborgs universitet Ulrica Carlsson Upphandlingschef Utskrivet: 2015-12-18 12:13 Sida 1 av 5
2.1 Upphandlingsprotokoll Göteborgs universitet har på uppdrag av enheten för pedagogisk utveckling och interaktivt lärande genomfört en upphandling. Arbetet har utförts av företrädare för verksamheten i samråd med Upphandlingssektionen. Upphandlingens namn: Digital salstentamen DEX Upphandlingsförfarande: Öppet förfarande Annonseringsdatum: 2015-10-02 Sista anbudsdag: 2015-11-11 Antal inkomna anbud: 5 Anbudsgivare: 9166671, Cirrus Assessment UK Ltd 5568691504, DigiExam Solutions Sweden AB 5590065198, Dugga AB 5565659009, Evolvera AB 2.2 Kvalificering av anbudsgivare Nedan anges vilka anbudsgivare som kvalificerat sig. Antal kvalificerade anbud: 3 Följande anbud är kvalificerade: 5568691504, DigiExam Solutions Sweden AB 5565659009, Evolvera AB Efter genomgång av samtliga anbud bjöds alla leverantörer in till anbudspresentation (webbmöten). Under webbmöterna fick leverantören 45 minuter att presentera sitt system och hur systemet stöder de olika delarna i tentamensprocessen enligt processkartläggningen. Därefter hade Göteborgs universitet 45 min för frågor och förtydligande. Under mötet med Cirrus Assessment framgick att företaget befinner sig i ett expansivt skede men att mycket av den funktionalitet som Göteborgs universitet efterfrågar, ännu saknas. Även om företaget uppger sig vara villiga att utveckla det som saknas, skulle detta kräva omfattande investeringar i tid och pengar från universitetes sida. Några exempel, systemet finns ännu inte översatt till svenska, förberedande anpassningar för efterfrågade integrationer saknas, tillförlitlig lösning för inlämning när nätverk saknas, det är inte möjligt att radera gamla tentor från systemet och inte heller finns det en handlingsplan för kravet. Göteborgs universitet avser att göra en ett breddinförande inom universitetet och därför ställs höga krav på att leverantören har gedigen erfarenhet av att genomföra skarpa tentamen med många samtidiga användare och att man även har erfarenhet från breddinförande vid andra universitet/högskolor i motsvarande omfattning. Eftersom Cirrus inte uppnår kraven enligt 4.4.1 och 4.4.2 går företaget inte vidare till utvärderingsfasen i upphandlingen. Under mötet med Dugga framgick att företaget är relativt nytt på marknaden och att man ännu inte börjat sälja systemet i någon större omfattning. Endast ett fåtal skarpa tentamen har ännu genomförts. Företaget satsar mycket på forskning och utveckling och av det som demonstrerades vid genomgången tydliggjordes att man har planer på att utveckla många avancerade funktioner. Viktiga delar som Göteborgs universitet efterfrågar saknas ännu exempelvis monitorering vid salsskrivning och stöd för inlämning när nätverk saknas. Göteborgs universitet avser att göra ett breddinförande inom universitetet och därför ställs höga krav på att leverantören har gedigen erfarenhet av att genomföra skarpa tentamen med många samtidiga användare och att man även har erfarenhet från breddinförande vid Utskrivet: 2015-12-18 12:13 Sida 2 av 5
andra universitet/högskolor i motsvarande omfattning. Eftersom Dugga inte uppnår dessa krav enligt 4.4.1 och 4.4.2 går företaget inte vidare till utvärderingsfasen i upphandlingen. Antal ej kvalificerade anbud: 2 Följande anbud är ej kvalificerade: 9166671, Cirrus Assessment UK Ltd, 5590065198, Dugga AB, 2.3 Utvärdering av anbud Anbudsutvärdering genomförs av företrädare för verksamheten i samråd med ansvarig upphandlare. Handläggning av de anbud som gått vidare från leverantörsprövningen har skett på följande sätt: Steg 1. Prövning att offererad produkt uppfyller samtliga obligatoriska krav (skall-krav). Samt förtydligande i frågor och svar enligt: Datum: 2015-10-20 16:15 Publik fråga till Göteborgs universitet Vi ser behov för att göra några anpassningar också på punkter i processbeskrivningen och kravspec där handlingsplan och möjlig senare leverans ej har specificerats. Hur ställer sig GU till att leverantören föreslår en implementationsplan i sådana tillfällen? Vilka leveransdatum ser GU framför sig som relevanta? Publikt svar 2015-10-22 08:03 Göteborgs universitet Universitetet ställer sig positivt till att leverantör föreslår en implementeringsplan i de fall som beskrivs ovan. Leveransdatum beror naturligtvis på eventuella inberoenden som till exempel kommande Ladok3-leveranser. Angående övergång till mobilt stöd (där datum för senare leverans ej specificerats) överlämnar vi åt leverantör att föreslå möjligt datum för leverans. Datum: 2015-10-20 16:35 Publik fråga till Göteborgs universitet Hur kommer systemfunktioner som möter krav som tillåter senare leverans bedömas och betygsättas i användartesterna? Publikt svar 2015-10-22 08:02 Göteborgs universitet Det är endast skall-krav som tillåter senare leverans. Om vi anser att leverantörens handlingsplan är rimlig och trovärdig kommer den att accepteras som ett godkänt skall-krav. Universitetet kommer, via avtal, att reglera eventuella tvister utifall leverantör i sin handlingsplan för senare leverans, utlovat mer än man sedan kan hålla. Steg 2. Utvärdering av anbuden enligt förfrågningsunderlaget och däri angivna kriterier: * Pris 40 % * Bedömning av användartester 30 % * Uppfyllelse av kravspecifikationen 30 % De anbud som kvalificerat sig för utvärdering har bedömts utifrån användartester och uppfyllelse av kravspecifikation. Användartester Användartester har genomförts med följande roller: lärare/kursansvarig, studieadministratör, tentamensvakt samt student. Användartester med lärare/kursansvarig och administratör genomfördes i separata grupper. Användartester med tentamensvakt och student genomfördes vid samma tillfälle. Användartesterna genomfördes en första omgång med alla roller under två dagar i vecka 48 samt en andra omgång med nya deltagare två dagar i vecka 49. Varje roll fick lära känna Utskrivet: 2015-12-18 12:13 Sida 3 av 5
och ge synpunkter på respektive systems användarvänlighet och funktionalitet. För att få en likvärdig utvärdering följdes samma upplägg för alla grupper: 1.Information om användartestet samt sekretess 2.Formulär med anpassade frågor runt funktionalitet, för respektive roll. 3.Enkät med övergripande frågor om användarvänlighet Alla delar i användartesterna har poängsatts. Poängsumman för varje system har summerats. För varje system har sedan den procentsats (antal poäng dividerat med högsta möjliga antal poäng) räknats fram som sedan använts i viktning av respektive system. Uppfyllelse av kravspecifikation Projektgruppen har utvärderat och bedömt kravspecifikation (skall- och utvärderingskrav). All funktionalitet i respektive system har testats. För de skall-krav som inte kunde kontrolleras godkändes istället en detaljerad och trovärdig handlingsplan. Handlingsplaner för utvärderingskrav har inte godkänts och har inte fått poäng. DigiExam Företaget har inte preciserat handlingsplan för de skall-krav som inte finns på plats men har muntligen angett tid för leverans vid anbudspresentationen. Leverantören har fokuserat sin utveckling på att ge stöd för salstentamen och har anpassat systemet för att fungera enligt de rutiner som finns vid analoga tentamen (tentamen med penna och papper). Vid Göteborgs universitet har under utvärderingen stor vikt lagts vid att följa upp hur respektive system hanterar säkerhet och identitetskontroll. DigiExam har ett antal säkerhetsfunktioner som universitetet bedömer som ej tillräckliga för att garantera ett tillräckligt rättssäkert tentamensförfarande. Dessa bör kompletteras med manuella rutiner och arbetssätt för att kunna erhålla en tillräcklig nivå av rättsäkerhet. Systemet har inte stöd för användning av unika koder (för tentamen och för inlämning) utan systemet är utformat så att studenten själv väljer vilken tentamen som startas. Verifiering av att det är rätt student som sitter i salen och som är inloggad på rätt tentamen måste således göras på plats av tentamensvakt genom verifiering av namn och id på student samt kontroll av att studenten skriver rätt tentamen på sin skärm. Vidare använder systemet en egenutvecklad programvara för att låsa och säkra dator vid tentamenstillfället. Leverantören genomför egna säkerhetsanalyser och åtgärdar de säkerhetshål som de hittar och använder sig inte av externa parter för att analysera och testa säkerheten i systemet. Göteborgs universitet bedömmer att ett säkrare alternativ är att använda sig av mer etablerarde programvaror för att låsa och säkra datorn samt att använda sig av externa parter för att analysera systemets säkerhet. Evolvera och UNIwise Anbudet gäller systemet WISEflow som utvecklas av UNIwise och i Sverige marknadsförs av Evolvera. Leverantörerna inbjuder i sitt anbud Göteborgs universitet att delta i ett gemensamt utvecklingsprojekt för att utveckla dels de skall-krav som saknas men också saknade eller ej tillfredsställande funktionalitet i utvärderingskrav. Leverantörerna föreslår en projektplan där Evolvera leder projektet, UNIwise ansvarar för teknisk projektledning och där Göteborgs universitet deltar som kravställare samt genomför acceptanstester. För Göteborgs univeritets del skulle samarbetsprojektet innebära ett tidskrävande arbete och kräva omfattande personella resurser. Utvecklingskostnaden tillsammans med pris för licens och programvara blir därmed relativt hög. UNIwise erbjuder flera olika verktyg för digital examination. Det verktyg som motsvarar de behov Göteborgs universitet efterfrågar heter FLOWmulti och är ännu inte översatt till svenska. Det är i anbudet delvis oklart vilket verktyg som avses i kommentarer till kravspecifikationen. Vid Göteborgs universitet har under utvärderingen stor vikt lagts vid att följa upp hur respektive system hanterar säkerhet och identitetskontroll. Systemet har ett flertal inbyggda säkerhetsfunktioner som universitetet bedömer som tillräckliga för att garantera ett rättssäker tentamensförfarande. Systemet har stöd för unika koder för tentamen. En kod för studenten och en kod för tentamensvakt som används vid inloggning och vid inlämmning samt vid eventuella tekniska problem. Manuella rutiner för att hantera säkerheten kan dock vara tidskrävande vid tentamen med många Utskrivet: 2015-12-18 12:13 Sida 4 av 5
studenter. Systemets monitoreringsverktyg erbjuder en sparsam vy som bör utvecklas ytterligare för att kunna fungera som ett adekvat verktyg för att övervaka ett tentamenstillfälle. Leverantören har valt programvaran Respondus för att låsa och säkra datorn vid tentamenstillfället och genomför minst årliga säkerhetskontroller av systemet med hjälp av externa parter. Inspera Företaget har breddinfört systemet vid flera norska universitet och lärosäten och har därför en relativt god erfarenhet av införande, drift och support i samverkan med stora organisationer. Företaget samarbetar med Funka, en organisation som verkar för tillgänglighet i It-system. Tillgänglighetsfrågor har fått mer och mer uppmärksamhet inom högre utbildning och är något Göteborgs universitet just nu arbetar extra mycket med. I anbudet har företaget presenterat tidsplan för de krav som det idag saknas stöd för i systemet. Vid Göteborgs universitet har under utvärderingen stor vikt lagts vid att följa upp hur respektive system hanterar säkerhet och identitetskontroll. Systemet har ett flertal inbyggda säkerhetsfunktioner som universitetet bedömer som tillräckliga för att garantera en rättssäkert tentamensförfarande. Systemet har stöd för unika koder för tentamen. En kod för studenten och en kod för tentamensvakt som används vid inloggning och vid inlämning samt vid eventuella tekniska problem. Manuella rutiner för att hantera säkerheten kan dock vara tidskrävande vid tentamen med många studenter. Monitoreringsverktyget för att övervaka tenterande erbjuder en bra överblick över det som sker under tentamen och bland annat så fångar verktyget upp om en tentand oavsiktligt avbryter tentamen. Leverantören har valt programvaran Safe Exam Browser (SEB) för att låsa och säkra datorn vid tentamenstillfället och genomför minst årliga säkerhetskontroller av systemet via externa parter. Sammanfattning Efter att samtliga utvärderingsaktiviteter slutförts har projektgruppen samlats för att värdera och vikta de olika utvärderingskriterier som ligger till grund för att ta beslut om val av leverantör och systemstöd för digital salstentamen vid Göteborgs univeritet. Marknaden för digitalisering av tentamensprocessen är ännu ung vilket bland annat manifesterar sig i att samtliga systemstöd som offererats, har brister i såväl funktionalitet som användarvänlighet. Detta är något projektgruppen varit medveten om under arbetets gång och förhoppningen är att många buggar och felaktiga funktioner ska kunna avhjälpas inom de kommande åren. Det finns mycket att vinna på en digitalisering av tentamensprocessen och under upphandlingsarbetet har projektgruppen fått många positiva kommentarer från såväl administratörer och lärare som från studenter och tentamensvakter. Eftersom kravspecifikationen varit utförlig har det också varit möjligt att poängsätta och värdera respektive system på ett neutralt sätt. De system som utvärderats har god potential men sammantaget har ett av systemen fått högst poäng i samtliga utvärderingskriterier. För utvärdering av anbud se bilaga resultatrapport. 2.4 Beslut Efter genomförd utvärdering har följande anbud beslutats antas: Utskrivet: 2015-12-18 12:13 Sida 5 av 5