Digital Examination. Charlotte Leanderson & Carina Georg

Transkript

1 Digital Examination Charlotte Leanderson & Carina Georg

2 Digitaliseringen utmanar universitet och högskolor, som kommer behöva förändra sin organisation och sitt sätt att bedriva högre utbildning. Sverige bör vara ledande i den digitala transformationen av högre utbildning och förmedla högkvalitativ digital kompetens för livslångt lärande inom alla områden. Att nå dit kräver omfattande förändringar av universitetens uppdrag, finansiering, arbetssätt och styrning ur Digitaliseringskommisionens slutbetänkande: För digitalisering i tiden, Jan Gulliksen (SOU2016:89)

3 Vad har gjorts avseende digital examination på KI? Strategiska satsningen INSITU Infrastruktur för IT stöd i Undervisningen-, In Situ satsning In vivo projektet digitalisering av skriftlig salstentamen digitalisering av stationsbaserade praktiska examinationer *pedagogiska aspekter, *säkerhetsmässiga aspekter, *fysiska miljöer, *ekonomiska och organisatoriska aspekter..vid implementering av digitaliserade skriftliga (Inspera), samt stationsbaserade examinationer (Qpersoft) Slutrapport april 2017.

4 Erfarenheter Student-, lärar- samt administratörsperspektiv Identifikation av en ålderdomlig tentamensprocess Examination- lärarägd entitet

5 Att skapa en rättssäker, valid och reliabel examination -Genom att skapa frågor/stationer med koppling till lärandemål med kriterier för examination. -Det inkluderar även ett evidensbaserat förhållningssätt vid framtagande och genomförande av tentamen, t ex genom användande av blueprints, standard settings, och beaktande av validitets - och reliabilitetsaspekter. Ex Urval av frågor/stationer i rel till kursinnehåll, -blir t ex. lätt för få, för lätta frågor, favoritfrågor/ämnen -Att genom t ex tillämpning av modeller för skattning av godkänd gräns/svårighetsgrad skapa en tentamen med för ämnet relevant innehåll och svårighetsnivå. -Vidare att efter genomförande av tentamen, analysera resultat och förhållanden avseende frågor och bedömningsformat. Att ställa detta i relation till undervisningsformat och lärandemål, samt att ytterligare skapa grund för validitet och reliabilitet i kommande tentamina.

6 Examinationens roll i lärandet kan ytterligare tydliggöras och studentens eget lärande, även under examinationen, kan förbättras, både under och efter tentamen. Digitalt tentamensformat-facilitera utveckling av tentamensprocessen? Digital examination- (som del i ett större digitalt understött undervisningsformat) kan skapa möjlighet för utveckling av tentamen, från en alltjämt företrädelsevis lärarcentrerad undervisningsaktivitet mot en mera studentcentrerad dylik, och i ett längre perspektiv en läraktivitet där tentamen mera aktivt integreras som del i studentens lärande i en longitudinell och studentstyrd lärprocess. Learning analytics, tillgång till big data- prediktera resultat samt tolka mönster etc. Digitalt format historiskt, -automaträttning

7 Aktuellt -KI inhandlat plattform för digital examination, Inspera Assessment, 2-års avtal. -NVS -Multifaktoriell process; fastighetsavd, KIB/student-IT, ITA, rättssäkerhet, registrator mfl

8 Pilot projekt Inspera Assessment

9 Inspera Assessment används av: Karolinska Institutet; två domäner ( kunskapsprov) (introduktionsperiod) Göteborgs universitet Chalmers tekniska högskola Lunds universitet Blekinge tekniska högskola Jönköpings universitet Umeå universitet Sophiahemmets högskola Försvarshögskolan Uppsala universitet Skolverket (nationella prov) andra skolhuvudmän Ytterligare några lärosäten som upphandlat introduktionsperiod

10 Systemets tekniska stöd för examinationsprocessens olika faser Skapa Genomföra Bedöma Publicera Analysera # Skapa frågor /frågegrupper Säkerhetsaspekter (SEB) Bedömning/ återkoppling Publicering resultat Analytics Planera arbetsflöde Realtids monitorering Plagiatkontroll. Studenter hämtar sin examination # Lagring frågor Skapa tentamen Incident hantering Betygssättning Arkivering Backup lösning Omprövning Rapportera

11 Roller Student Admin Författare Bedömare Användar admin Tentavakt

12 Tentamen logga in med sin behörighet / examinationens förbestämda säkerhetsnivå

13 Studentperspektiv inloggning och exempel frågetyper.

14 Exempel SBA /MCQ fråga Student kan markera frågor de önskar gå tillbaka till Student ID (kod synlig under examination. + Student ser hur lång tid som återstår av examinationen. Bilder kan Integreras på olika sätt. Vy där student kan anpassa skärmen Alternativ kan slumpas Möjlighet att vitlista resurser och domäner Student kan navigera genom dessa alternativ. Undantag MEC

15 Kortsvarfråga. Frågetyp där studenten skriver ett kort svar (max 50 tecken) Delvis självrättande.

16 Kortsvar med siffror Här ser ni att sidan man är inne på är blå. Sidor man inte besvarat är grå. Sidor man har besvarat har en blå kant. Om studenten har markerat sidan syns en lite flagga.

17 Exempel Fritext frågor Möjligt att lägga in PDF filer. Verktyg för studenten

18 Kortsvarsfråga

19 Hotspot markera i bild frågetyp.

20 Frågetyper

21 Realtidsmonitorering

22 Backup lösning: On / off line funktion

23 Bedömning feedback till student. Bedömning dates Feedback till studenter

24 Learning analytics

25 Nästa steg Utrustning av datasalar Solna/Flemingsberg. Utarbetande av organisationsform och samordning avseende tentamensservice/resursenhet för tekniskt stöd vid införande av digital examination. Vidareutveckling av tentamensprocessen; Behov av övergripande pedagogiskt stöd och psykometriskt stöd. Upphandling av plattform för digital examination. IT-infrastruktur i samarbete med SLL. Tillskapande av informationsmaterial.

26 Planerade aktiviteter Datorer på plats i slutet av januari -19 Digital examination, utbildning för användare februari-19 Successiv implementering Rekommenderar att kurser som vill implementera digital examination startar med en examination med en mindre studentgrupp, t ex en omtentamen.

27 Frågor och tankar kontakta: Charlotte Leanderson eller Carina Georg h charlotte.leanderson@ki.se carina.georg@ki.se