Datorbaserad tentamen och säker onlinetenta Mats Brenner, IKT-pedagog Learning Center på Högskolebiblioteket i Gävle. 2014-12-11
Tendens och riktning är interaktivitet och mobilitet Mobilt Open Access Öppen data MOOC Video & Podcast Blended learning Förmedlande OER Webinar E-portfolio & e-cv E-assessment & Badge Hyflex learning Active learning Classroom (ALC) Aktiva kontor Dialog & Interaktiviet På plats
Digital Tentamen projekt inom SUNET Inkubator under 2015 Samverkan via SUNET Inbubator om Digital Tentamen. Målet: Att under 2015, skapa en grund för tekniska lösningar som kan användas som startvärde av lärosäten som skall införa digital tentamen. Bakgrund: Många lärosäten är i startgroparna med att införa eller närmare undersöka digital tentamen t.ex. digitala salstentor. Projektet kommer arbeta i nära samarbete med de lärosäten i Sverige som har påbörjat ett arbete med digital tentamen, samt kommer även ta tillvara erfarenheter som gjorts i bl.a. övriga norden. Projektledningsuppdrag Digital tentamen: Mats Brenner, Högskolan i Gävle
Digital Tentamen Saker att fundera över Salstentor med dator Salstent i datasal Salstenta med egen dator (BYOD) trad. tentasalar Vad skall funka online och offline Programvara med USB Programvara som måste installeras Webbaserad programvara Skall fungera både på Campus och Distans Enkelt lägga in frågorna och antal frågetyper Skall klara olika filer och representationsformer Enkelt att göra bedömningen Enkelt meddela prestation, feedback/återkoppling och betyg System som kan prata med LMS, LADOK et cetera (internoperabilitet) Lagring, rutiner Arkivering, rutiner (e-arkivering, tentamen är myndighetsutövning)
Kursupplägg och examinationskriterier Bild: Nick8jun, Wikimedia Commons När gör man valideringstest, ett quiz, en dugga, en onlinetenta?
Bedömningsmallar (Rubrics) Rättvis och likvärdig bedömning vid examination, anonym tenta eller anonym kollegial bedömning och betygsättning. Anonym examination eller anonyma tentor (Bologna s k kurskrav) Använder man Bloom s eller SOLO-taxonomi
Kompetens om examinationsformer
Examinationsformer vanliga och mindre vanliga REF: http://www.provainfact.se/publish/examination/9127-examinationsformer vanliga_och_mindre_vanliga/index.html#/9126
Nätbaserade examinationsformer kopplade till lärverktyg (i lärplattform) eller webbkonferensverktyg
Examinations- former kopplade till LMS Bb (En wordfil att ändra/modifiera för eget behov, ladda hem REF nedan.) REF: http://hig.se/ext/sv/biblioteket/distansstudier-flexibelt-larande/pedagogiskt-stod/bedomningsmallar-i-blackboard---kriterier-rubrics.html
Stöd för examination - LoA Utöver att fastställa att någon uppfyller lärandemålen, behöver man också diskutera hur säker man är i den bedömningen. Level of Assurance (LoA). De två utmaningarna: 1. Säkerställa vem som det är som examineras 2. Personen kan det som är lärandemålen för kursen Vem det är? Kan säkerställas via identitetshandlingar och via nätet via inloggning t ex digitala legitimationer. Men det finns flera metoder & verktyg för detta som inte alla känner till
Problematiken- LoA Skilja på LoA för känna igen personen och LoA för uppfyllande av kursmål. Level of Assurance (LoA). Idealet: Hög LoA för både individen och lärandemål. Exempel: Låg LoA för inlämnaren men hög LoA för uppfyllande av kursmål. Man vet inte vem det är man examinerar, men har ett gott underlag för ge omdöme. Problem även vid grupparbete då t ex en wiki är bättre använda, än 2-3 sidor wordfil (utan prestationshistorik). Hög LoA för inlämnaren med låg LoA för uppfyllande av kursmål. Man vet vem det är, men har t ex bara underlag från ett mycket begränsat onlinetest för lärandemålet. Bättre då om man kan jmf individen utöver denna tentamen med andra inlämningsuppgifter, laborationer och hur Individen kommenterat andra inlämningar. REF: Kap 7, boken Mer om nätbaserad utbildning fördjupning och exempel (2001)
Kombinera synkront och asynkront- för högre LoA Representationsformer, multimodalt, gestalningsformer Representationsform Synkront (nu/online) Asynkront Text Bild/graf/tabell Skapa ett t ex ett fiskbensdiagram på whiteboard med aspekter Textdokument, wiki eller diskussionsforum Skapa en Mindmap Ljud Muntlig examination Göra en Podcast Film/video E-möte/Webinar Skärminspelning med ljud
Indentifiera individen- för högre LoA I Sverige är examination myndighetsutövning Identitetskontroll Identifieringsgrad Höga identifieringsgraden Kamera (t ex webbkonf.system eller anpassande verktyg) Inloggnings med koder Säkra utskick av koder Sociala medier kan stöda Lämna in även andra representationsformer Lämna in både synkront och asynkront Frågan om studenter skall övervakas Avgöra vem som har gjort vad, problem vid grupp- och projektarbeten
Funktion, frågetyperna och representationsformerna styr! Hur kan Du styra onlinetestet via tid, datum, tillgänglighet vid avklarad aktivitet (nivå, datum, poäng eller procent etc. Kan du randomisera frågorna? Förbjuda s k backtracking? Hämta ut testbanker på olika villkor, lägga metadata, svårighetsnivåer?! Lärplattform med 17 frågetyper i onlinetestfunktionen?! Finns s k objektanalys i systemet d v s se vilka frågor som är svaga/ej får många rätt svar.! Finns peer assessment i lärplattformen?! Finns t ex wiki med prestationshistorik vem som producerat vad i grupparbete - gruppinlämningar?! Hanterar diskussionsforum bedömning/betygsättning av diskussiontrådar, diskussionsinlägg och anonyma inlägg.! Finns möjlighet till inspelning av muntliga/video-inlägg/presentationer direkt i lärplattformen för enkel bedömning.! Kan man delegera bedömning så det är flera lärare som examinerar anonymt.! Körs plagiatkontroll samtidigt med inlämnad dokumentfil/text eller är det en separat arbetsprocess
Frågeverktyg - för onlinetest och quiz FiftySneakers.com http://www.fiftysneakers.com (helt webbaserat, kostnadsfri) och ett kollaborativ verktyg Webbaserat system som är open source för onlinetest/quiz som heter Onyx med god standard: https://www.bps-system.de/cms/en/products/onyx-testsuite/ Respondus, skapa test offline och exportera samt importera http://respondus.com/products/respondus/index.shtml Tao Testing, Open Source, god standard http://www.taotesting.com/ Svenska uppstickaren: DigiExam ( ingen IMS-standard) Danska WISEFlow (I Danmark har man tagit bort papperstentor) Norska Inspera Assessment Flera redan etablerade finns förstås som t ex QuestionMarks Du har förmodligen ett Test/Quiz-verktyg i din lärplattform (LMS) ispring Solutions går integrera med LMS och ha på egen dator. http://www.ispringsolutions.com Google Docs för onlinetests/quiz, så kan du använda http://www.flubaroo.com/ hanterar resultatsammanställningar m m. Du kan även lägga in dina frågor i YouTube-filmer/videos och med Mozilla Popcorn Maker så kan du editera och lägga till frågor eller hänvisningar direkt i videos och till ljudfiler.
Säker onlinetenta på campus och distans - verktyg Frysa studentens skärm så den inte kan göra annat än testet och övervaka/monitor (stödja proctor)! Lock Down Browser och Monitor, www.respondus.com! Safe Exam Browser (SEB) http://www.safeexambrowser.org/about_overview_en.html! Netop, Secure Remote Control & Classroom management http://www.netop.com/ eller Netcontrol2 http://www.netcontrol2.com/! LanSchool, Monitor student software http://www.lanschool.com/ (även Lite free softeware licence)! SMART Sync classroom management http://smarttech.com/solutions/education+solutions/products+for+education/software/smart +Sync! DyKnow Monitor http://www.dyknow.com/educational-software-products/classroom-management/monitor/! Nueber UserMonitor http://www.neuber.com/usermonitor/! AB Tutor http://www.abtutor.com/
Jmf mellan olika system för Digital Tentamen Ett påbörjat arbete Empiriska studier (tester) även gjorda hos GU, på Island och många är ju även i drift sedan flera år HiG använder LMS Blackboard och har även använt Respondus för import
Rapport 2008:36 R från HSV: Rättssäker examination Datorbaserad tentamen Tidigare i rapporten (s. 74) har datorbaserad tentamen definierats som prov där frågorna görs tillgängliga för studenterna via Internet och studenterna redovisar sina svar via Internet eller via e-post. Det är uppenbart att denna examinationsform är beroende av att de tekniska förutsättningarna fungerar. I övrigt torde de rättssäkerhetsfrågor som kan uppkomma vara desamma som för examinationsformer som inte är datorbaserade. Myndigheten för Sveriges nätuniversitet publicerade 2005 en rapport där rättssäkerheten vid nätburen examination diskuterades (rapport Nätburen examination, 2005 nr 5). En av slutsatserna i rapporten var att rättssäkerheten vid nätburen examination inte skiljer sig från examination på campus. (sid 89)
Rapporter och webbenkäter liten översikt! Rapport 2013 från DU - Målanpassad och säker examination! Resultat från webbenkät, Nitus Teknikgrupp 2011 Framtidens tentor! Enkät: Från UU till ITHU-lärosäten - Webbenkät om tentasystem (hur genomförs duggor/prov/onlinetentor)! Rapport från Nätuniversitetet 2005: Nätburen examination! Rapport 2008:36 R från HSV: Rättssäker examination Andra omarbetade upplagan! Rapport från Linneuniversitetet Dnr: FAK 2011/632: Med kvalitet i fokus en rättsäker examination. En vägledning till dig som examinator på grundnivå och avancerad nivå
Onlinetenta problematik Att autenticering sker att vi som myndighetsutövare av examination vet att student är den uppger sig vara vid examinationstillfället. Att studenten har en låst datorskärm och inte kan surfa runt på webben eller kommunicera t ex med mobiltelefon eller chatt på den dator där onlinetentan skall utföras. Det är bara onlinetentan med frågor som skall synas/användas. Att tentavärd (proctor/övervakning) sker på ett lämpligt sätt - så studenten inte kan fuska, med information ifrån fusklappar et cetera.
Onlinetenta problematik! Att lokalerna är lämpliga för onlinetenta, utformning/bordsplacering och att eventuell störutrustning för mobil kommunikation kan ske.! Lokaler som är certifierade för onlinetenta med rätt utrustning.! Framförallt tänker vi IKT-pedagoger oss mer Aktiva lärosalar än tentasalar som är digitaliserade. D v s högsta möjliga säkerhet, att WiFi fungerar att studenterna kommer åt stödmaterial de får har med sig för att göra onlinetentan, e-böcker et cetera. Anpassning för funktionsnedsatta, hörslinga, lärverktyg.
Tenta med ljud alternativ och verktyg För den som behöver stöd för ljudrepresentation vid examinationsprocessen eller tentamentillfället finns flera alternativ. Skillnaden är mellan att få stöd med verktyg som har koppling till t ex Internet (online) mot att bara få stöd med verktyg som används helt offline det är en säkerhetsfråga som måste hanteras från fall till fall vid examinationstillfället. Flera av verktygen ovan är även bra för läraren (inte bara studenten), för att förmedla/ distribuera och förstärka sitt budskap och sin information instruktioner, läsanvisningar, frågor, ge feedback etc. Inte bara till studenter som har funktionsnedsättning typ dyslexi. Om studenterna får information och budskapet förstärkt med flera olika representationstyper så minskar sannolikheten för missförstånd, och budskapet tydliggörs därmed (jmf lärstilar eller ta till sig audivisuell information etc).
Onlinetenta problematik Att rutiner finns när tekniska eller handhavande-fel sker kring hantering av onlinetentan på dator eller programvaran i lärplattformen. Att internutbildning sker av tentavärdar i hur onlinetenta skall gå till. Att beställningsrutiner för schemaläggning av lämplig lokal är anpassade för onlinetenta. Att information om beställd lokal och tillfället samt hur onlinetentan skall genomföras kommuniceras till IT-avdelning och Learning Center för IT-stöd.
Onlinetenta problematik. Studenter med funktionshinder skall ha likvärdig möjlighet utföra onlinetenta. Att det finns möjlighet till anonym digital/t tenta och testförfarande och till detta även anonymt examinationsförfarande med anonym (kollegial) bedömning. Vad som skall arkiveras och lagras måste tydligöras speciellt på myndigheter Ofta ingen standard typ IMS QTI 2.1 Kan testverktyg / lärplattformen leverera en Badge
Checklistor för skapa frågetyper! Behöver du snabba tips & råd hur du väljer frågetyper när du skapa ditt onlinetest eller quizfrågor, gå till Computor Assisted Assessment Centre.! 10 Golden Rules for Writing Multiple Choice Questions http://www.carnet.hr/referalni/obrazovni/en/spzit/theory/mcqwrite! 10 Rules for Writing Multiple Choice Questions http://theelearningcoach.com/elearning_design/rules-for-multiplechoice-questions/! Designing Multiple-choice Questions https://uwaterloo.ca/centre-for-teaching-excellence/teachingresources/teaching-tips/developing-assignments/assignment-design/ designing-multiple-choice-questions! Techniques for Writing Multiple-Choice Items that Demand Critical Thinking http://tep.uoregon.edu/resources/assessment/ multiplechoicequestions/sometechniques.html
Standards, e-portfolio och för validering/reell kompetens Standard för test IMS QTI 2.1 metadatastandard och interoperabilitet import och export av data/frågor/tester (IMS Question & Test Interoperability Specification)IMS Question Test and Interoperability (QTI) v2.1 Spezifikation http://www.imsglobal.org/question/ Standard för e-portfolio: IMS Portfolio Standards http://www.imsglobal.org/ep/ - innehållet och interoperabilitet) UNIQUE Learning Badges - diplom/prestations- och kompetenskvitto http://www.learningbadges.eu/ Meritförteckning med EuroPass på nätet och europeiskt färdighetspass. Mer innehåll men mer svårbedömd https://europass.cedefop.europa.eu/sv/home YouthPass https://www.youthpass.eu/en/youthpass/ (volontärarbete) WMPass: http://vmpass.eu/ (modell för erkännande av olika meriter)
TACK! Kontaktadresser: Mats Brenner Högskolan i Gävle Learning Center Högskolebiblioteket i Gävle mats.brenner@hig.se Tfn: 026-64 82 18, 070-350 02 33