Bedömningarnas olika ansikten

Transkript

1 Bedömningarnas olika ansikten Robert Lundqvist, Inst för matematik, Luleå tekniska universitet & Kent Löfgren, Inst för beteendevetenskapliga mätningar, Umeå universitet

2 Examination och bedömning olika syften Syften Examinationen som kontroll Examinationen som feed back, samt dess inlärnings- och medvetandeskapande funktion (Andersson, 1997) Proven är av mycket central betydelse för studenten. De styr VAD, HUR och NÄR studenten läser. (Trowald, 1997)

3 Några vanliga former Skriftliga tentamina Seminarier Rapporter, uppsatser, inlämningsuppgifter Duggor, ev som test med flervalsfrågor Än så länge mindre vanliga former Självbedömning Gruppbedömning Webbaserade uppgifter, datorstöd (för fler exempel, se ex Karran, 2005)

4 Webbaserade uppgifter några vanliga och möjliga typer Flervalsfrågor (val av ett eller flera alternativ) Matcha höger och vänster Utelämnad text Klickbara bilder Beräkningar Teknisk notation: matematik, kemi,...

5 Exempel Beteendevetenskapliga mätningar

6

7 Webbaserade uppgifter några fördelar Kan ge smidighet i tid och rum Automatisk rättning möjlig Repetition och variation möjlig Snabb återkoppling även i stora studentgrupper Kan användas för att skapa en jämnare kunskapsnivå inför kommande kursmoment Kan bidra till att bygga en omgivning mindre präglad av rädsla och stress Kan ge en tydlig, tvingande och samtidigt flexibel struktur

8 Webbaserade uppgifter några nackdelar Krävande att konstruera Alla typer av frågor är givetvis inte möjliga att ställa Nya uppgifter: administration av användare, omrättning,... Lägre grad av "säkerhet": inte lika tydligt vem som besvarar uppgifterna

9 Exempel från statistikkurser vid LTU Byggdes tidigare i WebCT, nu i MapleTA kräver inga programmeringsfärdigheter Inläsningsstöd snarare än examination Flera frågebatterier löpande i kursen, vart och ett tillgängligt under en eller ett par veckor Flera försök, bästa räknas Stort mått av variation mellan frågor och inom frågor: frågor ur pool och varierande invärden i beräkningsuppgifter

10 Positiva erfarenheter Uppskattas i regel av studenterna Studenter samarbetar ofta inget problem, för med variation blir inga uppgiftsomgångar lika, kopierande av korrekta svar blir svårt eller omöjligt Har gjort studenterna aktivare under kursen Har gjort studenterna bättre förberedda inför skriftlig tentamen vid kursslut

11 Mindre positiva erfarenheter Uppfattas av vissa som det som definierar kursen, kan uppfattas som genväg Vissa blir stressade av att inte kunna svara rätt direkt Hantering av användare och undantag kräver ofta mer tid än många tror

12 Skäl att inte använda webbuppgifter för summativ bedömning Inte lika säkert att det är en given student som besvarar uppgifterna som i en vanlig tentamen Låg upplösning på studenters svar: flervalsfrågor, beräkningsuppgifter behöver inte vara lätta men nyanser är svåra att fånga Återanvändning blir svårare, och nykonstruktion kostar Ineffektivt sätt att använda datorstöd varför ersätta fungerande former för bedömning istället för att göra sådant vi inte kan lösa med gängse och etablerade metoder?

13 Vad webbuppgifter kan ge beror på... hur frågor paketeras: ett eller flera försök, för betygsättning, stopptider, grad av variation,... Beror på vilket syftet är med uppgifterna. systemet: alla plattformar är inte lika bra. En del kan ha flera frågetyper, men är alltför begränsade när det gäller möjligheter att bygga in variation, styra i tid, samla resultat,

14 Allmänna råd systemet Det system som används bör ha tillräckligt många och bra frågetyper möjliggöra variation ha en samlad och lättanvänd databas med studentresultat möjliggöra import och export av studentdata Kan ges med den lärplattform som används eller med fristående program

15 Allmänna råd användning Lägg bort föreställningar om lappskrivningar : likheter finns, men fler skillnader Lägg betoning på inläsningsstöd snarare än examination Betona för alla berörda att det inte handlar om att ersätta undervisning, utan är ett komplement Läs på, konstruktion av uppgifter är inte trivial: se ex McKenna Bull (1999), Bull & McKenna (2003) Bygg in variation: frågor hämtas ur frågepool, låt invärden variera,... Gör uppgifterna obligatoriska Tänk igenom kopplingen mellan resultat på webbuppgifter och kursbetyg: bonuspoäng kan motivera, men också stimulera fusk

16 Några mer allmänna slutsatser Examination är så mycket mer än att bedöma och sätta betyg: struktur, motivation, återkoppling,... Studenter behöver tydliga strukturer Använd datorer (och annan infrastruktur ) till det som ger mervärde: webbuppgifter för summativ bedömning är inte ett sätt att använda datorer till det dessa är bra för. En summativ bedömning kan användas för formativa syften, men hoppas inte att omvändningen gäller Den automatiserade undervisningen är fortfarande en illusion

17 The desire to produce educational multi-media packages of ever greater sophistication is such that other, more problematic, elements of e- or on-line learning receive less attention by academics and courseware developers alike. One such problematic area is that of assessment... (Karran, 2005) Vår slutsats: krångla inte till det, utan försök hitta sätt att använda den infrastruktur vi har att tillgå till det som inte kan åstadkommas med andra metoder.

18 Referenser Andersson, L. et al. (1997), Examinationen i högskolan, Slutrapport från Högskoleverkets examinationsprojekt, Högskoleverket, 1997:39 R Bull, J. & McKenna, C (2003), Blueprint for Computer-assisted Assessment, RoutledgeFalmer Karran, T. (2005) On-line Assessment for E-Learning: Options and Opportunities, i ereflections Ten years of Educational Technology Studies at the University of Oulu, T. Latomaa, J. Pohjonen, J. Pulkkinen, and M. Ruotsalainen (red), sid , Oulu University Press McKenna, C. & Bull, J. (1999), Designing effective objective test questions: an introductory workshop, CAA Centre Trowald, N. (1997), Råd och idéer för examinationen inom högskolan, Högskoleverkets skriftserie 1997:14 R