Kamratbedömning och kamratdiskussion vid examination av muntliga gruppresentationer: pålitlighet och effekter på studenternas lärande

Transkript

1 Kamratbedömning och kamratdiskussion vid examination av muntliga gruppresentationer: pålitlighet och effekter på studenternas lärande Jannasch, Patric; Nilsson, Ulf Published: Link to publication Citation for published version (APA): Jannasch, P., & Nilsson, U. (2009). Kamratbedömning och kamratdiskussion vid examination av muntliga gruppresentationer: pålitlighet och effekter på studenternas lärande. [Publisher information missing]. General rights Copyright and moral rights for the publications made accessible in the public portal are retained by the authors and/or other copyright owners and it is a condition of accessing publications that users recognise and abide by the legal requirements associated with these rights. Users may download and print one copy of any publication from the public portal for the purpose of private study or research. You may not further distribute the material or use it for any profit-making activity or commercial gain You may freely distribute the URL identifying the publication in the public portal? L UNDUNI VERS I TY PO Box L und

2 Kamratbedömning och kamratdiskussion vid examination av muntliga gruppresentationer: pålitlighet och effekter på studenternas lärande Patric Jannasch och Ulf J. Nilsson Kemiska Institutionen, Lunds tekniska högskola Sammanfattning Vi har under kursen Molekylär Cellbiologi för Ekosystemvetare vid LTH undersökt studenternas förmåga att bedöma muntliga projektredovisningar och jämfört den med lärarnas. Under kursen genomförde studenterna ett projekt där en muntlig gruppredovisning, med efterföljande kamratdiskussion och försvar, bedömdes och poängsattes av en opponerande studentgrupp och ett lärarlag. Vår undersökning visade att studenternas poängbedömning stämde väl överens med lärarlagets, både med avseende på medelvärde och spridning. Små skillnader visade sig i bedömningen av faktainnehåll och samarbete där lärarlaget gav ett något bättre omdöme, och i bedömning av försvar där studentgrupperna gav lite högre poäng. En undersökning av studenternas attityder och upplevelser i samband med kamratgranskningen visade att presenterande studenter upplevde sig rättvist bedömda, men att granskande studenter kände lite obehag och osäkerhet inför kamratgranskningen. Vidare upplevde både lärare och studenter att lärandet om både ämnet och lärandeprocessen gynnades av kamratgranskningen och kamratdiskussionerna. Sammanfattningsvis visade våra resultat att kamratgranskningen fungerade väl, men att studenterna behöver utbildning och tydlig information om bedömningskriterier och motiven för granskningsprocessen så att de kan känna sig trygga, framför allt i granskarrollen. 1. Inledning Det är ofta givande att aktivt dra nytta av studenterna i olika undervisningsmoment, t ex genom kamratdiskussioner. Studenter lär vanligtvis av sina kamrater på andra sätt än av sina lärare [Smith, 2009]. Eftersom studenter har olika lärstilar [Kolb, 1984], kan man främja lärandet genom att erbjuda fler situationer och möjligheter för lärande inom en kurs. Rätt utformade kamratdiskussioner och kamratgranskning kan aktivera och fördjupa studenternas lärande, öka och effektivisera återkoppling, leda till ökade insikter om lärandeprocessen hos - 1 -

3 både lärare och studenter [Race, 2001]. Det finns också en poäng i att diversifiera och variera examinationsformerna och att synliggöra bedömningsprocesserna vid universitet och högskolor. Studenter utvärderar och granskar egentligen redan sig själva och varandra naturligt, både när de undervisas och när de studerar tillsammans i t ex informella studiegrupper [Race, 2001]. När formell kamratgranskning införs i examinationen, kan man alltså dra nytta av det studenterna redan gör spontant. Oavsett syftet med att införa kamratgranskning - förbättringar av förståelsen av ämnet (kognitiva effekter), förbättringar av feedback eller förståelsen för lärandeprocessen (metakognitiva effekter), tidsbesparingar eller andra vinster är det viktigt att studenterna vinner förtroende för processen och accepterar den. Det är alltså viktigt att den är, och uppfattas som, relevant, korrekt, pålitlig, trovärdig och legitim [Race, 2001]. Framgångsrik kamratbedömning vid examination kräver att studenterna är tillräckligt väl insatta i ämnet och bedömningskriterierna, och att de uppfattar processen som legitim och rättvis [Topping, 2003]. Det finns en del undersökningar där man jämfört överensstämmelsen mellan kamratbedömningar och bedömningar gjorda av lärare eller andra experter för att bedöma pålitligheten och trovärdigheten. I en genomgång av gjorda studier rapporterar Topping att över 70% visade att överensstämmelsen var tillfredsställande, bara en minoritet av undersökningarna fann alltså att pålitligheten och trovärdigheten varierade. Magin & Helmore [2001] fann att pålitligheten vid summativ examination av muntliga presentationer kunde förbättras genom att kombinera lärarens poängsättning med medelvärdet på studenternas. Det rapporteras också tendenser att spridningen på studenternas poäng är liten [Topping, 2003]. Studenternas acceptans, eller tro på pålitligheten, för kamratgranskningar varierar från hög [Falchikov, 1995; Fry, 1990; Haaga, 1993] till låg [Rushton, 1993], ganska oberoende av den faktiska överensstämmelsen med lärarnas bedömningar. Pålitligheten tenderar att vara högre i kurser på avancerad nivå [Topping, 2003]. I sin översikt över självoch kamratgranskning konstaterar Topping att pålitligheten och precisionen hos lärarnas bedömningar överlag inte är speciellt hög. Pålitligheten vid kamratgranskning tenderar att vara åtminstone lika hög, och ofta högre. Han konstaterar vidare att pålitligheten vid kamratgranskningar tenderar att öka ju mer kunskap studenterna har i ämnet, ju mer bedömningskriterierna diskuterats, ju mer övergripande bedömningen är, och ju mer kamratgranskning övas och övervakas. På Lunds tekniska högskola har Anna Axelsson [2004, 2005] under en programmeringskurs för förstaårsstudenter undersökt deras färdigheter och pålitligheten när det gäller kamraträttning av diagnostiska prov. Resultaten visade att - 2 -

4 studenterna hade god förmåga att rätta programmeringsuppgifterna, och i 74% av fallen stämde deras bedömning överens med lärarens. Det var dock viktigt att studenterna kunde begära omsättning om de kände sig orättvist eller felaktigt bedömda. När det gäller kamratgranskning av muntliga presentationer fann Mitchell & Bakewell [1995] att kamratgranskning gav signifikant förbättrade resultat och färdigheter. Williams [1995] använde kamratbedömningar vid muntliga presentationer inom sjuksköterskeutbildning. Deltagarna kände att lärandeprocessen blev effektivare och att momentet var relevant i deras framtida yrke. Hughes & Large [1993] har studerat och jämfört kamratbedömningar och lärarbedömningar av muntliga presentationer gjorda av apotekarstudenter under deras sista år vid universitetet i Leeds. De fann en hög korrelation mellan lärarnas och studenternas poängbedömningar av den absoluta och relativa kvaliteten hos presentationerna. Lärarna och studenterna var överens om vilka individer som presterat bäst och sämst. Vidare kunde man konstatera att det inte fanns någon korrelation mellan poängen som en enskild student uppnådde och den poäng som han eller hon gav. Det fanns också en stor korrelation mellan poängen som enskilda studenter fick för sin presentation och resultatet på det slutliga skriftliga provet på kursen. 2. Syfte och mål Syftet med detta projekt var att undersöka studenternas förmåga att bedöma muntliga projektredovisningar och jämfört den med lärarnas. Muntliga presentationer, försvar och oppositioner ingår ofta som viktiga moment examinationsbedömningar, men är typiskt svårbedömda och svårvärderade. Frågorna vi ställde oss i detta projekt var: Hur väl kan studenter kamratbedöma muntlig presentation, diskussion och försvar? Hur utnyttjas studenternas kamratbedömning bäst? Hur upplever studenterna att bedöma sina kamrater och att bli bedömda av sina kamrater? Hur påverkas studenternas lärande av kamratbedömning och kamratdiskussion? Ett av huvudmålen var att ta fram kunskap för att effektivt kunna implementera moment i undervisning där kamratbedömningen kan användas som ett instrument i examinationen av projektkurser där en bedömning av muntlig slutredovisning, tillsammans med bedömningen av en slutrapport, ofta bildar underlag för examinationen. Genom att involvera studenterna i bedömningsprocessen är förhoppningen att kunna aktivera och fördjupa deras lärande, öka graden av återkoppling, och öka insikterna om lärandeprocessen. Det kan nämnas att det i en undersökning av Lund universitet nyligen framkommit att teknologer vid LTH överlag är - 3 -

5 kritiska till den nuvarande träningen av färdigheter som att t ex kunna argumentera och övertyga, kommunicera på engelska och att förklara för icke-specialister [Utvärderingsenheten vid Lunds universitet, 2008]. Inom detta projekt valde vi att studera bedömningen av muntliga projektpresentationer i kursen Molekylär Cellbiologi. Projektet genomfördes inom ramen för LTHs pedagogiska kurs Examination under våren Kort beskrivning av kursen Molekylär Cellbiologi (KMB050) Syftet med kursen Molekylär Cellbiologi är att ge de enskilda studenterna en teoretisk och praktisk kunskap i kemiska ämnens reaktivitet och toxicitet samt cellens uppbyggnad och funktion med tonvikt på mikroorganismer (Bilaga 1). Kursen är obligatorisk för studenter på LTHs ekosystemvetarprogram och ges i årskurs 2 (W2). Kursen ligger på grundnivå (G1) och omfattar 15 hp. Examinationen baserar sig på en kursportfölj där det ingår tre laborationer (3p), en toxikologiövning (2p), ett projektarbete i grupp (9p), och en sluttentamen (40p), dvs maximalt 57 poäng. Betygsgränserna ligger på 20p 32p 40p för betygen Ett av kursmålen är att studenterna skall kunna presentera en kritisk redogörelse baserad på vetenskapliga artiklar samt kunna evaluera andra studenters prestationer. Under kursen genomförde således studenterna ett litteraturprojektarbete kring ett ämnesområde. Detta projektarbete presenterades muntligt varefter en opponentgrupp kritiserade och bedömde, vilket var föremål för denna undersökning. 4. Projektets genomförande En vecka innan gruppredovisningarna informerades studenterna om att kamratbedömningen skulle undersökas och individuella och studentgruppers poängsättningar skulle samlas in för statistisk behandling. Studenterna informerades även om syftet med kamratbedömning och om de fyra aspekter som skulle ligga som huvudsaklig grund för bedömningen; fakta, presentation, samarbete och försvar. Studenterna delades vid tillfället för den muntliga gruppredovisningen (och denna undersökning) in i 15 grupper med 4 studenter. Fem gruppredovisningar genomfördes per dag och hela redovisningstillfället tog således tre dagar i anspråk. Projektet avslutades med en muntlig gruppredovisning där efterföljande kamratdiskussion och försvar bedömdes och poängsattes av en opponerande studentgrupp och ett lärarlag. Varje grupp fick redovisa sitt projekt muntligen under 20 minuter, varefter en annan studentgrupp fick opponera under 10 minuter. Den muntliga presentationen bedömdes sedan efter fyra likvärda kriterier: fakta, - 4 -

6 presentation, samarbete och försvar. Första bedömningen gjordes av opponerande studenter och tre lärare som individer, vilka skrev ner sina fyra poäng relaterade till de fyra kriterierna, samt ett förslag till sammanvägd poäng (Bilaga 2). Poängen samlades in och gav således vår undersökning underlag på individnivå (Figur 1). Figur 1. Schematisk representation av genomförande av projektpresentation, kamratopponering, kamratbedömning och insamlande av bedömningsdata som grund till denna undersökning. Opponentgruppen och lärargruppen diskuterade omedelbart efter opponeringen separat fram vars en sammanvägd poäng (3-9). Därefter möttes opponent- och lärargruppen och diskuterade fram en slutlig poäng. Opponentgruppens studenter meddelade sedan muntligen den framdiskuterade slutpoängen, och den bakomliggande motivationen, för den redovisande gruppen. Slutpoängen ingick slutligen i examinationsportföljen enligt ovan

7 5. Resultat och diskussion 5.1 Undersökningen Studenters poängsättning var slående lik lärarnas (Figur 2). Endast för två bedömningskriterier, fakta tre gånger och presentation en gång, var skillnaden mellan studenter och lärares poäng två eller större. En svag trend var att lärare gav något högre poäng än studenter var för bedömningskriterierna fakta och samarbete, medan studenter gav något lite högre poäng för försvar. Korrelationen mellan lärares och studenters bedömningar var således mycket god (Figur 3a). Däremot fanns ingen korrelation mellan den sammanlagda poäng en studentgrupp givit som opponerande grupp och den poäng de erhållit för sin presentation, vilket kan tolkas som att studenterna i sin bedömningsroll inte påverkas av vilken poäng de själva erhållit och vice versa (Figur 3b). a) b) c) d) e) Figur 2. Lärares minus studenters poängmedelvärde för varje bedömningskriterium för de 15 studentgrupperna. a) Fakta. b) Presentation. c) Samarbete. d) Försvar. e) Totalpoäng. I stapeldiagrammen är differenserna ordnade efter storlek

8 a) b) Figur 3. a) Korrelation mellan lärargrupps och studentgrupps totalpoäng. b) Avsaknad av korrelation mellan totalpoäng som studentgrupp erhöll och den totalpoäng de gav som opponenter. 5.2 Attitydundersökningen Attitydundersökningen genomfördes i form av en enkätundersökning som genomfördes vid tentamenstillfället sju dagar efter kamratgranskningen. Syftet var att studera hur studenterna uppfattade at bli granskade och granska sina kamrater, hur samspelet mellan lärare och studenter fungerade och hur lärandet påverkades. I undersökningen ingick sex frågor med graderade svar och fem fritextfrågor (Bilaga 3). Enkäten visade att studenterna överlag var positiva till kamratgranskningen. Resultatet av de förstnämnda frågorna visas i Figur 4. Fråga 5 fick högst medelpoäng (4,0) vilket visade att studenterna hade förtroende för att de fick en rättvis bedömning. Fråga 3 fick lägst medelpoäng, vilket indikerade att studenterna inte var helt positiva när det gällde att bedöma sina kamrater

9 Figur 4. Resultaten av enkätfrågorna med graderade svar (1 poäng = negativt/nej, 5 poäng = positivt/ja). Frågorna anges nedan med medelpoängen inom parantes: 1. Hur upplevde du att bli bedömd av dina kamrater? (3.8) 2. Hur upplevde du din roll som opponent? (3.8) 3. Hur upplevde du rollen att bedöma och betygsätta dina kamrater? (3.2) 4. Kände du att det togs hänsyn till dina åsikter som opponent när den slutliga poängen sattes? (3.6) 5. Kände du att du blev korrekt bedömd och att du fick en rättvis poäng? (4.0) 6. Förbättrades ditt lärande av rollen som opponent och/eller av kamratgranskningen? (3.5) Nedan följer de fem fritextfrågorna (7-11) med korta sammanfattningar av svaren. Några utvalda typiska studentkommentarer är återgivna för att exemplifiera studenternas svar. Studentkommentarerna är översatta från engelska och en fullständig lista med fritextsvaren på originalspråket ges i Bilaga Om du bedömer att ditt lärande gynnades av din roll som opponent och/eller genom kamratgranskningen hur då? De flesta studenter gav kommentarer som indikerar att de upplevde att lärandet gynnades av kamratbedömningen. Detta gäller lärande om ämnet och i viss mån om lärandet om lärande, sk. metalärande

10 Jag tror jag förstår hur min egen prestation kan förbättras genom att bedöma prestationen hos en annan grupp Du lär dig vara kritisk och tänka större när du konfronteras med ny information Du var tvungen att kunna mer än det du presenterade eftersom du tvingades vara beredd att besvara frågor. Man lärde sig också om andra ämnen 8. Vad uppfattade du i rollen som presenterande student som positivt/negativt med kamratgranskningen? Nästan alla studenter tyckte det var roligt, motiverande och lärorikt att presentera sina projekt inför sina kamrater. Jag tyckte det var positivt eftersom vi fick feedback från personer som inte redan visste all om ämnet Om man får chansen att vara opponent före presentationen, så får man en uppfattning om hur man kan förbättra sin egen presentation Viktigt att lära sig att ge konstruktiv kritik Några av studenterna uttryckte tvivel när det gällde deras kamraters förmåga att poängbedöma. Poängen kommer att variera beroende på hur snälla opponenterna är Jag tror att det är alltför vanligt att studenter inte kan bedöma kvaliteten hos de olika aspekterna av en presentation på ett korrekt och rättvist sätt 9. Vad uppfattade du i rollen som opponerande student som positivt/negativt med kamratgranskningen? Många studenter kände obehag och viss vilsenhet när det gällde att poängsätta sina kamrater: Svårt att veta vad man skulle bedöma och vad man inte skulle bedöma Det var definitivt negativt att behöva ge poäng till andra studenter när de väntade sig mer, men inte riktigt hade levt upp till sina egna förväntningar och vi var tvungna att poängsätta därefter Några studenter tyckte det var en givande övning att få opponera: Man kommer alltid att kritiseras när man arbetar bra övning - 9 -

11 Roligt att gå djupare in i ett ämne man var tvungen att lyssna noggrant och reflektera över informationen 10. Vad upplevde du som positivt/negativt med att poängsätta dina kamrater? Många studenter tyckte att det var besvärligt att poängbedöma sina kamrater pga. bland annat vänskapsband, risken att såra någon, och tvivel om vad som skulle bedömas: Poängen jag gav var baserade på en känsla om presentationen och jag var inte alltid säker på vad jag skulle titta efter. Vi blev dock lätt överens så kanske var detta allt som behövdes Poängsättningen kanske inte blir objektiv när man känt varandra i 1,5 år Det är väldigt svårt att argumentera om poängsättningen med personer som kan så mycket om bedömning Någon kunde bli sårad Vissa hyste också här tvivel om rättvisa: Kan resultera i en orättvis bedömning, vilket jag definitivt tror att det gjorde Några studenter tyckte det var en nyttig övning: Fick en bättre uppfattning om vad som är viktigt för att göra en bra och förståelig presentation Bra sätt att förstå hur man bedöms 11. Vad kan förbättras när det gäller kamratgranskningen i kursen Molekylär Cellbiologi? De flesta studenterna efterlyste här tidig och mer detaljerad information om bedömningskriterierna, vilket indikerar att de kände sig oerfarna och att de kände att de hade otillräcklig kunskap om bedömningen: Bättre och klarare instruktioner Klarare mål och tidigare klargörande om vad som skall bedömas under presentationen Svårt att veta vad lärarna förväntande sig Mer klara kriterier för bedömning, både för oppositionen och förberedelser inför presentationen Också här framkom tvivel om studenternas förmåga att göra en rättvis och riktig bedömning, och förslag på att bara lärarna skall poängsätta:

12 Min uppfattning är att studenterna tenderade att ge lägre poäng Det kanske skulle vara bättre om studenterna inte alls påverkade poängen och bara gav råd En student reagerade speciellt negativt på kamratbedömningen: En klart negativ aspekt är att denna procedur inte garanterar en rättvis och likvärdig bedömning av alla grupper. Alla möjliga saker påverkar poängsättningen, vilket inte hör hemma på ett universitet där bedömningen skall vara rättvis och neutral. Jag är extremt besviken på att ni som lärare bara tycktes acceptera poängen som gavs av oss studenter. Om vi hade gett en grupp 7 istället för 8, har jag ingen känsla alls för att ni hade motsatt er det. Detta betyder att ni har byggt in en orättvis och obalanserad del i mitt betyg, vilket jag inte ens är säker på är tillåtet. Lösningen är enkel lärare inte studenter skall ge poängen. Vidare ge poäng också till opponentgruppen för, ärligt talat, några brydde sig inte alls. Jag kan inte nog understryka hur besviken jag är att ni låter detta vara en del av en stor mycket intressant och bra kurs. (Underskrivet av student) 6. Diskussion och slutsatser Överlag fungerade kamratbedömningen bra och studenterna var, med några undantag, nöjda med processen och upplevde sig rättvist bedömda. Jämförelsen mellan lärarlagets och de opponerande studentgruppernas poängsättningar av de muntliga presentationerna visade att skillnaderna var mycket marginella, både med avseende på medelvärde och spridning. Små skillnader noterades i bedömningen av faktainnehåll och samarbete där lärarlaget gav en något bättre medelpoäng, och i bedömning av försvar där studentgrupperna gav en lite högre medelpoäng. [teorier om varför dessa skillnader uppkommer?] Korrelationen mellan lärarnas och studenternas slutpoäng var hög (korrelationskoefficienten, R=0.79). Den goda överensstämmelsen visar alltså på att kamratbedömningen inom Molekylär Cellbiologi var pålitlig och trovärdig. Resultaten stämmer alltså väl överens med de flesta av de undersökningar av kamratbedömningar som sammanställts av Topping [2003]. Studentenkäten visade att de flesta av studenterna uppskattade kamratgranskningen och förstod värdet av den. En central slutsats var att både lärare och studenter upplevde att lärandet om både ämnet och lärandeprocessen gynnades av kamratbedömningen och kamratdiskussionerna (Figur 5). Här finns det alltså goda möjligheter att motivera kamrat granskningen för studenterna. Kamratgranskningen torde fungera bra tillsammans med de andra examinationsmomenten i kursen sluttentamen och obligatoriska övningar och laborationer

13 Figur 5. Samspel mellan lärare och studenter och lärandeeffekter under muntlig presentation och kamratopponering. Som nämnts redan i inledningen är det viktigt att studenterna informeras och instrueras riktigt för att kamratbedömning skall fungera effektivt. I enkätundersökningen framkom att många studenter kände sig vilsna och osäkra inför kamratbedömningen, och efterfrågade mer information om bedömningsprocessen. Detta gällde framför allt studenter i deras roll som opponenter och bedömare. Det är kanske ett uttryck för att studenterna är vana att bli bedömda men inte att bedöma. I början av kursen gavs viss information, men det finns alltså anledning att ytterligare fördjupa presentationen och diskussionen om t ex syfte och bedömningskriterier. En strategi för att aktivera studenterna skulle kunna vara att från början låta dem vara med och diskutera och definiera kriterierna för bedömningen. På så sätt torde studenterna bli mer engagerade och kunna genomföra bedömningen med större trygghet och självförtroende. Dessutom skulle troligen bedömningskriterierna upplevas som mer legitima. Diskussionen om bedömningskriterierna kan dock ta tid från andra moment i kursen. I enkätundersökningen uttryckte ett fåtal studenter tvivel kring bedömningsprocessens trovärdighet och pålitlighet. Tvivlen hade sitt ursprung dels i studenternas brist på bedömningsförmåga, och dels i de relationer och kamratband som finns naturligt mellan studenterna. Det kan därför vara en god ide att presentera resultaten från tidigare undersökningar av överensstämmelsen mellan lärares och studenternas bedömningar

14 [Topping, 2003, Hughes & Large 1993], eller från den föreliggande undersökningen, och peka på den allmänt mycket goda korrelationen. Enligt vår undersökning finns ingen korrelation mellan den poäng som studentgrupperna erhöll och den på som de gav. 7. Referenser Axelsson, A., (2004), Delmål och kamratgranskning - erfarenheter från en grundkurs i programmering. 2:a Pedagogiska inspirationskonferensen, Lunds tekniska högskola. Axelsson, A. (2005) Kan man lita på kamratgranskning?, 3:e Pedagogiska inspirationskonferensen. Lunds tekniska högskola. Falchikov, N. (1995) Peer Feedback Marking Developing Peer Assessment. Innovations in Education and Training International, 32, Fry, S.A. (1990) Implementation and Evaluation of Peer Marking in Higher Education. Assessment and Evaluation in Higher Education, 15, Haaga, D. A. F. (1993) Peer Review of Term Papers in Graduate Psychology Courses. Teaching of Psychology, 20(1), Hughes, I. E. & Large B. J. (1993) Staff and Peer-Group Assessment of Oral Communication Skills. Studies in Higher Education, 18(3) Kolb, D. A. (1984). Experiential Learning: Experience as the source of learning and development. Englewood Cliffs, N. J.: Prentice-Hall. Magin, D. & Helmore, P. (2001) Peer and Teacher Assessments of Oral Presentation Skills: How Reliable are They? Studies in Higher Education, 26(3) Mitchel, V. W. & Bakewell, C. (1995) Learning Without Doing Enhancing Oral Presentation Skills Through Perr-Review. Management Learning, 26, Race, P. (2001) A Briefing on Self, Peer & Group Assessment. LTSN Generic Centre Assessment Series No. 9, LTSN, York. Rushton, C., Ramsey, P. & Rada, R. (1993) Peer Assessment in a Collaborative Hypermedia Environment A Case Study. Journal of Computer-Based Instruction, 20, Smith, M. K., Wood, W. B., Adams, W. K., Wieman, C., Knight, J. K., Guild, N., & Su, T. T. (2009) Why Peer Discussion Improves Student Performance on In-Class Concept Questions. Science, 323(5910), Topping, K. (2003), Self and Peer Assessment in School and University: Reliability, Validity and Utility. In Optimising New Modes of Assessment, Kluwer, The Netherlands, p Utvärderingsenheten vid Lunds universitet (2008) Studenters erfarenheter av grundutbildningen inom Lunds universitet. Rapport nr 2008:252, sid

15 Williams, J. (1995) Using Peer Assessment to Enhance Professional Capability. In M. Yorke (Ed.), Assessing Capability in Degree and Diploma Programmes. (1 st ed., Vol. 1, pp ). Liverpool: Centre for Higher Education Development, Liverpool John Moores University. Bilagor 1. Kursplan för Molekylär Cellbiologi (KMB050), 2008/ Opponentprotokoll från kamratgranskningen 3. Studentenkäten 4. Fullständiga fritextsvar från enkätundersökningen

16 Bilaga 1. Kursplan för Molekylär Cellbiologi (KMB050), 2008/2009 MOLEKYLÄR CELLBIOLOGI KMB050 Molecular Cell Biology Antal högskolepoäng: 15. Betygskala: TH. Nivå: G1 (Grundnivå). Undervisningsspråk: Kursen ges på engelska. Obligatorisk för: W2. Kursansvarig: Professor Peter Rådström, Docent Mats-Olle Månsson, Docent Ulf Nilsson, Teknisk mikrobiologi. Prestationsbedömning: Skriftlig examination och skriftliga rapporter. I prestationsbedömingen ges extra poäng till de studenter som genomför en muntlig presentation baserad på en litteraturstudie. Hemsida: Syfte: Kursen syftar till att ge de enskilda studenterna en teoretisk och praktisk kunskap i kemiska ämnens reaktivitet och toxicitet samt cellens uppbyggnad och funktion med tonvikt på mikroorganismer. Mål Kunskap och förståelse: För godkänd kurs skall studenten förstå mikrobiell genetik och fysiologi samt ha molekylär kunskap om proteiner, metabolism, energiomvandlingar och kemiska ämnens reaktivitet/toxicitet. Färdighet och förmåga: För godkänd kurs skall studenten erhålla praktiska färdigheter i hanterandet av mikroorganismer och enzymer via moment som illustrerar essentiella aspekter av kursen. Värderingsförmåga och förhållningssätt: För godkänd kurs skall studenten presentera en kritisk redogörelse baserad på vetenskapliga artiklar samt kunna evaluera andra studenters prestationer. Innehåll: Kursen introducerar studenterna till den fascinerande världen av levande celler med tonvikt på bakterier, deras genetik och fysiologi. Ämnet belyser enzymatisk katalys, cellens arvsmassa, cellulära transportmekanismer samt tekniker för att påvisa, kvantifiera, identifiera och odla olika typer av mikroorganismer. Dessutom behandlas cellens energiomsättning för att ge en djupare förståelse för de biogeokemiska kretsloppen. I samband med energimetabolismen belyses respiration och fotosyntesen. Laborationskursen belyser teoretiska avsnitt ur kursen som t.ex. kemiska strukturelement som är associerat med toxicitet, upprening och karakterisering av enzymer, samt hur mikroorganismer kan anpassa sig till nya miljöer via genetiskt utbyte. Mikroorganismers mångfald, funktion m.m. illustreras via moment där morfologi, fysiologi, tillväxt och antalsbestämningar studeras. Det genetiska materialets uttryck och reglering belyses med bakteriers fysiologiska anpassning och tillväxt under olika odlingsbetingelser. Celltoxiska och antimikrobiella ämnens inverkan studeras på såväl högre celler såsom bakterier. Litteratur:Prescott, L.M., Harley, J.P. and Klein, D.A., Microbiology, Seventh Edition, McGraw-Hill, ISBN Kompendium i biokemi. Föreläsningsmaterial. Laborationskompendium

17 Bilaga 2. Opponentprotokoll från kamratgranskningen Lärare Ja Nej Presenterande grupp # Faktainnehåll Försvar Presentationsteknik Samarbete Sammanvägd poäng

18 Bilaga 3. Studentenkäten Questionnaire peer assessment of project presentations Circle one number only! 1. How did you experience being assessed by your fellow students? Negatively Positively 2. How did you experience your role as an opponent? Negatively Positively 3. How did you experience the task of grading your fellow students? Negatively Positively 4. Did you feel that your view as an opponent was taken into consideration when the final point was decided? No, not at all Yes, definitely 5. Did you feel that you as a presenter were correctly assessed and given a fair grade? No, not at all Yes, definitely 6. Did your learning process benefit from your role as an opponent and/or from the peer assessment? No, not at all Yes, definitely 7. If yes, in what way?? 8. What did you as presenter experience as positive/negative with the peer assessment? 9. What did you as opponent experience as positive/negative with the peer assessment? 10. What did you experience as positive/negative when grading your fellow students? 11. What can be improved in the Molecular Cell Biology peer assessment process? 12. For which group were you the opponent? Which day were you the opponent?

19 Bilaga 4. Fullständiga fritextsvar från enkätundersökningen 7. Was your learning benefiting from your role as an opponent and/or from the peer assessment? In what way? You were forced to look into another area. Effort grade. To be able to ask questions you, need to know the subject. Had to be familiar with their topic to be able to oppose. I think that I understood how my own performance can be improved by judging the performance of another group. We learned a lot what the other groups were working with. It is always good to practise teamwork and to learn how to be an opponent. Don t know if we learnt very much microbiology. Really thinking over what was the purpose of the presentation how should it be limited and directed. You really had to dig into the subject you had chosen, and you always learn a lot about subjects linked in some way to your chosen subject. I understand other groups presentations. Feels like a good exercise for the future. I was forced to think of another subject too. You learn to be critical and think bigger when hearing new information. I think it was fun to be given the opportunity to examine a subject of interest it was often interesting to listen. You had to know more than you presented because you had to be prepared to answer questions. Learn also about other subjects. A good way to learn about the subject. Motivated me to concentrate on the subject even when I am not interested in it. 8. What did you as presenter experience as positive/negative with the peer assessment? At least someone was asking questions. The search for information. Little time for the projects. Fun and you learn a lot from each other. Good student feedback. Fun to have presentations, good response learned a lot during preparation. Not so many were listening. The grades will vary depending on how nice the opponents are. I found it positive since we got feedback from people who did not already know things about the topic. We got to see if our message got through. Good with an oral presentation and to work with what you like or have an interest in. Good to be able to collect point for the exam. Get a fair chance to ask the basis of the grade. If you get the chance to be an opponent before presenting, you will get an idea of how and in what ways your own presentation could be improved. Good to have the pressure that someone really paid attention. Need to be clear about everything in the presentation, try to think about their pre-knowledge. Good that you get feedback from your peers. I think it is too common that peers cannot evaluate the quality of the different aspects of a presentation in a correct and fair way. This is a difficult task that should be left to the teachers only. Good practice for the future. There was not so many people in the audiencemandatory next year. Fun practicing presentations. Students grading each other does not seem fair. Examples of what was needed for each grade. I think people already had an opinion about the people in the class they already have their mind set. At the end we are informed about what was wrong or not in the presentation so we can learn for the next one and improve. Always good to practice speaking in front of people. Difficult to know what was expected of you. Good when people ask questions. Very good that we chose groups and subjects by ourselves. God to perform in front of an audience and to go deeper in a subject. Important to learn how to give constructive criticism. It was motivating to do a good job and we really got paid off for our work. Positive to hear that the presentation was appreciated by students as well as teachers. Good shows that you know what you are talking about. It felt pretty rewarding when others noticed your efforts. A clearly negative aspect is that this procedure does not guarantee a fair and equal judgement of all groups. You have all sorts of thing affecting the points given, which does not belong at a university where judgement should be fair and neutral. I am extremely disappointed that you as teachers just seemed to accept the grades given by us students. Had we given a group 7 instead of an 8, I have no

20 feeling at all that you would have opposed it. This means that you build in an unfair and unbalanced part of my grade, which I am not sure even is allowed. The solution is simple teachers not students should give grades. Also give grades on the opponent group as well, because seriously, some did not care at all. I cannot stress this enough how disappointed I am that you let this be a part of an at large very interesting, great course. 9. What did you as opponent experience as positive/negative with the peer assessment? Easier to understand the subject. The responsibility to grade should not be on us. Hard to look into details. Most questions are answered after hearing the presentation. Learned about other subjects than your own. Try to evaluate another groups work fairly. To be able to analyse others can be useful. Good practice. Learnt how to think in different aspects. Good that it forced me to be an active listener and really think about the criteria. It is always hard to be objective when you assess your friends. Having opponents is good, the grading should be left to the teachers. Good experience and critical thinking. I wish that the teachers could have announced the grade to the group. It felt bizarre giving a bad grade to fellow students. Hard to come up with questions mostly because of lack of experience. It is not so easy to assess classmates. Difficult to know what to grade or what not to grade. The fact that we did not have anything to do with grading them was negative. God to learn essential questionings bad to criticize fellows. You will always be criticised when working good experience. It was hard to motivate the grade we gave I think it was bad that the students had to address the other students- especially if the given grade wasn t good. Fun to go deeper in a subject- you had to listen carefully and reflect on the information. Negative was definitely to give grades to the other students when they were expecting more but hadn t quite lived up to their own expectations and we had to grade accordingly. Difficult to grade people when inexperienced in grading and thereby don t know what to emphasise. 10. What did you experience as positive/negative with having the opportunity of suggesting points? You can give your friends high/good grades. We did not really know from the beginning what we should grade. It is a good idea in order to have similar opinions but the actual grading should not be up to us. Got a better clue about what is important to do a good and understandable presentation. The teachers also get information about whether the students understood the presentation or not. Difficult too grade peers! The points I gave were based upon a feeling about the presentation and I was not always sure of what to look for. We agreed easily however so maybe this was all that was needed. Point might not be objective when we have known each other for 1,5 years. Hard to judge your friends, a bit hard to know what the standard should be to require a certain grade. May result in unfair grading, as I definitely think it did. Hard to be objective, nice to be on the other side. Good way to understand how oneself is judged. Positive It was hard but you really looked at all presentations and tried to grade them. Hard for us students to suggest points. Since you don t know which point other groups have given, you don t have a reference and we came in a situation where we looked differently than the teacher. Difficult to judge your fellow students and friends. Opposing was good experience - grading unnecessary. Maybe it s good to be opponent if only the teacher set the points. Positive, but the teachers should have the final word. You can express your opinion about the presentation. Good to know the teachers reason. I would have felt uncomfortable to give low points. It is very hard to argue about the grades with people that know so much about grading. It felt like the teachers already decided about the points. God, but the teachers decide the points I believe, and was not democratic. Troublesome to have to judge your peers, but it felt that people listen to what you said. Another negative aspect was that there was little time to determine what level the presentation

21 should be awarded which point-only thing was to compare with other groups which we shouldn t do. Someone could be hurt. We were among the first to decide and had not much to compare with, in contrary to the teachers. The grading was rather unclear sometimes. I feel pretty responsible for my power to judge others. 11. What can be improved in the Molecular Cell Biology peer assessment process? Try to spread the presentations over more days. Allocate more time for it. My opinion is that the students were more prone to give low grades. Only teachers set grades. Some more information of how to grade. Clearer directions, maybe examples of what should be taken into consideration. Presentation techniques were given more credit than knowledge. Was that the purpose? More peers that assess maybe two or three groups. Abolish it. It is not a good system. Do not be afraid to give negative critic, otherwise we do not know what to improve. Perhaps not chose your own group I was in a group with people I usually don t hang out with and it was fun. Mandatory to listen to the presentations. Attending issue. More grading instructions. Better and clearer instructions. Difficult to know what the teachers where expecting. Some instructions about the grading would have been good now it was really confusing. The way to give grades should be more regulated. All good! Interesting course. More clear aims and clarify earlier what should be judged during presentation. It should be compulsory to be there and listen. All the short papers should be ed to everyone, so that everybody knows a little about what the group will talk about. Be clear about the fact that the facts in the presentation is a very small part. Clearer instructions from the beginning. Compulsory to listen to the presentations. More clear criteria for the grading, both for the opposition and the preparation of the presentation. Maybe it would be better if students didn t influence the points at all and only gave advice. The inflation of points can be seen over, generally people got too many points, including our own presentation. We can choose for our own opposing group or more people could be involved in the judging part