Kursbokslut för BIMA37 HT2014 Bakgrund För första gången utfördes kursen med ett TBL 1 liknande curriculum och totalt genomförde 17 studenter kursen. Examinationens största del bestod av ett större arbete som producerades under kursen med syfte att skapa en egen unik patogen mikrob och motivera dess uppbyggnad, funktion och överlevnad i förhållande till immunförsvaret. Uppgiften skapades kontinuerligt under kursen med tre tillfällen för inlämning och feedback av både kamratgranskare och examinator. Andelen studenter som klarade en komplett godkänd uppgift vid första tillfället var 47 %. De som inte godkändes vid första tentamen fick en chans att lämna in en reviderad rapport den 12 februari. Vi gjorde en operativ utvärdering vid kursens ungefärliga mitt och en rapporterande utvärdering efter kursen avslutats. Båda var enligt modellen Course Experience Questionaire (CEQ) som till stor del mäter faktorer som är av betydelse för studenternas lärandeförutsättningar 2. KU- möte den 12 februari 2015 Deltagande vid mötet den 12 februari 13-15 var Magnus Hillman, Oonagh Shannon, Rolf Lood, Jonas Danielsen, Tillie Johansson (30 min i början), Kajsa Brohlin och Viktoria Henning. Operativ utvärdering Utvärderingen bestod av 19 frågor (Tabell 1) som delades ut i pappersformat samtidigt med ett Team Reflection and feedback underlag. Svarsfrekvensen var 14/17=82%. Frågorna rankades från (1 = Instämmer inte) till (5= instämmer helt). Ett score (medelvärde) beräknades utifrån 1= (- 100), 2= (- 50), 3=0, 4= 50 och 5= 100. - 100,0-80,0-60,0-40,0-20,0 0,0 20,0 40,0 60,0 80,0 100,0 1 3 5 7 9 11 13 15 17 19 Figur 1. Resultat av den operativa utvärderingen. Frågorna finns i appendix 1.
Resultaten av den operativa utvärderingen (Fig 1) visade på bra förutsättningar för lärande. Allt över 40 poäng räknades som mycket bra och markeras med grönt. De svar som hamnade mellan 0 och 40 i score (3-4 i ranking) markeras i gult och där finns det utrymme för förbättring. Allt under 0 markeras i rött och där krävs det en förbättring. Det som fick allra högst score under den operativa utvärderingen var gruppmöten och Readiness Assurance Tests (RATs), 89,3p (fråga 13 och 14) samt vikten av kritiskt tänkande 82.1p (fråga 7). Det som tillhörde de svagare aspekterna var tydligheten 39,3p (Fråga 5), lärarnas förståelse av problem 28,6p (fråga 9), bakterielaborationens nytta 25,0p (fråga 12) och att de låg i fas med sitt arbete 19,6 p (fråga 19). Arbetsbelastningen är INTE för bör ligga runt 0 eftersom den ska ju inte heller vara för låg så 16,1 poäng där får anses bra. Samtliga score för den operativa utvärderingen sammanfattas i tabell 1. Tabell 1. CEQ (19) score under den operativa utvärderingen HT2014. Score Besvarad fråga 71,4 Kursen har varit intressant och rolig så långt 57,1 Lärarna ger mig stöd i mitt lärande 67,9 Kursmålen diskuteras återkommande under kursen 71,4 Kursen utvecklar min förmåga till problemlösning 39,3 Det framgår tydligt vad som förväntas av mig 46,4 Kursen bygger på tidigare kunskaper 82,1 Vikten av kritiskt tänkande tränas och poängteras 75,0 undervisningen motiverar mig att göra mitt bästa 28,6 Lärarna verkar förstå de problem jag har med kursen 16,1 Arbetsbelastningen är INTE för hög så långt 60,7 Jag känner att jag får återkoppling på det jag gör 25,0 Bakterielaborationen första veckan var nyttig 89,3 Gruppmötena har fungerat bra så långt 89,3 RATs har varit värdefulla för mitt lärande 60,7 Kamratgranskningen har varit lärorik så långt 64,3 Jag har själv ansträngt mig för att lära mig 71,4 Förståelse prioriteras framför utantillärande 78,6 Föreläsningarna är värdefulla för mitt lärande 19,6 Jag upplever att jag ligger i fas med mitt arbete Förändringar efter den operativa utvärderingen Majoriteten av studenterna ville ha fler föreläsningar än vad som gavs och en föreläsning till per vecka lades in. Då gällde samtidigt att nivån på RATs också blev något högre. Även återkopplingskraven på examinatorer stärktes och alla examinatorer strävade efter att återkoppla på examensarbetet till samtliga studenter inom tre dagar efter inlämning.
Rapporterande utvärdering Svarsfrekvensen på den rapporterande utvärderingen var 76,5% (13/17) och det fick gå ut fyra påminnelser från Survey and report samt två manuella påminnelser från kursledningen för att få ihop svarsfrekvensen. Den rapporterande utvärderingen bestod av 32 frågor (CEQ32) som rankades från 1 = instämmer inte alls till 6 = instämmer helt. Ett score (medelvärde) beräknades utifrån 1 = (- 100), 2 = (- 67), 3 = (- 33), 4 = 33, 5 = 67 och 6 = 100 poäng. Översikt av utvärderingen visas i figur 2. - 100-80 - 60-40 - 20 0 20 40 60 80 100 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 Figur 2. Översikt av den rapporterande utvärderingen. Gröna staplar innebär ett score över 40, gula mellan 0-40 och röda under 0. CEQ32, rapporterande. Fråga 1. Kursen byggde vidare på mina tidigare kunskaper. Score 36 Bedömning: Samma upplevelse som tidigare år. Vanliga kommentarer är att man saknar kunskap om immunologi och mikrobiologi sedan tidigare men man glömmer bort att man hanterar och bygger vidare på cellbiologi och biokemi. I arbetena syns tydligt denna påbyggnad då många studenter diskuterar interaktioner med extracellulärmatrix, transkription- och translationsmekanismer som inte diskuterats i kursen. Utan T1 kunskaperna hade det varit otroligt svårt att genomföra kursen så vi anser att dettaceq score egentligen är i underkant. Åtgärd: Vi kan tydligare poängtera i kursen att kunskaperna kopplas till tidigare kunskaper i cellbiologi. Det är dock tveksamt och en sådan insats skulle göra något för lärandet i sig. De har tidigare kunskaper i biomedicin i vilket fall och är ett absolut krav för att klara kursen.
Fråga 2. Kursmålen diskuterades återkommande under kursen. Score 77 Bedömning: Kursmålen har verkligen poängterats och det upplevdes också positivt att de var tvungna att motivera dessa i examensarbetet. Fråga 3. Kursen var upplagd så att arbetet gav stöd för att uppnå kursmålen. Score 54 Bedömning: Generellt har man saknat föreläsningar. Studenterna är inte alls vana av TBL curriculum och man faller gärna tillbaka på föreläsningar som en viktig del av lärandet. Efter den operativa utvärderingen införde vi fler föreläsningar. Huruvida detta gav upphov till ökat lärande eller ej kan inte fastställas ur det underlag vi har. Resultaten på RATs gick ner men detta var sannolikt på grund av att testerna blev svårare. Det är dock viktigt att föreläsningar inte svarar direkt på RAT innehåll. Åtgärd: Fler föreläsningar är inplanerade till nästa kurs. Fråga 4. Kraven som ställdes på mig under kursen var tydliga och anknöt till kursplanen. Score 62 Bedömning: Examinatorer i kursen har upplevts som ojämna. Därav verkar kraven ha uppfattats olika i olika grupper. Man verkar också haft svårt att få in det sista målet (kritiskt granskning av massmedia) i examensarbetet. Vi har också ett seminarium sista veckan som tränar och poängterar detta kursmål. Detta seminarium verkar inte ha uppfattats som bidragande till att kursmålet uppnåtts. Man har fokuserat allt på uppgiften i arbetet vilket väl har korrelerat innehållsmässigt med vad som tränades under seminariet. Åtgärd: Styrgruppen för kursen måste hitta ett sätt att för examinatorerna närmare varandra i rättning av arbetet. Det var första gången tentamen utfördes på detta sätt och kommer att utvärderas under våren. Feedback på arbetet bör vara muntligt också, och kamratgranskare såväl som examinator deltar i mötet. Bedömningskriterierna måste bli tydligare med avseende på hur man uppnår kursmålen utan att redogöra för varje enskild detalj och i stället koppla detta till den egna mikroben. Fråga 5. Examinationen var fokuserad på att kontrollera att kursmålen uppnåtts. Score 64 Bedömning: Kursmålen som finns idag är en rest från tidigare kurs och kommer att arbetas om under våren. Bland annat kommer virusmålet att plockas bort från de som startar programmet under HT2015 och virus ska behandlas i en egen kurs. Även överkänslighetsreaktioner och toleransutveckling kommer att lyftas ur och flödet i kursen kommer att matcha kursmålen mycket bättre i den nya kursen. Någon har önskat
att antalet ord i examensarbetet (som nu har en maxgräns på 7000 ord) kunde utökas. Detta kommer sannolikt inte att innebära att målen uppnås bättre. Åtgärd: Den muntliga presentationen kommer att ligga innan jul vilket innebär att hela mikroben måste vara färdig- designad innan uppehållet. Det innebär att det finns möjlighet att ta till sig idéer från den presentationen och man får konstruktiv kritik på hela sin mikrob. Därefter kan de jobba in värdera och kritiskt granska samt reflektion av kursmålen i arbetet. Den muntliga presentationen kommer dessutom att ses som ett delmål snarare än formativ examination. Fråga 6. Jag upplever att jag uppnått kursmålen. Score 62 Bedömning. De som jobbade med en bakterie kände att de inte uppnått virusmålet och tvärtom. Dock hade vi RATs löpande under kursen som visade att de hade god förmåga att diskutera både virus och bakterier på en nivå som är klart godkänd för kursens "redogöra" mål. De som dessutom skrev sina respektive arbeten hade nått nivåer klart över vad kursen kräver och därav är tolkningen av vissa studenter att man inte uppnått samtliga mål på samma nivå. Men de som godkändes hade definitivt uppnått de förväntade lärandemålen för kursen upplever vi. Åtgärd: Med omskrivna kursmål kommer detta att lösa sig självt. Fråga 7. Lärarna gav mig stöd för mitt lärande under kursen. Score 39 Bedömning: Verkar som att variationen mellan examinatorerna har bidragit till olikheter i hur man upplevt stöd. Åtgärd: Utvärdering av examinationen och diskussion av instruktioner för bedömning kommer att medföra att examinatorer hittar närmare varandra. Fråga 8. Det fanns möjligheter att träna de praktiska färdigheter som fanns angivna i kursmålen. Score 0 Bedömning. Praktiska färdigheter för studenter innebär laborativt arbete. Men praktiska färdigheter för en biomedicinare är så mycket mer. Man har skapat sitt arbete (skrivande och syntes av information ur artiklar) parallellt med att kursen gått, man har fått referenshantera och kamratgranska löpande under kursen. Dessutom har man varit tvunget att samt värdera sina källor i den skrivna uppgiften. Man har alltså tränat mycket praktiska färdigheter utan att reflekterat över det vilket i allra högsta grad också ökat det professionella förhållningssättet. Fråga 9. Kursen utvecklade mitt professionella förhållningssätt Score 49
Bedömning: Någon har uppfattat det som positivt att man fick läsa artiklar och kamratgranska vilket såklart är en viktig del i den professionella utvecklingen. Dessutom är det hela det ovanstående argumentet (fråga 8) samt det faktum att man jobbat effektivt i grupp och argumenterat för sina alternativ under RAT som verkligen har utvecklat deras professionella förhållningssätt. Fråga 10. Kursen utvecklade min förmåga till kritiskt tänkande Score 64 Bedömning. Någon har beskrivit det som bra att man var tvungen att faktiskt läsa artiklarna samt värdera och motivera dem i sitt arbete. Kamratgranskningen har också uppfattats som bidragande. Vet inte i vilken utsträckning seminariet i kritiskt granskning har bidragit men de flesta har åtminstone uppmärksammat att det är en viktig del av den professionella rollen som biomedicinare. Fråga 11. Jag har blivit bättre på att ta ansvar för min kunskapsutveckling Score 56 Bedömning: Eftersom det ligger helt på studentens ansvar att tillämpa kunskaperna på sitt arbete och uppnå rätt färdigheter inför RAT så är det förvånande att score "endast" är 56p. Samtidigt som studenterna också tycker att fler föreläsningar ska in i kursen måste de tyckt att det ligger mycket ansvar på dem själva att utveckla kunskapen och att de gärna lämnar över lite mer åt kursens lärare (att ge dem kunskap) ;- ) Fråga 12. Jag bidrog konstruktivt till arbete under kursen Score 62 Bedömning: Många upplever det som att man bidragit konstruktivt till arbete. Någon har påpekat att man åtminstone själv bidrog till konstruktiva kamratgranskningar och att man även drog i mycket av arbetet under TBL tillfällena. Som lärare tycker jag att majoriteten har varit aktiva under team RATs (trats) och argumenterat för sina åsikter de gånger jag lyssnat på dem. Man har mycket ansvar själv som student i en TBL grupp. Det är också tydligt under irat momenten vem som varit svag i gruppen och vem som varit stark enligt den Team reflection and feedback som gjordes. Fråga 13. Kursledningen har gett oss studenter möjligheten att komma med synpunkter och idéer om förbättring av kursen. Score 72 Bedömning: I kursen har man erbjudits en operativ utvärdering av kursinnehållet och fortsatt kursdeltagande. Studenterna önskade sig mer föreläsningar och det fick man.
Man har också erbjudits en rapporterande utvärdering vilket var otroligt svårt att få in svar på som beskrivits ovan. Fråga 14. Den fysiska arbetsmiljön under kursen var bra. Score 67 Bedömning: Under de flesta TBL tillfällena var undervisningen lokaliserad till HSC. Detta för att BMC inte har några bra lokaler som passar för just TBL i helklass. Fråga 15. Den psykosociala arbetsmiljön under kursen var bra. Score 41 Bedömning: Vet egentligen inte varför den ligger så lågt? Åsikterna är väldigt spridda i frågan och en kommenterade att TBL- gruppen var för liten. Fyra personer är för lite, det håller jag med om, de var fem från början men två personer hoppade av kursen. Fem till sex personer per grupp är bättre att satsa på. Det finns inga andra kommentarer som vi kan dra slutsatser från. Åtgärd: Beroende på klassens storlek får gruppindelningen övervägas noga. Fråga 16. Stämningen under kursen var god. Score 69 Bedömning: Det är inte stämningen som dragit ned den psykosociala miljön i alla fall. Tror inte heller det är stress då denna är bättre bedömt än någonsin i kursens historia. Fråga 17. De seminarier och workshops vi hade var till nytta för att uppnå kursmålen. Score 74 Bedömning. Fler hade önskats, trots detta var det ungefär hälften av studenterna som deltog i komplement- seminariet som var frivilligt. Om det hade varit hela klassens önskan att ha seminarier borde fler ha tagit chansen när de erbjöds. Sista seminariet var obligatoriskt och även en Workshop om EndNote som gjordes obligatorisk men ett antal studenter tyckte inte att de egentligen behövde detta. Alla undervisningsmoment kostar mycket pengar. Det är därför av stor vikt att alla studenter gör sitt bästa för att delta i de undervisningsmoment som erbjuds. Föreläsningar var ofta välbesökta men efterläsningar var det sällan ens hälften av studenterna som deltog i. Därför är jag mycket tveksam till att majoriteten av studenterna faktiskt vill ha mer undervisningstid. Åtgärd: Vi får utvärdera var vi vill lägga stora delar av budgeten, är det föreläsningar och seminarier eller är det examination? Jag tror feedback vid examination är det som genererar bäst djupinlärande strategier. Det är också formativ feedback som enligt pedagogisk forskning är det absolut viktigaste enskilda momentet för lärande 3.
Fråga 18. Fördelningen mellan föreläsningar, övningar/pbl och praktiska moment var bra. Score 51 Bedömning: Fler grundläggande föreläsningar önskas. Kanske bra tidigt i kursen då man inte än har hunnit påbörjat skrivandet. Någon vill ha laborationer i kursen. Åtgärd: Fler föreläsningar är planerade i början av kursen åtminstone till nästa år. Det är sista året som virologi ingår sedan lyfts det ur och även den grundläggande bakteriologin kommer att flyttas till tidigare kurser. Dessutom flyttas även överkänslighet och tolerans till masterkursen i immunologi när kursen blir 12,5 hp istället för nuvarande 13,5hp. Det måste finnas utrymme att skriva sitt arbete under veckan så schemat får inte bli fyllt med annat. Fråga 19. Kursen utvecklade min förmåga till problemlösning. Score 44 Bedömning. Även om inte fokus i kursen ligger på problemlösningsnivå så krävs det en hel del för att få ihop sin mikrob i slutänden så det är en viktig del av kursen. Fråga 20. Det framgick tydligt vad som väntades av mig. Score 56 Bedömning: Det fanns tydliga bedömningskriterier från första dagen på kursen och ett flertal återkopplingstillfällen. Det går inte att utläsa något ur kommentarerna men samma fråga låg på 39 i score under den operativa utvärderingen. Fråga 21. Undervisningen motiverade mig att göra mitt bästa. Score 59 Bedömning: Klimatet verkar ha varit bra, förstår då fortfarande inte varför psykosociala miljön blev så pass låg som den blev? Fråga 22. Lärarna verkade förstå de problem jag hade under kursen Score 22 Bedömning: Finns inga kommentarer i någon av utvärderingarna men det sammanfaller väl med den operativa utvärderingen som hade 26 i Score på samma fråga. Åtgärd: Det kan vara en känslig fråga och studentrepresentanter uppmanas att ta detta med programledningen.
Fråga 23. Arbetsbelastningen var INTE för hög. Score 16 Bedömning: Äntligen har vi hamnat på helt rätt nivå. Arbetsbelastningen har varit ett stort problem med de tidigare kurserna, en ny examination som inte stressar på i slutet kan vara en del av lösningen. Fråga 24. Jag känner att jag fick återkoppling på det jag gjorde under kursen. Score 59 Bedömning: De flesta har varit nöjda med återkopplingen vilket är bra. Ett tips i utvärderingen var "kan nog vara att ha ett muntligt återkopplingstillfälle med arbetet". Fullständigt lysande. Åtgärd: Feedback från examinatorer på arbetet kommer att ges muntligt och skriftligt. Detta för att lättare leverera återkopplingen på ett sätt som studenten har chans att tolka och ifrågasätta. Fråga 25. Gruppmötena fungerade bra Score 82 Bedömning: Utmärkt! Sammanfaller väl med den operativa utvärderingen. Fråga 26. RATs har varit värdefulla för mitt lärande Score 87 Bedöming: Utmärkt! Sammanfaller väl med den operativa utvärderingen. Har kommenterats som jättebra och roliga. Åtgärd: En del RAT frågor kommer att skrivas om men det är ingenting som kommer att ändra nivån eller lärandet. Fråga 27. Jag har själv ansträngt mig till det yttersta för att lära mig. Score 59 Bedömning: Ligger väl i linje med fråga 21 och den operativa utvärderingen. Inga andra kommentarer ifrån utvärderingarna. Fråga 28. Förståelse prioriteras framför utantillärande. Score 85 Bedömning: Otroligt bra score för en viktig lärande- egenskap. Också kul att studenterna sett detta :- ). Ligger också i linje med den operativa utvärderingen.
Fråga 29. Föreläsningarna var värdefulla för mitt lärande. Score 82 Bedömning: Föreläsningarna har absolut haft sin plats i kursen. Ligger i linje med den operativa utvärderingen och man önskar sig fler. Åtgärd: Föreläsningar får diskuteras i styrgruppen. En del flipped class room metoder kan ha sin plats här i framtiden och ersätta föreläsningarna vilket är en viktig del av klassisk TBL och är också tvunget ur budget perspektiv. Fråga 30. Att skriva och kamratgranska rapporter var värdefullt för mitt lärande. Score 67 Bedömning: Även om inte alla insåg vad man faktiskt lärde sig här så finns kommentarer som "Dock viktigt och extremt uppskattat och givande för framtiden". Någon har "rättat för mycket språkmässiga saker och inte fått så mycket mer kunskap kring kursen". Men detta är en viktig del av kursen, och faktiskt resten av livet så alla har inte förstått innebörden av detta. Det språkmässiga är också i vägen och tar för mycket plats i examinatorns jobb och det är ett absolut krav på denna nivå att man klarar hantera det språkmässiga. Åtgärd: Studieverkstaden ska få introducera studenterna till nästa termin. De som inte ligger i fas vid första inlämningen måste acceptera hjälp från studieverkstaden för att bli godkänd. Det kommer att ingå i alla framtida kursmål att arbetet ska vara skrivet på god akademisk nivå och att lämna in icke- språkgranskade arbeten för feedback ska leda direkt till underkännande. Fråga 31. Mikroskopiövningen på blodceller var viktig för mitt lärande. Score (- 38) Bedömning: Tråkigt, "hade vi denna?" Ähhhh, nej det hade vi faktiskt inte. Är en restprodukt från förra året. Däremot hade vi en mikrobiologilaboration och denna verkar inte har varit givande för studenterna. Ändå vill studenterna har fler laborationer? Går inte ihop alls. Åtgärd: Laborationen plockas bort. Fråga 32. Mitt examinationsprojekt var viktigt för min förståelse av mikrobiologi och immunologi. Score 76 Bedömning: Tycker att det har fungerat bra, någon student nämner att vissa delar av kursen hade man lärt sig mer på om man skrivit en skriftlig tenta i slutet eftersom man fokuserat på antingen en bakterie eller ett virus och man lärt sig lika mycket om båda vid en klassisk salstenta. Som kursansvarig är jag beredd att argumentera emot detta
påstående. Man hade säkert lärt sig på samma nivå (den uni- strukturella "redogöra för") för båda men istället har man kommit upp betydligt högre på multistrukturell nivå för den mikrob man skapat. Jag har sett de flesta studenter under TBL tillfällena ifrågasätta och argumentera för både virus och bakterier. Virusmålet är dessutom på väg ut så det kommer att lösa sig självt. Övrigt Efterarbetning av data som samlats in under kursen i form av RAT tester, Team Reflection and Feedback (TRF) samt antalet klarade examen vid första inlämningen har använts för utvärdering. TRF score Studenterna gjorde en anonym utvärdering av varandra inom grupperna. Man fördelade bland annat 25 poäng på gruppens individer och man skrev en kommentar om vad man tyckte var deltagare gjort bra samt vad man mer önskade av den deltagaren för framtida möten. De poäng som delades ut i grupperna för varje individ delades med gruppens medelvärde och på så sätt erhölls ett TRF score enligt nedanstående (1). TRF score = Individens poäng / gruppens medelpoäng. (1) Även om data var normalfördelat var det få datapunkter varvid icke- parametriska tester användes för analys. Vi undersökte korrelationen mellan medelvärdena på individernas RAT (irat) med individernas TRF score. Det fanns ingen signifikant korrelation mellan dessa parametrar (Fig 2) men efterhand som fler studenter går kursen kommer underlaget att växa och får utvärderas igen efterhand.
Figur 2. Medelvärdena på irat testerna illustreras på y- axeln och TRF score på X- axeln. Inget statistiskt säkerställt samband hittas i detta material bestående av 17 studenter. Vi undersökte även om det fanns samband mellan de studenter som lyckades klara godkänt vid första examen och deras irat respektive TRF score (Fig 3). Figur 3. Panel A visar en tendens till högre irat medelvärde hos de studenter som klarade godkänt nivå på sin första inlämning. Den är dock inte statistiskt säkerställd med Mann- Whitney U- test (p=0.07). Panel B visar högre TRF score på de studenter som klarade godkänt nivå på sin första inlämning (p=0.03). Då materialet är begränsat kommer det att bli intressant att fortsätta samla in data under kommande terminer.
Referenser 1. Michaelsen, L. K. & Sweet, M. Team- based learning. New Directions for Teaching and Learning 2011, 41 51 (2011). 2. Ramsden, P. A performance indicator of teaching quality in higher education: The Course Experience Questionnaire. Studies in Higher Education 16, 129 150 (2006). 3. Hattie, J. & Timperley, H. The Power of Feedback. Review of educational research 77, 81 112 (2007). Studentrepresentant Kursansvarig Vem det nu blir Magnus Hillman
1