KURSUTVÄRDERING KURS 10/ 2018 TANDLÄKARUTBILDNINGEN. Gunnel Svensäter (examinationsansvarig) Kursutvärderingen baserar sig på inkomna skriftliga svar (44 stycken) och på en muntlig utvärdering som 54 av 55 studenter deltog i. Det framkom vid såväl den skriftliga som den muntliga utvärderingen att studenterna är mycket tillfreds med innehåll och utformning av Kurs 10. Under denna kurs har många basgruppsfall handlat om omhändertagande av patienter med allvarliga medicinska tillstånd. En absolut majoritet av studenterna anser att kunskap och förståelse om dessa tillstånd är nödvändiga i sin framtida roll som tandläkare. De anser också att de har tillräckliga kunskaper för att ta sig an multi-sjuka patienter. Uppföljning av måluppfyllelse I tidigare kursutvärderingar har mer än en tredjedel av studenterna redovisat en bristande måluppfyllelse för följande kunskaps- och färdighetsmål. Beskriva hur talet uppkommer och hur talet kan påverkas av sjukliga förändringar. Beskriva hur facialnerven kan påverkas av sjukliga förändringar. Ge exempel på de vanligaste öronsjukdomarna Redogöra för aspekter på ekonomi och organisation som är av betydelse för tandvården såväl i ett nationellt som ett internationellt perspektiv Beskriva oral hälsa i olika kulturer och länder Beskriva samspelet mellan hälsoutvecklingen och populationsutvecklingen ur ett medicinskt, epidemiologiskt och samhällsvetenskapligt perspektiv Beskriva variationer i hälsobegrepp, hälsosyn och hälsouppfattning avseende oral hälsa i ett globalt perspektiv Beskriva begreppen vårdeffektivitet och vårdekonomi från ett tandvårdssammanhang Tillämpa administrativa rutiner för gällande tandvårdsstöd Kurs 10/2018 rapporterar också ovanstående brister i måluppfyllelse (se bilaga måluppfyllelse ). Dessutom tillkommer ytterligare fyra kunskapsmål där mer än en tredjedel av studenterna anser att de inte alls, i ringa eller enbart i någon mån uppfyller målen: Förklara vad tumörsjukdom i det orofaciala området kan betyda i tandvårdssituationen samt känna till tumörsjukdomens förekomst, uppkomst, förlopp och behandling Redovisa hur sjukdomstillstånd i käkhåla, spottkörtlar, svalg och näsa kan påverka munhålan och vice versa samt ge exempel på behandling av dessa förändringar Visa kunskap om hur man kan upptäcka ett neuropsykiatriskt handikapp (ADHD hos unga, demens hos gamla) som har den omfattningen att den kan riskera att påverka tandbehandling Redogöra för lagar och förordningar som reglerar tandläkares yrkesutövning Resultatet av den skriftliga examinationen för Kurs 9 pekar på att mer än hälften av studenterna inte uppfyller målet att Förklara hur sjukdomar och förändringar i tänder och omgivande vävnad kan förebyggas, diagnostiseras och behandlas hos patienter i olika åldrar och med olika behov. 1
Bristande kunskapsområden som har identifierats Utifrån resultaten av studenternas egen uppfattning om måluppfyllelse tillsammans med bedömning av studenternas prestation vid den skriftliga examinationen har mer än en tredjedel av studenterna på Kurs 9 bristande kunskaper om tumörsjukdomar i munnen och deras biologi, bristande förståelse för diagnostiska och prognostiska principer, dålig insikt om användning av antibiotika i tandvården samt svag kunskapsbas om munhälsa i ett globalt perspektiv. Studenternas värdering av olika lärandemiljöer Som framgår av tabellen nedan är det speciellt den kliniska tjänstgöringen (VFU) vid folktandvårdskliniker inom Region Skåne, AVT och ABUT som är lärorika och givande under Kurs 10. I vilken omfattning har en viss lärandemiljö bidragit till att uppnå lärandemålen? Lärandemiljö Andel studenter (%) med uppfattningen inte alls ringa grad något ganska hög grad hög grad Klinisk verksamhet (VFU) 2 2 7 22 67 Klinisk verksamhet (AVT) 2 2 11 33 51 Klinisk verksamhet (ABUT) 2 7 13 27 51 Föreläsningar 2 0 11 40 44 Seminarier 2 2 11 42 42 Masterarbete 2 16 22 27 31 Klinisk timme 9 13 36 20 22 Arbete med fallen i basgrupp 2 22 36 22 18 Den mest uppskattade lärandemiljön är som tidigare VFU. Den får mycket positiva omdömen vid den muntliga utvärderingen vilket av studenterna förklaras av bra introduktion, kunniga och intresserade handledare, god patienttillgång, blandning av barn- och vuxenpatienter med olika behandlingsbehov. Framförallt handlar VFU om att uppleva klinisk mognad, ökad självständighet och få ta beslut på egen hand vid omhändertagande av patienter. AVT är en uppskattad lärandemiljö med kunniga och närvarande kliniska handledare. Arrangemanget med handledare som har kompletterande kompetenser har gjort att det kliniska arbetet flyter på bättre än tidigare. Däremot ses det som ineffektivt och ett slöseri med tid att studenterna får arbeta tillsammans och assistera varandra under flera kliniska pass. Omhändertagande av patienter på ABUT fungerar utmärkt och ses som en god lärandemiljö med tydlig struktur och helhetssyn på patienten. Det stora missnöje som fanns bland tidigare kurser är nu helt borta. En märklig situation som studenterna ger uttryck för är den kontroll som finns på ABUT och 2
som inte existerar på VFU. -Det känns egendomligt att ena veckan på VFU få ta egna behandlingsbeslut och arbeta självständigt och nästa vecka vara helt under den kliniska lärarens kontroll. Klinisk timme på AVT används i betydligt mindre utsträckning än vad som anges i schemat och får som tidigare mycket skiftande omdömen. Kvaliteten varierar mycket och är helt beroende av den kliniska lärarens kompetens och intresse. Klinisk timme på ABUT är välplanerad och strukturerad vilket uppskattas av studenterna. Det är också anmärkningsvärt att mer än hälften av studenterna finner lärandemiljön inom ramen för masterarbeten undermålig. Studenterna har mycket olika erfarenheter, alltifrån missnöje till det bästa momentet under hela utbildningen. En majoritet upplever dock att det inom ramen för examensarbetet ges de bästa möjligheterna till vetenskaplig skolning och analys. Som för tidigare kurser bidrar arbetet i basgruppen under Kurs 10 i alltför låg grad till studenternas lärande. Basgruppsarbetet fungerar i någon enstaka grupp men är generellt dysfunktionellt. Vid den muntliga utvärderingen Kurs 10 framkom det att tutorer starkt bidrar till en högre kvalitet i basgruppsarbetet under tandläkarutbildningen generellt. I tabellen nedan presenteras hur andelen studenter (%) uppfattar betydelsen av tutorer i basgruppen. Formatet på den skriftliga examinationen Kurs 9 och 10 Det är framförallt nedanstående examensmål som ligger till grund för den skriftliga examinationen för Kurs 9 och 10. o visa kunskap om områdets vetenskapliga grund och insikt i aktuellt forskningsoch utvecklingsarbete samt kunskap om sambandet mellan vetenskap och beprövad erfarenhet och sambandets betydelse för yrkesutövningen o visa fördjupad kunskap om och förståelse för sambandet mellan patientens orala hälsotillstånd och hans eller hennes allmänna hälsotillstånd samt andra bakomliggande faktorer Formatet har varit detsamma de senaste åtta åren. Examinationsgruppen tar fram 5 kliniska scenarios med fyra tillhörande frågor (Qs) till varje scenario. Qs utformas i största möjligaste mån så att studenternas förståelse och kunskapsluckor kan 3
prövas. Varje svar bedöms med hjälp av SOLO-taxonomi utifrån huruvida svaren reflekterar en av följande tre nivåer. Grön Vit Röd Svaret visar förståelse och integrerar eller tillämpar fakta för att lösa ett problem. Detta tyder på att studenten har en betydande förmåga till måluppfyllelse. (Den högsta kunskapsnivån). Svaret beskriver korrekt och relevant fakta för att lösa ett problem men förståelse framgår inte. Svaret innehåller felaktigheter eller saknar den fakta som borde inkluderats för att lösa ett problem. (Den lägsta kunskapsnivån). Scenarios skall genomgående vara vanliga kliniska situationer, händelser och fenomen som en allmänpraktiserande tandläkare möter mer eller mindre dagligen. Utgångspunkten för examinationsgruppen är att alla studenter för tandläkarlegitimation skall ha god kunskap och förståelse om alla mekanismer och vetenskapliga evidence som faller inom ramen för ett kliniskt scenario. För att uppnå godkänt resultat på ett scenario krävs att minst ett svar uppnår grön nivå. Dessutom får inte mer än ett svar reflektera röd nivå. Vid examinationen på Kurs 10 ges studenterna möjlighet att på nytt besvara de scenarios som inte uppnådde godkänt resultat på Kurs 9. Dessutom tillkommer ett nytt kliniskt scenario som tar sin utgångspunkt i målen för Kurs 10. Illustrationen nedan sammanfattar arbetsgången för den skriftliga examinationsformen som använts de senaste sju åren för Kurs 9/10. Utvärdering av studenternas prestationer vid skriftlig examination Kurs 9 Resultat från Kohort 2014-2017 visade att den gemensamma prestationen inte var tillfredställande och många studenter uppfyllde inte examinationsmålen för tandläkare. I samband med utvärdering av Kohort 2018 har studenternas prestation utvärderats på nytt och jämförs med tidigare kohorter. Fördelningen av svar på samtliga Qs som reflekterar olika kunskapsnivåer framgår av figuren nedan. 4
Resultaten visar att 49% av alla svar i Kohort 2018 hade den kvalitet att de kan anses leva upp till den kunskapsnivå som anges i examensmålen (alltså grön bedömning som visar en förståelse). Motsvarande siffra var 74% för Kohort 2017, 46% för Kohort 2016, 38% för Kohort 2015 och 61% för Kohort 2014. Kohort 2018 visade alltså sammantaget en tämligen medioker prestationen. Vid närmare analys kunde den generellt dåliga kvaliteten på svar hänvisas till fyra studenter. Vid Kurs 9 examination 2018 blev 15% av studenterna underkända på tre eller flera scenarios (se tabell nedan). Detta resultat kan jämföras med 10% för Kohort 2014, 24% för Kohort 2015, 25% för Kohort 2016 och 22% för Kohort 2017. Examinationsgruppens bedömning var att det uppnådda resultatet för Kohort 2018 var acceptabelt förutom för tre studenter som enbart hade ett godkänt scenario. Studenterna fick specifik återkoppling på sitt resultat och råd hur de skulle preparera sig inför Kurs 10-examinationen. Utvärdering av studenternas prestationer vid skriftlig examination Kurs 10 Samtliga studenter uppnådde godkänt resultat vid den skriftliga examinationen för Kurs 10 vilket betyder att samtliga studenter besitter den kunskap som krävs för att de skall komma ifråga för tandläkarlegitimation. Det uppnådda resultatet för scenarios som bevarades på nytt framgår nedan. Andelen svar med den högsta kunskapsnivån blev 84% vilket är mer än acceptabelt. Målet är att varje individ skulle prestera minst 50% bättre för att uppfylla examensmålen och så har definitivt skett för Kohort 2018. 5
Kohort 2018 84% 13% 3% Kohort 2017 53% 35% 12% Kohort 2016 67% 27% 5% Kohort 2015 54% 33% 13% Kohort 2014 64% 32% 4% Studenternas utvärdering av den skriftliga examinationsformen Examinationsgruppen ser tre syften med examinationen: - Bedömande - att bedöma en students prestation och godkänna huruvida studenten har nått kursmålen så att studenten ska kunna gå vidare till en högre nivå. Vid examination för kurs 10 innebär det ett godkännande att studenten kan komma i fråga för tandläkarexamen. - Utvärderande - att de utbildningsansvariga via studenternas svar får en uppfattning om vad studenterna lärt sig under utbildningen - Lärande - att bidraga till studentens lärande Vid den skriftliga kursutvärderingen för Kurs 10 framkom det tydligt att studenterna upplevde den nuvarande examinationsformen som en god grund för att uppnå dessa syften. Mer än 82% av studenterna uppfattade examinationen som bedömande och 92% som lärande. Detta är mycket positiva omdömen om examinationen från studenterna och vittnar om en attitydförändring till lärandeprocesser. Nedan presenteras aktuella siffror. I vilken grad har examinationerna på kurs 9 och 10 nått syftet att vara bedömande? 0% 4% 11% 38% 44% Inte alls I ringa grad Något I ganska hög grad I hög grad I vilken grad har examinationerna på kurs 9 och 10 nått syftet att vara lärande? 2% 2% 4% 42% 49% Inte alls I ringa grad Något I ganska hög grad I hög grad I vilken grad har examinationerna på kurs 9 och 10 nått syftet att vara utvärderande? 0% 4% 13% 44% 38% Inte alls I ringa grad Något I ganska hög grad I hög grad Flertalet studenter anger också att de har tidigare erfarenhet av liknande bedömningar av prestation under utbildningen vilket delvis förklarar den positiva inställningen till SOLO-taxonomi som hjälpmedel för bedömning av djup kunskap och förståelse. Det framkom också vid den skriftliga utvärderingen att mer än hälften av studenterna anser det vara fullt tillräckligt med att andelen svar som tyder på betydande förmåga (grön markering) bör utgöra mer än 70% för att bli godkänd på hela examinationen. 6
Majoriteten av studenterna uppfattade att kunskapsnivåerna grön/vit/röd för bedömning av svar var relevanta. 2% 7% 22% 31% 38% Inte alls I ringa grad Något I ganska hög grad I hög grad För att förbättra och utveckla sina svar på underkända scenarios på Kurs 9 använde sig hälften av studenterna av litteraturstudier på egen hand och 37% av andra kurskamrater. Resurspersoner, basgrupper och klinikgrupper utnyttjades i stort sett inte alls. Detta speglar samma mönster som från tidigare kohorter. Varför inte resurspersoner används i större utsträckning är fortfarande ett dilemma. Majoriteten av studenterna arbetade på egen hand eller med hjälp av kurskamrater för att förbättra sin förståelse Basgruppen Kurskamrater Klinikgruppen Resurspersoner På egen hand 0% 56% 11% 0% 31% Identifiering av problem samt förslag till åtgärder Att som tandläkarstuderande arbeta som assistent på AVT uppfattas inte lärande och är ineffektivt. Förslag till åtgärd: Klinikansvarig för AVT ombeds ta fram en bättre modell eller ge studenterna ökat utrymme för studier på egen hand. Klinisk timme på AVT används i alltför liten utsträckning. Förslag till åtgärd: Kursansvarig tar upp problemet med klinikansvarig för AVT för att finna en lösning. Det kan också krävas av UN att policy för klinisk timme förankras bättre hos samtliga kliniska lärare och ges en högre prioritet. Om inte detta går att lösa förefaller det bättre att slopa dem helt och hållet eller omvandla kliniska timmar till kliniska seminarier. Därmed sparas överflödig utbildningsinsats. Examinationsgruppen har identifierat att studenterna på Kurs 9 har bristande kunskaper om tumörsjukdomar i munnen och deras biologi, bristande förståelse för diagnostiska och prognostiska principer, dålig insikt om användning av antibiotika i tandvården samt svag kunskapsbas om munhälsa i ett globalt perspektiv. Förslag: Kunskapsluckorna kan på enklast sätt åtgärdas genom att införa fler föreläsningar eller seminarier med flera lärare på plats under Kurs 9. Kunskapsområdet kan vara svårt att tillgodogöra sig på egen hand från Textbooks. Det finns också bra vetenskapliga artiklar på området som seminariet kan ta sin utgångspunkt från. 7