Sammanfattning av Pilotprojekt: kursvärdering av kurser på forskarutbildningsnivå

Transkript

1 Sammanfattning av Pilotprojekt: kursvärdering av kurser på forskarutbildningsnivå En rapport från Enheten för utvärdering, Karolinska Institutet Linda Sturesson och Per J. Palmgren Dnr 1-549/2015 Maj

2 Rapport 2016 Pilotprojekt: Utgiven av: Enheten för utvärdering, LIME, KI Författare: Linda Sturesson och Per J. Palmgren Enheten för utvärdering, Institutionen för lärande, informatik, managment och etik (LIME), Karolinska Institutet, Stockholm Widerströmska huset, Solnavägen/Tomtebodavägen För information: ki.se Karolinska Institutet är ett av världens ledande medicinska universitet med visionen att på ett avgörande sätt bidra till att förbättra människors hälsa. I Sverige står Karolinska Institutet för drygt 40 procent av den medicinska akademiska forskningen och har det största utbudet av medicinska utbildningar. Varje år utser Nobelförsamlingen vid Karolinska Institutet mottagare av Nobelpriset i fysiologi eller medicin. 2

3 Innehåll UPPDRAGET... 4 KURSER... 5 KURSVÄRDERINGSENKÄTEN... 5 HANTERINGSORDNING... 9 RESULTAT SLUTSATS OCH REKOMENDATIONER

4 UPPDRAGET Pilotprojektet genomfördes av Enheten för utvärdering under höstterminen 2015 på uppdrag av Styrelsen för forskarutbildning (FUS) på Karolinska Institutet (KI). Under pilotprojektet har Linda Sturesson från Enheten för utvärdering (EVAL) och främst Anna Gustafsson (Kurs- och programkommittén) haft kontinuerlig kontakt för att stämma av bland annat rutiner och praktiska frågor, vilka specificeras i denna processrapport. Därtill har vissa frågor även stämts av med Ingeborg van der Ploeg (central studierektor/koordinator, för forskarutbildning) och Kurs- och programkommittén. I slutfasen av pilotprojektet och huvudsakligen under analys och rapportskrivande har Per J. Palmgren (EVAL) också deltagit och haft kontinuerlig kontakt med Anna Gustafsson. Under piloten har processen för den nya kursvärderingsenkäten testats och de nya generella kursvärderingsfrågorna har analyserats. Rapporten är indelad i tre delar: först en redogörelse för kurserna som ingick i pilotprojektet samt en beskrivning av själva kurvärderingsenkäten, därefter presenteras resultaten från de kurserna som värderades, och avslutningsvis presenteras slutsats, förslag och rekommendationer för utveckling av kursvärderingsenkäten och hanteringsprocessen. 4

5 KURSER Pilotprojektet omfattade 18 kurser på forskarutbildningsnivå utvalda av FUS (tabell 1). När det gäller urvalet av kurser som skulle ingå så gjordes detta utifrån kursernas slutdatum (efter ). Initialt var 13 kurser inkluderade, ytterligare fem kurser lades sedan till. Tio institutioner var ansvariga för de 18 kurser som ingick i pilotprojektet och tre av kurserna gavs vid två tillfällen under projektperioden. Nio av de 18 kurserna var allmänvetenskapliga kurser eller s.k. stjärnkurser (1383, 1386, 1391, 1392, 2133, 2618 och 2787). Tabell 1. Kurser som deltog I pilottestningen av kursvärderingsenkäten Kurskod Institution Kursnamn Tidsperiod (HT 15) 2790 MMK How to conduct systematic reviews and meta-analyses 19/10-4/ LIME Philosophy of science and research ethics 2/11-6/ KIB Vetenskapligt skrivande och informationskompetens 26/10-6/ MTC Cellular and molecular infection biology 26/10-6/ KBH Present your research! 25/8-9/ KBH Present your research! 31/8-10/ NVS Integration of Neuroimaging and Cognition in Normal Aging and Dementia 9/11-13/ MTC Basic Laboratory Safety 9/11-16/ KBH Write your research results and get them published 16/11-27/ MedS Cytokines in inflammation 16/11-27/ CLINTEC Vetenskapsteori 6/10-1/ LIME Philosophy of science and research ethics 30/11-4/ KIB Writing science and information literacy 23/11-4/ MEB Causal Inference for Epidemiological Research 30/11-4/ LIME Basic Course in Medical Statistics 30/11-11/ KBH Write your research results and get them published 30/11-11/ IMM Biostatistics II: Logistic regression for epidemiologists 7/12-16/12 Teaching and Learning in Higher Education: educational 2856 LIME course for doctoral students - a distance course MMK: Institutionen för molekylär medicin och kirurgi; LIME: Institutionen för lärande, informatik, management och etik; KIB: Karolinska Institutet Universitetsbibliotek; MTC: Institutionen för mikrobiologi, tumör- och cellbiologi; KBH: Institutionen för kvinnors och barns hälsa; NVS: Institutionen för neurobiologi, vårdvetenskap och samhälle; MedS: Institutionen för medicin, Solna; CLINTECH: Institutionen för klinisk vetenskap, intervention och teknik; MEB: Institutionen för medicinsk epidemiologi och biostatistik och IMM: Institutet för miljömedicin 9/11-17/12 KURSVÄRDERINGSENKÄTEN Kursvärderingsenkäten består av tjugo frågor framtagna för att mäta och värdera konstruktet hur doktorander uppfattar kurser på forskarutbildningsnivå. I rapporten så 5

6 används begreppet fråga för att beteckna både påståenden och frågor i kursvärderingsenkäten, där nummer 1-16 är formulerade som påståenden och nummer är formulerade som frågor. Bakgrund Frågorna i kursvärderingsenkäten baserades på tidigare befintliga kursvärderingsfrågor som använts på forskarutbildningsnivå. FUS gav EVAL i uppdrag att se över och revidera frågorna samt att jämföra dem med kursvärderingsfrågorna som används för kurser på grundnivå och avancerad nivå. EVAL föreslog en reduktion av antalet frågor, samt en del omformuleringar och språkliga förändringar som sedan ytterligare justerades av FUS. Den tidigare sexgradiga svarsskalan byttes ut mot en femgradig svarsskala för att kursvärderingsenkäten på forskarutbildningsnivå skulle vara mer kongruent med den som används på för kurser på grundnivå och avancerad nivå. I tillägg till de obligatoriska frågorna hjälper EVAL också till med att utveckla kursspecifika frågor om sådant önskas av kursgivaren. Kursvärderingsenkätens frågor I tabell 2 nedan visas den nuvarande versionen av de obligatoriska frågorna som användes under pilotperioden och som fortfarande används under vårterminen Tabell 2. Kursvärderingsenkätens frågor och svarsalternativ Fråga a Formulering Svarsalternativ 1 The level of the course was adequately presented in the syllabus. 5-gradig b 2 The content of the course was adequately presented in the syllabus. 5-gradig b 3 I was highly motivated to learn the content of this course. 5-gradig b 4 The intended learning outcomes of the course were adequately explained. 5-gradig b 5 The course design facilitated achievement of the intended learning outcomes. 5-gradig b 6 The teachers facilitated achievement of the intended learning outcomes. 5-gradig b 7 I have received relevant feedback during the course. 5-gradig b 8 I have actively engaged in the course. 5-gradig b 9 I had sufficient prior knowledge to fully participate in the course. 5-gradig b 10 During the course, the teachers have been open to students ideas and opinions about the course. 5-gradig b 11 During the course, I have developed valuable expertise/skills. 5-gradig b 12 During the course, I have developed my ability to critically analyse and evaluate research findings. 5-gradig b,c 13 The examination adequately assessed the achievement of the intended learning outcomes. 5-gradig b 14 I have achieved all intended learning outcomes of the course. 5-gradig b 15 For me, the course was adequately challenging. 5-gradig b 16 This course has fulfilled my expectations of a high quality course. 5-gradig b 17 Were there any parts of the course that were excellent? If so, please specify which parts and in what way. Öppen d 18 Do you have any recommendations as to how the course could be further improved? Öppen d 19 Were there any parts of the course that need to be improved? If so, please specify which parts and how. Öppen d 20 Would you recommend this course to others enrolled in doctoral education (yes, no, not applicable). Trikotomiserad e a Fråga används i mer allmän betydelse och inkluderar både påstående och frågor. b 1 = to a very small, 2 = to a small, 3 = to some, 4 = to a large, 5 = to a very large c Svarsalternativ Not applicable också möjligt d Öppen fråga med fritextsvar e Tre möjliga svarsalternativ Yes, No och Not applicable 6

7 Publiceringsperiod Enkäten var tillgänglig för deltagarna från och med dagen efter kursavslut och två veckor framåt. Detta innebar att vissa enkäter skickades ut på en lördag. Svarsfrekvens Svarsfrekvensen för de 18 kurserna var mellan 52 % och 95 % med ett medelvärde på 69 % och fem av kurserna hade svarsfrekvenser på mindre än 60 % (figur 1). Fem av kurserna valde att lägga till kursspecifika frågor (tabell 3) och antalet varierade stort. Tabell 3. Antal utskick och svar bland respondenterna i kursvärderingsenkätens Kurskod Tillfälle Antal respondenter utskick Antal respondenter svar Kursspecifika frågor

8 Procent Kurskod Figur 1. Stapeldiagrammet visar svarsfrekvensen i de 18 kurserna som ingick i pilottestet av kursvärderingsenkäten Gällande de öppna frågorna (17-19) svarade i genomsnitt 51 % av respondenterna på fråga 17 (60 %), fråga 18 (46 %) och fråga 19 (47 %). Två av de tre kurserna som gavs vid två tillfällen (1386 och 2618) var utspridda under pilotperioden och svarsfrekvensen för dessa var högre vid det andra tillfället. För kurs 2618 var svarsfrekvens nästan 30 procentenheter högre vid det andra tillfället. Kurs 2787 gavs också vid två tillfällen men kurstillfällena skilde sig bara på ett par dagar och frekvensen av svar var relativt lika. Enkäterna besvarades främst den dag som de skickades ut och oavsett om det var en vardag eller en helgdag. Antalet svar minskade successivt två och tre dagar efter utskicket. Antalet svar ökade sedan igen när en påminnelse skickades ut. Påminnelsen skickades en vecka efter ordinarie utskick och endast till de deltagare som inte besvarat enkäten. Under pilotperioden hade tio enkäter det första utskicket under en vardag medan åtta enkäter hade första utskicket och påminnelseutskick på en lördag, men detta verkar inte ha påverkat svarsfrekvensen (lördagsenkäternas svarsfrekvensmedelvärde var 69 %, vilket är samma medelvärde som för samtliga kurser). Kurserna 1391 och 1392 hade tidigare genomfört sina kursvärderingar under ett schemalagt tillfälle under kursen vilket genererade en svarsfrekvens mellan %. Kurserna har även haft kursvärderingsenkäten som ett avbockningsmoment under Mål och framsteg i Ping Pong. Under pilottestingen sjönk svarsfrekvensen för kursen 1391 till 66 % medan kurs 1392 uppvisade god svarsfrekvens. 8

9 HANTERINGSORDNING Hanteringsordningen av kursvärderingsenkäten etablerades genom en frekvent dialog mellan EVAL och främst Anna Gustafsson från Kurs- och programkommittén (KPK). Hanteringsordningen är en dynamisk process med konstant uppdatering. Nuvarande hanteringsprocess illustreras i figur (2) nedan. KPK-handläggare lägger två Excellistor med terminens kurser i BOX (en lista utifrån kurskatalogen och en lista utifrån forskarskolornas utbud). Listorna läggs i mappen Kurs- och aktivitetsvärderingar forskarnivå och meddelar evaluation@ki.se att listor finns. TERMINS- START Kursansvarig/kursadministratör meddelar eventuella kursspecifika frågor senast 14 dagar innan kursens slutdatum. Om EVAL ska hjälpa till att plocka fram kursspecifika frågor ska det meddelas 21 dagar innan kursens slutdatum. Meddelas till evaluation@ki.se FUS-CE + kurskod ska anges i ämnesraden för alla mail till evaluation@ki.se KURS- START Kursansvarig/kursadministratör skickar deltagarlista och lärandemål till evaluation@ki.se senast dagen efter kursstart. EVAL har kontakt med kursansvariga gällande deltagarlista, lärandemål och eventuella kursspecifika frågor. Eventuella påminnelser skickas för att få in deltagarlistor och lärandemål. Deltagarlista: Excelformat, ska innehålla e-postadresser och vara döpt enligt följande: kurskod_termin_ev. kurstillfälle. Lärandemålen klistras in i mailet eller i ett dokument som bifogas. KURS- SLUT EVAL konstruerar enkäten. Enkäten: döps till: kurskod + kurstitel + termin + tillfälle Exv Medical Science VT16_4 Dag 1 Dag 5-6 EVAL skickar ut kursvärderingsenkäten. EVAL skickar ut påminnelse till studenterna om att de ska svara på kursvärderingsenkäten. Enkäten: mailutskick underteckenas av kursansvarig Dag EVAL skickar ut en andra påminnelse till studenterna om att de ska svara på kursvärderingsenkäten. 9

10 Dag 14 Kursvärderingsenkäten stänger. Dag EVAL sammanställer kursvärderingsenkäten och distribuerar rapporter till KPK och kursansvarig/kursadministratör. Kursvärderingsrapport fullständig version i PDF: rapporten innehåller alla frågor bortsett från valideringsfrågorna. Namn på denna rapport: Kurskod + kurstitel + termin_tillfälle + full version + slumpad kod KPK via BOX, mapp: Kurs- och aktivitetsvärderingar forskarnivå/kursvärdering år X/Rapporter 201X fullständig version E V A L Kursvärderingsrapport kort version i PDF: innehåller inte de öppna frågorna (Q17-19), inga kursspecifika frågor och inga valideringsfrågor. Namn på denna rapport: Kurskod + kurstitel + termin_tillfälle + short version KPK via BOX, mapp: Kurs- och aktivitetsvärderingar forskarnivå/kursvärdering år X/Rapporter 201X kort version Kursvärderingsrapport fullständig version, länk till PDF. Kursansvarig/Kursadministratör Kursvärderingsrapport kort version, länk till PDF. Kursansvarig/Kursadministratör Kurskatalog Kursdeltagare Figur 2. Flödesschema över hanteringsordningen av kursvärderingsenkäten 10

11 Problem och avvikelser i hanteringsordningen under piloten Kursansvariga/kursadministratörer inkom inte med deltagarlistor och lärandemål i samband med kursstart. Åtgärd: Påminnelseer skickades till kursansvariga/kursadministratörer tills deltagarlistor och lärandemål inkommit. Kursansvariga/kursadministratörer skickade in deltagarlistor efter kursens slutdatum. Åtgärd: Kursvärderingsenkäter färdigställdes och skickades ut när deltagarlistor inkommit trots fördröjning. Kursansvarig/kursadministratör meddelade på kursens sista dag att hen önskade inkludera kursspecifika frågor. (Enkäten var då redan färdigställd i KI Survey för att skickas ut dagen efter.) Åtgärd: Befintlig kursvärderingsenkät makulerades och ny enkät konstruerades som inkluderade de kursspecifika frågorna. (Incidenten berodde på att det inte framkommit tillräckligt tydligt i informationen när kursspecifika frågor skulle inkomma till EVAL.) Intranätet låg nere och det var inte möjligt att komma åt KI Survey som är programvaran för enkätkonstruktionen. Detta skedde vid tre tillfällen (16 %) då kursvärderingsenkäter skulle konstrueras. Åtgärd: Enkätkonstruktion upptogs när intranätet åter var i gång men ledde till en fördröjning i arbetet av konstruktion av kursvärderingsenkäter. Kursansvarig/kursadministratör skickade fel lärandemål. Åtgärd: Detta upptäcktes av EVAL och rätt kursplan letades fram från kurskatalogen. Två e-postadresser till en och samma kursdeltagare fanns i den inkomna deltagarlistan. Åtgärd: Antingen raderas en av adresserna eller att skicka till båda adresserna. Det senare påverkar svarsfrekvensen procentuellt men chansen är större att deltagaren åtminstone svarar på enkäten. Numreringen av frågorna fungerade inte i rapporten. Åtgärd: Systemutvecklarna skapade en ny rapportmall med automatisk numrering av frågorna. 11

12 RESULTAT Kursvärderingsenkäten besvarades av totalt 315 respondenter som deltog i de kurser som pilottestades. Proportioner av svarsfrekvens och svarsalternativ för de individuella enkätvärderingsfrågorna presenteras senare i rapporten. I rapporten presenteras enkätfrågorna och svarsalternativen med sin ursprungliga engelska formulering. Kursvärderingsenkätens egenskaper Vid en psykometrisk utvärdering och analys av den interna konsistensen uppvisade kursvärderingsinstrumentet en reliabilitetskoefficient på α = 0,9 baserat på frågorna 1-16 vilket kan anses tillfredsställande. Allmänt sett vill man att reliabilitetskoefficienten ska vara minst 0,7 eller högre. Däremot skall inte reliabilitetskoefficienten vara alltför hög då detta kan peka på att frågorna svarar på samma sak och är väldigt snarlika. Analysen visade inte på några negativa korrelationer mellan de sexton frågorna som testades. Då alla värden är positiva indikerar det att frågorna bidrar till att mäta samma underliggande teoretiska fenomen (konstrukt). Korrelationen mellan de sexton frågorna och totalsumman var generellt sett god då alla frågor visade på korrelationer över 0,3 (som brukar ses som ett tröskelvärde) utom fråga 9. Fråga 9 uppvisade låga inter-item korrelationer med fråga 2 (0,124), 3 (0,098), 12 (0,060), 15 (0,061) och 16 (0,087). Normalt bör dessa inter-item korrelationer ligg mellan 0,3 0,5. Låga inter-item korrelationerna kan tyda på att fråga 9 inte mäter samma underliggande fenomen som övriga frågor och antagligen jobbar i motsatt riktning med dessa tre frågor. Fråga 1 och 2 uppvisade något höga inter-item korrelationer (0,767) vilket kan indikera att frågorna ligger för nära varandra och är för lika. Kursvärderingsenkätens psykometriska egenskaper skulle antagligen förbättras om dessa två frågor kunde omformuleras eller att en av frågorna togs bort. I analysen av respondenternas svar i detta pilotprojekt gjordes ingen mer omfattande psykometrisk utvärdering av enkätens dimensionalitet (explorativ faktoranalys eller Mokkenanalys). Detta baserades på i) frågorna verkar intuitivt aggregera mot separata dimensioner (subskalor) och ii) dimensionalitetsanalyser kräver ofta mycket större respondentunderlag för adekvata analyser. I denna typ av enkätanalyser är det svårt att undersöka golv- och takeffekter med tanke på utformning av svarsskalorna i kurvärderingsenkäten. Dock visade deskriptiv och visuell data att svarssalternativ 1 ( to a very small ) inte uttnyttjades i frågorna 2, 8 och 14. De öppna frågorna i kursvärderingsenkäten (18 och 19) upplevdes väldigt snarlika. Respondenterna svarade frekvent liknande på fråga 19 som på fråga 18 och hänvisade ofta till se föregående fråga. Det bör övervägas om en av dessa frågor är redundant och i så fall skulle frågorna kunna slås samman eller uteslutas ur kursvärderingsenkäten. 12

13 Svarsalternativet Not applicable var möjligt i två av de 20 frågorna i kursvärderingsenkäten och användes av 12 % av respondenterna i fråga 12 och 3 % av respondenterna i fråga 20. Fördelar och nackdelar med denna typ av svarsalternativ bör fortsatt diskuteras. Kursvärderingsenkätens tilläggsfrågor för validering Under pilotperioden av kursvärderingsenkäten inkorporerades även två tilläggsfrågor för validering av instrumentet, en fråga om respondentens bakgrund och en fråga om anledningen till att respondenten valt kursen. Dessa valideringsfrågor syftade till att få en bättre och djupare förståelse för hur resultaten från kursvärderingsenkäten ska kunna tolkas. Dessa valideringsfrågor är även inkorporerade i kursvärderingsenkäterna som distribueras under vårterminen Valideringsfråga 1 Valideringsfrågan var formulerad som ett påstående My background is: och kunde besvaras med sju olika svarsalternativ. Antal Medical Sciences 210 Caring Sciences 13 Svatsalternativ Social Sciences Engineering Natural sciences Humanities 4 Other 21 Figur 3. Valideringsfråga avseende respondenternas bakgrund Under pilottestning av kursvärderingsenkäten var det en övervikt av respondenter från medicinsk vetenskap som fanns representerade i alla sexton kurser. Respondenter från humaniora utgjorde den minsta gruppen och sex av kurserna hade bara deltagare från tre av dessa utbildningsbakgrunder. Tabell 4 visar att respondenter med bakgrund i humaniora hade högsta medelvärdet (4,5) medan studenter med bakgrund från samhällsvetenskap uppvisade lägsta medelvärdet (3,9). Frågorna visade på en negativ skevhet och att respondenterna använde sig av svarsalternativ till höger om mittpunkten. Stor spridning av vissa frågor och att humaniora respondenterna var en liten grupp bör beaktas. 13

14 På grund av skevhet i datadistribution och data på ordinal nivå användes icke-parametriskt Kruskal-Wallis test med post-hoc test och korrektion för multipel jämförelse. 1 Det var ingen signifikant skillnad mellan grupperna förutom i fråga 15 där respondenter från Ingenjörsvetenskap (n = 11) var signifikant mer positiva (p =.023) jämfört med gruppen av respondenter med övrig utbildningsbakgrund (n = 21 ). Tabell 4. Läges- (medelvärde och median) och spridningsmått (standardavvikelse(sd)) för valideringsfrågan gällande bakgrund MS CS SS EN NS HU n 210 n 13 n 13 n 11 n 40 n 4 Fråga x (SD) M x (SD) M x (SD) M 4,2 4,2 3,9 4,5 4,2 4,7 4,4 1 5,0 5,0 (0,7) (0,8) (0,9) (0,5) (0,6) (0,7) (0,6) 4,2 4,3 4,5 4,2 4,7 4,5 2, 5,0 (0,7) (0,6) (0,8) (0,5) (0,6) (0,7) (0,5) 4,3 4,5 4,3 4,4 4,3 5,0 4,3 3 5,0 5,0 (0,8) (0,7) (0,6) (0,5) 0,7) (0,0) (0,6) 4,2 3,9 4,2 4,8 4,5 4 5,0 (0,7) (1,3) (0,6) (0,7) (0,7) (0,5) (0,7) 4,2 4,2 4,2 4,2 4,3 4,3 5 (0,7) (0,9) (1,1) (0,8) (0,7) (0,5) (0,8) 4,3 4,2 4,1 4,5 4,4 6 4,5 (0,7) (0,9) (1,0) (0,6) (0,7) (0,6) (0,9) 4.0 3,8 3,6 3,9 4,1 4,3 4,1 7 4,5 (0,9) (1,4) (1.0) (0,8) (0,8) (1,0) (0,9) 4,3 4,3 4,3 4,1 3,8 8 (0,7) (0,9) (0,7) (0,6) (0,7) (0,5) (0,8) 3,9 3,8 4,1 3,7 4,3 3,4 9 4,5 (0,9) (0,9) (1,3) (0,9) (0,7) (0,9) (1,3) 4,4 4,3 4,3 4,2 4,3 4,5 4,5 10, 5,0 (0,7) (0,5) (0,6) (0,8) (0,7) (1,0) (0,7) 3,9 3,7 4,1 3,9 4,8 3,8 11 5,0 (0,9) (0,6) (1,2) (0,8) (0,8) (0,5) (1,1) 3,8 3,6 4,3 4,1 4,5 3,9 12 4,5 (1,1) (1,1) (1,0) (0,9) (1,2) (1,3) (1,32 4,1 3,8 4,2 3,9 4,3 4,1 13 4,5 (0,8) (0,7) (0,8) (0,8) (0,7) (1,0) (0,9) 3,9 4,2 3,9 4,2 3,8 14 (0,7) (0,9) (1,0) (0,6) (0,6) (0,8) (0,8) 3,8 4,1 3,8 4,5 3,5 4,2 3,4 15, 5,0 3,0 5,0 (1,0) (0,8) (1,2) (0,7) (0,8) (0,9) (0,9) 4,2 4,1 3,8 4,2 4,1 4,6 4,1 16 5,0 (0,9) (0,8) (1,1) (0,8) (0,7) (0,6) (0,9) x = medelvärde M = medianvärde Medical Sciences/Medicinsk vetenskap (MS), Caring Sciences/Vårdvetenskap (CS), Social Sciences/Samhällsvetenskap (SS), Enginering/Ingenjörsvetenskap (EN), Natural Sciences Naturvetenskap (NS), Humanities/Humaniora (HU) och Other/Övriga (OT) x (SD) M x (SD) M x (SD) M OT n 21 x (SD) M 5,0 5,0 3,5 5,0 3,0 1 Medical Statistics - A textbook for the health sciences, 4th edition, Wiley by Michael J. Campbell et al. (2007). 14

15 Valideringsfråga 2 Valideringsfrågan var formulerad som Why have you decided to take this course? och innefattade fem svarsalternativ. I den andra valideringsfrågan kunde respondenterna välja mellan flera svarsalternativ. I tabell 5 nedan visas proportionsfördelningen för anledningen till val av kurs mellan de olika kurserna. Tabell 5. Fördelning av respondenter gällande anledning till val av kurs Kurs I was interested in the topic of the course My supervisor recommended the course Svarsalternativ My colleagues or fellow doctoral students recommended the course I have to pass the course because it is part of my individual study plan Other ,4 5,3 0 73,7 10,5 1386_1 33,3 5,6 11,1 77,8 5,6 1386_2 63,2 5,3 5,3 89,5 5, ,7 5,6 33,3 50, ,9 0 23,8 57, ,4 11,1 0 5, , ,3 18, ,4 11,8 5,9 17, ,3 16,1 35,5 9,7 3,2 2618_1 93,3 6,7 13,3 13, _2 78,9 10,5 10,5 47, ,1 13,0 13,0 69,6 8,7 2787_1 81,3 0 12,5 25, _ ,1 14,3 35,7 14, ,5 6,3 6,3 0 12, ,5 25,0 31,3 50,0 6, ,8 9,1 9,1 9,1 18, ,3 8,3 8,3 8,3 15

16 Tabell 6 nedan visar deskriptiva läges- och spridningsmått för de respondenter som svarade på svarsalternativen för den andra valideringsfrågan gällande varför man valt att delta kursen. Datan uppvisad inga statistiska skillnader mellan lägesmått på kursvärderingsfrågorna och anledning till varför man valt kursen. Tabell 6. Läges- (medelvärde och median) och spridningsmått (standardavvikelse (SD)) av valideringsfrågan gällande anledning till val av kurs Svarsalternativ Fråga x = medelvärde M = medianvärde I was interested in the topic of the course My supervisor recommended the course My colleagues or fellow doctoral students recommended the course I have to pass the course because it is part of my individual study plan Other n 228 n 27 n 45 n 121 n 17 x x x x x M M M M (SD) (SD) (SD) (SD) (SD) M 4,2 4,3 4,2 4,1 (0,7) (0,9) (0,7) (0,7) (0,9) 4,3 4,3 4,4 4,1 4,1 (0,6) (0,7) (0,6) (0,7) (0,7) 4,4 4,5 4,6 4,1 4,4 5,0 5,0 (0,6) (0,6) (0,6) (0,9) (0,7) 4,5 4,2 4,1 4,4 4,1 3,8 (0,7) (0,6) (0,6) (0,8) (0,9) 4,3 4,5 4,1 5,0 (0,7) (0,9) (0,6) (0,8) (0,6) 4,3 4,3 4,6 4,2 3,9 5,0 (0,7) (0,9) (0,6) (0,8) (0,7) 4,1 4,5 3,8 3,8 5,0 (0,9) (0,8) (0,8) (1,1) (1,0) 4,3 4,2 4,5 4,1 4,2 5,0 (0,7) (0,8) (0,7) (0,8) (0,8) 3,9 3,7 3,9 3,9 3,8 (0,9) (1,1) (0,7) (0,8) (1,0) 4,4 4,4 4,6 4,3 4,3 5,0 5,0 5,0 (0,7) (0,7) (0,6) (0,8) (0,9) 4,4 3,8 3,8 (0,8) (1,0) (0,7) (1,0) (1,0) 4,1 4,3 3,9 (1,1) (1,1) (0,9) (1,2) (1,3) 4,1 4,1 4,3 3,9 (0,7) (0,6) (0,6) (0,9) (0,7) 3,9 3,9 3,8 (0,7) (0,7) (0,7) (0,7) (0,8) 3,8 4,2 3,9 3,5 3,8 (0,9) (0,8) (0,8) (1,1) (1,0) 4,3 4,2 4,5 3,9 4,1 5,0 (0,8) (0,9) (0,6) (0,9) (0,8) 16

17 Deskriptiv statistik av frågor 1-16 I tabell 7 nedan beskrivs datamaterialet för de första sexton kursvärderingsfrågorna med olika lägesmått (medelvärde och median) och spridningsmått (standardavvikelse och kvartiler). Utöver dessa beskrivs också datamaterialets symmetri och form (skevhet och toppighet). Tabell 7. Läges- och spridningsmått samt fördelningens skevhet och toppighet (kurtosis) av kursvärderingsfrågorna Fråga N Bortfall Medel (SD) Skevhet a Kurtosis b P25 Median Typvärde P75 Min-Max ,2 (0,7) -0,7 1, ,2 (0,7) -0,4 0, ,3 (0,7) -0,9 0, ,2 (0,7) -0,8 1, ,2 (0,7) -0,7 0, ,3 (0,7) -0,9 1, (0,9) -0,8 0, ,2 (0,7) -0,7 0, ,9 (0,9) -0,7 0, ,4 (0,7) -1,3 2, ,9 (0,9) -0,8 0, a (1,1) -0,1-0, (0,8) -0,8 1, ,9 (0,7) -0,2-0, ,7 (1,0) -0,5-0, ,1 (0,8) -1,0 1, = to a very small, 2 = to a small, 3 = to some, 4 = to a large, 5 = to a very large SD = spridningsmått a SE för skevhetsmått 0,1 b SE för mått av kurtosis 0,3 Det totala medelvärdet för de sexton första frågorna var 4,1 (SD 0,19). Fråga 10 uppvisade det högsta medelvärde (4,4) och fråga 15 uppvisade det lägsta medelvärdet (3,7). Data visade på asymmetri med negativ skevhet d.v.s. att respondenter tenderade att använda svarsalternativ till höger om centralmåttet (se figur 4-19). Det är dock väldigt vanligt att kursvärderingsenkäter uppvisar datadistribution med sådan negativ skevhet. Frågorna visade på acceptabla skevhetsmått förutom fråga 10 och 16 som visade på skevhet (en tumregel är att skevhetsmåttet ska vara mellan -1 till 1). Vissa frågor uppvisade också på 17

18 både positiv och negativ kurtosis (toppighet) av fördelning. Det fanns en påtaglig toppighet (en tumregel är att toppighetsmåttet inte ska vara mer än 2,5 större än standardfelet) för fråga 1, 4, och 16. Då vissa frågor uppvisade både skevhet och toppighet är det viktigt att även se till alternativt lägesmått såsom median och typvärde. Vid en dikotomisering mellan stjärnkurser och övriga kurser så var respondenter i stjärnkurserna (n =170) signifikant mer positiva gällande fråga 9 (p =.000) än respondenter i övriga kurser (n = 145), men också signifikant mer negativa gällande fråga 10 (p =.019), 15 (p =.005) och 16 (p =.000). Data analyserades icke-parametriskt på grund av skevhet i datadistribution och karakteristiken av data (ordinal). 18

19 Individuella kursvärderingfrågor I följande del av rapporten presenteras och visualiseras de tjugo kursvärderingsfrågorna separat. 1. The level of the course was adequately presented in the syllabus. Antal to a very small to a small to some to a large to a very large Svarsalternativ Figur 4. Antal respondenter per vardera svarsalternativ Tabell 8. Procentuell fördelning av svar Svarsalternativ Antal Procent To a very small 1 0,3 To a small To some 33 10,5 To a large ,7 To a very large ,5 Antal svar ,7 Bortfall 1 0,3 Total 315 Kommentar Frågan visade på höga inter-item korrelationer med fråga 2 i den psykometriska analysen och tyder på att dessa två frågor ligger varandra väldigt nära. 19

20 2. The content of the course was adequately presented in the syllabus. Antal to a very small to a small to some to a large to a very large Svarsalternativ Figur 5. Antal respondenter per svarsalternativ Tabell 9. Procentuell fördelning av svar Svarsalternativ Antal Procent To a very small 0 0 To a small To some 32 10,2 To a large ,2 To a very large ,6 Antal svar ,4 Bortfall 2 0,6 Total 315 Kommentar Frågan visade på höga inter-item korrelationer med föregående kursvärderingsfråga (fråga 1) i den psykometriska analysen och tyder på att dessa två frågor ligger varandra väldigt nära. Detta är även påtagligt i den deskriptiva analysen med likande fördelning i stapeldigrammen. Ingen av de 313 respondenterna använde det första svarsalternativet to a very small. 20

21 3. I was highly motivated to learn the content of this course Axntal to a very small to a small to some to a large to a very large Svarsalternativ Figur 6. Antal respondenter per svarsalternativ Tabell 10. Procentuell fördelning av svar Svarsalternativ Antal Procent To a very small 1 0,3 To a small To some 35 11,3 To a large ,8 To a very large ,7 Antal svar ,7 Bortfall 4 1,3 Total 315 Kommentar Vid analys av de kurser som gavs vi två tillfällen under pilotperioden så skiljde sig frågan för en av kurserna (2787) och uppvisad signifikant högre (p =.011) lägesmått vid andra tillfället. Det bör dock beaktas att grupperna var små (n = 16 vs. n = 14) och att skillnaden kan bero på ett så kallat typ-1 fel d.v.s. att det visar sig vara en signifikant skillnad torts att det faktiskt inte är det. 21

22 4. The intended learning outcomes of the course were adequately explained. Antal to a very small to a small to some to a large to a very large Svarsalternativ Figur 7. Antal respondenter per vardera svarsalternativ Tabell 11. Procentuell fördelning av svar Svarsalternativ Antal Procent To a very small 2 0,6 To a small To some 40 12,9 To a large ,8 To a very large ,3 Antal svar ,1 Bortfall 6 1,9 Total

23 5. The course design facilitated achievement of the intended learning outcomes. Antal to a very small to a small to some to a large to a very large Svarsalternativ Figur 8. Antal respondenter per vardera svarsalternativ Tabell 12. Procentuell fördelning av svars Svarsalternativ Antal Procent To a very small 1 0,3 To a small To some 43 13,7 To a large ,8 To a very large ,6 Antal svar ,7 Bortfall 1 0,3 Total

24 6. The teachers facilitated achievement of the intended learning outcomes. Antal to a very small to a small to some to a large to a very large Svarsalternativ Figur 9. Antal respondenter per vardera svarsalternativ Tabell 13. Procentuell fördelning av svar Svarsalternativ Antal Procent To a very small 1 0,3 To a small To some 34 10,8 To a large ,3 To a very large ,7 Antal svar ,7 Bortfall 1 0,3 Total

25 7. I have received relevant feedback during the course Antal to a very small to a small to some to a large to a very large Svarsalternativ Figur 10. Antal respondenter per vardera svarsalternativ Tabell 14. Procentuell fördelning av svar Svarsalternativ Antal Procent To a very small 6 1,9 To a small To some 69 22,0 To a large ,4 To a very large ,8 Antal svar ,4 Bortfall 2 0,6 Total

26 8. I have actively engaged in the course Antal to a very small to a small to some to a large to a very large Svarsalternativ Figur 11. Antal respondenter per vardera svarsalternativ Tabell 15. Procentuell fördelning av svar Svarsalternativ Antal Procent To a very small 0 0 To a small To some 35 11,2 To a large ,2 To a very large ,1 Antal svar ,4 Bortfall 2 0,6 Total 315 Kommentar Ingen av de 313 respondenterna använde sig av svarsalternativet to a very small. 26

27 9. I had sufficient prior knowledge to fully participate in the course Antal to a very small to a small to some to a large to a very large Svarsalternativ Figur 12. Antal respondenter per vardera svarsalternativ Tabell 16. Procentuell fördelning av svar Svarsalternativ Antal Procent To a very small 8 2,6 To a small To some 81 26,1 To a large ,6 To a very large 87 28,1 Antal svar ,4 Bortfall 5 1,6 Total

28 10. During the course, the teachers have been open to students ideas and opinions about the course. Antal to a very small to a small to some to a large to a very large Svarsalternativ Figur 13. Antal respondenter per vardera svarsalternativ Tabell 17. Procentuell fördelning av svar Svarsalternativ Antal Procent To a very small 2 0,6 To a small To some 24 7,8 To a large ,6 To a very large ,4 Antal svar ,8 Bortfall 7 2,2 Total 315 Kommentar Frågan uppvisade stor negativ skevhet med nästan 50 procent av respondenterna som svarade to a very large. Frågan skulle behöva undersökas om det föreligger någon typ av haloeffekt. 28

29 11. During the course, I have developed valuable expertise/skills. Antal to a very small to a small to some to a large to a very large Svarsalternativ Figur 14. Antal respondenter per vardera svarsalternativ Tabell 18. Procentuell fördelning av svar Svarsalternativ Antal Procent To a very small 5 1,6 To a small To some 67 21,5 To a large ,6 To a very large 83 26,7 Antal svar ,7 Bortfall 4 1,3 Total 315 Kommentar Vid analys av de kurser som gavs vi två tillfällen så skiljde sig frågan för en av kurserna (2787) och uppvisade signifikant högre (p =.032) lägesmått vid andra tillfället. Det bör dock beaktas att grupperna var små (n = 16 vs. n = 14) och att skillnaden kan bero på typ-1 fel. 29

30 12. During the course, I have developed my ability to critically analyse and evaluate research findings Antal to a very small to a small to some to a large to a very large not applicable Svarsalternativ Figur 15. Antal respondenter per vardera svarsalternativ Tabell 19. Procentuell fördelning av svar Svarsalternativ Antal Procent To a very small 5 1,6 To a small To some 85 27,1 To a large ,7 To a very large 62 19,7 Not applicable 36 11,5 Antal svar ,7 Bortfall 1 0,3 Total 315 Kommentar Svarsalternativet "Not applicable" användes av 36 respondenter (11,5 %). I vissa kurser är inte frågan relevant och kursvärderingsfrågan skulle kunna bli mer stringent om svarsalternativen var bättre definierade. 30

31 13. The examination adequately assessed the achievement of the intended learning outcomes. Antal to a very small to a small to some to a large to a very large Svarsalternativ Figur 16. Antal respondenter per vardera svarsalternativ Tabell 20. Procentuell fördelning av svar Svarsalternativ Antal Procent To a very small 3 1,0 To a small To some 56 18,2 To a large ,2 To a very large 80 26,0 Antal svar ,8 Bortfall 7 2,2 Total

32 14. I have achieved all intended learning outcomes of the course. Antal to a very small to a small to some Svarsalternativ Figur 17. Antal respondenter per vardera svarsalternativ to a large to a very large Tabell 21. Procentuell fördelning av svar Svarsalternativ Antal Procent To a very small 0 0 To a small To some 74 23,6 To a large ,1 To a very large 62 19,7 Antal svar ,7 Bortfall 1 0,3 Total 315 Kommentar Ingen av de 314 respondenterna använde sig av svarsalternativet to a very small. 32

33 15. For me, the course was adequately challenging Antal to a very small to a small to some to a large to a very large Svarsalternativ Figur 18. Antal respondenter per vardera svarsalternativ Tabell 22. Procentuell fördelning av svar Svarsalternativ Antal Procent To a very small 7 2,2 To a small To some 94 29,9 To a large ,6 To a very large 73 23,72 Antal svar ,7 Bortfall 1 0,3 Total 315 Kommentar Vid analys av de kurser som gavs vi två tillfällen under pilotperioden så skiljde sig frågan för en av kurserna (2618) och uppvisade signifikant högre (p =.009) högre lägesmått vid första tillfället. Det bör dock beaktas att grupperna var små (n = 15 vs. n = 19) och att skillnaden kan bero på typ-1 fel. 33

34 16. This course has fulfilled my expectations of a high quality course. Antal to a very small to a small to some to a large to a very large Svarsalternativ Figur 19. Antal respondenter per vardera svarsalternativ Tabell 23. Procentuell fördelning av svar Svarsalternativ Antal Proecent To a very small 4 1,3 To a small To some 48 15,3 To a large ,7 To a very large ,5 Antal svar ,7 Bortfall 1 0,3 Total 315 Kommentar Frågan skiljde sig för en av kurserna (2618) som gavs vid två tillfällen under pilotperioden och uppvisade signifikant högre (p =.009) högre lägesmått vid andra tillfället. Observera att det var små grupper med n = 15 vs. n =

35 Översikt av svarsalternativ för frågor 1-16 I tabellen (24) och figuren (21) nedan visas en översikt av hur svarskategorierna användes och distribuerades mellan de sexton första frågorna i kursvärderingsenkäten. Tabell 24. Spridning av svarsalternativ presenterat i antal och proportioner Svarsalternativ Fråga N Bortfall To a very small To a small To some To a large To a very large Not applicable Antal (%) Antal (%) a Antal (%) a Antal (%) a Antal (%) a Antal (%) a Antal (%) a (0,3) 1 (0,3) 3 (1,0) 33 (10,5) 175 (55,7) 102 (32,5) (0,6) 0 (0) 3 (1,0) 32 (10,2) 176 (56,2) 102 (32,6) (1,3) 1 (0,3) 3 (1,0) 35 (11,3) 133 (42,8) 139 (44,7) (1,9) 2 (0,6) 4 (1,3) 40 (12,9) 157 (50,8) 106 (34,3) (0,3) 1 (0,3) 5 (1,6) 43 (13,7) 150 (47,8) 115 (36,6) (0,3) 1 (0,3) 6 (1,9) 34 (10,8) 139 (44,3) 134 (42,7) (0,6) 6 (1,9) 12 (3,8) 69 (22,0) 114 (36,4) 112 (35,8) (0,6) 0 (0) 8 (2,6) 35 (11,2) 154 (49,2) 116 (37,1) (1,6) 8 (2,6) 8 (2,6) 81 (26,1) 126 (40,6) 87 (28,1) (2,2) 2 (0,6) 5 (1,6) 24 (7,8) 128 (41,6) 149 (48,4) (1,3) 5 (1,6) 11 (3,5) 67 (21,5) 145 (46,6) 83 (26,7) (0,3) 5 (1,6) 14 (4,5) 85 (27,1) 112 (35,7) 62 (19,7) 36 (11,5) (2,2) 3 (1,0) 5 (1,6) 56 (18,2) 164 (53,2) 80 (26,0) (0,3) 0 (0) 5 (1,6) 74 (23,6) 173 (55,1) 62 (19,7) (0,3) 7 (2,2) 22 (7,0) 94 (29,9) 118 (37,6) 73 (23,2) (0,3) 4 (1,3) 7 (2,2) 48 (15,3) 134 (42,7) 121 (38,5) a Valid procentfördelning To a very small To a small To some To a large To a very large Not applicable 0 F1 F2 F3 F4 F5 F6 F7 F8 F9 F10F11F12F13F14F15F16 Figur 20. Procentuell fördelning av svarsalternativen för kursvärderingsfrågorna 35

36 17. Were there any parts of the course that were excellent? If so, please specify which parts and in what way. Tabell 25. Andel svar bland respondenter Fråga N Svarade på öppen fråga Svarade INTE på öppen fråga Antal (%) Antal (%) (60,3) 125 (39,7) Data från fritextsvaren i fråga 17 analyserades med kvalitativ innehållsanalys. Analysen gjordes både på manifest nivå (med det synliga och explicita innehållet kongruerat som kategorier) och latent nivå (med det underförstådda och implicita innehållet kongruerat som teman). Tabell 26. Kategorier och teman som uppkom från fritextsvaren Kategorier Kurserna har: upplägg som främjar autonomi ger praktisk och relevant kunskap och färdigheter Kurserna har: tydlig organisation och struktur variation i undervisnings- and lärandemoment gott pedagogiskt upplägg bra anpassning mellan kursinnehåll och examination (alignment) Kurserna har: ämneskompetenta och kunniga lärare lärare som är pedagogiskt skicklig engagerade och inspirerande lärare Kurserna har: god Interaktion mellan lärare och deltagare och mellan deltagare betoning på återkoppling Tema Lärande Organisation av lärande Lärare Interaktion Kommentar Respondenterna hade gemensamma kommentarer om att kurserna fokuserar på lärande som främjar självständighet och som bidrar med praktisk kunskap och relevanta färdigheter. Undervisningen var tydligt organiserad, med god pedagogisk tanke och struktur och stor variation. Lärarna var kompetenta och engagerade och pedagogiskt skickliga. Respondenterna upplevde också interaktion mellan deltagare och lärare under kurserna med genomgående hög grad av återkoppling. 36

37 18. Do you have any recommendations as to how the course could be further improved? Tabell 27. Andel svar bland respondenter Fråga N Svarade på öppen fråga Svarade INTE på öppen fråga Antal (%) Antal (%) (46,3) 169 (53,7) Data från fritextsvaren i fråga 18 analyserades med kvalitativ innehållsanalys på både manifest och latent nivå. Tabell 28. Kategorier och teman som uppkom från fritextsvaren Kategorier (manifest nivå) Kurserna borde ha/vara: mindre kondenserade och mer utspridda över tid kortare föreläsningssessioner balanserad arbetsbelastning Kurserna borde vara: barriärfria mellan kliniker och icke kliniker Kurserna borde vara: adekvata fysiska miljöer relevant och uppdaterad kurslitteratur undervisningsmoment som INTE är onödiga eller suboptimala Tema (latent nivå) Arbetsbelastning Bristande integrering Faciliterande undervisningsmiljö Kommentar Respondenterna hade gemensamma åsikter om hög arbetsbelastning där föreläsningar borde vara kortare och mer utspridda. Vidare påpekade respondenter att i vissa kurser var det stor skillnad beroende på om deltagarna hade eller inte hade klinisk bakgrund med hänseende på förkunskap, hur snabbt kursmoment gicks igenom och interaktionen mellan kursdeltagare. Undervisning som stödjer lärandet, som sker i goda lärandemiljöer och som koncentrerar på det viktigaste ansågs vara av stor vikt. 37

38 19. Were there any parts of the course that need to be improved? If so, please specify which parts and how. Tabell 29. Andel svar bland respondenter Fråga N Svarade på öppen fråga Svarade INTE på öppen fråga Antal (%) Antal (%) (47,0) 167 (53,0) Kommentar Som tidigare nämnts i rapporten så svarade respondenterna frekvent väldigt lika på frågan (i likhet med fråga 18) och respondenterna hänvisade ofta i fritextsvaren till föregående fråga. På grund av datamättnad och frågeredundans gjordes ingen ytterligare fortsatt kvalitativ innehållsanalys. 38

39 20. Would you recommend this course to others enrolled in doctoral education? Antal yes no not applicable Svarsalternativ Figur 21. Antal respondenter per vardera svarsalternativ Tabell 30. Procentuell fördelning av svarsalternativ Svarsalternativ Antal Procent Yes ,5 No Not applicable 9 2,9 Antal svar ,7 Bortfall 1 0,3 Total 315 Kommentar Frågan är formulerad så att det är problematiskt för andra än doktorander, exempelvis masterstudenter, att kunna svara på frågan. 39

40 SLUTSATS OCH REKOMENDATIONER Hanteringsordningen av enkäten fungerar bra på det stora hela. Processen är dynamisk, iterativ och under konstant förändring. Tät kontakt mellan beställare och EVAL gör att de flesta problem som uppkommer med den centralt administrerade kursvärderingsenkäten kan lösas snabbt och smidigt. Analysen indikerar att kursvärderingsfrågorna verkar att effektivt, informativt och reliabelt mäta konstruktet hur doktorander uppfattar kurser på forskarutbildningsnivå. Kursvärderingsenkäten visar att forskarutbildningsstudenterna under pilotperioden värderar kurserna väldigt bra och har en positiv uppfattning om doktorandkurserna. Vissa frågor uppvisar några mindre problem och EVAL rekommenderar att modifiera, ta bort och slå samman vissa frågor. En kortare kursvärderingsenkät men som fortfarande fångar och mäter konstruktet är eftersträvsamsvärt. Fråga 1 och fråga 2 är upplevs väldigt lika och bör revideras för att skiljas bättre åt. EVAL rekommenderar att plocka bort fråga 1. Dessutom korrelerar fråga 1 väldigt högt med fråga 15 som fångar in liknande information om konstruktet. Ur ett pedagogiskt perspektiv bör ordet learn i fråga 3 övervägas att omformuleras. Det svenska ordet tillgodogöra är passande men engelskans benefit eller assimilate låter inte bra i det svenska kontextet. Fråga 10 visar på stor skevhet i detta urval och bör undersökas närmare. EVAL rekommenderar att addera ett öppet kommentarsfält till kursvärderingsfrågan för att försöka förstå bakgrunden till denna kraftiga negativa skevhet. Vi rekommenderar att addera en hänvisningstext (Only answer if applicable to the course) i direkt anslutning till fråga 12 då vissa kurser inte har en explicit forskningsanknytning. Fråga 18 och 19 är väldigt lika och föreslår att dessa två frågor slås samman och formuleras som Do you have any recommendations as to how the course could be improved? If so, please specify which parts and how. Vi rekommenderar att addera en hänvisningstext (Only answer if you are doctoral student) i direkt anslutning till fråga 20 då vissa deltagare i forskutbildningskurserna inte är doktorander. EVAL rekommenderar att kurser som har låga svarsfrekvenser försöker att schemalägga tillfälle för deltagarna att fylla i kursvärderingsenkäten. Från och med vårterminen (VT16) skickas två påminnelser ut under den tid då enkäten är öppen vilket har ökat svarsfrekvensen markant. Svarsfrekvensen har också ökat betydligt efter det att utskicksmail med länken till den centralat administrerade kursvärderingsenkäten är signerade och utskickade från kursanvarig. Vi rekommenderar också att en svensk version av kursvärderingsenkäten tas fram. 40