Malmö högskola / Gemensam förvaltning Karen Ask Referensgruppen för utvecklingsprojekt kring kursutvärdering vid Malmö högskola 1(10) 2009-08-13 Vägledning för kursvärderingar i It`s Learning Detta är en vägledning för genomförande av kursvärderingar i It`s Learning. Den består av tre delar: Första del handlar om hur man använder It s Learning för att genomföra kursvärderingar. I del 2 sätts kursvärderingsformulären in i ett sammanhang genom att processen kring genomförande av kursvärderingar beskrivs. Del tre innehåller en förklarande text till kursvärderingsformulären. Kursvärderingar i It`s Learning I It s Learning finns en funktion för att skapa undersökningar i form av enkäter. Det är denna funktion som används för att skapa kursvärderingsenkäter. En instruktionsvideo (tutorial) som visar hur man skapar enkäter i It`s Learning finns på: https://www.itslearning.com/help/tutorials/tutorials.htm under surveys. Kopiera frågeformulär till kurssidor Kursvärderingsformulären i form av originalmallar finns i kursen gemensamma resurser. Alla med administrationsbehörighet i it`s Learning är deltagare i kursen. Lärare kan också ges behörighet till kursen. Se instruktionsfilm (http://www.mah.se/itsupport/program-och-tjanster/its-learning-/itslearning/kursutvardering/?idkeep=true) om hur du kopierar mallarna till andra kurssidor. När mallen finns på kurssidan kan du redigera i den. För en bättre administration av kursvärderingsformulär på enhets-/program- eller ämnesnivå är det att rekommendera att upprätta en egen kurs med kursvärderingsformulär där eventuella egna mallar också kan finnas. Redigera och anpassa kursvärderingsmall I instruktionsvideoerna på It s Learnings hemsida (se länk ovan) kan du se hur du kan ändra och skapa frågor, skriva inledande text och göra inställningar för enkäten. Det är viktigt att ge kursvärderingen en egen rubrik med kursnamn och Postadress Besöksadress Tel Fax Internet E-post Malmö högskola Hjälmaregatan 1 040-665 83 78 040-665 70 75 www.mah.se karen.ask@mah.se Gemensam förvaltning S-205 06 Malmö
2(10) kurskod. Detta gör du under redigera undersökning. Samma ställe kan du välja att kryssa i visa alla frågor på en sida vilket är att rekommendera då studenterna på detta sätt lättare kan bilda sig en överblick över enkäten innan de börjar besvara den. När din kursvärderingsenkät är klar kan du titta på den genom att klicka på delta i undersökningen på kursvärderingens förstasida. Då visas enkäten som den ser ut när studenterna besvarar den. Det är viktigt att du efter visningen klickar på ta bort knappen som finns direkt under delta i undersökningen, oavsett om din aktivitet syns i listan över inkomna svar eller inte. Om du inte klickar på ta bort knappen kan du vid senare redigering av frågorna få ett meddelande om att du inte kan redigera i en undersökning som har påbörjats. Meddela studenter om kursvärderingen via It s Learning Det finns ingen e-post- eller påminnelsefunktion direkt kopplat till enkätfunktionen i It s Learning. Om du vill informera studenterna om att kursvärderingen finns tillgänglig i It s Learning kan du lägga ut ett meddelande på anslagstavlan. Studenterna kan välja att få ett automatiskt epostmeddelande när ny information läggs på kurssidan. Om du vill vara säker på att alla studenter får ett meddelande via e-post kan du skicka ett separat mejl till studenterna. Detta gör du under deltagare genom att klicka på skicka meddelande. Eventuella påminnelser får du också skicka i ett separat e-postmeddelande. Du kan se vilka studenter som har besvarat eller inte har besvarat kursvärderingen genom att klicka på status och uppföljning och sedan på individuell rapport. Kursvärderingen syns som en post i den individuella rapporten, så länge kursvärderingen är aktiverad. Du kan använda denna funktion om du t ex endast vill skicka påminnelse till de som inte har besvarat kursvärderingen. Skriftliga kursvärderingar Om du vill genomföra kursvärderingen skriftligen, t ex på lektionstid, kan du skriva ut enkäten. Det gör du genom att klicka på delta i undersökningen som finns på kursvärderingens förstasida. Då får du fram enkäten som den ser ut när studenterna besvarar den. Högerklicka med musen och välj skriv ut. Observera att sammanställning av skriftliga enkäter inte kan genomföras i It s Learning. Sammanställning av resultat får därför göras i ett annat program för bearbetning av enkäter, t ex SPSS. Sammanställning och publicering Du sammanställer kursvärderingarna genom att klicka på knappen visa resultat som finns på kursvärderingens förstasida. Det finns en rad visningar att välja mellan där visa resultat som vanligt är att rekommendera. Återkoppling av sammanställningen till studenterna via It s Learning kan t ex ske i samband med muntlig återkoppling, genom visning av sammanställningen med hjälp av projektor/powerkanon. Sammanställningen kan inte sparas direkt i It`s Learning utan får sparas i ett annat format och därefter länkas till kurssidan som en
3(10) fil. Om du vill spara sammanställningen i ett textprogram, t ex Word, kan du göra det genom att kopiera sammanställningen (högerklicka, välj kopiera ) och klistra in den i önskat program. Därefter kan du, innan publicering, redigera sammanställningen genom att sammanfatta kommentarer, ta bort eventuella kränkande kommentarer och förbättra layoutet. Om du vill att studenterna ska kunna se resultatet av kursvärderingen direkt i It`s Learning kan du ge alla studenter behörighet att visa resultat genom att välja behörigheter i undersökningen och därefter ange vilka som får visa undersökningens resultat. Sammanställning med grafik och statistiska uträkningar kräver att du exporterar resultaten till Excel genom att välja visa sammanfattning i Excel under visa resultatet. Härefter kan du vidarebearbeta resultaten i Excel, t ex genom att skapa diagram. Tips och tankar kring genomförande av kursvärdering Det finns en risk att ett kursvärderingsverktyg i It s Learning leder till att kursvärderingarna får leva sitt eget liv på It s Learning, skilt från undervisningen och den muntliga dialogen mellan lärare och student. Det är därför viktigt att kursvärderingarna i It`s Learning kombineras med muntlig information, återkoppling och diskussion. Studentinflytande i konstruktionen av kursvärderingen Studenterna kan involveras i ett tidigt skede av kursvärderingsprocessen, t ex genom att vara med i konstruktionen av frågor till enkäten. Detta utesluter inte att läraren kan föreslå frågor och i slutänden tar beslutet om vilka frågor som ska finnas med. Det viktiga är att studenterna diskuterar vilka frågor som är viktiga för kursen såkallade burning questions och hur de ska formuleras på ett för kursen och studenterna relevant sätt. Genom detta förfarande har studenterna större benägenhet att besvara enkäten och engagera sig i efterföljande kursvärderande diskussioner, samtidigt som kursvärderingens validitet ökar. Information om kursvärderingen Det är viktigt att läraren som genomför kursvärderingen inte bara informerar studenterna om kursvärderingen via It s Learning utan även informera studenterna muntligen på lektionstid. För att säkra kvalitet i studenternas svar kan läraren gärna gå igenom frågorna och förklara deras innebörd på en lektion innan kursvärderingen görs tillgänglig i It`s Learning. Muntlig återkoppling och diskussion Användningen av kursvärderingsformulären i It s Learning är tänkta att ingå i en dialog mellan lärare och studenter. Det är därför viktigt att kursvärderingarna inte enbart görs i It s Learning utan att de snabbt följs upp av muntliga återkopplingar med utrymme för dialog och diskussion. Det gäller särskilt den formativa kursvärderingen tidig dialog som mer är ett kvalitativt underlag för samtal än ett mätinstrument för insamling av studenters kvantifierbara synpunkter på en kurs.
4(10) Kursvärderingsformulären förklaringar och användning Följande tre kursvärderingsformulär är ett resultat av ett utvecklingsprojekt kring kursutvärdering som genomfördes på Malmö högskola hösten 2008 våren 2009. Kursvärderingsformulären är högskoleövergripande men tanken är att de ska kunna anpassas till kurser på hela högskolan. Områden, enheter, program och ämnesområden kan utifrån dessa övergripande formulär skapa sina egna. Du kan som lärare välja mellan frågorna i formulären och lägga till egna frågealternativ. Innan du påbörjar arbetet med att skapa en din egen kursvärderingsenkät är det viktigt att tänka igenom frågan: Varför görs kursvärderingen? Vad är syftet? De tre frågeformulären som presenteras här, två formativa och en summativ, har alla olika syften. Det överordnade syfte för alla tre är dock att de ska bidra till att skapa dialog mellan lärare och studenter det gäller primärt de formativa kursvärderingar och att kvaliteten på kurserna ska öka. Enkätfrågorna fokuserar studentens lärande och vägen mot kursens lärandemål. Om den kursvärdering du ska genomföra har ett annat syfte där frågorna i de tre mallarna inte passar in, får du givetvis skapa andra frågor eller kombinera de föreslagna frågorna med egna frågor. Frågor från de olika kursvärderingsformulären kan också kombineras i en och samma kursvärdering om det passar för kursvärderingens syfte. T ex kan några av de frågor som ställs i en formativ kursvärdering också ställas i en summativ kursvärdering. Och frågor från temperaturtagning och tidig dialog kan ställas i en och samma formativa kursvärdering. Kursvärderingsformulären kan användas i samma kurs eller oberoende av varandra i olika kurser. Temperaturtagning. En formativ kursvärdering som ges i början av kursen, med fördel inom tre veckor från kursstart vid heltidskurs. Kursvärderingens syfte är att ta temperaturen på kursen. Exempelvis: Har studenterna fått den information de behöver? Upplever studenterna att relationen med kursens lärare fungerar? Är kraven på studenterna rimliga i förhållande till deras förkunskaper? Det är några av frågorna som studenterna besvarar i en temperaturtagning. Tidig dialog. En formativ kursvärdering som ges i mitten av kursen. Den kan också användas i mitten på en termin. Kursvärderingens syfte är att få studenterna att reflektera kring sin egen roll, sin aktivitet och sitt lärande i kursen. Enkäten är ett underlag för egen reflektion och efterföljande dialog med läraren, individuellt i utvecklingssamtal eller i grupp, snarare än ett mätverktyg som samlar in kvantifierbara synpunkter om kursen.
5(10) Summativ kursvärdering. Ges efter kursens slut. Syftet är att få en bild av hur studenterna upplevt kursen och de förutsättningar de haft för att uppnå kursens lärandemål. Kursvärderingen fungerar som ett underlag för förbättringar av kursens kvalitet. Frågeformulären finns både på svenska och engelska. Kursvärderingsformulären består av ett antal frågor som hör ihop två och två eftersom det i varje fråga både finns en fråga som kan graderas och en fråga som kan kommenteras. I det följande ges förklaringar till frågorna i de tre typer av kursvärderingar. Om formativ kursvärdering Formativ kursvärdering kan användas som argument för att studenterna kan påverka innevarande kurs. Det är dock i själva verket begränsad vad man som institution och lärare kan förändra under kursens gång. Litteratur, schema och lokaler är exempel på saker som inte går att ändra under kursens gång. Det som går att förändra kan vara mindre saker som t ex information, stödjande insatser för studenter som inte klarar kursens krav eller ändring av upplägget på enstaka föreläsningar. Det är därför viktigt att ge studenterna en realistisk förväntning om vad som går att förändra. Det viktigaste är dock att bemöta studenternas frågor, funderingar och förväntningar. Samtidigt är mycket av det, som kommer upp i en formativ kursvärdering, något som inte alltid går att förändra inom ramen för innevarande kurs men som kan förändras på längre sikt. Förutom enkäterna kan formativ kursvärdering genomföras i andra former. Dialoginriktad formativ kursvärdering under kursens gång, t ex minute papers, beskrivs i kapitlet om kursvärderingar i Kvalitetsarbete då och nu: http://www.mah.se/upload/gf/kvalitetsarbete/kvalitetsarbete%20d%c3%a5%20o ch%20nu.pdf Temperaturtagning Temperaturtagning kan med fördel användas för studenter som är nya på Malmö högskola eller på ett område, t ex på A-kurser. En del av frågorna kan dock även användas i temperaturtagning på andra kurser på grundutbildningen. Fråga 1-3: Information. Frågan är en matrisfråga där man kan fylla på flera delar. Frågan undersöker om studenterna upplever att de fått information om olika delar i kursen. När det gäller examinationsformer är det, enligt Studentkåren, ett vanligt klagomål från studenter att de inte får information om dessa förrän i slutet på kursen. Att ge information betyder dock inte att mottagaren tar emot eller förstår
6(10) den. Därför är det viktigt att undersöka studenternas informationsbehov och hantera den osäkerhet som kan uppstå om de saknar information. Fråga 4-5: Tillgänglighet och bemötande. Att studenterna upplever att lärarna och övrig personal är tillgängliga samt bemöter studenterna på ett bra sätt är avgörande för att ha en välfungerande dialog. Då frågan är en matrisfråga kan även andra faktorer gällande relationen mellan studenter och lärare och mellan studenter och institution/enhet läggas till i frågan. I kontakten med Studentkåren framhäver studenter att kontakten med lärare är viktig men att lärarna ofta inte är tillgängliga utanför undervisningen. Enligt Studenternas rättigheter och skyldigheter vid Malmö högskola ska lärarna vara tillgängliga för studenter även utöver schemalagd undervisningstid. Fråga 6-7: It s Learning. Frågan undersöker om It s Learning används optimalt utifrån studenternas behov och önskemål, samtidigt som frågan kan ge ett underlag för en dialog kring studenternas förväntningar på It s Learning i förhållande till lärarens realistiska användningsmöjligheter. Fråga 8-9: Förväntningar. Dialogen kring studenternas förväntningar i relation till kursens lärandemål ska börja redan vid kursstart. Frågan kan vid återkopplingen följas upp med en diskussion kring hur och i vilken utsträckning förväntningarna kan infrias inom ramen för lärandemålen. Fråga 10-11: Kursens nivå och studentens förkunskaper. Frågan fångar både upp studenter som tycker de har för låga förkunskaper och de som tycker att kursen ställer för låga krav. Fråga 12-13: Underlättande och hindrande faktorer för lärandet. Dessa två öppna frågor ger studenten möjlighet att ta upp allt som påverkar lärandet i positiv eller negativ bemärkelse, inom och utom ramen för kursen. Studenten kan här även skriva sådant som inte nödvändigtvis går att förändra. Det viktiga är dock att sådana synpunkter blir synliggjorda, dokumenterade och diskuterade. Mycket av det som kommer upp i en formativ kursvärdering kanske inte går att förändra inom ramen för innevarande kurs men kan förändras på längre sikt. Fråga 14: Något att tillägga. Den öppna frågan på slutet är alltid bra att ha med för att fånga upp sådant som studenterna inte har kunnat få fram i enkätens övriga frågor. Tidig dialog Enkäten består huvudsakligen av öppna frågor kring studentens lärande. Syftet är att enkäten ska få studenten att reflektera kring sin egen roll, aktivitet och lärande i kursen. Enkäten är ett underlag för egen reflektion och efterföljande dialog och diskussion med läraren, snarare än en kursvärdering som samlar in kvantifierbara synpunkter om kursen. Enkäten kan betraktas som ett pedagogiskt verktyg för att
7(10) utveckla studenters reflektion kring lärandet och hur de kan utveckla detta. Enkäten påminner om ett underlag för utvecklingssamtal och kan användas som sådan. Om tid för individuella utvecklingssamtal inte finns, kan enkäten med fördel följas upp i grupp. Fråga 1-3: Studentens förståelse av lärandemålen. Framför att låta studenten uttala sig om i vilken utsträckning de tycker sig ha uppnått lärandemålen, fokuserar frågan studentens förståelse. Vid detta läge bör studenten ha tagit till sig informationen om lärandemålen men har studenten förstått dem? Fråga 3 är intressant eftersom den visar på vilket sätt studenten har förstått lärandemålen. Svaren på frågan kan dock visa sig att vara studentens egna kursmål. Frågan kan därför vara underlag för en diskussion kring studenternas kursmål i relation till kursens lärandemål. Fråga 4-7: Studentens bidrag till kursen. Studenterna är medskapare av lärandet i kursen genom att bidra med sin egen aktiva insats på olika sätt. Frågorna medvetandegör och synliggör detta. De exempel som finns inom parentes i fråga 7 kan eventuellt ändras så de anpassas till kursen. Fråga 8-9: Användningen och utvecklingen av kompetenser. Frågan uppmanar studenten att reflektera kring vilka generiska kompetenser som utvecklats i kursen, och vilka studenten önskar utveckla under resten av kursen. Exemplen inom parentes är till för att ge studenten en konkret förståelse av vad kompetenser kan vara. Exemplen kan anpassas till kursen. Fråga 10-11: Sätt att lära sig. Frågan undersöker studentens inlärningsstrategi. Om det visar sig att studenterna behöver hjälp att utveckla denna, kan läraren t ex hänvisa till studiestödjande verksamhet och/eller ta en diskussion kring hur studenterna ska kunna utveckla sitt sätt att lära sig. Fråga 12-13: Underlättande och hindrande faktorer för lärandet. Dessa två öppna frågor ger studenten möjlighet att ta upp allt som påverkar lärandet i positiv eller negativ bemärkelse, inom och utom ramen för kursen. Studenten kan här även skriva sådant som inte nödvändigtvis går att förändra. Det viktiga är dock att sådana synpunkter blir synliggjorda, dokumenterade och diskuterade. Mycket av det som kommer upp i en formativ kursvärdering kanske inte går att förändra inom ramen för innevarande kurs men kan förändras på längre sikt. Summativ kursvärdering Frågeformuleringarna kretsar kring kopplingen mellan student och lärandemål för kursen, framför att fokusera på kursen i sig. Syftet har varit att sätta studentens lärande i centrum och komma bort från bedömningar av kursens inneboende kvalitet frikopplat från studenten.
8(10) Kursvärderingen genomförs efter kursens, inklusive examinationens, slut men innan examinationsresultaten föreligger. Fråga 1-2: Läraktiviteter. Frågan är en matrisfråga där du kan lägga in kursens läraktiviteter. Läraktiviteter kan vara undervisningsaktiviteter som föreläsningar, seminarier, laborationer, handledning och andra aktiviteter som bidrar till studenternas inlärning, t ex inlämningsuppgifter, litteraturstudier, studiebesök, verksamhetsförlagd utbildning och grupparbete. Det kan också vara insatser från andra delar av högskolan, t ex bibliotekets undervisning och handledning. I matrisen finns förslag på vanligt förekommande läraktiviteter men läraktiviteter kan tas bort, läggas till och specificeras så de anpassas till kursen ifråga. Fråga 3-4: Kursens arbetsmaterial. Frågan är en matrisfråga där du kan lägga in kursens arbetsmaterial. Frågan fokuserar arbetsmaterial framför kurslitteratur. I många kurser används inte bara kurslitteratur utan även andra typer av material, t ex tidigare studenters exempel, tidningsartiklar, hemsidor, utställningar mm. I matrisen finns förslag på arbetsmaterial men arbetsmaterial kan tas bort, läggas till och specificeras, eventuellt med namngivning av specifikt material, t ex kursböcker. Fråga 5-6: Kursens upplägg. Frågan fokuserar kursens upplägg i form av planering av aktiviteter och insatser. Det kan t ex röra sig om fördelningen av studenternas arbetsinsats över tid eller om sammanhang och ordningsföljd mellan kursens olika delar. Fråga 7-8: Studentens förutsättningar för att uppnå lärandemålen. Istället för en fråga där studenten bedömer i vilken utsträckning han/hon tycker att lärandemålen har uppnåtts fokuserar frågan studentens förutsättningar att uppnå lärandemålen. Förutsättningar finns i kursen i form av läraktiviteter, arbetsmaterial, upplägg mm., de finns hos studenten själv i form av arbetsinsats, studieteknik, inställning till studier mm. och de finns i studentens omgivning i form av socialt stöd, kombination med andra aktiviteter som jobb och familj mm. Frågan påminner om frågor av typen vad tyckte du om kursen men är bredare då den försöker fånga in alla aspekter som påverkar studentens lärande, inte bara de som finns i form av planerade aktiviteter och material. Fråga 9-10: Examinationsformer. Frågan fokuserar examinationsformer framför examinationens innehåll. Examinationsformer kan vara olika typer av skriftliga och muntliga examinationer, individuellt eller i grupp. Olika typer av examinationsformer passar studenter med olika inlärningsstilar och påverkar hur väl studenten kan visa vad han/hon lärt sig. Samtidigt ingår det i kvalitetsplanen att Malmö högskola ska utveckla varierade examinationsformer. För att få svar på kursens specifika examinationsformer, kan frågan göras om till en matrisfråga med en examinationsform per rad i matrisen.
9(10) Fråga 11-12: Nya perspektiv. Lärande handlar bland annat om att studenterna tillägnar sig nya sätt att tänka. Det gäller särskilt lärande vid högskola eller universitet. Fråga 13-14: Dialog och studentinflytande. Frågan är en matrisfråga där olika aspekter kring dialog och studentinflytande ingår. Den första frågan handlar om studenternas involvering i kursen under kursens gång, dels involvering i själva lärprocessen, dels involvering i form av att kunna ge synpunkter på kursen och dens förutsättningar för lärandet. Den andra frågan behandlar studenters möjlighet till att få feedback en fråga som ofta är angelägen för studenterna. Observera att frågan är formulerad på ett sätt som uppmärksammar att feedback inte alltid ges av läraren, utan kan organiseras på olika sätt i en kurs. Frågan kan anpassas så den speglar hur feedback har organiserats i den aktuella kursen. Den tredje frågan behandlar studentinflytande. Studentinflytande är ett brett begrepp som definieras i Malmö högskolas studentinflytandepolicy: http://www.mah.se/pagefiles/4792/beslut_studentinflytandepolicy%200903.pdf?e pslanguage=sv Studentinflytande handlar inte bara om inflytandet under kursens gång genom dialogen med lärarna. Studentinflytande kan också innebära involvering av studenter i kursplaneringen och information till studenterna om hur tidigare kursvärderingar har påverkat innevarande kurs. Ett delsyfte med frågan är att medvetandegöra och diskutera studentinflytandefrågor. Frågan har lämnats öppen för att studenterna fritt ska kunna tolka studentinflytande men kursens aktuella former för studentinflytande kan specificeras. Fråga 15-16: Undervisning med forskningsanknytning. Frågan fokuserar studenternas upplevelse av undervisningens forskningsanknytning, inte om kursen i själva verket har en forskningsanknytning. Frågan kan kopplas till kvalitetsplanens mål om att undervisningsformerna för varje kurs ska utvecklas med syftet att tydligare koppla undervisningen till forskning. Frågan fungerar givetvis bättre på fortsättningskurser än på nybörjarkurser. Fråga 17-18: Information om möjligheter att gå vidare till master- respektive forskarutbildning. Denna fråga kan ställas på kurser i slutet av grundutbildningen. Fråga 19-20: Kursens nivå anpassat efter studenternas förkunskaper. Frågan undersöker hur studenterna bedömer sina förkunskaper. Frågan är formulerad så den fångar upp studenter som tycker de har för låga förkunskaper, såväl som de som tycker att kursen ligger på en för låg nivå i förhållande till deras förkunskaper. Fråga 21-22: Yrkesrelevans. Kurser har olika yrkesrelevans och yrkesrelevansen kan vara mer eller mindre tydlig. Det är viktigt att frågan diskuteras med studenterna för att medvetandegöra dem om vilka kunskaper och kompetenser som kan vara relevanta på arbetsmarknaden. Frågan kan kopplas till utvecklingen av gränsöverskridande handlingskompetens; ett av grundbegreppen i Malmö högskolas vision.
10(10) Fråga 23-24: Kursens relevans i förhållande till studentens hela utbildning. Frågans formulering syftar till det stora antalet studenter som går fristående kurser eller som kombinerar fristående kurser med program. Om kursen ingår i ett program kan frågan med fördel omformuleras till: Hur bedömer du kursens relevans i förhållande till programmet? Den ger kunskap om kursens relevans för studenters individuella studieplanering, samtidigt som den får studenterna att reflektera kring sammanhanget i sin utbildning. Fråga 25-26: Ändringar som gjorts sedan kursen gick förre gången. Det är alltid en bra idé att använda kursvärderingen för att följa upp ändringar som gjorts, eventuellt utifrån synpunkter som framkommit i tidigare kursvärderingar. De konkreta ändringarna kan specificeras i matrisens rader. Frågan är också ett sätt att visa att kursvärderingar kan leda till konkreta förändringar. Fråga 27: Andra kommentarer och förslag till förändringar. Den avslutande, öppna frågan, som ger studenten möjlighet att ge kommentarer och förslag till förändringar av kursen, är bra att ha med för att fånga upp sådant som studenterna inte tidigare har kunnat föra fram i enkäten.