Kursvärdering och kursutvärdering vid HT-fakulteterna

Transkript

1 PM Dnr STYR 2016/XXX Lisa Hetherington, fakultetssekreterare Kursvärdering och kursutvärdering vid HT-fakulteterna Inledning och bakgrund Under flera år fram till 2013 bedrev studierektorsnätverket ett utvecklingsarbete kring kursvärderingar vid HT-fakulteterna. Ett syfte med detta var att uppdatera den då gällande fakultetsgemensamma enkäten. När Lunds universitet 2012 upphandlade ett verktyg för enkätundersökningar (Survey & Report) införlivades även tanken att kursvärderingar med en gemensam enkät skulle kunna genomföras digitalt i verktyget. En gemensam enkät och gemensamma rutiner fastslogs i en policy daterad (Dnr HT 2013/183, se Bilaga). Policyn stipulerar att rutinerna skulle diskuteras årligen under en uppbyggnadstid. Detta för att policyn reglerade såväl enkäter som rutiner i stor detalj, och det sågs som viktigt att kunna revidera dessa. I september 2014 hölls ett möte med studierektorsnätverket där institutionerna berättade hur långt de hade kommit med att implementera policyn, och kursutvärderingar var också ett tema för studierektorsinternatet samma år. Man hade redan då en hel del synpunkter på såväl rutinerna som enkäten. Utbildningsledaren och nämndens sekreterare höll under våren 2016 särskilda dialoger med alla institutioner, och fick av grundutbildningsnämnden i uppdrag att sammanställa resultatet från dessa som del av ett beslutsunderlag till nämnden rörande revidering av policy, rutiner, den fakultetsgemensamma enkäten och de system som används. I det följande beskrivs de erfarenheter och problemområden som kommit fram under arbetets gång och hur vi har resonerat kring det förslag till tillämpningsföreskrifter för kursvärderingar och kursutvärderingar som återfinns som bilaga. Nuvarande policy och fastställda rutiner Nu gällande policy beskriver grunderna i en hantering av kursvärderingar som är fakultetsgemensam. Den fastslår vissa principer för kursutvärdering och uppföljning, och utgår ifrån att samtliga helkurser ska utvärderas med en fakultetsgemensam enkät i verktyget Survey & Report (S&R). En viktig komponent i enkäten är att varje kurs lärandemål ska finnas med. För detta ändamål har mallar för samtliga kurser vid HT-fakulteterna lagts in i S&R och nya mallar (för nya kurser) skapas av grundutbildningsnämndens sekreterare på begäran från studierektor. I anslutning till nu gällande policy finns en guide som beskriver hur en enkät kan och ska skapas (från en kursspecifik mall) i S&R samt hur man skapar en kursutvärderingsrapport och sprider/publicerar denna. Policyn Postadress Box 192, LUND Besöksadress LUX Helgonavägen 3, LUND Telefon , E-post lisa.hetherington@kansliht.lu.se Webbadress

2 fastslår innehållet i rapporten samt vilka tidsramar för återkoppling till studenter som normalt ska gälla. 2 Genom de olika samtal som de senaste åren har förts har vi fått en bild av verksamheternas arbete med kursvärderingar och kursutvärderingar och vilka fördelar och utmaningar som införandet av den fakultetsgemensamma enkäten/rutinerna har inneburit. Arbetet med att ta fram och implementera policyn har på ett positivt sätt satt ljuset på kursvärderingarna och hur de kan användas i kursutvecklingsarbetet. Survey & Report som verktyg har varit underlättande för vissa och upplevts som en stor belastning för andra. Inom de flesta ämnen används nu S&R i stort enligt policyn (för enkäter digitalt eller på papper), även om rutinerna kan skilja sig åt särskilt vad gäller återkoppling till studenter och publicering av kursutvärderingsrapporterna. En del har använt S&R under en period men valt att sluta med det av olika skäl. Andra använder S&R enligt egna rutiner, med delvis förändrade enkäter eller systeminställningar. Några institutioner har påbörjat egna processer kring utveckling av arbetet med kursutvärdering och enkäter, även avseende programutvärdering som det saknas fakultetsgemensamma principer för. Sammantaget ser vi de här sakerna som tecken på att de fakultetsgemensamma rutinerna inte alltid svarar mot verksamhetens behov i kvalitetsarbetet på ett adekvat sätt. Vi vill lyfta fram några viktiga och ofta återkommande punkter: Helkursutvärderingar. Nuvarande policy fokuserar på helkurser, vilket är ett sätt att säkerställa att lagkravet uppfylls. Många menar dock att en enkät som ställer väldigt övergripande kryssfrågor (bedömning på skala 1-5) på en stor kurs med flera delkurser ger ett resultat som är svårt att tolka och därmed i princip omöjligt att använda kvalitativt för utveckling. Eftersom helkursutvärderingen är ett krav görs det på en del ställen dubbelarbete av studierektorn: man genomför helkursutvärderingen, men gör dessutom delkursutvärderingar med frågor som känns mer angelägna för kursutveckling. Enkätfrågorna. Den gemensamma enkäten innehåller i princip bara kryssfrågor, där studenten ska välja ett svarsalternativ eller ta ställning till ett påstående. Kryssfrågor kan enkelt sammanställas av S&R i en rapport, vilket var en av tankarna med att övergå till den typen av frågor i enkäten. En annan tanke var att man kan jämföra svarstendenser över tid om man ställer samma frågor på samma kurs många terminer i följd. Efter att ha använt enkäten i några år är det dock många som tycker att det sammanställda resultatet är svårt att tolka och att det trots allt är i fritextsvaren man verkligen kan se studenternas synpunkter och erfarenheter. I princip alla tycker att det är bra att utvärdera mot lärandemålen, men de allra flesta tycker att den nuvarande uppställningen i en tvådelad matris är för krånglig (och att den gör slutrapporten orimligt lång). Svarsfrekvensen. Det är inte en skyldighet för studenterna att fylla i en kursvärderingsenkät, men det är förstås viktigt att få en så hög svarsfrekvens som möjligt om man ska kunna använda resultatet av enkäten som underlag för kursutveckling. Dålig svarsfrekvens på digitala enkäter är ett problem som de flesta ämnen vittnar om, och man har försökt hitta olika lösningar på detta antingen genom att använda S&R:s pappersenkätfunktion eller på andra sätt. Det finns inga enkla svar på hur man ökar svarsfrekvensen, men det finns goda exempel på att

3 information från läraren är viktigt, liksom att studenterna ser att deras synpunkter leder till någonting genom återkoppling. Återkoppling och rapportpublicering. Enligt nuvarande policy ska kursutvärderingsrapporter publiceras på kurshemsidorna (genom en för ändamålet byggd funktion på intranätet). Detta ses ibland som potentiellt problematiskt, särskilt i de fall där man måste ta ställning till om en rapport med väldigt dålig svarsfrekvens kan anses representativ för studentgruppens åsikter. Det är också tydligt att återkopplingen till studenterna inte alltid fungerar som den ska. Tidsåtgång och rutiner. Kursutvärdering är en viktig men också tidskrävande uppgift. En tanke bakom införandet av S&R som verktyg för genomförandet av enkätdelen av kursutvärderingsprocessen var att detta skulle innebära en tidsbesparing. Så har inte alltid varit fallet, tvärtom har det i vissa fall lett till ett omfattande merarbete särskilt när man arbetar med dubbla processer. För att kursvärderingar ska kunna fylla sitt dubbla syfte med att å ena sidan ge studenter möjlighet att lämna synpunkter och å andra sidan ge institutionen underlag till kvalitetsutveckling behöver man se till att arbetstid läggs på rätt saker. Pedagogisk meritering. Den fakultetsgemensamma enkäten ställer medvetet inga frågor om individuella lärare, eftersom syftet var att fokusera på studentens lärande snarare än lärarens prestation. Detta ses som positivt av vissa, medan andra ser ett behov hos lärare att kunna använda kursvärderingsresultat i sin pedagogiska portfölj och vill hitta sätt att kunna hantera detta. Programutvärderingar. Det är bara utvärdering av kurs som är föreskrivet i lag. I ett kvalitetsutvecklingshänseende finns det dock anledning att även titta på hur man utvärderar större enheter, såsom program, utifrån t.ex. programmål och studenternas bild på helheten. Flera institutioner tog upp frågan om programutvärderingar och avser arbeta vidare med former för detta. 3 Inför en revidering av policyn och den tillhörande guiden har man överlag velat ha ett tydligare fokus på kursvärderingar som verktyg för kvalitetsutveckling, förutom att säkerställa att HT arbetar enligt lagar och föreskrifter. Man vill ha ett nedtonat fokus på metod och vilket system som ska användas och man vill se läraren och det pedagogiska arbetet i centrum. De precisa formerna för återkoppling och publicering av rapporter har setts som alltför hårt hållna och man vill också se möjligheter för andra former av utvärdering än bara en hårt hållen form för helkursutvärdering. Förslag till nya tillämpningsföreskrifter Mot ovanstående bakgrund har vi valt att inte revidera den detaljerade policyn, utan istället ersätta den med betydligt mer grundläggande tillämpningsföreskrifter. Dessa syftar till att synliggöra de rektorsföreskrifter HT-fakulteterna har att förhålla sig till, samt tydliggöra de aspekter av kursutvärderingsarbetet som bör vara centrala och därför fakultetsgemensamma. Utgångspunkterna är desamma som institutionerna önskade redan 2014: att med ett grundläggande regelverk se till att lagar och föreskrifter följs, men att inte detaljstyra metoden. Vårt förslag är därför att kravet på att använda en fakultetsgemensam enkät släpps, liksom kravet på den fakultetsgemensamma metoden för genomförandet av kursvärderingen. Förslaget till tillämpningsföreskrifter fokuserar istället på några komponenter:

4 Kursutvärdering på helkursnivå. Enligt lag ska studenten ges möjlighet att lämna synpunkter på genomförd kurs, vilket i högskoleförordningen alltid betyder helkurs (kurskod, kursplan). Vår tolkning av detta är dock att så länge studenten får lämna synpunkter på alla delar av en kurs (delkurser, eller t.o.m. moment) så måste inte en specifik enkät på hela kursen också genomföras. Däremot menar vi att för överblicken (för såväl student som lärare och studierektor), ska sammanställningen kursutvärderingen göras på helkursnivå. 4 Enkätens innehåll. Vi föreslår alltså att ingen ny fakultetsgemensam enkät arbetas fram, utan att verksamheten får ta fram egna enkäter som svarar mot de egna behoven eller fortsätta använda de befintliga enkätmallarna i S&R, om man så önskar. Som ett tillägg eller förtydligande till rektors föreskrifter föreslås dock att enkäterna ska innehålla frågor om kursens samordning mellan lärandemål, läraktiviteter och examination. Vi menar, i likhet med de studierektorer vi pratat med, att det är viktigt att lärandemålen finns med i kursvärderingen. Man kan dock tänka sig andra modeller för detta än den nuvarande frågematrisen, såsom att kursplanen finns med som en bilaga till en pappersenkät, eller att lärandemålen finns med i en S&R-enkät i en enklare matris. Återkoppling. Något som alltid framhållits som viktigt, och också reglerat i lag/föreskrift, men som inte alltid fungerar i praktiken, är återkoppling till studenterna som gått kursen. I den nuvarande policyn läggs en hel del fokus på att kursutvärderingsrapporterna ska publiceras på kurshemsidorna. Den typen av publik hantering är inte reglerad och vi föreslår ingen föreskrift rörande publik hantering i förslaget till tillämpningsföreskrifter. Det är dock mycket viktigt att återkopplingen till studenterna som har gått kursen fungerar. Vi menar att studenterna därigenom ser att deras synpunkter tas på allvar, vilket också kan leda till en bättre kultur kring besvarandet av enkäter. Därför vill vi särskilt trycka på att kursutvärderingar ska skickas till studenter, och att detta ska ske genom e-post. Om man använder S&R kan man skicka en länk till den rapport som systemet genererar och om man tar fram en sammanställning på något annat sätt skickar man den som dokument. Integritet. Kurser med få deltagare och kurser med dålig svarsfrekvens leder till problem med anonymitet. I förslaget till tillämpningsföreskrifter är formuleringen öppnare och innebär att man från fall till fall måste göra en bedömning av hur man bäst kan hantera studenternas och lärarnas integritet. Vi vill dock särskilt peka på att även i kurser med få deltagare måste studenten få möjlighet att lämna synpunkter. Vi menar också att det ska vara regel att lärare inte nämns med namn i sammanställningarna (även om kursvärderingen i sig har ställt frågor om individuella lärares undervisning). Studentmedverkan. Den fakultetsgemensamma enkäten och policyn togs fram tillsammans med studentrepresentanter. Vi vill i förslaget till föreskrifter påpeka att det är viktigt att studentrepresentanter finns med i processen när man tar fram andra enkäter/sätt att arbeta en formulering om detta återfinns också i Rättighetslistan. Slutligen hänvisar föreskrifterna till dokumenthanteringsprinciperna som gäller vid Lunds universitet. Enkäter som studenter har fyllt i ska gallras efter två år, medan sammanställningarna av resultaten kursutvärderingarna ska bevaras.

5 Institutionen ansvarar för sin egen arkivering av dessa, antingen genom att de sparas i S&R eller genom att de sparas på något annat sätt. 5 Förslag till beslut Grundutbildningsnämnden föreslås att skicka förslaget till tillämpningsföreskrifter på remiss till HT-fakulteternas institutioner