Granskning av kursvärderingar

Transkript

1 Revisionsrapport Dnr: 2014/ Granskning av kursvärderingar Enligt beslutad revisionsplan för 2014 genomfördes en granskning av universitetets arbete med kursvärderingar. Granskningen utfördes av Julia Lindholm, Transcendent Group. Linnéuniversitetet har utarbetat förslag till åtgärder med anledning av rapporten. Internrevisionen överlämnar härmed rapporten. Carina Rydstedt Internrevisionschef

2 Kursvärderingar Linnéuniversitetet Otillfredsställande Större förbättringsmöjligheter Förbättringsmöjligheter Tillfredsställande Sammanfattande bedömning av granskat område: Större förbättringsmöjligheter: En eller flera kritiska iakttagelser i den interna styrningen och kontrollen noterade vilka kan resultera i en oacceptabel risknivå. Kursvärderingar Transcendent Group 2 (23)

3 Kursvärderingar Transcendent Group 3 (23)

4 Sammanfattning På uppdrag av internrevisionschefen vid Linnéuniversitetet (LNU) har Transcendent Group utfört en granskning av universitetets arbete med kursvärderingar. Syftet med granskningen har varit att utvärdera om universitetets arbete med studentinflytande kring kvaliteten i utbildningen genom kursutvärderingar bedrivs på ett effektivt och ändamålsenligt sätt. Internrevisionens granskning har visat på att universitetet har stora förbättringsmöjligheter i arbetet med kursvärderingarna och att det är ett område som ytterligare behöver prioriteras, formaliseras och följas upp. LNU behöver ställa krav på, samt skapa förutsättningar för, att kursvärderingar faktiskt genomförs på alla kurser. Ett förbättringsarbete har redan påbörjats vilket internrevisionen ser mycket positivt på. Idag kan de flesta fakulteter inte svara på om kursvärderingar faktiskt har genomförts på alla avslutade kurser då ingen uppföljning görs. Det går inte heller att få en överblick över de kursvärderingar som genomförts på grund av de stora variationerna i hur de genomförs och kommuniceras. Den statistik som internrevisionen har kunnat få ta del av visar dock på att långt ifrån alla kurser som gick VT2014 har utvärderats. Granskningen har även visat att det är ett problem att svarsfrekvensen på elektroniska kursvärderingar ofta är väldigt låg. Med en alltför låg svarsfrekvens bör det inte vara relevant att dra några slutsatser med anledning av resultatet och kursvärderingarna blir således inget effektivt kvalitetsverktyg. Det har även framkommit att det finns brister i spårbarheten och dokumentationen av huruvida resultatet att genomförda kursvärderingar omhändertas, analyseras och leder till faktiska förbättringsåtgärder som ger resultat. En annan central iakttagelse i granskningen är kopplat till fritextsvaren i kursvärderingarna. Det har dels framkommit att det finns ett problem gällande kränkande kommentarer och personangrepp kring enskilda lärare i fritextsvaren. Det har även framkommit att det finns en risk att resultatet av elektroniska kursvärderingar kan förskönas i och med att det finns en möjlighet att justera fritextsvaren. Därutöver finns det systembrister i Survey & Report vilket innebär att anonymiteten kan ifrågasättas i de elektroniska kursvärderingarna Astrid Algulin Kvalitetssäkrare, CIA Julia Lindholm Utförare Kursvärderingar Transcendent Group 4 (23)

5 Innehåll Sammanfattning 4 Innehåll 5 Inledning 6 Bakgrund 6 Syfte och omfattning 6 Metod 7 Identifierade iakttagelser och förbättringsområden 8 1. Bristande formalisering och uppföljning av arbetet kopplat till kursvärderingar Bristande möjlighet att använda kursvärderingar som effektivt kvalitetsverktyg på grund av låga svarsfrekvenser LNU kan inte visa på att kursvärderingarna leder till faktiska kvalitetshöjande förbättringar Brister i kommunikationen av resultatet av kursvärderingarna Problem med kränkande kommentarer om lärare i fritextsvar Systembrister i Survey & Report Bristande kvalitet i enkäternas utformning Avsaknad av formellt fastslagen policy för studentinflytande 21 Bilaga 1: Metod 22 Kursvärderingar Transcendent Group 5 (23)

6 Inledning Bakgrund Linnéuniversitetet (LNU) har i sin interna riskanalys identifierat risken för bristande kvalitet i utbildningen som en av universistetets prioriterade risker. Med bakgrund i denna risk har internrevisionschefen vid LNU givit Transcendent Group i uppdrag att genomföra en granskning av universitetets arbete med studentinflytande kring kvaliteten i utbildningen med fokus på kursvärderingar. Enligt 1 kap 4a högskolelagen (1992:1434) ska studenterna ha rätt till inflytande över utbildningen och lärosätena ska verka för att studenterna deltar aktivt i arbetet med att vidareutveckla utbildningen. Enligt 1 kap 14 högkoleförordningen (1993:100) skall lärosätena ge de studenter som deltar i eller har avslutat en kurs möjlighet att framföra sina erfarenheter samt synpunkter från kursen genom en kursvärdering som anordnas av lärosätet. Lärosätet skall sammanställa kursvärderingarna samt informera om resultaten och eventuella beslut om åtgärder som föranleds av kursvärderingarna. Grunden för ett effektivt kvalitetsarbete är att att arbeta med ett systematiskt förbättringsarbete där man kontinuerligt följer upp, analyserar, utvecklar och säkrar kvalitet för att uppnå ständiga successiva förbättringar. Syftet med kursvärderingar är att erbjuda studenter möjlighet till inflytande. De ska dessutom fungera kvalitetshöjande genom att utgöra underlag för jämförelse, utveckling och förbättring av kursen över tid. Av kursvärderingarna ska det framgå i vilken grad kursens organisation, struktur och genomförande har givit förutsättningar för studenternas måluppfyllelse. Kursvärdering ska genomföras för varje kurs som har en egen kursplan. Syfte och omfattning Syftet med granskningen har varit att utvärdera om universitetets arbete med studentinflytande kring kvaliteten i utbildningen genom kursutvärderingar bedrivs på ett effektivt och ändamålsenligt sätt. Granskningen har utförts genom intervjuer med utbildningsledare från samtliga fakulteter alternativt de som delegerats det övergripande ansvaret för kursvärderingar, samt med representanter från Linnéstudenterna. Därutöver har granskningen genomförts genom dokumentationsgranskning samt genom substansgranskning av tjugo genomförda kursvärderingar. Ett antal frågeställningar har även besvarats via mejl av de kursansvariga för de kurser som omfattats av de granskande kursvärderingarna. Kursvärderingar Transcendent Group 6 (23)

7 Granskningen har omfattat följande övergripande frågeställningar: Bidrar nuvarande rutiner och arbetssätt avseende studentinflytande och kursvärderingar till önskad utveckling och förbättring av kvaliteten i utbildningen? Hur efterlever LNU högskolelagens och högskoleförordningens skrivningar gällande studentinflytande och kursvärderingar? Finns en tydlig ansvarsfördelning gällande utbildningskvalitet samt kursvärderingars genomförande, sammanställning, analys och återkoppling? Metod Granskningen har utförts i enlighet med fastställd uppdragsbeskrivning. För ytterligare information om metod och vilka personer som intervjuats inom ramen för granskningen; se bilaga 1. Kursvärderingar Transcendent Group 7 (23)

8 Identifierade iakttagelser och förbättringsområden Baserat på resultatet av genomförd granskning har internrevisionen identifierat ett antal iakttagelser där vi ser att LNU har förbättringsmöjligheter. Rapporten är skriven på avvikelsebasis och beskriver därför inte det som fungerar väl kring arbetet med kursvärderingar. Riskklassificering Respektive noterad iakttagelse har riskklassificerats enligt följande skala: Mycket hög Hög Låg Kriterierna för den riskbedömning som gjorts avseende granskningen har grundat sig på en sammanvägning av sannolikheten för händelsens inträffande samt den möjliga konsekvens som händelsens inträffande kan innebära för verksamheten. Riskklassificering för samtliga identifierade förbättringsområden I följande tabell presenteras riskerna kopplade till identifierade iakttagelser: # Iakttagelse Risk Risknivå 1. Bristande formalisering och uppföljning av arbetet kopplat till kursvärderingar. 2. Bristande möjlighet att använda kursvärderingar som effektivt kvalitetsverktyg på grund av låga svarsfrekvenser. Risk att LNU bryter mot högskoleförordningen och inte genomför kursvärderingar efter alla avslutade kurser. Risk att avsaknad av tydliga rutiner för kursvärderingar gör att kursvärderingar inte blir det effektiva kvalitetsverktyg som de skulle kunna vara. Risk att resultatet av kursvärderingarna inte är representativt om svarsfrekvensen är för låg. Risk att LNU drar slutsatser och genomför förändringar i en kurs baserat på ett icke representativt resultat från en kursvärdering, då LNU saknar riktlinjer kring när resultatet ska anses vara representativt och därmed kunna ligga till grund för analys och beslut om eventuella förändringar. Risk att vare sig lärare eller studenter känner engagemang kring kursvärderingarna och att de inte ser dem som ett viktigt kvalitetsverktyg, vilket kan leda till bristande kvalité i utbildningen samt till försämrat rykte för LNU som ett kvalitativt lärosäte. Hög Kursvärderingar Transcendent Group 8 (23)

9 3. LNU kan inte visa på att kursvärderingarna leder till faktiska kvalitetshöjande förbättringar. 4. Brister i kommunikationen av resultatet av kursvärderingarna 5. Problem med kränkande kommentarer om lärare i fritextsvar Risk att brister och möjligheter som framkommer i kursvärderingar inte omhändertas, analyseras och leder till konkreta förbättringar över tid. Risk att analysen av resultatet av kursvärderingen och kursutvecklingen blir för personberoende om inte kursansvarig involverar hela lärarlaget. Risk att för bristande kvalitet i arbetet med kursvärderingar på grund av att kursansvariga inte har den tid som krävs för att prioritera arbetet. Risk att resultatet av kursutvärderingar samt analys och eventuella vidtagna åtgärder inte återkopplas till studenterna på ett enhetligt och tillräckligt sätt. Risk att den bristande återkopplingen leder till minskat engagemang för studenter att genomföra kursvärderingar på kommande kurser. Risk för arbetsmiljöproblem om lärare på ett ocensurerat sätt tvingas ta del av kränkande kommentarer och personangrepp riktade mot dem själva i fritextsvaren. Risk att verkliga problem med lärare inte når fram till och tas om hand av personalansvarig chef i de fall kommentarerna bara raderas. 6. Systembrister i Survey & Report Risk att en kursvärderingsenkät som utger sig för att vara anonym inte är helt anonym. Risk att kursansvariga förskönar resultatet av genomförda kursvärderingar. 7. Bristande kvalitet i enkäternas utformning 8. Avsaknad av formellt fastslagen policy för studentinflytande Risk att studenterna tappar intresset och svarar slentrianmässigt om kursvärderingsenkäterna är för omfattande. Risk att kursvärderingarna inte utvärderar kvaliteten i kursen tillräckligt om utvärderingen inte relaterar till kursmålen. Risk att studenterna blir förvirrade om terminologin skiljer sig för mycket åt mellan olika kurser. Risk att studenter samt anställda vid LNU inte känner till studenternas rätt till studentinflytande och LNU:s mål och arbete med studentinflytandefrågor. Låg Låg Identifierade iakttagelser och internrevisionens rekommendationer för att hantera dessa beskrivs mer ingående nedan. Kursvärderingar Transcendent Group 9 (23)

10 1. Bristande formalisering och uppföljning av arbetet kopplat till kursvärderingar Iakttagelse Att arbeta på ett strukturerat sätt med kursvärderingar bör ses som en central del i universitet och högskolors strävan att löpande förbättra kvaliteten i utbildningen. Högskoleförordningen ställer dessutom krav på att studenterna ska ges möjlighet att framföra sina erfarenheter och synpunkter efter varje genomförd kurs. Internrevisionens granskning har visat på att LNU har stora förbättringsmöjligheter i arbetet med kursvärderingarna och att arbetet ytterligare behöver prioriteras, formaliseras och följas upp. Fram tills idag har det inte funnits något enhetligt arbetssätt för genomförande, analys, omhändertagande, återkoppling och uppföljning av kursvärderingar inom LNU. Det finns stora skillnader mellan fakulteterna, men även inom fakulteterna skiljer sig arbetet åt. Även om de flesta fakulteter kan visa på någon slags fakultetsgemensam rutin för kursvärderingar finns det brister i efterlevnaden av dessa och alla kursansvariga arbetar istället så som de själva tycker fungerar bäst. Det kan finnas anledningar till att man på fakultetsnivå eller enskild kursnivå behöver anpassa arbetet med kursvärderingar efter olika unika förutsättningar, men överlag bör ett effektivare och mer kvalitativt arbete med kursvärderingar kunna skapas med ytterligare central styrning. Det har hittills saknats central styrning gällande kursvärderingar vid LNU. Rektor har dock nyligen beslutat om att alla från och med den 1 november enbart ska använda sig av Survey & Report för kursvärderingar. Det har också beslutat om ett antal obligatoriska LNU-övergripande frågor som ska ställas inledningsvis i alla kursvärderingar. I samband med detta kommer avdelningen Utbildningsmiljö (inom universitetsbiblioteket) att ta fram ytterligare instruktioner för hur kursvärderingsenkäter ska skapas. Idag kan de flesta fakulteter inte svara på om kursvärderingar har genomförts på alla avslutade kurser då ingen uppföljning görs. En av orsakerna till avsaknaden av uppföljning är att det fram tills nu inte har gått att få en överblick över de kursvärderingar som genomförts på grund de stora variationerna i hur kursvärderingarna genomförs samt hur de kommuniceras. Endast en av fakulteterna har kunnat visa på statistik för andelen kurser som utvärderats, detta på grund av att de redan genomför alla kursvärderingar i Survey & Report. Statistiken visar dock på att långt ifrån alla kursen som gick under VT2014 har utvärderats. Internrevisionen bedömer att risken att det ser likadant ut på de andra fakulteterna är stor. Risk Hög Risk att LNU bryter mot högskoleförordningen och inte genomför kursvärderingar efter alla avslutade kurser. Risk att avsaknad av tydliga rutiner för kursvärderingar gör att kursvärderingar inte blir det effektiva kvalitetsverktyg som de skulle kunna vara. Kursvärderingar Transcendent Group 10 (23)

11 Rekommendation Vi rekommenderar LNU att ytterligare prioritera arbetet med kursvärderingar. Det är viktigt att ledningen på såväl universitetsnivå, som på fakultets- och institutionsnivå ser kursvärderingarna som en prioriterad fråga och en viktig central del i LNU:s kvalitetsarbete. Vad ledningen ser som viktiga och prioriterade frågor smittar vanligtvis av sig till kursansvariga, vilka i sin tur visar ett större engagemang i frågan gentemot studenterna. Vi rekommenderar även LNU att ställa krav på, samt skapa förutsättningar för, att kursvärderingar faktiskt genomförs på alla kurser. Därtill måste uppföljning ske av att det faktiskt genomförs. I och med att alla kursvärderingar från och med den 1 november ska genomföras i Survey & Report kommer förutsättningarna för att följa upp kursvärderingarna troligtvis att förbättras. Vi rekommenderar även LNU att fastställa centrala kravställningar kring kursvärderingar i en övergripande riktlinje som sedan fakulteterna bör utgå ifrån vid skapandet av rutiner för kursvärderingar på fakultetsnivå. De centrala riktlinjerna kring kursvärderingar bör med fördel koppas tydligt till LNU:s hela kvalitetsarbete kopplat till utbildningen på grund och avancerad nivå, i vilka kursvärderingar bör vara en central del. Flera av de resterande iakttagelserna i denna rapport bör kunna ligga till grund för såväl de centrala riktlinjerna som rutinbeskrivningarna på fakultetsnivå. Kursvärderingar Transcendent Group 11 (23)

12 2. Bristande möjlighet att använda kursvärderingar som effektivt kvalitetsverktyg på grund av låga svarsfrekvenser Iakttagelse Såväl i stickprovsgranskningen som i samtal med utbildningsledare och kursansvariga har det framkommit att det är ett stort problem att svarsfrekvensen på elektroniska kursvärderingar många gånger är väldigt låg. Det är inte ovanligt att svarsfrekvensen ligger på runt procent. Med en för låg svarsfrekvens bör det inte vara relevant att dra några slutsatser med anledning av resultatet, då svaren inte kan anses vara representativa. Ingen av fakulteterna har fastställt några nivåer för hur hög svarsfrekvensen bör vara för att resultatet ska anses vara representativt och därmed kunna ligga till grund för analys och beslut om eventuella förändringar. För att kursvärderingarna ska kunna ses som ett effektivt kvalitetsverktyg behöver svarsfrekvensen öka. Internrevisionens bedömning är att ungefär hälften av alla kursvärderingar genomförs elektroniskt och hälften via pappersenkäter. Pappersenkäter som delas ut på sista undervisningstillfället eller i samband med tentamen har visat sig ge en avsevärt högre svarsfrekvens än elektroniska enkäter. Ekonomihögskolan har helt gått tillbaka till att enbart använda pappersenkäter, just av anledningen att svarsfrekvensen blev så låg vid elektroniska enkäter att resultatet inte blev representativt. I Survey & Report som framöver kommer att vara det obligatoriska kursvärderingssystemet vid LNU finns möjligheten att skanna in pappersenkäter och elektroniskt bearbeta resultatet. En annan avgörande faktor för svarsfrekvensen som många nämner är lärarnas engagemang och inställning till kursvärderingarna, samt att kunna visa på att kursvärderingarna faktiskt föranleder konkreta förbättringar. Ett sätt att visa på detta är att alltid inleda nya kurser som startar med att gå igenom resultatet av den senaste kursvärderingen och visa på hur man analyserat det och vilka eventuella förändringar som gjorts. I granskningen har det framkommit att flera lärare verkar se kursvärderingarna mer som en administrativ börda, snarare än ett potentiellt verktyg för att kunna förbättra kvaliteten i kursen. Risk Risk att resultatet av kursvärderingarna inte är representativt om svarsfrekvensen är för låg. Risk att LNU drar slutsatser och genomför förändringar i en kurs baserat på ett icke representativt resultat från en kursvärdering, då LNU saknar riktlinjer kring när resultatet ska anses vara representativt och därmed kunna ligga till grund för analys och beslut om eventuella förändringar. Risk att vare sig lärare eller studenter känner engagemang kring kursvärderingarna och att de inte ser dem som ett viktigt kvalitetsverktyg, vilket kan leda till bristande kvalité i utbildningen samt till försämrat rykte för LNU som ett kvalitativt lärosäte. Kursvärderingar Transcendent Group 12 (23)

13 Rekommendation Vi rekommenderar LNU att inleda ett arbete med att se över hur svarsfrekvensen i kursvärderingarna kan förbättras. Svarsfrekvensen i pappersenkäter har visats sig bli betydligt högre, men då pappersenkäter vare sig är miljövänligt eller känns särskilt modernt och dessutom kräver en något ökad administrativ insats bör LNU utreda hur de kan skapa bättre förutsättningar för att få en godtagbar svarsfrekvens även på elektroniska kursvärderingar framöver. Vi rekommenderar även LNU att fastställa en nivå för hur hög svarsfrekvensen bör vara för att resultatet ska anses vara representativt och därmed kunna ligga till grund för analys och beslut om eventuella förändringar. Vi rekommenderar slutligen LNU att arbeta aktivt med att öka statusen på kursvärderingarna, såväl bland lärare som bland studenter. En attitydförändring måste till och man måste kunna visa på att kursvärderingarna inte bara är någonting man utför på grund av högskoleförordningen ställer krav på det, utan att det faktiskt är ett effektivt kvalitetsverktyg som leder till faktiska förbättringar. Det är viktigt att studenterna är medvetna om att de faktiskt har möjligheter att påverka kvaliteten i utbildningen. Det bör vara obligatoriskt att alltid inleda nya kurser som startar med att gå igenom resultatet av den senaste kursvärderingen och visa på hur man analyserat det och vilka eventuella förändringar som gjorts. Denna rekommendation har en tydlig koppling till rekommendationen till iakttagelse 1 kring ledningens inställning. Kursvärderingar Transcendent Group 13 (23)

14 3. LNU kan inte visa på att kursvärderingarna leder till faktiska kvalitetshöjande förbättringar Iakttagelse För att kursvärderingarna faktisk ska vara ett givande verktyg för att förbättra kvaliteten i utbildningen är det viktigt att resultatet av kursvärderingarna omhändertas, analyseras och leder till faktiska förbättringsåtgärder som ger resultat. Stickprovsgranskningen av kursvärderingar har visat på stora brister i spårbarheten i hur resultatet av kursvärderingar omhändertas och analyseras och leder till faktiska förbättringsåtgärder. I de flesta fall saknas en dokumenterad analys av resultatet av kursvärderingen, många kursansvariga kan däremot nämna några exempel på kvalitetshöjande åtgärder som vidtagits med anledning av resultatet av kursvärderingarna när de får frågan. FHL genomför kursvärderingar för samtliga kurser, då utbildningsadministratörer skickar ut elektroniska enkäter till studenterna automatiskt i slutet av varje kurs. När internrevisionen bad utbildningsadministratörerna om statistik över hur många sammanställningar av kursvärderingar innehållande kursansvariges analys och kommentarer som de fått tillbaka för arkivering hade de bara fått in 35 procent av alla kursvärderingar från VT 2013 och 22 procent av alla kursvärderingar från VT Av de kursvärderingar som utförts på Ekonomihögskolan uppges bara en handfull sammanställningar innehållande kursansvariges analys och kommentarer ha arkiverats. Internrevisionen vill tydliggöra att ovan nämnda fakulteter är de enda som kunnat uppvisa någon form av uppgifter på detta, men att det med hänsyn till de stickprov som tagits bedöms vara ett genomgående problem vid samtliga fakulteter. Många kursansvariga lyfter fram att kursvärderingarna tar för mycket tid i anspråk och att kvaliteten i arbetet därmed blir bristande. Flera av de intervjuade lyfter fram vikten av att man bör diskutera resultatet av utvärderingarna i hela lärarlaget som arbetar med kursen, då fler än kursledaren bör ha insyn i kursutvärderingen och den framtida utvecklingen av kursen. Internrevisionen har inte sätt särskilt många exempel på där detta görs. Många lyfter även fram att det är viktigt att väga in även andra erfarenheter från kursen på ett mer systematiskt sätt i kvalitetsutvecklingen, exempelvis lärarnas egna upplevelser och erfarenheter av kursen, muntliga relevanta synpunkter som framkommit från studenterna, tentamensresultatet etc. Det administrativa stödet som de kursansvariga har att tillgå gällande administration av kursvärderingar skiljer sig åt mellan olika fakulteter. Vissa fakulteter har administratörer som sköter allt det administrativa kring kursvärderingar, förutom analysen av resultatet. Vid andra fakulteter sköter den kursansvarige all administration kring kursvärderingar själv. Kursvärderingar Transcendent Group 14 (23)

15 Risk Risk att brister och möjligheter som framkommer i kursvärderingar inte omhändertas, analyseras och leder till konkreta förbättringar över tid. Risk att analysen av resultatet av kursvärderingen och kursutvecklingen blir för personberoende om inte kursansvarig involverar hela lärarlaget. Risk att för bristande kvalitet i arbetet med kursvärderingar på grund av att kursansvariga inte har den tid som krävs för att prioritera arbetet. Rekommendation Vi rekommenderar LNU att tydliggöra vikten av att resultatet av kursvärderingarna analyseras och kommenteras och att man i de fall det är aktuellt lyfter fram konkreta förändringar eller förbättringsåtgärder som ska vidtas för att öka kvaliteten i kursen. Denna analys bör dokumenteras för att öka transparensen. Förslagsvis bör en standardiserad mall med några rubriker tas fram, i vilken hela lärarlaget tillsammans bör göra en kortfattad reflektion över resultatet av kursvärderingen och eventuella åtgärder som ska vidtas. Mallen kan med fördel vara lite vidare och även inkludera exempelvis lärarnas egna erfarenheter och tentamensresultat etc. Mallen bör bifogas sammanställningen av kursvärderingen. På så sätt skulle en ökad transparens skapas kring att kursvärderingarna verkligen leder till konkreta förbättringsåtgärder. Det bör också fastställas i rutinerna för kursvärderingar inom vilken tidsram analysen ska göras. Vi rekommenderar även LNU att se över hur man kan skapa bättre förutsättningar för de kursansvariga att hinna med att prioritera arbetet med kursvärderingarna. För att de kursansvariga ska kunna fokusera på att analysera resultatet av kursvärderingarna som ett led i kvalitetsarbetet bör tid frigöras. Ett alternativ kan vara att låta administrativ personal sköta administrationen kring att skapa kursvärderingsenkäter samt summera resultatet av dem. Det är dock viktigt att den kursansvariga ges möjlighet att komma med inspel till utformningen av kursvärderingen. Att låta administrativ personal sköta administrationen kring kursvärderingarna är också att föredra utifrån ett arbetsmiljöperspektiv (se iakttagelse 6), samt utifrån att risken för att en kursansvarig skulle försköna resultatet av kursvärderingarna (se iakttagelse 5). Kursvärderingar Transcendent Group 15 (23)

16 4. Brister i kommunikationen av resultatet av kursvärderingarna Iakttagelse Enligt högskoleförordningen skall lärosätet sammanställa kursvärderingarna samt informera om resultaten och eventuella beslut om åtgärder som föranleds av kursvärderingarna. Resultaten skall hållas tillgängliga för studenterna. LNU:s rutiner kring kursvärderingar har inte tydliggjort hur man ska kommunicera resultatet samt eventuella beslut om åtgärder som föranleds av kursvärderingarna. Resultatet kommuniceras idag på en mängd olika sätt: vissa gör ingen särskild återkoppling, andra presenterar resultatet vid genomgången av tentamen, vissa presenterar resultatet i My Moodle, många säger att de pratar om resultatet vid nästa kursstart. Det går inte att skapa sig en övergripande bild av alla genomförda kursvärderingar vid LNU idag. Risk Risk att resultatet av kursutvärderingar samt analys och eventuella vidtagna åtgärder inte återkopplas till studenterna på ett enhetligt och tillräckligt sätt. Risk att den bristande återkopplingen leder till minskat engagemang för studenter att genomföra kursvärderingar på kommande kurser. Rekommendation Vi rekommenderar LNU att fastställa hur man inom universitetet på ett enhetligt sätt ska kommunicera resultatet av kursvärderingarna. Ett förslag skulle kunna vara att publicera resultatet av alla kursvärderingar på respektive kurssida i MyMoodle. Detta torde leda till att kursvärderingarnas status på sikt skulle öka i och med att kursvärderingarna då även skulle ses som ett marknadsföringsverktyg för kurserna. Det är även viktigt att lärarna inleder varje ny kurs med att redogöra för resultatet av den senaste kursvärderingen, samt vilka eventuella åtgärder som vidtagits. På så sätt visar man även studenterna att kursvärderingarna inte bara är något som genomförs för att man måste, utan att resultatet faktiskt analyseras och leder till faktiska förbättringar. Kursvärderingar Transcendent Group 16 (23)

17 5. Problem med kränkande kommentarer om lärare i fritextsvar Iakttagelse I granskningen har det framkommit att det är ett problem att det förekommer kränkande kommentarer och personangrepp kring enskilda lärare i fritextsvaren i kursvärderingar, ibland helt utan relevans. Exempelvis förekommer kommentarer som lärare XX är ful eller ta bort lärare XX från kursen. Dessa känsliga och kränkande personangrepp raderas idag innan resultatet sammanställs och publiceras, med det torde vara att betrakta som en arbetsmiljöfråga att ingen lärare ska behöva se den här typen av kränkande kommentarer om sig själv utan censur. Vissa kursansvariga säger att de inte vill ha fritextsvar i sina enkäter på grund av att det då kommer fram för mycket personangrepp, men att inte ha några fritextfrågor i en kurvärderingsenkät vore olyckligt då dessa svar ofta ger ett stort mervärde som input till utvecklingen av kursen. LNU saknar tydliga rutiner över hur de ska hantera problemet med kränkande kommentarer. Samtidigt som en lärare inte ska behöva utsättas för kränkande kommentarer riktade mot dem själva, är det viktigt att frekvent förekommande negativa synpunkter om en viss lärare inte bara raderas utan når fram till och omhändertas av lärarens personalansvarige chef. Risk Risk för arbetsmiljöproblem om lärare på ett ocensurerat sätt tvingas ta del av kränkande kommentarer och personangrepp riktade mot dem själva i fritextsvaren. Risk att verkliga problem med lärare inte når fram till och tas om hand av personalansvarig chef i de fall kommentarerna bara raderas. Rekommendation Vi rekommenderar LNU att ta ställning till hur man ska hantera kränkande kommentarer om lärare i kursvärderingarna. Om flera studenter anger negativa kommentarer om en och samma lärare är det viktigt att det finns rutiner för att omhänderta informationen och säkerställa att den når fram till lärarens personalansvariga chef så att denne kan stötta personen och vidta eventuella åtgärder. De är viktigt att beakta de kränkande kommentarerna som en arbetsmiljöfråga för den enskilda läraren, varpå det kan finnas ytterligare ett argument som talar för att administrativ personal bör ansvara för summeringen av resultatet av kursvärderingarna. Varpå denne då kan filtrera bort denna typ av kränkande kommentarer så att läraren inte behöver se dem i ocensurerat format. Kursvärderingar Transcendent Group 17 (23)

18 6. Systembrister i Survey & Report Iakttagelse Från och med den 1 november ska samtliga LNU:s kursvärderingsenkäter genomföras i systemet Survey & Report. Internrevisionen har uppmärksammat att anonymiteten inte kan säkerställas på ett tillfredställande sätt i systemet. Dels så kan en lärare se vilka som har svarat respektive inte svarat, dock inte vem som har svarat vad. Man kan inte ta ut en rapport över resultatet av utvärderingen förrän minst fem studenter svarat, men när sex personer har svarat kan man ta ut en ny rapport, vilket gör att det finns en möjlighet att spåra svaren som kommer in. Dessutom finns det en möjlighet att välja bort att enkäten ska vara anonym, vilket skulle kunna missbrukas såväl medvetet som av misstag. Det finns även brister kopplade till fritextsvaren i Survey & Report. Den som administrerar summeringen av resultatet av en kursvärdering har möjlighet att radera fritextsvar som en student angivit. Denna möjlighet finns för att man till exempel som tidigare nämnt ska kunna ta bort kränkande personangrepp om en lärare, men möjligheten innebär även att en kursansvarig skulle kunna försköna resultatet genom att ta bort även andra negativa kommentarer om kursen. Läraren har dessutom möjlighet att lägga till kommentarer i fritextfälten, som i sammanställningen sedan ser ut att vara studenternas. En lärare skulle kunna ha incitament till att försköna resultatet av sin kursvärdering då resultatet av kursvärderingar exempelvis spelar en stor roll vid rekryteringar inom universitets- och högskolevärlden. Risk Risk att en kursvärderingsenkät som utger sig för att vara anonym inte är helt anonym. Risk att kursansvariga förskönar resultatet av genomförda kursvärderingar. Rekommendation Vi rekommenderar LNU att säkerställa att kursvärderingsenkäter från systemet Survey & Report är garanterat anonyma. Vi rekommenderar även LNU att överväga att låta administrativ personal, utan incitament att försköna resultatet av en kursvärdering, sköter summeringen av resultatet. I de fall detta inte är möjligt bör LNU undersöka möjligheterna till att spärra textfälten, så att en lärare inte kan lägga till egna kommentarer. Ett annat alternativ för att minska risken för förskönade kursvärderingar är att införa någon form av kvalitetssäkring av att fritextsvaren inte har förskönats. Kursvärderingar Transcendent Group 18 (23)

19 7. Bristande kvalitet i enkäternas utformning Iakttagelse Omfattande enkäter Internrevisionen har noterat att många enkäter för kursvärderingar är väldigt omfattande. Det är inte ovanligt att enkäterna innehåller runt olika frågor som studenterna ska ta ställning till. Från och med november ska man i samband med att det blir obligatoriskt att genomföra kursvärderingarna i Survey & Report också införa obligatoriska LNUövergripande frågor. Många fakulteter har i samband med detta även börjat arbeta med att ta fram obligatoriska fakultetsgemensamma frågor. För att studenterna inte ska tappa intresset och sluta besvara enkäten med kvalitet är det viktigt att man gör en avvägning kring om alla frågor som ställs verkligen är relevanta att få svar på. Det bör vara bättre att få kvalitativa svar på några få frågor som studenterna svarar på med engagemang, än att få svar på en stor mängd frågor där det finns risk att studenten tröttnar och då bara slentrianmässigt kryssar i ett godtyckligt svar. Kursvärderingarna relaterar inte till kursmålen För att kursvärderingarna faktiskt ska utvärdera kvaliteten i kursen och inte bara huruvida studenterna tyckte att kursen var intressant och rolig är det viktigt att det ställs frågor om huruvida studenten anser att de givits förutsättningar för att uppnå kursmålen. Stickprovsgranskningen visar att det är långt ifrån alla som ställer frågor kopplade till kursmålen. I de fall detta görs ställs vanligtvis bara frågan hur väl upplever du att du uppnått kursmålen?, utan att på något sätt relatera frågan till de faktiska kursmålen. En av orsakerna till detta är att det krävs handpåläggning för att klistra in kursmålen i enkäten. Internrevisionen anser dock inte att man kan förvänta sig att alla studenter känner till och kommer ihåg de exakta kursmålen. Olika terminologi används I granskningen har det uppmärksammats i såväl i stickproven som i intervjuer att LNU till viss del använder sig av olika språkbruk i kursvärderingarna för olika kurser. För att ge ett exempel så används begreppen lärandemål, kursmål och förväntade studieresultat med syfte på samma sak. Detta kan uppfattas som förvirrande för studenter, speciellt om man läser kurser på olika fakulteter. Risk Låg Låg Risk att studenterna tappar intresset och svarar slentrianmässigt om kursvärderingsenkäterna är för omfattande. Risk att kursvärderingarna inte utvärderar kvaliteten i kursen tillräckligt om utvärderingen inte relaterar till kursmålen. Risk att studenterna blir förvirrade om terminologin skiljer sig för mycket åt mellan olika kurser. Kursvärderingar Transcendent Group 19 (23)

20 Rekommendation Vi rekommenderar LNU att förespråka att kursvärderingsenkäterna inte görs så omfattande, samt att en avvägning alltid ska göras kring att alla frågor som ställs i en enkät verkligen är relevanta att få svar på. Detta för att öka kvaliteten på svaren. Vi rekommenderar även LNU att alltid ställa frågor kring huruvida studenten anser att de givits förutsättningar för att uppnå kursmålen samt att också redogöra för de faktiska kursmålen i enkäten. Detta för att kursvärderingarna faktiskt ska utvärdera hur studenterna upplevde kvaliteten i kursen och inte bara huruvida de tyckte att kursen var intressant och rolig. Vi rekommenderar dessutom LNU att säkerställa att man inom LNU använder sig av samma språkbruk och terminologi inom hela universitet för att inte skapa förvirring hos studenterna. Kursvärderingar Transcendent Group 20 (23)

21 8. Avsaknad av formellt fastslagen policy för studentinflytande Iakttagelse Inom LNU saknas en aktuell fastslagen och kommunicerad policy för studentinflytande. Internrevisionen har själva hittat en Studentinflytandepolicy för universitetet, som är daterad , det vill säga innan fusionen och det framgår inte om denna policy är formellt beslutad. Policyn verkar inte vara ett aktivt dokument, då den vare sig finns tillgänglig på intranätet eller i diariet. Väldigt få av de som intervjuats kände till denna policy. Risk Risk att studenter samt anställda vid LNU inte känner till studenternas rätt till studentinflytande och LNU:s mål och arbete med studentinflytandefrågor. Rekommendation Vi rekommenderar LNU att se över och uppdatera den befintliga studentinflytandepolicyn och sedan offentliggöra och kommunicera den för såväl studenter som anställda vid LNU. Kursvärderingar Transcendent Group 21 (23)

22 Bilaga 1: Metod Projektet har utförts genom intervjuer med utbildningsledare från samtliga fakulteter alternativt de som delegerats det övergripande ansvaret för kursvärderingar, samt med representanter från Linnéstudenterna. Därutöver har granskningen genomförts genom dokumentationsgranskning samt genom substansgranskning av tjugo genomförda kursvärderingar. Ett antal frågeställningar har även besvarats via mejl av de kursansvariga för de kurser som omfattats av de granskande kursvärderingarna. Planering Upprättande av uppdragsbeskrivning inkluderandes granskningsmål, risker, leverans och tidplan. Uppdragsbeskrivningen har godkänts av LNU:s internrevisionschef innan arbetet påbörjats. Informationsinsamling/utvärdering Inledande samtal med Peter Knutsson, utredare universitetsledningens kansli. Upprättande av granskningsprogram. Genomgång av de styrande dokument som finns kring studentinflytande, kvalitet i utbildningen samt kursvärderingar. Intervjuer med utbildningsledaren alternativt den som delegerats det övergripande ansvaret för kursvärderingar för respektive av de fem fakulteterna. De som intervjuats är: - Fredrik Lundh, utbildningsledare Hälso- och livsvetenskap - Amelie Johansson, utbildningsledare Teknik - Madeleine Sjöstedt, utbildningshandläggare Ekonomihögskolan - Annika Rosengren, kvalitetssamordnare Lärarutbildning - Anna Eskilsson, utbildningsledare Konst och humaniora - Joacim Martinsson, kanslichef Samhällsvetenskap Intervjuer med Daniel Svedbjörk, ordförande i Linnéstudenterna samt Emma Nilsson, utbildningsbevakare Linnéstudenterna. Frågeställningar via mejl till kursansvarig för ett urval om 20 av LNU:s kurser (samtliga fakulteter representerade), samt substansgranskning av genomförda kursutvärderingar från VT 2012, VT 2013 och VT 2014 för dessa kurser för att säkerställa att kursvärderingar har genomförts, att resultatet har sammanställts och återkopplats till studenterna, samt att resultatet av kursvärderingarna lett till konkreta förbättringar där brister framkommit. Kursvärderingar Transcendent Group 22 (23)

23 De kurser som ingått i stickprovsgranskningen är: - Ekonomisk statistik I (Kalmar), 1ST801 - Analys I, 1MA102 - Extern redovisning, finansiering och ekonomisk styrning I (Kalmar), 1FE855 - Kost Näring Hälsa, 1BL001 - Språkutveckling och litteracitet i förskolan, 1FL005 - Beginners' Swedish, part 1, 1SV731 - UVK-kurs: Sociala relationer, konflikthantering och ledarskap i förskolan, 1FL009 - Mekanik, 1FY804 - UVK-kurs: LSL I - Livsvillkor och sociala relationer, grundlärare, 1GN205 - Webbdesign, 1ME101 - I rörelse mot hälsa, 2VÅ610 - Professionskunskap II, 2VÅ620 - Introduktion till rättssystemet samt socialrätt, 1JU600 - Musikteori I, 1MU338 - Handelsrättslig fortsättningskurs, 1RV825 - Organisationsutveckling, 2FE410 - Psykologi I, 1PS600 - Organismbiologi, 1BI002 - Mönster och gestaltning, 1DI655 - Statsvetenskap II, 1SK200 - Arkitektur och byggnadsteknisk historia, 1BY079 Kompletterande frågor via telefon eller mejl. Sammanställning och analys av inhämtad information. Avstämning av preliminära iakttagelser med Lena Fritzén, Prorektor Avstämning av preliminära iakttagelser med Magnus Eriksson, utredare universitetsledningens kansli. Rapportering Upprättande av preliminär rapport med iakttagelser och förslag på förbättringsåtgärder. Verifiering av iakttagelser och förbättringsförslag med nyckelpersoner. Presentation av slutrapport och en sammanfattande bedömning till uppdragsgivare. Kursvärderingar Transcendent Group 23 (23)