UFV 2013/1444. Kursvärderingar. Rapport från internrevisionen. Till konsistoriet

UFV 2013/1444 Kursvärderingar Rapport från internrevisionen Till konsistoriet 2013-12-11

Innehållsförteckning 0 Sammanfattning 3 1 Bakgrund och riskbedömning 4 2 Granskningens omfattning och inriktning 4 3 Iakttagelser 4 3.1 Uppsala universitets arbete med kursvärderingar 4 3.1.1 Riktlinjer och rekommendationer 4 3.1.2 Fakulteternas arbete 4 3.1.3 Universitetsförvaltningens arbete 5 3.1.4 Digitala och manuella kursvärderingar 5 3.2 Studentkårernas arbete med kursvärderingar 6 3.3 Tidigare granskningar 6 3.3.1 Högskoleverkets tillsynsbesök 6 3.3.2 Internrevisionens granskning 7 4 Slutsatser och rekommendationer 8 2

0 Sammanfattning I enlighet med revisionsplanen för 2013 har internrevisionen genomfört en granskning för att bedöma om universitetet arbetar aktivt och systematisk med genomförande av kursvärderingar så att universitetet kan sägas uppfylla högskoleförordningens krav samt ta tillvara studenternas synpunkter. Enligt förordningen ska högskolan ge de studenter som deltar i eller har avslutat en kurs en möjlighet att framföra sina erfarenheter av och synpunkter på kursen genom en kursvärdering som anordnas av högskolan. Högskolan skall sammanställa kursvärderingarna samt informera om resultaten och eventuella beslut om åtgärder som föranleds av kursvärderingarna. Resultaten skall hållas tillgängliga för studenterna. Rektor har beslutat om riktlinjer för kursvärderingar. De pekar ut fakultetsnämnderna som centrala organ för organisering och uppföljning av arbetet. Någon detaljerad styrning finns inte, utan det är upp till nämnderna att utforma ändamålsenliga rutiner. Vid universitetsförvaltningen finns kompetens för att stötta kärnverksamheten genom bl.a. kurser och seminarier, samt driften av en webbaserad kursvärderingsfunktion. Studentkårerna engagerar sig i kursvärderingsfrågor i varierande omfattning. Internrevisionen anser att universitets arbete med kursvärderingar ger ett gediget och ambitiöst intryck. Uppfattningen stöds av Högskoleverkets tidigare uttalande om att universitetet vidtagit omfattande åtgärder för att säkerställa att reglerna om kursvärderingar följs. Emellertid tyder granskningen på att det finns förbättringspotential vad gäller framtagande av kursrapporter samt information till studenter om utfallet av tidigare kursvärderingar. Det har även framkommit synpunkter på att låga svarsfrekvenser är ett problem. Den förbättringspotential som finns kan dock inte sägas vara så stor att inte högskoleförordningens krav uppfylls, eller att universitetet inte tar tillvara studenternas synpunkter. Internrevisionen väljer därför att inte lämna någon rekommendation. 3

1 Bakgrund och riskbedömning Enligt revisionsplanen för 2013 ska internrevisionen genomföra en granskning 1 för att säkerställa att kursvärderingar sker i enlighet med högskoleförordningen (1993:100). Enligt förordningens 1 kap. 14 ska högskolan ge de studenter som deltar i eller har avslutat en kurs en möjlighet att framföra sina erfarenheter av och synpunkter på kursen genom en kursvärdering som anordnas av högskolan. Högskolan skall sammanställa kursvärderingarna samt informera om resultaten och eventuella beslut om åtgärder som föranleds av kursvärderingarna. Resultaten skall hållas tillgängliga för studenterna. Det är angeläget att Uppsala universitet arbetar aktivt och systematiskt med genomförande av kursvärderingar. Om inte kan följande risker föreligga: Att universitetet bryter mot högskoleförordningen. Att studenternas synpunkter inte tas tillvara som underlag för kvalitetsutveckling. Att studenterna inte ges möjlighet att på ett strukturerat sätt reflektera över sin utbildning. 2 Granskningens omfattning och inriktning Granskningen syftar till att besvara följande revisionsfråga: Arbetar universitetet aktivt och systematisk med genomförande av kursvärderingar, så att universitetet kan sägas uppfylla högskoleförordningens krav, samt ta tillvara studenternas synpunkter? För att bedöma detta har internrevisionen intervjuat nyckelpersoner vid de nio fakulteterna och vid universitetsförvaltningen, samt studerat dokument såsom interna riktlinjer och rekommendationer liksom tidigare rapporter från Högskoleverket och internrevisionen. Även de fyra studentkårerna har kontaktats och erbjudits att lämna synpunkter. Internrevisionen har inte gjort någon stickprovsgranskning på institutionsnivå. 3 Iakttagelser 3.1 Uppsala universitets arbete med kursvärderingar 3.1.1 Riktlinjer och rekommendationer Rektor beslutade om de första riktlinjerna för kursvärderingar redan 1997. År 2000 skrevs en reglering om kursvärderingar in i högskoleförordningen. Sedan dess har riktlinjerna för kursvärderingar reviderats ett flertal gånger, senast 2010. Jämfört med regleringen i högskoleförordningen är riktlinjerna mer detaljerade och innehåller utökade krav, t.ex. ska studenternas svar inte bara sammanställas, utan sammanfattas och värderas inom ramen för en kursrapport (där även lärares synpunkter och eventuella förslag på åtgärder inkluderas) och studenterna ska tidigt under kursen informeras om utfallet av tidigare kursvärderingar. Riktlinjerna pekar ut fakultetsnämnderna som centrala organ för organisering och uppföljning av arbetet med kursvärderingar. Som ett komplement till riktlinjerna finns rekommendationer i form av dokumentet Kursvärderingar och andra utbildningsvärderingar samt en digital frågebank med kursvärderingsfrågor att använda som inspirationskälla vid utformandet av kursvärderingsenkäter. 3.1.2 Fakulteternas arbete Någon detaljerad styrning av hur fakultetsnämnderna ska arbeta med kursvärderingsfrågor finns inte, utan det är upp till de olika nämnderna att använda ändamålsenliga rutiner. I praktiken skiljer det sig 1 I revisionsplanen för 2013 benämns granskningen Myndighetsutövning i kärnverksamheten, men titeln har ändrats till Kursvärderingar. 4

åt hur de olika fakulteterna arbetar. Vissa involverar särskilda organ i arbetet med kursvärderingar, t.ex. områdeskollegier, utbildningsutskott, programkommittéer, programspecifika pedagogiska enheter, utbildningsnämnder, samordningskommittéer och/eller programråd, medan andra låter arbetet med kursvärderingar utformas vid de olika institutionerna. Sex fakulteter har kompletterat de centrala riktlinjerna och rekommendationerna med egna tillägg, instruktioner, minimimallar, riktlinjer, anvisningar, rutiner, checklistor och/eller tips och förslag. En fakultet som tidigare haft kompetterande riktlinjer har tagit bort dessa. Vid fem av fakulteterna gör fakultetsnämnden en årlig uppföljning av arbetet med kursvärderingar, vid tre av fakulteterna sköts uppföljningen av andra organ på uppdrag av nämnderna och vid en fakultet får nämnden rapportering om arbetet med kursvärderingar endast vid behov. Förutom de särskilda organen kan studierektorer samt utbildningsledarna vid områdeskanslierna vara delaktiga i arbetet med att sammanställa och återrapportera information om arbetet med kursvärderingar till fakultetsnämnderna. Återkoppling till prefekterna av resultatet av uppföljningarna görs på olika sätt och sköts av studierektorer, fakultetsledningar eller de särskilda organen. En fakultet har reviderat kursvärderingsrutinerna tidigare under året, andra planerar mindre revideringar eller inga alls. En fakultet planerar att sätta igång ett arbete med kursvärderingsrutiner för sin verksamhet på Campus Gotland. En majoritet av fakulteternas representanter nämnde spontant att låga svarsfrekvenser är ett problem i arbetet med kursvärderingar. 3.1.3 Universitetsförvaltningens arbete Vid planeringsavdelningens enhet för kvalitetsutveckling och universitetspedagogik finns kompetens för att stötta kärnverksamheten avseende hur arbete med kursvärderingar kan bedrivas i enlighet med universitetets riktlinjer och rekommendationer. Enheten anordnar årligen normalt två halvdagsseminarier om kursvärderingar som vänder sig till lärare och annan berörd personal, samt studenter och kåraktiva. Enheten ger också på förfrågan konsultativt stöd avseende kursvärderingar i form av t.ex. kurser, workshops, lärardagar samt återkoppling på kärnverksamhetens eget utvecklingsarbete. Vid enheten anordnas också bl.a. kurser i pedagogik för lärare samt handledning av studenter. Även vid dessa kurser är information om kursvärderingar med som moment. Enheten har en ambition om ett ökat samarbete med studentkårerna och ett möte med Uppsala studentkår för att diskutera former för samarbete är planerat. Uppsala Learning Lab (ULL) lanserade under 2010 en webbaserad kursvärderingsfunktion i Studentportalen 2. I samband med det anordnades kurser för alla intresserade institutioner. Numera ges heldagskursen Kursvärderingar i Studentportalen en gång per termin. Enheten för kvalitetsutveckling och universitetspedagogik har ett nära samarbete med ULL i frågor som rör kursvärderingar och medverkar vid ULL:s kurs om kursvärderingar. 3.1.4 Digitala och manuella kursvärderingar Riktlinjerna för kursvärderingar reglerar att kursvärderingar normalt ska vara skriftliga, men inte på vilket sätt de ska genomföras. En fakultet har lokala riktlinjer som reglerar att kursvärderingar i normalfallet ska genomföras digitalt och att alla på sikt bör använda kursvärderingsverkstyget i Studentportalen. 2 Studentportalen är en hemsida som ger inloggade studenter tillgång till bl.a. kurs- och programsidor, studieresultat, egen filarea och webbpost. Studentportalen erbjuder funktioner för att underlätta undervisning, administration och kommunikation. 5

I praktiken ökar användningen av den webbaserade kursvärderingsfunktionen i Studentportalen. Under 2012 använde 75 procent av institutionerna denna till någon del, varvat med manuella kursvärderingar. Enheten Medfarm DoIT vid områdeskansliet för medicin och farmaci har sedan tidigare utvecklat verktyget Kurt för att göra enkäter, kursvärderingar, anmälningar och självtest på webben. Verktyget används i stor utsträckning inom medicinska och farmaceutiska vetenskapsområdet för kursvärderingar, även om vissa har gått över till kursvärderingsfunktionen i Studentportalen. Några institutioner vid teknisk-naturetenskapliga vetenskapsområdet använder verktyget e.valuering. Enligt riktlinjerna är det frivilligt för studenter att besvara en kursvärdering och det är av det skälet viktigt att kursvärderingar genomförs på ett sådant sätt att en hög svarsfrekvens främjas. Ett generellt problem med elektroniska kursvärderingar jämfört med manuella är att svarsfrekvensen blir lägre, ett faktum som påvisats i nationella och internationella studier. Personer som internrevisionen varit i kontakt med bekräftar att det även gäller vid universitetet. Samtidigt finns andra fördelar med elektroniska kursvärderingar, såsom enklare administration och spridning samt återkoppling av resultaten, samt att studenterna erbjuds samma metod oavsett kurs eller institution. 3.2 Studentkårernas arbete med kursvärderingar Uppsala studentkår har representanter i många av universitetets organ som arbetar med kursvärderingar, t.ex. fakultetsnämnderna. Representanter från kåren deltar också på de seminarier som enheten för kvalitetsutveckling och universitetspedagogik löpande anordnar. Kåren vill se förbättringar i arbetet med att framställa och tillgängliggöra kursrapporter, samt i arbetet med att tidigt under kursen informera om utfallet av tidigare kursvärderingar. Kåren tror att det finns ett samband mellan att dessa områden behöver förbättras och låga svarsfrekvenser. Kåren är mycket intresserad av kursvärderingsfrågor och har planer på att arbeta mer aktivt med det framöver. Under vilka former är inte klart ännu, men kåren ska försöka hålla universitetet uppdaterat om sin verksamhet inom området. Farmaceutiska studentkåren har en stor roll i kursvärderingsarbetet vid farmaceutiska fakulteten och har deltagit aktivt i framtagandet av rutiner och checklistor. Studentrepresentanterna på respektive kurs deltar i sammanställningen av enkätsvar och en handläggare på kåren ansvarar för att avpersonifiera sammanställningen av svar på respektive kursvärdering. Kårens handläggare har gjort sammanställningar över vilka kurser som genomfört kursvärderingar de senaste terminerna. Kåren upplever att arbetet med kursvärderingar vid farmaceutiska fakulteten är strukturerat och väl fungerande, med undantag för att de flesta kursvärderingar har väldigt låg svarsfrekvens. Uppsala teknolog- och naturvetakår (UTN) 3 anser att kursrapporter bör göras mer lättillgängliga för studenter, t.ex. genom att publicera dem elektroniskt tillsammans med respektive kursplan. UTN upplever att vissa kursvärderingar är omotiverat långa och tror att kortare kursvärderingar skulle främja högre svarsfrekvens. Vid Campus Gotland har det knappt hunnit genomföras några kursvärderingar i universitetets regi och Gotlands Studentkår Rindi kan därför inte bidra med synpunkter på arbetet med kursvärderingar. 3.3 Tidigare granskningar 3.3.1 Högskoleverkets tillsynsbesök Tidigare hade Högskoleverket (HSV) tillsyn över universitet och högskolor. Tillsynen bedrevs bl.a. genom att verket besökte några lärosäten varje år. Huvudsyftet med besöken var att kontrollera att 3 UTN har ännu inte status som studentkår. 6

lärosätena följer de lagar och förordningar som gäller för verksamheten. Sedan 2013 har tillsynsuppgifterna tagits över av Universitetskanslersämbetet. Under 2011 gjorde HSV tillsynsbesök vilket resulterade i rapporten Tillsynsbesöket vid Uppsala universitet 2011 Rapport 2012:03 R. Tillsynsbesöket inkluderade en granskning av arbetet med kursvärderingar. HSV bedömde att universitetet vidtagit omfattande åtgärder för att säkerställa att högskoleförordningens regler om kursvärderingar följs. Att reglerna trots det inte följdes till fullo framgick av HSV:s stickprovsgranskning, som visade att sammanställningar gjorts för 18 kurser av 20. Det talade enligt HSV för att det fanns anledning att vidta ytterligare åtgärder för att se till att 1 kap. 14 högskoleförordningen följs. Numera nämner enheten för kvalitetsutveckling och universitetspedagogik HSV:s bedömningar redan i inbjudningarna till de utbildningar och seminarier som rör kursvärderingar. 3.3.2 Internrevisionens granskning Under 2010 genomförde internrevisionen granskningen Strategier på utbildningsområdet (UFV 2010/1570) som bl.a. berörde kursvärderingar. Granskningen utfördes genom en enkätundersökning riktad till kursansvariga lärare för ett urval av kurser som gavs HT 2009. Hela rapporten inklusive bilagor för respektive vetenskapsområde finns på internrevisionens hemsida www.irev.uu.se. Sammanfattningsvis konstaterade internrevisionen följande för kurser som gavs HT 2009: Vid kurser med fler registrerade studenter ökade sannolikheten att kursvärdering gjordes, att den var skriftlig och anonym, att kursrapport gjordes och att studenterna informerades om utfallet av tidigare utvärderingar. På grundnivå gjorde studenterna kursvärderingar vid drygt 90 procent av kurserna. Motsvarande siffra för avancerad nivå var drygt 75 procent. Anledningarna till att kursvärdering inte gjordes vid vissa kurser var bl.a. att studenterna var få och att det var svårt att göra kursvärdering vid examensarbeten och andra självständiga arbeten. Kursvärderingarna var skriftliga vid drygt 90 procent av kurserna på grundnivå och ca 80 procent av kurserna på avancerad nivå vid de kurser där kursvärdering gjordes, men det fanns skillnader mellan vetenskapsområdena, vilket framgår av bilagorna till rapporten. I de fall kursvärderingarna inte var skriftliga berodde det på att studenterna var få, samt att det gick att ha en direkt diskussion med studenterna. Kursvärderingarna var anonyma vid ca 90 procent av kurserna på grundnivå och ca 75 procent av kurserna på avancerad nivå vid de kurser där kursvärdering gjordes, men det fanns skillnader mellan vetenskapsområdena. I de fall kursvärderingarna inte var anonyma berodde det på att studenterna var få, eller att kursvärderingen var muntlig. Vid ca 75 procent av kurserna på grundnivå och ca 60 procent av kurserna på avancerad nivå vid de kurser där kursvärdering gjordes, utfördes en sammanfattning och värdering av studenternas svar inom ramen för en kursrapport. Flera anledningar fanns till att kursrapporter inte gjordes, bl.a. att det fanns få svar och att riktlinjer för kursrapporter saknades. Vid drygt 60 procent av kurserna på grundnivå och ca 55 procent av kurserna på avancerad nivå vid de kurser där kursvärdering gjordes, informerades studenterna tidigt under kursen om utfallet av tidigare utvärdering(ar) och vilka åtgärder som vidtagits eller skulle komma att vidtas. En jämförelse mellan vetenskapsområdena visar att vid MedFarm informerades studenterna i högre utsträckning både på grundnivå och på avancerad nivå. Anledningarna till att studenterna inte informerades var bl.a. att kursen gavs för första gången (så var ofta fallet vid TekNat), att svarsfrekvensen varit låg vid tidigare utvärderingar, tidsbrist, samt pga. positivt utfall av tidigare utvärderingar behövde inga åtgärder vidtas. 7

Granskningen gjordes innan senaste uppdateringen av riktlinjerna. I de uppdaterade riktlinjerna har begreppet kursrapport förtydligats. Internrevisionen har frågat nyckelpersoner vid fakulteterna och universitetsförvaltningen hur de tror att resultatet av granskningen hade blivit om enkätundersökningen som låg till grund för granskningen 2010 (avseende kurser HT 2009) gjorts om 2013. Ingen förväntar sig några stora skillnader, förutom att svaren avseende kursrapporter möjligen var väl optimistiska i granskningen från 2010, eftersom det vid den tidpunkten fanns en risk att begreppet kursrapport kunde missförstås. 4 Slutsatser och rekommendationer Det arbete som bedrivs vid fakulteter och universitetsförvaltning för att uppfylla 1 kap. 14 i högskoleförordningen samt universitetets riktlinjer för kursvärderingar ger ett gediget och ambitiöst intryck. Internrevisionens uppfattning stöds av HSV:s tidigare uttalande om att universitetet vidtagit omfattande åtgärder för att säkerställa att reglerna om kursvärderingar följs. Internrevisionen har sedan tidigare granskat hur tillämpning sker i praktiken. Resultatet av denna undersökning bör betraktas som tillfredsställande med tanke på att granskningen avsåg samtliga kurser, t.ex. även examensarbeten med enstaka kursdeltagare. Undersökningen visar emellertid också på att förbättringspotential finns vad gäller kursrapporter och information till studenter om utfallet av tidigare kursvärderingar. Under granskningen har det framkommit synpunkter på att låga svarsfrekvenser är ett problem. Det gäller kursvärderingar i allmänhet, men särskilt de i elektronisk form. Uppsala studentkår menar att det finns ett samband mellan låga svarsfrekvenser och att arbetet med kursrapporter och information till studenter om utfallet av tidigare kursvärderingar behöver förbättras. Internrevisionen kan konstatera att det finns en medvetenhet om problemet med låga svarsfrekvenser och att insatser för förbättringar görs punktvis. Det är önskvärt att universitetet fortsätter att arbeta med frågan och att studentkårerna involveras i arbetet. Sammantaget konstaterar internrevisionen att universitetet generellt bedriver ett bra arbete med kursvärderingsfrågor, men att det finns utrymme för förbättringar. Den förbättringspotential som finns kan dock inte sägas vara så stor att inte högskoleförordningens krav uppfylls, eller att universitetet inte tar tillvara studenternas synpunkter. Internrevisionen väljer därför att inte lämna någon rekommendation. 8