Uppföljning av MDH:s kursvärderingssystem

Transkript

1 MDH /10 RAPPORT (23) Uppföljning av MDH:s kursvärderingssystem - En uppföljning av rektrsbeslutet i maj 2010 m att införa ett högsklegemensamt system för arbetet med kursvärderingar Utbildnings- ch frskningssektinen Jnas Lstelius

2 2 (23) Innehållsförteckning Sammanfattning... 3 Bakgrund... 4 Syfte... 4 Områden för uppföljning... 4 Regelefterlevnad... 4 Systemanvändning... 8 Resultat från kursvärderingssystemet i självvärderingar... 8 Svarsfrekvensen... 9 Säkring av studenternas annymitet... 9 Datauttag på aggregerad nivå Kvalitetsansvarigas användning av data på aggregerad nivå Kstnader Användarvänlighet Sammanfattning av resultat av webbenkäterna Studenterna Lärarna/kursansvariga Akademiadministratörerna Systemförvaltaren Svårigheter/brister ch förbättringsförslag Slutsatser... 22

3 Sammanfattning Rektr beslutade i maj 2010 att samtliga kurser på grundläggande ch avancerad nivå samt tillämpliga frskarutbildningskurser från ch med höstterminen samma år ska utvärderas enligt ett gemensamt system. Syftet med den här rapprten är att utgöra uppföljning av systemet. Rapprten fkuserar uppföljning av regelefterlevnad, systemanvändning, kstnader ch användarvänlighet. 3 (23) En slutsats är att ledningens möjligheter att säkerställa att kursvärderingar anrdnas har underlättats väsentligt av systemet. Närapå samtliga kurstillfällen på grundnivå ch avancerad nivå utvärderas medan Netigate inte har ch inte kmmer att användas alls för frskarutbildningskurser. Svarsfrekvensen på kursvärderingar uppgår i regel till cirka 33 prcent med märkbara skillnader mellan akademierna. Systemet möjliggör autmatiska sammanställningar av resultaten. En majritet av studenterna menar att de inte fått infrmatin m tidigare kursvärderingar ch vilka förändringar sm de föranlett. Indikatiner finns på att akademiernas interna arbete (rutiner) har effekt på hur många studenter sm får infrmatin m tidigare kursvärderingar. En andra slutsats är att systemet används delvis sm tänkt. Det går att använda resultat från kursvärderingarna ch systemet i självvärderingarna sm ska göras inm ramen för Högskleverkets kvalitetssäkringssystem. Akademierna lägger inte till egna frågr till de gemensamma frågrna. Möjligheten att göra uttag ur systemet av data på aggregerad nivå öppnade sig tekniskt under hösten 2011 ch det är därför tidigt att säga någt m hur akademier ch fakultetsnämnd använder data på aggregerad nivå i sitt kvalitetsarbete. Den låga svarsfrekvensen utgör ett strt prblem för lika användares intresse av att använda systemet, för att bedriva kvalitetsutveckling ch för intresset av att efterleva kursvärderingsmdellen. Arbetet med att lösa frågan m hur handlingar från kursvärderingssystemet tillsammans övriga handlingar ska arkiveras pågår frtfarande (maj 2012). Kursanalyser ch beslut m åtgärder registreras inte i enlighet med anvisningarna från högsklans arkivarie. Eftersm resultatet av kursvärderingen är en del av underlaget för den kursansvariges kursanalys, vilket i sig är ett viktigt inslag kvalitetsarbetet, är ytterligare uppföljning av hanteringen av kursanalyser angeläget. En tredje slutsats är att årskstnaderna mtsvarar i strt de förväntade. Uppfattningen m användarvänligheten varierar mellan lärare, akademiadministratörer ch studenter. En fjärde ch sista slutsats är att lärare ch akademiadministratörer i allmänhet är svagt missnöjda med systemet (med inslag av tidvis starkt missnöje) ch att studenterna i allmänhet är nöjda. Av resultaten av webbenkäterna framgår att det inm ramen för befintligt system brde vara möjligt att med gemensamma ansträngningar åtminstne delvis förbättra mdömena m systemet.

4 Bakgrund Rektr beslutade den 24 maj 2010 (System för arbetet med kursvärderingar, MDH /10) att samtliga kurser på grundläggande ch avancerad nivå samt tillämpliga frskarutbildningskurser från ch med höstterminen 2010 ska utvärderas enligt ett högsklegemensamt system ch inm ramen för en högsklegemensam mdell. 1 Ett viktigt inslag i systemet ch beslutet var att utvärderingarna ska göras med en enkät sm besvaras över webben med hjälp av företaget Netigates enkätverktyg. Av mtiveringen till beslutet framgår att en uppföljning av systemet för arbetet med kursvärderingar ska ske våren (23) Syfte Syftet med den här rapprten är att utgöra uppföljning av systemet för arbetet med kursvärderingar i enlighet med rektrsbeslutet. Av beslutet framgår inte närmare i detalj vad sm ska följas upp eller hur det ska göras. För att avgränsa arbetet har underlaget till rektrsbeslutet, ch i synnerhet mtiveringen för beslutet, utgjrt ledstjärna för vad sm ska följas upp. Detaljerade analyser ch värderingar av rganisatin, ansvarsfördelning, systemet eller mdellen sm sådan görs däremt inte i den här uppföljningen. Områden för uppföljning Ur underlaget för rektrsbeslutet kan ett antal nyckelmråden identifieras sm kan tjäna sm utgångspunkt ch avgränsning för den här uppföljningen. Dessa nyckelmråden är: 1. Regelefterlevnad 2. Systemanvändning 3. Kstnader 4. Användarvänlighet Metden för att genmföra uppföljningen har varit att utifrån förfrågningar till berörda, erfarenheter ch dkument beskriva hur systemet svarar upp mt förväntningar inm de fyra nyckelmrådena. För att närmare studera användarvänligheten har webbenkäter till lika användarkategrier genmförts. Närmare beskrivning av respektive webbenkät presenteras under avsnittet Användarvänlighet. Regelefterlevnad Det här avsnittet tar sikte på att besvara frågan m i vilken utsträckning systemet bidrar till högsklans regelefterlevnad. Enligt 14 högskleförrdningen (1993:100) ska högsklan nämligen: / / ge de studenter sm deltar i eller har avslutat en kurs en möjlighet att framföra sina erfarenheter av ch synpunkter på kursen genm en kursvärdering sm anrdnas av högsklan. 1 I praktiken infördes systemet på prv under höstterminen Under vårterminen 2011 fanns förutsättningar för akademierna att använda systemet fullt ut.

5 Högsklan skall sammanställa kursvärderingarna samt infrmera m resultaten ch eventuella beslut m åtgärder sm föranleds av kursvärderingarna. Resultaten skall hållas tillgängliga för studenterna. 5 (23) Det autmatiserade systemet innebär inte i sig att kursvärderingar anrdnas. Frtfarande måste kursvärderingarna beställas, vilket i MDH:s system görs av de så kallade akademiadministratörerna (i regel finns det två akademiadministratörer per akademi). Systemet möjliggör eller underlättar däremt uppföljning av att kursvärderingar faktiskt beställts ch därmed anrdnats. Jämfört med att högsklan håller sig med flera lika system så har ledningens möjligheter att säkerställa att kursvärderingar anrdnas underlättats väsentligt. Anrdnandegraden, sm i diagrammet nedan redvisas i frm av kursvärderingar sm beställts via Netigate jämfört med ej inställda kurstillfällen i DSI, har sedan kursvärderingssystemet infördes på bred frnt vårterminen 2011 förbättrats markant. 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% MDH UKK HVV IDT HST V11 H11 Närapå samtliga kurstillfällen utvärderas via Netigate. Mätmetderna har utvecklats från vårterminen 2011 till höstterminen 2011 ch några felkällr har eliminerats men lite förenklat kan följande rsaker sägas förklara peridens icke 100%-iga anrdnandegrad: På några kurstillfällen fanns inte några registrerade studenter Alla kurstillfällen har inte avslutats vid tiden för kntrll i Netigate Alla kurstillfällen i DSI är inte reguljära pänggivande kurstillfällen Ytterligare undersökningar har lagts upp i Netigate medan tillfället inte finns i DSI I DSI finns kurskder utan anmälningskder Alla kurstillfällen har inte utvärderats via Netigate

6 Av vanstående punkter utgör den sista definitivt ett prblem mt bakgrund av förrdningens krav. De kntrller sm gjrts av varför kurstillfällen inte utvärderats via Netigate ger vid handen att den mänskliga faktrn kan innebära att enstaka kurstillfällen inte utvärderas via Netigate (ch därmed kanske inte alls). 6 (23) Ytterligare en aspekt i förrdningskravet van är huruvida systemet möjliggör sammanställningar. Det gör systemet. I nrmalfallet får kursansvarig eller ansvarig lärare tillgång till sammanställningen. Om färre än fem respndenter i enskilda bakgrundskategrier svarat kan läraren behöva kntakta akademiadministratören eller annan behörig för att få tillgång till sammanställningen. Förrdningskravet innebär ckså att högsklan ska infrmera m resultaten ch eventuella beslut m åtgärder sm föranleds av kursvärderingarna. Den tinde frågan i den autmatiska kursvärderingen tar sikte på detta ch är frmulerad på följande vis: Fick du vid början av kursen eller på annat sätt infrmatin m tidigare kursvärderingar ch vilka eventuella förändringar sm de lett till? Svar på frågan "Infrmatin m tidigare kursvärderingar" Ja Nej Ej svar Ttalt Ja / (Ttalt - Akademi Ej svar) UKK % HVV % HST % IDT % MDH ttalt % Nt. Uppgifterna utgörs av data från främst VT11 ch HT11, även data från smliga kursvärderingar sm gjrdes sent HT10 ingår. Av tabellen van framgår att en majritet av de svarande menar att de inte fått infrmatin m tidigare kursvärderingar ch vilka förändringar sm de föranlett. En intressant iakttagelse är att det nästan alltid är någn eller några svarande sm svarar ja på frågan. Det skulle kunna innebära att infrmatinen är given på någt sätt men att majriteten inte uppfattat detta. Det står i alla fall klart att det mt bakgrund av förrdningskravet är önskvärt att en högre andel av de svarande svarar ja på frågan ch att högsklan behöver arbeta med sina rutiner för att infrmera m resultat från tidigare kursvärderingar. Det är ckså intressant att ntera att en akademi (HVV) får klart bättre resultat än övriga, vilket kan tyda på att skillnader i akademiernas interna arbete (rutiner) faktiskt har effekt. Förrdningskravet m tillgänglighållande av resultaten löses på följande sätt. Under själva svarsperiden har studenterna möjlighet att, via en länk i

7 e-pstet sm skickas ut efter genmförd kurs, i realtid följa resultatet. Denna möjlighet kvarstår även efter svarsperidens slut. 2 I dagsläget förvaras sammanställningarna i den webbmiljö sm MDH köper av företaget Netigate. Studenterna kan genm att kntakta sin akademiexpeditin få ut sammanställningen även efter svarsperidens utgång. 7 (23) Arkivering av handlingar sm skapas inm ramen för mdellen för arbetet med kursvärderingar ska enligt underlaget till det ursprungliga rektrsbeslutet ske i enlighet med nedanstående matris. Handling Sammanställning av studenternas svar. Sammanställning för publicering där vidkmmande kmmentarer är strukna ch där lärarkmmentarer kan vara tillagda. De enskilda ch avidentifierade studentsvaren med avidentifiering. Kursanalys ch beslut m åtgärder. Bevaras/gallras Bevaras. Gallras vid inaktualitet. Får inte gallras förrän 2 år efter sammanställningen upprättats. Bevaras. Av underlaget till rektrsbeslutet i maj 2010 m införandet av systemet framgår att rektrs kansli ansvarar för att utreda hur handlingar från kursvärderingssystemet tillsammans övriga handlingar kan arkiveras på sätt sm uppfyller krav ch behv. Detta arbete pågår frtfarande (maj 2012) ch i dagsläget finns endast rutiner nedtecknade för hur akademierna ska registrera kursanalys ch beslut m åtgärder. Någt sm kan knstateras (via sökningar i diariet) är att kursanalyser ch beslut m åtgärder inte registreras i enlighet med anvisningarna från högsklans arkivarie. Inte en enda kursanalys ch beslut m åtgärder finns registrerad. Däremt finns det skäl att tr att en frm av kursanalyser görs, inte efter alla kurstillfällen men väl efter flera. 3 Resultatet av kursvärderingen är en del av underlaget för den kursansvariges kursanalys 4. Att kursanalyser, sm en del av mdellen för arbetet med 2 Tidigare har uppfattning funnits att det efter svarsperidens via länken inte gått att ta del resultatet/sammanställningen ch att studenten därmed förlrat möjligheten att ta del av det slutliga resultatet. Nyliga testar har dck visat att länken inte upphör att fungera. 3 Att kursanalyser görs delvis men inte efter alla kurstillfällen stöds av den utvärdering av uppstartsfasen av kursvärderingssystemet sm gjrdes våren 2011 ch sm återrapprterats i fakultetsnämnden vid dess sammanträde den 26 maj 2011 ( 59, nämndmöte 4:2011, MDH /11). 4 I underlaget till rektrsbeslutet mnämns kursanalys på följande sätt: Kursanalysen skall diskuteras i ett frum med en sammansättning sm fastställs på akademin. I frumet skall ingå akademipersnal, studenter ch när så anses lämpligt även företrädare för näringsliv ch samhälle. Diskussinen skall antingen leda till beslut att kursen skall ges i förändrad frm eller

8 kursvärderingar, ska göras ch beslutet efter diskussin m kursanalys ska arkiveras framgår av underlaget till rektrsbeslutet. I grunden är kursanalys, diskussin ch beslut m åtgärder det egentliga kvalitetsförbättrande arbetet. Vikten av kursanalyser ch det faktum att beslut m åtgärder efter diskussin inte registreras gör att ytterligare uppföljning av efterlevnaden av detta mment är angeläget. 8 (23) Systemanvändning Det här avsnittet redgör för hur systemet används jämfört med de fördelar ch intentiner sm uttrycks i underlagen för rektrsbeslutet. I beslutet anges att Netigate ska användas för utvärdering av samtliga kurser på grundnivå ch avancerad nivå samt tillämpliga frskarutbildningskurser. Anrdnandegraden på grundnivå ch avancerad nivå har redan behandlats. Däremt har Netigate inte använts alls för frskarutbildningskurser. Frskarutbildningsutskttet beslutade vid sitt möte den 13 mars 2012 (nr 2:2012, MDH /12) att varken kursutvärderingsmdellen eller enkätverktyget Netigate för tillfället är lämpligt att använda vid utvärdering av frskarutbildningskurser. Resultat från kursvärderingssystemet i självvärderingar I Högskleverkets rådande kvalitetssäkringssystem utgör ett lärsätes självvärdering ett av underlagen för utvärdering. Fastställda rubriker i självvärderingsdkumentet är utvalda examensmål i högskleförrdningen sm huvudmrådet/examen utvärderas mt. I självvärderingen ska studenternas måluppfyllelse i förhållande till examensmål redvisas, värderas ch analyseras. Verket anger kursvärderingar (ch prgramvärderingar) sm lämpligt underlag för att beskriva måluppfyllelse. De gemensamma frågrna i högsklans kursvärderingsfrmulär är utfrmade på ett sådant sätt att de relaterar direkt eller indirekt till studenternas uppfattning m uppfyllande av kursens lärandemål. Givet att lärandemålen relaterar till examensmålen så framstår resultat från kursvärderingar sm ett passande underlag för redvisning i självvärderingen. Av högsklans självvärderingsdkument där resultat från kursvärderingssystemet (sedan införandet på bred frnt vårterminen 2011) har varit möjliga att använda innehåller två av fyra självvärderingar redvisningar av resultat från genmförda kursvärderingar. Bägge självvärderingarna avser underlag från Högskleverkets utvärdering av flkhälsvetenskap (mgång 2, år 2011). Sammantaget framstår det sm möjligt ch önskvärt att använda resultat från kursvärderingssystemet i självvärderingsdkumentet ch det har ckså skett. En möjlighet sm lyfts fram i underlaget till rektrsbeslutet är att akademierna har möjlighet att skaffa sig en egen uppsättning av svarsfrmulär (men med de gemensamma frågrna sm en bligatrisk del). till ett beslut m hur kursen skall förändras. Beslutet efter diskussinen av kursanalysen dkumenteras.

9 En rundfrågning bland akademiadministratörerna har gjrts ch där framkmmer att denna möjlighet i dagsläget inte används av någn akademi. Akademierna använder istället endast de gemensamma frågrna (grundmallen). Lärare har ckså möjlighet att själva, eller via sina akademiadministratörer, lägga till egna kurstillfällesspecifika frågr till kursvärderingen. Inte heller denna möjlighet har använts. 9 (23) Att möjligheten att skapa akademianpassade ch/eller kurstillfällesanpassade enkäter inte används får betraktas sm överraskande jämfört med förväntningarna. En trlig rsak är att det upplevs mständligt att i systemet skapa ytterligare frmulär. Svarsfrekvensen Ytterligare en aspekt av systemanvändningen är hur svarsfrekvensen ser ut. Det vill säga, i vilken utsträckning utnyttjar studenterna möjligheten att besvara enkäten ch delta i kursvärderingarna? I den dataexprt sm högsklan kan göra ur Netigates system återges svarsfrekvensen per fråga. I nedanstående tabell redvisas svarsfrekvensen på den sista frågan: Sammanfattande mdöme m kursen. Hur bedömer du kursen sm helhet? (På en skala 1 till 5 där 1 står för Jag är inte alls nöjd ch 5 för Jag är mycket nöjd.) Medel av sammanfattande mdöme V11 Medel av sammanfattande mdöme H11 Svarsfrekvens V11 Svarsfrekvens H11 Akademi UKK 3,9 3,7 33% 32% HVV 3,7 3,7 32% 37% HST 3,7 3,6 30% 30% IDT 3,8 3,9 35% 35% MDH ttalt 3,8 3,7 33% 33% Svarsfrekvensen uppgår i regel till cirka 33 prcent med märkbara skillnader mellan akademierna där HVV når upp till 37 prcents svarsfrekvens. En allmän åsikt sm fta återkmmer är att den låga svarsfrekvensen utgör ett prblem för det kvalitetsförbättrande arbetet eftersm kursansvariga inte känner att de kan lita på att underlaget är representativt. En viss fördjupning i prblematiken kring låg svarsfrekvens ch möjliga lösningar görs längre fram i rapprten. Däremt kan redan nu följande två iakttagelser göras. En erkänt viktig mtivatr för att svara på kursvärderingar är att studenterna får återkppling från resultat från tidigare kursvärderingar, van har knstaterats att detta inte sker i tillfredsställande utsträckning. Alla studenter använder inte sin av högsklan tilldelade studentmejl dit e-pst med länk till kursvärderingar skickas. En åtgärd för bättre svarsfrekvens är att studenterna själva får bestämma vilken e-pstadress de vill använda i sina kntakter med högsklan. Säkring av studenternas annymitet Inm ramen för systemanvändning ligger ckså att beröra frågan m i vilken utsträckning studenternas annymitet säkras. För att besvara frågan måste

10 en redgörelse för hur systemet fungerar i det här avseendet göras. I infrmatinen till studenterna framgår att man besvarar enkäten annymt, vilket man ckså gör. En r sm framkmmit från studenthåll är att man i ch med att svara på de inledande bakgrundsfrågrna m framförallt kön ch ålder löper risken att kursansvariga/lärarna har möjlighet att utifrån svar m kön ch ålder gissa sig till vem sm svarat vad. Det finns flera spärrar mt möjligheten att gissa sig till detta. 10 (23) Den huvudsakliga spärren för att säkra respndenternas annymitet utgörs av den i Netigate inbyggda krstabuleringsgränsen 5. Denna spärr möjliggör för lärare att göra krstabuleringar mellan lika kategrier m det finns färre än fem stycken respndenter i en kategri. Detta innebär att m exempelvis en respndent svarat att denne är man så kan läraren inte göra krstabuleringar på kategrin män. Studenterna har ckså möjlighet att helt enkelt hppa över frågrna m kön ch ålder genm att klicka sig vidare. Av rådatamaterial framgår att detta sker i liten utsträckning. Det har däremt på annat sätt framkmmit att smliga studenter utnyttjar möjligheten att uppge att de är av annat kön (i linje med majriteten). Hur vanligt det är går inte att svara på men klart är att ju vanligare, dest svårare att göra analyser med bakgrundsvariablerna kön ch ålder. Datauttag på aggregerad nivå Systemet möjliggör att högsklans huvudadministratör (en persn) gör uttag ur Netigate. Uttagen innehåller all data sm respndenterna matat in när de besvarat kursvärderingarna. Således ingår här data m bakgrundsvariablerna, såsm kön ch ålder, ch data m exempelvis studenternas mdömen m undervisning. I denna enrma mängd data går det att undersöka vad exempelvis en man på kurstillfället x uttryckt m kurstillfällets undervisning. Däremt kan man inte med säkerhet veta vem sm svarat att denne är man. Vidare har rutiner upprättats sm innebär att högsklans huvudadministratör innan vidarebefrdran av data på aggregerad nivå till mttagare runt m inm högsklan (sm exempelvis akademiernas avdelningschefer) rensas från klumnerna kön ch ålder. Excel-arket med den aggregerade datan lösenrdsskyddas ckså för att ytterligare höja säkerheten. Enda undantaget från nyss nämnda rutin skulle kunna vara att högsklans jämlikhetshandläggare har föreslagits få tillgång till ej lösenrdsskyddad data sm innehåller klumnerna ålder ch kön. Detta i syfte att bedriva ett ffensivt jämlikhetsfrämjande arbete. En rdning sm innebär att en skriftlig överenskmmelse upprättas ch undertecknas av ansvariga sektinschefer för att säkerställa en ansvarsfull hantering av datan 5 Begreppet krstabulering har vållat en del diskussiner. Krstabulering används för att göra djupare analyser av vad lika respndentgrupper har svarat ch innebär i krthet att jämföra lika kategriers svar med varandra i frm av krstabeller. Att bara betrakta en samling diagram är inte att krstabulera ch diagram i sig, även m de innehåller exempelvis fem kvinnliga ch en manlig svarande, gör inte att man kan dra slutsatser m vad den enskilde mannen har svarat. Detta eftersm diagrammen inte är uppdelade på kategrierna kön ch ålder.

11 sm inte äventyrar enskilda respndenters annymitet finns sm förslag ifall jämlikhetshandläggaren ska få denna tillgång. 11 (23) Kvalitetsansvarigas användning av data på aggregerad nivå Under den här rubriken är det ckså relevant att beröra frågan m i vilken utsträckning fakultetsnämnd ch akademier använder datamaterial på aggregerad nivå från kursvärderingssystemet. Frmellt har högsklestyrelsen i sin arbetsrdning fastställt (MDH /10) att fakultetsnämnden ansvarar för beslut i frågr sm rör uppläggning, genmförande av eller kvalitet i utbildningen. Av fakultetsnämndens arbetsrdning framgår att man anammat detta ansvar. Fakultetsnämnden har å sin sida beslutat m arbetsrdning för sina utbildningsutsktt (MDH /11), sm ska följa kvaliteten i verksamheten inm sitt ansvarsmråde ch rapprtera till nämnden. Av utskttens arbetsrdning framgår även att resultat från kursvärderingar ska användas vid utvärdering av utbildningarnas kvalitet. Gällande kurser har rektr delegerat (versin , MDH /10) beslut m inställande av kurs- ch prgramtillfällen inm utbildning till fakultetsnämnden medan rektr har delegerat beslut m inrättande ch fastställande av kursplaner till respektive akademichef (detta kan dck på akademinivå ha vidaredelegerats vidare). Rektr har även i beslut ( , MDH /11) fastställt akademiernas inre rganisatin. I detta beslut anges att det är avdelningschef sm utser kursansvarig lärare ch att det för varje kurs ska finnas en kursansvarig lärare sm svarar för utvärdering av kursen samt för att resultatet av utvärderingen kmmuniceras med studentgruppen ch utbildningsledare ch att det dkumenteras så att det finns tillgängligt vid den frtsatta kursutvecklingen. Av samma rektrsbeslut kan utläsas att utbildningsledare ska ha kunskap m hur kvalitetsarbete bedrivs ch bära ett samrdningsansvar. Ytterligare en ptentiell intressent i sammanhanget är ämnesföreträdarna vars uppgift enligt nyss nämnda rektrsbeslut är att företräda ch svara för kursutveckling med avseende på vetenskaplig kmpetens ch kvalitet inm utbildning på grundnivå ch avancerad nivå. Vid såväl inrättande/fastställande av kursplaner sm vid inställande av kurstillfällen är det tänkbart att beslutsfattaren passar på att använda resultat från kursvärderingar sm underlag för beslut. Data på aggregerad nivå skulle då kunna utgöra startpunkt för att identifiera bristfälliga kurser ch kurstillfällen. Av styckena van framgår att det finns flera funktiner sm ur lika aspekter har intresse av att följa resultat från kursvärderingar. Möjligheten att göra uttag på aggregerad nivå öppnade sig tekniskt först under hösten Därefter har muntlig infrmatin givits m denna möjlighet i det före detta rektrsrådet (december 2011) ch vid akademi HST:s ledningsråd (januari 2012) ch vid IDT:s två ledningsråd (februari 2012). Mt den bakgrunden är det för tidigt att säga någt m hur akademierna använder data på aggregerad nivå. Mtsvarande resnemang kan sägas gälla för fakultetsnämnden.

12 Däremt kan knstateras att lika akademier hunnit lika långt i att bekanta sig med data på aggregerad nivå, alternativt har akademierna gjrt lika bedömningar i hur användbart de finner att datan är. På mtsvarande sätt kan knstateras att varken fakultetsnämnden eller utbildningsutsktten aktivt använder resultat från kursvärderingar i arbetet med att fullgöra sitt kvalitetsansvar. 12 (23) Kstnader 6 Högsklan tecknade redan den 29 september 2008 (MDH /08) ett avtal med Netigate. Detta ursprungliga avtal avsåg i första hand högsklans möjligheter att använda systemet för medarbetar-/studentenkäter ch liknande ch slöts mellan högsklans dåvarande persnalchef ch Netigate. Av avtalet framgår att det är giltigt från ch med undertecknandet till ch med den 30 september 2011 ch att det kan förlängas två gånger med ett år i taget (avtalet kan med utnyttjande av samtliga möjligheter till förlängning löpa sm längst till ch med den 30 september 2013). Ersättningen sm högsklan enligt det avtalet ska betala uppgår till kr för tlv månaders användning av systemet, men det avsåg ursprungligen alltså inte kursvärderingsdelen. Av mtiveringen till det ursprungliga rektrsbeslutet m införandet av kursvärderingssystemet framgår gällande kstnaderna att den ungefärliga årskstnaden för Netigate ska uppgå till kr. För att få till stånd kursvärderingsdelen har högsklan utöver det ursprungliga avtalet slutit ytterligare användaravtal. Enligt ett användaravtal ska högsklan för tjänsterna drift, underhåll, uppdateringar, utbildning ch nlinesupprt betala kr ch kr för en tilläggstjänst kallad Flders. Vidare ska kr för en specifik utvecklingskstnad avseende anpassning av webbservice API för att skapa möjlighet till integratin samt ytterligare kr för en specifik utvecklingskstnad avseende utveckling av rapprtmtr för exprt av rådata betalas. Enligt ytterligare ett användaravtal ska högsklan betala kr för utveckling av exprt till PDF/A ch möjligheten för högsklan att anrpa Netigates servrar för hämtning av sammanställningar (för förvaring på MDH). Om själva huvudavtalet (avseende möjligheterna att göra exempelvis medarbetar- ch studentenkäter) utesluts summeras kstnaderna på följande vis: Utvecklingskstnader: = kr Årskstnad: = kr 6 De kstnader sm tas upp i det här stycket har bekräftats med eknmisektinen genm att kntrllera utgående betalningar till leverantören.

13 Kstnaderna för arbetstid går inte att uppskatta ch relevanta jämförelsetal saknas. 13 (23) Användarvänlighet Det här avsnittet syftar till att ge en bild av systemets användarvänlighet. I strt kan, utöver studenterna, lärarna/kursansvariga, akademiadministratörerna ch systemförvaltaren sägas vara användare av systemet (dessa gruppers huvudsakliga uppgifter i kursvärderingssystemet framgår av bilaga 1). Användarvänligheten har till största del undersökts med hjälp av webbenkäter till användarkategrierna. Avsnittet m användarvänlighet inleds med en sammanfattning av resultaten av webbenkäterna, därefter redvisas mer ingående resultaten av respektive enkät till respektive användarkategri. Respndenterna i samtliga undersökningar har lämnat förbättringsförslag. Några av dessa ch andra förbättringsförslag redvisas i avsnittet Svårigheter/brister ch förbättringsförslag. Sammanfattning av resultat av webbenkäterna 8 av 18 av de svarande studenterna menar att systemet är allmänt lätt att använda. På frågan m sammanfattande mdöme ger studenterna det digitala enkätverktyget 3,94 i medelresultat (17 svarande). Bland lärarna är den sammantagna bilden att systemet inte upplevs sm särskilt användarvänligt utan att systemet för den skull ttalt sett anses vara katastrfalt. Medelresultatet på frågan m sammanfattande mdöme är 2,47. Flera lärare är missnöjda med frågrnas utfrmning. Frågrna upplevs fta sm alltför generella ch missriktade (mt administratin) ch de upplevs sm svåra att använda för kvalitetsförbättrande arbete på kursnivå. En majritet av de svarande lärarna tycker att svarsfrekvensen är för låg. Akademiadministratörerna ger systemet 2,75 i medel sm sammanfattande mdöme ch användarvänligheten anses inte särskilt gd. Bland annat framhålls att det är mycket klickande ch scrllande ch att det medför risker för fel. Studenterna För att få en bild av studenternas uppfattning m systemets användarvänlighet har ett urval av studenter fått möjlighet att lämna synpunkter via en webbenkät. Svarsperiden pågick under periden respndenter valdes ut av studentkåren ch av dessa svarade 18 (vilket ger 29 prcents svarsfrekvens). Frågrna ch resultaten redvisas nedan i tur ch rdning men krtfattat med medelvärden då det rör sig m ganska få svarande. Skalan går m inte annat sägs från 1 till 5 där 1 står för Instämmer inte alls ch 5 för Instämmer helt. På frågan m e-pstet med länk till en kursvärdering är lätt att förstå instämmer 12 av 17 svarande helt. Medelresultatet är 4,71.

14 På frågan m det är lätt att veta vilket kurstillfälle sm studenten är på väg att utvärdera instämmer 10 av 17 svarande helt. En svarande instämmer inte alls. Medelresultatet är 4, (23) På frågan m studenten litar på att dennes annymitet är säkrad är medelresultatet 4,12 (17 svarande). På frågan m kursvärderingarnas frågr verkar vara bra för kvalitetsutveckling av kurserna är medelresultatet 3,35 (17 svarande). Studenterna mbads att ange rsaker till varför svarsfrekvensen är så låg (flervalsfråga). Resultatet fördelar sig enligt nedan. Nr Påstående Antal svarande Andel svarande 1 Många tycker att systemet är allmänt svårt att använda. 1 6% 2 Många använder inte sin studentmejl % 3 Många trr inte att resultaten används till kvalitetsförbättring % 4 Många är rädd att annymiteten inte är säkrad. 3 17% 5 Många är trötta på alla dessa kursvärderingar % 6 Många tycker att det är för många frågr. 6 33% 7 Många tycker att det är svårt att veta vilken kurs/kurstillfälle sm ska utvärderas. 1 6% 8 Många säger att länken i e-pstet inte fungerar. 0 0% 9 Många tycker att när tentan har varit känns inte kursvärdering relevant att göra. 9 50% 10 Många bryr sig helt enkelt inte % 11 Vet ej. 2 11% I vanstående svarsredvisning framgår att studenterna lyfter fram tre huvudförklaringar till den låga svarsfrekvensen, nämligen att många inte bryr sig, att många inte använder sin studentmejl ch att många är trötta på alla dessa kursvärderingar. Av dessa rsaker har lärsätet stra möjligheter att påverka till vilken e-pstadress utvärderingarna skickas medan de andra två mer är attitydfrågr sm lärsätet kan ha svårare att påverka. Av fritextsvaren till frågan framgår att tidpunkten för när e-pst med länk till kursvärdering når studenterna är viktigt. Flera menar att kursvärderingarna ska besvaras innan tentan är gjrd vilket minskar intresset att svara. En

15 annan nämner att denne vet att lärarna inte tar åt sig av den infrmatin sm kmmer fram i utvärderingarna ch att persnen därför struntar i att fylla i utvärderingarna. 15 (23) Förbättringsförslagen tar sikte på att e-pst med länk till utvärdering ska skickas några dagar innan tentamen ch att svarsperiden är längre, att det tydligare ska framgå vad sm förändrats i kursen med anledning av tidigare utvärderingsresultat ch att generella frågr minskar värdet av en utvärdering. På frågan m vilka de största fördelarna är med nuvarande kursvärderingssystem fördelar sig svaren enligt nedan. Nr Påstående Antal svarande Andel svarande 1 Det gemensamma kursvärderingssystemet underlättar värdefulla jämförelser. 2 Införandet av ett gemensamt system har satt fkus på kursvärderingar. 7 39% 3 17% 3 Systemet är allmänt lätt att använda. 8 44% 4 Nu får jag göra utvärderingar, det fick jag inte förrut. 2 11% 5 Ingen större fördelar finns. 6 33% Nästan hälften menar att systemet är allmänt lätt att använda. 7 av 18 svarande (39 prcent) anser att systemet underlättar värdefulla jämförelser men nästan lika många anser att det inte finns några större fördelar. Fritextsvaren ger ingen vägledning i vad sm ligger bakm siffrrna. På frågan m sammanfattande mdöme får det digitala enkätverktyget 3,94 i medelresultat (17 svarande). Av fritextsvaren framgår en hel del förbättringsförslag, de har bakats in i listan under avsnittet Svårigheter/brister ch förbättringsförslag. Lärarna/kursansvariga För att undersöka lärarnas syn på användarvänligheten har även här en webbenkät knstruerats. Svarsperiden pågick under periden till Ttalt uppgav sig 188 svarande vara lärare (vilket ger 28 prcents svarsfrekvens 7 ). Lärarnas hemvist på akademierna var relativt jämnt fördelade, mellan 43 ch 60. Frågrna ch resultaten redvisas nedan i tur ch rdning. 7 Då alla inte har besvarat alla frågr är svarsfrekvensen på respektive fråga mindre. Av lärarna har i allmänhet cirka 170 persner besvarat varje enskild lärarfråga.

16 Tillgång till rätt kursvärdering/sammanställning Fråga: Det är enkelt att få tillgång till den kursvärdering/ sammanställning sm jag ska ha tillgång till (det vill säga min behörighet är giltig ch jag har tillgång till rätt kursvärderingar/sammanställning). 16 (23) Svar Antal Prcent 1 = Instämmer inte alls 32 (19%) 2 25 (15%) 3 47 (27%) 4 30 (18%) 5 = Instämmer helt 37 (22%) Kmmentar: Medelresultatet är 3,09. Bland respndenternas kmmentarer finns få sm berör denna fråga men en handlar m att trassel med att sm kursansvarig få tillgång till den egna kursens utvärderingar gör att läraren helt/delvis slutat använda verktyget. Sammanställningen är bra underlag för kvalitetsarbete Fråga: Den autmatgenererade sammanställningen är ett bra underlag för kursanalys ch förbättringsåtgärder (brtse här från eventuella prblem med låg svarsfrekvens eller liknande). Svar Antal Prcent 1 = Instämmer inte alls 31 (19%) 2 39 (23%) 3 43 (26%) 4 34 (20%) 5 = Instämmer helt 20 (12%) Kmmentar: Medelresultatet på frågan är 2,84. På akademinivå märks en skillnad i att lärare på UKK ch IDT är mer missnöjda med sammanställningen sm underlag för kvalitetsarbete. Medel för dessa båda akademier är cirka 2,5 medan medel för HST ch HVV ligger en bit över 3. Bland respndenternas kmmentarer finns flera sm berör frågrna ch att dessa i sig inte är bra ng för att utvärdera kursen. Att själva sammanställningens utfrmning med prcentsatser ch diagram inte skulle vara bra framkmmer dck inte. Nackdelar/svårigheter Fråga: Vilka är de största nackdelarna/svårigheterna med systemet? (Detta är en flervalsfråga.) 1. Systemet är allmänt svårt att använda. 44 svar (25%) 2. Min behörighet är fta giltig (har gått ut eller liknande). 16 svar (9%) 3. Jag får inte det stöd jag behöver (från MDH-persnal eller från Netigate). 28 svar (16%) 4. Resultaten går inte att använda på grund av låg svarsfrekvens. 119 svar (68%) 5. Resultaten går inte att använda på grund av andra säkerheter gällande underlaget. 63 svar (36%) 6. Ingen större nackdel finns. 30 svar (17%) Kmmentar: För låg svarsfrekvens sticker ut sm en str nackdel. Respndenternas kmmentarer berör att frågrna är för spretiga ch inte ger

17 återkppling på kursen, att svarsfrekvens är allt för låg, att man har dålig kntrll över att studenter svarar på rätt utvärdering. Flera tycker att frågrna rör administrativa delar mer än kvalitativa delar. Några har ckså tagit upp att man ej får lägga till viktiga kursanpassade frågr 8. En annan tar upp att man inte kan länka till enkäten från kurshemsida sm en nackdel. En kmmentar berör att det inte finns någt sätt att göra en "autmatisk" återkppling till studenterna ch en annan att fördjupande dialg med studenterna är befintlig (23) Fördelar/faktrer sm underlättar Vilka är de största fördelarna/faktrer sm underlättar med det gemensamma kursvärderingssystemet? (Detta är en flervalsfråga.) 1. Det gemensamma kursvärderingssystemet underlättar värdefulla jämförelser. 39 svar (23%) 2. Införandet av ett gemensamt system har satt fkus på kursvärderingar. 30 svar (18%) 3. Systemet är allmänt lätt att använda. 40 svar (24%) 4. Min/mina behörighet(er) fungerar bra. 32 svar (19%) 5. Jag får det stöd jag behöver (från MDH-persnal eller från Netigate). 20 svar (12%) 6. Resultaten/sammanställningen går bra att använda för kursanalys ch förbättringar. 32 svar (19%) 7. Inga större fördelar finns. 77 svar (45%) Kmmentar: Nära 80 respndenter tycker att det inte finns några större fördelar med systemet. Någn framhåller att frågrna är riktigt usla men att systemet annars är tppen. Sammanfattande mdöme Vad tycker du utifrån ditt perspektiv m systemet sm helhet? 1 = Mycket dåligt 41 (25%) 2 47 (28%) 3 46 (28%) 4 26 (16%) 5 = Mycket bra 7 (4%) Kmmentar: Medelresultatet på frågan är 2,47. Bryter man ned svaren på samtliga frågr på akademinivå visar det sig att HVV:s lärare i allmänhet svarar mer psitivt än lärare på övriga akademier. Detta visar sig ckså på frågan m sammanfattande mdöme där HVV:s lärare ger systemet 2,68 i medel. HST:s lärare ligger ganska nära med 2,61 medan de IDT:s ch UKK:s lärare ger ett sammanfattande mdöme under medel. Lärarnas sammanfattande mdöme m systemet på akademinivå fördelar sig enligt nedan. 8 Kursvärderingsmdellen sm sådan ch tekniken i systemet tillåter att akademierna lägger till egna frågr utöver de gemensamma. Det är upp till akademierna att besluta m ch hur akademi-/kursspecifika frågr ska läggas till. 9 Enlig kursvärderingsmdellen ska kursanalyser göras, i detta ligger att resultat från kursvärdering via Netigate ska diskuteras av akademipersnal ch studenter. Huruvida sådana diskussiner faktiskt förekmmer avgörs inte av mdellen eller systemet. Mdellen tillåter ckså att det under kursens gång sker avstämningar mellan lärare ch studenter.

18 Akademi Medel 18 (23) HVV 2.68 HST 2.61 IDT 2.40 UKK 2.25 Lärarnas egna kmmentarer Bland respndenternas egna kmmentarer berör flera låg svarsfrekvens ch frågrnas utfrmning. Det finns några sm efterlyser längre svarstid ch att kurskden måste kmbineras med kursnamnet i det e-pst studenterna får med länk till sin kursvärdering. Vidare nämns att studenterna utvärderar fel kurs. Någn önskar en kurs i systemet. Några önskar att studenterna lättare ska kunna nå sin kursvärdering via lärplattfrmen Blackbard. Detta särskilt då många studenter inte använder sin av MDH tilldelade studentmejl. Akademiadministratörerna För att undersöka akademiadministratörernas syn på användarvänligheten har en webbenkät knstruerats. Svarsperiden pågick under periden till Av de svarande uppgav sig tlv vara akademiadministratörer men i allmänhet har åtta eller ni persner besvarat frågrna sm riktar sig till akademiadministratörerna. Följaktligen har trligen någn lärare uppgivit sig tillhöra fel kategri men sedan inte besvarat frågrna. Frågrna ch resultaten redvisas nedan i tur ch rdning men krtfattat med medelvärden då det rör sig m få svarande. Skalan går m inte annat sägs från 1 till 5 där 1 står för Instämmer inte alls ch 5 för Instämmer helt. Vad tycker du m beställningssidan där man beställer kursvärderingar? Medelresultatet är 3,10. Det är enkelt att administrera lärarnas behörigheter. Medelresultatet är 3,78. Det är enkelt att lägga till extra frågr till enskilda kursvärderingar. Medelresultatet är 2,20. Endast fem svarande på denna fråga, vilket kan tyda på att akademiadministratörerna inte vanligen lägger till extra frågr. Jag får fta agera närstöd (exempelvis kan det handla m att en lärares inlggningsuppgifter inte är giltiga längre) till lärare eller annan persnal på akademin. Medelresultatet är 2,56. Tycker du att dina kunskaper m framförallt systemet ch beställningssidan är tillräckliga för att möta mgivningens förväntningar (mgivningen kan vara lärare eller akademiledningen)? Medelresultatet är 2,67.

19 Jag lägger ned ungefär följande arbetstid per månad på att hålla igång systemet (beställa utvärderingar, agera närstöd, administrera behörigheter med mera). Frågan är besvarad av åtta persner. 19 (23) timmar per månad 5 svar timmar per månad 2 svar timmar per månad 1 svar Vad tycker du utifrån ditt perspektiv m systemet sm helhet? Frågan är besvarad av åtta persner ch medelresultatet är 2,75. Akademiadministratörernas egna kmmentarer Prblem sm lämnats sm extra kmmentarer handlar m att användarvänligheten inte är gd. En kmmentar sm lämnats tar sikte på att det är mständligt att behöva lgga in på två ställen (dels MDH:s beställningssida för kursvärderingar, dels i Netigate för att i huvudsak administrera behörigheterna). Bland annat så beskrivs tekniska tillkrtakmmanden gällande beställningssidan sm innebär mycket klickande ch att det är för lätt att göra fel utan att systemet säger ifrån. Även i Netigate upplever flera att användarvänligheten inte är gd. Här beskrivs ckså prblem med att administratörerna måste klicka många gånger ch scrlla mycket för att utföra sina kmmandn. Allt klickande sm måste utföras exempelvis vid administratin av behörigheter gör att risken för fel ökar. Vidare måste e-pst med inlggningsuppgifter skickas manuellt till respektive lärare. En kmmentar tar sikte på att detta brde göras autmatiskt av Netigate när utvärderingen startar samt att det autmatiskt brde gå ut ett e-pst sm talar m för kursansvarig att enkäten är stängd. En annan kmmentar berör svårigheten att få överblick över när beställda kursvärderingar börjar ch slutar. Fördelar sm nämns med Netigate är att alla kurstillfällen i DSI läses över till MDH:s beställningssida ch blir valbara för beställning samt att studenternas e-pstadresser hämtas autmatiskt från Ladk vid beställning av kursvärdering. Systemförvaltaren Det här avsnittet avslutas med några rd från systemförvaltaren (vilken är samma sm rapprtförfattaren) ch dennes perspektiv på användarvänligheten. Systemet sm Netigate levererar uppfattas sm ett i allmänhet väl fungerande m än inte helt användarvänligt system. Netigates persnal har visat sig relativt mttaglig för synpunkter ch förbättringsförslag ch en del åtgärder har genmförts sm förbättrat användarvänligheten. De prblem sm uppmärksammats under 2011 hänger fta samman med: IT-frågr inm lärsätet (prgrammering av beställningssidan för kursvärderingar sm lärsätet knstruerat ch äger), tidvis för att kunna kmmunicera med Netigates system Ansvarsfördelning/kmmunikatin inm lärsätet

20 Brister/svårigheter kpplade till i e-pstutskick till studenterna (sm föranleder låg svarsfrekvens) 20 (23) Den tekniska integratinen mellan Ladk, MDH:s beställningssida för kursvärderingar ch Netigate är inte perfekt. Exempelvis skulle en del återkmmande manuella åtgärder krävas för att brister i e-pstutskicken till studenterna ska avhjälpas. Det är emellertid svårt att avgöra m bristerna i kmmunikatinen mellan lika system är en knsekvens av svagheter i Netigates system eller m svagheterna berr på MDH:s system. För att göra en bedömning av huruvida nuvarande lösning är i strt bra eller dåligt skulle en jämförelse med andra system behöva göras. Det ligger dck utanför den här uppföljningens ramar. Svårigheter/brister ch förbättringsförslag Av rapprten har ett antal svårigheter/brister ch förbättringsförslag av högsklans mdell för arbetet med kursvärderingar, där det tekniska systemet är en viktig beståndsdel, framkmmit. Nedan listas ett antal svårigheter/brister ch förbättringsförslag. Listan är inte fullständig ch ska inte ses sm en fel- ch åtgärdslista utan redvisar ett antal väsentliga svårigheter/brister i mdellen ch systemet ch förbättringsförslag. Svårighet/brist Studenterna får inte uppge sin egen e-pstadress för all kmmunikatin med högsklan ch de använder inte sin tilldelade studentmejl fullt ut. Studenterna uppger att de har samma kön sm den större majriteten av kurskamraterna. Studenterna utvärderar fel kurs på grund av att de av e-pstet med länken till kursvärderingen inte får veta kursnamnet samt att de inte söker fram rätt kursplan sm tänkt. Förbättringsförslag Förenkla för studenterna antingen genm att tillåta egna e- pstadresser eller genm att studenterna istället för att behöva gå in på studentmejlen ch själva arrangera vidarebefrdran till annan e-pstadress så ska det räcka med att studenten i samband med registrering eller liknande kryssar för att vidarebefrdran ska ske autmatiskt (de måste förstås uppge sin andra e-pstadress i samband med ikryssning eller vid annat tillfälle). Infrmera m att man svarar annymt ch att de sm behandlar datan inte kan se vem sm svarat vad. Undersök teknisk lösning sm gör att kursnamnet utöver kurskdtermin-anmälningskd hämtas ch tydligt redvisas för respndenten.

21 Låg svarsfrekvens. (Utöver redan nämnt.) Omregistrerade studenter kan av MDH:s beställningssida för kursvärderingar inte autmatiskt hämtas ur Ladk på ett bra sätt med följden att mregistrerade studenter sm läst ett kurstillfälle inte får e- pst med länk till kursvärdering. Lärarna kan inte göra autmatisk återkppling till studenterna. Lärarna upplever frågrna sm användbara för sitt kvalitetsförbättrande arbete ch får inte lägga till egna frågr. Studenterna upplever inte frågr tillräckligt relevanta för den specifika kursen. IT-frågr sm berör beställningssidan för kursvärderingar ch sm läggs upp i ärendehanteringssystemet JIRA åtgärdas inte. Akademiadministratörerna anser sig inte ha tillräckliga kunskaper för att möta mgivningens förväntningar. Underlätta för studenterna genm tydligare kppling mellan digital lärplattfrm ch student-mejlen. Förläng svarstiden till efter tentamen. Tydligare ch upprepad återkppling från kursansvarig m vilken påverkan utvärderingsresultaten har haft ch har. Infrmera m att mregistrerade studenter får be m att bli manuellt tillagda på respndentlistan. Kursvärderingsmdellen föreskriver att kursanalyser ska göras ch att infrmatin m resultat från tidigare utvärderingar ska lämnas vid kursintrduktin. Autmatisk återkppling är utöver detta ch stöds inte av systemet idag. Varje akademi pratar ihp sig internt m några lika akademispecifika utökade frågemallar sm tillgdser fler lärares behv av andra frågr än de nu bligatriska. Ansvariga för prjektet kursvärderingar i JIRA pririterar att ta sig an frågrna i den utsträckning det är möjligt. Arrangera infrmatinstillfällen ch utbildning med sikte på att vara akademiadministratör i systemet. 21 (23)

22 Slutsatser Rapprten inleddes med att deklarera syftet med att utgöra uppföljning av systemet för arbetet med kursvärderingar. För att avgränsa arbetet identifierades följande fyra nyckelmråden för uppföljning: 22 (23) 1. Regelefterlevnad 2. Systemanvändning 3. Kstnader 4. Användarvänlighet Av uppföljningen kan följande slutsatser dras. Ledningens möjligheter att säkerställa att kursvärderingar anrdnas har underlättats väsentligt av systemet. Anrdnandegraden är nära 100 prcent ch systemet gör självt sammanställningar av resultaten. Med hjälp av systemet kan knstateras att nära två tredjedelar av de svarande studenterna uppger att de inte får återkppling från tidigare kursvärderingar ch vilka förändringar de lett till, vilket visar på bristande regelefterlevnad. Systemet används delvis sm tänkt. Det går att använda resultat från kursvärderingarna ch systemet i självvärderingarna sm ska göras inm ramen för Högskleverkets kvalitetssäkringssystem. Akademierna lägger inte till egna frågr till de gemensamma frågrna. Det är än så länge för tidigt att säga någt m i vilken utsträckning akademier ch fakultetsnämnd använder data på aggregerad nivå från systemet för att bedriva kvalitetsutvecklande arbete. Den låga svarsfrekvensen utgör ett strt prblem för lika användares intresse av att använda systemet ch för att efterleva kursvärderingsmdellen. En viktig mtivatr för att svara är att få återkppling från tidigare kursvärderingar ch vilka förändringar dessa föranlett. En majritet av studenterna menar att de inte fått infrmatin m tidigare kursvärderingar ch m föranledda förändringar. Indikatiner finns på att akademiernas interna arbete (rutiner) har effekt på hur många studenter sm får infrmatin m tidigare kursvärderingar. Årskstnaderna mtsvarar i strt de förväntade. Uppfattningen m användarvänligheten varierar mellan lärare, akademiadministratörer ch studenter. Lärare ch akademiadministratörer är i allmänhet svagt missnöjda med systemet (med inslag av tidvis starkt missnöje) ch studenterna är i allmänhet nöjda. Av resultaten av webbenkäterna framgår att det inm ramen för befintligt system brde vara möjligt att med gemensamma ansträngningar åtminstne delvis förbättra mdömena m systemet.

23 Bilaga 1 23 (23) Ansvarsfördelning vem gör vad i kursvärderingssystemet? Lärare Tar fram autmatgenererade sammanställningar av resultatet ur kursvärderingssystemet Diskuterar sammanställningen vid den så kallade kursanalysen Tillser att beslut efter kursanalys dkumenteras, arkiveras ch är enkelt sökbart (diarieförs) Återkpplar från beslut efter kursanalys till studenterna vid kursintrduktin Akademiadministratörer Beställer kursvärderingar ch prickar av vilka kurstillfällen sm ska utvärderas när ch för vilka kurstillfällen det beställts kursvärdering för Agerar närstöd till lärare/kursansvariga sm får prblem Administrerar behörigheter för användarna med läsrättigheter Lägger till eventuella ytterligare akademispecifika frågr till kursvärderingarna Systemförvaltaren Ansvarar för ändringar i grundmallarna sker i samverkan mellan högsklans ledning, fakulteten ch högsklans fyra akademier ch att nya grundmallar distribueras till akademiernas underkntn Administrerar behörigheter ch inlggningar till underkntna Samlar in synpunkter ch förbättringsförslag ch vidarebefrdrar dessa till Netigate Agerar stöd till akademiadministratörerna Tar ut aggregerad data ur Netigate för bearbetning ch analys på akademinivå ch ytterligare nivåer ch vidarebefrdrar relevant material till mttagare inm högsklan