MDH 2.1.1-333/10 RAPPORT 2012-09-17 1 (7) Resultat från kursvärderingssystem avseende på VT12 Utbildnings- och forskningssektionen Jonas Lostelius
Bakgrund Via det högskolegemensamma kursvärderingssystemet går det att göra omfattande datauttag över respondenternas svar. Datan kan i exempelvis datorprogrammet Excel sorteras på olika nivåer, från akademi- till kurstillfällesnivå och körningar mellan olika kategorier är möjliga. Uttagen möjliggör förutom snabba sorteringar även analyser på aggregerad nivå. Uttag kan göras när som helst men en lämplig tidpunkt är efter ett terminsslut. Mot bakgrund av fakultetsnämndens och utbildningsutskottens kvalitetsansvar presenteras resultat från kursvärderingssystemet avseende på i första hand VT12. 2 (7) Ansvarsfördelning Enligt fakultetsnämndens arbetsordning ansvarar nämnden för beredning av och i förekommande fall beslut i frågor som rör uppläggning, genomförande av eller kvalitet i utbildningen. Enligt utbildningsutskottens arbetsordning ska utskotten särskilt följa kvaliteten i verksamheten inom sitt ansvarsområde och rapportera till nämnden. I arbetsordningen anges även att resultat av kursvärderingar ska användas vid utvärdering av utbildningars kvalitet. Gällande kurser har rektor delegerat (version 2012-04-24, MDH 1.1.2 239/12) beslut om inställande av kurs- och programtillfällen inom utbildning till fakultetsnämnden an rektor har delegerat beslut om inrättande och fastställande av kursplaner till respektive akademichef. Rektor har även i beslut (2011-12-06, MDH 1.1.1-576/11) fastställt akademiernas inre organisation. I detta beslut anges att det är avdelningschef som utser kursansvarig lärare och att det för varje kurs ska finnas en kursansvarig lärare som svarar för utvärdering av kursen samt för att resultatet av utvärderingen kommuniceras studentgruppen och utbildningsledare och att det dokumenteras så att det finns tillgängligt vid den fortsatta kursutvecklingen. Av samma rektorsbeslut kan utläsas att utbildningsledare ska ha kunskap om hur kvalitetsarbete bedrivs och bära ett samordningsansvar. Ytterligare en aktör i sammanhanget är ämnesföreträdarna vars uppgift enligt nyss nämnda rektorsbeslut är att företräda och svara för kursutveckling avseende på vetenskaplig kompetens och kvalitet inom utbildning på grundnivå och avancerad nivå. Vid inrättande/fastställande av kursplaner, vid inställande av kurstillfällen och vid utvärderingar av utbildningars kvalitet är det tänkbart att resultat från kursvärderingar utgör underlag. Data på aggregerad nivå kan utgöra startpunkt för att identifiera förbättringsområden avseende rutiner eller till och för att identifiera kurser och kurstillfällen som får svaga resultat i kursvärderingarna. Av styckena ovan framgår att det finns flera funktioner som ur olika aspekter har intresse av att följa resultat från kursvärderingar och kursvärderingssystemet.
Analys av data för VT12 Analysmöjligheterna är många och inom föreliggande rapport finns endast möjlighet att lyfta fram några aspekter. Att kursvärderingar ska genomföras är ett förordningskrav och således är den så kallade anordnandegraden i MDH:s kursvärderingssystem relevant att följa upp. Nedanstående diagram ger en bild av hur anordnandegraden sett ut sedan nuvarande systems införande. 3 (7) Procent 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Anordnandegrad V11-VT12 MDH UKK HVV IDT HST V11 79% 91% 94% 97% 30% H11 97% 98% 96% 96% 98% V12 96% 102% 95% 84% 97% VT12 upprätthålls överlag en god anordnandegrad. Under terminen har det på akademi IDT beställts färre kursvärderingar än tidigare. De orsaker som anges i kontakt representanter från akademin är följande: 1. I de fall respondentlistan innehållit färre namn än fem har inte alltid kursvärdering beställts. Läraren kommer då själv inte åt att se resultatet och är sällan intresserade av att det ska tas fram eftersom de inte anser resultatet vara användbart så få svarande. 2. Ett antal kurser (paket) har haft tillfällen i Nacka. Dessa kan ha sorterats ut just på grund av att det gäller kurspaket. Kurserna som ingår borde ha utvärderats precis som övriga kurser. 3. Några kurser som har sträckt sig över flera läsperioder har missats. Risken för detta är stor på grund av brister i stödsystemen. Ytterligare möjliga orsaker till att anordnandegraden inte är exakt 100 procent är att det på några kurstillfällen inte fanns registrerade studenter, att alla kurstillfällen i DSI är inte reguljära poänggivande kurstillfällen, att ytterligare undersökningar har lagts upp i Netigate an tillfället inte finns i DSI samt att det i DSI finns kurskoder utan anmälningskoder. Sammantaget är anordnandegraden god och 100 procentigt resultat är inte att förvänta sig. Däremot är det anmärkningsvärt att IDT uppvisar så pass låg anordnandegrad. Förutom att det är ett förordningskrav att kursvärderingar ska göras så anges i rektorsbeslutet om kursvärderingssystemets införande att kursvärderingar ska göras inom det gemensamma systemet och att det ska göras kursanalyser. Någon gräns för hur många svaranden som måste finnas finns för att en utvärdering ska beställas och analys ska göras anges inte.
Ytterligare en intressant aspekt är svarsfrekvensen, som mäts per fråga (eftersom respondenterna kan välja att inte besvara alla frågor i en kursvärdering). I nedanstående tabell ges en bild över svarsfrekvensen i den sista frågan i kursvärderingarnas grundformulär som handlar om studentens sammanfattande omdöme om kursen. 4 (7) Termin V12 Aktiviteter (Alla) Egen arbetsinsats (Alla) Kurstakt (Alla) Sammanfattande omdöme, elvärde Antal svar Svarsfrekvens Värden Radetiketter Medel av Sammanfattande omdöme Summa av Svar Summa av Svarsfrekvens UKK 3,8 1363 28,1% HVV 3,8 1359 32,8% HST 3,7 1772 25,7% IDT 3,9 909 31,1% Totalt 3,7 5403 28,7% Den genomsnittliga svarsfrekvensen är för VT12 28,7 procent. Detta är mindre än för såväl HT11 (32,5 procent) som för VT11 (32,8 procent). Samtliga akademier uppvisar lägre genomsnittlig svarsfrekvens än tidigare terminer. Svarsfrekvensen har diskuterats bland annat i den senaste uppföljningsrapporten av kursvärderingssystemet som behandlades av fakultetsnämnden i maj 2012 men det kan här framhållas att svarsfrekvensen mellan enskilda kurstillfällen skiljer sig stort. Det finns tillfällen 100 procents svarsfrekvens och det finns tillfällen 0 procents svarsfrekvens. Det sammanfattande omdömet landar i genomsnitt på 3,7 (skala 1 till 5) och ligger i nivå föregående terminer. På akademinivå framträder inte några särskilda skillnader, varken mellan akademier eller mellan tidigare terminer, i svaren på frågorna som relaterar till kursplanerna (se nedanstående tabell). Termin V12 Aktiviteter (Alla) Egen arbetsinsats (Alla) Lärandemål Innehåll Undervisning Examination Litteratur Jämlikhet Antal svar Svarsfrekvens Värden Radetiketter Medel av Lärandemål Medel avmedel av UndMedel av Exa Medel av LMedel av Jämlikhet Summa av Svar Summa av Svarsfrekvens IDT 3,9 3,9 3,8 3,9 3,7 4,6 909 31,1% HVV 3,8 4,0 3,6 3,8 3,9 4,5 1359 32,8% UKK 3,8 3,9 3,6 3,8 3,8 4,5 1363 28,1% HST 3,7 3,9 3,6 3,8 3,7 4,5 1772 25,7% Totalt 3,8 3,9 3,6 3,8 3,8 4,5 5403 28,7% Not. För att få en uppfattning om vad frågorna står för bifogas grundmallen för kursvärderingar. Frågan om information om tidigare kursvärderingar och förändringar som de lett till har koppling till förordningen, då förordningen gör gällande att högskolan ska informera om resultaten och eventuella beslut om åtgärder som föranleds av kursvärderingarna. Av nedanstående tabell framgår att en majoritet VT12 svarar nej på frågan. Andelen som svarar nej VT12 ligger i nivå föregående terminer. Termin Kurstakt Aktiviteter V12 (Alla) (Alla) Antal av Information om tidigare kursvärderingar Kolumnetiketter Radetiketter ej svarat nej ja Totalt UKK 135 752 476 1363 HVV 112 697 550 1359 HST 128 1145 499 1772 IDT 76 490 343 909 Totalt 451 3084 1868 5403
Det är fler som svarar att de inte fått återkoppling än de som svarar att de fått återkoppling. Av UKK:s utvärderade kurstillfällen svarar tio eller fler att de inte fått återkoppling i 20 kurstillfällen. På HVV svarar tio eller fler nej i 18 tillfällen. På HST svarar tio eller fler nej i 46 tillfällen. På IDT svarar tio eller fler nej på frågan om denne vid början av kursen eller på annat sätt fick information om tidigare kursvärderingar och vilka eventuella förändringar som de lett till i 13 kurstillfällen. 5 (7) Det går förstås att sätta olika gränser för hur många som ska ange att de fått eller inte fått återkoppling på resultat och förändringar från tidigare kursvärderingar. Ovan har tanken varit att om så många som tio personer anger att de inte fått återkoppling så är det tillräckligt många för att rutinerna för återkoppling behöver förbättras. 1 Av svaren på kurstillfällesnivå framgår det att det nästan alltid är några som anger att de fått återkoppling an andra på samma tillfälle svarar att de inte fått återkoppling. Men om tio stycken inte anser sig ha fått återkoppling kan en slutsats vara att återkopplingen måste ges fler gånger och i fler sammanhang. Under det här avsnittet ska också nämnas att det av Högskoleverkets rapport från tillsynsbesöket hösten 2011 (2012:14 R) beträffande högskolans kursvärderingar framgår att åtgärder kan / / behöva vidtas anledning av vad studentkåren anfört om brister i återkopplingen, särskilt till studenter i kursens inledningsskede. Kurstillfällen VT12 utvecklingspotential Ett sätt att sovra i materialet resultat från utvärderade kurstillfällen är att fokusera på de kurstillfällen som utifrån resultaten kan antas ha större utvecklingspotential än andra. För att identifiera sådana kurstillfällen givna under VT12 har följande urvalskriterier använts (där samtliga ska vara uppfyllda): 1. Under 3,0 i sammanfattande omdöme 2. Minst 50 procents svarsfrekvens 3. Minst fem svarande Motiveringar till urvalskriterierna är att kurstillfällena ska ha ett sammanfattande omdöme där de negativa svaren överväger samtidigt som svarsfrekvensen är någorlunda representativ. För att undvika alltför små grupper har minst fem svarande använts som gräns för antal svarande. Nedanstående tabell utkristalliseras då. Av tabellen framgår under vilket utbildningsutskott respektive kurs sorterar. Den nionde av de tio kolumnerna innehåller ett urval av vanligt förekommande negativa respondentkommentarer. Detta som ett sätt att illustrera vad studenterna upplevt som bristfälligt. 1 En omständighet som ska nämnas är att frågeformuläret inte på ett klart sätt anger hur studenterna ska svara när det gäller kurser som ges första gången och som inte utvärderats tidigare.
6 (7) Utskott Akademi Kurskod Anmälningskod Kursnamn Antal svar Svarsfrekvens Sammanfattande omdöme, elvärde (skala 1-5) Vanliga negativa respondentkommentarer i sammanställningen Information om tidigare kursvärdering och förändringar de lett till (ej svar/nej/ja/totalt) U UKK UÖÄ053 51303 Utveckling och lärande (förskollärare) 1,5 23 57,5% Svårförstådd lärare (språkförbistring). Ej stöd förstå litteraturen. Lärarna har ej kunskaper i Blackboard. 1 / 20 / 2 / 23 U UKK UÖÄ022 51354 Examensarbete på grundnivå inom kunskapsområdet pedagogik 2,5 6 54,5% Bristfällig handledning. 0 / 4 /2 / 6 H HVV FHA010 52059 Vetenskapliga metoder [ämnet är folkhälsovetenskap] 2,8 23 57,5% För få föreläsningar. Oklart vilken lärare som ansvarar för vad. Kursmaterial på Blackboard laddades inte upp i tid. 3 / 10 / 10 / 23 H HVV SAA020 52061 Samhällsvetenskaplig metod [ämnet är socialt arbete] 2,9 49 66,2% Flera olika föreläsare som upprepade samma saker alternativt lämnade olika besked. Skiftande kvalitet på lärarna och ojämnt stöd till studenterna. 4 / 33 / 12 / 49 H HST SOA124 53100 Hälsosociologi [ämnet är sociologi] 1,6 26 81,3% Kursens syfte och koppling till sjukgymnastik är oklart. Studiehandledningen var oklar. Flera tillfällen ställdes in. 0 / 26 / 0 / 26 T HST KEA100 53047 Kemi för miljövetare 2,9 18 60,0% För högt tempo. 1 / 7 / 10 / 18 T IDT ITE311 54137 Rumslig gestaltning, fördjupning [ämnet är informationsdesign] 1,7 9 69,2% Kursnamn, kursinnehåll och lärandemål hänger ej ihop. Otydlig struktur och kursupplägg. 1 / 7 / 1 / 9
Kursanalyser Av ovanstående tabell kan man dra slutsatsen att det finns förbättringspotential i dessa kurser/kurstillfällen. Ett sätt att följa kvaliteten i kurserna är att följa upp att de kursanalyser 2 som ska göras verkligen görs. 7 (7) Via sökningar i diariet kan konstateras att kursanalyser och beslut om åtgärder inte registreras i enlighet anvisningarna från högskolans arkivarie. Ingen kursanalys beslut om åtgärder finns registrerad i enlighet anvisningarna. En förfrågan till akademiadministratörerna som beställer kursvärderingar och som ska registrera kursanalyser har gjorts och den ger vid handen att en fyllig kursanalys har gått att få fram för HVVkursen SAA020 an det för HVV-kursen FHA010 inte finns någon kursanalys gjord (läraren arbetar inte längre kvar på högskolan och någon analys kommer inte att kunna tas fram). Enligt UKK:s akademiadministratör så görs kursanalyser och läggs ut på Blackboard (detta enligt UKK:s administrative chef som stämt av avdelningscheferna). Akademi HST och akademi IDT har inte hunnit svara på förfrågan. Resultatet av kursvärderingen är en del av underlaget för den kursansvariges kursanalys. Att kursanalyser, som en del av modellen för arbetet kursvärderingar, ska göras och beslutet efter diskussion om kursanalys ska registreras framgår av underlaget till rektorsbeslutet om införandet av kursvärderingssystemet och detta samt hur kursanalyser ska registreras har också kommunicerats av högskolans arkivarie till akademierna 3. I grunden är kursanalys, diskussionen och beslut om åtgärder det egentliga kvalitetsförbättrande arbetet. Vikten av att kursanalyser görs och det faktum att beslut om åtgärder efter diskussion inte registreras gör att ytterligare uppföljning av efterlevnaden av detta moment är angeläget. Sammanfattning av möjligt åtgärdsbehov Fakultetsnämnden och dess utbildningsutskott kan skarpare och återkommande (till exempel årligen) följa upp akademiernas rutiner för att genomföra kursanalyser och akademiernas rutiner för att återrapportera resultat från tidigare kursvärderingar och vilka förändringar de föranlett. Utbildnings- och forskningssektionen kan i enlighet rektorsbeslutet om införandet av kursvärderingssystemet inleda arbetet en revidering av befintligt frågeformulär för kursvärderingar. Om ovanstående åtgärder genomförs bör de ha indirekt positiv påverkan på svarsfrekvensen. 2 I underlaget till rektorsbeslutet om införandet av kursvärderingssystemet omnämns kursanalys på följande sätt: Kursanalysen skall diskuteras i ett forum en sammansättning som fastställs på akademin. I forumet skall ingå akademipersonal, studenter och när så anses lämpligt även företrädare för näringsliv och samhälle. Diskussionen skall antingen leda till beslut att kursen skall ges i oförändrad form eller till ett beslut om hur kursen skall förändras. Beslutet efter diskussionen av kursanalysen dokumenteras. 3 E-post (2011-03-22) från högskolans arkivarie till akademiernas administrativa chefer rutin Arkivering av kursvärderingar : När beslut fattats efter kursanalys ska beslutet registreras i Accessia av akademiregistrator. Kursanalysen inkluderar sammanställning studenternas fritextsvar där irrelevanta kommentarer tagits bort, diskussion inom akademin om förändring, samt beslut som innehåller vissa standarduppgifter.
Kursvärdering för [namn] Den här webbenkäten är en del av kursvärderingen för kursen kurskoden i rubriken ovan. Genom att klicka på länken http://www.mdh.se/studieinformation/kursplaner.jsp skriva in kurskoden ovan och klicka på SÖK så får du tillgång till kursplanen efter ytterligare ett klick på kurskoden. Den behövs när du skall svara på frågorna. Anledningen till att du ombeds lämna uppgift om din ålder och annan bakgrundsdata är att högskolan vill undersöka variationen i svaren mellan olika studentgrupper. Din anonymitet är skyddad och de som hanterar data har inte möjlighet att koppla din identitet till de svar som du lämnar. Genom att klicka på rutan kontakt nederst på sidan kan du ställa frågor om enkäten via e post. Dina svar och de synpunkter som du lämnar är viktiga för högskolan. De är inte bara värdefulla när den här kursen ges nästa gång utan kommer också allmänt att påverka utvecklingen och kvalitetssäkringen av högskolans utbildningar. Tack för att du tar dig tid att svara! 1. Bakgrundsdata Kön Man Kvinna Ålder 24 25 34 35 Aktiviteter, exklusive fritid, förutom arbetet den här kursen. Andra studier men inget arbete. Andra studier och arbete. Endast arbete Inga andra aktiviteter
2. Egen arbetsinsats Den här frågan gäller din egen arbetsinsats på kursen. Räkna både tiden som du har deltagit i undervisning och din egen studietid. Om du läst andra kurser parallellt så skall du inte ta den tiden här. Min genomsnittliga arbetstid per vecka bedömer jag till 9 10 19 20 29 30 39 40 49 50 59 60 3. Lärandemål Lärandemålen framgår av kursplanen. Kursen var upplagd så att den gav mig möjlighet att uppfylla lärandemålen. 2 3 4 5 = jag håller helt
4. Innehåll Kursens innehåll framgår av kursplanen. Kursplanen gav en rättvisande beskrivning av vad kursen faktiskt handlade om. 2 3 4 5 = jag håller helt 5. Undervisning Kursens undervisning framgår av kursplanen. Kursens undervisning, det vill säga det praktiska genomförandet och de olika läraktiviteterna, fungerade väl och gav mig förutsättningar att uppnå lärandemålen. 2 3 4 5 = jag håller helt
6. Examination Kursens examination framgår av kursplanen. Kursens examinationformer var valda så att jag som student hade möjlighet att visa i vilken omfattning som jag uppnått kursens lärandemål. 2 3 4 5 = jag håller helt Förslag till alternativa examinationsformer 7. Litteratur och andra läroel Kurslitteraturen framgår av kursplanen. Kurslitteraturen och andra läroel gav gott stöd för att jag skulle kunna uppnå kursens lärandemål. 2 3 4 5 = jag håller helt
8. Stöd och service Utöver kursplanen skall kompletterande skriftlig information om kursen, bland annat om dess examination, finnas tillgänglig vid kursstarten. Informationen kan finnas i studiehandledningen (kallas även kurspm, studieinformation eller kursplanering) eller vara tillgänglig i Blackboard eller på en kurshemsida. Den kompletterande informationen var tillräcklig. 2 3 4 5 = jag håller helt Det IT relaterade stödet har fungerat väl. 2 3 4 5 = jag håller helt Tentamenshantering och annan service på akademins studentexpedition har fungerat väl. 2 3 4 5 = jag håller helt Högskolebiblioteket har varit en viktig resurs för mig i den här kursen. 2 3 4 5 = jag håller helt
9. Jämlikhet Studenter och lärare har behandlats respekt där var och en har inkluderats oavsett ålder, kön, etnicitet, religion eller annan trosuppfattning, funktionsnedsättning, sexuell läggning eller könsöverskridande identitet/uttryck. 2 3 4 5 = jag håller helt Om du känner att du eller någon annan på kursen har behandlats respektlöst så kan du beskriva det nedan.
10. Andra inslag under kursen Med frågorna under den här rubriken vill högskolan undersöka din uppfattning om hur kursen knutit an till de generella mål som högskolan har sina utbildningar. Fick du vid början av kursen eller på annat sätt information om tidigare kursvärderingar och vilka eventuella förändringar som de lett till? ja nej Tycker du att kursen har haft inslag som visar på samverkan det omgivande samhället? ja nej ingen uppfattning Tycker du att kursen har haft inslag internationellt perspektiv? ja nej ingen uppfattning Tycker du att kursen har haft inslag som gett dig inblick i gammal eller ny forskning inom kursens område? ja nej ingen uppfattning
11. Övrigt Vad var särskilt bra kursen? Vad var mindre bra kursen? Övriga kommentarer 12. Sammanfattande omdöme om kursen Hur bedömer du kursen som helhet? 1 = jag är inte alls nöjd 2 3 4 5 = jag är mycket nöjd Det här är sista frågan i en uppsättning frågor som är gemensamma för alla kursvärderingar vid Mälardalens högskola. Härefter kan det följa ett antal frågor som är specifika för det här kurstillfället Slut på kursvärderingen Dina svar är betydelsefulla för att vi skall kunna säkerställa kursernas kvalitet. Du kan ändra eller komplettera dina svar fram till klockan 24.00 dagen före datumet nedan. Om du i realtid vill se läget av kursvärderingens sammanställning så finns det en länk till den i mailet som du startade ifrån. Tack för din verkan!