Kursutvärderingsprojektet Cecilia Björklund

Transkript

1 Kursutvärderingsprojektet Cecilia Björklund Rapport från Kursutvärderingsprojektet vårterminen 2006 Kursvärderingsprojektet startade 2003 och i dag ska LTUs kursutvärderingsmodell vara genomförd för samtliga kurser. Många synpunkter på systemet finns samt en upplevelse av att det inte fungerar eller används fullt ut. Målsättningen med vårens arbete har varit att klargöra de svårigheter som finns och hur de ska överbryggas för att optimera användningen av systemet som ett led i att kunna utveckla kursernas innehåll och genomförande. Det är viktigt att ha ett fungerande system för kursutvärderingar. Högre utbildningar har skyldigheter att tillse att studenterna har inflytande över sina utbildningar bl a genom att delta i beslutande och beredande organ samt att genomföra kursvärderingar. Högskolelagen (1992:1434) anger att studenterna skall ha rätt att utöva inflytande över utbildningen vid högskolorna. Högskolorna skall verka för att studenterna tar en aktiv del i arbetet med att vidareutveckla utbildningen (Lag 2000:260). Högskoleförordningen anger i 14 avsnittet om Kursvärderingar att högskolan skall ge de studenter som deltar i eller har avslutat en kurs en möjlighet att framföra sina erfarenheter av och synpunkter på kursen genom en kursvärdering som anordnas av högskolan. Högskolan skall sammanställa kursvärderingarna samt informera om resultaten och eventuella beslut om åtgärder som föranleds av kursvärderingarna. Resultaten skall hållas tillgängliga för studenterna (Förordning, 2000:651). Kursutvärderingsprojektet initierades av rektor Projektet syfte var att kvalitetssäkra universitetets kurser och utveckla universitetets utbildningar avseende innehåll, undervisning, lärande, examinationsformer etc. Målet för projektet var att utarbeta en webbaserad kursutvärderingsmodell som samtliga institutioner ska använda i samtliga kurser. De erfarenheter som fanns från internationell kursutvärdering var att det fanns svårigheter att få kursutvärderingar att fungera som en del i uppföljningen och planeringen av utbildningarna samt att få en rimlig svarsfrekvens (Aludden, Kursutvärdering, slutrapport ). Kursvärderingsprojektet har resulterat i en modell för kursutvärdering inom LTU. Modellen finns beskriven som ett flödesschema för kursgenomförande samt i text. Modellen innehåller i dag också två olika universitetsgemensamma enkäter för kursutvärdering. Båda enkäterna kan kompletteras med kursspecifika frågor. Dessutom finns instruktioner till studenter och examinatorer om hur kursutvärderingsmodellen ska användas. Hela kursutvärderingsmodellen administreras via Classfronter, LTUs LMS. Classfronter ger också möjlighet att enkelt sammanställa och publicera kursutvärderingen (Aludden, Kursutvärdering, slutrapport ).

2 Kursutvärderingsmodellen provades på 30 % av LTUs kurser i Lp 1 och 2, Svarsfrekvensen inom kurserna var dock högst 20 %. Från och med januari 2005 ska kursutvärderingsmodellen användas på samtliga kurser inom LTU. För att underlätta användandet av kursutvärdering i Classfronter erbjöds alla institutioner utbildningsinsatser. Multimediaproduktioner utvecklades också för att visa arbetssättet i Classfronter. Under 2005 kunde projektansvarig konstatera att svarsfrekvensen för kursutvärderingarna fortfarande var låg samt att ett stort antal kursutvärderingar som finns i Classfronter förblir opublicerade. Det konstaterades också att förändringar borde genomföras för att motsvara offentlighetsprincipen samt att modellen skulle kunna tillämpas mer flexibelt av olika institutioner. Enkäterna har också varit föremål för diskussion och de har ändrats i enlighet med de diskussioner som fördes under Kunskapsbyggardagen De viktigaste frågorna att arbeta vidare med är; kvalitet, automatiskt verktyg, säkerställa att alla kurser utvärderas, höja svarsfrekvensen, vidareutveckla verktyget (Danielsson, Kursvärdering, halvårsrapport, ). För att få en bättre bild av vad som behöver göras för att arbeta med de frågor som fokuserats i halvårsrapporten (050830) har frågor angående implementeringen av kursvärderingsmodellen och förslag till förbättringar ställts till samtliga utbildningsledare under april Frågorna har ställts för att få en uppfattning om nuläget samt för att få förståelse för vilka förändringar som institutionerna föreslår för kursutvärderningsmodellen och för webbverktyget. Följande frågor ställdes till utbildningsledarna. Vilka erfarenheter har ni av den elektroniska kursutvärderingen så här långt, t ex webbverktyget i Fronter samt enkäterna? Hur har ni organiserat det praktiska arbetet med kursutvärderingarna? Vem ser till att de skapas, aktiveras och sammanställs? Hur stor andel av Lp 3s kurser hade elektronisk kursutvärdering? Hur stor svarsfrekvens hade respektive kurs som har elektronisk kursvärdering? Vad anser du behöver göras för att optimera kvaliteten så att kursvärderingen blir ett pedagogiskt redskap för kursutveckling. Vad anser du behöver göras för att den elektroniska kursvärderingen ska användas i alla kurser? Vad anser du behöver göras för att höja svarsfrekvensen för respektive kursutvärdering? Övriga förslag till utveckling av systemet. Efter två påminnelser har utbildningsledare på sex av universitetets tretton institutioner valt att besvara frågorna. Arbetsvetenskap IES; Avdelningen för företagsekonomi och verksamhetsutveckling Avd för samhällsvetenskap Kvalitets- & miljöledning Matematik Samhällsbyggnad TFM, Tillämpad fysik, maskin- och materialteknik TKG, Tillämpad kemi och geovetenskap Utbildningsvetenskap

3 Konklusion av de svar som har inkommit är att flertalet institutioner stödjer det elektroniska Kursutvärderingssystemet i Classfronter. Det finns dock ett stort behov av att utveckla webbverktyget så att det blir mer användarvänligt samt att överväga vilken typ av enkäter som ska finnas och i vilket syfte de ska användas. Det finns också ett stort behov av att se över befintliga kursutvärderingar som inte publicerats och ta ställning till hur dessa ska behandlas. Under hösten kommer projektet att arbeta med utveckling av webbverktyget för att göra det mer användarvänligt och skapa överskådlighet över genomförda utvärderingar, diskutera vilka enkäter som behöver finnas för att motsvara LTUs behov av att förstå studenternas lärande i kursen samt att ha ett redskap för kursutveckling, säkerställa att kursutvärderingssystemet motsvarar de juridiska krav som finns Nedan redovisas sammanställning av svaren som kommit in. Erfarenheter av den elektroniska kursutvärderingen. Flertalet av utbildningsledarena anser att tanken med kursutvärderingssystemet är god ffa för att systemet minimerar arbetstiden för sammanställning av kursutvärderingar. Det finns dock en omfattande kritik mot webbverktyget och även mot enkäterna. Webbverktyget kräver god datorvana. Lärarna upplever att det är komplicerat att använda trots att instruktioner finns. Alldeles för många steg för att skapa utvärderingen och det finns ingen kontrollbild som visar vad som händer. Ingen instruktion finns heller om hur man lägger till egna frågor. Verktyget anses sakna den logiska uppbyggnad som krävs för att det ska vara lättanvänt för alla. Som helhet anses verktyget vara ett icke användarvänligt, tungjobbat system. Lärare som har liten andel undervisning i tjänsten får ingen rutin på att genomföra utvärderingen. Det påpekas också att den som har aktiverat utvärderingen måste publicera den. I mellantiden kan dock vilken lärare som helst gå in och redigera sammanställningen vilket är ett juridiskt problem. Systemet är inte flexibelt och enkäten ger ingen information om kursens mål uppnåtts eller om kursens innehåll och uppläggning. Innehållet är generellt och centralstyrt och därigenom tas inte viktig information för kursutveckling tillvara. Mindre än hälften av institutioner är positiva till Ramsdens enkät med kompletterande frågor och de andra anser Ramsdens enkät vara oklara, svåra att förstå och besvara. Någon uppger även att frågorna känns meningslösa. En riktad kritik mot enkätens frågor finns i bilaga 1. Flera vill ha möjlighet till kursbaserade enkäter och andra anser att det borde finnas standardenkäter för olika utbildningsformer t ex normal kurs, nätbaserad kurs, distanskurs (video), projektkurs. Det anses också viktigt med kompletterande utvärderingar t ex med muntliga utvärderingar i klassrummet även om detta kan vara negativt för svarsfrekvensen i Classfronterutvärderingen. Elektroniska kursvärderingar blir ett problem eftersom kursutvärderingar ska vara färskvara och arbetsredskap, inte historiska dokument. Någon tycker att alternativa utvärderingsformer ska förbjudas.

4 Samtliga utbildningsledare menar att den låga svarsfrekvensen är ett problem då den minskar tillförlitlighet och användbarhet av resultatet av kursutvärderingen. Det är dock viktigt att beakta att den låga svarsfrekvensen kan vara ett medvetet val av studenterna. Att avstå är då det enda alternativet eftersom det inte finns något svarsalternativ för att ange detta. Tidigare kursutvärderingar i pappersformat hade betydligt högre svarsfrekvens %. Projektets IT-ansvarig beskriver att antal aktiva utvärderingar som ej stängts/publicerats är 855 utvärderingar under perioden Lp3 vt05 till Lp3 vt06. Antal aktiverade utvärderingar under Lp4 vt06 är 334 kurser. Vid maj månads utgång 2006 fanns totalt 1189 utvärderingar som var aktiva/opublicerade i systemet varav 855 ej visas publikt. En fråga som uppkommer är vem som ska gå igenom dessa för att säkerställa att inget anstötande finns skrivet. Institutionernas organisation av det praktiska arbetet med kursutvärderingarna. Vanligen är det examinator/kursansvarig/undervisande lärare som aktiverar, skapar, sammanställa, redigerar och publicerar kursutvärderingarna. På en institution mailar utbildningsledaren information till lärarna om när kursutvärderingen ska aktiveras och hur länge den ska vara öppen. På två institutioner har en studieadministratör ansvaret för att öppna kursutvärderingarna efter det att läraren getts möjlighet att ange kompletteringsfrågor. Några utbildningsledare går igenom de sammanställda kursutvärderingarna innan de arkiveras och kommenteras. På flera institutioner tas en papperskopior med och utan kommentarer som arkiveras av studieadministrationen. Andel kurser i Lp 3 som hade elektronisk kursutvärdering. Flertalet utbildningsledare svarar att kursutvärderingsverktyget används för alla kurser. Några utbildningsledare anser att verktyget används för ett fåtal kurser samt att få utvärderingar publiceras. En del institutioner kompletterar med pappersutvärderingar. Svarsfrekvens för respektive kurs som har elektronisk kursvärdering. Flertalet utbildningsledare svarar att svarsfrekvensen är låg eller obefintlig trots uppmaningar och påminnelser till studenterna. Vanligen ligger svarsfrekvensen på % i något enstaka fall 50 %. Flera har uppfattningen att kursutvärderingar alltid ska genomföras men att de inte ska publiceras om svarsfrekvensen understiger 60 %. Tillförlitligheten och användbarheten av utvärderingen är annars för låg. Om kursutvärderingstillfälle schemaläggs i datasal i slutet av kursen stiger svarsfrekvensen. Förslag till att optimera kvaliteten på kursutvärderingen så att blir ett pedagogiskt redskap för kursutveckling. För att använda resultatet av kursvärderingarna för kursutveckling krävs betydligt högre svarsfrekvens, troligen minst 60 %. Ramsdens frågor ger inte underlag för kursutveckling. Frågorna i Ramsdens enkät är svåra att tolka och besvara. De gemensamma frågorna bör begränsas till ett fåtal och gälla kursens mål, innehåll, genomförande och förväntningar på studenten samt allmän tillfredställelse med kursen. Kompletteringen med kursspecifika frågor måste förenklas. Det finns en fara med att studenterna kan använder publicerade kursutvärderingar som styrinstrument för val av kurser. Kursutvärderingen är historik och förändringar kan ha genomförts som gett kursen ett annat innehåll. Kursutvärderingen är dock ett viktigt instrument för kursutveckling och ger utbildningsledaren ett redskap för att arbeta med kursutveckling.

5 Viktigt att studenterna förstår nyttan av och får feedback på att göra kursutvärderingar samt att lärarna tar till sig resultatet av utvärderingen. Kursutvärderingen ska vara en del av undervisningen. Verktyget måste bli mer användarvänligt. Tiden för att använda verktyget måste minimeras. Ev behövs en funktion som superuser så att t ex utbildningsledaren kan gå in över examinator i utvärderingen då sammanställningen görs och kommenteras. Fronter borde kunna räkna fram någon form av snittpoäng för kursen. Förslag till åtgärder för att den elektroniska kursutvärderingen ska användas i alla kurser. Det saknas tydlighet i arbetsgången för hur kursutvärderingssystemet ska användas. Verktyget måste bli användarvänligt. Viktigt att klargöra vem som har ansvar för att aktivera, sammanställa och publicera kursutvärderingen. Påminnelse till examinatorerna behövs. Den universitetsgemensamma delen av kursutvärderingen skulle kunna aktiveras automatiskt om inte examinator valt att göra kursspecifika frågor. Alternativt kan en person på institutionen ha uppdraget att aktivera samtliga kursutvärderingar för läsperioden. Förslag till åtgärder för att höja svarsfrekvensen för respektive kursutvärdering. Det går inte att tvinga studenter att svara. För att få hög svarsfrekvens är det viktigt att studenterna skolas in i att göra kursvärderingar redan från första kursen. Möjligen är det inte rimligt att vänta sig att studenterna vill delta i kursutvärderingen och i så fall finns inget svarsalternativ som motsvarar detta t ex vet inte, vill inte, hinner inte. Svarsfrekvensen blir högre om utvärderingen görs i klassrummet. Eftersom kursutvärdering är en möjlighet för studenterna borde kårerna vara mer aktiva i att uppmana studenterna att delta. Lärarna bör också beskriva vikten av att studenterna genomför utvärderingarna så att kursen kan utvecklas. Frågorna måste kännas relevanta för studenternas lärande i kursen, om de har uppnått kursens mål och de ska ge möjlighet till utveckling av kursen. Det är alltid viktigt att ge studenterna får feedback om de förändringar som genomförts i kursen. I Classfronter krävs påminnelser för att få en rimlig svarsfrekvens, dock oftast inte tillräcklig. De kurser som använder Classfronter för utbildningsadministration har ofta en högre svarsfrekvens än kurser som inte gör det. Den viktig del i att öka svarsfrekvensen är att visa att utvärderingen har betydelse. Högst svarsfrekvens borde rimligen uppnås vid halvtidsvärderingen av kursen för då kan studenten själv dra nytta av de effekter som utvärderingen gett. Även om halvtidsutvärderingar ger studenterna en möjlighet att påverka pågående kurs anses den inte helt tillförlitliga eftersom studenten inte har bearbetat hela kursinnehållet. Andra förslag som givits är att tvinga studenten att svara för att de ska få ut sina kursbetyg, schemalägga kursutvärderingstillfälle eller erbjuda en morot t ex utlottning av någonting. Övriga förslag till utveckling av systemet. Hanteringen måste bli enklare, förenklad och automatiserad. Tydlig röd tråd i arbetsgången borde finnas. Det borde finnas bättre hjälptexter under mappen verktyg. Det är svårt att hitta de utvärderingar man söker när de är publicerade i en lång lista. Sökfunktion behövs. Utskrift av publicerade sammanställningar borde underlättas genom att flera utvärderingar skulle kunna markeras samtidigt och skrivas ut på en gång. Ett nytt förslag är att även infoga termins, läsårs och programutvärderingar i systemet eftersom utvärderingarna blir annorlunda när kunskaperna fått smälta in.

6

7 Bilaga 1 Följande kritik har framkommit mot Ramsdens enkät. - Enkäten innehåller generellt alldeles för många frågor, vilket troligen försvårar att få in svar det blir för tidsödande och jobbigt att svara på enkäten speciellt eftersom många frågor ofta är överflödiga (se nedan). - Många frågor upprepar likvärdiga frågeställningar (t ex 2, 5 & 9), (1, 6, 11 & 21), (4, 12, 18 & 20). - Fråga 6 innehåller två skilda frågeställningar (dålig översättning från engelska versionen). - Väldigt många (och delvis upprepande) frågor om lärarens insatser (frågorna 7, 13, 15, 16, 17 och 21) men ingen enda fråga om studenternas egen insats (vilket torde strida mot kunskapsbyggarsynen) - Fråga 4 är styrande och värderande. - Graderingskalan (1 till 5) byter riktning. Ibland innebär frågans formulering (t ex fråga 11) att 5 innebär något negativt (man instämmer i ett negativt påståeende), medan det formuleringen vid de flesta andra tillfällen innebär 5 att studenten instämmer i ett positivt påstående. Det går därför inte att tolka eller räkna fram en snittpoäng på kursen. Dessutom blir frågorna onödigt svårtolkade för studenterna när de ska svara på enkäten. - Frågorna på enkäten bör styras av kursens upplägg, innehåll och mål. T ex de bägge frågorna 8) angående grupparbete och fråga 10) angående skriftlig kommunikationsförmåga, dessa är ju inte relevanta om kursen inte innehåller moment med grupparbeten och skriftliga uppgifter. Det finns också fler exempel på dylika problem med en stor mängd obligatoriska frågor.