Sammanställning av kursutvärderingsresultaten från läsåret 2008-2009 vid Tekniska Fakulteten Tiina Alanko, tekn.stud. Leena Hupa, lektor Johan Werkelin, akademilektor Jan Westerholm, professor
Inledning Dekanus vid tekniska fakulteten tillsatte i augusti 2006 en arbetsgrupp för Undervisningsrelaterade frågor som bl.a. hade uppdraget att föreslå ett fakultetsgemensamt system för kursutvärderingar. Arbetsgruppen inkom med en rapport i augusti 2007 och föreslog en utvärderingsmall med 6 frågor att besvaras av studenterna med utrymme för lärarna att lägga till ett extra frågor. Rapporten diskuterade även huruvida utvärderingarna ska samlas in vid sista föreläsningen, efter tentamen eller efter avslutad kurs och om utvärderingarna ska avlämnas manuellt eller elektroniskt. Rapporten var på remiss till ämnena och svaren behandlades på fakultetsrådsmötet 15.4.2008. Då beslöts att ett obligatorisk kursutvärderingssystem tas i bruk. Fr.o.m. 1.8.2008 är kursutvärderingarna obligatorisk för samtliga. Arbetsgruppens förslag till blankett godkändes med några ändringar och beslutet skickades till ämnena. Vid en fakultetsdag den 13 oktober 2008 presenterades arbetsgruppens rapport för de fakultetsanställda vilka också påmindes om det obligatoriska kursutvärderingssystemet Kursutvärderingsmallen mailades ut till ämnena den 27 oktober 2008. En till engelska översatt utvärderingsmall mailades ut samtidigt. De kursansvariga fick själva avgöra hur och när utvärderingarna görs. Figur 1 visar den fakultetsgemensamma kursutvärderingsmallen. För de fem första frågorna finns fyra svarsalternativ att kryssa i, en slags gradering. Under den sjätte frågan ska den studerande uppskatta den nedlagda arbetsmängden för kursen och från fråga sju och framåt kan läraren ställa andra frågor än de som är angivna i formuläret. Figur 1. Den fakultetsgemensamma kursutvärderingsmallen Figur 2. Den till engelska översätta kursutvärderingsmallen
Den 18.6.2009 utsåg dekanus för Tekniska fakulteten en arbetsgrupp för uppföljning av undervisning och utvärdering. Arbetsgruppen har till uppgift att: 1. följa med resultatet av kursutvärderingarna och sammanställa dem och rapportera till dekanus en gång per termin 2. föreslå åtgärder för att utvärderingssystemet fungerar väl 3. planera hur en sammanställning av kursutvärderingarna skall delges studenter och lärare 4. föreslå vid behov åt dekanus åtgärder för förbättring av i lämpliga fall Dekanus utser prof. Jan Westerholm och lektor Leena Hupa till arbetsgruppen för uppföljning av undervisning och utvärdering (3U-gruppen) för tiden 1.6.2009-31.5.2011. Från alcuinprojektet som lärcentret och kvalitetsenheten har anhölls om pengar för att utveckla kursutvärderingssystemet. Med dessa pengar anställdes teknologie studerande Tiina Alanko som sammanställde de inkomna svaren i den här rapporten under handledning av akademilektor Johan Werkelin. Rapporten sammanfattar de insända kursutvärderingsresultaten för läsåret 2008-2009. Sammanställningen sker ämnesvis för 14 olika institutioner och ämnen vid fakulteten, härefter kallade enheter. Processkemi Analytisk kemi (AK) Oorganisk kemi (OOK) Teknisk polymerkemi (TPK) Trä Fiber och cellulosateknologi (FCT) Pappersförädling (PF) Trä och papperskemi (3PK) Processystemteknik Anläggnings och apparatteknik (AST) Reglerteknik (RT) Teknisk kemi (TK) Värmeteknik (VT) Industriell ekonomi (IE) Informationsteknologi Datateknik (DT) Datavetenskap (DV) Informationssystem (IS) Syftet med rapporten är att sammanställa och presentera kursutvärderingsresultaten samt att redogöra för hur proceduren genomfördes. I rapporten framgår utvärderingsviljan hos de kursansvariga vid fakultetens olika enheter och i viss mån kvaliteten på na vid ämnen och institutioner på Tekniska Fakulteten. Rapporten är ett förslag på hur man kan sammanställa kursutvärderingsresultat vid de olika fakultetsområdena vid Åbo Akademi.
Metod Kursutbudet under läsåret 2008-2009 hämtades från undervisningsprogrammet Undervisning i Åbo 2008-2009. Där framgår nas namn, omfattning och kod, vem som är kursansvarig, samt var och när och för vilka studieinriktningar kursen går. Utbildningsprogrammet visade inte om ställts in, t.ex. p.g.a. för litet deltagar, och där saknades kanske några fördjupade som bara annonseras på ämnenas anslagstavlor. Via programmet InstSture hämtades från studeranderegistret STURE et godkända i varje kurs vid ett ämne. Sökningen begränsades till studieprestationer införda mellan den 1.8.2008 och 31.7.2009. Kurser som inte fanns i undervisningsprogrammet men som har ett betydande studieprestationer i STURE adderades till sammanställningen och övrig kursinformation inhämtades via fakultetens www-sidor. De inskickade kursutvärderingsresultaten för varje kurs bokfördes i sammanställningen. För de där kursutvärderingsresultat saknades skickades i december 2009 en påminnelse till de kursansvariga. Innan utgången av december lämnades ytterligare ett 10-tal kursutvärderingsresultat in och bokfördes. I sammanställningen presenteras för varje enhet under läsåret 2008-2009: et som har utvärderats fördelade på kandidat- och magistersnivå (fig. 6-7) et producerade studiepoäng fördelade på kandidat- och magistersnivå (fig. 8-9) svarsprocenten på de utvärderade na (fig. 10-11) bedömd svårighetsgrad på de utvärderade na (fig. 12-13) bedömd kvalitet på de utvärderade na (fig. 14-15) Svarsprocenten på enskilda bestämdes utifrån hur många studerande som svarat på kursutvärderingsblanketten, vilket framgick av de insända kursutvärderingsresultaten samt et studerande som blivit godkända i kursen under läsåret ur rapporten från InstSture. Svarsprocenten beräknades som procenten inkomna kursutvärderingssvar av et studerande som blivit godkända i kursen under läsåret enlig ekvation (1). Siffran kan överstiga 100% eftersom fler kan utvärdera kursen än vad som blir godkända i den. Svarsprocent = inkomna kursutvärderingssvar / godkända i kursen under läsåret (1) Figur 3 visar hur svarsprocenten används som ett mått på hur tillförlitligt resultatet från en kursutvärdering är. Resultatens tillförlitlighet kategorierades på basen av svarsprocenten som säkra eller mycket säkra (>50%), indikativa (25-50%) eller osäkra (<25%). Mycket säkra Säkra Indikativa Osäkra Figur 3. Svarsprocenten och kursutvärderings tillförlitlighet För varje kurs med kursutvärderingsresultat noterades sedan hur många studerande som angivit ett visst utvärderingssvar i kursutvärderingsmallen. Individuella kommentarer från studerande har lämnats utanför den här sammanställningen. Den första frågan gäller kursens svårighetsgrad och där kan den studerande markera om kursen har varit lätt eller svår. Ett kryss i rutan närmast svår får då tolkas som svår och ett kryss i rutan närmast lät får tolkas lätt. Kryss som sätts i något av de två rutorna emellan
dessa får tolkas som på svåra sidan respektive på lätta sidan. I sammanställningen har rutorna numrerats från 1 till 4 från lätt till svårt. Antalet utvärderingssvar i varje ruta multiplicerades sedan med rutans nummer, och ett medelvärde beräknades genom att addera alla multiplicerade svar och dividera med totala et inlämnade svar för frågan. På så sätt erhölls ett viktat medeltal mellan 1 och 4 som speglar en av studerandena bedömd svårighetsgrad för kursen. Kursens svårighetsgrad (1 4 ) = (4(n mkt svår )+3(n svåra sid. )+2(n lätta sid. )+1(n mkt lätt ))/n alla svar (2) Figur 4 visar hur den bedömda svårighetsgraden har kategoriserats. En kurs med svårighetsgraden 2,5 är varken lätt eller svår utan helt mitt emellan. En kurs med medelsvårighetsgraden 2 börjar vara på lätta sidan, medan en kurs med en svårighetsgrad mellan 3,5 och 4 måste anses vara mycket svår eller t.o.m. för svår enligt studenternas bedömning. Lätta På lätta sidan Medelsvåra På svåra sidan Svåra Figur 4. Bedömning av nas svårighetsgrad De tre följande frågorna i kursutvärderingsmallen behandlar kursens kvalitet. Fråga två gäller föreläsningarna där man kan ange om de har varit tydliga eller obegripliga. I fråga tre kan man ange om litteraturen har varit bra eller bristfällig och i fråga fyra om räkneövningarna / uppgifterna har varit nyttiga eller onyttiga. Ett medelbetyg på de olika kursmomenten kan beräknas enligt ekvation (3 5). Föreläsningarna var (1 4 ) = (4 (n tydliga )+3 (n något tydliga )+2 (n något obegripliga )+1 (n obegripliga ))/n alla svar (3) Litteraturens kvalitet (1 4 ) = (4 (n bra )+3 (n något bra )+2 (n något bristfällig )+1 (n bristfällig ))/n alla svar (4) Övningarnas kvalitet (1 4 ) = (4 (n nyttiga )+3 (n något nyttiga )+2 (n något onyttiga )+1 (n onyttiga ))/n alla svar (5) Kurskvaliteten bedömdes sedan genom att räkna ut medeltalet för de utvärderade kursmomenten enligt ekvation (6). Figur 5 visar hur den sammanräknade siffran för kurskvaliteten har kategoriserats. Kurskvaliteten (1 4) = (Förläsningar + Litteraturen + Övningarna)/ utvärderade moment (6) Dåliga Bristfälliga Acceptabla Bra Utmärkta Figur 5. Kategorisering för bedömning av kurskvaliteten
Resultat Figur 6 visar et utvärderade och et inte utvärderade vid Tekniska Fakultetens 14 enheter. Kurser som ges på kandidatnivå har markerats med mörkare färger än som ges på magistersnivå. 35 30 25 20 Utvärderade och icke-utvärderade grund-, ämnes- och fördjupnings vid Tekniska fakulteten under läsåret 2008-2009 Inte utvärderade grund- och ämnes (kandidatnivå) Inte utvärderade fördjupade (magistersnivå) Utvärderade fördjupade (magistersnivå) Utvärderade grund- och ämnes (kandidatnivå) 15 10 5 0 AK OOK TPK FCT PaF 3PK AST RT TK VT IEK DT DV IS Figur 6: Antalet per enhet vid Tekniska fakulteten som utvärderats/inte utvärderats Figur 7 visar att knappt hälften av fakuletetens utvärderas, av ca 210 blev ca 90 utvärderade. Antalet som gavs på magistersnivå var ungefär lika stort som et på kandidatnivån men fler på kandidatnivån utvärderas. På kandidatnivån utvärderades 55 av ca 100. Hela fakulteten Utvärderade grund- och ämnes (kandidatnivå) Utvärderade fördjupade (magistersnivå) Inte utvärderade fördjupade (magistersnivå) Inte utvärderade grund- och ämnes (kandidatnivå) 0 50 100 150 200 250 Figur 7: Totala et som utvärderats/inte utvärderats vid Tekniska fakulteten
Figur 8 visar studiepoängsproduktionen vid Tekniska Fakulteten olika enheter. Alla enheter ger på både kandidat- och magistersnivå. Grundna är dock inte jämnt fördelade mellan enheterna utan vissa enheter ger fler och större grund än andra. 2500 sp Avlagda studiepoäng (sp) vid Tekniska fakultetens enheter under läsåret 2008-2009 fördelade på Fördjupade (magistersnivå) Grund- och ämnes (kandidatnivå) 2000 1500 1000 500 0 AK OOK TPK FCT PaF 3PK AST RT TK VT IEK DT DV IS Figur 8: Studiepoängsproduktion vid enheterna för na på kandidat resp. magistersnivå Figur 9 visar att grund- och ämnesna på kandidatnivån står för den övervägande delen av studiepoängsproduktionen vid fakulteten. Grund och ämnesna på kandidatnivån är därför särskillt viktiga att utvärdera. Fördjupade (magistersnivå) Grund- och ämnes (kandidatnivå) Hela fakulteten sp 0 2000 4000 6000 8000 10000 12000 14000 16000 Figur 9: Totala studiepoängsproduktionen vid Tekniska fakulteten
Enheterna har olika metoder för att få in kursutvärderingar från de studeranden. Både elektronisk inrapportering och insamling i samband med tentamen förekommer. Figur 10 visar att enheterna har varierande framgång att få in studerandes kursutvärderingar. Kursutvärderingarnas tillförlitlighet: inlämnade utvärderingar per godkända i na under läsåret 2008-2009 35 Mycket säkra Säkra Indikativa Osäkra Icke utvärderade 30 25 20 15 10 5 0 AK OOK TPK FCT PaF 3PK AST RT TK VT IEK DT DV IS Figur 10: Tillförlitligheten hos inlämnade kursutvärderingar på basen av svarsprocenten Figur 11 visar att av ca 100 utvärderade (vilka utgör knappt hälften av alla som ges) har ca 65 tillförlitliga kursutvärderingar på basen av et kursutvärderingssvar. Mycket säkra Säkra Indikativa Osäkra Hela fakulteten Icke utvärderade 0 50 100 150 200 250 Figur 11: Tillförlitligheten hos inlämnade kursutvärderingar vid Tekniska fakulteten
Figur 12 visar att de utvärderade na enligt de studerande har varierande svårighetsgrad. De olika enheterna har sins emellan mycket olika svårghetsgrader på sina. 35 30 Bedömd svårhetsgrad för vid Tekniska fakultetens enheter på basen av utvärderingssvaren från läsåret 2008-2009 Lätta På lätta sidan Medelsvåra På svåra sidan Svåra Icke utvärderade 25 20 15 10 5 0 AK OOK TPK FCT PaF 3PK AST RT TK VT IEK DT DV IS Figur 12: Bedömd svårighetsgrad hos na vid Tekniska fakultetens enheter Figur 13 visar att generellt över fakulteten är nas svårighetsgrad normalfördelade. Cirka 50 av de utvärderade na upplevs som medelsvåra och 10-15 vardera är på lätta eller svåra sidan. Tre upplevs som svåra medan endast en kurs upplevs som lätt. Mängden medelsvåra beror naturligtvis på hur man väljer gränsdragningen i sammanställningen. Lätta På lätta sidan Medelsvåra På svåra sidan Svåra Hela fakulteten Icke utvärderade 0 50 100 150 200 250 Figur 13: Bedömd svårighetsgrad hos de utvärderade na vid Tekniska fakulteten
Figur 14 visar att na som utvärderas vid Tekniska fakulteten får höga kvalitetespoäng av de studerande. Alla enheter har som bedöms vara bra eller utmärkta. Hälften av enheterna har som ges omdömet acceptabla och bara tre enheter ger en bristfällig kurs var. Sammanvägd kvalitet på na (föreläsningar, övningar och litteratur) på basen av utvärderingssvaren från läsåret 2008-2009 Dåliga Bristfälliga Acceptabla Bra Utmärkta 35 30 25 20 15 10 5 0 Icke utvärderade AK OOK TPK FCT PaF 3PK AST RT TK VT IEK DT DV IS Figur 14: Bedömd kvalitet på na vid Tekniska fakultetens enheter Figur 15 visar att överlag på fakulteten är de utvärderade na i mycket hög utsträckning utmärkta eller goda. Vi vet dock ingenting om kvaliteten på de som inte har utvärderats. Dåliga Bristfälliga Acceptabla Bra Utmärkta Hela fakulteten Icke utvärderade 0 50 100 150 200 250 Figur 15: Bedömd svårighetsgrad hos de utvärderade na vid Tekniska fakulteten
Konklusion Den här sammanställningen av kursutvärderingsresultaten vid Tekniska Fakulteten har visat att ca hälften av alla som ges vid fakulteten faktiskt utvärderas och att flertalet av de utförda utvärderingarna är tillförlitliga på basen av et utvärderingssvar och kursdeltagare. Dessutom får de utvärderade na höga poäng av de studerande vid Tekniska fakulteten. Sammanställningen ämnes- eller institutionsvis tyder på stora skillnader mellan fakultetens enheter vad gäller bruket av kursutvärderingar och metoder för insamling. Utvärderingsviljan varierar och några enheter har svårt att få in tillräckligt stort utvärderingar av de studerande på na. Men, alla enheter har börjat utvärdera sina och sammanställningen av kursutvärderingsresultaten ger värdefull information för att utveckla och förbättra akademins utbildningar. En sådan här sammanställning kunde med fördel genomföras årligen vid de tre nya fakultetsområdena.