Examensarbeten kvalitet, självinsikt och det kollektiva ansvaret. Sheila Galt KUL 2014

Relevanta dokument
Mål och kriterier för utvärdering av ingenjörs- och teknikvetenskapliga området

Blandade omdömen av utbildning i ingenjörs- och teknikvetenskap vid Umeå universitet


Förväntade studieresultat (lärandemål) Efter avslutad kurs ska studenterna kunna:

Förbättringsarbete KA

Fakulteten för hälsa, natur- och teknikvetenskap. Utbildningsplan

Fakulteten för ekonomi, kommunikation och IT. Utbildningsplan. Högskoleingenjörsprogrammet i datateknik TGDDI

Omfattning Högskoleingenjörsexamen uppnås efter att studenten fullgjort kursfordringar om 180 högskolepoäng.

Programmets benämning: Master of Science in Computer Engineering

CIVILINGENJÖRSEXAMEN DEGREE OF MASTER OF SCIENCE IN ENGINEERING

CIVILINGENJÖRSEXAMEN DEGREE OF MASTER OF SCIENCE IN ENGINEERING

Fakulteten för ekonomi, kommunikation och IT. Utbildningsplan. Högskoleingenjörsprogrammet i datateknik

CIVILINGENJÖRSEXAMEN DEGREE OF MASTER OF SCIENCE IN ENGINEERING

Universitetskanslersämbetets kvalitetsutvärderingar Mall för uppföljning civilingenjörsexamen

Riktlinjer för examensarbeten. Tekniska högskolans ingenjörsutbildningar

Informationstillfälle 2 Examensarbete

Elkraftingenjör, 180 hp

HÖGSKOLEINGENJÖRSEXAMEN BACHELOR OF SCIENCE IN ENGINEERING

Automationsingenjör, 180 hp

CIVILINGENJÖRSEXAMEN MASTER OF SCIENCE IN ENGINEERING

Bedömningsmall med riktlinjer för kvalitetskriterier för bedömning av examensarbete master+civilingenjör

Riktlinjer för examensarbetskurser, gemensamma mål och bedömningskriterier för studenter som påbörjar studier fr o m

Utbildningsplan. Masterprogram i marknadsföring. Dnr HS 2015/401. SASMF Masterprogram i Marknadsföring Master programme in Marketing

Bedömningsmall med riktlinjer för kvalitetskriterier för bedömning av examensarbete master+civilingenjör

NAMIH, Masterprogram i miljö- och hälsoskydd, 120 högskolepoäng Master Programme in Environmental Health Science, 120 credits

Elektroteknik GR (C), Examensarbete för högskoleingenjörsexamen, 15 hp

Utbildningsplan. Masterprogram i Service Management. Dnr HS 2017/888

Examensarbeten på institutionen. Industriell ekonomi

CIVILINGENJÖRSEXAMEN MASTER OF SCIENCE IN ENGINEERING

HÖGSKOLEINGENJÖRSEXAMEN DEGREE OF BACHELOR OF SCIENCE IN ENGINEERING

Fakulteten för ekonomi, kommunikation och IT. Utbildningsplan. Magister-/masterprogram i Marknadsföring och ledning av

Utbildningsplan. Masterprogram i redovisning och styrning. Dnr HS 2017/1044

HÖGSKOLEINGENJÖRSEXAMEN DEGREE OF BACHELOR OF SCIENCE IN ENGINEERING

Civilingenjör i elektroteknik, 300 hp Master of Science in Electrical Engineering, 300 credits

Programmets benämning: Master of Science in Industrial Engineering and Management

Elkraftingenjör, 180 hp

Riktlinjer för examensarbeten. Tekniska högskolans ingenjörsutbildningar

Maskiningenjör - produktutveckling, 180 hp

DATA- OCH INFORMATIONSTEKNIK

Civilingenjör i teknisk design, 300 hp

Högskoleingenjörsprogrammet i lantmäteriteknik och geografisk IT

Fakulteten för ekonomi, kommunikation och IT. Utbildningsplan

Fakulteten för teknik och naturvetenskap. Utbildningsplan. Matematisk modellering

Utbildningsplan. Masterprogram i marknadsföring. Dnr HS 2015/171. SASMF Masterprogram i Marknadsföring Master programme in Marketing

Riktlinjer för examensarbeten

Beslut om riktlinjer för val av mål vid utvärdering av utbildningar som leder till generell examen (omgång ).

Byggingenjör 180 högskolepoäng

NABIF, Masterprogram i bioinformatik, 120 högskolepoäng Master Programme in Bioinformatics, 120 credits

Magister-/masterprogram i hållbar informationsförsörjning, hp

NAMAS, Masterprogram i matematisk statistik, 120 högskolepoäng Master Programme in Mathematical Statistics, 120 credits

Höga omdömen av utbildning i matematik vid Umeå universitets

Fakulteten för ekonomi, kommunikation och IT. Utbildningsplan. Magister-/masterprogram i företagsekonomi SAFEK

HUMANISTISKA FAKULTETSNÄMNDEN. Avancerad nivå/second Cycle

Examensarbete MASKINTEKNIK 180 HP

Mycket hög kvalitet på Umeå universitets kandidatexamen i kulturanalys

Magister-/masterprogram i hållbar informationsförsörjning, hp

Beslutsuppgifter. Programbeskrivning. Naturvetenskapliga fakulteten

Information om examensarbete och krav för examen. Siv Söderlund Studievägledare DM-nämnden

Internationellt masterprogram i ekoteknik och hållbar utveckling, 120 hp

Masterprogram i biomedicin

Högskoleingenjörsprogrammet i lantmäteriteknik och geografisk IT. Programmets benämning: Engineering: Surveying Technology and Geographical IT

NAGEL, Masterprogram i geologi, 120 högskolepoäng Master Programme in Geology, 120 credits

Uppföljning av högskoleingenjörsexamen i industriell ekonomi vid Högskolan i Borås

U T B I L D N I N G S P L A N

Beslutsuppgifter. Programbeskrivning. Naturvetenskapliga fakulteten

ALLMÄN STUDIEPLAN FÖR UTBILDNING PÅ FORSKARNIVÅ I ARBETSVETENSKAP. TFN-ordförande

Utbildningsplan för masterprogrammet i inbyggda system vid Uppsala universitet, 120 hp, 2014/2015

Vetenskaplig metod och teknisk rapport

Civilingenjör Teknisk fysik. Master of Science in Engineering Physics

Lokal examensbeskrivning

Lärande, kommunikation och informationsteknologi, Magisterprogram, 60 högskolepoäng

1 Bakgrund. 2 Föreslagna förändringar. Förslag 1 (5)

Utbildningsplan för masterprogrammet i förnybar elgenerering vid Uppsala universitet, 120 hp, 2014/2015

Sportteknologi maskiningenjör inom innovativ produktutveckling, 180 hp

Civilingenjör i teknisk fysik, 300 hp

Beslutsuppgifter. Programbeskrivning. Naturvetenskapliga fakulteten

Civilingenjör i kemiteknik, Karlstad (Master of Science in Chemical Engineering) Nätverksmöte juni 2017

Miljö och hållbar utveckling i Chalmers utbildningar. Ulrika Lundqvist Universitetslektor, Pedagogisk utvecklingsledare Chalmers tekniska högskola

NAMAT, Masterprogram i matematik, 120 högskolepoäng Master Programme in Mathematics, 120 credits

Utbildningsplan för högskoleingenjörsprogrammet i kärnkraftteknik vid Uppsala universitet, 180 hp, 2014/2015

Civilingenjör i teknisk kemi, 300 hp

Underlagen indikerar att studenterna visar kunskap

UTBILDNINGSPLAN MASTERPROGRAM I UTBILDNINGSLEDARSKAP, 120 HÖGSKOLEPOÄNG

Fakultetsnämnden för naturvetenskap och teknik Institutionen för datavetenskap, fysik och matematik

Mål för generella examina

Förslag till nationellt reglerad specialistutbildning samt masterutbildning i Örebro

Civilingenjör Maskinteknik. Programmets benämning: Master of Science in Mechanical Engineering

Lokal examensbeskrivning

Generell progressionsplan för masterexamen vid den naturvetenskapliga fakulteten

EMG:s väg till examensarbeten av mycket hög kvalitet

Internationellt masterprogram i ekoteknik och hållbar utveckling, 120 hp

Byggteknik - Högskoleingenjörsprogram 180 högskolepoäng

Riktlinjer för godkänt/icke godkänt betyg på examensarbetet på civilingenjörs /arkitekt- och masterprogram

Högskoleingenjörsutbildning i datateknik, 180 högskolepoäng. Computer Engineering Programme, 180 Higher Education Credits

Kemiteknikprogrammet

Lokal examensbeskrivning

Dokumentation vid inrättande av nytt utbildningsprogram

Utbildningsplan för masterprogrammet i bioinformatik vid Uppsala universitet, 120 hp, 2014/2015

MASTEREXAMEN DEGREE OF MASTER OF ARTS/SCIENCE (120 CREDITS)

Transkript:

Examensarbeten kvalitet, självinsikt och det kollektiva ansvaret Sheila Galt KUL 2014

Kvalitet på exjobb enligt vem? Studenterna (Skribenten och opponenterna) Handledaren Examinatorn Institutionen (Viceprefekt för grundutbildning) Programmet (PA och/eller MPA) Chalmers (UOL och/eller GRULG) HSV/UKÄ

Vem äger facit? Låt oss anta att HSV/UKÄ har rätt! 2012 års kvalitetsutvärdering av (de flesta av) våra examina byggde till stor del på kvalitet på: 15 hp exjobb för högskoleingenjörsexamen 15 hp kandidatarbeten för kandidatexamen 30hp eller 60 hp exjobb för masterexamen 30hp eller 60 hp exjobb för civilingenjörsexamen

Vad menar vi med termen Exjobb: självständigt arbete även individuellt betygsatta kandidatarbeten HSV: Högskoleverket heter numera UKÄ, Universitetskanslerämbetet Examinator: Chalmers lärare som godkänt exjobbet

Är HSV och examinatorn överens? Slumpmässigt utvalda arbeten levererades och bedömdes av HSV flera bedömdes av examinator vid Chalmers Samma mall för bedömningarna utvalda mål enligt examensordningen 3-gradig skala: 3: mycket hög kvalitet 2: hög kvalitet 1: bristande kvalitet 0: underlag saknas för bedömning av detta mål

Vilka mål pratar vi om? Exempel: Mål 2: För civilingenjörsexamen skall studenten visa: 2a: såväl brett kunnande inom det valda teknikområdet, inbegripet kunskaper i matematik och naturvetenskap, 2b: som väsentligt fördjupade kunskaper inom vissa delar av området. Uppdelade på områden: Kunskap och förståelse Färdighet och förmåga Värderingsförmåga och förhållningssätt Något olika mål för de olika examina.

Civilingenjör Elektroteknik HSVs samlade bedömning: mycket hög kvalitet 6 mål utvärderades 17 slumpade exjobb lämnades till HSV 13 av dessa bedömdes av Chalmers examinatorer enligt samma mall Jämför varje mål för varje exjobb Detta ger 6x13=78 jämförelser! Färgkodade för överblick Självinsikts-matris som sammanfattning

HSVs bedömning Självinsiktsmatris 3 2 1 Mkt hög kvalitet Hög kvalitet Bristande kvalitet 1 2 3 Examinators bedömning

Exempel: Civing Elektro Mål 2 Examinatorers bedömning av relevans och måluppfyllelse Mål 2a REL 1 0 1 1 1 MÅLUPP 3-2 2 3 Mål 2b REL 1 1 0 0 1 MÅLUPP 3 3 1-3 Medlevärde mål 2 3 3 1,5 2 3 HSV utfall mål 2 2 3 3 2 2 1 3 1 3 1 1 1 1 1 1 1 1 0,9 3 2 3 2 3 2 2 1 2,3 1 0 0 1 1 1 0 1 0,6 3 2 2 3 3 2 1,5 2 2,4 3 2 2,5 2,5 3 2 1,75 1,5 2,4 3 3 2 3 3 3 2 2 2,4 Mål 2: För civilingenjörsexamen skall studenten visa: 2a: såväl brett kunnande inom det valda teknikområdet, inbegripet kunskaper i matematik och naturvetenskap, 2b: som väsentligt fördjupade kunskaper inom vissa delar av området.

Elektro Civing alla mål Mål 1 Examinator 2,5 3 2 2 3 3 2,25 2,5 2,5 3 3 1,75 2 2,5 HSV 2 3 3 2 2 1 3 2 3 2 3 2 3 3 3 1 2 2,4 Mål 2 Examinator 3 3 1,5 2 3 3 2 2,5 2,5 3 2 1,75 1,5 2,4 HSV 2 3 3 2 2 1 3 1 3 3 3 2 3 3 3 2 2 2,4 Mål 3 Examinator 2 3 1,5 2 2,5 3 2,25 2,75 3 3 2,5 2 1,5 2,4 HSV 2 3 3 2 2 1 2 2 3 2 2 2 3 3 3 2 2 2,3 Mål 4 Examinator 2 3 2 3 2,5 2,5 2 3 3 3 2 2 2,5 HSV 2 3 3 3 2 1 2 2 3 2 3 2 3 3 2 3 2 2,4 Mål 5 Examinator 2,3 2,3 1,8 2,0 3,0 3,0 2,5 2,8 3,0 3,0 2,0 2,8 1,3 2,5 HSV 2 3 3 1 1 2 2 1 2 2 2 2 3 3 3 2 2 2,1 Mål 6 Examinator 2 3 2 2 1 1 2 1,9 HSV 2 2 3 1 2 2 2 2 2 2 2 1 2 2 2 1,9

HSVs bedömning Självinsiktsmatris Civing Elektro 3 2 1 0 12 16 6 21 9 3 4 0 1 2 3 Examinators bedömning

Civing Elektro självinsikts observationer Över hälften överens (gröna) Inga är vi helt oense om (röda / mörkblåa) 18 bedömer vi något lägre än HSV gör 13 bedömer vi något högre Obalans på pessimist sidan pga avrundning neråt i min analys?

Civing Elektro - målmedelvärden Mål 1 Examinator 2,5 HSV 2,4 Mål 2 Examinator 2,4 HSV 2,4 Mål 3 Examinator 2,4 HSV 2,3 Mål 4 Examinator 2,5 HSV 2,4 Mål 5 Examinator 2,5 HSV 2,1 Mål 6 Examinator 1,9 HSV 1,9 Mål 6 Mål 5

HSVs kommentarer Mycket hög kvalitet: Sammantaget visar underlagen på mycket hög måluppfyllelse för målen: Mål 1. visa kunskap om det valda teknikområdets vetenskapliga grund och beprövade erfarenhet samt insikt i aktuellt forsknings- och utvecklingsarbete; Mål 2. visa såväl brett kunnande inom det valda teknikområdet, inbegripet kunskaper i matematik och naturvetenskap, som väsentligt fördjupade kunskaper inom vissa delar av området; Mål 4. visa förmåga att utveckla och utforma produkter, processer och system med hänsyn till människors förutsättningar och behov och samhällets mål för ekonomiskt, socialt och ekologiskt hållbar utveckling. För övriga mål visar underlagen på hög måluppfyllelse. Den samlade bedömningen är att utbildningen håller mycket hög kvalitet.

HSVs bedömning Hing Elektroingenjör HSV bedömning: hög kvalitet Självinsiktsmatris: 4 9 1 3 16 21 0 4 5 Examinators bedömning

HSVs bedömning Hing: Ekonomi och produktionsteknik Enda högskoleingenjörsprogrammet som fick mycket hög kvalitet Självinsiktsmatrisen: 4 12 11 2 7 3 0 5 0 Examinators bedömning

MHU/MTS relaterade mål Miljö och Hållbar Utveckling Människa Teknik Samhälle Exempelvis Civing Mål 6: insikt i teknikens möjligheter och begränsningar, dess roll i samhället och människors ansvar för hur den används, inbegripet sociala och ekonomiska aspekter samt miljö- och arbetsmiljöaspekter

Mål 6 MHU/MTS - Civing Elektoteknik Många examinatorer ansåg målet irrelevant HSV bedömde Mål 6 som relevant och hög kvalitet Lågt medel! Mål 6

Slutsatser så här långt Examinatorerna är som kollektiv långt ifrån överens med HSV om kvalitet på exjobb. Utvärderingen i sin helhet har visat att Chalmers ger bra utbildningar. Vi behöver stärka systemen som stödjer hög kvalitet för alla examensarbeten som godkänns av Chalmers examinatorerna. MHU/MTS behöver lyftas in tydligare i exjobb.

Tack och vad tycker ni?

Examensarbeten kvalitet, självinsikt och det kollektiva ansvaret I kölvattnet efter kvalitetsutvärderingen av utbildningar på Chalmers (UKÄ/HSV) [1] bör man ta en extra titt på hur vi själva uppfattar kvalitet som den uttrycks i studenters examensarbeten. I skrivande stund har jag påbörjat en analys av den rika datamängd vi nu har tillgång till, speciellt inom utbildningsområdet EDIT-I. Examinatorer för de slumpvist utvalda examensarbeten som ingick i HSV utväderingen ombads att göra en egen bedömning av det utvalda examensarbetet, [2], i förhållande till de utvalda nationella examensordningsmålen. Detta kan nu jämföras med facit för att se hur utomstående expertbedömare har uppfattat kvaliteten i våra studenters examensarbeten. Preliminära observationer är att Chalmers examinatorer tenderar att överskatta kvaliteten i jämförelse med av HSV anlitade externa bedömare. Dessutom finns det diskrepanser angående uppfattning av relevansen av vissa examensmål, t.ex. de som berör miljö och hållbar utveckling (MHU), där Chalmers examinatorer finner ingen relevans där externa bedömare snarare påpekar brister i MHU aspekter som utelämnats. Här på Chalmers har vi en flora av olika nivåer där examensarbeten bedöms, ofta med icke helt samspelta kriterier för kvalitet. På nationell nivå har våra examensarbeten precis bedömts gentemot nationella examensmål, [3]. På Chalmers nivå har vi ett gemensamt dokument som beskriver kvalitet på examensarbeten, [4]. På programnivå bedöms t.ex. kursplaner för examensarbeten med sina lärandemål (samma kursplan för både masterprogram och civilingenjörsprogram), [5]. På institutionsnivå arbetar viceprefekter för grundutbildningen stödjande, utgående från en situation med många individuella examinatorer och handledare (ofta samma person) och många olika studenter på plats eller ute i industrin. Studenterna själva opponerar på varandras arbeten, [6], och gör ibland omedvetna bedömningar av den kvalitet man vill uppnå själv på sitt examensarbete. En översyn av dessa många kriterier bör göras, och förankras, då det framgår av HSV utvärderingen att en ansenlig del av kollegiet har en något släpphänt hantering av vissa lärandemål. Under denna presentation kommer vi att både titta på de olika måtten på kvalitet för examensarbeten, självinsiktsgraden hos Chalmers examinatorer av examensarbeten, och ansvarsfrågan när en student presenterar ett bristfälligt examensarbete. Alla lärare inom programmet bidrar till att bana väg för studenten att uppnå examensmålen. Programansvariga designar program för att maximera möjligheterna för studenterna att uppnå målen. Studievägledare arbetar för att enskilda studenter och studentgrupper ska kunna navigera igenom utbildningen och uppnå målen. Handledare och examinatorer på examensarbeten har en självklar central roll i att både stödja och kontrollera lärandet vid slutet på studentens utbildning. Men studenten själv har naturligtvis det yttersta ansvaret att arbeta målmedvetet med en hög ambitionsnivå för att stolt kunna presentera ett utmärkt bevismaterial på sin egen förträfflighet som civilingenjör eller Master of Science. Om alla system är synkroniserade och alla arbetar åt samma håll bör vi kunna upprätthålla bevis på en utbildning i världsklass. Förslag till presentation av Sheila Galt vid KUL 2014

Sammanfattning: Kvaliteten på examensarbeten har nyss utvärderats av UKÄ/HSV. Detta jämförs med självdeklarationerna som inlämnades av examinatorer på UO-EDIT-I för de slumpvis utvalda examensarbeten. Preliminära resultat visar brister i självinsikt samt MHU-relaterade mål. Chalmers olika kvalitetsbedömnings system för examensarbeten jämförs, och en reflektion görs kring det kollektiva ansvaret för god kvalitet. Referenser: [1] UKÄ/HSV Kvalitetsutvärdering av ingenjörsutbildningar 2013 Sammanställning: http://kvalitet.hsv.se/resultatsok [2] UO-EDIT-I Bedömningsmatriser för utslumpade examensarbeten, PingPong sidan för HSV: https://pingpong.chalmers.se/courseid/1615/coursedocsandfiles.do?nodetreetogglefolder=10674 58 [3] Nationella examensordningsmål inom ingenjörsutbildningar för master och civilingenjörsexamina [4] Chalmers dokument om kvalitet på examensarbeten [5] Kursplan för examensarbeten https://www.student.chalmers.se/sp/course?course_id=20962 [6] Instruktion till opponent på examensarbeten http://www.chalmers.se/insidan/sv/utbildning-ochforskning/grundutbildning/hogskoleverkets/nationella-examensmal https://student.portal.chalmers.se/sv/chalmersstudier/kandidat-ochexamensarbete/examensarbete/documents/riktlinjer_bedomning_kvalitet_exjobb_cing.pdf https://student.portal.chalmers.se/sv/chalmersstudier/kandidat-ochexamensarbete/examensarbete/sidor/opponering-pa-examensarbete.aspx