HSV:s kvalitetsutvärdering Fokus på resultat; kriterier, mätbarhet, examensarbete

Transkript

1 HSV:s kvalitetsutvärdering Fokus på resultat; kriterier, mätbarhet, examensarbete Professor Johan Malmqvist Utbildningsområdesledare UO MATS Ordförande Kvalitetsberedningen

2 HSV:s utvärderingar Högskoleverket har i uppdrag att utvärdera utbildningarnas resultat. Med resultat avses hur väl den aktuella utbildningen uppfyller kraven i högskolelagen och i examensbeskrivningarna i de förordningar som ansluter till lagen. Utvärderingar görs med fyra års mellanrum av externa sakkunniga inkluderande ämnesexperter, studenter och arbetslivsföreträdare

3 Civilingenjörsprogrammen utvärderades 2005 Utvärderingsmodell: Frågor kring utbildningens förutsättningar, process och resultat CDIO:s självvärderingsmodell som kompletterande instrument Några slutsatser och rekommendationer Civilingenjörsutbildningen håller hög kvalitet Stärk utbildningen i hållbar tillämpning av teknik Vidta åtgärder för att förbättra genomströmningen Förläng utbildningen till 5 år Uppmuntra fler studenter att studera utomlands Vidta åtgärder för att öka andelen kvinnor

4 Nytt svenskt system för utvärdering av kvalitet i högre utbildning Från indirekt till direkt utvärdering: Från att utvärdera processer och förutsättningar till att utvärdera resultat Resultat = hur väl de nationella examensbeskrivningarna uppfylls Tre nivåer på bedömning; Otillräcklig, hög och mycket hög kvalitet Otillräcklig kvalitet högskolan förlorar examensrätten Mycket hög kvalitet ökad medelstilldelning påverkar också rekrytering

5 Nationella krav för civilingenjörsexamen Kunskap och förståelse Färdighet och förmåga Värderingar och förhållningssätt Kunskap om det valda teknikområdets vetenskapliga grund och beprövade erfarenhet samt insikt i aktuellt forskningsoch utvecklingsarbete Såväl brett kunnande inom det valda teknikområdet, inbegripet kunskaper i matematik och naturvetenskap, som väsentligt fördjupade kunskaper inom vissa delar av området Med helhetssyn kritiskt, självständigt och kreativt identifiera, formulera och hantera komplexa frågeställningar samt att delta i forskningsoch utvecklingsarbete och därigenom bidra till kunskapsutvecklingen Skapa, analysera och kritiskt utvärdera olika tekniska lösningar Planera och med adekvata metoder genomföra kvalificerade uppgifter inom givna ramar Kritiskt och systematiskt integrera kunskap samt visa förmåga att modellera, simulera, förutsäga och utvärdera skeenden även information Utveckla och utforma produkter, processer och system med hänsyn till människors förutsättningar och behov och samhällets mål för ekonomiskt, socialt och ekologiskt hållbar utveckling Lagarbete och samverkan i grupper med olika sammansättning Såväl nationella som internationella sammanhang muntligt och skriftligt i dialog med olika grupper klart redogöra för och diskutera sina slutsatser och den kunskap och de argument som ligger till grund för dessa Göra bedömningar med hänsyn till relevanta vetenskapliga, samhälleliga och etiska aspekter samt visa medvetenhet om etiska aspekter på forskningsoch utvecklingsarbete Insikt i teknikens möjligheter och begränsningar, dess roll i samhället och människors ansvar för hur den används, inbegripet sociala och ekonomiska aspekter samt miljö- och arbetsmiljöaspekter Identifiera sitt behov av ytterligare kunskap och att fortlöpande utveckla sin kompetens

6 Utvärderingsmodell Examensarbetens kvalitet Ca sex valda aspekter, ex kunskapsdjup och skriftlig kommunikation I normalfallet den tyngst viktade komponenten Självvärdering Dokumenterad uppfyllelse av examensmålen Lärarkompetens och -kapacitet Studenters förutsättningar Alumnienkät Studentutvärderingar Strukturerade gruppintervjuer

7 Utvärderingsprocessen Startmöte 2012 Anpassad utvärderingsmodell Självvärdering Självvärderingsrapport Analys av självvärdering Exjobbsgranskning Prel granskningsrapport Platsbesök Slutrapport med helhetsomdöme 2013

8 Kvalitet på examensarbeten

9 Varför? Examensarbetet är det största enskilda momentet i utbildningen Examensarbetet är ofta det moment som mest liknar framtida yrkesverksamhet Examensarbeten utvecklar ämneskunskaperna men är också en plattform för att utveckla yrkesmässiga färdigheter Fokus på examensarbeten ger möjlighet att gå från indirekt till direkt kvalitetssäkring av utbildning (Bjereld)

10 Läget för något år sedan på Chalmers Vi har lärandemål men ingen formulerad skrivning av vad som kännetecknar hög kvalitet på ett examensarbete Vi har inte gjort någon utvärdering av kvaliteten på Chalmers examensarbeten Vi vet inte om kvaliteten på Chalmers examensarbeten kan ifrågasättas Vi vet inte heller om Chalmers examensarbeten håller hög kvalitet Lärares examensarbetshandledning är väldigt individuell liten eller ingen kunskaps- eller erfarenhetsöverföring mellan lärare Vi bedriver inget systematiskt arbete med att förbättra kvaliteten hos våra examensarbeten Kandidatarbetena var en första insats kan erfarenheterna och inslagen därifrån vidareutvecklas?

11 Vad är hög kvalitet på examensarbeten?

12 Högskolepolitiska propositionen Ny värld -- Ny högskola 2004 Regeringen anser att det självständiga arbetet är centralt för att bekräfta att studenten uppnått kraven för examen. I det självständiga arbetet visar studenten att han eller hon inte enbart har inhämtat kunskaper utan också kan tillämpa och vidareutveckla dessa med den grad av självständighet som krävs för att utöva det yrke som utbildningen förbereder för eller för att påbörja studier på nästa nivå

13 HSV-bedömningen Utgår från ett antal kvalitetsaspekter som identifieras av en bedömargrupp För varje aspekt finns minst ett kriterium Kriterier målsätts på tre nivåer Urvalet baseras på examensbeskrivningens mål och skall göras så att de aspekter som väljs speglar utbildningens helhet, särart och användbarhet på arbetsmarknaden Högskolorna inom sektorn kan påverka valet av aspekter och kriterier

14 Bedömningskriterier (exempel) Forskningsanknytning Problemformulering Teoretisk medvetenhet Metod Genomförande och slutsatser Språklig utformning och formalia Härnqvist, 1999

15 Exempel på kvalitetskriterier Källa Aspekt HSV (remiss nov 2010) Kritiskt tänkande Kommunikation Kunskap och förståelse Problemlösning Bedömningar mht samhälleliga och etiska aspekter Beredskap att möta arbetslivets krav KTH Innehåll Process Presentation LiU/Umeå Kunskapsbas Problemformulering Resultat och slutsatser Process Kommunikativ precision GU Genomför ande Förståelse Resultatanalystolkning Skriftlig rapport Muntlig present -ation Chalmers Metod Kunskaper Problemhantering Skapaanalyserautvärdera Integrera kunskap Process Skriftlig rapport

16 Exempel på kriterienivåer Väsentligt fördjupade kunskaper inom huvudområdet/inriktningen för utbildningen inkluderande fördjupad insikt i aktuellt forskningsoch utvecklingsarbete: Mycket hög kvalitet En väsentlig fördjupning inom huvudområdet är demonstrerad. Arbetet utnyttjar kunskaper från studier på avancerad nivå inom huvudområdet. En omfattande genomgång av befintlig litteratur samt en reflektion över arbetets koppling till kunskapsfronten inom huvudområdet finns. Arbetet bidrar på ett tydligt redovisat sätt till ny kunskap inom huvudområdet. Arbetet demonstrerar förmåga att ge ett självständigt bidrag till området. Hög kvalitet En väsentlig fördjupning inom huvudområdet är demonstrerad. Arbetet utnyttjar kunskaper från studier på avancerad nivå inom huvudområdet. En skriftlig genomgång av befintlig litteratur samt att en reflektion över arbetets koppling till kunskapsfronten inom huvudområdet finns. Bristande kvalitet Arbetets koppling till huvudområdet är svag eller saknas. Kunskaper från avancerad nivå inom huvudområdet utnyttjas inte. Litteratursammanställning samt reflektion över arbetets koppling till tillhörande kunskapsområde saknas.

17 Slutsatser från en studie av kvalitet hos C- uppsatser i nationalekonomi och historia Det går att mäta kvaliteten på C-uppsatser Det är stora skillnader mellan högskolorna Höga antagningskrav främjar god uppsatskvalitet (men undantag finns) Bra uppsatser i historia bygger vanligen på primärkällor Bra uppsatser i nationalekonomi har ofta flera författare Uppfattningen om vikten av olika kriterier varierade mellan områdena Härnqvist, 1999

18 Några möjliga sätt att förbättra kvaliteten på examensarbeten Tydligare mål Språkgranskning Förkunskapskrav Gem uppstartsmom oment (hing) Fler exjobbslika projekt i utbildningen Start på hösten Säkra kvalitet på ind XJ och hdl Constructive alignment Skriva fler rapporter i utbildningen Begr antal XJ per examinator Handleda r- utbildning Betyg Kommunicera hög ambitionsnivå Olika hdl och examinator Kursutvärdering Undervisningsmoment i exjobbet Två studenter i varje XJ Genomarbetad problemformulering/ Mer handledning plaerings-rapport Diskutera mål med studenter Student skriver brief Plagiat- och rättighetskontroll

19 Självvärdering

20 Självvärderingen utgörs av tre delar 1. Måluppfyllelse 2. Utbildningens förutsättningar 3. Andra förhållanden

21 Del 1: Måluppfyllelse Syftet är att redovisa, analysera och värdera studenternas måluppfyllelse i förhållande till de examensmål som ingår i utvärderingen.

22 Måluppfyllelse - ex i fem punkter: 1. Sammanställningar och analyser av olika arbeten och uppgifter som studenterna genomfört 2. Sammanställningar och analyser av examinationsuppgifter och frågor. 3. Analyser av resultat från utvärderingar och uppföljningar 4. Sammanställningar och analyser av hur kursmål, undervisning, material och examination kopplas samman för att nå målen 5. Analyser av hur flera kurser bygger på varandra för att studenterna ska nå ett examensmål eller dess delar

23 Fokus på mål som ej framgår i examensarbete Allmänna mål för högskoleutbildning, t ex Lagarbete Muntlig kommunikation Livslångt lärande Mål för utbildningar med praktisk tyngdpunkt, ex vårdutbildningar Vad innebär detta på sjökaptensprogrammet?

24 Del 2: Utbildningens förutsättningar Analys av lärarkompetens och lärarkapacitet i relation till respektive utvalt mål Studenternas förutsättningar

25 Del 3: Andra förhållanden som är särskilt viktiga Redovisning av andra förhållanden som lärosätet anser särskilt viktiga för att bedöma den aktuella utbildningen Information om de självständiga arbetena

26 Programbeskrivningar ett verktyg för att underlätta framtagandet av självvärderingen

27 Programbeskrivning Sammanställd beskrivning av ett utbildningsprograms mål och innehåll, samt hur programmets struktur kopplar samman mål och innehåll.

28 Programsyfte Övergripande beskrivning av vad programmet vill uppnå Civilingenjörsutbildningen i maskinteknik syftar till att utveckla de kunskaper, färdigheter och förhållningssätt som krävs för att kunna leda och delta i utvecklingen och utformningen av industriella produkter, processer och system för en hållbar samhällsutveckling. Vidare förbereder utbildningen för arbete inom andra delar av samhället där analys och hantering av komplexa problemställningar är av betydelse. Studenten skall ges goda möjligheter för utveckling av personliga egenskaper och attityder som bidrar till professionell integritet och ett framgångsrikt yrkesliv.

29 Programmål Förteckning av de kunskaper, färdigheter och förhållningssätt som de studerande förväntas besitta efter genomgången utbildning Kan formuleras som specialisering av examensmål för civilingenjörs- eller högskoleingenjörsexamen

30 Programmål - utdrag Examensordningens Civilingenjören i maskinteknik skall: generella krav visa såväl brett kunnande inom det valda teknikområdet, inbegripet 1 kunna tillämpa matematik och grundläggande naturvetenskap inom den tillämpade mekaniken och ha inblick i den klassiska fysikens mest grundläggande metoder. Centralt är att kunskaper i matematik och naturvetenskap, som 1.4 kunna lösa egenvärdesproblem för diskreta och kontinuerliga system väsentligt fördjupade kunskaper inom vissa delar av området 1.7 förstå och tillämpa termodynamikens huvudsatser när det gäller omvandling mellan olika energiformer inom ett system 2 förstå och kunna tillämpa de grundläggande maskintekniska ämnena materialteknik, mekanik, hållfasthetslära, strömningsmekanik, maskinelement, mekatronik, och reglerteknik så att tekniskt relevanta problem kan lösas dvs 2.1 kunna bestämma belastningar på hela konstruktioner och delar av konstruktioner 2.5 kunna förklara hur de vanligaste förekommande givare och ställdon fungerar och kunna integrera dessa i maskinkonstruktioner både fysiskt och virtuellt visa förmåga att utveckla och utforma produkter, processer och system med hänsyn till 3 kunna leda och medverka i utveckling av nya produkter och system med en helhetssyn från behov och idéformulering, konstruktion och tillverkning till drift och avveckling genom att följa en situationsanpassad systematisk utvecklingsprocess. Här ingår det att människors förutsättningar och behov och samhällets mål för ekonomiskt, socialt 3.4 kunna göra materialval med insikt om valets roll för tillverkningsprocess samt produktens beteende och miljöbelastning under livslängden och ekologiskt hållbar utveckling Enelund, 2009

31 Programidé Övergripande beskrivning av de viktigaste idéer som ligger till grund för programmets utformning, och valda strategier för att uppnå målen

32 Programidé - utdrag Maskinteknikprogrammets vision är att erbjuda en relevant, stimulerande och avancerad ingenjörsutbildning med helhetssyn och fokus på sammanhang, fundamental kunskaper och tillämpningar. Studenternas trivsel och anställningsbarhet är centralt. Programmets röda tråd är hållbar produkt- och processframtagning med ett helhetsperspektiv. Programmets har en introduktionskurs som ger en inblick i ingenjörens yrkesroll och introducerar helhetsperspektivet på produktframtagningen. I introduktionskursen ingår att i grupp arbeta med utvecklingen av en produkt. En prototyp tillverkas och projektet skall rapporteras såväl skriftligt som muntligt. Programmet har en stark bas i matematik och grundläggande maskintekniska ämnen där helheten och gemensamma principer betonas. Detta genom att ha gemensamma projekt och inlämningsuppgifter mellan matematik och de grundläggande teknikämnena. I dessa projekt löses hela problemet från att välja modell och ställa upp ekvationer som beskriver modellen till att lösa ekvationer och simulera samt att bedöma rimlighet i val av modell och noggrannheten i lösning. Tillämpningar från de grundläggande ämnena introduceras tidigt i utbildningsplanen för att förbereda för konstruera-implementera (Design- Build)-projekt där verkliga och relevanta produkter och system skall skapas. Det finns minst ett projekt i varje årskurs. Enelund, 2009

33 Programplan En programplan beskriver exakt vilka kurser som ska läsas som obligatoriska eller valbara för varje årskurs av utbildningen under ett visst läsår. Årskurs 1 Period 1 Period 2 Period 3 Period 4 Årskurs 2 Period 1 Period 2 Period 3 Period 4 Årskurs 3 Period 1 Period 2 Period 3 Period 4 Kandidatarbete (15 hp)

34 Programdesignmatris Matris som kopplar samman programmets mål med de kurser i vilka de utvecklas Säkerställer att alla programmålen addresseras Visar hur enskilda kurser tar ansvar för mål både för ämneskunskaper och professionella färdigheter Beskriver progression mha I-U-A-klassficering

35 Programdesignmatris Lärandemål Kurs Kurs 1 Kurs 2 XJ I U A Introducera (I) Kunskapen eller färdigheten berörs i kursen, men examineras inte och nämns inte explicit i kursmålen Undervisa (U) Kunskapen eller färdigheten finns i kursmålen. Den utgör ett väsentligt inslag i undervisningen och studenterna examineras på något sätt Använda (A) Kunskapen eller färdigheten används för att nå andra lärandemål. I normalfallet examineras inte kunskapen eller färdigheten explicit

36 Programdesign-matris (Östlund, 2004)

37 Vad gör Chalmers för att förbereda sig? Informerar alla Chalmerslärare och studenter om att detta kommer och ge kännedom om det principiella upplägget av bedömningen Förbereder självvärdering Tar fram programbeskrivningar som visar hur våra utbildningar uppfyller examensmålen, ev identifierar förändringsbehov Förbereder granskning av examensarbeten - Arbetar med att på kort och lång sikt stärka kvaliteten hos examensarbeten Arbetar för att vårt kvalitetssystem skall bli en helhet Påverkar tillsammans med andra tekniska högskolor HSV:s val av kvalitetsaspekter and anpassning av självvärderingsmodell