1 Kvalitetsutvärdering Ingenjörs- och teknikvetenskapliga området Upptaktsmöte 15 oktober 2012 2012-04-18
2 Syfte och mål med dagens möte Kunskap om utvärderingssystemet och projektet Redovisning av styrgruppens och bedömargruppernas valda mål och kriterier Förberedelse inför skrivning av självvärdering Introduktion till HSV-Direkt Redovisa tidplan för projektet
Dagens program 3 Tid Aktivitet 10.00-10.30 (Gemensamt) Välkomna Syfte med dagen Utvärderingsmodellen Organisation av utvärdering av ingenjörs- och teknikvetenskapliga området Information från samrådsmötet med arbetslivet 10.30-11.15 Genomgång Mål och kriterier (Gemensamt) - högskoleingenjör och master 11.15-11.30 Paus/förflyttning 11.30-12.10 (Klustervis) Presentation av kluster Information om vilka som ingår i bedömargruppen Övergripande information om vilka utbildningar som ingår Diskussion om mål och kriterier Ca 12.10-13.10 Lunch 13.10-14.00 Fortsatt diskussion (Klustervis) 14.00-14.15 Paus/förflyttning 14.15-15.00 Gemensam uppsamling av diskussioner i klustren (Gemensamt) Hur beslutas mål och kriterier 15.00-15.30 Fika 15.30-16.30 Genomgång riktlinjer för självvärdering och mallar (Gemensamt) Information om HSV Direkt Presentation av tidplan för utvärderingen
4 Kvalitetsutvärderingssystemet 2011-2014 2012-04-18
5 Utvärdering 2011-2014 6 utvärderingsomgångar 1600 utbildningar Start januari och maj varje år Beslut året efter Omgång är 1 och 2 klara, omgång 3 pågår, omgång 4 påbörjat
6 Omgång 4 Arkitektur Biologi Dietistexamen, kostvetenskap, livsmedelsvetenskap Fysik Kemi Ingenjörs- och teknikvetenskapliga området Matematik Matematisk statistik Miljövetenskap Utbildningar inom jord, skog och trädgård
7 Kvalitetsutvärderingssystemet Utvärderar resultat Fyra underlag Omdöme på en tregradig skala
8 Kvalitetsutvärderingssystemet Bedömargruppen består av ämnesexperter, arbetslivsrepresentanter och studenter Grund för en liten del av regeringens resurstilldelning Likvärdigt, förutsägbart och transparent Bygger på autonomi för universitet och högskolor
9 Mål och resultatbaserad styrning Regelstyrning/Processtyrning Målstyrning och resultatstyrning Inflöde Lärosätes Inre arbete Slutprestation Kurser Utfall 1 Kunskaper och färdigheter Utfall 2 Anställning Utfall 3 Arbetsinsatser
10 Fyra bedömningsunderlag Självständiga arbeten Självvärdering Underlag Alumnenkät Studenternas erfarenhet
11 1. Självständiga arbeten Självständiga arbeten väger tungt Arbetena bedöms utifrån de utvalda målen med hjälp av kriterier (samma kriterier för alla underlag) Avidentifierat urval granskas Ingen överprövning av betyg Högst 24 och minst 5 arbeten bedöms per utbildning
12 2. Självvärdering Resultatredovisning - analys och värdering av måluppfyllelse Bredare och mer fullständig än självständigt arbete Viss redovisning av förutsättningar och processer för att visa hur studenterna uppnår målen Lärarkompetens och lärartillgång Studenternas förutsättningar att nå examensmålen (frivilligt)
13 3. Studenternas erfarenheter Hur väl utbildningen når målen Gruppintervjuer innan lärosätesintervjun (webb) Kan ge bra underlag för frågor till lärosätesintervjun Studenterna som informanter skyddas alltid
14 4. Alumnenkät Utbildningens måluppfyllelse och utbildningens användbarhet på arbetsmarknaden Hur yrkesverksamma anser de uppnått förväntade studieresultat Skickas ut av SCB Endast utbildningar med minst 20 alumner och med minst 50% svarsfrekvens Alumner som avslutat sin utbildning för 1-3 år sedan
15 Lärosätesintervju Lärosätesintervju via webb Kvarvarande frågor som ej framgått av de fyra underlagen Inget eget underlag med får tas med i bedömningen Kan väljas bort men
Intervjuer preliminär idé 16 Ett intervjupass per lärosäte och kluster Gruppintervju med studenter från samtliga utbildningar inom klustret (ca 1h) Vid behov intervju med lärosäte (ca 1h) Deltagare 2-3 ämnessakkunniga + 1 student + HSV representant Vi återkommer med mer exakt information senast i januari
17 Omdöme på tregradig skala Mycket hög kvalitet Extra resurser till lärosätet, ej till utbildningen Hög kvalitet Godkänd, ingen åtgärd Bristande kvalitet Ifrågasättande 1 år att åtgärda Examenstillståndet kan återkallas
18 Mer information finns under fliken kvalitet på HSV.se
19 Utvärdering av Ingejörs- och teknikvetenskapliga området Projektet 2012-04-18
20 Utvärderingens organisation Styrgrupp Bio- Kemi- Miljö Energi Data IT Medieteknik (inkl datavet.) Industriell ekonomi Maskin-teknik Samhällsbyggnad Teknisk fysik Elektro (inkl teknik ) B, K, Mj, E D, IT, Med I, M, V, L, F, E, Civilingenjör Högskoleingenjör Master Magister Kandidat Brandingenjör
Omfattning 21 Antal bedömningsärenden Totalt 385 Varav Antal självständiga arbeten UppskaGning unika arbeten Antal lärosäten Högskoleing 95 Branding; 2 Civilingenjör 81 Kandidat Kandidat 101 Magister Master Högskoleingenjör Civilingenjör Master 76 Brandingenjör Magister 30 101 30 76 95 81 2 3970 3260 23
22 Samrådsmöte 7 september Huvudsyfte: Vad har arbetsgivare för förväntningar på nyutexaminerade studenters kunskaper och färdigheter? Deltagare: Sveriges ingenjörer, Svenska teknik och designföretagen, Svensk energi, Sveriges byggindustrier, Almega, Naturvetarna, Strålsäkerhetsmyndigheten, Teknikföretagen, Lantmäteriet, SKL, Sveriges arkitekter HSV Representanter från bedömargrupperna
Synpunkter, studenterna bör kunna 23 Kunna lösa uppgifter inom en vissa tid Skrivförmåga, papper in och papper ut Fler hands on kunskaper såsom: management/ledarskap, samarbetsförmåga, arbetsmiljöfrågor, klimatfrågor Men även mer akademiska/ämnesanknutna kunskaper såsom: problemlösning, tekniskt kunnande, gedigna kunskaper inom ämnet
24 Övriga värdeord/egenskaper som nämndes Mognad Självständighet Social kompetens Formbarhet
25 Mål och kriterier Ingenjörs- och teknikvetenskapliga området 2012-04-18
26 Utgångspunkter Samma mål och kriterier för alla kluster Mål ska vara utvärderingsbara ur underlagen Täcka in utbildningens helhet och särart Stickprov ambition att hålla antalet mål nere Analogi mellan grundnivå och avancerad nivå
Mål för generella examina 27 Kandidatexamen Kunskapsform kunskap och förståelse: samtliga mål (1) ingår Kunskapsform färdighet och förmåga: 2-3 mål Kunskapsform värderingsförmåga och förhållningssätt: 1-2 mål Magister- och masterexamen Kunskapsform kunskap och förståelse: samtliga mål (2) Kunskapsform färdighet och förmåga: 2-3 mål Kunskapsform värderingsförmåga och förhållningssätt: 1-2 mål
28 Mål yrkesexamen Högskoleingenjörsexamen Kunskap och förståelse båda målen obligatoriska (2) Färdighet och förmåga 2-6 mål (3) Värderingsförmåga och förhållningssätt 1-2 mål (1) Civilingenjörsexamen Kunskap och förståelse båda målen obligatoriska (2) Färdighet och förmåga 2-6 mål (3) Värderingsförmåga och förhållningssätt 1-2 mål (1) Brandingenjörsexamen Kunskap och förståelse båda målen obligatoriska (2) Färdighet och förmåga 2-6 mål (4) Värderingsförmåga och förhållningssätt 1-2 mål (1)
29 Klustervisa diskussioner Bedömare Kommentarer och frågor om bedömargruppen Ingående utbildningar Övergripande frågor och kommentar från lärosätena Detaljfrågor mailas in eller tas efter mötet Mål och kriterier Diskussion om alla mål och kriterier
30 Klustervis samling Bio-kemi-miljö-energiteknik Korgmakaren Data-IT-medieteknik Repslagaren (denna sal) Industriell ekonomi Winblad Maskinteknik Krukmakaren Samhällsbyggnad Sadelmakare Tekniks fysik-elektroteknik Fredman Återsamling här kl 14.15
Bedömargrupp Bio-kemi-miljö-energiteknik 31 Ämnessakkunniga: Leif Bülow (ordf),lu Erik Dahlquist, MdH Olle Holst, LU Bengt Harald Nalle Jonsson, LiU Sigbritt Karlsson, HiS Claes Niklasson, CTH Lars Nilsson, KaU Ann-Catrine Norrström, KTH Eva Thorin, MdH Gabriella Tranell, NTNU Trondheim, Norge Anders Virtanen, UU Björn Zethreus, LNU Arbetslivsrepresentanter: Rekrytering pågår Studentrepresentanter: Sara Eriksson,UmU Michael Lacintra,HB
32 Bedömargrupp Data-IT-medieteknik Ämnessakkunniga: Anders Haraldsson (ordf),liu Stefan Arnborg, KTH Tone Bratteteig, Universitetet i Oslo Silvia Coradeschi, ÖU Mats Daniels, UU Henrik Engström, HIS Veronica Gaspes, HH Jörgen Hansson, CTH Stefan Johansson, BTH Björn Kruse, LIU Stefan Lindskog, KaU Tapio Salakoski, University of Turku, Finland Stefan Seipel, UU / HiG Dag Svanæs, NTNU, Norge Gion Koch Svedberg, MaH Christer Åhlund, LTH Arbetslivsrepresentanter: Jan Rindås, Ericsson Magnus Hellring, Volvo Studentrepresentanter, Niclas Lockner, UmU Elias Veterlund, MiU
33 Bedömargrupp Industriell ekonomi Ämnessakkunniga: Janerik Lundquist (ordf), LiU Rickard Garvare, LTU Hans Björnsson, CTH Jonas Tosteby, HV Mats Engwall, KTH Rekrytering av ytterligare 3 bedömare pågår Arbetslivsrepresentanter Rekrytering pågår Studentrepresentanter: Jonas Axner, HJ
34 Bedömargrupp Maskinteknik Ämnessakkunniga Erik Höglund (ordf.) LTU, Aylin Ahadi LU, Mats Hansson KTH, Sten Johansson LiU, Mikael Jonsson UU, Lennart Josefsson CTH, Åsa Kassman UU, Johan Kjellander ÖrU, Lars Nyborg CTH, Anna Runnemalm HV, Ulf Stigh HiS Sofia Brorson, HDa Håkan Torstensson HB Per Gradin MiU ytterligare 1 rekryteringar av sakkunniga är på gång Arbetslivsrepresentanter: Lars Hammar, Vattenfall, Mats Jackson, MdH samt Volvo, Joachim Jillehed, Knightec Studentrepresentanter: Tobias Johannesson, HH, Tanja Lundberg, HJ, Jimmy Vestlund, KaU
35 Bedömargrupp Samhällsbyggnad Ämnessakkunniga: Folke Snickars (ordf), KTH Lars Bernsprång, LTU Lennart Elfgren, LTU Ingrid Svetoft, HH Terje Kanstad, NTNU, Norge Bengt Larsson, HH Georgia Destouni, SU Michael Tophøj Sörensen, Aalborgs universitet, Danmark Harald Landrø, NTNU, Norge Patrice Godonou, UU Arbetslivsrepresentanter: Erland Ullstad, tidigare stadsarkitekt i Växjö Martin Bergdahl, tidigare Landstingsfastigheter i Dalarna, Studentrepresentanter: Marina Nyman, LU Sanna Eriksson, Mdh
36 Bedömargrupp Teknisk fysik-elektroteknik Ämnessakkunniga: Rolf Paulsson (ordf),uppsala universitet emeritus Anna-Karin Christiansson, HV Arne Rosen, GU Göran Ewing, LNU Hans Johansson, HiS Kalevi Hyyppä, LTU Magnus Karlsteen, CTH Börje Norlin, MiU Staffan Yngve, UU Stephanie Reimann, LTH Fredrik Danielsson, HV Jesper Tegnér, KI Arbetslivsrepresentanter: Anders Claesson, CHT + Holistic Product Development Ted Johansson, LiU + dbm RF Research AB Studentrepresentanter: Madeleine Kildal Schilliger, LU Fredrik Pettersson, UU
Uppsamling från klustervisa diskussioner
38 Fortsatt process med mål och kriterier Kommentarer på mål och kriterier till Högskoleverket senast inom en vecka (22/10) Styrgruppen diskuterar vid behov inkomna synpunkter 23/10 Beslut från HSV tidigast den 23/10
Att skriva självvärdering
40 Självvärderingen Syftet med självvärderingen är främst att visa för bedömarna att studenterna når de utvalda examensmålen En fördel är om många personer involveras i arbetet med självvärderingen Skriv om alla delar av målen men fokusera gärna på sådant som inte framgår ur det självständiga arbetena Sammanhållet dokument utan bilagor Maximalt 20 sidor generell examen och 30 sidor för en yrkesexamen
41 Självvärderingen, huvudfrågan är: Hur vet ni att studenterna har nått målen i examensordningen?
42 Självvärderingen har tre delar: 1. Måluppfyllelse 2. Utbildningens förutsättningar 3. Andra förhållanden som är särskilt viktiga
43 Del 1: Måluppfyllelse 1 (3) Lärosätet ska redovisa, analysera och värdera studenternas måluppfyllelse i förhållande utvalda examensmål Argumentationen ska vila på redovisning och analys av olika typer av källmaterial
44 Del 1: Måluppfyllelse 2 (3) Källor som berör examination: 1. Sammanställningar och analyser av olika arbeten och uppgifter som studenterna genomfört 2. Sammanställningar och analyser av examinations-uppgifter och - frågor.
45 Del 1: Måluppfyllelse 3 (3) Underlag som visar hur processer är kopplade till resultat: 3. resultat från lärandemålsrelaterade utvärderingar och uppföljningar av olika slag 4. hur lärandemålen (kursmålen), undervisningen, undervisningsmaterialet och/eller examinationen är kopplade till varandra för att studenterna ska nå examensmålet 5. hur flera kurser bygger på varandra för att studenterna ska nå ett examensmål eller dess delar
46 Del 2: Utbildningens förutsättningar Analys av lärarkompetens och lärarkapacitet i relation till de utvalda målen Studenternas förutsättningar
47 Lärartabell Används om måluppfyllelsen står och väger mellan två omdömen. Ni har rätt att tolka uppgiften: Bedömargruppen ska kunna avgöra kapacitet och kompetens hos lärarkåren. Förklara bara vilket urval ni gjort! Ni kan använda tabellen, men behöver inte. Ni behöver inte redovisa anställningens omfattning i procent, men bra om man får bild av total omfattning. Om bedömargruppen vill ha mer information kan de begära en komplettering
48 Del 3: Andra förhållanden 1. Det självständiga arbetets omfattning i högskolepoäng 2. När i utbildningen det självständiga arbetet utförs 3. Om det självständiga arbetet görs i grupp eller individuellt Redovisning av andra förhållanden som lärosätet anser särskilt viktiga för att bedöma den aktuella utbildningen.
49 Examensmål 2 Att tänka på i del 1 För högskoleingenjörsexamen brett kunnande inom valda teknikområdet och relevant kunskap i matematik och naturvetenskap. Redovisa, analysera och värdera studenternas måluppfyllelse Beskriv särskilt hur delmålen brett kunnande och relevant kunskap uppnås
50 Examensmål 4 Att tänka på forts. För högskoleingenjörsexamen utforma och hantera produkter, processer och system med hänsyn till människors förutsättningar och behov och samhällets mål för. hållbar utveckling. Redovisa, analysera och värdera studenternas måluppfyllelse Beskriv särskilt hur delmålen hänsyn till människors förutsättningar och behov och samhällets mål för hållbar utveckling uppnås
51 Examensmål 5 Att tänka på forts. För högskoleingenjörsexamen muntligt och skriftligt redogöra för och diskutera problem och lösningar i dialog med olika grupper. Redovisa, analysera och värdera studenternas måluppfyllelse Beskriv särskilt hur delmålen muntlig förmåga och dialog med olika grupper uppnås
52 Examensmål 6 Att tänka på forts. För högskoleingenjörsexamen insikt i teknikens möjligheter och begränsningar, roll och människors ansvar för dess nyttjande. Redovisa, analysera och värdera studenternas måluppfyllelse Beskriv särskilt hur delmålen teknikens roll i samhället och människors ansvar för dess nyttjande uppnås.
53 HSV Direkt Lärosätenas ingång till utvärderingens datasystem Lärosätesansvarig för HSV Direkt (1-2 per lärosäte) ger inloggningsuppgifter till de som behöver arbeta i HSV Direkt Mata in självständiga arbeten och självvärderingar som PDF-filer Vid problem kontakta lärosätesansvarig eller projektsamordnare eller projektledare 2012-04-18
54
55
56
Dokumentmall i excel från HSV Direkt: 57
58
59 Namngivning självständiga arbeten Exempel Datateknik_master_Titel.pdf Maskin_hing_titel.pdf Namngivning till PDF:filer som laddas in Respektive projektledare kommer att i vissa fall ge specifika instruktioner
60
61
62
Tidsplan för utvärderingen 63 prel. 23 okt. Högskoleverket beslutar om mål och kriterier. Självvärderingsmallarna blir tillgängliga i HSV Direkt. 30 okt Totallistor över examensarbeten ska ha matats in i HSV Direkt och slumpats 12 nov De avidentifierade uppsatserna ska finnas i HSV Direkt 18 dec Självvärderingarna ska ha laddats upp i HSV Direkt v 12-v 19 aug-sept 2013 Intervjuer med studenter och representanter för utbildningarna Universitetskanslern fattar beslut
64 Frågor