Uppföljningsseminarium UKÄs kvalitetsutvärderingar november 2014

Transkript

1 Uppföljningsseminarium UKÄs kvalitetsutvärderingar november 2014

2 Program UKÄ uppföljningsseminarium 17 november 2014 Välkomnande och inledning Analys av resultaten för Malmö högskolas utbildningar Cecilia Christersson och Birgitta Magnusson Hur har utvärderingarna och deras resultat påverkat våra utbildningar och vårt kvalitetsarbete? Henriette Lucander (TS) Gunnel Hänsel Petersson (OD) Studentsynpunkter på utvärderingarna Charlotta Tjärdahl och Hannah Lithner, Studentkåren Malmö, Rikard Roxner, Odontologiska studentkåren Kaffe (ca kl 14:30) Synpunkter och erfarenheter kring utvärderingssystemet Diskussioner under ledning av Birgitta Magnusson Förslag till nytt nationellt utvärderingssystem för högre utbildning 2016 Hur kan vi arbeta vidare med kvalitetssäkring av våra utbildningar utifrån detta? SEKTION

3 Antal examina Analys av utvärderingsresultaten för Mahs utbildningar 64 examina vid Malmö högskola har utvärderats inom 21 olika utvärderingskluster. Totalt har 2092 examina vid 50 lärosäten i Sverige utvärderats inom 63 olika utvärderingskluster. 18 Antal examina vid Mah per utvärderingsomgång Utv omgång 1 Utv omgång 2 Utv omgång 3 Utv omgång 4 Utv omgång 5 Utv omgång 6 Kandidat Magister Master Yrkes SEKTION

4 Analys av utvärderingsresultaten 14% Alla lärosäten Malmö högskola 11% 26% 39% Bristande kvalitet Hög kvalitet Mycket hög kvalitet 50% 59% SEKTION

5 Alla examina har dock inte utvärderats.. Undantagna från utvärdering: Nya utbildningar där inga självständiga arbeten ännu hunnit produceras Huvudområden/yrkesexamina med färre än fem självständiga arbeten de senaste tre åren Högskoleexamen och korta yrkesutbildningar Examina under avveckling Examina på forskarnivå Examina äldre än 2007 års examensordning Utbildningar som inte leder till examen SEKTION

6 Antal utfärdade examina 2013 Alla examina har dock inte utvärderats.. Totalt har examina utfärdats vid Malmö högskola Endast av dessa (63%) tillhör de utvärderade examina. Vi utfärdade alltså examina som inte har utvärderats av UKÄ Antal utfärdade examina vid Mah Kandidat Magister Master Yrkes Högskoleexamen Bristande Hög Mkt hög Ej utvärderade SEKTION

7 Totala antalet examina utfärdade vid Mah 2013 i relation till UKÄs utvärderingsresultat för Mah Samtliga utfärdade examina vid Mah 2013 (2797 st) 21% 37% 32% 10% Bristande Hög Mkt hög Ej utvärderade SEKTION

8 Analys av utvärderingsresultaten 14% Alla lärosäten Malmö högskola 11% 26% 39% Bristande kvalitet Hög kvalitet Mycket hög kvalitet 50% 59% SEKTION

9 Analys av Universitetskanslersämbetets utvärderingar av utbildningskvalitet år Slutrapport, del A av Mats Ericson Skolan för Teknik och Hälsa KTH E-post: merics@kth.se

10 Utbildningskvalitet Ett sammanvägt mått för de olika lärosätena baserat på de av UKÄ för respektive utbildning använda omdömena Bristande kvalitet (= 1 p) Hög kvalitet (= 2 p) Mycket hög kvalitet (= 3 p) Utbildningskvalitet kan därmed arbiträrt anta ett värde mellan 1 till 3 där ett högre värde anger en högre bedömd kvalitet.

11 Utbildningskvalitet Bedömd "Utbildningskvalitet" (medianvärde, arbitär kvot) Typ av lärosäten Kandidat examen Magister examen Master examen Yrkes examen "Alla 1,92 1,82 2,02 1,82 universitet" "Högskolor" 1,80 1,67 1,67 1,67 Malmö högskola "Gamla universitet" "Nya universitet + Högskolor" 1,79 1,67 1,67 1,64 1,93 2,00 2,08 1,85 1,80 1,67 1,67 1,70

12 Utbildningskvalitet "Alla (27) lärosäten" "Alla (15) universitet" "Högskolor (12) Utbildningskvalitet (arbiträr kvot) Antal HST Tot intäkter (Mkr) Intäkter forskn (Mkr) Andel utbildn (%) Andel uppdr utb (%) Andel högutb föräldrar (%) 1, ,3 3,4 34,2 1, ,2 4,0 42,8 1, ,4 3,1 31,6 Malmö högskola "Gamla (11) universitet" "Nya univ + högskolor (16) 1, ,2 5,5 33,8 1, ,8 4,0 44,1 1, ,0 3,1 32,2 Källa bakgrundsdata: HSVs årsrapport 2012 Samtliga värden är medianvärden

13

14 Analys av utvärderingsresultaten för Mahs utbildningar Lärosäte Andel som fått Bristande kvalitet Totalt antal utvärderade examina 1 Chalmers tekniska högskola 4 % 54 st 2 Södertörns högskola 14 % 44 st 3 Stockholms universitet 15 % 156 st 4 Sveriges lantbruksuniversitet 16 % 38 st 4 Linköpings universitet 16 % 129 st 22 Malmö högskola 39 % 64 st Lärosäten med färre än 10 utvärderade examina undantagna. Totalt 27 lärosäten ingår i underlaget. SEKTION

15 Andel examina som fått Bristande kvalitet Chalmers tekniska högskola Södertörns högskola Stockholms universitet Sveriges lantbruksuniversitet Linköpings universitet Lunds universitet Högskolan i Skövde Luleå tekniska universitet Kungliga tekniska högskolan Göteborgs universitet Uppsala universitet Högskolan i Jönköping Örebro universitet Umeå universitet Högskolan i Borås Karlstads universitet Högskolan Kristianstad Högskolan i Gävle Högskolan Väst Linnéuniversitetet Blekinge tekniska högskola Malmö högskola Karolinska institutet Mälardalens högskola Högskolan Dalarna Mittuniversitetet Högskolan i Halmstad Bristande Hög Mycket hög 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% % av lärosätets totala antal utvärderade examina SEKTION

16 Analys av utvärderingsresultaten för Mahs utbildningar Lärosäte Antal examina som fått Bristande kvalitet Totalt antal utvärderade examina 1 Chalmers tekniska högskola 2 st 54 st 2 Södertörns högskola 6 st 44 st 2 Sveriges lantbruksuniversitet 6 st 38 st 2 Högskolan i Skövde 6 st 28 st 20 Malmö högskola 25 st 64 st 21 Mittuniversitetet 31 st 59 st 22 Linnéuniversitetet 32 st 93 st 23 Högskolan i Halmstad 35 st 64 st 24 Lunds universitet 39 st 209 st 25 Uppsala universitet 43 st 186 st 26 Göteborgs universitet 45 st 201 st 26 Umeå universitet 45 st 149 st SEKTION Lärosäten med färre än 10 utvärderade examina undantagna. Totalt 27 lärosäten ingår i underlaget.

17 Analys av utvärderingsresultaten för Mahs utbildningar Lärosäte Andel som fått Mycket hög kvalitet Totalt antal utvärderade examina 1 Chalmers tekniska högskola 35 % 54 st 2 Stockholms universitet 22 % 156 st 3 Uppsala universitet 20 % 186 st 3 Lunds universitet 20 % 209 st 5 Högskolan i Skövde 18 % 28 st 5 Linköpings universitet 18 % 129 st 14 Malmö högskola 11 % 64 st 14 Högskolan i Borås 11 % 36 st Lärosäten med färre än 10 utvärderade examina undantagna. Totalt 27 lärosäten ingår i underlaget. SEKTION

18 Andel examina som fått Mycket hög kvalitet Chalmers tekniska högskola Stockholms universitet Uppsala universitet Lunds universitet Högskolan i Skövde Linköpings universitet Göteborgs universitet Umeå universitet Högskolan Kristianstad Luleå tekniska universitet Södertörns högskola Karolinska institutet Högskolan i Borås Malmö högskola Högskolan i Gävle Blekinge tekniska högskola Högskolan Dalarna Örebro universitet Mälardalens högskola Kungliga tekniska högskolan Karlstads universitet Linnéuniversitetet Sveriges lantbruksuniversitet Högskolan Väst Högskolan i Jönköping Mittuniversitetet Högskolan i Halmstad Mycket hög SEKTION 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% % av lärosätets totala antal utvärderade examina

19 Analys av resultaten för Mahs utbildningar Lärosäte Antal examina som fått Mycket hög kvalitet Totalt antal utvärderade examina 1 Lunds universitet 41 st 209 st 2 Uppsala universitet 37 st 186 st 3 Stockholms universitet 34 st 156 st 4 Göteborgs universitet 32 st 201 st 5 Linköpings universitet 23 st 129 st 6 Umeå universitet 22 st 149 st 7 Chalmers tekniska högskola 19 st 54 st 8 Malmö högskola 7 st 64 st 8 Luleå tekniska universitet 7 st 51 st 8 Örebro universitet 7 st 78 st SEKTION

20 Examina vid Mah med Mycket hög kvalitet Communication for Development, magister (omgång 1) Datavetenskap, kandidat (omgång 4) Datavetenskap, magister (omgång 4) Data- och informationsvetenskap, kandidat (omgång 4) Medieteknik, kandidat (omgång 4) Sjuksköterskeexamen (omgång 5) Interaktionsdesign, master (omgång 6) SEKTION

21 Antal examina Utvärderingsresultat Mah, per utvärderingsomgång Utv omgång 1 Utv omgång 2 Utv omgång 3 Utv omgång 4 Utv omgång 5 Utv omgång 6 Bristande Hög Mkt hög SEKTION

22 Antal examina Utvärderingsresultat Mah, per fakultet HS KS LS OD TS Bristande Hög Mkt hög SEKTION

23 Antal examina Utvärderingsresultat Mah, per examenstyp Kandidat Magister Master Yrkes Bristande Hög Mkt hög SEKTION

24 Antal examina Kandidatexamina vid Mah, resultat per examensmål Mål 1 Mål 2 Mål 3 Mål 4 Mål 5 Mål 6 Mål 7 Mål 8 Bristande Hög Mkt hög SEKTION

25 Antal examina Magisterexamina vid Mah, resultat per examensmål Mål 1 Mål 1b Mål 2 Mål 3 Mål 4 Mål 5 Mål 6 Mål 7 Mål 8 Bristande Hög Mkt hög SEKTION

26 Antal examina Masterexamina vid Mah, resultat per examensmål Mål 1 Mål 1b Mål 2 Mål 3 Mål 4 Mål 5 Mål 6 Mål 7 Mål 8 Bristande Hög Mkt hög SEKTION

27 Analys av utvärderingsresultaten för Mahs utbildningar Engelskspråkiga magisterutbildningar har klarat sig lite bättre än svenskspråkiga. I övrigt inga tydliga skillnader i utvärderingsresultat utifrån språk. Fristående kurser eller program - ingen synbar skillnad i utvärderingsresultat Kan finnas visst samband mellan utvärderingsresultat och utbildningarnas koppling till något av Mahs forskarutbildningsämnen Flervetenskap en styrka? SEKTION

28 Analys av utvärderingsresultaten för Mahs utbildningar 56% av de 25 examina som fått Bristande kvalitet brister på mer än ett mål. Det samlade omdömet för ett examensmål beror sällan på bara ett delmål. Dubbelexamina en utmaning Goda resultat beträffande muntlig och skriftlig förmåga i dialog med olika grupper SEKTION

29 Vetenskaplig grund och metod - ett problem? Totalt 64% av de examina som fått Bristande kvalitet brister på mål 1 (alternativt mål 1a och/eller 1b). Det innebär att 25% av alla utvärderade examina vid Malmö högskola brister på examensmål som rör kunskap om vetenskaplig grund, bredd inom huvudområdet, fördjupning inom någon del av huvudområdet, metodkunskap och orientering/insikt i forskningsoch utvecklingsfrågor. För generella examina finns också en koppling mellan Bristande kvalitet på detta/dessa mål och Bristande kvalitet på mål 6 som handlar om att göra bedömningar utifrån vetenskapliga, samhälleliga och etiska aspekter (inkl visa medvetenhet om etiska aspekter på forsknings- och utvecklingsarbete) SEKTION

30 Uppföljningar för examina som fått Bristande kvalitet Samtliga lärosäten Malmö högskola Examina med Bristande kvalitet 552 st 25 st Examina som fått godkänt efter uppföljning 157 st 8 st Examina som lärosätet själv avvecklat 43 st 2 st Av UKÄ indragna examenstillstånd 0 st 0 st Uppföljning återstår 352 st 15 st Uppgifter till och med SEKTION

31 Program UKÄ uppföljningsseminarium 17 november 2014 Hur har utvärderingarna och deras resultat påverkat våra utbildningar och vårt kvalitetsarbete? Henriette Lucander, Fakulteten för teknik och samhälle Gunnel Hänsel Petersson, Odontologiska fakulteten SEKTION

32 Program UKÄ uppföljningsseminarium 17 november 2014 Studentsynpunkter på utvärderingarna Charlotta Tjärdahl och Hannah Lithner, Studentkåren Malmö Rikard Roxner, Odontologiska studentkåren SEKTION

33 Program UKÄ uppföljningsseminarium 17 november 2014 Synpunkter och erfarenheter från Malmö högskola kring utvärderingssystemet Birgitta Magnusson SEKTION

34 Synpunkter lämnade till UKÄ vid intervju i mars 2014 För mycket fokus på resultat. Studenternas förutsättningar och vägen till examen har kommit i skymundan. Inte likvärdigt system! Bedömargrupperna har fungerat väldigt olika. Utvärderingssystemet har gjort/kommer att göra alla utbildningar mer lika. Alla examensmål passar inte för denna utvärderingsform. Vissa examensmål upplevs som tyngre än andra. En viktning av examensmålen hade varit önskvärd. Viktningen mellan självständiga arbeten, självvärdering och intervjuer har varit oklar och också ändrats under cykelns gång. 5 självständiga arbeten är alldeles för litet underlag. SEKTION

35 Synpunkter lämnade till UKÄ vid intervju i mars 2014 Otraditionella och flervetenskapliga huvudområden har varit svåra att passa in i systemet. VFU/praktik och yrkesrelevans har varit svårt att redovisa. De självständiga arbetena har vägt väl tungt. Utbildningarna är så mycket mer. Progressionen i hela utbildningen har inte blivit synlig. Fragmentariskt att bryta ner utbildningen i delmål. Bedömargruppernas yttranden har varit svåra att använda i kvalitetsutvecklingsarbetet. Resurskrävande! SEKTION

36 Synpunkter lämnade till UKÄ vid intervju i mars 2014 Kvalitetsdrivande! Kvalitetsfrågorna har kommit upp på bordet. Stor delaktighet och medvetenhet. Att redovisa faktiska resultat har gjort att hela lärarlaget har blivit engagerat. Vi har blivit mer medvetna om examensmålen. Vi har tvingats fundera kring vad som faktiskt krävs för godkänt. Bedömningskriterierna har blivit ett pedagogiskt redskap. Vi pratar mer om progression ur olika synvinklar nu. SEKTION

37 Synpunkter framförda till kanslern i september 2014 Malmö högskola vill gärna se ett nytt kvalitetssäkringssystem som: Utgår från studentens lärande Syftar till utveckling och erfarenhetsutbyte Bygger på ägarskap och ansvarstagande Omfattar både resultat- och processaspekter Underlättar diversifiering Har internationell legitimitet Inkluderar samverkan med arbetsmarknaden UKÄ utvärderar utbildning och lärosäten bör kunna ansöka om självgranskningsrätt. UKÄ kan dock göra stickprovskontroller vid lärosäten med självgranskningsrätt. Dessutom Viktigt att det finns en nationell samlad överblick över utbildningsutbud och examina Återinförande av en nationell resurs för högskolepedagogisk utveckling Nationella incitament för att möta EU-mål relaterade till utbildning SEKTION

38 SUHF:s långsiktiga ställningstagande i fråga om nationellt kvalitetssystem för högre utbildning Framtida nationella kvalitetssystem för högre utbildning i Sverige bör 1) bygga på ett starkt mått av ägarskap och ansvarstagande från lärosätenas sida 2) vara både kontrollerande och utvecklingsinriktat 3) underlätta diversifiering av det samlade utbildningsutbudet 4) Ha internationell legitimitet Lärosätena bör kunna erhålla rätten att inom ramen för egna system granska kvaliteten i egna utbildningen. Utvärdering

39 SUHF:s långsiktiga ställningstagande i fråga om nationellt kvalitetssystem för högre utbildning Lärosätena bör kunna erhålla rätten att inom ramen för egna system granska kvaliteten i egna utbildningen. Utvärdering av lärosätenas granskningssystem bör utföras av tillsynsmyndigheten Så länge inte alla lärosäten erhållit denna rättighet ska det finnas ett nationellt system i tillsynsmyndighetens regi, som granskar utbildning vid lärosäten utan egen granskningsrätt. Fokus bör ligga dels på direkta resultat som förutsättningar och processer som kan relatera till utbildningens resultat. Lärosäten ska ha en möjlighet att överklaga tillsynsmyndighetens beslut om examensrätt och granskningsrätt. Finansieringsfrågan bör skiljas från kvalitetsutvärderingar.

40 Program UKÄ uppföljningsseminarium 17 november 2014 Förslag till nytt nationellt utvärderingssystem för högre utbildning 2016 Cecilia Christersson SEKTION

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58 Program UKÄ uppföljningsseminarium 17 november 2014 Hur kan vi arbeta vidare med kvalitetssäkring av våra utbildningar utifrån detta? Cecilia Christersson SEKTION

59 KVALITETSARBETET VID UTGÅR FRÅN: Högskolelagen och högskoleförordningen Propositioner Regleringsbrev ENQAs (European Association for Quality Assurance in Higher Education) Standards and Guidelines for Qulity Assurance in the European Higher Education Area (ESG) Externa kvalitetsutvärderingar (ex UKÄ, internationella utvärderingar) Strategisk plattform 2020 Varumärket Malmö högskola

60 Kvalitetssäkring för kvalitetsutveckling Malmö högskola ska: systematiskt arbeta med omvärldsanalys inom alla delar av högskolans verksamheter. regelbundet utvärdera utbildning på grundnivå och avancerad nivå enligt en högskolegemensam modell baserad på ett tydligt kvalitetsbegrepp. följa upp resultatet av externa utvärderingar av högskolans utbildningar och utvärdera kvalitetshöjande åtgärder. säkerställa kopplingen mellan lärandemål, undervisning oh examination i samtliga utbildningar. utveckla och förstärka studentinflytandet och alumnverksamheten.

61 KVALITETSARBETET VID Det kvalitetsutvecklande arbetet ska i första hand utföras i verksamheterna på fakulteterna. Det kvalitetssäkrande arbetet leds på den högskoleövergripande nivån där vi med nyckeltal och metodstöd ger en bas för fakulteternas arbete. Uppföljning ska ske genom årliga kvalitetsdialoger mellan fakultetsledning och högskoleledning.

62 KVALITETSARBETET VID PART 1: European standards and guidelines for internal quality assurance within higher education institutions PART 2: European standards for the external quality assurance of higher education PART 3: European standards for external quality assurance agencies

63 ENQUA European Association for Quality Assurance in Higher Education (2004-) (European Network for Quality Assurance in Higher Education 2000) DEL 1 : INTERN KVALITETSSÄKRING AV policy och processer för kvalitetssäkring godkännande, uppföljning och periodisk utvärdering av program och utmärkelser utvärdering av studenter kvalitetssäkring lärare/personal lärandestödresurser och studentstöd informationssystem Information till allmänheten/ transparens

64 REVIDERINGSFÖRSLAG SKALL BESLUTAS I MAJ 2015

65 QUALITY ASSURANCE AND QUALITY ENHANCEMENT

66 KVALITETSUTVECKLANDE ARBETSSÄTT (PDSA) Exempel Policy för kvalitetsbygge: kursutvärderingsprocessen

67 S KVALITETSBEGREPPET INOM UTBILDNING PÅ GRUNDNIVÅ OCH AVANCERAD NIVÅ Utbildningen är attraktiv och relevant, både från ett studentperspektiv och från ett samhällsperspektiv Utbildningen och studenternas kunskaper och kompetenser är efterfrågade. Genom god lärandemiljö och utmaningsbaserad pedagogik som riktar sig till en bred studentgrupp stimuleras studenternas individuella och gemensamma kunskapsutveckling. Det finns en tydlig kongruens mellan undervisning, lärandemål och examination. Utbildningen vilar på vetenskaplig/konstnärlig grund och är forskningsbaserad. Utbildningen innehåller relevanta arbetslivsorienterade inslag. Studenters erfarenheter inkluderas i undervisningen. Studenterna ges kontinuerlig återkoppling på prestationer och har reellt inflytande på utbildningens utformning Studenter är informerade om och har god tillgång till relevanta stödverksamheter. Utbildningen bedrivs enligt tillämpliga lagar, förordningar och lokala regler och anvisningar för utbildning på grundnivå och avancerad nivå.

68 FÖRSLAG TILL MAH-MODELL FÖR PROGRAMUTVÄRDERING INFÖR PILOTSTUDIE VT 2014 KRITERIER (UB) NYCKELTAL (GV) SJÄLVVÄRDERING (FAKULTET/INSTITUTION) PEER REVIEW INTERN/EXTERN (FAKULTET/INSTITUTION) ANALYS/FÖRSLAG TILL FÖRBÄTTRING (FAKULTET/INSTITUTION) UPPFÖLJNING VID DIALOG (FAKULTET/INSTITUTION/LEDNING)

69 RAMVERK FÖR KVALITETSARBETE I UTBILDNING PÅ GRUNDNIVÅ OCH AVANCERAD NIVÅ Rektor har gett Utbildningsberedningen i uppdrag att ta fram ett förslag på ramverk för kvalitetsarbete i utbildning på grundnivå och avancerad nivå i enlighet med högskolans vision och strategiska plattform med sikte på Detta ramverk ska beskriva riktlinjer som utifrån högskoleövergripande kriterier och systematisk uppföljning, kvalitetssäkrar och understödjer en kvalitetsdrivande kultur som inkluderar studentcentrerat lärande och ett kontinuerligt utvecklande kvalitetsarbete

70 RAMVERK FÖR KVALITETSARBETE I UTBILDNING PÅ GRUNDNIVÅ OCH AVANCERAD NIVÅ Ramverket ska ta sin utgångspunkt från studenternas lärprocess och måluppfyllelse samt lärarnas/medarbetarnas kompetens Ramverket ska beskriva kriterier och riktlinjer för högskoleövergripande kvalitetssäkring och kvalitetsutveckling samt ansvarsfördelning och omfattning av systematisk uppföljning. Ramverket ska var tydligt avseende kriterier, begrepp och systematisk uppföljning Ramverket ska beakta högskoleförordningen/högskolelagen; nationell utvärderings- och tillsynsmyndigheters riktlinjer, principer för kvalitetssäkring på europeisk nivå (ENQA/ESG) samt Malmö högskolas strategiska plattform 2020

71 RAMVERK FÖR KVALITETSARBETE I UTBILDNING PÅ GRUNDNIVÅ OCH AVANCERAD NIVÅ LEVERANS 1. Förslag till ett högskoleövergripande ramverk för kvalitetsarbete i utbildning på grundnivå och avancerad nivå 2. Förslag till riktlinjer för utformning av högskoleövergripande uppföljning av kvalitetsarbetet 3. Förslag till ansvarsfördelning för kvalitetsarbetets genomförande och uppföljning 4. Förslag till hur högskoleövergripande kvalitetsarbete ska dokumenteras och kommuniceras

72 PROJEKT RAMVERK FÖR KVALITETSARBETE I UTBILDNING PÅ GRUNDNIVÅ OCH AVANCERAD NIVÅ Projekt beställare Prorektor Styrgrupp Projektledare Berndt Hjälm Projektgrupp Petri Gudmundsson HS Christina Lindh OD Gunilla Löfström LS Henriette Lucander TS Magnus Nilsson KS Patricia Staaf AKL Jessica Wastring SC Lotta Wogensen BIT Referensgrupp/grupper Projekt resurser Karin Sjögren Birgitta Magnusson Studentrepresentant Linjeledning Funktionsansvariga FS Lärare Studenter Förslag fr projektledare PROJEKTTID: november 2014 juni 2015

73