Fakultetskollegiet torsdag 24 november 2016, kl Välkomna till fakultetskollegiet! / Welcome to the faculty assembly!

Transkript

1 Fakultetskollegiet torsdag 24 november 2016, kl Lokal: OpenLab, Valhallavägen 79. Frukostsmörgås serveras från Välkomna till fakultetskollegiet! / Welcome to the faculty assembly! Detta kollegium kommer i huvudsak att ägnas frågor kring KTH:s kvalitetssäkringssystem för utbildning som är under utarbetande. Med vänliga hälsningar, Katja Grillner, Dekanus Program Inledning - Dekanus Katja Grillner Prodekanus Per Berglund KTH:s kvalitetssäkring av utbildning Diskussioner i mindre grupper kring frågor enligt nedan Återsamling och genomgång Nästa kollegium Kommande mötestider Onsdag 15 februari, kl Torsdag 6 april, kl Onsdag 3 maj, kl (1)

2 Fakultetskollegiet Intern kvalitetssäkring av KTH:s utbildningar Bakgrund Universitetskanslersämbetets (UKÄ) uppdrag från regeringen om ett nytt nationellt system för kvalitetssäkring av utbildning bygger på att lärosätena ges ett ökat ansvar för sin egen kvalitetssäkring på alla utbildningsnivåer och att UKÄ granskar att lärosätena har tagit detta ansvar. Det nya nationella systemet innehåller fyra olika komponenter, där den ena är UKÄ:s utvärdering av lärosätenas egna kvalitetssäkringssystem. KTH kommer att utvärderas avseende detta år En annan av komponenterna kallas utbildningsutvärdering och här utvärderas KTH i början av 2017 avseende tre forskarutbildningsämnen. Den tredje komponenten kallas tematiska utvärderingar och här utvärderas KTH i början av 2017 avseende hållbar utveckling i utbildningarna. Att diskutera Vad är särskilt viktigt i ett kvalitetssäkringssystem för KTH för att detta ska bli utvecklingsdrivande? Vilka åtgärder bör vidtas på kort sikt för att främja en kvalitetskultur enligt kvalitetspolicyns ständiga förbättringar på KTH Finns kvalitetsindikatorer som skulle kunna användas på programnivå, på skolnivå och på lärosätesnivå? Bifogade handlingar Slutrapport från arbetsgruppen för intern kontinuerlig uppföljning och regelbunden granskning av KTH:s utbildningar. Juni 2016 Universitetskanslersämbetet Nationellt system för kvalitetssäkring av högre utbildning, Rapport 2016:15 Inventering ESG rapport till FR 2015 KTH:s kvalitetspolicy 2016 Rekommenderad bakgrundsläsning European Standards and Guidelines for Quality Assurance Svensk översättning: 1 (1)

3 Till Utbildningsutskottet Kungl Tekniska högskolan Slutrapport från arbetsgruppen för intern kontinuerlig uppföljning och regelbunden granskning av KTH:s utbildningar 1. Bakgrund KTH är ett programuniversitet vars huvudverksamhet är att bedriva yrkesförberedande utbildningar i teknik och arkitektur. KTH har ambitionen att vara en av Europas främsta tekniska högskolor med god kvalitet inom all utbildning, på såväl grundnivå och avancerad nivå som forskarutbildningsnivå. Under 2010-talet har KTH:s utbildningar på grundnivå och avancerad nivå utvärderas vid flera tillfällen, dels genom den internt initierade Education Assessement Exercise (EAE) 2011, dels genom den externa, nationella utvärderingen som utfördes av dåvarande Högskoleverket (senare Universitetskanslersämbetet, UKÄ) I dessa utvärderingar påtalades flera kvalitetsbrister på programnivå, framför allt vad det gäller progression och uppfyllande av den nationella lärandemålen i högskoleförordningen. I den nationella utvärderingen fick endast två av KTH:s examina omdömet mycket hög kvalitet, medan hela åtta fick omdömet låg kvalitet. Övriga fick omdömet hög kvalitet, vilket i detta fall kan översättas till Pass without distinction. Ett resultat som KTH långt ifrån är nöjt med. På basis av detta gav därför fakultetsrådet utbildningsutskottet uppdraget att ta fram en rutin för intern cyklisk utvärdering av KTH:s utbildningsprogram. Därutöver har Universitetskanslersämbetet (UKÄ) kungjort att man kommer att ändra den framtida utvärderingsmodellen i så mening att lärosätena själva ska ansvara för kvalitetssäkring och kvalitetsuppföljning medan UKÄ kommer att granska att detta görs. Denna granskning kommer att baseras på de riktlinjer inom den europeiska överenskommelsen Standard and Guidelines for Quality Assurance in the European Higher Education Area (ESG), vilken innehåller 10 standarder för lärosätenas interna kvalitetsarbete. På uppdrag av fakultetsrådet genomförde Sara Karlsson, kvalitetssamordnare på KTH, under hösten 2015 en inventering av KTH:s kvalitetssystem i förhållande till standarderna ESG I hennes rapport (daterad ) konstateras att KTH i dagsläget saknar en långsiktig, etablerad process för regelbunden granskning av utbildningarna och når därmed inte upp till kraven i ESG standard Uppdraget Parallellt med Karlssons utredning tillsatte utbildningsutskottet ( ) en arbetsgrupp för att utreda fakultetsrådets uppdrag, dvs att ta fram en rutin för intern cyklisk utvärdering av KTH:s utbildningsprogram. Gruppen inledde sitt arbete i början av oktober 2015 och genomförde under hösten tre möten samt en träff med KTH:s nätverk för programansvariga. 1

4 Diskussionerna handlade inledningsvis till stor del om uppdragets innehåll och avgränsningar. Gruppen delrapporterade sitt arbete till utbildningsutskottet Därefter preciserades arbetsgruppens uppdrag och gruppen förstärktes med fler medlemmar. Arbetsgruppen fick uppdraget: Att föreslå hur KTH regelbundet ska följa upp och granska sina program/forskarutbildningsämnen för att säkerställa att studenterna uppnår de uppsatta målen och att programmen/forskarutbildningsämnena motsvarar studenternas och samhällets behov Att föreslå hur UU, eller ett särskilt inrättat organ, kan arbeta med den kollegiala uppföljningen Det är detta uppdrag som härmed redovisas. 3. Gruppens sammansättning och arbete Arbetsgruppen har under våren haft följande sammansättning: Mats Engwall (sammankallande) (FR/UU samt ITM), Anna-Karin Högfeldt (ECE), Linda Barman (ECE), Jan Scheffel (UU/EES), Susanna Wold (UU/CHE), Anne Håkansson (UU/ICT), Margareta Karlsson (UF/PLU), Viktoria Halltell (UF/PLU), Lennart Kjellman (THS), Veine Haglund (THS) Arbetsgruppen har under våren 2016 genomfört sex möten. Därutöver har gruppen genomfört intervjuer med samtliga grundutbildningsansvariga (GA) på KTH, granskat motsvarande kvalitetssäkringssystem och rutiner från likvärdiga lärosäten, gått igenom relevant lagstiftning, granskat KTH:s befintliga dokumentation, rutiner, enkäter, mm samt medverkat vid en träff i PA-nätverket samt en träff med KTH:s pedagogiska utvecklare. Därutöver har gruppen rapporterat och diskuterat sitt pågående arbete med utbildningsutskottet vid fyra tillfällen. 4. Slutsatser Gruppens uppdrag omfattade samtliga utbildningsprogram på KTH. De förslag som redovisas nedan berör dock framför allt KTH:s tre- och femåriga program på grundnivå och avancerad nivå (inklusive mappade masterprogram). 2

5 För kvalitetsuppföljning av forskarutbildning behövs ett fortsatt arbete. Några skisserade förslag återfinns dock nedan. Underlag för detta arbete finns bl a att hämta i slutrapporten från KTH:s forskarutbildningssatsning (FUS). Kvalitetsuppföljningen av KTH:s övriga utbildningsprogram, t.ex. ettåriga magisterprogram, icke-mappade masterprogram samt den kompletterande pedagogiska utbildningen måste utredas vidare. Dessa var inte möjliga att behandla inom uppdragets tidsramar. 4.1 Ledning för kvalitetsutveckling i utbildningen Arbetsgruppens arbete har fokuserat utvärdering och uppföljning av utbildningskvaliteten på programnivå. Gruppen konstaterar att det redan i dagsläget utförs en stor mängd kvalitetsarbete. De största kvalitetsproblemen i KTH:s utbildningar ligger dock på programnivå, t ex beträffande frågor kring programmens innehåll och struktur, länkning och progression mellan kurser samt i utmaningen att åstadkomma goda samarbeten mellan institutioner och lärare från olika ämnen och skolor. Flera PA och GA arbetar intensivt med dessa frågor, men i dagsläget finns det ingen systematisk uppföljning eller tydlig koppling till KTH:s centrala ledning. Gruppen konstaterar också att dessa brister inte åtgärdas genom att endast införa nya krav på dokumentation och rapporter. Det som krävs är istället ett aktivt ledarskap beträffande uppföljning och kvalitetsutveckling av utbildningen på KTH där befattningshavare på olika nivåer identifierar problem, beslutar om åtgärder samt följer upp och utvärderar att åtgärderna genomförs med avsedd effekt. KTH:s ledning i form rektor, fakultetsråd och skolchefer bör således uppvisa en tydligare viljeinriktning samt ett starkare engagemang i frågor kring utbildningens utveckling och kvalitet. KTH:s ledning måste aktivt bevaka utbildningens kvalitetsutveckling bl a i de årliga verksamhetsdialogerna. Under arbetet har det också kommit fram att KTH saknar en egen hållning ( policy, riktlinje eller liknande) beträffande vad som är ett bra utbildningsprogram. I samband med att nya utbildningsprogram inrättas ställs det idag höga krav på att utreda en rad olika frågor men därefter sker ingen systematisk uppföljning från KTH centralt beträffande hur de olika programmen utvecklas. Samma sak kan sägas om forskarutbildningen. Dessutom har de programansvariga för de tre- och femåriga programmen, d v s KTH:s kärnverksamhet, alldeles för stort ansvar i förhållande till sina befogenheter. Idag bemannas PA-rollen ofta av yngre, entusiastiska lärare som lägger ned ett stort och ganska otacksamt arbete, vilket ofta inte uppfattas som meriterande i KTH:s tenure tracksystem. Denna PA-roll måste således stärkas på olika sätt, exempelvis genom att den bestyckas med rimliga befogenheter och bemannas med fler seniora lektorer och professorer, gärna personer som av KTH utsetts till excellenta lärare. Ytterligare ett problem är avsaknaden av enhetlighet i programmens ledning. KTH har idag en organisation som bygger på att verksamheten i stor utsträckning leds och organiseras lokalt på skolnivå. I och med att KTH:s tre- och femåriga utbildningsprogram i hög grad skär tvärs över skolgränserna fungerar dock inte denna verksamhetsmodell för att säkra programmens kvalitetsutveckling. Genom att det inte finns en KTH- gemensam standard för 3

6 hur programmen skall ledas saknar medarbetare som utses till PA tydliga direktiv och handlingsramar för programledningsarbetet. Dagens olikheterna mellan olika skolor skapar dessutom en rad oklarheter och onödiga missförstånd både i samarbeten över skolgränser, i kommunikationen med teknologerna samt i kommunikationen mellan programmen och KTH centralt. Sammanfattningsvis föreslår gruppen följande åtgärder beträffande utbildningens ledning i syfte att stärka kvalitetsutvecklingen: 1. Visa en tydligare viljeinriktning från KTH centralt: aktiv uppföljning av kvalitetsindikatorer och beslutade åtgärder kvalitetsfrågor ska ha ett ägarskap i organisationen inför punkten utbildningens kvalitetsutveckling i skolornas verksamhetsuppdrag 2. Inför en KTH policy för vad som är ett utbildningsprogram av bra kvalitet (se nedan) 3. Skapa starkare engagemang från FR och UU: cykliska kvalitetsrevisioner enligt fastställda mallar rapportering direkt till FR/UU 4. Skapa starkare engagemang från skolledningarna utbildningens kvalitetsutveckling som egen punkt i verksamhetsdialogerna årlig uppföljning av utveckling och beslutade åtgärder enligt fastställd mall 5. Skapa starkare programledningar för de tre- och femåriga programmen: tydligare PA-mandat med befogenheter ökad senioritet i PA-rollen enhetlig struktur och begreppsapparat för programledning över hela KTH inrättande av programråd, eller motsvarande, för alla program krav på genomförande av programkollegium, eller motsvarande, varje år 4.2 Kvalitetskriterier för ett bra utbildningsprogram Det är viktigt att betona att det finns två aspekter av utbildningskvalitet. Den första aspekten handlar om vad som utbildas, d v s utbildningens struktur och innehåll. Den andra aspekten handlar om hur utbildningen genomförs, d v s utbildningens pedagogik och former. Denna rapport behandlar framför allt frågor relaterade till utbildningarnas struktur och innehåll. Beträffande pedagogik och former pågår redan en aktiv diskussion på KTH kring idéerna om ett pedagogiskt program, krav på pedagogisk utbildning hos KTH:s lärare, m m. Det går dock naturligtvis inte att bortse från dessa frågor i diskussioner om utbildningsprogrammens kvalitetsutveckling. KTH är ett programuniversitet med yrkesförberedande tekniska utbildningar. KTH:s utbildningsprogram ska naturligtvis vara medvetet utformade på ett sådant sätt att de lever upp till högskoleförordningens lärandemål för respektive examina. Arbetsgruppen konstaterar dock att detta inte räcker. Ett bra yrkesförberande program behöver också en uttalad bärande idé, en mission, om varför programmet finns till, samt en strategi för hur denna mission ska uppnås. Dessutom ska det vara samhällsrelevant och ha yrkeslivskoppling samt bestå av kurser som tillsammans leder till uppfyllande av programmets mål och syfte. 4

7 KTH har idag en mycket stor portfölj av olika utbildningsprogram och det tycks finnas en inneboende vilja i organisationen att starta nya program, samtidigt som det ofta är svårt att slå samman eller lägga ned program. Det har därför sedan lång tid tillbaka pågått en diskussion på KTH om storleken på ett program samt hur många program (och examina) KTH ska ha. I samband med att ett program inrättas diskuteras dess innehåll och syfte. Däremot förs sällan motsvarande diskussioner om inriktningen på KTH:s samlade programportfölj. När nyskapade program tillförs portföljen kan det medföra konsekvenser på inriktningen på de befintliga programmen. Som underlag för analyser och diskussioner kring enskilda utbildningsprograms kvalitet och utveckling, såväl som för strategiska diskussioner kring KTH:s totala programutbud föreslår således arbetsgruppen att KTH inrättar kriterier på vad som är ett utbildningsprogram av bra kvalitet på KTH samt att dessa kriterier ska ligga till grund för framtida uppföljning och kvalitetsutveckling. För utbildningsprogram på grundnivå och avancerad nivå föreslår arbetsgruppen följande sju kvalitetskriterier: 1. Programmet ska uppfylla högskoleförordningens lärandemål 2. Programmet ska ha en uttalad bärande idé (en mission ) om varför programmet finns till och vad programmet utbildar för 3. Programmet ska ha samhällsrelevans utanför KTH 4. Programmet ska ha en sammanhållen struktur av kurser med bredd och progression i linje med dess bärande idé 5. Programmet ska ha kurser som tillsammans leder till uppfyllande av programmets lärandemål 6. Programmet ska ha yrkeslivskoppling och leda till att teknologerna blir väl förberedda för sitt framtida yrkesliv 7. Programmet ska genomföras med studentcentrerat lärande, god pedagogik samt varierande undervisningsformer (i linje med tankarna bakom KTH:s pedagogiska program) 4.3 Programanalyser i verksamhetsdialogerna I syfte att stärka kopplingen mellan KTH:s strategi och utbildningsprogrammens kvalitetsutveckling föreslår arbetsgruppen införandet av årliga programanalyser för KTH:s tre- och femåriga program enligt en standardiserad mall. Programanalysen ska innehålla (1) en övergripande beskrivning av programmet enligt uppställda kvalitetskriterier (se ovan), inklusive beskrivning exempelvis av mål, upplägg, CDIO och mappning av olika masterprogram, (2) kvantitativa data beträffande t.ex. antagning, genomströmning och mellanårs- och alumnienkäter (när sådana har genomförts), (3) en syntes av genomförda kursanalyser samt information från genomförda programkollegier, länkmöten och liknande arenor för kvalitetssäkring, (4) en lista över identifierade kvalitetsproblem samt (5) en plan över beslutade åtgärder för att lösa problemen. En skiss till programanalys finns i bilaga. Programanalysen bör rapporteras till utbildningsutskottet (eller en särskild grupp utsedd av utskottet) i slutet av vårterminen varje år. I samband med detta ska THS ges möjlighet att 5

8 skriftligen kommentera analysen. Programanalysen samt förslagen till förbättringsåtgärder ska därefter ingå som underlag till rektors verksamhetsdialog med KTH:s olika skolor. Masterprogram ackrediterade ( mappade ) som avslutningar ingår i programanalysen för respektive civilingenjörsprogram. Sammanfattningsvis föreslår alltså arbetsgruppen följande: Att årliga programanalyser införs för tre- och femåriga program på grundnivå och avancerad nivå Att en programanalys ska innehålla: Beskrivning av programmet i förhållande till uppställda kvalitetskriterier (se ovan) avseende innehåll, progression och CDIO-upplägg, mappning av masterprogram, m m Statistik angående antagning, genomströmning, resultat från mellanårs- och alumnienkäter, m m Resultat av genomförda kursanalyser, programkollegier, länkmöten, m m Identifierade problem och förbättringsbehov Plan för genomförande av beslutade åtgärder Att programanalyserna ska rapporteras till utbildningsutskottet till inledningen höstterminen varje år Att THS ska ges möjlighet att kommentera programanalyserna Att resultaten från programanalyserna ska utgör underlag till rektors verksamhetsdialog med skolorna under höstterminen. Att KTHs stöd för pedagogisk utveckling inom t.ex. ECE-skolan ska planeras utifrån de utvecklingsbehov som identifeiras i detta arbete Arkivering och enkel tillgång till genomförda program- och kursanalyser Rektor beslutade redan våren 1997 att införa ett system för kursanalys. Vid varje skola eller motsvarande enhet på KTH ska det, enligt detta beslut, finnas system så att kursanalyser ska kunna göras för samtliga genomförda kurser. Kursanalyser genomförs också på de flesta skolor på KTH. Problemet är att de sällan följs upp. Många lärare vittnar om att det sällan tycks vara någon som läser kursanalyserna, än mindre reagerar på dem. THS har också framfört behovet av att enkelt ha åtkomst till tidigare års kursanalyser för att kunna följa upp om identifierade problem åtgärdas. Dagens situation tolkar gruppen som en konsekvens av avsaknaden av tydligt ledarskap i utbildningens kvalitetsfrågor, både från KTH centralt och från respektive skolledning. Genom att kursanalyserna utgör data till programanalyserna, vilka rapporteras till utbildningsutskottet och kopplas till rektors verksamhetsdialog med respektive skolchef, kommer dock dessa rapporter att få en central ställning i KTH:s kvalitetssäkringssystem. För att kunna följa upp kvalitetsarbetet över åren krävs att dessa dokument arkiveras och görs enkelt åtkomliga på KTHs intranet för berörda parter, t.ex. examinator, representanter för THS, programansvariga och studierektorer. 6

9 Arbetsgruppen betonar således vikten av att program- och kursanalyser arkiveras och görs enkelt åtkomliga för uppföljning av kvalitetsutvecklingen av kurs och program över flera år. Detta är en kvalitetsfråga som bör ges högsta prioritet av KTH:s förvaltning. 4.5 Uppföljningscykler på 1 år respektive 5 år Förutom den årliga, löpande kvalitetsuppföljningen föreslår arbetsgruppen att KTH också inför en femårig utvärderingscykel. Idén är att varje program vart femte år ska genomgå en grundlig kvalitetsgranskning av en externt rekryterad granskningskommitté ( peer review ). Tidsintervallet fem år är valt för att inte överbelasta systemet med utvärderingar. Dessutom krävs det en längre tidsintervall för att större strukturella åtgärder beträffande t ex programmets kursstruktur ska få genomslag. Den exakta utformning av den 5-åriga kvalitetsgranskningen bör diskuteras vidare. Den bör dock baseras på erfarenheterna från EAE:n år 2011, HSV/UKÄ-utvärderingen år samt det benchmarkingarbetet som utförts inom ramarna för Nordic5Tech. Arbetsgruppen föreslår således införande av en femårig kvalitetsgranskning som genomförs av fakultetsrådet/utbildningsutskottet med hjälp av externt rekryterade, kollegiala granskningskommittéer. En sådan kvalitetsgranskning bör bl a omfatta följande: Självvärdering utförd av GA, PA och programråd (eller motsvarande) Granskning av genomförda programanalyser Resultat från indikatorrapporter, antagning, genomströmning, mellanårs- och alumnienkäter, etc Granskning av examensarbeten Undersökning av programmets samhällsrelevans, examinerades anställningsbarhet och profil i förhållande till andra utbildningsprogram 4.6 Några ord om forskarnivån Vid inrättande av forskarutbildningsämne och doktorsprogram ställs, på samma sätt som anges ovan för övriga nivåer, en rad krav. Precis som diskuterats ovan följs dessa sedan inte upp. Flera av de förslag som lämnas för utbildning på grundnivå och avancerad nivå kan i något modifierad form även användas för forskarnivån. Även forskarutbildningen bör ingå i den löpande uppföljningen och kopplas till verksamhetsuppdragen. De idag drygt fem år gamla doktorsprogrammen med PA och programråd (som ska finnas) torde vara den naturliga utgångspunkten i denna kvalitetsuppföljning. På samma sätt som ovan kan dessutom kursanalyser genomföras och analyseras även för kurser på forskarnivå. För närvarande pågår en översyn på skolorna av ämnesstudieplanerna för de forskarutbildningsämnen som finns inrättade på KTH. Studieplanerna ska uppdateras bl a med avseende på lärandemålen i högskoleförordningen. Erfarenheterna från detta arbete, tillsammans med erfarenheterna från forskarutbildningssatsningen (FUS) utgör ett bra underlag för att precisera hur detta kvalitetsutvecklingsarbete skall gå till 7

10 5. Införande Givet UKÄ:s och ESG:s krav är det viktigt att KTH inför den årliga, löpande uppföljningen snarast. I samband med införandet måste man beakta att första gången en programanalys tas fram så innebär det ett merarbete för PA och GA, men också för utbildningsutskottet. När detta väl är gjort kan de följande programanalyserna bygga på de tidigare. 5.1 Införande av den ettåriga löpande uppföljningen Nedan föreslås en tidplan för detta arbete, enligt vilken skolorna i verksamhetsuppdraget för 2017 får i uppgift att ta fram programanalyser som ska rapporteras till utbildningsutskottet i maj/juni I denna initieringsfas presenteras samtliga programanalyser av sin respektive GA för utbildningsutskottet. Därefter bygger arbetet på tidigare års analyser och utbildningsutskottet kan kalla respektive GA och PA vid behov. Förberedelser (ht 2016) I verksamhetsdialogen för 2017 meddelas att programanalyser ska göras Utveckling av rapportformat och mallar Samverkan med övriga processer, dokumentation och projekt inom pedagogisk utveckling Initiering (vt 2017): Samtliga tre- och femåriga program tar fram programanalys + åtgärdsplan i förhållande till kvalitetskriterierna 1-7 Respektive GA presenterar programanalyserna för utbildningsutskottet Åtgärder in i verksamhetsdialogen inför 2018 Fortvarighet (fr o m ht 2017) Årlig lokal utvärdering i slutet av varje läsår Sammanfattning görs i en programanalys som skickas till utbildningsutskottet Utbildningsutskottet kallar GA och PA vid behov Nödvändiga åtgärder länkas till ECE-skolans verksamhet kring att stärka den pedagogiska utvecklingen vid KTH. 5.2 Införande av den femåriga kvalitetsgranskningen per program Beträffande införande av den mer omfattande femåriga kvalitetsgranskningen föreslår arbetsgruppen att KTH inför ett rullande schema där ca en femtedel av KTH:s utbildningar genomgår denna grundläggande utvärdering varje år. I och med det merarbete som krävs för initieringen av den löpande uppföljningen föreslår arbetsgruppen därför att den femåriga utvärderingen genomförs för ett eller några huvud- och/eller teknikområden första gången våren Därefter rullar denna typ av granskning över åren så att samtliga KTH:s utbildningsprogram har granskats på detta sätt år Arbetsgruppen föreslår att granskningarna genomförs per huvud- och/eller teknikområde och forskarutbildningsämne, vilket innebär att KTH får en helhetsbild av sina utbildningar inom ett område. Skiss på ett rullande schema för införande av femåriga kvalitetsgranskningar: 1. vt 2018: ABE 2. vt 2019: CSC, IKT, EES, STH 8

11 3. vt 2020: CHE, BIO 4. vt 2021: SCI, ECE 5. vt 2022: ITM 6. vt 2023: ABE 7. forts 6. Fortsatt arbete I det fortsatta arbetet bör ingå att i mera detalj skissa uppföljning av forskarnivån samt de utbildningar/programtyper som inte kunde behandlas av arbetsgruppen inom den givna tidsramen för uppdraget. Därutöver behöver en rad praktiska åtgärder vidtas för att kvalitetsutvecklingsarbetet skall komma igång, exempelvis utveckling av rapporteringsmallar, sammanställning av adekvat statistik samt precisering av en standardiserad programledningsfunktion för KTHs tre- och femåriga program. I och med denna rapport betraktar vi härmed vårt uppdrag som slutfört. För arbetsgruppen Stockholm Mats Engwall (sammankallande) Professor i industriell ekonomi 9

12 10

13 Programanalys Civilingenjörsprogram: Civilingenjör och Lärare 300 hp Programdata Skola Länk till programbeskrivning Länk till aktuell utbildningsplan Programansvarig Andra i ansvarsposition Studievägledare Nominellt antal studenter ECE 6/arskurs pdf Mål Övergripande mål för programmet Hur är programmet utformat för att uppfylla målen? Uppföljningsprocess Redogörelse för processen för säkerställande av att studenterna uppnår de uppsatta målen och att studenternas och samhällets behov uppfylls Programmets utveckling I Beskriv de förändringar som genomförts i utbildningen sedan förra uppföljningen Kontakt med lärare under uppföljningsperioden Redogör för formerna för lärarkontakt Resultat av dessa möten Kontakt med studenter under uppföljningsperioden Redogör för formerna för studentkontakt Resultat av dessa möten 1

14 Programenkät; studenters och lärares synpunkter Länk Period, då enkäten var aktiv Centrala frågor Svarsfrekvens Helhetsintryck Positiva synpunkter Negativa synpunkter Är programmet relevant i förhållande till målen? Syn på förkunskaper Syn på undervisning Syn på kurslitt/kursmaterial Syn på examination Speciellt intressanta kommentarer Programansvarigs tolkning av enkäter Kommentarer Resultat från årligt uppföljningsmöte Vad fungerade bra Vad fungerade mindre bra Förslag till förändringar Programansvarigs sammanfattande berättelse av uppföljningsperioden Helhetsintryck Positiva synpunkter Negativa synpunkter Syn på förkunskaperna Syn på undervisningsformer Syn på kurslitt/kursmat Syn på examination CDIO / generella färdigheter Programmets utveckling II Hur förändringarna till denna programperiod fungerade Förändringar som bör göras inför nästa programperiod Övrigt Kommentarer 2

15 Nationellt system för kvalitetssäkring av högre utbildning Redovisning av ett regeringsuppdrag RAPPORT 2016:15

16 Rapport 2016:15 Nationellt system för kvalitetssäkring av högre utbildning redovisning av ett regeringsuppdrag Utgiven av Universitetskanslersämbetet 2016 Projektledare: Jeanette Johansen Grafisk form: AB Typoform Universitetskanslersämbetet Löjtnantsgatan 21 Box 7703, Stockholm tfn fax e-post

17 Innehåll Förord...5 Sammanfattning...6 Begreppsdefinitioner...8 Uppdraget Kvalitetssäkring av högre utbildning Gemensamt ansvar Internationella principer för kvalitetssäkring och ENQA Metodutvecklingsarbetet Pilotstudier Samråd med universitets- och högskolesektorn och med arbetslivet UKÄ:s granskningar Aspektområden, perspektiv och bedömningsgrunder...17 Bedömargrupper...22 Internationella sakkunniga och granskning på engelska Bedömning, yttrande och beslut En rättssäker, förutsägbar och transparent kvalitetssäkringsprocess...25 Regelbunden uppföljning av kvalitetssäkringssystemet och lärosätenas kvalitetsarbete Examenstillståndsprövningar Syfte Huvudprinciper för examenstillståndsprövningar Underlag för bedömning Lärosätets ansökan...29 Intervjuer Bedömning, yttrande och beslut Uppföljning...29 Granskning av lärosätenas kvalitetssäkringsarbete Syfte Huvudprinciper för granskning av lärosätenas kvalitetssäkringsarbete Underlag för bedömning Bedömning och yttrande Beslut...33 Uppföljning...33 Utbildningsutvärderingar Syfte Huvudprinciper för utbildningsutvärderingar Underlag för bedömning Bedömning och yttrande Beslut Uppföljning...37

18 Tematiska utvärderingar Syfte Val av tema Metod...38 Implementering av kvalitetssäkringssystemet Examenstillståndsprövningar Granskning av lärosätenas kvalitetssäkringsarbete...39 Utbildningsutvärderingar Övriga utvärderingar av utbildningar Tematiska utvärderingar...41 Två- eller tregradig bedömningsskala Granskning av lärosätenas kvalitetsarbete...42 Utbildningsutvärderingar Sanktioner vid beslut om icke godkänt kvalitetssäkringsarbete Jämförelser av utbildningars kvalitet Förutsättningar UKÄ:s bedömning...47 Bilaga

19 Förord Denna rapport är en redovisning av det regeringsuppdrag Universitetskanslersämbetet (UKÄ) har fått att till den 1 oktober 2016 vidareutveckla och implementera ett nytt nationellt system för kvalitetssäkring av högre utbildning. En viktig utgångspunkt i det arbetet har varit att utöver tillämpliga lagar och förordningar även beakta de överenskommelser som Sverige har träffat med andra länder i Europa inom ramen för Bolognaprocessen. UKÄs granskningar ska inte bara ha internationell legitimitet utan även i förlängningen bidra till en ökad internationalisering av svensk högre utbildning. Därför är ESG, European Standards and Guide-lines for Quality Assurance in the European Higher Education Area, centrala i den modell som nu tagits fram för kvalitetssäkring av högre utbildning. Arbetet med att utveckla metoder för nationell kvalitetssäkring av högre utbildning avslutas dock inte i och med denna rapport till regeringen. Ett viktigt led i det fortsatta utvecklingsarbetet är kommande pilotstudier av utbildningsutvärderingar samt granskningar av lärosätenas kvalitetssäkringsarbete. UKÄ ser det som angeläget att justeringar av utvärderingsmetoderna ska kunna göras utifrån erfarenheter i samband med pilotstudierna. Av den anledningen slås inga aspekter och bedömningsgrunder för granskningarna fast i denna redovisning. Dessa kommer istället att redovisas i kommande vägledningar och stöddokument. Det innebär alltså att interna rutiner inom UKÄ och vägledande dokument till lärosäten och bedömare kommer att tas fram parallellt med de kommande pilotstudierna. Det har varit en viktig utgångspunkt att metodutvecklingsarbetet berör UKÄ som helhet. Att vidareutveckla och implementera ett nationellt system för kvalitetssäkring har därför inneburit ett internt utvecklingsarbete och underlag från olika delar av UKÄs ansvarsområden kommer att användas i det nationella systemet för kvalitetssäkring. I metodutvecklingsarbetet har dialogen med berörda i och omkring högskolesektorn varit ovärderlig. Vi vill därför avslutningsvis rikta ett varmt tack till medlemmar i nationella och internationella referensgrupper, rådgivande grupper och alla andra som med stort engagemang och med stor kunskap lämnat synpunkter under resans gång. Alla har gett viktiga bidrag till utvecklingsarbetet. Annika Pontén Tf. myndighetschef Karin Järplid Linde Avdelningschef, utvärderingsavdelningen 5 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

20 Sammanfattning Lärosätena och UKÄ har ett gemensamt ansvar för kvalitetssäkring av högre utbildning. Att beakta detta gemensamma ansvar har varit en central princip för UKÄ i arbetet med regeringsuppdraget att vidareutveckla ett nytt system för kvalitetssäkring av högre utbildning. Det har varit viktigt att skapa en tydlig koppling mellan UKÄ:s granskningar och det kvalitetsarbete som sker på lärosätena, och att samtidigt beakta hur UKÄ:s granskningar ska kunna bidra till att ytterligare utveckla detta arbete. Redovisningen av uppdraget till UKÄ fokuserar dock på en modell för UKÄ:s granskningar. Syftena med UKÄ:s granskningar är dels att kontrollera utbildningarnas resultat, dels att bidra till lärosätenas arbete med kvalitetsutveckling av högre utbildning. Det nya system för kvalitetssäkring av högre utbildning, som UKÄ har fått i uppdrag av regeringen att utveckla består av följande fyra komponenter: examenstillståndsprövningar granskningar av lärosätenas kvalitetssäkringsarbete utbildningsutvärderingar tematiska utvärderingar. Modellen är uppbyggd av fyra aspektområden och tre perspektiv som tillsammans spänner över såväl tillämplig svensk lag och förordning som Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG), och utgör den gemensamma grunden för systemets fyra komponenter. Aspektområdena är: styrning och organisation miljö, resurser och område utformning, genomförande och resultat uppföljning, åtgärder och återkoppling. De tre perspektiven är: studenters och doktoranders perspektiv arbetslivets perspektiv jämställdhetsperspektiv. UKÄ:s ambition har varit att utveckla en modell som kan användas för alla fyra komponenter men som också kan vara ett stöd i lärosätenas interna kvalitetsarbete. UKÄ:s granskningar baseras på kollegial bedömning. Bedömningen görs av en oberoende extern bedömargrupp som vanligtvis består av sakkunniga, student- eller doktorandrepresentanter samt företrädare för arbetslivet, som alla deltar på lika villkor. 6 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

21 I UKÄ:s uppdrag ingår även att utreda för- och nackdelar med en två- respektive tregradig bedömningsskala och slutligen avgöra vilken skala som ska användas (2015/16:76, bet. 2015/16:UbU9, rskr. 2015/16:155) samt att utreda om ytterligare sanktioner behövs, utöver vad som framgår av skrivelsen, om ett lärosätes arbete med kvalitetssäkring bedöms vara bristande och i sådana fall ge förslag på sanktioner (U2016/01132/UH, U2016/01349/UH). UKÄ:s slutsats är att en tvågradig bedömningsskala ska användas både för granskningar av lärosätenas kvalitetssäkringsarbete och för utbildnings-utvärderingar. UKÄ bedömer att fortsatt granskning av lärosäten vars kvalitetssäkringsarbete inte bedömts vara godkänt, i kombination med att ett extra urval av utbildningar utvärderas, är tillräckligt för att lärosätena ska vidta de åtgärder som behövs för att säkra utbildningarnas kvalitet. Inga ytterligare sanktioner bedöms därmed vara nödvändiga. I regeringens uppdrag till UKÄ ingår även att lämna förslag på hur utbildningars kvalitet ska kunna jämföras mellan olika universitet och högskolor (U2016/01132/UH, U2016/01349/UH). UKÄ bedömer att uppgiften att samordna jämförelser av utbildningar bör särskiljas från uppdraget att vidareutveckla och implementera ett nytt kvalitetssäkringssystem. Den nya modellen för UKÄ:s granskningar kommer att implementeras genom ett antal pilotstudier med start under hösten 2016 och genom den ordinarie, sexåriga granskningscykeln som startar i januari UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

22 Begreppsdefinitioner Begrepp Arbetslivsföreträdare Aspektområde Aspekt Bedömningsgrund Bedömargrupp Examensmål Examenstillstånd Examination ESG (Standards and Guidelines for Quality Assurance in the European Higher Education Area) Fördjupningsområden Komponent Nationellt kvalitetssäkringssystem för högre utbildning Perspektiv Platsbesök Resultat Sakkunnig Självständigt arbete Definition Extern expert som företräder arbetslivet och ingår i bedömargrupp i UKÄ:s granskningar. Gruppering av aspekter. Ett område i fokus för granskningen. Krav som ska uppfyllas i granskningen av aspekter och perspektiv. En grupp av externa experter där såväl sakkunniga som studenter, doktorander och arbetslivsföreträdare vanligtvis finns representerade. Kvalitativa mål för olika examina som anges i examensordningarna i högskoleförordningen samt förordningarna för Sveriges lantbruksuniversitet och Försvarshögskolan. Tillstånd för ett universitet eller en högskola att utfärda en viss examen. Bedömning av studentprestation. En uppsättning standarder och riktlinjer för intern och extern kvalitetssäkring inom högre utbildning i Europa. Kvalitetssäkringsprocesser och den miljö som de studeras i under platsbesöket vid en granskning av lärosätenas kvalitetssäkringsarbete. Typ av granskning. Systemet innehåller fyra k omponenter: granskning av lärosätenas kvalitetssäkringsarbete, examenstillståndsprövningar, utbildningsutvärdering, tematiska utvärderingar. Ett system som inbegriper lärosätenas kvalitetsarbete inklusive egeninitierade granskningar av utbildningar samt de externa granskningar som UKÄ genomför. Studenters och doktoranders perspektiv, arbetslivets perspektiv samt jämställdhetsperspektiv är synsätt som ska genomsyra all verksamhet inom lärosätet. Ett fysiskt besök av bedömargruppen och UKÄ på ett lärosäte i samband med en granskning. Hur väl krav och mål i nationella regelverk för högskoleutbildning och ESG är uppfyllda. Extern expert från högskolesektorn som ingår i bedömargrupp i UKÄ:s granskningar. I högskoleförordningen anges krav på att en student ska göra ett självständigt arbete för att få en examen på grundnivå och avancerad nivå. Kallas även ibland för examensarbete eller exjobb. 8 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

23 Begrepp Självvärdering Studentinlaga Student- och doktorandrepresentant Definition Ett lärosätes analys och värdering av egna styrkor och svagheter i verksamheten i syfte att visa hur de på ett systematiskt sätt säkerställer och följer upp att de uppfyller bedömningsgrunderna för de aspekter och perspektiv som ingår i UKÄ:s granskningar. Ett skriftligt underlag till granskningar av lärosätens kvalitetssäkringsarbete som UKÄ avser att pröva. Den lokala studentkåren erbjuds möjlighet att ge sin syn på kvalitetssäkringsarbetet vid lärosätet. Extern expert som representerar studenterna eller doktoranderna och ingår i bedömargrupp i UKÄ:s granskningar. 9 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

24 Uppdraget Den 17 mars 2016 fattade regeringen beslut om ändring av regleringsbrevet för innevarande budgetår avseende Universitetskanslersämbetet (UKÄ) (U2016/01132/UH, U2016/01349/UH). Ändringen innebar att UKÄ fick i uppdrag att till den 1 oktober 2016 vidareutveckla och implementera ett nytt system för kvalitetssäkring av högre utbildning i enlighet med regeringens bedömningar, beskrivna i regeringens skrivelse Kvalitetssäkring av högre utbildning (2015/16:76, bet. 2015/16:UbU9, rskr. 2015/16:155), tillämpliga lagar och förordningar samt de principer för kvalitetssäkring som har tagits fram inom ramen för Bolognaprocessen. Dessa principer benämns Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG). 1 I uppdraget till UKÄ ingår även att lämna förslag på hur utbildningars kvalitet ska kunna jämföras mellan olika universitet och högskolor (U2016/01132/UH, U2016/01349/UH) utreda för- och nackdelar med en två- respektive tregradig bedömningsskala och slutligen avgöra vilken skala som ska användas (2015/16:76, bet. 2015/16:UbU9, rskr. 2015/16:155) utreda om ytterligare sanktioner, utöver de som framgår av skrivelsen, behövs om ett lärosätes kvalitetssäkringsarbete bedöms vara bristande och i sådana fall ge förslag på sanktioner (U2016/01132/UH, U2016/01349/UH) årligen redovisa hur väl kvalitetssäkringssystemet fungerar när det gäller att säkerställa utbildningars kvalitet och i vilken grad systemet har verkat kvalitetsutvecklande för lärosätena och deras utbildningar (U2016/01132/ UH, U2016/01349/UH). Därutöver har UKÄ i uppdrag att till den 1 februari 2021 ansvara för att det, tre år efter att kvalitetssäkringssystemet har införts, görs en extern uppföljning och utvärdering av om systemet har varit kvalitetsdrivande för såväl lärosätena som deras utbildningar. Uppföljningen ska också belysa om, och i så fall på vilket sätt, studenters och arbetslivets erfarenheter har tagits till vara i bedömningsarbetet (U2016/01132/UH, U2016/01349/UH). Detta uppdrag berörs dock inte i denna rapport. 1. Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG), Se även UKÄ:s översättning, Standarder och riktlinjer för kvalitetssäkring inom det europeiska området för högre utbildning (ESG), UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

25 Kvalitetssäkring av högre utbildning Gemensamt ansvar Kvalitetssäkring av svensk högre utbildning förutsätter att kvalitetssäkringsarbete bedrivs både vid universitet och högskolor och vid UKÄ. Detta innebär att lärosätena och UKÄ har gemensamt ansvar för kvalitetssäkring av högre utbildning. Av 1 kap. 4 högskolelagen (1992:1434) framgår att lärosätena har ansvaret för att utbildning och forskning håller hög kvalitet och att kvalitetsarbetet vid högskolor och universitet är en gemensam angelägenhet för personal och studenter. Av 2 lagen (1993:792) om tillstånd att utfärda vissa examina framgår att utbildningen hos enskilda utbildningsanordnare ska vila på vetenskaplig eller konstnärlig grund och på beprövad erfarenhet samt bedrivas så att den i övrigt uppfyller de krav som uppställs på utbildning i 1 kap. högskolelagen. Av förordningen (2012:810) med instruktion till UKÄ framgår att UKÄ ansvarar för kvalitetssäkring av högskoleutbildning. Lärosätena har alltså ansvar för att utveckla sin verksamhet, vilket inkluderar ansvar för att organisera verksamheten och utbildningarnas innehåll och genomförande på ett sätt som uppfyller de krav och mål för högskoleutbildning, som anges i högskolelagen, högskoleförordningen (1993:100) och ESG. Merparten av allt kvalitetssäkringsarbete bedrivs således vid lärosätena. Detta förutsätter att lärosätena har systematiska kvalitetssäkringsprocesser som UKÄ sedan ansvarar för att granska. Vidare ansvarar UKÄ för att granska att alla utbildningar omfattas av dessa processer. Det sker dels genom att UKÄ utvärderar ett urval av utbildningar, dels genom lärosätenas ansvar för att själva kvalitetssäkra de utbildningar som de erbjuder och UKÄ:s granskningar av att detta görs. En central och avgörande princip för UKÄ har varit att skapa en tydlig koppling mellan UKÄ:s granskningar och det kvalitetsarbete som sker på lärosätena, och att samtidigt beakta hur UKÄ:s granskningar ska kunna bidra till att ytterligare utveckla lärosätenas kvalitetsarbete. Detta ligger även i linje med internationella principer för kvalitetssäkring av högre utbildning. ESG behandlar lärosätenas interna kvalitetsarbete, den externa kvalitetssäkringen av lärosätenas verksamhet samt de krav som kvalitetssäkringsorganen ska leva upp till. För att möta kraven i ESG behöver såväl lärosäten som UKÄ säkerställa att dessa principer följs. I riktlinjerna till standard 2.1 i ESG står följande: Kvalitetssäkring av högre utbildning tar sin utgångspunkt i lärosätenas ansvar för kvaliteten i utbildningar och övrigt utbud. Det är därför viktigt att den externa kvalitetssäkringen erkänner och stöder lärosätenas ansvar för kvalitetssäkringen. För att säkerställa kopplingen mellan intern och extern kvalitetssäkring, beaktar den externa kvalitetssäkringen standarderna i del 1. Dessa kan mötas på olika sätt beroende på den externa kvalitetssäkringens utformning. Att lärosätenas eget kvalitetsarbete ska beaktas är således en viktig utgångspunkt i UKÄ:s granskningar. Redovisningen av UKÄ:s regeringsuppdrag att vidareutveckla ett nytt system för kvalitetssäkring av högre 11 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

26 utbildning fokuserar dock på modellen för UKÄ:s granskningar. UKÄ:s ambition har varit att utveckla en modell som även kan vara ett stöd i lärosätenas interna kvalitetsarbete. Internationella principer för kvalitetssäkring och ENQA För att skapa legitimitet för svensk högre utbildning betonar UKÄ vikten av att beakta internationella principer för kvalitetssäkring i det nya kvalitetssäkringssystem som UKÄ fått i uppdrag att vidareutveckla. Det handlar i första hand om principerna som ligger till grund för ESG och som har tagits fram inom ramen för Bolognaprocessen. ESG antogs för första gången år 2005 av ministrarna för högre utbildning i de länder som ingår i samarbetet. I maj 2015 antogs en ny och omarbetad version. ESG har som huvudsaklig målsättning att bidra till en gemensam förståelse av kvalitetssäkring som rör lärande och undervisning, att bidra till att bygga upp ett ömsesidigt förtroende samt att underlätta erkännande av examina och utbildningar över nationsgränserna. Standarderna och riktlinjerna i ESG är därför utarbetade för att kunna tillämpas i alla länder oavsett nationella och lokala regelverk, skilda utbildningssystem och förutsättningar i övrigt. Att både lärosätenas och UKÄ:s kvalitetssäkringsarbete beaktar ESG är även viktigt för att UKÄ ska kunna bli medlemmar i European Association for Quality Assurance in Higher Education (ENQA). ENQA är en medlemsorganisation för nationella kvalitetssäkringsorgan i det europeiska området för högre utbildning. För medlemskap i ENQA krävs att kvalitetssäkringsorganen uppfyller ENQA:s krav. Dessa krav bygger i sin tur på ESG:s principer för den externa kvalitetssäkringen av lärosätenas verksamhet samt på principerna som kvalitetssäkringsorganen ska uppfylla. Ett medlemskap i ENQA blir därmed ett bevis på att den nationella kvalitetssäkringen av högre utbildning uppfyller ESG. Dåvarande Högskoleverket (nu UKÄ) var tidigare medlem i ENQA men fick år 2012 inte längre behålla medlemskapet då en utvärdering visade att Högskoleverket inte uppfyllde standarderna i ESG. I och med att UKÄ implementerar den nya modellen för sina granskningar avser UKÄ att ansöka om förnyat medlemskap i ENQA. För att uppfylla ENQA:s krav ska kvalitetssäkringsorganens granskningar bland annat vara både kontrollerande och kvalitetsdrivande. Av ESG framgår också att kvalitetssäkringsorganen ska vara oberoende och agera självständigt. Oberoendet är viktigt för att säkerställa att processer och beslut endast baseras på saklig grund. Här avses såväl organisatorisk och operativ självständighet som självständighet när det gäller formella beslut. De kvalitetssäkringsorgan som är medlemmar i ENQA genomgår en extern granskning åtminstone vart femte år för att visa att de uppfyller ESG. 12 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

27 Metodutvecklingsarbetet UKÄ påbörjade redan under 2013 ett metodutvecklingsarbete i syfte att revidera det dåvarande utvärderingssystemet. Som ett led i arbetet genomfördes konferenser, intervjuer, enkäter och seminarier med lärosätesrepresentanter, lärarrepresentanter, studentrepresentanter och arbetslivsföreträdare i syfte att samla in synpunkter och utvecklingsidéer. I april 2014 beslutade utbildningsministern att uppdra åt professor Harriet Wallberg att biträda Regeringskansliet med att föreslå hur ett nytt kvalitetssäkringssystem för högre utbildning skulle kunna utformas. Detta presenterades i en promemoria (U2015/01626/UH) som togs fram inom Regeringskansliet (Utbildningsdepartementet) och remitterades i mars Baserat på denna promemoria lämnade sedan regeringen en skrivelse till riksdagen, (Kvalitetssäkring av högre utbildning 2015/16:76), som resulterade i ett betänkande från utbildningsutskottet med tillhörande riksdagsskrivelse (bet. 2015/16:UbU9, rskr. 2015/16:155). 2 Dessa dokument utgör ramverket för det kvalitetssäkringssystem för högre utbildning som UKÄ fått i uppdrag att utveckla och genomföra. Regeringens skrivelse har tillsammans med erfarenheter från utvärderingscykeln som gällde under och de synpunkter och förslag som samlades in under arbetet som påbörjades 2013 legat till grund för arbetet med att vidareutveckla modellen för UKÄ:s granskningar. Pilotstudier I december 2014 inleddes en pilotstudie för utvärdering av utbildningar på forskarnivå. I pilotstudien ingick såväl små som stora utbildningar inom naturvetenskap, teknik, medicin, samhällsvetenskap och humaniora samt konstnärlig forskning. Dessutom ingick två tvär-/mångvetenskapliga utbildningar. Pilotstudien avslutades i maj 2016, och erfarenheter från bedömare, utvärderade lärosäten och UKÄ har därefter tagits tillvara i arbetet med att utveckla UKÄ:s granskningar. Framför allt har dessa erfarenheter tagits tillvara i utformningen av metoden för utbildningsutvärderingar. Under hösten 2016 kommer ytterligare pilotstudier att startas för att testa dels metoderna för granskning av lärosätenas kvalitetssäkringsarbete, dels den vidareutvecklade metoden för utbildningsutvärderingar. I pilotstudien för utbildningsutvärderingar kommer förskollärar- och grundlärarutbildningar att ingå. Efter avslutade pilotstudier kommer metoderna att justeras vid behov. I mars 2016 fick UKÄ i uppdrag av regeringen, som en ändring av regleringsbrevet för innevarande budgetår, att utvärdera lärosätenas arbete med att främja hållbar utveckling. UKÄ ser uppdraget som ett tillfälle att pröva metoder för tematiska utvärderingar. 2. Regeringens skrivelse (Kvalitetssäkring av högre utbildning 2015/16:76), betänkandet från utbildningsutskottet och riksdagsskrivelsen (bet. 2015/16:UbU9, rskr. 2015/16:155) refereras hädanefter gemensamt som regeringens skrivelse utan ytterligare källhänvisning. 13 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

28 Samråd med högskolesektorn och arbetslivet UKÄ:s arbete med uppdraget att vidareutveckla och implementera ett nytt system för kvalitetssäkring av högre utbildning har skett i dialog med lärosätena och med företrädare för lärare, studenter och arbetsliv, bland annat genom regelbundna diskussioner med rådgivande grupper och referensgrupper (se Bilaga 1). Rådgivande grupper För stöd och återkoppling i arbetet med olika sakfrågor har UKÄ rekryterat ett antal personer, verksamma framför allt på lärosäten men även inom andra delar av sektorn, till olika rådgivande grupper. Dessa grupper har bestått av personer med erfarenhet från internt och externt kvalitetssäkringsarbete av högre utbildning, från olika typer av lärosäten och från olika ämnesområden (se Bilaga 1). Referensgrupper Förutom rådgivande grupper har även flera referensgrupper inrättats med uppgift att diskutera och lämna synpunkter på de övergripande principerna för kvalitetssäkringssystemet och de ingående komponenterna. I dessa grupper har representanter från olika organisationer som representerar lärosäten, studenter och doktorander samt arbetsliv ingått (se Bilaga 1). En internationell referensgrupp bestående av experter med dokumenterad erfarenhet av kvalitetsarbete inom högre utbildning i Europa har också tillsatts i syfte att inhämta ytterligare perspektiv (se Bilaga 1). Dialogmöten Under våren 2016 bjöd UKÄ in till ett antal dialogmöten för att diskutera och få synpunkter på UKÄ:s förslag till ett nytt kvalitetssäkringssystem. Dialogmöten då hela kvalitetssäkringssystemet diskuterades hölls på följande datum: 30 maj, målgrupp var studenter och doktorander 3 juni, målgrupp var rektorer, kvalitetssamordnare och lärarrepresentanter 8 juni, målgrupp var rektorer, kvalitetssamordnare och lärarrepresentanter 10 juni, målgrupp var arbetslivsorganisationer 17 juni, Sveriges universitetslärare och forskare (SULF) Dessutom hölls ett dialogmöte den 9 juni då utbildningsutvärderingar och specifikt utvärdering av lärarutbildningar diskuterades med representanter från lärosätena. Utöver dialogmötena har det också funnits möjlighet att inkomma med synpunkter via webben. På webben har även en sammanfattning av synpunkterna redovisats. Ytterligare ett dialogmöte, för att diskutera UKÄ:s granskningar av lärosätenas kvalitetssäkringsarbete, kommer att äga rum under hösten UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

29 Erfarenheter från tidigare system För att få synpunkter och utvecklingsidéer samt kunna ta tillvara erfarenheter från utvärderingssystemet har konferenser, intervjuer, enkäter och seminarier med lärosätesrepresentanter, lärarrepresentanter, studentrepresentanter och arbetslivsföreträdare genomförts. UKÄ har dessutom gjort ett antal analyser av effekterna av det tidigare utvärderingssystemet. 15 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

30 UKÄ:s granskningar UKÄ:s granskningar består av följande fyra komponenter: examenstillståndsprövningar granskningar av lärosätenas kvalitetssäkringsarbete utbildningsutvärderingar tematiska utvärderingar. UKÄ utformar en sexårsplan som omfattar granskningar inom alla fyra komponenter. Granskningarna ska ske utifrån relevans och med hänsyn till ett effektivt resursutnyttjande. Vilka och hur många granskningar som görs inom ramen för respektive komponent från ett år till ett annat kommer därmed att variera. Samtliga lärosätens kvalitetssäkringsarbete ska dock granskas inom en sexårsperiod. Information som framkommer i UKÄ:s alla olika verksamheter, analyser och uppdrag kan också ligga till grund för innehåll och urval av vad som ska granskas inom de olika komponenterna. För att underlätta lärosätenas planering av den interna kvalitetssäkringen kommer UKÄ i god tid att meddela lärosätena en tidplan över sina planerade utvärderingar. UKÄ har i sitt utvecklingsarbete utgått ifrån ramverket i regeringens skrivelse som anger att granskningarna ska beakta lärosätenas interna kvalitetsarbete i syfte att skapa ett sammanhållet system vara inriktade på både kontroll av resultat och på kvalitetsutveckling av högre utbildning utvecklas i samråd med lärosäten, studenter och arbetsliv ta hänsyn till lärosätenas särart och profilering beakta arbetslivets perspektiv och förtydliga arbetslivsföreträdarnas roll i granskningarna utveckla studenternas roll i granskningarna så att den tydliggörs och stärks beakta jämställdhet mellan kvinnor och män vara rättssäkra, förutsägbara och transparenta. I enlighet med UKÄ:s och tidigare Högskoleverkets prövningar och utvärderingar, kommer UKÄ:s granskningar inom de fyra komponenterna att utgå från kollegial bedömning. UKÄ tillsätter en extern bedömargrupp som vanligtvis består av sakkunniga, student- eller doktorandrepresentanter och företrädare för arbetslivet. UKÄ:s erfarenhet är att detta är en modell som fungerar väl. För att åstadkomma en rättssäker, förutsägbar och transparent process ska granskningarnas olika aspekter och bedömningsgrunder kommuniceras till berörda intressenter på förhand. För att ytterligare stärka rättssäkerheten, förutsägbarheten och transparensen kommer UKÄ att införa ett delningsförfarande i granskningarna. Rutinen innebär att lärosätena får ta del av 16 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

31 bedömargruppernas preliminära yttranden och möjlighet att rätta till eventuella sakfel innan det slutliga yttrandet, som ligger till grund för UKÄ:s beslut, fastställs. Det är även möjligt att begära en omprövning av UKÄ:s beslut. Aspektområden, perspektiv och bedömningsgrunder Modellen för UKÄ:s granskningar är uppbyggd av fyra aspektområden och tre perspektiv som sammantaget spänner över såväl tillämplig svensk lag och förordning som ESG (fig 1). Granskningarna kommer att baseras på aspekter, som arbetas fram i dialog med företrädare för lärosätena, lärare, studenter, doktorander och arbetslivet. Aspekterna grupperas i fyra aspektområden, som har definierats utifrån vilken del av lärosätenas verksamhet de omfattar. De fyra aspektområdena är: styrning och organisation miljö, resurser och område utformning, genomförande och resultat uppföljning, åtgärder och återkoppling. Utöver de fyra aspektområdena ingår tre perspektiv i granskningarna. Dessa är: studenters och doktoranders perspektiv arbetslivets perspektiv jämställdhetsperspektiv. Studentinflytande och studentmedverkan regleras i högskolelagen, särskilt i förhållande till lärosätets kvalitetsarbete (1 kap. 4 ). Vidare har studenternas perspektiv skrivits fram tydligare i de reviderade ESG (2015) än i den tidigare versionen. Arbetslivets perspektiv regleras också i högskolelagen. Exempelvis ska utbildning på grundnivå utveckla studenternas beredskap att möta förändringar i arbetslivet (1 kap. 8 ). Jämställdhet och jämställdhetsintegrering är viktiga kvalitetsfaktorer, som ska beaktas i granskningarna, och är ett område som UKÄ, liksom många andra myndigheter, inklusive lärosätena, har fått i uppdrag att utveckla. UKÄ utformar de krav som ska uppfyllas i granskningen av aspekterna och perspektiven, det vill säga bedömningsgrunderna. Aspekter, perspektiv och bedömningsgrunder kommer att redovisas närmare i de vägledande dokument som UKÄ arbetar med att ta fram för respektive komponent. Det är dock viktigt att UKÄ:s bedömningsgrunder hålls öppna och inte blir för styrande när det gäller hur lärosätena väljer att organisera och bedriva sin verksamhet. 17 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

32 Figur 1. Översiktlig illustration över modellens aspektområden och perspektiv. Modellen vilar på högskolelagen, högskoleförordningen och ESG. Aspekter och perspektiv bedöms utifrån bedömningsgrunder. Aspektområdet uppföljning, åtgärder och återkoppling påverkas av och återverkar på de övriga aspekterna, och är därför inkluderat i bedömningsgrunderna för övriga aspekter. Lärosätena ombeds att beskriva, analysera och värdera med konkreta exempel hur de på ett systematiskt sätt säkerställer och följer upp att de uppfyller bedömningsgrunderna för de olika aspekterna och perspektiven. Kvalitetssäkringssystem för högre utbildning HÖGSKOLELAGEN, HÖGSKOLEFÖRORDNINGEN OCH ESG Uppföljning, åtgärder och återkoppling Styrning och organisation Miljö, resurser och område Utformning, genomförande och resultat Student- och doktorandperspektiv Arbetslivsperspektiv Jämställdshetsperspektiv Granskning för utveckling Studenters och doktoranders perspektiv Studenter har rätt att utöva inflytande över utbildningen och ska dessutom vara delaktiga i lärosätenas kvalitetsarbete, vilket gör att studenters och doktoranders perspektiv är viktiga faktorer i UKÄ:s granskningar. Bedömningen av studenternas och doktorandernas perspektiv fokuserar på hur studentinflytandet fungerar i praktiken, samt på hur studenterna och doktoranderna ges möjligheter och incitament att medverka i lärosätenas kvalitetsarbete och utveckling av utbildningar. De bedömningsgrunder som kommer att användas utgår framför allt från högskolelagens skrivningar om studentinflytande. I högskolelagen 1 kap. 4 framgår det att kvalitetsarbetet vid högskolor och universitet är en gemensam angelägenhet för både personal och studenter. I 1 kap. 4 a tydliggörs det att studenterna har rätt att utöva inflytande över utbildningen. Lärosätena ska även verka för att studenterna tar en aktiv del i arbetet med att vidareutveckla utbildningen. I högskolelagen 2 kap. 7 framgår det dessutom att studenterna har rätt att vara representerade såväl i beredning av som vid beslut i ärenden som har betydelse för utbildningen eller för studenternas situation. Utöver detta beaktas även skrivningarna i ESG, till exempel standard 1.2 i ESG (om utbildningens utformning och inrättande) samt standard 1.3 (om studentcentrerat lärande, undervisning och bedömning). 18 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

33 För att stärka studenternas och doktorandernas perspektiv i UKÄ:s granskningar ingår studenter och doktorander i bedömargrupperna för samtliga komponenter, 3 det vill säga i granskning av lärosätenas kvalitetssäkringsarbete, utbildningsutvärderingar, examenstillståndsprövningar och i tematiska utvärderingar. För att ytterligare beakta studenters och doktoranders erfarenheter och perspektiv på utbildningen kommer student- och doktorandintervjuer som regel att vara ett underlag i alla UKÄ:s granskningar. De studenter eller doktorander som ska delta vid intervjuerna bör i första hand vara utsedda av en studentorganisation som antingen tillhör en studentkår eller själv uppbär kårstatus vid lärosätet. Om student- eller doktorandkåren inte har resurser för att säkerställa att rekryteringen fungerar, kommer UKÄ att i samråd med lärosätets kvalitetssamordnare, eller annan utsedd person, säkerställa att studenter eller doktorander rekryteras till intervjuerna. I granskningen av lärosätenas kvalitetssäkringsarbete avser UKÄ också att pröva att erbjuda den lokala studentkåren vid lärosätena att lämna in en så kallad studentinlaga, där kåren ger sin syn på kvalitetssäkringsarbetet vid lärosätet. Studenternas och doktorandernas perspektiv säkerställs vidare genom att de tas upp i den utbildning som alla UKÄ:s bedömare genomgår. Samtidigt som studenternas och doktorandernas perspektiv beaktas i bedömningen av alla aspektområden kommer bedömarna att göra en sammanfattande bedömning av dessa perspektiv i sitt yttrande. Detta för att tydliggöra studenters och doktoranders perspektiv i alla bedömningar. Arbetslivets perspektiv Eftersom högre utbildning ska vara användbar och förbereda för arbetslivet beaktas även arbetslivets perspektiv i UKÄ:s granskningar. Fokus ligger på utbildningarnas användbarhet och förberedelse för arbetslivet. De bedömningsgrunder som kommer att tillämpas har sin grund framför allt i högskolelagen och i examensordningarna, 4 men också i ESG, som i standard 1.1 anger att externa intressenter ska involveras i kvalitetssäkringen. I standard 1.2 anges även att utbildningarna ska ge sådana kunskaper som kan användas i ett framtida arbetsliv, samt att de ska utformas i dialog med studenter och andra intressenter. I högskolelagen anges att utbildning på grundnivå ska utveckla studenternas beredskap att möta förändringar i arbetslivet (1 kap. 8 ). Vidare ska utbildning på avancerad nivå innebära en fördjupning av kunskaper, färdigheter och förmågor i förhållande till utbildning på grundnivå och utveckla studenternas förutsättningar för yrkesverksamhet som ställer stora krav på självständighet, eller för forskning och utvecklingsarbete (1 kap. 9 ). Utbildning på forskarnivå ska utöver detta även utveckla de kunskaper och färdigheter som behövs för att självständigt kunna bedriva forskning (1 kap. 9a ). I examensordningarna finns dessutom mål, för olika typer av examina, som knyter an till utbildningarnas användbarhet i arbetslivet. 3. Hur rekryteringen av dessa går till beskrivs i avsnittet om bedömargrupper. 4. Med examensordningar avses bilaga 2 till högskoleförordningen samt bilaga till förordningen (1993:221) för Sveriges lantbruksuniversitet och bilaga till förordningen (2007:1164) för Försvarshögskolan. Hädanefter används begreppet examensordningar med denna betydelse. 19 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

34 Samverkan är en viktig kvalitetsparameter och kommer att vara en av flera indikatorer på arbetslivets perspektiv i UKÄ:s granskningar. UKÄ kommer att anmoda lärosätena att i självvärderingarna beskriva och motivera hur och på vilka grunder samverkan sker. Att knyta an till studenters kommande arbetsliv är enligt UKÄ viktigt för all högre utbildning. Med den stora variation av utbildningar som finns vid svenska lärosäten ska dock inte UKÄs granskningar bli normerande för under vilka former samverkan och samarbete med arbetslivet ska genomföras. Därför är det UKÄ:s ståndpunkt att det är viktigt att UKÄ:s bedömningsgrunder inte blir för styrande när det gäller hur eller på vilka grunder samverkan kan ske. Arbetslivets perspektiv beaktas även genom att företrädare för arbetslivet vanligtvis medverkar i UKÄ:s bedömargrupper, samt genom att arbetslivets perspektiv tas upp i den utbildning som UKÄ:s bedömare genomgår. UKÄ avser även att pröva möjligheten att inhämta synpunkter från lärosätenas samarbetsparter inom arbetslivet genom intervjuer. Samtidigt som arbetslivets perspektiv beaktas i bedömningen av alla aspektområden, kommer bedömarna att göra en sammanfattande bedömning av arbetslivets perspektiv i sitt yttrande. Detta för att tydliggöra arbetslivets perspektiv i alla bedömningar. Jämställdhetsperspektiv Jämställdhet mellan kvinnor och män och jämställdhetsintegrering är viktiga kvalitetsfaktorer som ska beaktas i UKÄ:s granskningar. De bedömningsgrunder som tillämpas har sin grund framför allt i högskolelagen och i examensordningarna. Av 1 kap. 5 högskolelagen framgår att jämställdhet mellan kvinnor och män alltid ska iakttas och främjas i högskolornas verksamhet. Regeringen har från och med i år också gett alla statliga lärosäten, samt Chalmers tekniska högskola och Stiftelsen Högskolan i Jönköping, i uppdrag att ta fram en plan för sitt arbete med jämställdhetsintegrering. Uppdraget innebär att lärosätena ska ta fram en plan för hur de avser att utveckla arbetet med att jämställdhetsintegrera sin verksamhet så att jämställdhet blir en del av lärosätets ordinarie verksamhet, exempelvis i lärosätets styrprocesser. Regeringen lyfter fram lika möjligheter till karriärvägar i akademin, behovet av att motverka könsbundna studieval och att förbättra kvinnors och mäns genomströmning som särskilt prioriterade områden. UKÄ ingår sedan 2015 också i regeringens satsning på jämställdhetsintegrering i myndigheter (JiM). Det innebär att UKÄ har tagit fram en plan för hur arbetet med att integrera ett jämställdhetsperspektiv i verksamheten, vilket finns inskrivet som ett uppdrag i instruktionen, ska stärkas. Baserat på ovanstående kommer UKÄ att integrera ett jämställdhetsperspektiv i granskningarna inom samtliga fyra komponenter. UKÄ kommer att säkerställa att jämställdhetsperspektiv beaktas genom att alltid eftersträva en jämn könsfördelning i de grupper som ska intervjuas, samt i UKÄ:s bedömargrupper. Jämställdhetsintegrering ska också tas upp i den utbildning som UKÄ:s bedömare genomgår. Inom ramen för de olika komponenterna avser UKÄ att granska på vilket sätt ett jämställdhetsperspektiv finns med i processerna på alla nivåer i lärosätenas organisation. 20 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

35 Samtidigt som jämställdhetsperspektiv beaktas i bedömningen av alla aspektområden kommer bedömarna att göra en sammanfattande bedömning av jämställdhetsperspektiv i sitt yttrande. Detta för att tydliggöra jämställdhetsperspektiv i alla bedömningar. Fokus i de olika komponenterna Aspektområdena och perspektiven utgör den gemensamma grunden för UKÄ:s granskningar inom de fyra komponenterna. Vilka aspektområden som är aktuella att granska skiljer sig emellertid åt mellan komponenterna, eftersom de har olika syfte och fokus (fig 2). Av samma skäl kommer de ingående aspekterna och bedömningsgrunderna att kunna variera i de olika komponenterna. Samtliga aspektområden kommer att ingå i granskningar av lärosätenas kvalitetssäkringsarbete, och fokus i granskningarna kommer att vara på hur väl lärosätets kvalitetssäkringsarbete, inklusive uppföljnings-, åtgärds- och återkopplingsrutiner, bidrar till att säkra och utveckla utbildningarna. Vidare kommer examenstillståndsprövningar 5 och utbildningsutvärderingar att omfatta aspektområdena miljö, resurser och område, utformning, genomförande och resultat samt uppföljning, åtgärder och återkoppling. Utbildningsutvärderingarna kommer att fokuseras på faktiska resultat och på hur utbildningen följs upp och utvecklas medan examenstillståndsprövningarna kommer att ha fokus på förutsättningar och processer. De tematiska utvärderingarnas fokus kommer av förklarliga skäl att variera beroende på vilket tema som utvärderas. Genom att ha ett tydligt fokus i respektive komponent åstadkoms även ett effektivt resursutnyttjande. Aspekterna och bedömningsgrunderna kommer att redovisas i de vägledande dokument som UKÄ arbetar med att ta fram för respektive komponent. Fig 2. Schema över de olika komponenternas omfattning och fokus. Kvalitetssäkringssystem för högre utbildning HÖGSKOLELAGEN, HÖGSKOLEFÖRORDNINGEN OCH ESG Uppföljning, åtgärder och återkoppling Styrning och organisation Miljö, resurser och område Utformning, genomförande och resultat Granskning av lärosätenas kvalitetssäkringsarbete Examenstillståndsprövning Utbildningsutvärdering Tematiska utvärderingar Granskning för utveckling 5. UKÄ har valt att inte regelmässigt granska aspektområdet styrning och organisation inom ramen för examenstillståndsprövningarna, eftersom detta granskas inom komponenten granskning av lärosätenas kvalitetssäkringsarbete. För nya enskilda utbildningsanordnare, vars kvalitetssäkringsarbete inte har granskats, kommer dock styrning och organisation att vara frågor för lärosätet att redogöra för i sin ansökan. 21 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

36 Bedömargrupper UKÄ:s granskningar baserar sig på kollegial bedömning av en oberoende extern bedömargrupp, som vanligtvis består av sakkunniga, student- eller doktorandrepresentanter samt företrädare för arbetslivet. Samtliga bedömare har samma formella status och deltar på lika villkor. Sammansättningen av bedömargrupperna beslutas av UKÄ efter ett nomineringsförfarande, då lärosäten, studentkårer via Sveriges förenade studentkårer (SFS) och arbetslivsorganisationer lämnar förslag på bedömare. UKÄ ger återkoppling till dem som nominerat, och informerar om vilka nomineringar som lett till rekrytering. Förutom dessa nomineringar kommer UKÄ även att använda sig av rekommendationer från olika nätverk. Det är UKÄ som förordnar bedömarna, men det är viktigt att sammansättningen av bedömargruppen sker i dialog med lärosätet. Som en kvalitetssäkrande åtgärd erbjuds lärosätet tillfälle att yttra sig över förslaget till bedömargrupp, till exempel utifrån eventuella jävsinvändningar, innan bedömargruppen slutligen fastställs av UKÄ. En jämn könsfördelning, geografisk spridning och såväl nationell som internationell erfarenhet eftersträvas inom bedömargruppen. Bedömargruppen ska sammantaget ha så bred och djup kompetens att den kan bedöma samtliga aspektområden och perspektiv utifrån de bedömningsgrunder som ingår i granskningen. En bedömare får inte vara jävig vid de lärosäten som bedömaren ska granska. Reglerna om jäv för statliga myndigheter (11 och 12 förvaltningslagen (1986:223)) syftar till att undvika intressekonflikter som gör att objektiviteten kan ifrågasättas, och UKÄ har väl inarbetade rutiner för att hantera jävsfrågor. Kunskapen och erfarenheterna hos sakkunniga, studenter och doktorander samt företrädare för arbetslivet ska användas gemensamt av bedömargruppen för att göra bedömningar av de aspektområden och perspektiv som ingår i granskningen. Samtliga bedömare i en bedömargrupp kommer att få samma introduktion och utbildning av UKÄ i syfte att tydliggöra uppdraget och förväntningarna. Bedömarutbildningen ska även omfatta moment med intervjuteknik samt orientering i de lagar, förordningar och ESG, som bedömarna har att förhålla sig till. Bedömarutbildningen kommer också att beröra jämställdhet. Det är viktigt att understryka att samtliga bedömare ska stå bakom utgångspunkterna i bedömningsarbetet och det yttrande som bedömargruppen slutligen lämnar till UKÄ. Sakkunniga De sakkunniga i bedömargruppen ska komma från högskolesektorn och sammantaget ha så bred och djup kompetens att de kan bedöma samtliga aspektområden och perspektiv som ingår i granskningen. Beroende på vilken komponent som granskningen avser kommer olika kompetens att efterfrågas hos de sakkunniga. Att använda sakkunniga med internationell erfarenhet kan öka möjligheterna att bredda kompetensen i bedömargruppen och få externa perspektiv. 22 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

37 Samtliga sakkunniga, inom samtliga komponenter, ska i sina bedömningar kunna anlägga student/doktorandperspektiv, arbetslivsperspektiv och jämställdhetsperspektiv. Under utbildningstillfällena kommer detta att särskilt beaktas. Bedömargruppens ordförande är alltid en sakkunnig, eftersom uppgiften kräver mycket god kännedom om högskolesektorn. Student- och doktorandrepresentanter Student- och doktorandrepresentanterna i bedömargrupperna deltar i bedömningen av granskningens samtliga aspektområden och perspektiv. Att studenter och doktorander är representerade i bedömargruppen stärker studenters och doktoranders perspektiv, men det är viktigt att understryka att de inte är ensamt ansvariga för att bedöma dessa perspektiv. Studenter och doktorander förväntas medverka i hela bedömningsprocessen från början till slut. I sin roll som bedömare är studenten eller doktoranden, precis som övriga bedömare, en expert och uttalar sig oberoende utifrån sin expertkunskap och erfarenhet. För att utveckla processen med att utse student- och doktorandrepresentanter samverkar UKÄ med SFS och landets studentkårer. UKÄ gör bedömningen att det krävs en särskild funktion inom SFS för att säkerställa nomineringen av studentrepresentanter, och att denna funktion är skild från SFS ordinarie verksamhet. Huruvida de resurser som regeringen tillförde SFS i samband med det förra utvärderingssystemet är tillräckliga för att uppnå målsättningen med det nya systemet behöver utredas. Arbetslivsföreträdare Arbetslivsföreträdare i bedömargrupperna ska delta i bedömningen av granskningens samtliga aspektområden och perspektiv. Arbetslivsföreträdarens roll är att utifrån arbetslivets perspektiv dels bedöma hur lärosätet säkrar utbildningarnas användbarhet och förberedelse för arbetslivet (i granskning av lärosätenas kvalitetssäkringsarbete), dels att bedöma användbarheten och förberedelsen för arbetslivet vid enskilda utbildningar (i examenstillståndsprövningar och i utbildningsutvärderingar). Därutöver kan uppdraget även innefatta att göra generella reflektioner inom ett ämneseller utbildningsområde. Att arbetslivsföreträdare ingår i granskningarna stärker arbetslivets perspektiv, men på samma sätt som att student- och doktorandrepresentanter i bedömargrupperna inte är ensamt ansvariga för att bedöma studenters och doktoranders perspektiv, är arbetslivsföreträdare inte ensamt ansvariga för att bedöma utbildningens användbarhet och förberedelse för arbetslivet. I pilotstudien av utvärdering av utbildningar på forskarnivå deltog arbetslivsföreträdarna i hela utvärderingsprocessen, vilket uppskattades av de arbetslivsföreträdare som medverkade. Det har däremot framförts synpunkter från arbetslivsorganisationer och i regeringens skrivelse om att arbetslivsföreträdarnas roll behöver avgränsas. UKÄ har därför avgränsat och tydliggjort arbetslivsföreträdarens roll och uppdrag i granskningarna med utgångspunkt i erfarenheterna från pilotstudien och de synpunkter som framförts till UKÄ i samband med referensgruppsmöten och dialogmöten. 23 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

38 UKÄ avser att pröva följande avgränsningar för arbetslivsföreträdarnas roll. En arbetslivsföreträdare bör minst medverka i bedömargruppens första möte och utbildning inför uppdraget säkra att arbetslivets perspektiv beaktas i de olika aspektområdena som ingår i granskningen medverka i bedömningen av arbetslivets perspektiv och om möjligt ansvara för denna del i yttrandet ta del av, och vid behov, kommentera bedömningar av samtliga perspektiv och aspektområden i granskningen medverka vid bedömargruppens avslutande möte om yttrandet. Internationella sakkunniga och granskning på engelska Det finns ett generellt behov av att stärka internationaliseringen inom högre utbildning. Att i ökad utsträckning anlita sakkunniga med internationell erfarenhet i samband med UKÄ:s kvalitetsgranskningar av högre utbildning kan bidra till att ge en internationell dimension till utvecklingen av såväl svensk högre utbildning som kvalitetssäkringsprocesserna. Det anges också i ESG standard 2.4 som önskvärt att internationella experter medverkar i den externa kvalitetssäkringen som genomförs av kvalitetssäkringsorgan som UKÄ. Med internationell erfarenhet menar UKÄ såväl utländska sakkunniga som är verksamma i Sverige eller annat land som svenska sakkunniga som är eller har varit verksamma i annat land. De fördelar som UKÄ ser med att anlita sakkunniga med internationell erfarenhet är att förutsättningarna att hitta sakkunniga med rätt kompetens ökar, särskilt inom små utbildningsområden sakkunniga med internationell erfarenhet kan bidra med kunskaper och kompetenser som ger en ytterligare dimension till granskningen och kan verka kvalitetsdrivande för svensk högre utbildning sakkunniga verksamma i andra länder kan bidra till att öka kunskapen om svensk högskoleutbildning i andra länder. UKÄ:s granskningar bör mot bakgrund av ovanstående i större utsträckning än hittills kunna bedrivas med engelska som arbetsspråk. UKÄ gör bedömningen att en granskning kan göras på engelska, men att UKÄ:s beslut alltid ska skrivas på svenska i enlighet med kraven i språklagen (2009:600). Språket vid intervjuer med representanter från lärosäten varierar redan i dag. Om det vid intervjun exempelvis medverkar en icke svenskspråkig lärare genomförs intervjun på engelska om lärosätet så önskar. Utgångspunkten är att UKÄ:s granskningar genomförs på svenska, men att det kan finnas anledning till att granskningar delvis genomförs på engelska. I särskilda fall kan granskningar helt genomföras på engelska. I dessa fall är det lärosätet som ombesörjer och bekostar eventuell översättning av dokument till engelska. Granskningarna på engelska genomförs alltid efter dialog och skriftlig överenskommelse mellan berört lärosäte och UKÄ. 24 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

39 För de granskningar som genomförs på engelska ska UKÄ säkerställa att både den egna personalen och de berörda bedömarna behärskar engelska språket i önskvärd utsträckning. Bedömning, yttrande och beslut Gemensamt för UKÄ:s granskningar inom samtliga komponenter är att bedömargruppens yttrande ska vara baserat på en samlad bedömning av alla ingående underlag, och att alla aspektområden och perspektiv som ingår i granskningen ska bedömas som tillfredsställande för att UKÄ:s beslut ska kunna bli positivt. Granskningarna resulterar i ett yttrande från bedömargruppen, som utgör underlag för UKÄ:s beslut eller rekommendation till regeringen (gäller enskilda utbildningsanordnare). Då granskningarna inte bara ska vara kontrollerande utan också bidra till lärosätenas kvalitetsutveckling ska bedömargruppen motivera sina bedömningar och ge lärosätena återkoppling i yttrandena. Denna återkoppling ska röra både identifierade utvecklingsmöjligheter och beskrivningar av goda exempel. En rättssäker, förutsägbar och transparent kvalitetssäkringsprocess I arbetet med att utveckla och genomföra UKÄ:s granskningar ingår även att svara för att systemet blir rättssäkert, förutsägbart och transparent. Det handlar framför allt om att tydliggöra UKÄ:s processer i samband med granskningarna. Delning av bedömargruppens yttrande före beslut Lärosätena kommer att få möjlighet att granska bedömargruppens yttrande genom så kallad delning innan det slutgiltigt färdigställs och UKÄ fattar beslut. Syftet med delningen är att ge lärosätena möjlighet att korrigera eventuella sakfel. För granskningar av lärosätenas kvalitetssäkringsarbete, utbildningsutvärderingar och examenstillståndsprövningar gäller att lärosätena får tre veckor att granska yttrandena och inkomma med eventuella synpunkter på sakfel till UKÄ. När det gäller de tematiska utvärderingarna är delningsförfarandet en fråga som får avgöras från fall till fall. God framförhållning från UKÄ:s sida är av stor vikt för att ge lärosätena möjlighet att planera. Lärosätena kommer därför att informeras om den aktuella tidplanen i god tid, och få veta vid vilken tidpunkt de förväntas lämna synpunkter på det preliminära yttrandet. Delningsförfarandet har testats i pilotstudien av utvärdering av utbildning på forskarnivå, med positiv respons från de utvärderade lärosätena. Vidare presenterades rutinen vid dialogmötena, och representanterna från lärosätena ansåg då att det är positivt att få ta del av yttrandet innan UKÄ fattar beslut om granskningens resultat. 25 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

40 Omprövning av beslut I de principer för kvalitetssäkring som har utarbetats inom Bolognaprocessen ingår att processerna ska vara rättssäkra, förutsägbara och transparenta. Av standard 2.7 i ESG framgår att processer för klagomål och överklaganden ska vara en tydligt definierad del av den externa kvalitetssäkringens processer, och dessa ska vara kommunicerade till lärosätena. Enligt svensk förvaltningsrättslig praxis är det inte möjligt för en myndighet att överklaga en annan myndighets beslut. Frågan om möjligheten för enskilda utbildningsanordnare att överklaga UKÄ:s beslut regleras genom allmänna förvaltningsrättsliga bestämmelser. UKÄ bedömer dock att det finns möjlighet för samtliga lärosäten att begära omprövning av de beslut universitetskanslern fattar i UKÄ:s granskningar. Av 27 första stycket i förvaltningslagen (1986:223) framgår bland annat att om en myndighet finner att ett beslut, som den har meddelat som första instans, är uppenbart oriktigt på grund av nya omständigheter eller av någon annan anledning, ska myndigheten ändra beslutet om det kan ske snabbt och enkelt och utan att det blir till nackdel för någon enskild part. Huvudprincipen för omprövning är att det är den instans som fattat beslutet som prövar om beslutet är uppenbart oriktigt. UKÄ bedömer att det redan idag finns möjlighet för både statliga lärosäten och enskilda utbildningsanordnare att begära omprövning av UKÄ:s beslut i ett ärende, vilket också har skett vid något enstaka tillfälle. För att förtydliga denna process avser UKÄ att inrätta en särskild expertgrupp, som vid en begäran om omprövning får granska utvärderingsprocessen vid UKÄ i det aktuella ärendet i dess helhet. Expertgruppens utlåtande ligger sedan till grund för universitetskanslerns beslut i omprövningsärendet. Regelbunden uppföljning av kvalitetssäkringssystemet och lärosätenas kvalitetsarbete Alla granskningar som görs av UKÄ ska följas upp. Detta är i linje med ESG standard 2.3, där uppföljningen är en viktig del av den externa granskningen. Hur uppföljningen av granskningarna inom de olika komponenterna kommer att göras beskrivs under respektive komponentbeskrivning. Vidare ska UKÄ enligt myndighetens regleringsbrev årligen återrapportera till regeringen om hur väl kvalitetssäkringssystemet fungerar när det gäller att säkerställa utbildningars kvalitet och i vilken grad systemet har verkat kvalitetsutvecklande för lärosätena och deras utbildningar. Den årliga rapporteringen består således av två delar, dels att rapportera hur systemet fungerar i sig, dels att rapportera huruvida systemet är kvalitetsutvecklande för lärosätena. Att kontinuerligt följa upp och utveckla kvaliteten i granskningarna för att nå dessa båda mål är därmed ett viktigt led i UKÄ:s interna kvalitetsarbete. Hur fungerar kvalitetssäkringssystemet? För att följa upp hur kvalitetssäkringssystemet fungerar planerar UKÄ att genomföra dialogmöten med lärosätena samt med representanter för lärare, studentorganisationer och arbetsliv. Utöver detta avser UKÄ att fortsätta arrangera en regelbundet återkommande konferens där mer övergripande kvalitetsfrågor kan diskuteras. UKÄ planerar även att löpande sammanställa 26 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

41 data baserad på nationell statistik över lärosätena och utbildningarna, som kan ge en bild av hur utbildningslandskapet förändras över tid. Dessa sammanställningar kan komma att publiceras separat eller i den årsredovisning som UKÄ regelmässigt lämnar till regeringen. För att följa upp och utvärdera hur väl granskningarna i systemet fungerar kommer enkäter att skickas ut till dem som deltagit i granskningarna, såväl lärosätesrepresentanter som bedömare. Är systemet kvalitetsutvecklande? Huruvida kvalitetssäkringssystemet är kvalitetsutvecklande är en fråga som kan delas upp i två nivåer. Har systemet varit kvalitetsutvecklande för lärosätena på en övergripande nivå, och har det varit utvecklande för utbildningarna? I UKÄ:s rapport Utbildningsutvärderingarnas effekter (2015:21) noterades effekter av utvärderingssystemet på båda nivåerna. På den övergripande nivån handlade det främst om att lärosätena i samband med utvärderingarna fick tillfälle att göra en grundlig genomgång av utbildningarna och stärka kvalitetsarbetet. Det är därför UKÄ:s avsikt att en del av analysen av kvalitetssäkringssystemet innebär att följa upp om liknande effekter kan konstateras med det nya systemet. UKÄ kommer att kontinuerligt sammanställa kvalitetssäkringssystemets effekter på såväl lärosätes- som utbildningsnivå. Lärosätenas åtgärdsredovisningar för utbildningar som har fått kritik och ifrågasatt examenstillstånd har visat sig vara ett värdefullt underlag i tidigare analyser av ett utvärderingssystems effekter. En annan möjlighet är att genomföra metastudier av UKÄ:s granskningar, genom att systematiskt gå igenom dessa och sammanställa vad som lyfts upp och vilka de generella dragen och resultaten är. I UKÄ:s rapport Utbildningsutvärderingarnas effekter (2015:21) noterades de direkta effekterna i utbildningarna främst som förändringar i processen kring de självständiga arbetena och i kursplaner. Frågor kring kvalitetssäkringssystemets effekter på såväl lärosätesnivå som utbildningsnivå kommer också att ställas i samband med dialogmöten och konferenser. Dessutom kommer enkäter att användas för att samla information om systemets effekter på olika nivåer. 27 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

42 Examenstillståndsprövningar Examenstillståndsprövning sker efter ansökan och genomförs utifrån vad som föreskrivs i tillämplig lag och förordning. Examenstillståndsprövningar granskar om utbildningsanordnaren har nödvändiga förutsättningar för att studenterna ska kunna nå målen för den examen som utbildningen ska leda till. Syfte Syftet med examenstillståndsprövningarna är att i enlighet med 1 kapitel 13 högskolelagen pröva om en anordnare av en utbildning har nödvändiga förutsättningar för att studenterna ska kunna nå de av riksdag och regering uppställda målen för den examen som utbildningen ska leda till. Huvudprinciper för examenstillståndsprövningar Huvudprinciperna för UKÄ:s tillståndsprövningar är väl beprövade. En utgångspunkt för UKÄ:s metodutvecklingsarbete har därför varit att det inte är nödvändigt med några större förändringar av dessa prövningar, och att de befintliga grundprinciperna för prövningarna ska ligga fast. Tyngdpunkten i bedömningen ligger fortsatt på om studenterna eller doktoranderna ges tillräckliga förutsättningar för att kunna uppnå målen som är reglerade för den examen som ansökan gäller. Dock omarbetas och utvecklas aspekterna och bedömningsgrunderna för att harmoniera med övriga komponenter. I och med att arbetslivets perspektiv, studenters och doktoranders perspektiv samt jämställdhetsperspektiv lyfts in i alla UKÄ:s granskningar förtydligas också dessa perspektiv inom ramen för examenstillståndsprövningarna. Lärosätena kommer att ombes att beskriva hur de på ett systematiskt sätt kommer att säkerställa och följa upp att de uppfyller bedömningsgrunderna för de olika aspekterna och perspektiven. Aspekter, perspektiv och bedömningsgrunder preciseras närmare i kommande vägledande dokument till lärosäten och bedömare. Underlag för bedömning Underlaget för bedömning utgörs av lärosätets ansökan och intervjuer med företrädare för utbildningen. Samtliga underlag ska vägas samman i bedömningen. 28 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

43 Lärosätets ansökan Ansökan om tillstånd att utfärda en viss examen ställs till UKÄ. Enskilda utbildningsanordnare, Sveriges lantbruksuniversitet och Försvarshögskolan ställer ansökan till regeringen, som i regel skickar dessa ansökningar till UKÄ för bedömning och yttrande. Intervjuer Den skriftliga ansökan kompletteras med intervjuer med företrädare för utbildningen. Intervjuer med studenter eller doktorander hålls i de fall utbildningen redan bedrivs på en närliggande examensnivå eller inom ett område eller ämne som kan betraktas som närliggande till den examen som ansökan gäller. Bedömning, yttrande och beslut Bedömargruppens uppgift är att utifrån ansökan, intervjuer och eventuellt kompletterande underlag i ett yttrande göra en bedömning av om utbildningen uppfyller bedömningsgrunderna för granskade aspektområden och perspektiv. Bedömargruppens bedömningar och resonemang ska redovisas på ett klart och tydligt sätt, så att det framgår vad som inte bedöms hålla tillräcklig kvalitet vid ett eventuellt negativt utlåtande. I yttrandet lämnar bedömargruppen en rekommendation om ansökan bör beviljas eller avslås. UKÄ:s ställningstagande grundar sig på detta yttrande med rekommendation till beslut, samt på de överväganden som UKÄ gör. Innan UKÄ fattar beslut kommer yttrandet att skickas till lärosätet på delning enligt det förfarande som har beskrivits tidigare i denna redovisning. Samtliga aspektområden och perspektiv ska bedömas som tillfredsställande för att ansökan ska kunna beviljas. Vid en mindre men tydligt definierad brist där åtgärderna för att avhjälpa bristen bedöms vara inom räckhåll, kan UKÄ medge förlängd tid för prövning. Därmed får de ansökande utrymme att inkomma med specifika kompletteringar. Tiden för att inkomma med sådana kompletteringar är sex månader. UKÄ fattar beslut om examenstillstånd för statliga lärosäten, utom för Sveriges lantbruksuniversitet och Försvarshögskolan. När det gäller enskilda utbildningsanordnare, Sveriges lantbruksuniversitet och Försvarshögskolan överlämnas bedömargruppens yttrande samt UKÄ:s ställningstagande och rekommendation till regeringen om att bevilja eller avslå den aktuella ansökan. Uppföljning UKÄ anser att det är viktigt att följa upp sina granskningar, inklusive examenstillståndsprövningar. Detta ligger också i linje med ESG standard 2.3 där uppföljning nämns som en del av den externa kvalitetssäkringsprocessen. Formerna för uppföljning av examenstillståndsprövningar håller på att utarbetas, men kan exempelvis inkludera enkäter. 29 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

44 Granskning av lärosätenas kvalitetssäkringsarbete Granskningarna kontrollerar att lärosätena säkerställer att utbildningarna på samtliga nivåer uppfyller kraven i tillämplig lag och förordning samt ESG. Granskningarna fokuserar på hur väl lärosätets kvalitetssäkringsarbete, inklusive uppföljnings-, åtgärds- och återkopplingsrutiner bidrar till att säkra och utveckla utbildningarna på ett systematiskt sätt. Granskningarna bidrar även till lärosätenas kvalitetsutveckling genom att bedömarna i sitt yttrande ger återkoppling på såväl goda exempel som utvecklingsområden de har identifierat. Syfte Granskningar av lärosätenas kvalitetssäkringsarbete syftar dels till att kontrollera att lärosätenas kvalitetssäkringsarbete säkrar hög kvalitet i utbildningarna, dels till att bidra till lärosätenas kvalitetsutveckling. Huvudprinciper för granskning av lärosätenas kvalitetssäkringsarbete Metoden för att granska lärosätenas kvalitetssäkringsarbete har utarbetats med utgångspunkt i högskolelagen, högskoleförordningen och examensordningarna samt ESG. Enligt ESG bör lärosätena bland annat ha en kvalitetssäkringspolicy (standard 1.1), och det bör finnas processer för hur utbildningar inrättas (standard 1.2) och uppföljning av hur de uppfyller målen (standard 1.9). Enligt standard 2.1 i ESG ska extern kvalitetssäkring av lärosätenas kvalitetsarbete granska effektiviteten i de interna kvalitetssäkringsprocesser som beskrivits i ESG:s del 1. I standardens riktlinjer står: Kvalitetssäkring av högre utbildning tar sin utgångspunkt i lärosätenas ansvar för kvaliteten i utbildningar och övrigt utbud. Det är därför viktigt att den externa kvalitetssäkringen erkänner och stöder lärosätenas ansvar för kvalitetssäkringen. För att säkerställa kopplingen mellan intern och extern kvalitetssäkring, beaktar den externa kvalitetssäkringen standarderna i del 1. Dessa kan mötas på olika sätt beroende på den externa kvalitetssäkringens utformning. Standard 1.10 i ESG slår fast att lärosätena återkommande bör genomgå extern granskning. UKÄ:s ståndpunkt är att denna del motsvaras av de granskningar som UKÄ genomför. Detta hindrar förstås inte lärosätena att själva initiera externa granskningar av sin verksamhet, om de finner det lämpligt. 30 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

45 UKÄ ska således granska att lärosätena säkerställer att utbildningarna på samtliga nivåer uppfyller kraven i högskolelagen, högskoleförordningen inklusive examensordningarna samt ESG. Granskningen av lärosätenas kvalitetssäkringsarbete fokuserar på hur väl lärosätets kvalitetssäkringsarbete, inklusive uppföljnings-, åtgärds- och återkopplingsrutiner, bidrar till att säkra och utveckla utbildningarnas kvalitet. Granskningarna ska även bidra till lärosätenas kvalitetsutveckling. Bland annat därför är det viktigt att goda exempel lyfts i bedömargruppernas rapporter. Att det granskade lärosätet även kan lyfta brister och planerade åtgärder och få återkoppling på dessa bidrar också till utveckling. Samtliga lärosätens kvalitetssäkringsarbete ska granskas inom en sexårsperiod. Aspekter, perspektiv och bedömningsgrunder kommer att preciseras närmare i kommande vägledande dokument till lärosäten och bedömare. Underlag för bedömning Underlaget för granskningen utgörs av en självvärdering från lärosätet, en studentinlaga, intervjuer, platsbesök, fördjupningsområden och övrigt underlag. Samtliga underlag ska vägas samman i bedömningen. Lärosätets självvärdering och studentinlagan Syftet med självvärderingen är att ge lärosätena möjlighet att visa att deras kvalitetssäkringsarbete säkrar och utvecklar kvaliteten på utbildningarna. Lärosätena ombeds att beskriva, analysera och värdera med konkreta exempel hur de på ett systematiskt sätt säkerställer och följer upp att de uppfyller bedömningsgrunderna för de olika aspekterna och perspektiven. Fokus i lärosätets redogörelse bör vara på resultatet av kvalitetssäkringsarbetet, det vill säga att visa på vilket sätt uppföljning, åtgärder för att hantera identifierade brister och för att bevara och utveckla styrkor samt återkoppling bidrar till att förbättra utbildningarna på ett systematiskt sätt. Det som framhålls i självvärderingen bör styrkas med såväl hänvisningar till relevanta styrdokument som med flera konkreta exempel på hur kvalitetssäkringsarbetet bidrar till kvalitetssäkring och kvalitetsutveckling. Lärosätet bör dessutom redogöra för styrkor och utvecklingsområden, samt för hur dessa vidareutvecklas. I granskningen av lärosätenas kvalitetssäkringsarbete avser UKÄ att i de granskningar som ingår i kommande pilotstudie pröva möjligheten att erbjuda den lokala studentkåren att lämna in ett skriftligt underlag, en så kallad studentinlaga där kåren ger sin syn på kvalitetssäkringsarbetet vid lärosätet. Intervjuer, platsbesök och fördjupningsområden Intervjuer sker både före och under platsbesöket. Syftet med de inledande intervjuerna är dels att få en övergripande bild av kvalitetssäkringsarbetet, dels att bättre kunna lägga upp platsbesöken och identifiera de områden som bedömargruppen vill få en fördjupad bild av vid sitt platsbesök. Vid inledande intervjuer och platsbesök medverkar representanter från lärosätet, studenter och doktorander, och eventuellt även företrädare för arbetslivet som lärosätet samarbetar med. 31 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

46 FÖRDJUPNINGSOMRÅDEN För att granska hur lärosätets kvalitetssäkringsarbete fungerar i praktiken undersöker bedömargruppen ett eller flera fördjupningsområden. Detta är ett vanligt förfarande i andra europeiska kvalitetssäkringssystem. Fördjupningsområden är i det här sammanhanget kvalitetssäkringsprocesser, relaterade till aspekter, perspektiv och bedömningsgrunder, i den miljö som väljs ut och studeras under platsbesöket. För att se hur kvalitetssäkringsprocesserna fungerar i praktiken följer man processen från den övergripande organisationen på lärosätesnivå till lokal nivå, det vill säga en miljö, som kan utgöras av till exempel en eller flera utbildningar (huvudområde, ämnesområde, program) eller andra typer av miljöer såsom bibliotek. Urvalsprinciperna för fördjupningsområden kommer att preciseras närmare och prövas under pilotstudien. Vid platsbesöket samtalar bedömargruppen med lärosätets ledning, samt med lärare och studenter, och eventuellt också med andra personalgrupper och företrädare för arbetslivet som lärosätet samarbetar med. Övriga bedömningsunderlag Inför granskningarna tar UKÄ fram underlag om lärosätet som är av relevans för de aspekter som ska granskas. Det kan till exempel röra sig om underlag utifrån tidigare tillsyn, examenstillståndsprövningar, utbildningsutvärderingar och nationell statistik, som exempelvis visar på genomströmning och etableringsgrad och belyser lärosätet ur ett nationellt perspektiv. Materialet utgör ett underlag för diskussion och frågor vid intervjutillfällen och platsbesök, och lärosätet kommer att få ta del av materialet i god tid före intervjuerna. Bedömning och yttrande Bedömargruppens bedömning av om lärosätet uppfyller bedömningsgrunderna för de granskade aspektområdena och perspektiven resulterar i ett yttrande som utgör underlag för UKÄ:s beslut. Samtliga aspektområden och perspektiv ska bedömas som tillfredsställande för att det samlade omdömet ska kunna bli positivt. För att yttrandena även ska kunna bidra till lärosätenas kvalitetsutveckling ska det finnas utrymme för bedömarnas reflektioner och för att lyfta goda exempel. Detta bör kunna verka utvecklande för såväl det lärosäte som granskats som för andra lärosäten. När det gäller vilka krav som kan ställas på lärosätena utgår UKÄ från följande formulering i regeringens skrivelse: För en del lärosäten som blir granskade tidigt i den första sexårscykeln kommer det [ ] inte att vara möjligt att visa att de har kvalitetssäkrat alla sina utbildningar. Regeringen anser därför att det i dessa fall är rimligt att kräva att lärosätena kan visa att det finns ett system för att kvalitetssäkra utbildningarnas resultat och att de på några års sikt kommer att ha kvalitetssäkrat alla utbildningar. Under den kommande sexårscykeln kommer UKÄ därmed inte att kräva att lärosätena har kvalitetssäkrat alla sina utbildningar, utan lärosätena ska kunna visa att de arbetar systematiskt och effektivt för att säkerställa utbildningarnas kvalitet. De ska dessutom kunna redogöra för vilken del av utbudet de har kvalitetssäkrat. 32 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

47 Bedömargruppens bedömningar och resonemang ska redovisas på ett klart och tydligt sätt, så att det framgår vad som inte bedöms vara tillfredsställande vid ett eventuellt negativt utfall. Innan UKÄ fattar beslut kommer bedömargruppens preliminära yttrande att skickas till lärosätet för delning, enligt det förfarande som har beskrivits tidigare i denna redovisning. Beslut Det samlade omdömet ges på en tvågradig skala. UKÄ kommer att besluta om att antingen godkänna eller inte godkänna ett lärosätes kvalitetssäkringsarbete. Uppföljning Om kvalitetssäkringsarbetet inte godkänns får lärosätet ett år på sig att återkomma med en redovisning av de åtgärder som vidtagits. UKÄ tillsätter då en bedömargrupp för att granska åtgärdsbeskrivningen, och webbintervjuer eller platsbesök görs vid behov. Om den uppföljande granskningen leder till ett positivt omdöme kan lärosätets kvalitetssäkringsarbete godkännas. Om lärosätets kvalitetssäkringsarbete fortfarande inte kan godkännas i den uppföljande granskningen innebär detta att ytterligare en uppföljande granskning bör göras efter en tid som UKÄ och lärosätet i varje enskilt fall kommer överens om. Det innebär också att ett ökat antal av lärosätets utbildningar kan bli föremål för utvärdering i UKÄ:s regi. Även när det gäller lärosäten som fått godkänt på sitt kvalitetssäkringsarbete anser UKÄ att det är viktigt att uppföljningar görs, vilket också är i linje med ESG standard 2.3 där uppföljning nämns som en del av den externa kvalitetssäkringsprocessen. Formerna för denna typ av uppföljning håller på att utarbetas, men kan exempelvis inkludera dialogmöten, enkäter och konferenser. 33 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

48 Utbildningsutvärderingar Utbildningsutvärderingarna kontrollerar faktiska förhållanden och resultat, det vill säga att utbildningen uppfyller kraven i tillämplig lag och förordning. Granskningarna fokuserar på hur väl uppföljnings-, åtgärds- och återkopplingsrutiner på ett systematiskt sätt bidrar till att säkra och utveckla kvaliteten i den granskade utbildningen. Granskningarna bidrar även till lärosätenas kvalitetsutveckling genom att bedömarna i sitt yttrande ger återkoppling på såväl goda exempel som utvecklingsområden de har identifierat. Syfte Syftet med utbildningsutvärderingarna är både att kontrollera utbildningarnas resultat och att bidra till lärosätenas utveckling av kvaliteten på de utvärderade utbildningarna. Huvudprinciper för utbildningsutvärderingar Utbildningsutvärderingarna utgår från kraven i högskolelagen, högskoleförordningen, examensordningarna samt från ESG. Utvärderingsmetoden bygger på erfarenheter och lärdomar från utvärderingscykeln , samt på de synpunkter och förslag som samlades in under de konferenser, intervjuer, enkäter och seminarier med lärosätesrepresentanter, studentrepresentanter och arbetslivsföreträdare som gjordes i det metodutvecklingsarbete som påbörjades Metoden utgår från en generell grundstruktur som gäller för samtliga examensnivåer. Granskningarna ska utöver att kontrollera utbildningarnas resultat även bidra till lärosätenas kvalitetsutveckling. Därmed är det viktigt att bedömarna i sitt yttrande ger återkoppling på såväl de goda exempel som de utvecklingsområden som de har identifierat. Tyngdpunkten i utbildningsutvärderingarna ligger på faktiska förhållanden och resultat, det vill säga hur utbildningen uppfyller kraven i tillämplig lag och förordning. Hänsyn ska även tas till ESG. Vidare kommer utbildningsutvärderingarna att fokusera på hur utbildningen säkerställer att studenterna och doktoranderna ges goda förutsättningar att nå målen i examensordningarna, och på hur lärosätet säkerställer att studenterna och doktoranderna uppnått examensmålen när examen utfärdas. Lärosätena ska dessutom beskriva och värdera hur väl uppföljnings-, åtgärds- och återkopplingsrutiner på ett systematiskt sätt bidrar till att säkra och utveckla den granskade utbildningen. Bedömningsgrunderna kan till viss del anpassas till olika slags examina för att möjliggöra en så rättvisande bedömning som möjligt. Aspekter och bedömningsgrunder kommer att preciseras närmare i kommande vägledande dokument till lärosäten och bedömare. 34 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

49 Urvalsprinciper Samtliga utbildningar ska omfattas av kvalitetssäkring. Det sker dels genom lärosätenas ansvar för att själva kvalitetssäkra de utbildningar som de erbjuder, dels genom att UKÄ utvärderar ett urval av utbildningar på grundnivå, avancerad nivå och forskarnivå. Urvalet kan antingen göras så att utbildningar vid enstaka lärosäten granskas eller så att samma utbildning vid samtliga lärosäten granskas för att ge en nationell bild av kvaliteten på en viss utbildning. Urvalet av vilka utbildningar som ska ingå i UKÄ:s granskningar baseras på följande huvudsakliga grunder: Ett urval av de utbildningar som inte omfattades av utvärderingssystemet bör utvärderas. För några yrkesexamina finns behov av att få en nationell bild av kvaliteten. Detta gäller främst legitimationsgrundande examina. Om ett lärosätes kvalitetssäkringsarbete inte godkänns i UKÄ:s granskningar kan ett extra antal utbildningar väljas ut för utvärdering. UKÄ kan initiera en utvärdering om det framkommer information om enstaka utbildningar som gör att det bedöms finnas risk för att kvalitetskraven för utbildningarna inte uppfylls. Underlag för bedömning Underlag för bedömningen utgörs av lärosätets självvärdering med bilagor, intervjuer med företrädare för den granskade utbildningen och studerande samt annat underlag som UKÄ tar fram. Slumpvis utvalda självständiga arbeten utgör också ett underlag i utbildningsutvärderingarna på grundnivå och avancerad nivå. Lärosätets självvärdering Självvärderingen syftar till att ge lärosätet möjlighet att visa att den utvärderade utbildningen uppfyller bedömningsgrunderna för aspektområdena och perspektiven. Lärosätet ombeds att beskriva, analysera och värdera med konkreta exempel hur det på ett systematiskt sätt säkerställer och följer upp den utvärderade utbildningens kvalitet, samt hur det säkerställer att studenter eller doktorander uppnått examensmålen när examen utfärdas. Fokus i redogörelserna bör vara på att med hjälp av konkreta exempel visa hur uppföljning, åtgärder för att hantera identifierade brister och för att bevara och utveckla styrkor samt återkoppling bidrar till att förbättra utbildningen på ett systematiskt sätt. I självvärderingen bör lärosätet därför ge exempel som beskriver såväl styrkor som identifierade utvecklingsområden, inklusive planerade och genomförda åtgärder för att vidareutveckla utbildningen. Detta syftar till att ge bedömarna en förståelse för utbildningen som helhet och för hur de interna processerna fungerar kvalitetsdrivande. UKÄ inser vikten av att följa upp tidigare studenters och doktoranders erfarenheter av utbildningarna, inte minst när det gäller att bedöma utbildningarnas användbarhet på arbetsmarknaden. UKÄ kommer därför att be lärosätena att i sin självvärdering beskriva hur de arbetar med detta i sitt kvalitetsarbete. UKÄ har däremot inte för avsikt att inkludera intervjuer eller enkäter riktade till alumner. Detta har främst att göra med de metodologiska 35 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

50 problem med låg svarsfrekvens som UKÄ erfor under utbildningsutvärderingarna som gjordes Möjligheten att intervjua alumner för att få deras syn på utbildningen och dess användbarhet utreddes även under pilotstudien av utvärdering av utbildning på forskarnivå. Cirka hälften av de tillfrågade lärosätena ställde sig positiva till att inkludera alumner i utvärderingen, men pekade samtidigt på flera metodologiska problem. Bilagor till självvärderingen kan utgöras av tabeller med information om exempelvis lärarresurser, forskningsaktivitet hos lärare i utbildningen, antal aktiva doktorander med mera. Självständiga arbeten Slumpvis utvalda självständiga arbeten kommer även fortsättningsvis att utgöra ett underlag för bedömningen av utbildningarnas resultat på grundnivå och avancerad nivå. Det kommer inte att finnas någon nedre gräns på antal självständiga arbeten som ska ingå i utvärderingen, vilket innebär att även de utbildningar som inte har resulterat i några självständiga arbeten kommer att ingå i utvärderingarna. De självständiga arbetena kommer bara att vara en del av det totala underlaget som ska bedömas och i de fall inga självständiga arbeten finns att tillgå får bedömarna basera granskningen på övriga underlag. Avhandlingar eller dokumenterade konstnärliga projekt kommer inte att utgöra bedömningsunderlag för utvärdering av utbildningar på forskarnivå. UKÄ har bedömt att inslaget av extern granskning av dessa redan är tillräckligt, i och med det förfarande med det offentligt försvar och externa betygsnämndsledamöter, som framgår av högskoleförordningen 6 kap Intervjuer För att komplettera den bild som bedömarna får av självvärderingen, självständiga arbeten och andra underlag kommer intervjuer med företrädare för den granskade utbildningen samt studenter och doktorander att genomföras. Under dessa intervjuer får lärosätesrepresentanternas utsagor samt studenternas och doktorandernas erfarenheter en möjlighet att komma fram. Övriga bedömningsunderlag Inför granskningarna tar UKÄ fram underlag om lärosätet och utbildningen som är av relevans för de aspektområden som ska granskas. Det kan till exempel röra sig om underlag utifrån nationell statistik som visar på genomströmning och etableringsgrad, tidigare tillsyn, examenstillståndsprövningar och tidigare utbildningsutvärderingar. Materialet utgör sedan ett underlag för diskussion och frågor vid intervjun. Lärosätet kommer att få ta del av underlaget i god tid före intervjuerna. Bedömning och yttrande Samtliga underlag ska vägas in i bedömargruppens bedömning av hur väl utbildningen uppfyller bedömningsgrunderna för de granskade aspektområdena och perspektiven. Samtliga ingående aspektområden och perspektiv ska bedömas som tillfredsställande för att utbildningen ska kunna bedömas hålla hög kvalitet. 36 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

51 Bedömargruppens bedömningar och resonemang ska redovisas på ett klart och tydligt sätt i ett yttrande, som ger återkoppling till lärosätet om de utvecklingsmöjligheter och de goda exempel som bedömarna har identifierat. Vidare ska det i yttrandet framgå tydligt vad som inte bedöms hålla tillräcklig kvalitet vid ett eventuellt ifrågasättande. Innan UKÄ fattar beslut kommer yttrandet att skickas till lärosätet på delning enligt det förfarande som har beskrivits tidigare i denna redovisning. Det slutliga yttrandet kommer sedan att ligga till grund för UKÄ:s beslut. Beslut Det samlade omdömet ges på en tvågradig skala. Med stöd av bedömargruppens yttrande beslutar UKÄ om utbildningen håller hög kvalitet eller om kvaliteten är ifrågasatt. För de utbildningar som får omdömet ifrågasatt kvalitet innebär det att UKÄ samtidigt ifrågasätter tillståndet att utfärda denna examen. Uppföljning Lärosäten vars utbildningars kvalitet har blivit ifrågasatt får, liksom i tidigare utvärderingssystem, ett år på sig för att åtgärda bristerna och lämna in en åtgärdsredovisning till UKÄ. För att granska lärosätets åtgärdsredovisning tillsätter UKÄ en bedömargrupp, som vid behov kan begära in kompletterande underlag samt yrka på en intervju om de anser att underlaget inte är fullständigt för att göra en bedömning. När bedömargruppen anser sig ha ett fullgott underlag görs en bedömning av åtgärderna som sedan lämnas till UKÄ i form av ett yttrande. Med stöd av bedömargruppens yttrande beslutar UKÄ om utbildningen nu håller hög kvalitet eller om examenstillståndet ska återkallas. UKÄ fattar beslut för statliga lärosäten, utom för Sveriges lantbruksuniversitet och Försvarshögskolan. När det gäller enskilda utbildningsanordnare, Sveriges lantbruksuniversitet och Försvarshögskolan överlämnas bedömargruppens yttrande samt UKÄ:s ställningstagande till regeringen för beslut. I de fall ett statligt lärosäte får sitt examenstillstånd återkallat, har antagna studenter och doktorander som hunnit påbörja sin utbildning rätt att fullfölja utbildningen (1 kap. 14 högskolelagen). Lärosätena har även möjlighet att lägga ned den ifrågasatta utbildningen. I sådana fall ska lärosätet senast sista dagen för inlämning av åtgärdsredovisningen inkomma med beslut om nedläggning av den ifrågasatta utbildningen till UKÄ. Ärendet kommer då att avskrivas. Om nedläggningsbeslutet kommer in efter sista dagen för redovisning av åtgärder avskrivs dock inte ärendet. I dessa fall kommer UKÄ att genomföra uppföljningen och pröva frågan om examenstillstånd för den berörda utbildningen. UKÄ anser att det är viktigt att även följa upp de utbildningar som fått omdömet hög kvalitet. Detta ligger även i linje med ESG standard 2.3, där uppföljning nämns som en del av den externa kvalitetssäkringsprocessen. Formerna för denna typ av uppföljning håller på att utarbetas, men kan inkludera enkäter, konferenser och andra former av uppföljning. 37 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

52 Tematiska utvärderingar Tematiska utvärderingar bidrar med kunskap och nationella jämförelser av hur lärosätena arbetar, och av vilka resultat som har nåtts i det aktuella temat. Syfte Syftet med de tematiska utvärderingarna är att bidra med viktig kunskap och nationella jämförelser av hur lärosätena arbetar, och av vilka resultat som har nåtts i det aktuella temat. De tematiska utvärderingarna kan även få stor betydelse för lärosätenas utvecklingsarbete. Val av tema De tematiska utvärderingarna ska utgå från uppgifter som lärosätena ansvarar för enligt lag och förordning och som bedöms väsentliga för kvaliteten i högre utbildning. Teman som kan bli föremål för utvärdering är till exempel breddad rekrytering, internationalisering och jämställdhet. Andra relevanta teman för utvärdering är utbildningars användbarhet och förberedelse för arbetslivet, dimensionering samt hållbar utveckling. Information som framkommer i UKÄ:s alla verksamheter, analyser och uppdrag kan också ligga till grund för tematiska utvärderingar. Metod Metoden för de tematiska utvärderingarna utvecklas och anpassas efter det aktuella temat, men ska i så stor utsträckning som möjligt följa de metoder som tillämpas för övriga komponenter. UKÄ kommer i god tid innan en tematisk utvärdering påbörjas att informera om aktuell metod. 38 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

53 Implementering av kvalitetssäkringssystemet Under hösten 2016 kommer pilotstudier att startas för att testa såväl metoden för granskning av lärosätens kvalitetssäkringsarbete som den vidareutvecklade metoden för utbildningsutvärderingar. I pilotstudien för utbildningsutvärderingar kommer förskollärar- och grundlärarutbildningar att ingå. När pilotstudierna är avslutade kommer metoderna vid behov att justeras och därefter fastställas för kommande ordinarie granskningar. UKÄ utformar en sexårsplan med start i januari 2017 som omfattar granskningar inom alla fyra komponenter. Hur många granskningar som görs inom ramen för respektive komponent från ett år till ett annat kommer att variera. Examenstillståndsprövningar De nya aspekterna och införandet av de tre perspektiven kommer att implementeras i examenstillståndsprövningar från årsskiftet Det innebär att ansökningar om examenstillstånd inkomna från och med 1 januari 2017 kommer att bedömas utifrån dessa aspekter och perspektiv. Granskning av lärosätenas kvalitetssäkringsarbete Under hösten 2016 kommer metoden för granskning av lärosätenas kvalitetssäkringsarbete att testas i en pilotstudie där Blekinge tekniska högskola, Högskolan Dalarna, Newmaninstitutet och Umeå universitet ingår. Urvalet av lärosäten till pilotutvärderingen grundas primärt på lärosätenas intresseanmälningar. Ett urval har sedan gjorts utifrån lärosätenas profil, utbildningsutbud, organisation, storlek och geografiska spridning. En spridning när det gäller medverkan i UKÄ:s övriga pilotstudier har även eftersträvats. De ingående lärosätena kommer att genomgå en komplett granskning enligt den metod som har beskrivits tidigare i denna redovisning. Beslut i granskningarna beräknas till hösten De lärosäten som får omdömet godkänt kvalitetssäkringsarbete genomgår ingen förnyad granskning inom sexårscykeln Om ett lärosäte däremot inte bedöms godkänt i pilotstudien kommer det att inkluderas i de ordinarie granskningarna. Efter avslutad pilotstudie kommer metoden vid behov att justeras innan de ordinarie granskningarna startar. Samtliga lärosäten ska granskas inom en sexårsperiod, och antalet lärosäten som UKÄ planerar att utvärdera per år kommer att vara jämt fördelade över sexårscykeln. Uppgifter om vilka lärosäten som granskas när kommer att redovisas under hösten UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

54 Utbildningsutvärderingar Utbildning på grundnivå och avancerad nivå En pilotstudie för att testa den vidareutvecklade metoden för utvärderingar av utbildningar på grundnivå och avancerad nivå kommer att starta under hösten I denna pilotstudie kommer förskollärar- och grundlärarutbildningar att ingå. Urvalet av lärosäten till pilotutvärderingen grundas primärt på lärosätenas intresseanmälningar. Ett urval har sedan gjorts utifrån antal nybörjarstuderande och geografisk spridning. Totalt kommer följande åtta utbildningar att ingå: två förskollärarutbildningar (Högskolan Kristianstad och Mälardalens högskola) två grundlärarutbildningar med inriktning mot fritidshem (Stiftelsen Högskolan i Jönköping och Umeå universitet) två grundlärarutbildningar med inriktning mot förskoleklass och årkurs 1 3 (Karlstads universitet och Linköpings universitet) två grundlärarutbildningar med inriktning årskurs 4-6 (Göteborgs universitet och Malmö högskola). I likhet med pilotstudierna för granskning av lärosätenas kvalitetssäkringsarbete kommer de utbildningar som får omdömet hög kvalitet inte att genomgå förnyad granskning när de ordinarie granskningarna startar. Om en utbildning däremot inte bedöms ha hög kvalitet i pilotstudien kommer den att inkluderas i de ordinarie granskningarna. Efter att pilotstudien avslutats kommer metoden att vid behov justeras innan de ordinarie granskningarna av förskollärar-, grundlärar-, ämneslärar- och yrkeslärarutbildningar startar. Utbildning på forskarnivå Utvärdering av utbildning på forskarnivå har redan testats i en pilotstudie Metoden har därefter justerats både efter de erfarenheter som gjordes i pilotstudien och i samband med den metodutveckling som skett med anledning av UKÄ:s uppdrag att vidareutveckla ett nytt kvalitetssäkringssystem. Planeringen för utvärdering av utbildning på forskarnivå i sexårscykeln utgår från forskningsämnesgrupperna och forskningsämnesområdena (enligt Standard för svensk indelning av forskningsämnen 2011). De sex forskningsämnesområdena är naturvetenskap, teknik, medicin och hälsovetenskap, lantbruksvetenskap, samhällsvetenskap samt humaniora inklusive konstnärlig forskning. För utvärdering av utbildning på forskarnivå har konstnärlig forskning lyfts ut ur humaniora och bildar ett eget sjunde forskningsämnesområde. Följande urvalsprinciper har i möjligaste mån använts: Alla lärosäten som erbjuder utbildning på forskarnivå utvärderas med avseende på minst en utbildning Minst en utbildning från vart och ett av de sju forskningsämnesområdena (se ovan) som ett lärosäte erbjuder utbildning på forskarnivå inom utvärderas Alla utbildningar inom utvalda forskningsämnesgrupper och forskningsämnen utvärderas för att möjliggöra en nationell lägesbild. 40 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

55 På detta sätt har ett urval om ca 300 utbildningar av totatalt ca 900 valts ut. Då övriga komponenter kommer att vara i pilotfas under 2017 har UKÄ valt att lägga en större andel utvärderingar (ca 100 st) av utbildningar på forskarnivå detta år. Följande ämnen (enligt Standard för svensk indelning av forskningsämnen 2011) kommer att utvärderas under 2017: Datavetenskap (datalogi) Textil-, gummi och polymermaterial Energisystem Fjärranalysteknik Annan veterinärmedicin Psykologi Tillämpad psykologi Nationalekonomi Pedagogik Historia Teknikhistoria Etik Religionshistoria Arkitektur Konstvetenskap Övriga utvärderingar av utbildningar UKÄ planerar att genomföra ytterligare granskningar av legitimationsgrundande yrkesexamina under sexårscykeln. Inom sexårscykeln planeras även för de eventuella extra utvärderingar av utbildningar som kommer att genomföras som en konsekvens av om något lärosäte inte blir godkänt i granskningen av lärosätets kvalitetssäkringsarbete eller om UKÄ får information om enstaka utbildningar som gör att det bedöms finnas en risk för att kvalitetskraven för utbildningen inte uppfylls. Tematiska utvärderingar I mars 2016 fick UKÄ i uppdrag av regeringen, som en ändring av regleringsbrevet för innevarande budgetår, att utvärdera lärosätenas arbete med att främja hållbar utveckling. Detta blir ett tillfälle att pröva metoder för tematiska utvärderingar. Uppdraget redovisas till regeringen senast den 1 september UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

56 Två- eller tregradig bedömningsskala UKÄ:s slutsats är att en tvågradig bedömningsskala ska användas både för granskningar av lärosätenas kvalitetssäkringsarbete och för utbildningsutvärderingar. I UKÄ:s uppdrag att vidareutveckla och implementera ett nytt kvalitetssäkringssystem för högre utbildning ingår även att utreda för- och nackdelar med en två- respektive tregradig bedömningsskala och slutligen avgöra vilken skala som ska användas (2015/16:76, bet. 2015/16:UbU9, rskr. 2015/16:155). Som framgår av beskrivningen av de olika komponenterna har UKÄ kommit till slutsatsen att en tvågradig bedömningsskala ska användas både för granskningar av lärosätenas kvalitetssäkringsarbete och för utbildningsutvärderingar. Det huvudsakliga argumentet för en tvågradig skala är att det ökar möjligheterna för både UKÄ och bedömarna att få till stånd rättssäkra bedömningar, eftersom att det kan vara svårt och resurskrävande att uttala sig om huruvida ett kvalitetssäkringsarbete fungerar mycket väl på alla nivåer inom lärosätet. UKÄ:s slutsats är att det mest relevanta i nuläget är att granska om lärosätenas kvalitetssäkringsarbete når ställda krav eller inte och en tvågradig skala kommer därmed att användas för såväl granskningar av lärosätenas kvalitetssäkringsarbete som för utbildningsutvärderingar. Granskning av lärosätenas kvalitetsarbete UKÄ:s slutsats är att en tvågradig skala är att föredra för granskningar av lärosätenas kvalitetssäkringsarbete. Vid motsvarande granskningar av lärosätenas kvalitetssäkringsarbete som utförs i Finland av The Finnish Education Evaluation Centre (FINEEC) och i Norge av Nasjonalt organ for kvalitet i utdanningen (NOKUT), används en tvågradig skala för det slutliga omdömet: godkänt respektive icke godkänt. I Danmark, använder Akkrediteringsinstitution (AI) en tregradig skala för det slutliga omdömet vid institutionsackrediteringar: positiv, villkorlig och avslag. UKÄ tog vid dialogmötena även upp en tregradig skala till diskussion, både en tregradig skala med någon form av väl godkänt som ett av de två godkända omdömena, och alternativet med godkänt med förbehåll, som skulle innebära en uppföljning inom sex månader. Åsikterna om vilken skala som borde användas gick isär och man såg för- och nackdelar med samtliga alternativ. En tregradig skala med väl godkänt kan vara kvalitetsdrivande, men den kan också verka normerande. Godkänt med förbehåll kan göra att bedömarna vågar underkänna eftersom konsekvenserna inte blir så kännbara, men om ett lärosäte har sådana brister att dess kvalitetssäkringsarbete inte 42 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

57 kan godkännas direkt innebär det också att en längre tid än sex månader kan behövas innan bristerna är åtgärdade. Förlänger man tiden som lärosätet får på sig för att rätta till bristerna blir det dock otydligt vad som skiljer detta alternativ från omdömet icke godkänt. Av dessa anledningar har UKÄ kommit fram till att en tvågradig skala är att föredra vid granskning av lärosätenas kvalitetssäkringsarbete. Samtidigt är det viktigt, vilket även framhölls vid dialogmötena, att bedömargruppernas yttranden ger ordentlig återkoppling till lärosätena, och att det är tydligt framskrivet vad som ska, bör eller kan åtgärdas. Utbildningsutvärderingar Även när det gäller utbildningsutvärderingarna gör UKÄ bedömningen att en tvågradig bedömningsskala är att föredra. Enligt högskolelagen ska lärosätena avpassa sin verksamhet så att utbildningen håller hög kvalitet (1 kap. 4 ). Detta i sig anser UKÄ talar för att det räcker med en tvågradig skala med benämningen hög kvalitet respektive ifrågasatt kvalitet. Att använda flera skalsteg för godkänd, det vill säga hög respektive mycket hög kvalitet, för att till exempel kunna lyfta fram de utbildningar som mer än väl uppfyller kraven och goda exempel är ytterligare ett alternativ. Eftersom en utbildningsutvärdering i grunden är en omprövning av examenstillståndet, och eftersom resultatet av utvärderingen inte längre är kopplat till extra resurser, anser UKÄ att en tvågradig skala är att föredra för utbildningsutvärderingarna. Goda exempel kan ändå skrivas fram i bedömargruppernas yttranden för de utbildningar det gäller. Vid dialogmötena förespråkade en majoritet av deltagarna en tvågradig skala. En tvågradig skala var även ett önskemål som framfördes i en majoritet av de synpunkte från representanter för lärosäten, lärare, studenter och arbetsliv som inhämtades i syfte att sammanställa erfarenheter från systemet Likaså förordar en majoritet av lärosätenas remissvar på Utbildningsdepartementets promemoria med förslag om ett nytt nationellt kvalitetssäkringssystem (U2015/01626/UH), som remitterades i mars 2015, en tvågradig skala. 43 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

58 Sanktioner vid beslut om icke godkänt kvalitetssäkringsarbete UKÄ bedömer att fortsatt granskning av lärosäten, vars kvalitetssäkringsarbete inte bedömts vara godkänt, i kombination med att ett extra urval av utbildningar utvärderas är tillräckligt för att lärosätena ska vidta de åtgärder som behövs för att säkra utbildningarnas kvalitet. Inga ytterligare sanktioner bedöms därmed vara nödvändiga. I regeringens uppdrag till UKÄ ingår att utreda om ytterligare sanktioner behövs, utöver vad som framgår av skrivelsen, om ett lärosätes arbete med kvalitetssäkring bedöms vara bristande och i sådana fall ge förslag på sanktioner (U2016/01132/UH, U2016/01349/UH). Enligt regeringens skrivelse bör ett bristande kvalitetssäkringsarbete få konsekvenser för lärosätet. Eftersom det innebär ett underkännande av lärosätets förmåga att ta eget ansvar för utbildningskvaliteten, bör det föra med sig att ett ökat antal utbildningar utvärderas av UKÄ. Regeringen uttrycker i skrivelsen att det bör vara tillräckligt med denna sanktion, men ger UKÄ i uppdrag att utreda om ytterligare sanktioner behövs. Våra nordiska grannländer skiljer sig åt när det gäller sanktioner. I Danmark, som har en tregradig skala (positiv, villkorlig respektive avslag) innebär ett positivt omdöme att lärosätet är ackrediterat och att det, efter obligatorisk förackreditering får inrätta nya utbildningar samt förändra sina befintliga utbildningar. Ackrediteringen gäller i sex år. Ett villkorat omdöme innebär att lärosätet inte får inrätta nya utbildningar utan dessa måste ackrediteras samt genomgå den obligatoriska förackrediteringen av AI. AI fastställer en plan för uppföljning av institutionsackrediteringen. Ett avslag innebär att lärosätet inte får starta nya utbildningar och att samtliga befintliga utbildningar ska ackrediteras. 6 I Norge används en tvågradig skala (godkänt respektive icke godkänt) där ett underkänt omdöme innebär att en uppföljning genomförs inom sex månader. Om lärosätets kvalitetssäkringssystem då fortfarande inte godkänns får lärosätet inte inrätta nya utbildningar. Det innebär vidare att lärosätet efter ytterligare ett år kan ansöka om en ny granskning. Om den nya granskningen på nytt utmynnar i ett negativt omdöme, eller om lärosätet väljer att inte ansöka om en ny prövning, hamnar lärosätet under NOKUT:s tillsyn Vejledning om institutionsakkreditering, och Vejledning til uddannelseakkreditering, AI NOKUTs evalueringer av systemer for kvalitetssikring av utdanningen ved universiteter og høyskoler, NOKUT UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

59 I Finland är det slutliga omdömet vid en granskning av högskolornas kvalitetssystem godkänt respektive ej godkänt. Ett godkänt omdöme medför en officiell kvalitetsstämpel som gäller i sex år. Vid ett negativt omdöme genomgår lärosätet en förnyad granskning inom två till tre år. Om denna resulterar i ett godkänt omdöme erhåller lärosätet den officiella kvalitetsstämpeln som gäller i sex år. Om den förnyade granskningen resulterar i ett negativt omdöme bestämmer FINEEC och det berörda lärosätet tillsammans när ytterligare en förnyad granskning ska genomföras. 8 Av ovanstående framgår att medan det i Finland inte finns några kopplingar till eller påverkan på examenstillståndet, finns det däremot det i Norge och Danmark. Där medför ett negativt omdöme dock inte att berört lärosäte förlorar något eller några examenstillstånd, men det berörda lärosätet kan inte söka några nya examenstillstånd. UKÄ menar dock att de norska och danska modellerna inte går att genomföra i den svenska kontexten med tanke på de statliga lärosätenas autonomi, som innebär att de har generella tillstånd att inrätta utbildningar 9 på olika nivåer beroende på om de är universitet eller högskolor. Därför är det UKÄ:s bedömning att fortsatt granskning av lärosäten vars kvalitetssäkringsarbete inte bedömts vara godkänt, i kombination med att ett extra urval av utbildningar utvärderas, är tillräckligt för att lärosätena ska vidta de åtgärder som behövs för att säkra utbildningarnas kvalitet. Även student- och lärosätesrepresentanter som deltog i dialogmötena instämmer i den bedömningen. 8. Auditeringshandbok för högskolornas kvalitetssystem för åren Gäller ej yrkesexamina 45 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

60 Jämförelser av utbildningars kvalitet UKÄ:s bedömning är att UKÄ:s egen webbplats i första hand ska utformas för att gälla myndighetens egna granskningar. UKÄ bedömer att uppgiften att samordna jämförelser av utbildningar bör särskiljas från uppdraget att vidareutveckla och implementera ett nytt kvalitetssäkringssystem. I regeringens uppdrag till UKÄ ingår att lämna förslag på hur utbildningars kvalitet ska kunna jämföras mellan olika universitet och högskolor (U2016/01132/UH, U2016/01349/UH). Förutsättningar Enligt regeringens bedömningar är frågor om intern kvalitetssäkring och utveckling en sak för lärosätena att besluta om, liksom hur verksamheten utformas och bedrivs. 10 Lärosätena har ett stort eget ansvar att kvalitetssäkra att deras verksamhet uppfyller kraven i tillämplig lag och förordning. Regeringen uppger i skrivelsen att hur kvalitetssäkringen bäst ska göras bestäms lokalt, med tillhörande utrymme för att beakta det enskilda lärosätets särskilda förutsättningar. Därmed är detta också en viktig utgångspunkt vid UKÄ:s vidareutveckling av det nya kvalitetssäkringssystemet för högre utbildning. I skrivelsen anges att samtliga lärosätens kvalitetssäkringsarbete ska granskas inom en sexårsperiod, och att UKÄ:s utbildningsutvärderingar utgör en viktig kompletterande del till granskningarna av lärosätenas kvalitetssäkringsarbete. 11 Vidare anges att UKÄ bör granska ett urval av utbildningar. Således ska inte alla utbildningar granskas av UKÄ. Regeringen bedömer att en konsekvens av detta blir att UKÄ:s granskningar inte kommer att kunna generera tillräcklig information för att möjliggöra nationella jämförelser av utbildningar i samma utsträckning som i det föregående systemet. 12 Däremot bedömer regeringen att UKÄ även fortsättningsvis bör informera om resultaten av alla sina granskningar och publicera dem på sin webbplats, 13 vilket UKÄ också avser att göra. Regeringen tillägger att lärosätena också bör ansvara för att offentliggöra resultaten av sina egna kvalitetsgranskningar Kvalitetssäkring av högre utbildning 2015/16:76, bet. 2015/16:UbU9, rskr. 2015/16:155 (s 11). 11. Kvalitetssäkring av högre utbildning 2015/16:76, bet. 2015/16:UbU9, rskr. 2015/16:155 (s 12). 12. Kvalitetssäkring av högre utbildning 2015/16:76, bet. 2015/16:UbU9, rskr. 2015/16:155 (s 18 19). 13. Kvalitetssäkring av högre utbildning 2015/16:76, bet. 2015/16:UbU9, rskr. 2015/16:155 (s 19). 14. Kvalitetssäkring av högre utbildning 2015/16:76, bet. 2015/16:UbU9, rskr. 2015/16:155 (s 19). 46 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

61 UKÄ:s bedömning Jämförelser på kort sikt UKÄ menar att regeringens skrivelse väl summerar de begränsade förutsättningar som finns för att åtminstone på kort sikt etablera någon form av systematiska jämförelser av utbildningars kvalitet. Fokus i det kvalitetssäkringssystem som nu utvecklats kommer i enlighet med regeringens skrivelse att vara på granskningarna av lärosätenas egna system för kvalitetssäkring. Utfallet av dessa avser UKÄ att publicera på sin webbplats. På samma sätt avser UKÄ att publicera utfallet av granskningar inom de övriga komponenterna, inklusive de utbildningsutvärderingar som kommer att genomföras i UKÄ:s regi. En viktig aspekt som särskilt betonar vikten av att UKÄ:s utbildningsutvärderingar bör hållas isär från andra granskningar, inklusive lärosätenas interna utbildningsutvärderingar, är att de kan resultera i ett ifrågasatt och i förlängningen indraget examenstillstånd om utbildningen inte uppfyller kraven i tillämplig lag och förordning. Det gör UKÄ:s utvärderingar speciella till sin karaktär. UKÄ:s bedömning är därmed att UKÄ:s egen webbplats i första hand ska utformas för att gälla myndighetens egna granskningar. Det är dock viktigt att påpeka att de utbildningsutvärderingar av ämnen eller yrkesexamina som UKÄ genomför avser UKÄ att göra nationellt. Det innebär att möjligheten till jämförelser av kvaliteten på utbildningar som UKÄ granskat, till exempel förskollärarexamen, kommer att vara god. Jämförelser på längre sikt Som framgått anger regeringen i skrivelsen att lärosätena också bör ansvara för att offentliggöra resultaten av kvalitetsgranskningar. Regeringens bedömning är i linje med ESG standard 1.8. som anger att lärosätena ska publicera information om den egna verksamheten. I ett första steg innebär det att det är rimligt att lärosätena offentliggör resultaten och metoderna för de interna granskningarna på sina respektive webbplatser. UKÄ överväger dessutom att följa upp att lärosätena offentliggör sådan information i samband med granskningen av ett lärosätes kvalitetssäkringsarbete. I ett andra steg skulle dessa granskningar kunna länkas till en gemensam webbplats för information om jämförelser av utbildningars kvalitet, men också om lärosätenas interna kvalitetsarbete. Hur detta bäst skulle organiseras är en viktig diskussion för UKÄ och lärosätena. Det är också viktigt att framhålla att det redan i dag finns en rik källa till information om lärosäten och utbildningar genom den statistik som UKÄ publicerar. Slutsats UKÄ:s bedömning av hur jämförelser av utbildningar skulle kunna genomföras är således att det är en viktig fråga, men att den inte passar inom ramen för det kvalitetssäkringssystem som nu utvecklats. Till detta kommer vikten av att skilja redovisningen av UKÄ:s granskningar från granskningar i annan regi. UKÄ:s slutsats är att uppgiften att samordna jämförelser av utbildningar därför bör särskiljas från uppdraget att vidareutveckla och implementera ett nytt kvalitetssäkringssystem. 47 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

62 Ovanstående frågor diskuterades vid de dialogmöten om förslaget till kvalitetssäkringssystem som UKÄ genomförde i maj och juni De studenter och representanter från lärosätena som medverkade vid dessa möten uttryckte att en nationell jämförelse av samtliga utbildningars kvalitet inte var en prioriterad fråga för dem. Man ansåg däremot att det är viktigt att lärosätena på ett tydligt sätt beskriver och publicerar sitt interna kvalitetssäkringsarbete och resultatet av de egna utvärderingarna. Representanterna för arbetslivsorganisationerna menade att jämförelser av utbildningar och utbildningars kvalitet kan ge viktig information både till arbetslivets parter och till blivande studenter, men att denna fråga borde frikopplas från uppdraget att vidareutveckla och implementera ett nytt kvalitetssäkringssystem. UKÄ:s slutsats är således att UKÄ:s egen webbplats i första hand ska utformas för att gälla myndighetens egna granskningar. Vidare gör UKÄ bedömningen att uppdraget att lämna förslag på hur utbildningars kvalitet ska kunna jämföras mellan olika universitet och högskolor bör särskiljas från uppdraget att vidareutveckla ett nytt kvalitetssäkringssystem. Det finns flera tänkbara sätt som jämförande uppgifter kring lärosätena och de utbildningar som erbjuds skulle kunna presenteras på. UKÄ publicerar redan i dag, och kommer att fortsätta att publicera, resultaten av samtliga granskningar som genomförs i UKÄ:s regi, vilka kan bidra till att blivande studenter kan göra väl avvägda utbildningsval. Dessutom publicerar UKÄ nationell statistik om lärosäten och utbildningar som skulle kunna ligga till grund för en nationell jämförelse av lärosätena och utbildningsutbudet. 48 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

63 Bilaga 1 Nedan redovisas de personer som ingått i rådgivande grupper och referensgrupper och som deltagit i arbetet fram till rapporteringen till regeringen. Rådgivande gruppen för arbetet med hela systemet: Karin Axelsson, Linköpings universitet Jonas Granfeldt, Lunds universitet (fram till mars 2016) Peder Hofmann, Kungl. Musikhögskolan i Stockholm Sara Karlsson, Kungliga Tekniska högskolan Madeleine Rohlin, Malmö högskola Maria Wolters, Uppsala universitet Karin Åmossa, Sveriges universitetslärare och forskare (SULF) Rådgivande gruppen för arbetet med utvärdering av lärarutbildningar: Anders Olsson, Malmö högskola Annika Lilja, Göteborgs universitet Astrid Pettersson, Stockholms universitet Gun Lundberg, Umeå universitet Helena Loborg, Linköpings universitet Kerstin Ericson, Stiftelsen Högskolan i Jönköping Maj Asplund Carlsson, Högskolan Väst samt Göteborgs universitet Per-Henrik Holgersson, Kungl. Musikhögskolan i Stockholm Rådgivande gruppen för arbetet med utvärdering av utbildningar på forskarnivå: Kjersti Bale, Universitetet i Oslo Christina Cliffordson, Göteborgs universitet och Högskolan Väst Lars Ekedahl, f.d. rektor för Högskolan Väst Love Ekenberg, Stockholms universitet Stina Johansson, Umeå universitet Maritta Soininen, Stockholms universitet Roger Säljö, Göteborgs universitet Christina Ullenius, f.d. rektor vid Karlstads universitet Dessutom har följande personer lämnat synpunkter på utvärderingsfrågorna och vägledningen till lärosätena för pilotstudien av utvärdering av utbildning på forskarnivå: Eva Forsberg, Uppsala universitet Robert Harris, Karolinska Institutet Charlotta Forss, Stockholms universitet, doktorand i historia Karin Jonsson, Södertörns högskola, doktorand i historia och samhällsstudier 49 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

64 Referensgruppen för arbetet med hela systemet med representanter för lärosäten, studenter och doktorander: Tove Ahlsten, SFS Johan Alvfors, SFS Ingrid Elam, Göteborgs universitet Marita Hilliges, Högskolan Dalarna (sedan februari 2016) Fredrik Hylerstedt, student vid Linköpings universitet Åsa Kettis, Uppsala universitet Eric Lindesjöö, Linköpings universitet Karin Röding, Mälardalens högskola (fram till januari 2016) Astrid Söderbergh Widding, Stockholms universitet Anders Söderholm, Mittuniversitetet Dessutom har möten hållits med Sveriges universitetslärare och forskare för att få synpunkter på systemet ur ett lärarperspektiv. Referensgruppen för arbetet med utvärdering av utbildning på forskarnivå med representanter för lärosäten och doktorander: Johan Alvfors, SFS Ingrid Elam, Göteborgs universitet Stephen Hwang, Linnéuniversitetet Pernilla Jönsson, SULF Åsa Kettis, Uppsala universitet Jeanette Lindberg, SULF:s doktorandförening Jana Sochor, SFS Christian Stråhlman, SFS Referensgruppen för arbetet med hela systemet med representanter för olika arbetsgivar- och arbetstagarorganisationer: Mikaela Almerud, Svenskt Näringsliv German Bender, TCO (fram till november 2015) Per Fagrell, Teknikföretagen (fram till november 2015) Thomas Hagnefur, LO (fram till oktober 2015) Åsa Krook, Arbetsgivarverket Emelie Lilliefeldt, SACO Kristina Lovén Selden, TCO (sedan december 2015) Jesper Lundholm, Unionen Anna Lundgren, Arbetsgivarverket Carin Renger, SKL Linda Simonsen, SACO Fredrik Voltaire, Almega (sedan november 2015) 50 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

65 Referensgruppen för arbetet med utvärdering av utbildning på forskarnivå med representanter för olika arbetsgivaroch arbetstagarorganisationer: Per Fagrell, Teknikföretagen German Bender, TCO Alexander Beck, Civilekonomerna Karin Åmossa, SULF Inger Ehn Knobblock, ST Referensgruppen för arbetet med hela systemet med internationella experter inom kvalitetssäkringsområdet: Fiona Crozier, QAA, Storbritannien Hanne Foss Hansen, Köpenhamns universitet, Danmark Achim Hopbach, AQ Austria, Österrike Joseph Grifol, AQU Catalunia, Spanien 51 UKÄ RAPPORT 2016:15 NATIONELLT SYSTEM FÖR KVALITETSSÄKRING AV HÖGRE UTBILDNING

66 Universitetskanslersämbetet (UKÄ) ska bidra till att stärka den svenska högskolan och Sverige som kunskapssamhälle. Vi granskar kvaliteten på högskoleutbildningarna, vi analyserar och följer upp utvecklingen inom högskolan och vi bevakar studenternas rättssäkerhet.

67 RAPPORT Dokumentdatum Diarienummer V Skapat av Sara Karlsson Inventering av KTH:s kvalitetssystem i relation till ESG Redovisning av uppdrag från fakultetsrådet 1 (16)

68 RAPPORT Dokumentdatum Diarienummer V Sammanfattning ESG del 1 utgör en gemensam europeisk standard för lärosätens interna kvalitetsarbete. Det är också troligt att ESG blir grunden i ett kommande nationellt utvärderingssystem (UKÄ). I denna rapport görs en inventering av KTH:s kvalitetsarbete i relation till ESG-standarderna En generell slutsats är att KTH har de flesta dokument, roller och system på plats som krävs för att klara en miniminivå vid en eventuell utvärdering. Eftersom KTH har högre ambitioner än så, finns det dock anledning att arbeta mer med implementering, spridning och uppföljning så att kvalitetsarbetet blir mer effektivt. Standarderna är inte heller av sådan karaktär att de kan bockas av, utan de behöver arbetas med kontinuerligt enligt principen om ständiga förbättringar. Det förordas att KTH nu prioriterar arbetet med standarderna 1.9 (kontinuerlig uppföljning och regelbunden granskning av utbildningarna) och 1.2 (utformning och inrättande av utbildning). I dagsläget når KTH inte upp till standard 1.9 som både har ett stort egenvärde och som förväntas väga tungt i kommande utvärdering. KTH:s system för kursanalys bör också reformeras. Dessutom förordas att utbildning på forskarnivå på ett tydligare sätt inkluderas i kvalitetssystemet. Inventeringen uppmärksammar vidare standard 1.3. (studentcentrerat lärande, undervisning och bedömning) som, i likhet med utbildningens koppling till forskning och innovation, bör ses som värdegrunder som ska genomsyra allt kvalitetsarbete. I och med att lärandet sätts i centrum blir även standard 1.5 (undervisande personal) prioriterad. I rapporten konstateras slutligen att det på KTH bedrivs en hel del systematiskt kvalitetsarbete utan att detta idag har en sådan etikett. Viktiga exempel inkluderar den årliga verksamhetsplaneringen och verksamhetsuppföljningen, samt den regelbundet återkommande seminarieverksamheten. Dessa bör lyftas fram tydligare som delar av kvalitetssystemet. KTH bör inte skapa nya parallella kvalitetssystem utan bygga vidare på det som redan finns. 2 (16)

69 RAPPORT Dokumentdatum Diarienummer V Innehåll Sammanfattning... 2 Bakgrund Policy för kvalitetssäkring Utformning och inrättande av utbildning Studentcentrerat lärande, undervisning och bedömning Antagning av studenter, progression, erkännande och utfärdande av examensbevis Undervisande personal Läranderesurser och studentstöd Informationshantering Information till allmänheten Kontinuerlig uppföljning och regelbunden granskning av utbildning Regelbunden extern kvalitetssäkring Andra delar av kvalitetssystemet Slutsatser och rekommendationer Referenser (16)

70 RAPPORT Dokumentdatum Diarienummer V Bakgrund Den europeiska överenskommelsen Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG) innehåller bland annat tio standarder ( ) för lärosätens interna kvalitetsarbete. Standarderna fokuserar på utbildning men kommer även in på forsknings-, ledningsoch kompetensfrågor. ESG är resultatet av en överstatlig dialog inom ramen för Bologna-processen och är därför inte detaljstyrande utan ger stor lokal tolkningsfrihet. De riktlinjer som ges i ESG kan ses som goda exempel. De olika standarderna överlappar också varandra i hög grad (Gover et al. 2015; Universitetskanslersämbetet 2015). Regeringen har aviserat att svenska lärosäten ska ges ett större eget ansvar för kvalitetssäkring av utbildning. UKÄ:s framtida granskningar ska i ökad grad beakta detta. Att lärosätena arbetar i enlighet med ESG blir då väsentligt (Utbildningsdepartementet 2015). KTH har börjat uppmärksamma ESG. Fakultetsrådet gav 2014 utbildningsutskottet i uppdrag att se över rutinerna för intern cyklisk utvärdering av KTH:s utbildningsprogram. Detta uppdrag relaterar till ESG-standard 1.9 ( kontinuerlig uppföljning och regelbunden granskning av utbildningarna ) som troligtvis kommer att vara central i UKÄ:s kommande granskningar. Övriga ESG-standarder ingår inte i utbildningsutskottets uppdrag. Hösten 2015 gav Fakultetsrådet undertecknad i uppdrag att göra en inventering av KTH:s kvalitetssystem i relation till ESG-standarderna På basis av inventeringen ska fakultetsrådet fatta beslut om eventuella åtgärder. Denna rapport innehåller en kort redogörelse för vad respektive standard innebär, följt av en beskrivning av hur KTH i dagsläget arbetar med frågan. Detta följs av en värdering av hur väl KTH faktiskt uppfyller standarderna. Rapporten avslutas med att identifiera framtida prioriteringar. Inventeringen bygger på befintligt, publicerat material (främst från intranätets regelverkssidor) och på samtal med kollegor på planerings- och utredningsavdelningen, ECE-skolan och THS. Den gör inte anspråk på att vara heltäckande. Syftet är snarare att ge en första fingervisning att utgå ifrån både i det framtida interna kvalitetsarbetet och i förberedelse för extern utvärdering. 1.1 Policy för kvalitetssäkring Lärosätena har en kvalitetssäkringspolicy som är offentlig och utgör en del av den strategiska styrningen. Interna aktörer utvecklar och tillämpar denna policy genom ändamålsenliga strukturer och processer, och externa intressenter involveras. Denna standard handlar om att ha formella styrdokument för kvalitetssäkring och att implementera dessa på ett effektivt vis. Lärosätena kan välja olika former för tillämpning, uppföljning och revidering. Beskrivning: KTH i relation till 1.1 På KTH finns en kvalitetspolicy som beslutats av universitetsstyrelsen men som fakultetsrådet äger (KTH 2015a). En mindre revidering av denna gjordes i april Eventuellt kommer en större revidering att göras under nuvarande fakultetsråds mandatperiod. Till kvalitetspolicyn är en handlingsplan för perioden knuten (KTH 2011). Sedan 2011 har KTH även gjort en årlig kvalitetsredovisning (KTH 2014a). Syftet med den är att synliggöra både det kvalitetsarbete som har gjorts och de resultat som har uppnåtts. Genom att denna redovisning tas fram årligen är det möjligt att följa KTH:s kvalitetsutveckling över tid. I och med nuvarande handlingsplan går ut till årsskiftet har fakultetsrådet påbörjat ett arbete med att formulera framtida strategiska prioriteringar för kvalitetsarbetet. Tanken är samtidigt att kvalitetsredovisningen ska bli tydligare kopplad till dessa strategiska prioriteringar. 4 (16)

71 RAPPORT Dokumentdatum Diarienummer V Värdering: KTH i relation till 1.1 KTH har formella styrdokument för kvalitetsäkring, och dessa följer en logisk kedja: policyhandlingsplan-redovisning. Dokumenten i sig möter de krav som ställs. När det gäller implementering finns dock brister. Kvalitetspolicyn med tillhörande handlingsplan är relativt okända i verksamheten och diskuteras sällan av beslutande organ. Fakultetsrådet har - bl.a. eftersom ledare och ledamöter har bytts ut under resans gång - gradvis förlorat ägarskapet för dokumenten. Utan sådant ägarskap blir dokument av detta slag lätt hyllvärmare. Därför är det arbete som fakultetsrådet nu gör för att formulera framtida prioriteringar viktigt. Ovanstående gäller specifikt fakultetsrådets strategiska arbete. Tendensen på KTH är annars att kvalitetsarbetet integreras alltmer i den reguljära styrningen. Därför skulle KTH:s vision, utvecklingsplan och uppföljning av utvecklingsplan, liksom den årliga verksamhetsplanerings- och uppföljningscykeln mycket väl kunna presenteras som KTH:s system för kvalitetssäkring, även om detta inte görs idag. Andra viktiga styrdokument är arbetsordning och delegationsordning. Här specificeras ansvar och roller, vilket skapar förutsättningar för kvalitetsarbetet. (Se resonemang om Andra delar av kvalitetssystemet nedan.) 1.2 Utformning och inrättande av utbildning Lärosätena har processer för utformningen och inrättandet av utbildningar. Utbildningarna utformas så att de utbildningsmål som fastställts för dem, inklusive lärandemål, kan uppfyllas av studenterna. Den examen som en utbildning leder till är tydligt specificerad och kommunicerad samt refererar till den rätta nivån inom den nationella referensramen för examina och, följaktligen, till den europeiska referensramen för kvalifikationer. Denna standard berör en central kvalitetsprocess, dvs. hur utbildningar inrättas, vilka som deltar i beslutet och vilka krav som då ställs. Det är troligt att denna standard blir viktig i ett kommande nationellt utvärderingssystem och att den i så fall kopplas ihop med 1.9, den kontinuerliga granskningen av utbildningarna. Standarden gäller såväl kurser som program ( utbildningar ska ses som en generisk term), på grundnivå, avancerad nivå och forskarnivå. Beskrivning: KTH i relation till 1.2 I KTH:s regelverk finns föreskrifter för inrättande av kurser på grundnivå och avancerad nivå samt för vidareutbildningskurser. Det finns även en föreskrift som tillsammans med arbetsordningen redogör för processen för inrättande av utbildningsprogram, inklusive ansvar och roller. För närvarande pågår en översyn av styrdokumenten som inkluderar förslag om att regelverket i framtiden tydligt ska inkludera även forskarnivån men att vidareutbildning ska utgå. Under 2015 har frågan aktualiserats av att det inkommit ansökningar om inrättande av nya civilingenjörsprogram. Fakultetsrådet bordlade ansökningarna och gav prodekanus i uppdrag att ge förslag på hur processen för inrättande kan förbättras. I november beslutade fakultetsrådet i enlighet med prodekanus förslag som innebär att tidigarelägga både den strategiska diskussionen i fakultetsrådet och utbildningsutskottets involvering. Utbildningsutskottet har nu i uppdrag att utarbeta detaljerna i tidplanen. Fakultetsrådet kommer inte att behandla några nya ansökningar om inrättande inför 2017/2018 (utöver de som omnämns i skolornas verksamhetsuppdrag). Parallellt pågår en utredning om KTH:s framtida programstruktur på grundnivå och avancerad nivå ledd av Anders Axelsson. Detta relaterar till ett mål som finns i KTH:s utvecklingsplan om att skapa en tydligare och överskådligare programstruktur. När det gäller utbildning på forskarnivå finns regelverk kring inrättande av doktorsprogram samt inrättande av ämnen och kurser på forskarnivå. Här är inte programmen styrande på samma sätt som på lägre nivåer utan den kritiska enheten är ämnet och ämnets studieplan. En översyn av regelverket 5 (16)

72 RAPPORT Dokumentdatum Diarienummer V pågår i syfte att tydliggöra processen och de krav som ställs på ett ämnes studieplan i relation till utbildningsmålen. Vad gäller kurser har FUS-projektet visat att det finns brister i kursutbudet i så måtto att det saknas kurser i generiska färdigheter och att informationen till doktoranderna är bristfällig. Värdering: KTH i relation till 1.2 KTH har formella föreskrifter på plats för hur processen kring inrättande av utbildning på grundnivå och avancerad nivå ska gå till. När processen har satts på prov har den dock visat sig ha svagheter. Det gäller tidplanen - att det behövs mer tid till diskussion - men framför allt kvalitetsaspekterna. Det behövs en större tydlighet kring vilka kvalitetskrav som gäller vid inrättande av nya utbildningar. Vilken roll spelar studenternas efterfrågan respektive arbetsmarknadens behov? Hur ska utbildingarna utformas så att studenterna kan nå lärandemålen? Detta är centrala kvalitetsfrågor som behöver diskuteras mer. Vad gäller utbildning på forskarnivå återstår arbete vad gäller kursnivån. Det gäller i synnerhet att skapa ett kursutbud som kan möta doktorandernas behov av att nå upp till lärandemålen, samt att synliggöra det utbud som finns (se även 1.8). På samtliga nivåer gäller att kurs- och programmål behöver länkas så att studenterna kan uppfylla lärandemålen. Detta är inte alltid tydligt på KTH. 1.3 Studentcentrerat lärande, undervisning och bedömning Lärosätena säkerställer att utbildning ges på ett sätt som inbjuder studenterna till att ta en aktiv roll i lärandeprocesserna och att detta återspeglas i bedömningen av studenterna. Denna standard är ny i den senaste versionen av ESG, och mycket tyder på att den kommer att spela stor roll även i det svenska nationella utvärderingssystemet. Eftersom Sverige generellt anses ligga väl till, till exempel när det gäller studenters deltagande i beredande och beslutande organ, kan vi förvänta oss att ribban läggs högt. Samtidigt är detta en standard som det råder viss osäkerhet kring hur den ska bedömas (Gover et al. 2015). Om studentcentrerat lärande ses som en värdegrund, på vilket sätt ska lärosätena se till att denna efterföljs? Europeiska lärar- och studentorganisationer, och även SFS har gett ut skrifter för att förtydliga detta (Education International (EI) & The European Students Union (ESU) 2010; SFS 2013). Här betonas bland annat vikten av att studenters olika behov tas tillvara genom flexibla studievägar och varierad pedagogik att examinationen utgår från lärandemålen och att studenterna får återkoppling utifrån detta att kursvärderingar görs och att resultaten av dessa återkopplas till studenter och används i det kontinuerliga kvalitetsarbetet att det finns krav på och incitament för pedagogisk meritering för lärare I den svenska kontexten diskuteras även frågor kring studentaktivitet och studieintensitet, t.ex. hur många undervisningstimmar ges, vilket stöd tillhandahålls och hur får studenter bäst ansvar för sitt eget lärande? Beskrivning: KTH i relation till 1.3 Eftersom denna standard potentiellt inbegriper väldigt mycket är det svårt att göra en kort lägesbeskrivning, men följande kan nämnas: I KTH:s regelverk finns föreskrifter om hur betyg ska sättas och vem som ska vara examinator. I samband med den pågående översynen av kursprocesser lyfts frågan om krav på ämneskompetens hos examinator. För examensarbetet finns särskilt utarbetade bedömningsgrunder och kriterier. Här betonas att examinationen ska vara länkad till kursens mål. Det finns en kurs för lärare i att utveckla lärandet med hjälp av betygskriterier. En kurs för examinatorer planeras. Inom utbildning på forskarnivå är den individuella studieplanen det främsta verktyget för att följa upp lärandemålen. 6 (16)

73 RAPPORT Dokumentdatum Diarienummer V På KTH är högskolepedagogisk utbildning om minst 15 hp ett krav enligt anställningsordningen, och pedagogisk skicklighet är en bedömningsgrund vid befordran. Det finns krav på att doktorander som undervisar ska ha gått kurs i grundläggande kommunikation och undervisningslära. Utbildning i forskarhandledning är obligatorisk för att bli docent och därmed kunna vara huvudhandledare till doktorander. KTH ger högskolepedagogisk utbildning vid ECE-skolan, där även högskolepedagogisk forskning bedrivs. ECE ska också validera högskolepedagogisk kompetens förvärvad på andra håll. Skolorna har som stående uppdrag att öka andelen lärare med högskolepedagogisk kompetens. Detta följs upp i samband med skoldialogerna. Sedan 2013 görs en satsning på pedagogiska utvecklare vilka ska fungera som nav i det pedagogiska utvecklingsarbetet på respektive skola. Ett arbete med att ta fram ett pedagogiskt program har också gjorts men inget beslut har ännu tagits. Vidare finns sedan länge (1997, senast uppdaterat 2007) ett rektorsbeslut på att kursanalys ska göras för samtliga genomförda kurser. Bland annat interrevisionen har dock uppmärksammat att detta system inte är systematiskt implementerat, och att studenter upplever brist på återkoppling. Vidare efterlyses en bättre koppling mellan kurs- och programnivå, och över huvud taget ett systematiskt grepp om programutvärdering (se standard 1.9 nedan) (KTH 2015b). Det uppfattas inte heller som tydligt ifall beslutet faktiskt även gäller kurser på forskarnivå. Samtidigt finns det goda exempel på miljöer där man arbetar aktivt med såväl analys som återkoppling. Ett verktyg kallat LEQ som kan användas på både kurs- och programnivå har utvecklats (Borglund et al. 2015). Värdering: KTH i relation till 1.3 Det är svårt att uttala sig generellt om hur KTH ligger till när det gäller denna standard. Återigen finns viktiga dokument och stödsystem på plats, men det finns frågetecken när det gäller genomslaget. I nuläget är ett grundproblem att det saknas en gemensam praxis. Det finns många goda exempel på att utbildningar utformas med lärandemålen som utgångspunkt, och det finns även examinations- och utvärderingsmodeller som används exemplariskt med studentens aktiva lärande i fokus. Samtidigt finns det miljöer där detta inte fungerar alls. Återkoppling till studenterna framstår som ett problemområde. Trots de utbildningar och det stöd som ges, finns ofta också en osäkerhet kring hur till exempel bedömning av studenternas aktiva roll/deltagande i lärandet ska ske. Det andra problemområdet handlar om systemet för kurs- och programutvärdering, där nu liggande rektorsbeslut förefaller utdaterat. Studenterna efterfrågar med rätta ett utvärderingsystem som är kopplat till deras lärande i programmet som helhet. LEQ-modellen är ett gott exempel men kommer inte alla kurser, program och studenter till del. Utvärdering av kurser på forskarnivå är kraftigt eftersatt. 1.4 Antagning av studenter, progression, erkännande och utfärdande av examensbevis Lärosätena tillämpar på ett konsekvent sätt fördefinierade och publicerade regler som omfattar hela studentens studietid, det vill säga antagning, progression, erkännande och utfärdande av examensbevis. Även denna standard är nytillkommen i den senaste ESG-upplagan. Den handlar om studenternas livscykel från antagning till utfärdande av examen. Det är mindre troligt att denna standard blir central i det kommande utvärderingssystemet. Däremot inbegriper den frågor vars politiska betydelse växer, bland annat till följd av ökad invandring: erkännande av utbildning och validering av reell kompetens. Beskrivning: KTH i relation till 1.4 KTH:s regelverk omfattar antagningsordning och examensföreskrifter för studerande på grundnivå och avancerad nivå. Det finns också föreskrifter om uppflyttning av studerande inom arkitekt- och civilingenjörsutbildningen, samt inom master- och magisterutbildningen. På forskarnivå finns en antagningsordning samt examensföreskrifter. 7 (16)

74 RAPPORT Dokumentdatum Diarienummer V Som del i antagningen finns regler kring erkännande av utbildning och validering av reell kompetens. KTH ger också genom samarbetet SFINX utbildning för utländska ingenjörer i syfte att öka anställningsbarheten för denna grupp. Värdering: KTH i relation till 1.4 KTH har regelverket på plats även om det kan behöva vissa omarbetningar. Det senare inkluderar - vilket nu planeras - en gemensam antagningsordning för samtliga utbildningsnivåer. I FUS-projektet har antagningen till forskarutbildningen identifierats som något av en gråzon. Där finns ett behov av att lägga mer fokus på kompetensbaserad rekrytering. När det gäller erkännande och valideringsfrågor verkar KTH ligga bra i fas eller något före andra lärosäten, men trycket kommer troligen att öka i framtiden. 1.5 Undervisande personal Lärosätena säkerställer kompetensen hos lärarna. Rättvisa och transparenta processer för rekrytering och kompetensutveckling av personalen tillämpas. Denna standard handlar om lärarkompetens och är nära länkad till 1.3. I riktlinjerna nämns i synnerhet lärarrekrytering, kompetensutveckling, kopplingen mellan forskning och utbildning samt pedagogik. Det är troligt att denna standard kommer att ges stor vikt i ett kommande nationellt utvärderingssystem - precis som i alla tidigare system där förutsättningar för utbildningskvalitet har vägts in. Beskrivning: KTH i relation till 1.5 På KTH finns regelverk i form av anställningsordning och kompletterande anvisningar från fakultetsrådet vad gäller läraranställningar. Fakultetsrådet och dess anställningsutskott har ett betydande kvalitetsansvar när det gäller befordring, rekrytering och uppföljning. Processen för läraranställningar utvärderades inom ramen för AAE-projektet (KTH 2014b) och befanns fungera väl. Till utmaningarna hör de långa ledtiderna som de olika stegen innebär. KTH:s skolor har upprättat strategiska planer för fakultetsutveckling. Dessa relaterar till skolornas utvecklingsplaner och är ett underlag för dialog kring långsiktig strategisk utveckling mellan rektor och skolorna. KTH har infört en akademisk karriärväg, Tenure Track, som inleds med en anställning som biträdande lektor med därpå följande rätt att prövas för befordran till lektor och så småningom till professor. Inom Tenure Track erbjuds ett karriärutvecklingsprogram, som innehåller nätverksbyggande (mentorsprogram), stöd för vetenskaplig och pedagogisk utveckling samt ledarskapsutbildning. Även karriärstödet har utvärderats (Geschwind & Pehrson 2013). När det gäller pedagogisk meritering och högskolepedagogisk utbildning på ECE, se 1.3. ovan. Fakultetsrådet har initierat en utredning när det gäller kopplingen mellan forskning och utbildning på KTH. Detta är en fråga som inte har belysts systematiskt i tidigare utvärderingar. Värdering KTH i relation till 1.5 KTH får sägas ha nödvändiga styrdokument och processer på plats för rekrytering och befordran. Det finns stöd till kompetensutveckling inklusive pedagogisk meritering. Införandet av Tenure Track är ett sätt att skapa långsiktighet i rekrytering och kompetensutveckling. Sammantaget kan KTH sägas ligga väl framme på det här området. Samtidigt är detta ett typexempel på en standard som aldrig går att bocka av utan kräver ständiga förbättringar. Tack vare de utvärderingar som gjorts finns det god 8 (16)

75 RAPPORT Dokumentdatum Diarienummer V kunskap om vilka förbättringar som kan göras inom rekrytering och karriärstöd. Kopplingen mellan forskning och utbildning hör till de mindre väl genomlysta frågorna. 1.6 Läranderesurser och studentstöd Lärosätena avsätter tillräcklig finansiering för lärande och undervisningsaktiviteter samt säkerställer att det finns ändamålsenliga och lättillgängliga läranderesurser samt studentstöd. Denna standard handlar om infrastruktur: det stöd som ges till studenter i syfte att förbättra deras lärande och i förlängningen genomströmningen på utbildningen. Här är frågan om studenters olika behov relevant. Svensk högskola brukar betraktas som relativt framstående på det här området. Beskrivning: KTH i relation till 1.6 KTH har en central avdelning för studentservice som arbetar med studievägledning, stöd till studenter med funktionsnedsättning (FUNKA), studenthälsovård, karriärfrågor och stöd till internationella studenter. Lokalt har varje program en studievägledare. Studentkåren är aktiv i frågorna både lokalt och centralt. Vidare har KTH byggt upp ett Academic Resource Center (ARC) som riktar sig till samtliga studenter och där kurser, föreläsningar och skrivhjälp erbjuds. Under 2014 drev KTH ett mångfaldsprojekt med särskilt fokus att öka inkluderingen av alla studentkategorier. KTH erbjuder sökande till tekniska och naturvetenskapliga utbildningar nätbaserade studieförberedande kurser mellan gymnasieskola och högskola. Kurserna ska stödja nybörjare och underlätta övergången från gymnasieskolan till högskolan. Supplemental Instruction erbjuds i matematik och kurser med svag genomströmning. En satsning på digital lärmiljö görs för närvarande. Utbildningsprocessen ur systemstöd- och studentperspektiv samt studie- och karriärvägledning utvärderades inom ramen för AAE-projektet. Likaså utvärderades det administrativa stödet till internationella studenter (KTH 2014b). Studenters och doktoranders upplevelse av utbildningen följs även upp i enkäter (se 1.7 nedan). När det gäller stöd till doktorander innefattas det formellt sett i riktlinjerna för den reguljära studievägledningen, men i praktiken fungerar det inte så. Värdering: KTH i relation till 1.6 KTH har många former av studentstöd på plats vilket visar på höga ambitioner. Det finns också tack vare utvärderingar och uppföljningar god kunskap om vad som behöver förbättras. Det blir ett viktigt arbete, inte minst därför att antalet studenter med behov av särskilt stöd ökar kraftigt. Stödet till doktorander framstår inte som alls lika väl uppbyggt som stödet till studenter på grundnivå och avancerad nivå. 1.7 Informationshantering Lärosätena säkerställer att de samlar in, analyserar och använder relevant information för en effektiv styrning av sina utbildningar och övriga aktiviteter. Denna standard handlar om informationssystem och hur de används i styrningen. I många länder ligger fokus på att över huvud taget bygga upp den här typen av system, medan vi i Sverige ofta har god tillgång till statistik. Här är frågan snarare om vilken statistik som ska väljas ut som nyckelindikatorer, och, framför allt, hur dessa indikatorer används i styrningen. Ett framtida utvärderingssystem kommer troligen att ta fasta på det senare. 9 (16)

76 RAPPORT Dokumentdatum Diarienummer V Beskrivning: KTH i relation till 1.7 På KTH görs interna uppföljningsrapporter med universitetsstyrelsen, rektor och ledningsgruppen som främsta målgrupper. Dels görs i den s.k. KTH-rapporten fyra gånger per år en samlad uppföljning av verksamhet och ekonomi, totalt och uppdelat per skola. Under 2015 har varje rapporteringstillfälle haft ett tema: genomströmning, prognos, jämställdhet och nybörjare. Dels görs en s.k. indikatorrapport som följer upp de mätbara mål som sammanställts i utvecklingsplanen. De övergripande målen är styrelsens och rektors särskilda prioriterade mål för perioden. På KTH görs en årlig bibliometrisk uppföljning (ÅBU). Den innehåller statistik om publiceringar, citeringar och sampublicering. Data tas fram för KTH som helhet, för skolorna, för avdelningar och för enskilda forskare. Utöver detta hanterar KTH information inom ramen för den ordinarie verksamhetsplaneringen och uppföljningen, dvs. i arbetet med planeringsförutsättningar, budgetunderlag, delårsrapport och årsredovisning. Verksamhetsuppdragen som årligen formuleras utifrån dialogen mellan rektor och skolchef är grunden för styrningen. Uppdraget har sin grund i de styrdokument som finns vid KTH och respektive skola, i synnerhet KTH:s och skolans utvecklingsplaner. Det administrativa stödet för uppföljning av utbildning och forskning, liksom controllerfunktionen, utvärderades i AAE-projektet (KTH 2014b). KTH genomför även med jämna mellanrum fyra olika större enkätundersökningar: startenkäten, mellanårsenkäten, karriäruppföljning och doktoranduppföljning. Medarbetarundersökningen är en annan informationskälla. En stor mängd data och annan kunskap har dessutom samlats in i samband med de stora egeninitierade utvärderingar som KTH har genomfört: RAE 2008 och 2012, EAE 2011 och AAE 2014 (se 1.9 nedan). Både när det gäller enkäter och utvärderingar pågår nu en diskussion om hur resultaten bäst ska tas tillvara - snarare än att öka på antalet nya undersökningar. Värdering: KTH i relation till 1.7 Det råder ingen brist på data om KTH:s verksamhet. En större utmaning är att välja ut rätt indikatorer och att se till att enkät- och utvärderingsresultat leder till verklig förändring. Där ligger förmodligen det stora arbetet framöver. Generellt förefaller data som tas fram till verksamhetsuppdrag och annan ordinarie planering och uppföljning, brukas mer systematiskt än information som inhämtas i sidospår såsom enkäter och utvärderingsprojekt. 1.8 Information till allmänheten Lärosätena publicerar information om den egna verksamheten, inklusive utbildningarna, som är tydlig, korrekt, objektiv, uppdaterad och lättillgänglig. Denna standard handlar om att lärosätena ska offentliggöra och tillgängliggöra information till allmänheten inklusive till presumtiva och aktiva studenter. Svenska lärosäten ligger jämförelsevis långt framme när det gäller denna standard, och det är inte troligt att den kommer att fokuseras i ett kommande utvärderingssystem. Beskrivning: KTH i relation till 1.8 KTH:s utbildningsutbud på samtliga nivåer framgår av kurs- och programkatalogen som är baserat på KOPPS. Katalogen publiceras på och I FUS-projektet konstateras att informationen om kursutbudet på forskarnivå har en del brister, dvs. att den information som läggs in är inte alltid korrekt och uppdaterad. 10 (16)

77 RAPPORT Dokumentdatum Diarienummer V Värdering: KTH i relation till 1.8 KTH har adekvata system på plats för att tillgängliggöra information, inklusive information om kurser och program. Informationen till doktorander är dock eftersatt jämfört med annan informationshantering. 1.9 Kontinuerlig uppföljning och regelbunden granskning av utbildning Lärosätena följer kontinuerligt upp och granskar regelbundet utbildningarna för att säkerställa att studenterna uppnår uppsatta mål och att utbildningarna motsvarar studenternas och samhällets behov. Granskningarna leder till kontinuerlig förbättring av utbildningarna. Åtgärder som planeras eller genomförs till följd av en granskning kommuniceras till samtliga berörda. Denna standard är central i ESG och förväntas vara den tyngst vägande i ett kommande nationellt utvärderingssystem. Det beror inte minst på att den illustrerar lärosätenas eget ansvar för kvalitetssäkring i linje med autonomiprincipen. Poängen är att det ska finnas ett system för regelbundet återkommande granskning av lärosätets utbildningar, och att dessa granskningar ska leda till åtgärder. Hur den kontinuerliga uppföljningen ska gå till är lärosätets eget val. Det finns inga formella krav på formen. Nationellt diskuteras vikten av att extern bedömning utgör del av systemetdetta för att skapa legitimitet så att det inte uppfattas som att man granskar sig själv. Denna standard bör ses tillsammans med 1.2 som berör inrättande av utbildning. Frågan om kurs- och programvärdering (se 1.3 ovan) bör också relateras till denna standard. Beskrivning: KTH i relation till 1.9 Under senare år har KTH genomfört en rad egeninitierade utvärderingsprojekt varav Education Assessment Exercise (EAE) 2011 är ett. EAE följdes bland annat upp med dialogmöten i utbildningsutskottet. Vissa program har efter EAE gått vidare och arbetat med så kallade programutvecklingsplaner. Detta gäller dock inte samtliga utbildningar. KTH har också deltagit i det peer learning projekt som organiseras inom Nordic 5 Tech och som innebär kamratläsning och utbyte av idéer på programnivå. Projektet är uppskattat bland dem som deltagit men deltagande är frivilligt, vilket gör att endast ett fåtal program har hunnit gå igenom denna process. När det gäller utbildning på forskarnivå har en uppföljning av KTH:s doktorsprogram gjorts under 2015 inom ramen för FUS-projektet. Denna tar dock upp generella frågor, inte de enskilda doktorsprogrammen. Under 2014 gav fakultetsrådet utbildningsutskottet i uppdrag att ta fram rutiner för en intern cyklisk utvärdering av KTH:s utbildningsprogram. Utskottet har tillsatt en grupp som arbetar med frågan. Utbildning på alla nivåer - dvs. även forskarnivå - ingår i uppdraget. Värdering: KTH i relation till 1.9 KTH gjort många enskilda granskningar men har inte i dagsläget någon långsiktig, etablerad process för regelbunden granskning av utbildningar och når därför inte upp till denna standard. Att utbildningsutskottet genomför sitt uppdrag är därför helt avgörande för att KTH ska klara av en kommande extern granskning - förutom att det naturligtvis är ett självändamål för att KTH:s eget kvalitetsarbete ska komma framåt. Positivt är att det finns mycket erfarenhet att bygga vidare på från arbetet med EAE, UKÄ-granskningar och N5T-projekt. Att inkludera extern peer review i kvalitetsgranskningen faller sig naturligt. 11 (16)

78 RAPPORT Dokumentdatum Diarienummer V Regelbunden extern kvalitetssäkring Lärosätena genomgår regelbundet en extern kvalitetssäkring, som är i linje med ESG. I den svenska kontexten ska denna standard tolkas som den externa kvalitetsgranskning som UKÄ står för. I andra länder kan lärosätena aktivt behöva välja en extern granskare. Det finns inget som hindrar att svenska lärosäten kompletterar med annan extern granskning utöver UKÄ - det kan handla om professionsackreditering eller ISO-certifiering - men det är inget tvång. Däremot behöver alla lärosäten ha en intern process för att följa upp UKÄ:s granskningar så att förbättringar sker. Beskrivning: KTH i relation till 1.10 Som alla andra svenska lärosäten genomgår KTH UKÄ:s utvärderingar. KTH har beslutat om en handlingsplan för att följa upp den senaste granskningen ( HSV12 ), vilken bland annat innebär att KTH har målet att samtliga utbildningar ska kunna nå upp till mycket hög kvalitet. De utbildningar som fick omdömet bristande kvalitet har följts upp både av KTH internt och av UKÄ, och är inte längre ifrågasatta. Värdering: KTH i relation till 1.10 KTH ligger väl i linje med denna standard. Andra delar av kvalitetssystemet Kvalitetssystem kan se ut på många olika sätt, och ESG är ett av flera möjliga riktmärken. På KTH finns några komponenter som bara indirekt relaterar till ESG men som likväl kan ses som stommen i kvalitetsarbetet. Ansvar och roller i kvalitetsarbetet En förutsättning i alla kvalitetssystem är att ansvar och roller är tydligt specificerade. På KTH är den bärande principen att kvalitet är alla studenters, lärares och medarbetares ansvar, men det finns också en formellt beslutad ansvarsfördelning som regleras i arbetsordning och delegationsordning. Den kollegiala organisationen med fakultetsrådet och dess utskott och kollegium är grunden. Universitetsförvaltningen har en stödfunktion. På skolorna finns GA, FA och PA (som kan arbeta skolövergripande) med uttalat kvalitetsansvar, liksom UA med stödansvar. Verksamhetsplanering och verksamhetsuppföljning Verksamhetsplanering och verksamhetsuppföljning är viktiga kvalitetssäkrande processer på KTH. Modellen bygger på återkommande dialoger under verksamhetsåret, mellan den centrala ledningen och skolledningarna. I slutet av året diskuteras kommande års verksamhetsuppdrag inklusive resursfördelning. Rektor och respektive skolchef skriver sedan under verksamhetsuppdraget som blir en verksamhetsplan för det kommande året att implementera på skolnivå. Uppdragen följs därefter upp i nästkommande dialoger. På så vis blir planeringen och uppföljningen en cyklisk process som ger såväl förutsägbarhet som utrymme för ständiga förbättringar av verksamheten. Kvalitetsseminarier Vid KTH har under längre tid, i varierande former, seminarier anordnats dit alla medarbetare bjuds in och där angelägna kvalitetsfrågor tagits upp. På senare tid har prodekanus bjudit in till sådana seminarier. Även ARC anordnar lunchseminarier med olika kvalitetsteman. 12 (16)

79 RAPPORT Dokumentdatum Diarienummer V Extern rådgivande grupp Under perioden har KTH haft en extern rådgivande grupp för kvalitetsfrågor knuten till sig. Gruppen har följt KTH:s kvalitetsarbete från ett helikopterperspektiv och har gett inspel framför allt riktade till universitetsledningen. Slutsatser och rekommendationer Denna inventering har visat att KTH, med undantag för standard 1.9, har de formella styrdokument och stödsystem som krävs för att möta en miniminivå i relation till ESG. Dock återstår mycket att göra när det gäller implementering av, och i förlängningen, genomslag för kvalitetsarbetet. Ett exempel är information till studenter och doktorander (1.8), där det visserligen finns bra kanaler och tekniska möjligheter men där korrekt information inte alltid når ut. Ett annat exempel är hanteringen av uppföljningsdata (1.7) där mängder med data samlas in på ett professionellt sätt, men där det är tveksamt ifall de verkligen används optimalt i ett kvalitetsförbättrande syfte. Inventeringen visar också att det finns många goda exempel på att välfungerande kvalitetsarbete gett resultat på den lokala nivån. Till exempel finns programutvecklingsarbete, examination och kursanalys som sker förebildligt i enlighet med principerna om studentcentrerat lärande (1.3). Samtidigt som det finns sådana öar finns dock även exempel på motsatsen. Detta gör det svårt att ge en generell bild av kvalitetsarbetets genomslag på KTH. KTH har höga ambitioner för sitt kvalitetsarbete och därför är det inte tillräckligt att nå upp till en miniminivå och att kunna presentera goda exempel. Större genomslag för kvalitetsarbetet och mer enhetlighet krävs. Till saken hör att det är troligt att en kommande UKÄ-granskning kommer att sätta en hög ribba; eftersom svensk högre utbildning generellt anses ligga långt framme när det gäller ESG kommer man att fokusera på de bitar som kan ge ytterligare mervärde. Då handlar det troligen just om vilka resultat styrdokument och stödsystem får i verksamheten. Lärosätena kommer att uppmanas ge konkreta exempel men också att belägga att lärosätet som helhet är med på tåget. Det är viktigt att betona att ESG-standarderna inte är av den karaktären att de kan bockas av en gång för alla, utan att de kräver ett ständigt förbättringsarbete. Därför behöver KTH arbeta vidare med samtliga standarder, i enlighet med principen om ständiga förbättringar. På vissa områden behövs emellertid särskilda insatser. Baserat på inventeringen föreslås följande prioriteringar: Ett system för kontinuerlig granskning av utbildningar bör utvecklas och implementeras. KTH når i dagsläget inte upp till standard 1.9, som både har ett stort egenvärde och kommer att tillmätas stor betydelse vid extern granskning. Både för kvaliteten och legitimitetens skull bör systemet ha inslag av extern peer review. Processen för utformning och inrättande av utbildning (1.2) bör länkas ihop med uppföljningssystemet ovan. Kvalitetskriterierna bör tydliggöras. Systemet för kursanalys (1.3, 1.9) bör uppdateras i enlighet med de behov och de möjligheter som idag finns i verksamheten. Det inkluderar en bättre länkning mellan kurs- och programnivå och bättre återkoppling till studenter. De verktyg som redan har utvecklats och som används i vissa miljöer, såsom LEQ, behöver få ett generellt genomslag. Utbildning på forskarnivå bör integreras i kvalitetssystemet. I synnerhet krävs förbättrad information om kursutbudet (1.8), bättre kursutbud och uppföljning i förhållande till lärandemålen och tydligare system för kursvärdering (1.3). 13 (16)

80 RAPPORT Dokumentdatum Diarienummer V Två av ESG-standarderna bör särskilt uppmärksammas eftersom de är av värdegrundsnatur. Det gäller 1.3, studentcentrerat lärande, som i likhet med utbildningens koppling till forskning och innovation, är ett förhållningssätt som ska genomsyra allt kvalitetsarbete. I och med att lärandet sätts i centrum blir även standard 1.5 (undervisande personal) prioriterad. Det arbete som KTH gör vad gäller kurs- och programutveckling, högskolepedagogisk utbildning och meritering, programuppföljning och kursanalys bör präglas av dessa perspektiv. Att den vardagliga diskussionen om dessa frågor är levande är minst lika viktigt som att de formella systemen är på plats. Vidare är det värt att flagga för en delkomponent av 1.4, nämligen erkännande av utländsk utbildning och validering av reell kompetens. Detta är ett område som kan förmodas växa i betydelse vilket KTH behöver ha beredskap för. Slutligen visar inventeringen att det på KTH bedrivs en hel del systematiskt kvalitetsarbete som formellt inte har en sådan etikett. Snarare än att utveckla helt nya system, bör KTH bygga vidare på det som redan finns. Detta är till stor del en fråga om att skapa större medvetenhet om att det faktiskt är kvalitetsarbete som pågår. Exempelvis kan beslutad ansvarsfördelning och etablerade roller (inklusive fakultetsråd, dekanus, prodekanus, GA, FA och PA) beskrivas som en kvalitetsorganisation existerande process för verksamhetsplanering och verksamhetsuppföljning beskrivas som ett kvalitetssystem regelbundet återkommande seminarieverksamhet beskrivas som sätt att främja kvalitetskultur den externa rådgivande gruppen beskrivas som en form av strategiskt kvalitetsutvecklingsstöd På detta sätt blir det tydligt att kvalitetssystemet inte är en parallellstruktur, utan en del av den ordinarie verksamheten. Referenser Litteratur/rapporter Borglund, D., Carlsson, U., Colarieti Tosti, M., Havtun, H., Hjelm, N., Larsson, S., & Naimi-Akbar, I. (2015). Learning Experience Questionnaire kursanalys för kursutveckling. Stockholm: KTH. Education International (EI), & The European Students Union (ESU). (2010). Student-Centred Learning: Toolkit for students, staff and higher education institutions. Brussels. Geschwind, L., & Pehrson, S. (2013). Utvärdering av karriärstöd vid KTH. Stockholm: KTH. Gover, A., Loukkola, T., & Sursock, A. (2015). ESG Part 1: Are Universities Ready? EUA Occasional Papers. Brussels. KTH. (2011). Handlingsplan till Kvalitetspolicy för KTH Stockholm: KTH.. (2014a). Kvalitetsredovisning Stockholm: KTH.. (2014b). Administrative Assessment Exercise (AAE). Stockholm.. (2015a). Kvalitet genom ständiga förbättringar: Kvalitetspolicy för KTH. Stockholm: KTH.. (2015b). Studentrekrytering vid KTH: Internrevisionsrapport 3/2015. Stockholm: KTH. 14 (16)

81 RAPPORT Dokumentdatum Diarienummer V SFS. (2013). Studentens lärande i centrum: Sveriges förenade studentkårer om pedagogik i högskolan. Stockholm. Universitetskanslersämbetet. (2015). Standarder och riktlinjer för kvalitetssäkring inom det europeiska området för högre utbildning (ESG) (översättning). Stockholm. Utbildningsdepartementet. (2015). Kvalitetssäkring av högre utbildning (Promemoria ). Stockholm. Websidor Kvalitetsarbete vid KTH Inrättande mm för grundutbildning Inrättande mm för forskarutbildning Kursanalys Anställningsordning Betyg och examination Examensarbete Antagningsordning grundnivå och avancerad nivå Uppflyttning av studenter Examensföreskrifter grundnivå och avancerad nivå Antagningsordning forskarnivå: forskning/forskarutbildning/antagning/antagningsordning-for-utbildning-pa-forskarniva-vid-kth Examensföreskrifter forskarnivå: SFINX Rekrytering till KTH Tenure Track 15 (16)

82 RAPPORT Dokumentdatum Diarienummer V Akademiskt resurscentrum Uppföljningsrapporter Enkäter Kurs- och programkatalogen Ansvar och roller i kvalitetsarbetet 16 (16)

83 KVALITETSPOLICY FÖR KTH Skapat av Planerings- och utredningsavdelningen Dokumentdatum Diarienummer V KS-kod 1.2 Kvalitetspolicy för KTH Kvalitet genom ständiga förbättringar KTH ska vara ett framstående svenskt och internationellt tekniskt universitet, och hålla hög kvalitet i all sin verksamhet. KTH verkar i ett universitetspolitiskt landskap i förändring. Utvecklingen går mot minskad statlig detaljstyrning och ökad autonomi för lärosätena. Samtidigt intensifieras den globala konkurrensen. Studenter, arbetsgivare och forskarsamhälle ställer allt högre kvalitetskrav. Utbildnings- och forskningsväsendet har att bemöta allt mer komplexa samhällsutmaningar när det gäller miljö, hälsa och livskvalitet. För att leva upp till denna kombination av höga ambitioner, ökad frihet och växande krav, behöver KTH ett starkt internt kvalitetsarbete. I detta ska KTH bygga vidare på tidigare kunskap och erfarenhet, men också ha hög förnyelsetakt baserad på ny forskning och god omvärldsbevakning. Kvalitetspolicyn syftar till att ge vägledning i kvalitetsarbetet. I likhet med övriga policyer vid KTH (etisk policy, hållbar utvecklingspolicy, placeringspolicy gällande donationskapital, personalpolicy samt säkerhetspolicy) uppdateras kvalitetspolicyn årligen. Övergripande kvalitetsarbete All verksamhet vid KTH ska präglas av hög kvalitet. Ansvaret för kvalitet ska i hög grad bäras av den enskilde studenten, läraren och anställde i den dagliga gärningen. Gemensamma värden i form av samhällsansvar, respekt för individ och natur samt kvalitetskultur, ska utgöra drivkrafter. Vid KTH ska ett systematiskt kvalitetsarbete bedrivas, kännetecknat av proaktivitet, delaktighet, engagemang och synlighet. Alla grupper vid universitetet, inklusive studenter och doktorander, har ett kollegialt ansvar för, och förutsätts medverka i, kvalitetsarbetet, som ska vara integrerat i den löpande verksamheten på alla nivåer. Fakultetsrådet har övergripande ansvar för kvalitet i utbildning, forskning och samhällssamverkan. KTH:s kvalitetsarbete ska grunda sig på principen om ständiga förbättringar. Det innebär att kvalitetsarbetet ska vara kontinuerligt och verksamhetsnära, och att positionerna hela tiden ska flyttas fram. Kvalitetsutvecklingen ska följas upp regelbundet. Uppföljningen ska syfta till att öka kvaliteten men också att upptäcka och åtgärda brister, och att ge underlag till incitamentsstrukturen. Dessutom ska den interna uppföljningen ge KTH beredskap för extern granskning av olika slag. KTH:s kvalitetsarbete ska utgå från fyra områden: 1. utbildning 2. forskning 3. kompetensförsörjning 4. samverkan 1 (3)