Kvalitetsrapport 2018

Transkript

1 Dnr 2018/1039 Kvalitetsrapport 2018 Baserad på utbildningsutvärderingar genomförda vid Uppsala universitet Avdelningen för kvalitetsutveckling

2 Projektledare vid enheten för kvalitet och utvärdering: Therese Ljunghammar Maria Wolters

3 Innehållsförteckning Inledning och disposition 5 Sammanfattning och diskussion 7 Utbildningsutvärderingarna i pilotomgången 7 Utvärderingsmodellen 11 Uppsala universitets modell för utbildningsutvärderingar 15 Bakgrund 15 Beskrivning av modellen 15 Uppföljning enligt modellen 17 Vad visade bedömarutlåtandena i pilotomgången? 19 Styrkor 19 Svagheter/utvecklingsområden 21 Bedömarnas rekommendationer 25 Vilka åtgärder planeras? 28 Ekonomiska resurser och lärarkapacitet 28 Revision av kursplaner, måluppfyllelse och progression 28 Examinationsformer och bedömningskriterier 29 Studerandes förutsättningar, genomströmning och retention 29 Pedagogiskt kvalitetsarbete 29 Internationalisering, jämställdhet och hållbarhet 29 Studentinflytande och kursvärderingar 30 Forskningsanknytning, vetenskaplig metod och vetenskapligt skrivande 30 Arbetslivsanknytning och samverkan 30 Utbildningens övergripande mål/syfte 30 UKÄ:s utbildningsutvärderingar 31 UKÄ:s utvärderingar av utbildningar på forskarnivå Nämndernas slutsatser av utbildningsutvärderingarna i pilotomgången 34 Vilka är erfarenheterna från pilotomgången? 35 Kvalitetsdrivande utvärdering 35 Huvudsakliga utmaningar 36 Huvudsakliga råd inför framtida utbildningsutvärderingar 36 Några ytterligare reflektioner om processen från pilotomgången 37 Bedömarnas synpunkter på utvärderingen 37 3

4 Andra aspekter av processen i pilotomgången 39 Studentmedverkan i utvärderingarna 39 Intern bedömare från annan fakultet 39 Underlag till bedömarna 39 Konferensen om utbildningsutvärderingar 40 Tidsåtgång 40 Studentbarometern 40 Utbildningsnyckeltal i GLIS 41 Hur ser områdes- och fakultetsnämndernas modeller för utbildningsutvärderingar och årlig uppföljning ut? 42 Likheterna är stora 42 Vad särskiljer olika områden/fakulteters modeller? 42 Utformningen av den årliga uppföljningen 42 Utvärderingsenheter 43 Form för utbildningsutvärderingar 43 Självvärdering och underlag 44 Utbildning på forskarnivå 44 Uppsala universitets tidsplan för utbildningsutvärderingar Pågående utbildningsutvärderingar Summary 47 Reviews of study programmes in the pilot round 48 Experiences drawn from the pilot round 51 Bilaga 1 Riktlinjer för Uppsala universitets modell för utbildningsutvärderingar Bilaga 2 Tidsplan för utbildningsutvärderingar

5 Inledning och disposition Uppsala universitets modell för utbildningsutvärderingar beslutades av rektor hösten I modellen ingår en årlig universitetsövergripande kvalitetsrapport utifrån årets genomförda utbildningsutvärderingar. Föreliggande universitetsövergripande kvalitetsrapport är baserad på första omgången utbildningsutvärderingar vid Uppsala universitet. Syftet med rapporten är att sammanfatta vad utbildningsutvärderingarna visar och vilka åtgärder som planeras, för att ge en överblick och bidra till spridning av kunskaper och erfarenheter inom universitetet. På sikt kan kvalitetsrapporterna bidra till en bild av kvaliteten i det samlade utbildningsutbudet och vilka åtgärder som vidtas för att stärka utbildningarnas kvalitet. Rapporterna kan understödja eventuella universitetsövergripande beslut samt underlätta redovisning utifrån externa krav. Målgruppen för kvalitetsrapporten är bred och omfattar rektor, konsistoriet, nämnder, prefekter, studierektorer, programansvariga, kommittéer, programråd, områdeskanslier och universitetsgemensamma stödresurser, lärare och annan undervisande personal, studenter och doktorander. Kvalitetsrapporten föredras för rektor. Med den breda målgruppen i åtanke är idén med rapporten att den ska kunna tjäna både som en redogörelse för vad föregående års utbildningsutvärderingar har visat, men även att fungera som inspirationskälla och vägledning. Genom utvärderingarna synliggörs såväl goda exempel som olika kvalitetsproblem och hur utbildningsansvariga, lärare och studenter hanterar dem. Läsaren kan utifrån sin roll och sitt intresse därmed välja att läsa hela rapporten, eller valda avsnitt. Den som vill skaffa sig en överblick av vad utbildningsutvärderingarna visar kan välja att endast läsa avsnittet Sammanfattning och diskussion, medan andra som exempelvis är i stånd att inleda en egen utvärdering kan vara hjälpta av att läsa delarna om erfarenheterna från pilotomgången. Uppsala universitets modell för utbildningsutvärderingar implementerades 2017 med en pilotomgång om tio utbildningsutvärderingar. I pilotomgången ingick fysioterapeutprogrammet, magisterprogram i klinisk farmaci, civilingenjörsprogram i molekylär bioteknik, fristående kurser vid CEMUS, institutionen för kostvetenskap (ej utbildning på forskarnivå), huvudområden på grundoch avancerad nivå i kinesiska, genusvetenskap, antikens kultur och samhällsliv, samt huvudområden på grundnivå i idé- och lärdomshistoria och litteraturvetenskap. I december 2017 summerades vad utbildningsutvärderingarna visade samt erfarenheter av pilotomgången vid universitetets första årliga konferens om utbildningsutvärderingar. De underlag som använts för föreliggande rapport är framför allt bedömarutlåtanden, utvärderingsrapporter och pilotomgångens erfarenheter av processen redovisade till rektor. Därtill har områdes-/fakultetsnämndernas modeller för utbildningsutvärderingar och årlig uppföljning använts, samt i någon mån presentationer under konferensen. Rapporten inleds med en sammanfattning och diskussion, där bland annat några punkter som kan kräva vidare diskussion inom universitetet lyfts. Rapportens disposition bygger på att det är vad utbildningsutvärderingarna visar som är fokus för kvalitetsrapporten. Med detta avses bedömargruppernas synpunkter och den analys och de åtgärder som de utbildningsansvariga planerar till följd av utvärderingarna. Efter inledning och bakgrund redovisas vilka styrkor och svagheter/utvecklingsområden bedömarutlåtandena visar på, samt bedömarnas rekommendationer till utbildningarna. Ett avsnitt om UKÄ:s utvärderingar av forskarutbildningar vid Uppsala universitet under 2017 följer också. Därefter redovisas vilka åtgärder som utbildningsansvariga planerar till följd av utvärderingarna. Efter det följer ett kort avsnitt om uppföljningen av utvärderingarna, vilken påbörjas hösten Därefter följer några avsnitt som är unika för denna första kvalitetsrapport. Dessa avsnitt kommer möjligen inte att finnas med i kommande kvalitetsrapporter, eller vara mindre omfattande. Ett sådant avsnitt handlar om pilotomgångens erfarenheter. Dessa erfarenheter har utgjort grund för områdes- och fakultetsnämndernas egna 5

6 modeller för utbildningsutvärderingar och årlig uppföljning. Slutligen följer en kort redovisning av Uppsala universitets tidsplan för utbildningsutvärderingar under sexårscykeln

7 Sammanfattning och diskussion Utbildningsutvärderingarna i pilotomgången Tabell 1 nedan ger en fingervisning om inom vilka områden de största styrkorna och svagheterna/utvecklingsområdena återfinns när man sammanför resultaten från samtliga pilotutvärderingar. Tabellen sammanfattar mycket övergripande bedömarnas synpunkter och de områden inom vilka utbildningarna planerar åtgärder efter pilotomgången av utbildningsutvärderingarna. Grönmarkerade områden (placerade överst i tabellen) innebär att bedömarna enbart har lyft fram området som en styrka. Gula områden innebär att såväl styrkor som svagheter/utvecklingsområden har iakttagits inom området. Det kan vara så att det varierar mellan olika utbildningar, somliga utbildningar har exempelvis tillfredsställande progression medan andra inte har det. Men det kan också gälla en och samma utbildning. En viss aspekt rörande t.ex. internationalisering skulle kunna fungera väl inom ramen för en viss utbildning, medan en annan aspekt inte gör det. Rödmarkerade områden (placerade nederst i tabellen) innebär att bedömarna endast har lyft fram ett visst område som en svaghet/utvecklingsområde i de fall det har nämnts. Tabell 1. Översikt över de utvärderade utbildningarnas styrkor och svagheter/utvecklingsområden, bedömarnas rekommendationer samt utbildningsansvarigas planerade åtgärder. Bedömarnas utlåtanden Utbildningsansvarigas planerade åtgärder Styrkor Svagheter/utvecklingsområden Rekommendationer Lärares ämnesmässiga kompetens Kontinuerlig kvalitetsutveckling av utbildningarna Systematiskt kvalitetsarbete Pedagogiskt kvalitetsarbete Aktiv studentmedverkan i undervisningen Lärares pedagogiska kompetens Lärares pedagogiska vidareutbildning Kollegialitet och pedagogisk kompetensutveckling Pedagogisk kompetensutveckling Progression genom utbildningarna Progression Progression Progression Förutsättningar för måluppfyllelse Otydliga utbildningsmål eller lärandemål Utbildningens mål och måluppfyllelse Utbildningens övergripande mål/syfte God konstruktiv länkning Seminarier som examinerande moment Lärandemål Examinationsformer och bedömningskriterier Konstruktiv länkning 7

8 Färdighetsträning i kritiskt tänkande Forskningsanknytning och vetenskapligt skrivande Forskningsanknytning Forskningsanknytning, vetenskaplig metod och vetenskapligt skrivande Studentinflytande Studentinflytande i praktiken och kursvärderingar Studentinflytande och kursvärderingsarbete Studentinflytande och kursvärderingar Samverkan och arbetslivsanknytning Samverkan och arbetslivsanknytning Samverkan och arbetslivsanknytning Samverkan och arbetslivsanknytning Goda studie- och lärmiljöer Arbetsbelastning Studiemiljö Internationalisering Internationalisering Internationalisering Internationalisering Utbildningarnas bristande ekonomiska resurser Systematiskt kursplanearbete Litteraturlistor Jämställdhet och hållbarhet Arbete med retention och genomströmning Ekonomi och anställningar Jämställdhet och hållbarhet Genomströmning och retention Ekonomiska resurser och lärarkapacitet Revision av kursplaner Jämställdhet och hållbarhet Studerandes förutsättningar, genomströmning och retention Mot bakgrund av ovanstående sammanfattning om vad pilotomgången av utbildningsutvärderingarna visade har några frågor identifierats som kan kräva närmare diskussioner inom universitetet. Punkterna nedan innehåller även några tankar och frågeställningar som rör hur arbetet med dessa frågor skulle kunna stärkas och bidra med spridande av goda exempel. De ska inte ses som heltäckande, utan som ett sätt att inleda en diskussion. Kursvärderingar Bedömargrupper har noterat att arbetet med kursvärderingar och kursrapporter behöver stärkas, liksom återkopplingen till studenterna. I utbildningsutvärderingarna finns planerade åtgärder som rör kursvärderingar i ett par fall. Uppsala studentkår har genomfört en kvalitetsgranskning av kursrapporter vid sex fakulteter som visar på utvecklingsområden i arbetet med kursvärderingar, och de önskar inleda ett samtal med universitetet om kvalitetssäkringsarbetet med kursrapporter (UFV 2018/1916). Berörda fakulteters diskussioner och eventuella åtgärder med anledning av Uppsala studentkårs rapport skulle vara angeläget att följa upp på universitetsövergripande nivå. Det skulle kunna bidra till spridande av goda exempel. Vid UKÄ:s lärosätesgranskning av Uppsala universitets kvalitetssäkringsarbete kommer de vilja veta hur resultat från dylika undersökningar eller uppföljningar omhändertas och vid behov omsätts i åtgärder. Avdelningen för kvalitetsutveckling ordnar regelbundet kursvärderingsseminarier. En idé skulle kunna vara att anordna ett särskilt kursvärderingsseminarium i samarbete med Uppsala studentkår och berörda fakulteter med fokus på hur man kan bedriva ett kvalitetsutvecklande arbete med kursrapporter. Seminariet bör även sprida goda exempel 8

9 från övriga fakulteter och studentkårer. Vidare styrker Uppsala studentkårs granskning det redan identifierade behovet av en översyn av riktlinjer och rekommendationer för kursvärderingar, vilka senast reviderades Kollegialitet och pedagogisk kompetensutveckling med bäring på måluppfyllelse, konstruktiv länkning samt progression Utbildningsansvariga i flera av utbildningsutvärderingarna i pilotomgången planerar i enlighet med bedömarnas rekommendationer åtgärder för revidering av kursplaner, litteraturlistor, progression, konstruktiv länkning, examinationsformer och bedömningskriterier. Vidare planeras åtgärder såsom införande av lärarlag för stärkt kollegial samverkan. Inom ramen för den årliga uppföljningen har områdes-/fakultetsnämnderna möjlighet att följa hur institutioner och program tar sig an de pedagogiska frågorna. Vissa fakulteter har valt att ha särskilda teman för specifika år (se sid. 44), exempelvis har historisk-filosofisk fakulteten examination av studentarbeten som tema för 2018 och pedagogiskt utvecklingsarbete år 2020, medan teknisk-naturvetenskaplig fakulteten har måluppfyllelse, progression, examination och kursvärdering som fokus för God kvalitet på examinationer och bedömningar av studenternas prestationer har bäring på den kollegiala samverkan. Det kan finnas behov av att fundera över vilka rutiner som finns i utbildningsmiljöerna för att uppnå såväl rättssäkerhet som god täckning av lärandemål vid examinationer. Under konferensen om utbildningsutvärderingar nämnde en av de interna bedömarna att en relevant fråga att ställa till lärare under ett platsbesök, för att fånga själva miljön, är vem de går till när de har svårighet att bedöma en examination. Internationellt är det vanligt med krav på external examiners (censorer i Norge), dvs. att anlita examinatorer från andra lärosäten än det som ger utbildningen. I Sverige har vi motsvarande på forskarnivå (betygsnämnden vid disputation). Att ha externa examinatorer på varje examination och låta hen dubbelbedöma varje enskild student är dyrt, men att göra kalibrerande nedslag med något års mellanrum kan rekommenderas. Man omber då en ämneskunnig extern kollega att granska förekommande examinationer inom ett ämne med avseende på utformning och bedömning. Erfarenheten är att det ger ett värdefullt bidrag till upprätthållandet av examinationernas kvalitet. Givet att examinationen är kritisk för att upprätthålla en utbildnings kvalitet, kan ett sådant förfarande ha en viktig roll i kvalitetsarbetet. Vad finns det då för stöd för pedagogisk kompetensutveckling vid universitetet? Enheten för universitetspedagogik ger universitetsövergripande kurser, verkstäder och konsultationer. I den högskolepedagogiska grundkursen ingår exempelvis konstruktiv länkning som ett tema. Vartannat år anordnar enheten för universitetspedagogik den universitetsövergripande konferensen i universitetspedagogisk utveckling för lärare och forskare. Pedagogiska utvecklare vid enheten för universitetspedagogik står också till förfogande för konsultationer vid behov. TUR (teknisk-naturvetenskapliga fakultetens universitetspedagogiska råd) erbjuder kurser, verkstäder, seminarier och nätverk för lärare inom teknisk-naturvetenskaplig fakultet. PRåM (pedagogiska rådet vid vetenskapsområdet för medicin och farmaci) anordnar workshops och pedagogiska konferenser för att sprida pedagogiska idéer och forskning inom vetenskapsområdet. Inom vetenskapsområdet för humaniora och samhällsvetenskap bistår exempelvis utbildningsledare i pedagogiskt utvecklingsarbete. 9

10 Genomströmning och retention I ett par av de utvärderade utbildningarna planeras åtgärder vad gäller genomströmning, avhopp och studieavbrott. Planeringsavdelningen har utvecklat lätt tillgängliga utbildningsnyckeltal i GLIS som är till hjälp vid uppföljning av utbildningarna. Utbildningsnyckeltal som återstår att vidareutveckla i GLIS gäller bland annat genomströmning på en utbildningsnära nivå, t.ex. per program, kull och kurstillfälle. Utbildningsutvärderingarna tyder på att det är ett angeläget vidareutvecklingsarbete. Internationellt finns mycket litteratur om the first year experience och hur man kan arbeta för att inte tappa studenter i onödan i början av deras studier. Det finns forskning som visar på vilka faktorer som styr huruvida studenter fortsätter eller hoppar av och som därför kan vara vägledande för olika insatser. Inom teknisk-naturvetenskapliga fakulteten har man arbetat mycket med dessa frågor. Arbetslivsanknytning och samverkan med arbetslivet/avnämare I vissa utbildningsutvärderingar bedömdes arbetslivsanknytning och samverkan vara en styrka med utbildningen. I andra fall är det en rekommendation från bedömarna att stärka detta arbete. I avsnittet om Bedömarnas rekommendationer återfinns bedömargruppers konkreta rekommendationer rörande arbetslivsanknytning (se sid. 26). Olika sätt att stärka arbetslivsanknytning, t.ex. genom interaktion med avnämare och genom alumnundersökningar, är åtgärder som planeras inom vissa utbildningar. Finns det därutöver behov av någon universitetsövergripande insats för att sprida olika sätt att arbeta med arbetslivsanknytning och samverkan med arbetslivet/avnämare? Teknisk-naturvetenskaplig fakultet har förberedelser för ett framtida arbetsliv som tema för årlig uppföljning år Internationalisering, jämställdhet och hållbarhet Några bedömargrupper ger rekommendationer kring dessa områden (se sid ). Dessa är vidare områden som man planerar åtgärder för inom vissa av utbildningarna i pilotomgången (se sid. 29). TUR har i sitt höstprogram för 2018 en kurs till sina lärare i undervisning i internationella klassrum (Teaching in the International Classroom) och ett seminarium om utbildning för en hållbar framtid. I de kurser som ges vid enheten för universitetspedagogik återfinns såväl temat hållbar utveckling som temat jämställdhet (och lika villkor). Enhetens pedagogiska utvecklare anlitas också av enskilda institutioner för konsultationer på dessa teman. Förutom alla de lärare med internationell bakgrund som verkar vid universitetet, och alla student- och lärarutbyten, kan exempelvis noteras att universitetet varje år nominerar lärare till stipendieprogrammet Teaching Sabbatical, som drivs i regi av Stiftelsen för internationalisering av högre utbildning och forskning (STINT). Deltagande lärare vistas vid ett utländskt lärosäte under en termin. Inom medarbetarportalen skulle namnen på tidigare STINT-stipendiater kunna synliggöras för att därigenom öka möjligheten att dra nytta av deras erfarenheter. Detta initiativ omfattar högst en lärare per år, så andra sätt att stimulera lärarutbyte är också viktiga. Finns det därutöver behov av universitetsövergripande insatser för dessa teman? 10

11 Ekonomiska resurser Den svaghet som nämns av flest bedömargrupper är utbildningarnas bristande ekonomiska resurser. De finansiella ramarna är oftast något som de utbildningsansvariga har begränsat inflytande över, vilket bedömargrupperna är medvetna om, men de menar likväl att detta påverkar utbildningens kvalitet på olika sätt. Bedömarna skriver att otillräcklig finansiering tar sig uttryck i bristande lärartäthet och lärarkapacitet, med mindre mängd schemalagd undervisning som en följd. Användandet av tillfälliga anställningar för att spara pengar gör att utbildningarna blir mindre stabila. Resurserna för utbildning är således en fråga som uppmärksammas i genomförda utbildningsutvärderingar. Det är utbildningsansvariga, och i slutändan nämnderna, som behöver göra bedömningen av vilka rekommendationer som är realistiska att genomföra inom befintliga ekonomiska ramar. I en av utvärderingsrapporterna i pilotomgången motiverar nämnden att en av de föreslagna åtgärderna inte är möjlig av resursskäl då det finns en annan satsning på gång inom fakulteten. Det kan möjligen övervägas om instruktionerna till bedömarna bör tydliggöra att de rekommendationer som föreslås i första hand ska rymmas inom givna ekonomiska ramar, förutom i de fall då kvaliteten bedöms som så bristande att mer ekonomiska resurser bedöms vara nödvändiga för att åtgärda bristerna. I slutändan är det då nämndernas uppgift att bedöma om en resurstilldelning är möjlig och nödvändig, eller om utbildningen behöver läggas ned. Fristående kurser Det finns signaler om att kvalitetsuppföljning av fristående kurser i viss mån inte är lika systematisk som kurser som ges inom ramen för program. I områdes-/fakultetsmodeller för utbildningsutvärderingar planerar man för tydligare uppföljning av fristående kurser. Utvärderingsmodellen Nedan sammanfattas och diskuteras följande två frågeställningar rörande Uppsala universitets modell för utbildningsutvärderingar: Verkar arbetet med modellen så här långt svara mot de i riktlinjerna angivna utgångspunkterna? Vilka utmaningar finns för Uppsala universitets utvärderingsmodell? Diskussionen är uppbyggd kring de fem utgångspunkter som är uppställda i Uppsala universitets modell för utbildningsutvärderingar (UFV 2015/475). Uppsala universitets modell: är decentraliserad och bygger på det löpande kvalitetsarbetet Ja, områdes-/fakultetsnämnder har utformat instruktioner, gett stöd och följt processen i pilotomgången, parallellt med att de utformat sina former och rutiner för utbildningsutvärderingar och den årliga uppföljningen. I områdes-/fakultetsnämnders modeller framgår tydligt att de bygger på det löpande kvalitetsarbetet. Utvärderingarna ska återrapporteras inom den ordinarie verksamhetsplanerings- och uppföljningsprocessen. Utbildningsutvärderingarna kommer även att följas upp i rektors områdesdialog. Områdesoch fakultetsnämnder har fått i uppdrag av rektor att under vårterminen 2020 göra en enklare utvärdering av kvalitetsarbetet så att former och rutiner vid behov kan justeras i halvtid av sexårscykeln. 11

12 utgår från ett forskande förhållningssätt till utvärdering där extern kritisk granskning och kollegiala arbetsformer är en självklarhet Ja, så har utvärderingarna bedrivits. Den externa och interna granskningen med ett utifrånperspektiv på utbildningarna har ansetts mycket givande i de flesta fall. De externa bedömarna har varit ämnessakkunniga med erfarenhet från liknande utbildningar vid andra lärosäten, och i vissa fall avnämare. Den interna bedömaren från en annan fakultet har bidragit med ett utifrån-perspektiv genom att vara lärare med en annan ämnesbakgrund och annan fakultetstillhörighet. De kollegiala arbetsformerna har vidare uppskattats, både i relation till bedömarna under platsbesöket och i organiseringen av självvärderingen med återkoppling från kollegiet och studenter. Under konferensen påpekade bedömare i pilotomgången att det sker ett ömsesidigt lärande mellan bedömarna och utvärderad utbildning. De universitetsinterna bedömarna är därigenom ett sätt att sprida den pedagogiska kompetens som finns bland universitetets lärare, till exempel bland excellenta lärare och pedagogiska pristagare. Det bidrar vidare till att synliggöra goda lärarinsatser i utbildningen vid universitetet. Uppdraget som bedömare bör ses som meriterande. Modellen med interna bedömare kan bli såväl en möjlighet som en utmaning för universitetet. En utmaning gäller rekryteringen av bedömare, såväl externa som universitetsinterna, samt studentrepresentanter. I samtliga fall är god framförhållning en nyckelfaktor. Åren framöver kommer det att behövas många universitetsinterna bedömare i utbildningsutvärderingar, dvs. kollegor från en annan fakultet. En av piloterna föreslog ett system för rekrytering och utbildning av interna bedömare som kan utvärderingssystemet, något som kan likna mentorskollegiet. Tid behöver kunna avsättas i tjänstgöringsplaner för uppdrag som intern bedömare. Bedömarna har lagt ned ungefär en arbetsvecka på uppdraget. Det bedöms som angeläget att det på olika nivåer av utbildningsansvariga, bland prefekter, studierektorer och intresserade lärare, förs en diskussion kring dessa frågor. En diskussion behöver föras gällande ersättning till de interna bedömarna, vilket framgår av ett par av pilotredogörelserna. Ett råd till pilotomgången var att ersättning för intern bedömare går till den institution där den interna bedömaren verkar, och att det sedan är upp till prefekten att frigöra tid eller ge övertidsersättning. Samhällsvetenskapliga fakulteten anser att kostnaden för den universitetsinterna bedömaren bör likställas med andra kollegiala uppdrag, och därmed avsättas i tjänsteplaneringen för respektive uppdrag, och inte ersättas ekonomiskt. En annan pilotredogörelse framhåller att det finns behov av riktlinjer för ersättning av interna bedömare så att det harmoniseras inom universitetet. En av bedömargrupperna menade att man kan betrakta uppdraget som bedömare som ett uppdrag som borde kunna ligga inom tjänsten, ungefär som att agera granskare för en vetenskaplig tidskrift. Samma grupp pekar samtidigt på att om ersättning utgår så är det viktigt att den ligger på samma nivå som för liknande sakkunniguppdrag, så att detta inte bortprioriteras till förmån för andra uppdrag. är kvalitetsdrivande och innefattar student-/doktorandmedverkan Ja, så här långt tyder allt på det. Utbildningarna i pilotomgången är samstämmiga om att utbildningsutvärderingarna har varit kvalitetsdrivande. Det som framför allt lyfts fram som positivt med metoden är det externa perspektivet på utbildningarna, självvärderingsarbetet i 12

13 kollegiet, bedömarnas platsbesök och studenternas medverkan i processen. Den första konferensen om utbildningsutvärderingar blev uppskattad och det kollegiala mötet över områdes-/fakultetsgränser var en av de saker som bidrog till det. Huruvida utvärderingarna verkligen är kvalitetsdrivande kan dock egentligen inte bedömas förrän efter en uppföljning av åtgärder har skett. Ja, utbildningsutvärderingarna i pilotomgången har innefattat studentmedverkan på många sätt. Studentmedverkan var något som pilotomgången ansåg hade varit mycket givande i utvärderingsarbetet. Det kan vara en utmaning att locka studenter till deltagande i utbildningsutvärderingarna. Information i god tid och att erbjuda deltagande studenter intyg för deras deltagande är råd från medverkande studenter i pilotomgången. De piloter som saknade en studentrepresentant i bedömargruppen beklagade detta. Med god framförhållning och dialog med studentkårerna bör detta kunna förbättras. Studentkårerna har själva identifierat åtgärder och vill stärka utbildning och erfarenhetsutbyte till studentrepresentanter. är skarp, dvs. förmår identifiera och åtgärda brister Ja, så här långt tyder allt på att modellen förmår att identifiera utvecklingsområden och brister. Huruvida modellen i praktiken klarar av att identifiera och åtgärda brister, och därmed göra utbildningarna bättre, är dock något som måste följas framgent under sexårscykeln. I utvärderingsrapporterna från utbildningsansvariga framgår planerade åtgärder, och vanligen ingår en tidsplan över när åtgärderna ska vara genomförda. I något fall återremitterade nämndens beredande organ utbildningens förslag på utvärderingsrapport, då de ville se en tydligare åtgärdsplan. Pilotomgången vittnade om att självvärderingsarbetet tillsammans med lärare och studenter i sig inneburit att svagheter/utvecklingsområden identifierats. Bedömarna har identifierat nya områden, såväl styrkor som svagheter/utvecklingsområden, men också bekräftat sådant som utbildningarna själva identifierat. Viktigt att notera är att det är de utbildningsansvariga för utbildningarna som måste värdera och aktivt förhålla sig till bedömargruppens rekommendationer och avgöra vilka åtgärder som är avgörande för utbildningens kvalitet. Till syvende och sist är det nämnderna med sitt kvalitetsansvar som står för skärpan i systemet. Det är därmed viktigt att framhålla betydelsen av att nämnderna vid behov anger nödvändiga åtgärder i utvärderingsrapporterna. Uppföljningen av åtgärder är av stor betydelse för skärpan. En utmaning för modellen gäller själva uppföljningen, att den utformas så att den blir tillräckligt skarp utan att vara onödigt betungande. När UKÄ granskar Uppsala universitets kvalitetssäkringsarbete år 2020 kommer bedömarna med stor sannolikhet att vilja se vilka bedömningar som ansvariga nämnder gjort, vilket kan vara lättare eller svårare beroende på hur nämndernas slutsats utformas. UKÄ kommer vidare vilja se exempel på åtgärder som vidtagits för att komma tillrätta med identifierade brister. De kommer också vilja se hur uppföljningen av åtgärder sker. Ytterligare en utmaning för Uppsala universitets modell är att tidsplanen hålls. Under perioden kommer ett stort antal utbildningsutvärderingar att äga rum varje år. Hösten 2020 kommer UKÄ att påbörja granskningen av Uppsala universitets kvalitetssäkringsarbete. Då kommer UKÄ att vilja se belägg för att Uppsala universitets 13

14 modell fungerar i praktiken. Det är därför av vikt att områden/fakulteter har hunnit genomföra en betydande andel utbildningsutvärderingar tills dess. Det är viktigt för trovärdigheten att tidsplanen hålls och att områdes-/fakultetsnämnder kan visa på systematiken i kvalitetsarbetet och uppföljningen av utbildningen. är så enkel och kostnadseffektiv som möjligt Områdes-/fakultetsnämndernas modeller är tydligt utformade för att förstärka det årliga systematiska kvalitetsarbetet, vilket kommer att underlätta inför utbildningsutvärderingarna som ska ske vart sjätte år. Områdes-/fakultetsnämnder har beaktat kostnadseffektiviteten i utformningen av sina former och rutiner för utbildningsutvärderingar. En utmaning är resursåtgång och resursanvändning. Balansakten består i att genomföra utvärderingar som är kostnadseffektiva och samtidigt meningsfulla, kvalitetsdrivande och (tillräckligt) skarpa. Den tid som har ägnats utvärderingsarbetet varierar en del mellan olika piloter. En anledning kan vara skillnader i utvärderingsobjektets omfattning och komplexitet. Detta lär utgöra en återkommande diskussion inom områden/fakulteter och även universitetsövergripande. Nämnderna och andra utbildningsansvariga kan dock komma att vid behov modifiera sina modeller för att de ska ge mesta möjliga kvalitetsdrivande effekter utan att i onödan tynga systemet. Internationell erfarenhet visar att denna typ av interna system riskerar att växa sig stora initialt, för att sedan omdanas till ett effektivt minimum. Det finns vissa signaler som tyder på att utbildningsutvärderingarna, tillsammans med andra utvärderingar, sätter medarbetare under stor press. Målet bör därför vara att medvetet sträva efter en rimlig ambitionsnivå redan från början och efter hand stärka det som eventuellt behöver stärkas. 14

15 Uppsala universitets modell för utbildningsutvärderingar Bakgrund Rektor tillsatte under våren 2015 en universitetsövergripande arbetsgrupp under ledning av vicerektor Torsten Svensson med uppdrag att ge förslag på en modell för systematiska utbildningsutvärderingar vid Uppsala universitet. Bakgrunden till arbetsgruppens uppdrag var den internationella KrUUt-panelens rekommendation till Uppsala universitet om att utforma en modell för egeninitierade systematiska analyser av utbildningarnas kvalitet ur ett helhetsperspektiv (curriculum reviews), liksom regeringens förslag om ett nytt nationellt kvalitetssäkringssystem (U2015/1626/UH). Med start 2017 infördes det nya nationella systemet för kvalitetsgranskning av högre utbildning i Sverige (UKÄ rapport 2016:15). Inom ramen för detta system delas ansvaret för kvalitetssäkring av högre utbildning av Universitetskanslersämbetet (UKÄ) och lärosätena själva. Rektor fattade beslut om Uppsala universitets modell för utbildningsutvärderingar (UFV 2015/475). Rektor beslutade även att en pilotomgång av utbildningsutvärderingar skulle genomföras under Områdes- och fakultetsnämnder fick vidare i uppdrag att utveckla områdets/fakultetens former för systematisk kvalitetssäkring och kvalitetsutveckling av utbildning ur ett helhetsperspektiv, inbegripet årlig uppföljning och utbildningsutvärderingar. I uppdraget ingick att redovisa detta till rektor senast Vidare beslutade rektor om en tilldelning av resurser till vetenskapsområdena för implementering av uppdragen och pilotomgången. Rektorsbeslutet innefattade även att ett ändamålsenligt universitetsgemensamt stöd skulle tillses (kunskapsstöd, studentbarometer, konferens, nyckeltal som underlag för utbildningsuppföljning, kvalitetsrapport). Rektor gav vidare områdes- och fakultetsnämnder i uppdrag att under vårterminen 2020 genomföra en enklare utvärdering av kvalitetsarbetet inom respektive område/fakultet, med fokus på former för årlig uppföljning och utbildningsutvärderingar, liksom av det universitetsgemensamma stödet, så att rutiner och arbetssätt kan förbättras redan under innevarande sexårscykel. Resultat och förslag på åtgärder ska redovisas till rektor senast Det universitetsgemensamma stödet ska vidare inom ramen för sexårscykeln utvärderas av minst två externa kollegor och minst en intern kollega från varje vetenskapsområde. Beskrivning av modellen Uppsala universitet modell för utbildningsutvärderingar omfattar all utbildning 1. Ambitionen är att modellen ska stimulera lärare, utbildningsansvariga och studenter att i enlighet med universitetets mål och strategier skapa en utbildning av högsta nationella och internationella kvalitet. Uppsala universitets modell utgår från den akademiska kvalitetskulturen och bygger på följande utgångspunkter. Modellen: är decentraliserad och bygger på det löpande kvalitetsarbetet utgår från ett forskande förhållningssätt till utvärdering där extern kritisk granskning och kollegiala arbetsformer är en självklarhet är kvalitetsdrivande och innefattar student/doktorandmedverkan är skarp, dvs. förmår identifiera och åtgärda brister, och 1 Med all utbildning avses all förekommande utbildning på grundnivå (kurser, utbildningsprogram, huvudområden, biområden), avancerad nivå (kurser, utbildningsprogram, huvudområden) och forskarnivå (ämnen, kurser), behörighetsgivande förutbildning, kompletterande pedagogisk utbildning, uppdragsutbildning. 15

16 är så enkel och kostnadseffektiv som möjligt. Enligt riktlinjer för Uppsala universitets modell för utbildningsutvärderingar (UFV 2015/475) består modellen av två delar: årlig systematisk uppföljning av utbildning och utbildningsutvärderingar vart sjätte år (se Figur 1). I modellen integreras det löpande kvalitetsarbetet och årlig uppföljning, med utbildningsutvärderingarna vart sjätte år, till en helhet som understödjer och stimulerar kvalitetsarbetet. Modellen förstärker det systematiska kvalitetsarbetet. Uppsala universitets modell bygger på såväl extern som universitetsintern kollegial granskning. Modellen är decentraliserad och utgår från områdes/fakultetsnämnders ansvar att säkra, utveckla och följa upp kvaliteten i utbildningen. Skärpan i systemet åstadkoms av krav på extern och intern granskning av all utbildning, områdes/fakultetsnämnders slutsats och uppföljning av åtgärder, verksamhets- och uppföljningsprocessen, den årliga konferensen och öppenhet med resultat och planerade åtgärder genom publicering på universitetets webbplats. Under sexårscykeln ska alla utbildningar vid universitetet ha ingått i en utbildningsutvärdering. Efter att områdes- och fakultetsnämnder i februari 2018 har inkommit med fastställda tidsplaner finns nu en sammanställd tidsplan för Uppsala universitets utbildningsutvärderingar (se avsnittet Uppsala universitets tidsplan för utbildningsutvärderingar ). Figur 1. Schematisk skiss över Uppsala universitets modell för utbildningsutvärderingar. Utbildningsutvärderingarna ska omfatta en helhetsbedömning av utbildningens kvalitet, dess styrkor, svagheter och utvecklingsområden. Utbildningsutvärderingen ska innehålla en självvärdering och relevanta underlag som grund för bedömningen. Varje utbildningsutvärdering ska täcka in elva aspekter (se nedan). Bedömarna skriver, som minimum, ett sammanfattande bedömarutlåtande om utbildningens styrkor, svagheter/utvecklingsområden samt ger sina rekommendationer. Utbildningsansvariga skriver en kort utvärderingsrapport, där de sammanfattar de viktigaste slutsatserna utifrån självvärdering och bedömarutlåtande, och redovisar planerade åtgärder. Utvärderingsrapporten ska behandlas av områdes-/fakultetsnämnder och innehålla nämndens slutsats. Nämndens slutsats ska innehålla om behov av särskild uppföljning föreligger. Nödvändiga 16

17 åtgärder följs upp inom ett år, och därefter till dess de är genomförda eller tills utbildningen lagts ned. Åtgärder och utvecklingsinsatser vidtas till följd av utbildningsutvärderingarna och följs inom ramen för årlig uppföljning. Varje utbildningsutvärdering ska täcka in följande aspekter: att utbildningarna når målen i högskolelagen och högskoleförordningen (examensordningen) och utbildningsspecifika mål, dvs. att de faktiska studieresultaten motsvarar de förväntade studieresultaten att undervisningens innehåll och form vilar på vetenskaplig grund samt beprövad erfarenhet att undervisningen sätter studenters/doktoranders lärande i centrum att målen examineras på ett ändamålsenligt och rättssäkert sätt och att progression säkerställs att verksamma i utbildningen har aktuell ämnesmässig och högskolepedagogisk/ämnesdidaktisk kompetens samt att lärarkapaciteten är tillräcklig att internationalisering och internationella perspektiv liksom hållbarhetsperspektiv främjas att jämställdhetsperspektiv integreras i utbildningen att utbildningen svarar mot individers och samhällets behov av bildning och professionell kunskap och förbereder studenterna för ett framtida arbetsliv att studenterna/doktoranderna har inflytande i planering, genomförande och uppföljning av utbildningen att en för alla studenter/doktorander tillgänglig och ändamålsenlig studiemiljö föreligger att kontinuerlig uppföljning och utveckling av utbildningen genomförs Uppföljning enligt modellen Den årliga systematiska uppföljningen är en del av områdes-/fakultetsnämnders ansvar för kvaliteten i utbildningarna, och en integrerad del av Uppsala universitets modell. I uppföljningen kan flera delar identifieras. För det första ansvarar områdes-/fakultetsnämnder för att eventuella nödvändiga åtgärder följs upp inom ett år, och därefter till dess de är genomförda eller utbildningen lagts ned. Det är en del av skärpan i universitetets modell. Det ska framgå av nämndens slutsats i utvärderingsrapporten om behov av särskild uppföljning föreligger. För det andra ansvarar nämnderna för att åtgärder och utvecklingsinsatser vidtas till följd av genomförda utbildningsutvärderingar, och att planerade åtgärder följs upp inom ramen för årlig uppföljning. I påföljande årlig uppföljning blir det aktuellt med en bedömning av huruvida vidtagna åtgärder fått avsedd effekt, eller vilka andra åtgärder som vidtagits. För det tredje är även den årliga konferensen en del i uppföljningen av genomförda utbildningsutvärderingar. Där presenterar utbildningsansvariga vad utbildningsutvärderingarna visar. För det fjärde så är den systematiska årliga uppföljningen av utbildningarna stärkt i universitetets modell, och ses som den viktigaste delen i nämndernas modeller för utbildningsutvärderingar och årlig uppföljning. Som framgår av avsnittet om områdes-/fakultetsnämndernas modeller så ska institutioner och/eller program årligen inkomma med en kvalitetsrapport/verksamhetsberättelse. Vissa områden/fakulteter har även årsspecifika teman för den årliga uppföljningen. För det femte sker en ny uppföljning av genomförda åtgärder i nästa sexårscykel ( ). Då sker en uppföljning av vad den tidigare utbildningsutvärderingen visade och vilka åtgärder som vidtagits sedan dess och om åtgärderna bedöms ha haft avsedd effekt. 17

18 Uppföljningen av utbildningsutvärderingar och årlig uppföljning sker inom ramen för ordinarie verksamhetsplanering och verksamhetsuppföljning. Nämnderna ska i enlighet med riktlinjerna årligen sammanställa och redovisa sin analys av resultaten och de slutsatser som dragits av genomförda utbildningsutvärderingar inklusive eventuella behov av nödvändiga åtgärder och särskild uppföljning, vilket redovisas till rektor inom ramen för ordinarie verksamhetsplanering och verksamhetsuppföljning och i rektors områdesdialog. En universitetsövergripande kvalitetsrapport sammanställs årligen utifrån genomförda utbildningsutvärderingar och konferens. Kvalitetsrapporten föredras för rektor och utgör underlag vid rektors områdesdialog. Arbetet med uppföljningen inom ramen för Uppsala universitets modell påbörjas under hösten Utvärderingarna i pilotomgången är klara och ansvariga nämnder har tagit ställning till utvärderingsrapporterna. Arbetet med åtgärder fortgår, och kommer att återrapporteras till nämnderna i enlighet med områdets/fakulteternas årliga uppföljning. Den årliga uppföljningen av utbildningar kommer att ske enligt områdets/fakulteters modeller (se avsnittet Hur ser områdes- och fakultetsnämnders modeller för utbildningsutvärderingar och årlig uppföljning ut?). I oktober 2018 kommer utbildningsutvärderingar att ingå som en del i rektors områdesdialog. I enlighet med Underlag för årsredovisning och övrig uppföljning 2018 (UFV 2018/982) ska områdes- /fakultetsnämnderna kort redovisa sin analys av resultaten och de slutsatser som dragits av genomförda utbildningsutvärderingar, inbegripet uppföljning av nödvändiga åtgärder. Även slutsatser och åtgärder med anledning av årlig uppföljning av utbildning redovisas. 18

19 Vad visade bedömarutlåtandena i pilotomgången? I den här delen av texten ges en sammanfattning över vilka generella drag som man kan utläsa ur de olika bedömarutlåtandena för de utbildningar som ingick i pilotomgången av Uppsala universitets modell för utbildningsutvärderingar. Samtliga bedömarutlåtanden finns tillgängliga på universitetets webbplats (sök Kvalitetsarbete) och på medarbetarportalen. Samtliga bedömargrupper har fått i uppdrag att uttala sig om den utvärderade utbildningens styrkor och svagheter/utvecklingsområden, samt ge sina rekommendationer till utbildningsansvariga. Exakt hur instruktionerna till bedömargrupperna såg ut i övrigt varierar mellan de olika fakulteterna. Formen på vilken bedömarutlåtandena är skrivna varierar. Skillnaderna beror till viss del på fakulteternas instruktioner till bedömargrupperna men bedömargrupperna fick i många fall stor frihet att utforma utlåtandena. Ett annat faktum är att utvärderingsenheterna skiljer sig mycket åt. I fem fall är det huvudområden som utvärderats, medan det i tre fall rör dig om utbildningsprogram. I ett fall rör det sig om utvärdering av ett helt kurspaket och i ett annat fall om en hel utbildningsmiljö, som inkluderar såväl två utbildningsprogram som fristående kurser. Bedömarutlåtandenas varierande utformning är helt i sin ordning, då det är meningen att de ska kunna anpassas till olika utbildningar och vara så ändamålsenliga som möjligt. Skillnaderna innebär dock en viss utmaning i möjligheten att utläsa tydliga mönster i bedömningarna efter pilotomgången av utvärderingssystemet. Det är vidare så att aspekter som en bedömargrupp menar är en styrka inom en viss utbildning kan vara en svaghet inom en annan. Trots detta går det likväl att utläsa en del vanligt förekommande synpunkter i utlåtandena. Ett antal citat är plockade ur de olika bedömarutlåtandena som belysande exempel. Citat har hämtats ur samtliga tio bedömarutlåtanden, vilket innebär att alla piloter är representerade med exempel. Styrkor Den mest framträdande styrkan som tas upp av i stort sett samtliga bedömargrupper är lärarnas kompetens. Det gäller såväl vetenskaplig meritering och pedagogisk skicklighet som engagemang. Det faktum att lärarna är vetenskapligt meriterade, och i stor utsträckning forskningsaktiva, borgar enligt flertalet bedömargrupper för god forskningsanknytning i utbildningen. I några bedömarutlåtanden står att läsa: Bedömarpanelen vill understryka att en mycket stark sida hos utbildningen är den höga vetenskapliga kompetensen bland de undervisande lärarna, och att alla lärare är aktiva forskare. Detta borgar för att utbildningen på ett djupgående sätt blir forskningsanknuten och att undervisningens innehåll och form vilar på vetenskaplig grund och beprövad erfarenhet [ ] Det finns både en hög vetenskaplig och pedagogisk kompetens/skicklighet i lärarkollegiet, den senare väl underbyggd med formell högskolepedagogisk utbildning. Lärarna uppvisar sammantaget en stor bredd vad gäller vetenskaplig kompetens och kan i stor utsträckning undervisa inom sina egna specialområden, vilket ger goda förutsättningar för forskningsanknytning i undervisningen. [ ] en starkt engagerad, vetenskapligt och pedagogiskt meriterad och erfaren personalgrupp, som utgör den fasta staben och ledningsgruppen. Flera bedömargrupper lyfter även fram att lärarna är pedagogiskt skickliga, med goda pedagogiska meriter och pedagogisk utbildning. Lärarna på programmet har god ämnesmässig kompetens, och den pedagogisk/didaktiska kompetensen är mycket god. Undervisningen har en hög pedagogisk nivå, med imponerande avancerade pedagogiska reflektioner från amanuenserna. 19

20 Som ett stöd för lärarnas goda pedagogiska kompetens kan nämnas att flera bedömargrupper ser det som en styrka i utbildningarna att varierande former för såväl undervisning som examination förekommer. Under intervjuerna framhölls dock pedagogiska modeller för hur lärare kan introducera forskningsanknytning på andra vis, som att tillsammans med studenterna t.ex. aktivera historiografiska frågeställningar. Bedömarpanelen fann denna typ av pedagogisk kreativitet som en styrka inom utbildningen. Att institutionen försöker tänka på att använda olika utbildnings- och examinationsformer är en styrka. I flera bedömarutlåtanden uppges att studenterna uppfattar lärarna som engagerade i sina respektive ämnen, men även i undervisningen och lärandet som sådant, och att många lärare är tillgängliga och hjälpsamma. De studenter vi pratade med uttryckte att lärarna och programledningen ständigt är lyhörda för synpunkter och åsikter. Den näst mest vanligt förekommande styrkan som bedömarna pekar på är att utbildnings- och programansvariga redan arbetar kontinuerligt med kvalitetsutveckling av utbildningarna. Bedömarna lyfter fram att det finns ett engagemang och intresse av att systematiskt förbättra utbildningarna. Utbildningsansvariga arbetar inom de olika utbildningarna med att fortlöpande revidera utbildningsplaner, kursplaner samt uppdatera litteraturlistor. Kvalitetsutvecklingen säkras på många håll genom olika programråd, arbetsgrupper och kommittéer, även om ansvaret för utbildningens kvalitet och utveckling i slutändan vilar på respektive fakultets-/områdesnämnd. Några citat lyder: Det finns också en tydlig strävan att fortlöpande revidera och utveckla kurserna. En styrka är att även om de erhöll ett bra utfall vid förra granskningen valt att kontinuerligt arbeta vidare med utveckling av programmet. Utifrån det material vi fått ta del av och intryck från studenter sker det regelbundet utvärderingar och arbete med att utveckla och förbättra programmet. Det sker både av programmet i stort (årliga utvärderingar), halvtidsutvärderingar och utvärderingar efter samlingar i Uppsala. Förändringar som görs som en följd av utvärderingarna kommuniceras till studenterna. Resultatet av utvärderingar diskuteras med studentrepresentanter och skickas också ut till studierektorer. En annan återkommande styrka är att det inom de utvärderade utbildningarna på ett tydligt sätt arbetas med progression. Flera bedömargrupper vittnar om att progression ofta är tydligt framskrivet när det gäller kursplaner, och att det genom utbildningarna finns ett avancemang mot uppfyllelse av utbildningens mål. Det förekommer visualiseringar av framtida yrkesroller och en annan bedömargrupp skriver att flera aktiviteter bland programmets ledning och lärare kan identifieras vilka syftar till att få de separata kurserna att fungera som helhet och därmed bidra till uppfyllelse av programmålen. En bedömargrupp påpekar även att användandet av samma lärare på grundnivå och avancerad nivå bidrar till progression. Förutsättningar för måluppfyllelse är en annan aspekt som i många fall lyfts fram som en styrka av bedömargrupperna. Bedömarna menar att flera av de utvärderande utbildningarna har väl artikulerade och i kursplanerna framskrivna mål som stämmer väl överens med Högskoleförordningens examensmål. På flera håll har bedömargrupperna sett exempel på aktiviteter som bidrar till uppfyllelse av program- och utbildningsmål, och det förekommer även regelbundna diskussioner om hur examensmålen kan uppnås och examineras. En av de utvärderade utbildningarna har arbetat särskilt med att ta fram tydliga bedömningskriterier gällande alla typer av examination, för att på ett transparent och konkret sätt visa vilka kunskaper och färdigheter som 20

21 krävs för godkänd examination och därmed måluppfyllelse. Studenter på den aktuella utbildningen menar att den här typen av måltänk tydliggör vad som krävs av dem. Flera bedömargrupper säger sig även se prov på god konstruktiv länkning i utbildningarna, det vill säga att det finns en tydlig relation mellan mål, undervisning och examination. Ett av Högskoleförordningens examensmål för generella examina är förmåga till kritiskt tänkande. Detta är ytterligare en aspekt som bedömarna menar är en styrka i flera av de utvärderade utbildningarna. Studenterna tränas på olika sätt och på olika nivåer i kritiskt tänkande och att ha ett kritiskt förhållningssätt, bland annat genom läsning av vetenskapliga artiklar och deltagande i seminariediskussioner. Den höga nivån av studentinflytande är något som lyfts fram av bedömargrupperna som en styrka. Studentinflytande syns på flera olika sätt i utbildningarna, inte minst genom studenters deltagande i programråd och institutionsstyrelser, men även via verktyg som exempelvis kursvärderingar. Studenterna tillåts i många fall påverka och delta i utformningen av sin utbildning. Även aktiv studentmedverkan i undervisningen är en styrka i flera utvärderade utbildningar, inte minst inom de där studentledd undervisning används som modell. Även i den enda benchmarkingbaserade utvärderingen som gjordes inom ramen för pilotomgången, framhålls studentcentrerat lärande som en styrka. De externa bedömarna är verksamma vid en liknande utbildning som den utvärderade, fast vid ett skotskt universitet. De skotska bedömarna lämnar följande kommentar: We commend the level of student centred peer based learning, student centred interactive learning with student cohorts ahead and behind the training of students and supervisors in use of reflection, peer review and feedback. Ett annat tema som framträder som en styrka är nivån av samverkan och arbetslivsanknytning. Där så är relevant har en stor andel lärare erfarenhet av arbete utanför akademin, och det förekommer samarbeten med andra lärosäten och yrkesorganisationer. Positivt är den arbetslivsvecka för studenterna som anordnas på termin 4 då personer kommer till institutionen och berättar om sin karriär efter utbildningen. Samarbetet med andra utbildningar i Sverige och Norden, och ökat samarbete med Akademiska sjukhuset i Uppsala och Karolinska Institutet i Stockholm är positivt. Slutligen nämner flera bedömargrupper att de utvärderade utbildningarna på ett förtjänstfullt sätt arbetar med internationalisering, även om detta arbete kan ha lite olika innebörd beroende på utbildningens karaktär (det kan exempelvis röra sig om stöd för studentutbyten, internationella perspektiv i kurslitteratur, eller att man stöder studenter till att presentera självständiga arbeten på internationella konferenser), och att många studenter befinner sig i goda studie-och lärmiljöer med god tillgång till ändamålsenliga lokaler och studiebibliotek. Svagheter/utvecklingsområden Den svaghet som nämns av flest bedömargrupper är utbildningarnas bristande ekonomiska resurser. De finansiella ramarna är oftast något som de utbildningsansvariga har begränsat inflytande över, vilket bedömargrupperna är medvetna om, men de menar likväl att detta påverkar utbildningens kvalitet på olika sätt. Bedömarna skriver att otillräcklig finansiering tar sig uttryck i bristande lärartäthet och lärarkapacitet, med mindre mängd schemalagd undervisning som en följd. Användandet av tillfälliga anställningar för att spara pengar gör att utbildningarna blir mindre 21