1 Mall fastställd av Rebus 2018-05-04, rev. 2018-06-19 Granskningsrapport: Utbildning på grundnivå och avancerad nivå Vart tredje år ska en utbildningsrapport för utbildning på grundnivå eller avancerad nivå lämnas till respektive områdesnämnd. Efter granskning av rapporten och annat underlag ska nämnden ge skriftlig återkoppling till berörd/-a institution/-er eller motsvarande. Återkopplingen sker bland annat genom en granskningsrapport som skrivs i mallen nedan. Kursiverad text är förtydliganden. Huvudområde/Program/ Utbildning Granskningsgrupp (namn, titel och organisatorisk tillhörighet) Kontaktperson Ekonometri BUGA Pilot Datum för slutversion Hur har studenterna medverkat under arbetet med framtagandet av rapporten? Uppskattad tidsåtgång för gruppens arbete med rapporten Nej 32-35 timmar Bedömningsprocessen och eventuellt övrigt underlag Här beskriver granskningsgruppen kortfattat sina interna avstämningar i gruppen och upplägg av bedömningsarbetet, eventuella avstämningar, inklusive syfte, med berörd/-a institution/-er eller motsvarande efter att utbildningsrapport och annat underlag lämnats in till områdesnämnden samt eventuellt övrigt skriftligt underlag som använts under bedömningen (förutom utbildningsrapport, examensmålsmatriser, statistiska uppgifter samt lärartabell). Syftet med dessa tre punkter är att ge underlag till utvärderingen av delar av pilotens metod. Under ordinarie granskningar kvarstår förmodligen en eller flera punkter, men det återstår att se. Granskningsgruppen har i sin helhet haft två möten ett inledande och informerande möte inför arbetets uppstart samt ett avstämningsmöte ungefär halvvägs i processen. Dessutom har alla i gruppen varit medgranskare till en rapport. Detta har i förevarande fall inneburit ytterligare ett avstämningsmöte mellan granskare och medgranskare där vi diskuterade och gav feedback på varandras rapporter samt att vi också haft kontinuerlig mailkontakt.
Utbildningsplan för Masterprogram i nationalekonomi saknades i bilagda dokument för granskning, liksom kursplaner för tre kurser i ekonometri samt de kurser som är gemensamma för hela masterprogrammet i nationalekonomi (dessa laddades ned från institutionens hemsida). 2 Utbildningens utformning Som underlag för bedömning ska granskningsgruppen bland annat använda svar under rubriken Utbildningens utformning i utbildningsrapporten, dvs. institutionens beskrivning av eventuella program, inriktningar och studiegångar med fokus på progressionskurser samt övriga fristående kurser inom utbildningen. utbildningens utformning. Progression inom ramen för en utbildning kan antingen bestå i en breddning av kunskaper och färdigheter eller i en fördjupning av dessa. Beträffande masterprogrammet i nationalekonomi, av vilka ekonometri är en valbar inriktning, sker detta både genom en breddning av kunskaper under den första terminen (fyra olika obligatoriska kurser), samt en fördjupning den andra och tredje terminen med tre valbara kurser inom ekonometri (22,5hp). Termin fyra följer det obligatoriska självständiga arbetet, Masteruppsats i nationalekonomi (som ingår i huvudområdet ekonometri under förutsättning att ekonometriska metoder används i examensarbetet). Bedömningen är att masterprogrammet i nationalekonomi med inriktning mot ekonometri är utformat så att progressionen i utbildningen är väl tillgodosedd i form av såväl bredd som fördjupning av kunskaper och färdigheter. Bakgrundsuppgifter Som underlag för bedömning ska granskningsgruppen bland annat använda svar under rubriken Bakgrundsuppgifter i utbildningsrapporten, dvs. institutionens kommentarer om tillhandahållna statistiska uppgifter om studentgruppens sammansättning, genomströmning/prestationsgrad samt söktryck. Studentgruppens sammansättning kommenteras inte särskilt under rubriken Bakgrundsuppgifter i institutionens rapport men diskuteras under punkten Utvecklingsarbete (Jämställdhet och breddat deltagande). Det framgår där att studentgruppen i fråga om kön hållit sig inom 60/40-procentsintervallet inom masterprogrammet i nationalekonomi (det är dock färre kvinnliga studenter som mellan åren 2009-2018 väljer att ta ut examina i ekonometri, 20 kvinnor i jämförelse med 51 män). Ca en tredjedel är internationella studenter från många olika delar av världen. Studenter från utsatta områden är underrepresenterade. Genomströmningen på kurserna är mycket god med en variation mellan 70-100 procent. Inom
3 utbildningen har också variation inom samma kurs mellan olika år och mellan olika kurser uppmärksammats. Detta har bl a lett fram till att studentgruppen delats på den första kursen i ekonometri (EC7410) som är obligatorisk för samtliga studenter inom masterprogrammet i nationalekonomi men också för studenter från företagsekonomiska institutionens master i Bank och finans. Med en delning av studentgruppen (med studenter i nationalekonomi respektive företagsekonomi) kan kursinnehållet bättre anpassas till de olika gruppernas förutsättningar. Studenternas prestationer förefaller vara mycket goda, även om endast betygen för uppsatskursen redovisas (och där både studenter i nationalekonomi och ekonometri är inräknande). Där har över 90 procent av studenterna betyget C-A och över 70 procent B-A. Söktryck kommenteras inte explicit i rapporten men det framgår av kvalitetsplanen (antagen 2015) att antagningen till masterutbildningen sker i intensiv internationell konkurrens [ ], utan att exakta siffror sökande/plats anges. Sammantaget förefaller institutionen attrahera många studenter både nationellt och internationellt, genomströmningen är hög och studenterna presterar väl. För att bidra till kvalitetsutvecklingen skulle institutionen om detta inte redan är känt kunna analysera genomströmning och prestationsgrad (inklusive avhopp) utifrån studentgruppens sammansättning (är t ex avhoppen större inom vissa studentgrupper, har internationella studenter samma genomströmningstakt och hur ser betygsfördelningen ut utifrån studentgruppens sammansättning)? Måluppfyllelse Som underlag för bedömning ska gruppen bland annat använda svar under rubriken Måluppfyllelse i utbildningsrapporten, det vill säga institutionens analys av hur utbildningens utformning, genomförande och examination främjar studenternas lärande och säkerställer att studenterna uppnått examensmålen när examen utfärdas, analys av hur utbildningens utformning visar på en progression samt kommentarer till och analys av ifylld/-a examensmålsmatris/-er, inklusive styrkor och svagheter som kan identifieras vad gäller måluppfyllelse inom utbildningen. De nationella examensmålen kan sägas utgöra statsmaktens beställning till universiteten avseende de krav som studenten ska uppfylla när denne får ut sin examen. I och med att universitetet utfärdar en examen garanterar detta att studenten i fråga uppfyller samtliga examensmål. De förväntade studieresultaten (lärandemålen) i respektive kurs måste därför sammantaget täcka samtliga examensmål och examineras. De förväntade studieresultaten (lärandemålen) måste också visa på en progression i utbildningen. Inledningsvis är det viktigt att nämna att den del av institutionens rapport som berör måluppfyllelse är ytterst kortfattad (ca en halv sida) med hänvisning till den ifyllda målmatrisen. Varje enskilt examensmål och hur dessa relaterar till förväntade specifika kurser redovisas inte. Institutionen redogör dock tydligt för brister i måluppfyllelsen gällande att etiska aspekter inte behandlats i tillräcklig utsträckning (målen 7.3, 7.4 och 8.4), något som institutionen kommer att åtgärda under kommande läsår inom kursen EC7810 (en kommentar här är att dessa examensmål kanske inte bara bör examineras på kursen Metodikseminarium (EC7810), utan också på kursen Masteruppsats i nationalekonomi (EC9901), då dessa frågor aktualiseras mer konkret i det individuella självständiga arbetet). Målen i Utbildningsplanen för masterprogram i nationalekonomi (i vilken ekonometri är en valbar inriktning) (SNEKO) motsvarar väl examensmålen för ett program på avancerad nivå.
Sammantaget täcker också kurserna inom programmet samtliga examensmål, förutom de av institutionen definierade bristerna gällande examensmålen som berör etiska aspekter och människors ansvar för hur vetenskap används. Det är också oklart hur och om den från statsmakternas sida något märkliga skrivningen att studenten skall kunna redogöra för och diskutera sina slutsatser och argument i dialog med olika grupper, som gäller för examensmålen 5.1-5.4 i målmatrisen, uppfylls och examineras under utbildningen. 4 Vid sidan av dessa marginella kommentarer, bör institutionen dock reflektera över hur examensmålen bättre kan skrivas fram i kursplanerna för att visa måluppfyllelsen och det särskilt i relation till: 1) att utbildningen är på avancerad nivå; 2) betygskriterier för godkänt (E); och 3) att examensmålen i huvudsak skrivs fram genom betygskriterierna och inte förväntade studieresultat. 1) en utbildning på avancerad nivå. Vissa av kursplanerna har förväntade studieresultat som rör sig långt ned på skalan i t ex Krathwohls taxonomiska matris (Krathwohl 2002). 1 Detta gäller t ex den obligatoriska kursen EC7410 under termin 1 vars förväntade studieresultat är framskrivna i termer av förstå, förstå, förstå, och tillämpa (steg två och tre av sex i den taxonomiska matrisen). Detta kan vara väl för introducerande kurser på avancerad nivå men förefaller ändock lågt ställda i relation till nivån på utbildningen och i relation till beskrivningen av kursens innehåll. Även senare i utbildningen är förväntade studieresultat i kursplanerna ibland framskrivna i termer av att förstå, tillämpa, ha god kännedom om och kunna genomföra (lågt satta mål utifrån den taxonomiska matrisen). Ett exempel på detta är de förväntade studieresultaten för metodikseminariet (EC7810), där studenten förväntas: ha kunskap om hur en vetenskaplig uppsats i nationalekonomi bör vara utformad samt hur denna skall presenteras skriftligen och muntligen, samt ha förmåga att skriva och muntligen presentera en förstudie till en vetenskaplig uppsats i nationalekonomi. Dessa grundläggande kunskaper bör kanske studenten ha fått sig tillgodo redan på grundläggande nivå i utbildningen och att det på denna avancerade nivå handlar om väsentligt fördjupade kunskaper för att visa en tydlig progression i hela utbildningen? I både kursbeskrivning och betygskriterier för denna kurs nämns dessutom vetenskapsteori och nationalekonomisk forskningsmetodologi som centrala delar samtidigt som institutionens egen bedömning av kursen i den ifyllda målmatrisen är att den inte uppfyller något av examensmålen för kunskap och förståelse eller färdighet och förmåga (som bör vara kopplade till vetenskapsteori och forskningsmetodologi). Utifrån detta kanske frågan kan ställas om detta är en kurs för avancerad nivå. 2) betygskriterier för godkänt (E). I vissa kursplaner behöver inte alla förväntade studieresultat vara uppfyllda för att betyget E skall kunna erhållas. På kurserna EC7410, EC7411och EC7412 försvinner t ex det förväntade studieresultatet att kunna tillämpa ( metoderna på empirisk data och tolka dess resultat, metoderna empiriskt ) i betygskriterierna för E (det dyker upp för betyget D alternativt C). För betyget E är det tillräckligt att studenten skall kunna förklara viktiga delar av de begrepp som behandlas på kursen (EC7410 och EC7411). Detsamma gäller på kursen EC7413, där det bland de förväntade studieresultaten ingår att studenten bl a skall kunna tillämpa, skapa och beräkna, samt tolka, samtidigt som betygskriteriet för E är att definiera grundläggande begrepp och tidsseriemodeller (tillämpning är först ett betygskriterium för C). Detta kan nu tyckas vara ett mindre problem, eftersom flera examensmål examineras på flera kurser, men i institutionens ifyllda målmatris framgår det t ex att målen 3.1-3.4 om färdighet och förmåga (att kritiskt och systematiskt integrera [ ] analysera [ ] bedöma [ ] hantera företeelser, frågeställningar och situationer även med begränsad 1 David R. Krathwohl (2002) A Revision of Bloom's Taxonomy: An Overview, Theory Into Practice 41(4): 212-218, DOI: 10.1207/s15430421tip4104_2.
information ) alla uppfylls i viss, stor eller i mycket stor utsträckning på dessa kurser. Gäller detta även för studenter med betyget E? 5 3) att examensmålen i huvudsak skrivs fram genom betygskriterierna och inte förväntade studieresultat. Vad gäller examensmålen Färdighet och förmåga där studenterna, som tidigare nämnts, skall visa förmåga att kritiskt och systematiskt integrera [ ] analysera [ ] bedöma [ ] hantera företeelser, frågeställningar och situationer även med begränsad information (målen 3.1-3.4), samt visa förmåga att kritiskt, självständigt och kreativt identifiera och formulera frågeställningar, samt planera och genomföra kvalificerade uppgifter (målen 4.1-4.4), är dessa i många kursplaner inte formulerade i förväntade studieresultat eller i beskrivningen av kursens innehåll (detta är dock explicit uttryckt t ex i kursplanen för EC9901, masteruppsats), utan skrivs istället fram genom betygskriterierna. Att visa en självständig och kritisk förmåga är dock inte nödvändigt för betygen E och D, utan är avgörande för högre betyg (C-A). Om en student genomgår hela utbildningen med betyget E på samtliga kurser, kommer då samtliga examensmål sammantaget ha uppfyllts? Dessa kommentarer leder till tre rekommendationer. Institutionen bör: 1) reflektera över om de förväntade studieresultaten bättre kan skrivas fram för en utbildning på avancerad nivå (kanske särskilt gällande kursen EC7810). 2) se över betygskriterierna för att visa att alla förväntade studieresultat också är uppfyllda för att en student skall examineras med betyget E. 3) reflektera över hur måluppfyllelsen gällande färdighet och förmåga kan skrivas fram bättre för att visa att en student med betyget E genomgående i utbildningen också når målen 3.1-3.4 och 4.1-4.4. Avslutningsvis och som en kommentar kring den ifyllda målmatrisen är det svårt att utifrån kursplanerna förstå hur målmatrisen har fyllts i (vilket den kortfattade beskrivningen av måluppfyllelse bidrar till, här hade granskaren behövt ta del av hur institutionen resonerat, inte bara hänvisats till målmatrisen). Möjligen är det förvirrande både för mig och institutionen att måluppfyllelse kan graderas mellan 0-3, för vad betyder det t ex att ett mål uppfylls i viss utsträckning? Tar vi t ex kurserna EC7411 och EC7413 kan nämnas att alla examensmål för utbildningen (för kunskap och förståelse, färdighet och förmåga och värderingsförmåga och förhållningssätt) utifrån målmatrisen anses vara uppfyllda på dessa kurser i viss, stor eller mycket stor utsträckning. Innebär det att alla dessa examensmål också examineras på kursen? Vad gäller t ex målen (5.1-5.4) att visa förmåga att i nationella och internationella sammanhang muntligt och skriftligt klart redogöra för och diskutera sina slutsatser och de argument som ligger till grund för dessa i dialog med olika grupper så bedömer institutionen att de uppfylls i stor utsträckning (EC7411), eller i mycket stor utsträckning (EC7413). Enligt kursplanerna sker examinationen på båda dessa kurser genom en skriftlig examen (på EC7411 också genom löpande inlämningsuppgifter). Det framgår dock inte av kursplanerna att den muntliga förmågan examineras i någon form (målen 5.1 och 5.3). Nu är detta inte något större problem, eftersom dessa examensmål uppfylls på andra kurser, men en rekommendation här är att om dessa mål uppfylls på dessa kurser, vilket målmatrisen antyder, så bör det också skrivas fram i kursplanerna. Lärare och annan undervisande personal: Kompetens och kompetensutveckling Som underlag för bedömning ska gruppen bland annat använda svar under rubriken Lärare och annan undervisande personal: Kompetens och kompetensutveckling i utbildningsrapporten, det vill säga institutionens
analys av sammansättningen av lärare och annan undervisande personal avseende vetenskaplig och professionsinriktad kompetens, redogörelse för planerade rekryteringar samt analys av hinder och möjligheter för att stärka lärarnas vetenskapliga och pedagogiska (och i förekommande fall professionsinriktade) kompetens. Kompetensen på den undervisande personalen är mycket hög (fyra professorer och fyra forskare med doktorsexamen), där lärarna undervisar på kurser utifrån deras kompetens- och forskningsområden. Samtliga lärare är tillsvidareanställda och alla (utom en) har mellan 75 till 82 procent forskning i tjänsten, vilket borgar för forskningsanknuten undervisning, och hälften av alla lärare har genomgått pedagogisk utbildning. Lärare för gruppövningar (som sker på tre kurser i ekonometri: EC7410, EC7411 och EC7413) är doktorander men ibland även amanuenser (mastersstudenter på andra året). Hur stor andel av den totala undervisningen på utbildningen som görs av grupplärare (doktorander/amanuenser) framgår inte av institutionens rapport. 6 Kurs- och utbildningsuppföljning Som underlag för bedömning ska gruppen bland annat använda svar under rubriken Kurs-och utbildningsuppföljning i utbildningsrapporten, det vill säga institutionens beskrivning av arbetet med uppföljning av samtliga kurser, inklusive examensarbeten, beskrivning av arbetet med uppföljning av hela utbildningen, inklusive progressionen mellan kurser, kommentarer och analys av kurser som institutionen anser har särskilda styrkor och som därmed kan utgöra goda exempel, kommenterar om kurser där svagheter har identifierats samt kommentarer till studenternas synpunkter på utbildningens styrkor och svagheter, i den mån det finns utvärderingar gjorda av hela utbildningen. Institutionen arbetar aktivt med att följa upp kursutvärderingar, vilket är positivt (svarsfrekvensen framgår dock inte). Imponerande och centralt i utvärderingsarbetet är de omfattande alumniundersökningar institutionen genomför med regelbundenhet var tredje till femte år (en ny är under framtagande), som ger goda studentsynpunkter på utbildningen i sin helhet. I den bilagda alumniundersökningen ger studenterna klart uttryck för att utbildningen uppfattas som stark och mycket relevant för deras yrkesverksamhet. Ytterligare en viktig del i uppföljningsarbetet är den omfattande uppföljning och kvalitetssäkring som sker genom institutionens process vid examination av uppsatser, där samtliga examinatorer träffas och diskuterar betygen på varje uppsats. Detta skapar inte bara rättssäkerhet för den enskilda studenten, utan ger också ett gott underlag för att analysera brister och svagheter tidigare i utbildningen samt för att säkra progressionen mellan kurser. Sammanfattningsvis är kurs- och utbildningsuppföljningen lovvärd med två särskilt goda exempel: de återkommande alumniundersökningarna och den omfattande examinationsprocessen för den sista terminens självständiga arbete.
7 Organisation av kvalitetsarbete Som underlag för bedömning ska gruppen bland annat använda svar under rubriken Organisation av kvalitetsarbete i utbildningsrapporten, det vill säga institutionens beskrivning av hur kvalitetsarbetet kring utbildningen är organiserat, hur samarbetet fungerar mellan institutioner på kurs- och programnivå, Samarbete med andra institutioner bör särskilt lyftas fram vid bedömning av institutionsöverskridande programutbildningar på vilket sätt studentinflytandet säkras, hur plats ges för, i förekommande fall, externa intressenter, t.ex. representanter för arbetslivet och alumner, i arbetet med planering och uppföljning av utbildningen samt hur det säkerställs att utbildningen svarar mot arbetslivets behov. Av utbildningsrapporten framgår att institutionen har klara rutiner för kvalitetsarbetet, som är organiserat i anslutning till institutionens kvalitetsplan med regelbundna uppföljningar. Institutionen har inom ramen för masterprogrammet i nationalekonomi samarbete med två institutioner: matematiska institutionen (matematiska institutionen ger en grundläggande kurs i matematik i början av programmet) och företagsekonomiska institutionen. Samarbetet förefaller fungera väl genom dialog mellan institutionerna vid behov av eventuella ändringar i kursupplägg (något som t ex den delade studentgruppen på kursen EC7410 visar, se Bakgrundsuppgifter). Studenternas inflytande säkras genom kursvärderingar, kontinuerlig dialog med ämnesrådet, genom representation i institutionsstyrelsen samt alumnienkäter. Externa intressenter deltar inte i arbetet med att planera och följa upp utbildningen men att utbildningen svarar mot arbetslivets behov säkerställs dels genom de tidigare nämnda alumniundersökningarna (där t ex nästan 80 procent av studenterna med en masterexamen nationalekonomi/ekonometri i undersökningen från 2013 svarade att de hade arbete som var relevant utifrån utbildningen och samtliga studenter svarade att de hade stor eller viss användning av sina kunskaper i ekonomi), dels genom lärarnas kontakter med relevanta arbetsgivare genom bisysslor (t ex Riksbanksfullmäktige och SNS), dels genom samarbete med relevanta arbetsgivare för att ge studenter möjlighet att skriva sina examensarbeten i samarbete med dessa (t ex Finansdepartementet och Konjunkturinstitutet). Övrig organisation och administration Som underlag för bedömning ska granskningsgruppen bland annat använda svar under rubriken Övrig organisation och administration i utbildningsrapporten, det vill säga institutionens beskrivning av hur administrationen av utbildningen fungerar, hur studie- och karriärvägledningen är organiserad samt hur studenterna informeras om en framtida arbetsmarknad samt hur institutionen samlar in och tar tillvara på alumners synpunkter på utbildningen.
Administrationen vid institutionen synes fungera väl. 8 Utvecklingsarbete Som underlag för bedömning ska granskningsgruppen bland annat använda svar under rubriken Utvecklingsarbete i utbildningsrapporten, det vill säga vilka förändringar som har genomförts inom utbildningen under den senaste treårsperioden samt beskrivning av åtgärder och resultat av dessa åtgärder, vilka förändringar som institutionen planerar att vidta men som ännu inte genomfört, inklusive tidsramen samt hur institutionen arbetar med att främja jämställdhet och breddat deltagande avseende utbildningens förutsättningar, innehåll och genomförande. Den förändring som genomförts under den senaste treårsperioden berör delningen av studentgruppen på kursen EC7410 (i studenter i nationalekonomi respektive företagsekonomi, se Bakgrundsuppgifter) för att anpassa undervisningen bättre till de olika studentgruppernas förutsättningar. Detta gör också att progressionen för studenterna i ekonometri kan stärkas. En relativt omfattande omorganisation av mastersutbildningen genomfördes för fem år sedan och inget nytt omfattande utvecklingsarbete är planerat. Inom masterprogrammet i nationalekonomi har institutionen inte arbetat aktivt för att främja jämställdhet, eftersom studentgruppen som tidigare nämnts (se Bakgrundsuppgifter) i fråga om kön hållit sig inom 60/40-procentsintervallet. Med denna rapports fokus på huvudområdet ekonometri, vore det dock kanske av intresse att närmare utreda varför så få kvinnor tar ut sin examen inom området (20 av 71 examina i ekonometri perioden 2009-2018 togs ut av kvinnor medan motsvarande siffror för nationalekonomi var 80 kvinnor och 78 män). I rapporten kommenteras detta summariskt: Vi vet dock inte varför fler män än kvinnor väljer att göra detta. En analys av utbildningens (ekonometri) förutsättningar, innehåll och genomförande utifrån ett jämställdhetsperspektiv kunde här bidra till kvalitetsutvecklingen. Studenter från utsatta områden är, som nämndes i inledningen, underrepresenterade i utbildningen och här har institutionen i samarbete med andra institutioner vid SU nyligen påbörjat en satsning för breddad rekrytering (med bl a två workshops i Husby). Det är för tidigt att utvärdera projektet och tidsramarna är inte angivna i rapporten men projektet skall enligt institutionen fortgå även framledes. Viktigt här är att den utvärdering som följer sprids till andra institutioner vid SU, eftersom ett breddat deltagande är något som många institutioner arbetar med och eftersträvar. Sammanfattande omdöme Granskningsgruppen ska på ett klart och tydligt sätt sammanfatta sina tidigare framförda överväganden och ställningstaganden. Det sammanfattande omdömet ska också ge återkoppling till institutionen om goda exempel och utvecklingsområden. Vidare ska det tydligt framgå vad som inte bedöms hålla tillräcklig kvalitet och som gruppen
därmed föreslår ska/måste åtgärdas. 9 Om granskningsgruppen anser att en fördjupad granskning bör genomföras anges det här, inklusive motivering. Den samlade bilden av masterprogrammet i nationalekonomi med inriktning mot ekonometri är att det är en utbildning av hög kvalitet. Detta gäller progressionen i utbildningen, samtidigt som det är en eftersökt utbildning (nationellt och internationellt) med hög genomströmning och goda studentprestationer, lärarkompetensen är mycket hög och undervisningen är tydligt forskningsanknuten, och utbildningen har en stark och tydlig relation till arbetslivet. Vad gäller kvalitetsarbetet på institutionen är det värt att särskilt lyfta fram dels alumniundersökningarna, som är imponerande i sin omfattning, dels den omfattande kurs- och utbildningsuppföljning som examinationsprocessen för examensarbetet ger, där samtliga examinatorer och medläsare diskuterar varje enskild uppsats och dess betyg, dels möjligheten för studenterna att i samarbete med relevanta arbetsgivare skriva sitt examensarbete. Ett identifierat utvecklingsområde handlar om måluppfyllelse: institutionen bör reflektera över hur examensmålen bättre kan skrivas fram i kursplanerna för att visa måluppfyllelse. Detta kan sammanfattas i tre rekommendationer, som tidigare nämnts. Institutionen bör: 1) reflektera över om de förväntade studieresultaten bättre kan skrivas fram för en utbildning på avancerad nivå. 2) se över betygskriterierna för att visa att alla förväntade studieresultat också är uppfyllda för att en student skall examineras med betyget E. 3) reflektera över hur måluppfyllelsen gällande färdighet och förmåga kan skrivas fram bättre för att visa att en student med betyget E genomgående i utbildningen också når målen 3.1-3.4 och 4.1-4.4.