1 2014-03-05 dnr: 896-13 Arbetsgruppens rapport avseende Granskning av Utbildningar vid institutionerna BHS, HIT, PED, THS och VHB Bakgrund Enligt Styrelsens organisations- och beslutsordning (SOB) ansvarar Forsknings- och utbildningsnämnden för kontinuerlig uppföljning och utvärdering av utbildningar. Som ett led i denna uppföljning genomförs regelbundna granskningar i enlighet med styrdokumentet Ordning för utvärdering av utbildningar vid Högskolan i Borås (Dnr: 152-11-11). Under 2012 och 2013 har utbildningar vid fem av sex institutioner granskats genom författandet av en självvärdering som har bildat underlag för en extern granskning genom institutionsövergripande audits samt en analys av en utsedd arbetsgrupp. Syftet med den lokala självvärderingen enligt ordningen är att, förutom att förse nämnderna med underlag för bedömning av utbildningarna, också synliggöra positiva aspekter och medvetandegöra brister i verksamheten vilka skall utgöra ett underlag för framtagande av en handlingsplan för kvalitetsarbete för institutionen/enheten. Processen Vid möte med Forsknings- och utbildningsnämnden 2012-11-04 beslutades att tillsätta en arbetsgrupp bestående av Stefan Cronholm (FoU-nämnden), Ulrika Bernlo (tf avdelningschef US), Johan Drotz (utbildningssamordnare), och bjuda in en representant för studentkåren. Till denna kärna har representanter för institutionerna BHS och VHB respektive för PED, THS och HIT tillkommit för att skapa två olika arbetsgrupper, med uppdraget att i samförstånd och dialog stödja institutionerna i processen. Arbetet planerades efter följande process: 1) gemensamgörande och situationsanpassning av dokumentet Ordning för utvärdering av utbildningar vid Högskolan i Borås 2) urval av utbildningsprogram, 3) upprättande av tidplan, 4) genomförande av rapportering av resultat av självvärdering, 5) extern granskning genom audits, 6)gemensam analys i arbetsgruppen av resultat samt 7) författande av sammanfattande rapport till Forsknings- och utbildningsnämnden. Gemensamgörande och situationsanpassning av dokumentet Ordning för utvärdering av utbildningar vid Högskolan i Borås (1) innebar att ett urval av innehållet gjordes. Anledningen till detta urval var att flera punkter sammanföll med UKÄ s utvärdering av utbildningar vilket gjorde att synergivinster kunde göras. I den slutliga självvärderingen skulle dock alla punkter i ordningen besvaras. Arbetssteget (2), urval av utbildningsprogram innebar att en diskussion fördes om vilka utbildningsprogram som var mest relevanta för granskning. Arbetsgruppen fann det orimligt att genomföra en självvärdering av samtliga utbildningsprogram eftersom detta arbete för vissa institutioner har skett parallellt med UKÄ s externa granskning av examen och för andra följde direkt efter en sådan extern granskning. De kriterier som beaktats vid val av utbildningsprogram är: relevans, storlek, ej tidigare utvärderade, samt att de skulle ges under en överskådlig tid (dvs, det fanns inga planer på att utbildningsprogrammen skulle läggas ner inom den närmsta tiden). De utbildningsprogram som valdes är: Vid institutionen BHS:
Bibliotekarieutbildningen 180 hp, (120 hp på distans) Magisterutbildning i strategisk information och kommunikation, 60 hp (distansutbildning) Masterprogram i biblioteks och informationsvetenskap 120 hp (distansutbildning) Vid institutionen VHB: Sjuksköterskeutbildningen, 180 hp, Specialistutbildningarna med inriktningarna: Ambulanssjukvård, 60 hp, Anestesisjukvård, 60 hp Intensivvård, 60 hp, Distriktsjuksköterska, 75 hp Vid institutionen PED: Förskollärarutbildning, 210 hp, Grundlärarutbildning med inriktning mot arbete i fritidshem, 180 hp, Grundlärarutbildning med inriktning mot arbete i föreskoleklass och grundskolans årskurs 1-3, 240 hp, Grundlärarutbildning med inriktning mot arbete i grundskolans årskurs 4-6, 240 hp, Ämneslärarutbildning för grundskolans årskurs 7-9: Svenska, engelska, svenska som andraspråk, 270 hp, Organisations och personalutvecklare i samhället, 180 hp, Magisterutbildning med inriktning arbetsvetenskap, 60 hp, Masterutbildning i pedagogiskt arbete, 120 hp Vid institutionen HIT Civilekonomprogrammet, 240 hp, Masterutbildning i informatik, 120 hp Vid institutionen THS Masterutbildning i textilt management med inriktning fashion management Masterutbildning i textilt management med inriktning styrning av textila värdekedjor Den grova tidplan (3) som utformades såg ut så här: jan-feb 2013 diskussion av förutsättningar för självvärderingen mar-jun 2013 genomförande av självvärdering sep 2013 utbildningsprogrammens rapportering till arbetsgruppen Sep okt 2013 extern granskning (audits) nov 2013 analysmöten dec 2013 författande av rapport till Forsknings- och utbildningsnämnden Under året har arbetsgruppen träffats vid fem tillfällen (BHS & VHB) respektive fyra tillfällen (HIT, THS, PED). Studentrepresentanten har getts möjlighet att delta i arbetsgruppen, men inte kunnat delta i flertalet av mötena. En representant för studentkåren har däremot aktivt deltagit i den externa granskningen genom audits. Genomförande av rapportering av resultat av självvärdering (4) har utförts av 2
företrädare för utbildningsprogrammen. Arbetsgruppens roll har varit att stödja genomförandeprocessen. I ordningen finns ett krav på att rapporten sedan ska undergå en extern granskning (5), i den form som väljs av institutionen. Samtliga institutioner har valt att undergå granskningar i form av institutionsövergripande audits. För utförandet av denna granskning har den då nytillsatte centrala kvalitetssamordnaren (Karen Nowé Hedvall) ansvarat med stöd av utbildningssamordnaren. Sammanställningen av auditgrupperna, en beskrivning av genomförandet och en skriftlig bedömning utgör en del av underlaget till nämnden. För arbetssteget (6) planerades en gemensam analys av självvärderingsrapporterna. Syften med denna analys var dels att skapa förutsättningar för en kunskapsöverföring mellan utbildningsprogram och institutioner genom att lyfta fram goda exempel som kunde vidareföras till andra program, dels att få stöd inom arbetsgruppen i att hantera identifierade problem/utmaningar. På grund av tidsbrist och hög arbetsbelastning hos flera företrädare för utbildningsprogrammen kunde detta arbetssteg inte genomföras. Arbetssteget (7) författande av sammanfattande rapport till Forsknings- och utbildningsnämnden motsvaras av denna rapport som grundas på självvärderingsrapporterna, samt av en övergripande analys av generella utmaningar där både auditgruppernas utlåtanden och självvärderingsrapporterna bildat underlaget. Båda rapporter har sammanställts av Stefan Cronholm, Johan Drotz, Ulrika Bernlo och Karen Nowé Hedvall. Dokumentation Utbildningsprogrammens egna självvärderingar finns diarieförda enligt följande: Självvärderingar VHB dnr: 744-13 Självvärderingar BHS dnr: 893-13 Självvärderingar PED dnr: 894-13 Självvärderingar HIT dnr: 892-13 Självvärderingar THS dnr 895-13 PEDs självvärdering behandlar alla utvalda utbildningar i ett dokument. VHB behandlar alla specialistutbildningar i ett dokument och sjuksköterskeutbildningen i ett annat. BHS, HIT och THS tillägnar varje granskad utbildning en egen självvärdering. Auditgrupperna har dokumenterat en bedömning per institution som behandlar alla där granskade utbildningar. Auditgruppernas bedömningar finns diarieförda i samma dnr som självvärderingarna. Detta dokument, arbetsgruppens återrapportering, innehåller en sammanfattande analys av alla granskade utbildningar i denna omgång. Analys Resten av denna rapport bygger på arbetsgruppens egen analys av självvärderingarna, med hänsyn tagen till skriftlig input från utbildningsansvariga vid HIT angående PEDs och THS självvärderingar, och utbildningsansvariga från PED angående THS och HITs 3
självvärderingar. Rapporten utgör härmed ett komplement till självvärderingarna och till auditgruppernas bedömning. Enligt dokumentet Ordning för utvärdering av utbildningar vid Högskolan i Borås efterfrågas explicit positiva aspekter och brister i verksamheten vilka skall utgöra ett underlag för framtagande av en handlingsplan. Vi har därför valt att för varje granskad utbildning särskilt lyfta fram goda exempel och brister i verksamheten som kan vara lärorika för fler än det berörda programmet. Naturligtvis finns det många fler positiva aspekter och intressanta reflektioner i respektive självvärderingsrapport. Bibliotekarieprogrammet (BHS), kandidatutbildning - Ett strukturerat arbetssätt för att undersöka måluppfyllelse med hjälp av en särskild matris (som är under utveckling). - Två kursansvariga för varje kurs, varav en (ibland) har anknytning till nästa kurs kan hjälpa till att hålla ihop utbildningen och progressionen. Detta har gjorts särskilt medvetet i kurser som ingår i en medveten progression till uppsatskursen. - Handledning i examensarbetskursen sker i grupper, med två handledare för varje grupp. Dessutom för alla handledare i uppsatskursen en kontinuerlig diskussion kring uppsatser, och ett särskilt organ som utgörs av kursansvariga för alla uppsatskurser på både grund och avancerad nivå träffas regelbundet och diskuterar kvalitetssäkringen av uppsatser och uppsatskurser. - Förkunskapskraven till utbildningsplanen för distansutbildning dock ej Biblioteks- och informationsvetenskap kan vara ett brott mot HF Kap 7 8. Det måste utredas om så är fallet och isåfall åtgärdas innan 15 september 2014. - I senare dokument bör den vetenskapliga grunden för utbildningen beskrivas tydligare så att även läsare utanför ämnet förstår den. - Ämnet beskrivs på flera ställen som brett och tvärdisciplinärt. Det bör motiveras tydligare varför man valt att satsa på denna breda grund för denna utbildning, och man bör reflektera över om den kan medföra faror för alltför lite ämnesprogression och hur man kan undvika detta. - Texten är positivt hållen. Det är bra att positiva aspekter lyfts fram men det saknas en kritisk diskussion avseende vilka brister/utmaningar som finns. Ett sätt att bemöta denna synpunkt är att besvara frågan Vilka är de största utmaningarna som ni står inför och hur ska ni anta dessa? Svaret på frågan kan därefter utgöra ett underlag för upprättandet av en handlingsplan. Masterprogram i Biblioteks- och informationsvetenskap (BHS), masterutbildning - Studenterna får vid många tillfällen själv välja ut vetenskaplig litteratur och källkritiskt reflektera kring urvalet. - En till synes väl utvecklad handbok i kursen examensarbete. 4
- Utbildningen har en oklar användning av begreppet fördjupning. Fördjupning beskrivs som Detta medför att fördjupning i ämnet dels sker genom att studenterna lär sig lite om mycket. Det är en breddutbildning som beskrivs, men en breddmagister finns inte kvar enligt HF. Man bör reflektera mer kring hur man klarar utmaningen i att erbjuda en utbildning på avancerad nivå till studenter utan tidigare förkunskaper i ämnet, som ändå kan leda till fördjupade kunskaper i ämnet jämfört med grundnivån, när ämnet beskrivs som så pass brett och tvärvetenskapligt. - Man bör motivera tydligare hur kursen i forskningsmetoder utgör en progression från motsvarande kurser i grundutbildningen. - Texten är positivt hållen. Det är bra att det positiva aspekter lyfts fram men det saknas en kritisk diskussion avseende vilka brister/utmaningar som finns. Ett sätt är bemöta denna synpunkt är att besvara frågan Vilka är de största utmaningarna som ni står inför och hur ska ni anta dessa? Svaret på frågan kan därefter utgöra ett underlag för upprättandet av en handlingsplan. Magisterutbildning i strategisk information och kommunikation, - Särskilda handlingsmål finns formulerade för varje kurs i en satsning på entreprenöriellt lärande nytänkande!? - Två handledare handleder grupper med uppsatsstudenter, erbjuder balans mellan forskning (vetenskaplig kompetens) och praktik (professionell erfarenhet). - En medvetenhet kring brister i programmet, t ex när det gäller progression och vetenskapliga metoder, finns i självvärderingen som också beskriver hur arbete för att råda bot på detta pågår. - Gör tydligare hur handlingsmål relaterar till lärandemål, och hur professionsanknytning balanseras med vetenskapliga krav. - Se över bredden en breddmagister finns inte kvar enligt HF. Progressionen och djupet måste vara tydligt. Reflektera kring hur man klarar av progression i huvudområdet i detta program, med studenter utan förkunskaper i ämnet, och på ett år. Vilken roll spelar arbetslivserfarenhet för detta? - Reflektera kring relationen till andra huvudområden ut med tanke på upplägg och genomförande; det är en oklar argumentation kring varför kurser ges som traditionellt tillhör ett annat huvudområde. Sjuksköterskeutbildningen (VHB), kandidatutbildning - Man har bjudit in en lärare från CLU som undervisat institutionens lärare i konsten att skriva goda bedömningskriterier. - Reflektionsseminiarier används systematiskt i utbildningen som ett sätt för studenterna att nå en större grad av insikt/förståelse. 5
- Kursen slutexamination examinerar explicit många av de examensmål som inte täcks i det självständiga arbetet. - Arbeta mer med att integrera alla lokala mål (som till exempel Hållbar utveckling och entreprenörskap) explicit i utbildningen och i den tänkta progressionen, som när det gäller examensmålen är mycket väl strukturerad. - Reflektera kring hur professionsanknytningen balanseras med vetenskapliga krav, och kring utmaningen det innebär att utbildningarna leder till dubbla examina. Specialistutbildning med inriktning mot: ambulanssjukvård 60 hp, anestesisjukvård 60 hp, intensivvård 60 hp och distriktssköterska 75 hp (VHB), masterutbildning - Studenterna har möjlighet att delta i forskarnas projekt, till exempel genom att examensarbetet utgör en delstudie i ett större forskningsprojekt. - Loggböcker används för att följa kunskapsprogressionen på individnivå. Man utgår från studentens egna reflektioner om det egna lärandet. Självvärderingen erbjuder en tydlig beskrivning av hur man gör (process) men är mer sparsam avseende examensmålens måluppfyllelse. I senare dokument kan man förtydliga, inte bara att man arbetar med förbättringar, utan också vilka utgångspunkter förbättringsarbetet har. - Reflektera kring hur professionsanknytningen balanseras med vetenskapliga krav, och kring utmaningen det innebär att utbildningarna leder till dubbla examina. - Det är en positiv text. Det är bra att positiva aspekter lyfts fram men det saknas en kritisk diskussion avseende vilka problem/utmaningar som finns och hur ni tänker agera för att hantera dessa. Ett sätt att bemöta denna synpunkt är att besvara frågan Vilka är de största utmaningarna som ni står inför och hur ska ni anta dessa? Svaret på frågan kan därefter utgöra ett underlag för upprättandet av en handlingsplan. Civilekonomprogrammet - Bra arbete med kopplingen mot näringslivet och tydliga inslag av medverkan av näringslivsföreträdare i kurser - Bra med ett progressionsdiagram för utbildningen. 6 - Valda kursers genomförande saknas helt i självvärderingen. - Självvärderingen ger ett minimum av information och saknar reflektioner, till
exempel kring progressionen i metod, den vetenskapliga grunden, implementeringen av de vid högskolan lokala målen samt forskningsanknytningen. Även här kan man bemöta denna synpunkt genom att besvara frågan Vilka är de största utmaningarna som ni står inför och hur ska ni anta dessa? Svaret på frågan kan därefter utgöra ett underlag för upprättandet av en handlingsplan. Masterprogram i informatik - En metodkurs ges tidigt i programmet för att säkerställa en fördjupning till kandidatnivå tidigt. - Valda kursers genomförande saknas helt i självvärderingen. - Självvärderingen ger ett minimum av information och saknar reflektioner, till exempel kring implementeringen av de vid högskolan lokala målen, forskningsanknytningen och vilka brister man själv ser i utbildningen. Även här kan man bemöta denna synpunkt genom att besvara frågan Vilka är de största utmaningarna som ni står inför och hur ska ni anta dessa? Svaret på frågan kan därefter utgöra ett underlag för upprättandet av en handlingsplan. Masterprogram Textilt Management med inriktning styrning av textila värdekedjor - Det finns tydliga inslag av reflektion kring i utvärderingen kring vissa identifierade problemområden. - Utbildningen har erfarenhet av att arbeta med en internationell studentgrupp - Självvärderingen svarar inte på alla frågor som ställs i ordningen och innehåller bristande reflektion, t ex avseende vetenskaplig metod eller forskningsanknytning, hur examinationsformer och innehåll säkerställer progressionen i utbildningen, hur utbildningsmålen realiseras mer konkret, och när det gäller mål för internationalisering. - Beskriv och motivera tydligare vad Textile Management är utifrån såväl ett professions- som ämnesperspektiv. Vad är den gemensamma grunden inom ämnet? Hur kan man arbeta med den utmaning det innebär att ämnet fortfarande håller på att byggas upp samtidigt som utbildningen pågår redan idag? - Tydliggör hur den systematiska progressionen gällande t ex akademiskt skrivande, kritisk reflektion samt ämnesfördjupning ser ut och åtgärda brister som finns i progressionen. Masterprogram i textilt management med inriktning fashion management 7
- Flera internationella kontaktnät finns både mot akademi och industri - Självvärderingen svarar inte på alla frågor som ställs i ordningen och innehåller bristande reflektion, t ex avseende progressionen i vetenskaplig metod eller utbildningens forskningsanknytning. Forskningsanknytningens koppling till själva utbildingen behöver säkerställas. - Utbildningen verkar snarare erbjuda bredd än fördjupning. Progressionen och djupet i huvudområdet måste dock vara tydligt enligt HF. Reflektera kring hur man klarar av progression i huvudområdet i detta program, med studenter med mycket olika förkunskaper (kandidat samhällsorienterad, teknik eller design). Pedagogik: programsammanhållen självvärdering - Förskollärarutbildning, 210 hp, - Grundlärarutbildning med inriktning mot arbete i fritidshem, 180 hp, - Grundlärarutbildning med inriktning mot arbete i förskoleklass och grundskolans - årskurs 1-3, 240 hp, - Grundlärarutbildning med inriktning mot arbete i grundskolans årskurs 4-6, 240 hp, - Ämneslärarutbildning för grundskolans årskurs 7-9: Svenska, engelska, svenska som andraspråk, 270 hp, - Organisations och personalutvecklare i samhället, 180 hp, - Magisterutbildning med inriktning arbetsvetenskap, 60 hp, - Masterutbildning i pedagogiskt arbete, 120 hp Goda exempel Ett ambitiöst, strukturerat och väl genomarbetat kvalitetsprogram, med en väl utvecklad mötesstruktur med utgångspunkt i kontinuerligt kvalitets- och utvecklingsarbete, har utvecklats. Idag är stora delar ännu ej implementerade i verksamheten utan utgör en målbild. - Visar en stor medvetenhet om vissa kvalitetsbrister och vågar vara tydliga med dessa, både internt och i sin självvärdering; Slutsatserna tyder på att institutionen har identifierat brister och har handlingsplaner och/eller idéer om hur de kan arbetas bort. - Integration av hållbar utveckling har en framträdande plats, man har tagit till sig paraplytesen kring hållbar utveckling och implementerat alla aspekterna i utbildningarna - Intern utbildning med fokus på didaktik 8 - Självvärderingens upplägg gör det svårt att identifiera innehåll och måluppfyllelse i de specifika programmen. - Finns rätt kompetenser till de program man bedriver? Ett kartläggningsarbete pågår, och man beskriver att man tappat vad man anser vara
9 nyckelkompetenser och uttrycker t.o.m. oro för examensrättigheterna vid nästa granskning. Här bör man fortsätta sitt arbete med en retentionsplan.
Övergripande utmaningar för utbildningar vid Högskolan i Borås: en analys av underlag och process vid Forsknings- och Utbildningsnämndens granskning av utbildningar 2012-2013. Dnr 896-13. Under arbetsgruppens analys av självvärderingar inklusive utbildningsansvarigas kommentarer på varandras självvärderingar samt auditgruppernas utlåtanden har några utmaningar och brister identifierats som gemensamma för flera av de beskrivna utbildningarna. Vi menar därför att de förtjänar att lyftas samlat på en mer generell nivå och att övergripande insatser bör göras för att komma tillrätta med dessa brister. Utmaningarna och bristerna kan i korthet beskrivas som följer: 1. Fördjupad kunskap och färdighet 2. Vetenskaplig grund 3. Huvudområdets relation till utbildningen 4. Balans mellan vetenskapliga krav och profession 5. Högskolans lokala mål 6. Självkritiskt förhållningssätt 7. Nyckeltal Nedan utvecklar vi varje punkt vidare. 1. Vid flera utbildningar har vi uppmärksammat svårigheten att under en kortare period (ett år) uppnå en tillräcklig fördjupning i ett ämne, samt i metodkunskap, för att kunna nå upp till examensmålen för avancerad nivå. Utmaningen blir än större när utbildningen inte kräver att studenterna har förkunskaper i ämnet. 2. Ett annat område där vi ser att flera av utbildningarna haft problem är i att skapa en beskrivning av utbildningarnas vetenskapliga grund som kan förstås av granskare, eller studenter, som inte själva hör till det beskrivna ämnet. Det är särskilt tydligt när det gäller unga och/eller tvärvetenskapliga ämnen, som många av högskolans utbildningar bygger på. 3. En näraliggande utmaning handlar om hur utbildningarna väljer att kalla sina huvudområden. UKÄs externa granskningar med fokus på examen och huvudområden har aktualiserat nödvändigheten att utbildningsansvariga såväl som nämndledamöter har en djupare förståelse för vad valet av ett huvudområde medför för vilka krav som ställs på utbildningens progression och innehåll. 4. En utmaning som återkommit är svårigheten att beskriva och motivera hur professionsanknytning balanseras med vetenskapliga krav. Vi menar att det finns en risk att utbildningen på ett oreflekterat sätt antingen blir för tungt riktad mot professionen och saknar tillräcklig fokus på vetenskaplig grund, eller tvärtom. Också detta sätter UKÄs externa granskningar ljuset på. Denna granskningsomgång har valt att lämna fristående kurser åt sidan. Vi tror att samma problematik finns även för fristående och uppdragskurser. 5. Det syns stora skillnader bland utbildningarna när det gäller ett målmedvetet arbete med högskolans lokala mål (internationalisering, hållbar utveckling, bildning, entreprenörskap). När det gäller t ex internationaliseringen framkommer att vissa utbildningar har mycket erfarenhet med internationella studenter, andra redovisar att de har mycket liten möjlighet att ta in eller skicka ut studenter. Men få
utbildningar framhäver hur och varför de arbetar med att integrera internationalisering i ett bredare perspektiv. Detsamma gäller för de andra lokala målen. Här bör ett arbete företas både centralt och lokalt för att klargöra målbild, innebörd och arbetssätt som kan leda till måluppfyllelse. Internationalisering tenderar att handla om antalet in-och utresande studenter och inte om att anlägga internationella perspektiv på utbildningen. 6. Självvärderingarna är mycket olika när det gäller hur rik information de erbjuder, och vissa har inte tagit upp all efterfrågad information. Många av självvärderingarna saknar ett självkritiskt förhållningssätt, vilket borde ingå om de ska vara användbara för vidare utveckling. Möjligen har de pågående externa granskningarna av UKÄ, där självvärderingarna ska framhålla endast det positiva och måluppfyllelsen, påverkat arbetet. I framtida granskningar behöver det säkerställas att efterlysta underlag är kompletta och reflekterande till sin natur. 7. Något som tydligt har kommit fram under granskningen är svårigheten att få fram relevanta nyckeltal, och att från utbildningens håll kunna reflektera kring deras betydelse för kvaliteten. Denna svårighet finns både på centralt håll och på lokal nivå. Arbetet att ta fram nyckeltalen har visat sig vara mycket tidskrävande då i stort sett alla nyckeltal kräver manuell bearbetning efter att data är framtaget ur våra system. Vissa av nyckeltalen finns inte registrerade i något system utan kommer från enskild medarbetares arbetsdokument. De nyckeltal som är framtagna för respektive utbildning/institution är svåra att jämföra med varandra eftersom de för någon institution visar hela institutionen, i något fall ett ämnesområde och i ytterligare något fall en enskild utbildning en utpekad kull. En del av svårigheten har möjligen legat i att vi försökt ta fram nyckeltalen på central nivå; det är möjligt att det hade tagit mindre tid i anspråk för en företrädare från kärnverksamheten att sammanställa vissa av nyckeltalen, då man har en annan förförståelse för var information/data finns och vad den betyder. Här behöver nämnden och linjens kvalitetsansvariga arbeta vidare med att formulera mål eller riktlinjer för vad högskolan anser vara en lämplig nivå på enskilda nyckeltal (t ex lärarkapacitet) så att nyckeltalet blir satt i ett sammanhang. Om det inte finns några mål eller riktlinjer är det svårt att avgöra om nyckeltalen visar på en tillfredsställande kvalitet.