Handläggningsordning för utvärdering av utbildning vid Högskolan i Borås

Transkript

1 HÖGSKOLAN I BORÅS STYRDOKUMENT Rektor Dnr Handläggningsordning för utvärdering av utbildning vid Högskolan i Borås Med stöd av 5 kap. 5 i styrelsens organisations- och beslutsordning (SOB) fattade rektor beslut att denna handläggningsordning gäller tillsvidare. Målgrupp Anställda Publicerad Högskolans Styrdokument Typ av styrdokument Handläggningsordning Beslutsfattare Rektor Beslutsdatum Ersätter Styrdokumenten Ordning för utvärdering av utbildningar vid Högskolan i Borås (dnr ) samt Riktlinjer för genomförande och uppföljning av Universitetskanslersämbetets utvärderingar av examen vid Högskolan i Borås (dnr ). Sammanfattning Denna handläggningsordning beskriver processen och ansvarsfördelningen avseende högskolans utvärdering av måluppfyllelse i högskolans inrättade utbildningar.

2 Sida 2 av Bakgrund Syftet med denna ordning är att säkerställa att hänsyn tas till alla berörda intressen vid utvärdering av utbildningsprogram samt all annan form av utbildning vid Högskolan i Borås. Den utvärdering som beskrivs i ordningen ingår i en modell för kvalitetssäkring av utbildningar vid högskolan. Det övergripande målet med modellen är att högskolans utbildningar på grund-, avancerad och forskarutbildningsnivå ständigt utvecklas genom ett systematiskt kvalitetsarbete. Kvalitetsarbetet ska kännetecknas av ledorden transparens, integration, enhetlighet och skärpa i enlighet med högskolans policy för kvalitetsarbete (dnr ). Modellen tar sin utgångspunkt i att alla medarbetare och studenter i så stor utsträckning som möjligt ska kunna känna ansvar för sitt eget arbete samt vara en aktiv part i högskolans övergripande kvalitetsarbete avseende utbildning. Förutom policyn för kvalitetsarbetet och den föreliggande ordningen omfattar modellen även styrdokumenten Riktlinjer för systematiskt kvalitetsarbete för utbildning vid Högskolan i Borås (dnr ), Policy för kursutvärderingsarbetet vid Högskolan i Borås (dnr ) samt Handläggningsordning för inrättande av huvudområden och nya utbildningar på grundnivå och avancerad nivå vid Högskolan i Borås (dnr ). Till sin karaktär och i sitt upplägg utgår ordningen från proportionalitetsprincipen vilket i detta fall har definierats som att omfattningen av de insatser vi gör ska stå i proportion till de mål de avser att uppnå. Högskolan i Borås har valt auditformen med externa sakkunniga som det primära verktyget för utvärdering av kvalitet i utbildning. Akademins förarbete samt underlag av olika slag ska ses som bidrag till ett genomförande av audits. Resultaten av audits ska leda till utveckling av utbildningen samt förväntas bidra till en kunskapsöverföring och en levande lärprocess mellan lärosäten samt inom högskolan. Handläggningsordningen ska: Säkerställa att alla utbildningar vid högskolan uppfyller kraven i högskolelagen, högskoleförordningen och i examensbeskrivningarna genom regelbundna utvärderingar av utbildningarnas genomförande och resultat, samt Underlätta utvärderingsprocessen för berörda aktörer så långt det är möjligt utan att det övriga kvalitetsarbetet påverkas negativt, och vara ett stöd för den tids- och kompetensmässiga planeringen av utvecklingsarbetet för berörd akademi. Ordningen har därför en struktur där handläggningsprocessen och de olika aktörernas ansvarsområden är preciserade och där det framgår vilken information som skall finnas tillhanda inför varje steg i processen.

3 Sida 3 av 16 Säkerställa att berörda inom akademin och verksamhetsstöd, studenter alternativt doktorander samt professionsrepresentanter är delaktiga i utvärderingsarbetet och utvecklingsarbetet. Upplägg och övergripande ansvar Ordningen är uppdelad i sju avsnitt, som beskriver bakgrund, utvärderingscykeln, initiering, genomförande, utveckling av utbildningarna, rapportering samt utveckling av ordningen. Efter dessa tillkommer tre appendici som innehåller sammanställning av bedömargruppen, närmare beskrivning av analysfasen och en begreppslista. Ansvarig för utvärderingen samt underlaget och dess kvalitativa innehåll är akademichef. Akademichef är också ansvarig för att de fackliga organisationerna vid högskolan involveras i arbetet.

4 Sida 4 av Utvärderingscykeln Syftet med detta avsnitt är att beskriva de principer för urval och gruppering av utbildningar som säkerställer att samtliga högskolans inrättade utbildningar utvärderas inom en sexårs period. Förväntat resultat En komplett beskrivning av vilka utbildningar som utvärderas under perioden samt riktlinjer för hur avvikelser och störningsmoment ska hanteras. Ansvar och beredning Rektor tar beslut om den övergripande tidsplanen efter rådslag med utbildningsråd, kvalitetsråd och ledningsråd. Principer Högskolans miljöer och utbildningar inklusive fristående kurser, uppdragsutbildningar utvärderas under en period av sex år där det femte året avsätts till uppsamling av icke granskade utbildningar och högskolepedagogiska utbildningar. Det sjätte året avsätts till utvärdering och utveckling av utvärderingsprocessen. Vilka utbildningar som kommer att utvärderas samtidigt utgår i största möjligaste mån från tanken om kompletta miljöer. Flera utbildningar på grund- och avancerad nivå kan utvärderas tillsammans (se vidare Initiering). Forskarutbildningar ingår i utvärderingen av de kompletta miljöer som de tillhör. Forskarutbildningar kan inte dela bedömargrupp och audittillfälle med andra utbildningar. Förekomsten av externa tematiska utvärderingar och/eller utbildningsutvärderingar, till exempel av Universitetskanslersämbetet, innebär inte med automatik att de berörda utbildningarna eller aspekterna inte ingår i utvärderingen. Däremot är förekomsten av externa utvärderingar ett giltigt skäl till att motivera varför en utbildning och aspekt kan undantas från granskningen (se vidare Initiering). Arbetsgång i att skapa utvärderingscykeln 1. Högskolans kvalitetssamordnare arbetar fram ett förslag till utvärderingscykel och stämmer av detta med utbildningskvalitets- och ledningsråd innan beslut fattas av rektor. 2. Rektor fattar i samband med beslutet också beslut om att utvärderingscykeln ska påbörjas. I beslutsförslaget ska det framgå hur avikelser ska hanteras om de uppstår. Beslut fattas av rektor senast den 15 mars 2017 för hela cykeln.

5 Sida 5 av Initiering Syfte Syftet med initieringsfasen är att alla inblandade har klart för sig vilken roll man har, hur processen ser ut, vilket stöd kommer att finnas och att tid för de inblandade allokeras inför nästa fas. Förväntat resultat I slutet av denna fas har en bedömargrupp tillsatts. Det föreligger ett beslut på hur de utbildningar som ingår i utvärderingen ska grupperas när det gäller granskningen och huruvida vissa av utbildningarna undantas granskningen. Dessutom föreligger det ett beslut på vilka aspekter i högskolelag och vilka examensmål som bedömargruppen ska granska för varje utbildning, samt på de kriterier för utvärderingen som dessa aspekter och examensmål har operationaliserats till. Ansvar och beredning Akademin bereder och föreslår: Bedömargrupp (se bedömargrupp, Appendix I) Hur utbildningar som ingår i utvärderingen ska grupperas samt Vilka aspekter i högskolelagen och vilka examensmål som utgör föremål för granskning och en operationalisering av dessa till kriterier för utvärderingen (se analys, appendix II). Nämnden fastställer eller återremitterar förslagen. Tidsperiod september december Arbetsgång - Initiering 1. Högskolans kvalitetssamordnare kontaktar akademins samordnare för kvalitet 1 för att starta upp arbetet. Detta görs i juni inför varje ny cykel. Tillsammans gör de en tidplan som beskriver vad som ska göras och när det ska vara klart. 2. Akademin genomför analyser för de utbildningar som ingår i cykeln (se appendix II). Varje berörd sektionschef 2 ansvarar för att analyser för utbildningar görs och att studentkåren bjuds in 1 Akademichef kan välja att skriftligt delegera de uppgifter som i ordningen åligger akademins samordnare för kvalitet till en annan roll. 2 Akademichef kan välja att skriftligt delegera de uppgifter som i ordningen åligger sektionschef till en annan roll.

6 Sida 6 av 16 att delta i analysarbetet. Till stöd har akademin högskolans kvalitetssamordnare som har till uppgift att stödja processen i dess praktiska och formella delar och som fungerar som länk mellan akademin och berörd nämnd under hela initieringsprocessen. Stegen 2 5 genomförs under perioden september oktober. 3. Under tiden analys genomförs arbetas förslag på bedömargrupp fram. Akademins samordnare för kvalitet samordnar detta med stöd av högskolans kvalitetssamordnare. 4. Högskolans kvalitetssamordnare och akademins samordnare för kvalitet sammanställer ett beslutsförslag utifrån de underlag som tagits fram av berörd sektionschef (se steg 2). Även i detta steg agerar högskolans kvalitetssamordnare som länk mellan berörd nämnd och akademi. Beslutsförslaget ska innehålla: Hur utbildningarna ska grupperas (inklusive eventuella undantagna utbildningar). Utbildningar kan med fördel grupperas så att dessa delar bedömargrupp och audittillfälle. Grunderna för grupperingen ska motiveras med hänvisning till akademins analys av utbildningarna. Vilka bedömargrupper som ska tillsättas med förslag på interna och externa sakkunniga, där man ska ta hänsyn även till nästa punkt. Vilka aspekter och vilka examensmål (ett urval) som ska granskas, samt, för varje aspekt och examensmål, Kriterier för att aspekten eller examensmålet ska vara uppfylld. Notera att aspekter och mål kan skilja sig åt mellan grupper av utbildningar. Bedömargruppens sammansättning framgår av appendix I och aspekter och examensmål framgår av appendix II. 5. Högskolans kvalitetssamordnare och akademins samordnare för kvalitet föredrar ärendet för berörd nämnd som har att tillstyrka eller återremitterar förslaget. Nämnden granskar förslaget och värderar att akademins analys stödjer förslaget och att beredningen har inkluderat alla som berörs. Nämnden ska fatta beslut senast den 31 december.

7 Sida 7 av Genomförande Syfte Syftet med genomförandefasen är att alla inblandade har klart för sig vilken roll man har, hur processen ser ut, vilket stöd som finns och vad syftet med utvärderingens underlag och audit är. Syftet är dessutom att utvärderingen genomförs inom fastställda tidsramar och att kommunikation mellan berörda parter fungerar bra. Förväntat resultat I slutet av denna fas har bedömargruppen läst examensarbeten och analyser samt genomfört audits. Bedömargruppen har skrivit en rapport där det framgår en beskrivning av de aspekter och examensmål bedömargruppen har granskat, bedömargruppens bedömning av huruvida utbildningen eller de grupperade utbildningarna uppfyller dessa, samt, i förekommande fall, vad som brister. Dessutom innehåller rapporten en separat del med bedömargruppens förslag på utveckling av utbildningen/utbildningarna. Rapporten har i slutet av denna fas överlämnats till akademin. Ansvar och beredning Akademin tillsammans med verksamhetsstöd förbereder genomförandet, kommunicerar med bedömargruppen och organiserar audits. Verksamhetsstödet bistår med handläggarsstöd i form av sekreterare i bedömargrupp. Tidsperiod: januari maj Arbetsgång - Genomförande 1. Akademins samordnare för kvalitet och bedömargruppens sekreterare kallar bedömargruppen. Innan gruppen träffas ska ett antal, minst 5 stycken per utbildning eller gruppering, examensarbeten ha slumpats fram. Examensarbetena bör komma från den senaste examensarbetskursen innan utvärderingen om inte särskilda skäl föreligger. Avvägningar av detta slag åligger högskolans kvalitetsamordnare att göra som en del av sitt övergripande beredningsansvar i processen. Verksamhetsstödet ska vara behjälplig i det slumpmässiga urvalet, detta för att säkra objektivitet vid urvalet. 2. Bedömargruppen träffas och akademins samordnare för kvalitet med stöd av högskolans kvalitetssamordnare presenterar förutsättningarna för uppdraget och alla underlag. Underlag ska bestå av akademins inledande analyser (se Initiering), program- och kursrapporter, utbildningsplan och

8 Sida 8 av 16 kursplaner. Biläggs görs progressionsdiagram, målmatriser eller motsvarande. Lista över undervisande lärare tillsammans med uppgifter kring titel, funktion eller roll i utbildningen samt ansvar i utbildningen ska också bifogas. 3. Bedömargruppen läser underlagen i syfte att kunna formulera frågor vid audits till stöd för sin bedömning av huruvida de granskade aspekterna och examensmålen kan anses uppfyllda. De sakkunniga i gruppen läser också examensarbetena. 4. Bedömargrupp genomför audits med representanter för ledning, utbildningen, studenterna/doktoranderna och verksamhetsstödet. I ledningen ingår förutom berörd akademins och sektionens ledning också ledningen för avdelningen för utbildningsstöd, akademistöd, bibliotek och kommunikation. Audits syftar till ge bedömargruppen en möjlighet att söka svar på de kriterier för aspekter och mål som är utvalda samt att bidra till en utvecklingsfokuserad dialog kring utbildningarna. Audits ska vara genomförda innan april månads utgång 5. Bedömargruppens ordförande och sekreterare sammanställer rapport och förankrar den med bedömargruppen. Rapporten innehåller: En beskrivning av de aspekter och examensmål bedömargruppen har granskat samt de kriterier som dessa har konkretiserats till. Dessutom innehåller rapporten bedömargruppens bedömning av huruvida utbildningen eller de grupperade utbildningarna uppfyller aspekterna och examensmålen med utgångspunkt i kriterierna, samt, i förekommande fall, vad som brister. Utöver bedömningen innehåller rapporten en separat del med bedömargruppens förslag på utveckling av utbildningen/utbildningarna. Sekreteraren ansvarar för rapportens format, ordföranden ansvarar för rapportens innehåll, stöd finns i form av högskolans kvalitetssamordnare. 6. Bedömargruppens sekreterare lämnar en rapport till akademichef samt till diariet senast den 31 maj.

9 Sida 9 av Utveckling av granskade utbildningar Syfte Syftet med utvecklingsfasen är att alla inblandade har klart för sig vilken roll man har i arbetet efter att bedömargruppen lämnat en rapport, samt vilket stöd som finns. Dessutom syftar fasen till att säkerställa att bedömargruppens rapport har spridits och förankrats i den berörda verksamheten, samt att rapportens resultat leder till ett gemensamt utvecklingsarbete. Förväntat resultat I slutet av denna fas har akademin skapat en handlingsplan som svarar upp mot bedömargruppens rapport. Berörd nämnd har tillstyrkt handlingsplanen. Ansvar och beredning Akademin analyserar och skriver handlingsplan. Nämnd har till uppgift att tillstyrka eller återremittera. Tidsperiod juni december Arbetsgång - utveckling av granskade utbildningar 1. Akademins kvalitetssamordnare ser till att ansvarig sektionschef analyserar rapporten, tar ställning till rapportens förslag och skapar en handlingsplan. I handlingsplanen skall förutom åtgärder och utvecklingsförslag grundade i rapporten också planerade åtgärder för i analysen (se Initiering) identifierade utvecklingsområden ingå. Berörd sektionschef ansvarar även för att studentkåren erbjuds möjligheter att lämna synpunkter på förslag till handlingsplan. Möjliga åtgärder för akademin är att utbildningen läggs ned då bristerna bedöms alltför allvarliga och/eller omfattande. I detta fall ska akademin följa riktlinjerna för inställande och avveckling av utbildning som leder till examen vid Högskolan i Borås (dnr ). 2. Akademins samordnare för kvalitet ansvarar för att sammanställa rapporter och handlingsplaner samt fungerar som stöd för Högskolans kvalitetssamordnare. Högskolans kvalitetssamordnare har till ansvar att skriva beslutsförslag till berörd nämnd. Steg 1 och 2 görs under perioden juni oktober. 3. Ärendet föredras i nämnden av Högskolans kvalitetssamordnare som biträds av akademins samordnare för kvalitet varefter nämnden beslutar om att antingen tillstyrka

10 Sida 10 av 16 eller återremittera akademins handlingsplan. Nämnden ska fatta beslut senast den 31 december. Notera att om handlingsplanen senast den 31 december, inte erhåller ett tillstyrkande av berörd nämnd ska detta skyndsamt rapporteras till rektor som får besluta att utbildningen ställs in. Utbildningen utgör sedan inte del av utbildningsutbudet förrän nämnden har tillstyrkt en handlingsplan samt en utbildningsplan för utbildningen. Detta beslut ska fattas innan den 15 mars i de fall utbildningen ges med start på en hösttermin. 6. Rapportering till rektor och styrelse och nämnd Syfte Syftet med rapporteringsfasen är att alla inblandade har klart för sig vilken roll man har samt vilket stöd kommer att finnas när det gäller rapportering och tillgängliggörande av utvärderingars resultat. Syftet är dessutom att säkerställa både transparens och skärpa i utvärderingsprocessen genom att resultaten offentliggörs samt genom att akademins handläggare tillsammans med ansvariga för utbildningen följer upp det utvecklingsarbete som utvärderingen har genererat. Förväntat resultat I slutet av denna fas har styrelsen informerats och berörd nämnd har fått en rapport om hur handlingsplanen har implementerats. Ansvar och beredning Högskolans kvalitetssamordnare skriver rapporten till styrelsen. Akademins samordnare för kvalitet skriver rapporten avseende implementeringen av handlingsplaner till berörd nämnd. Tidsperiod Januari december Arbetsgång - Rapportering till rektor, styrelse och nämnd 1. Högskolans kvalitetssamordnare ser till att rektor tar del av nämndens tillstyrkande av handlingsplan. 2. Rektor rapporterar till högskolans styrelse i februari att aktuell cykel är genomförd och vad resultatet blev. Berörd nämnds ordförande deltar vid föredragningen tillsammans med Högskolans kvalitetssamordnare som fungerar som skrivande handläggare.

11 Sida 11 av Akademins samordnare för kvalitet gör en uppföljning av handlingsplanen ett år efter handlingsplanens tillstyrkande i form av en rapport (informationsärende) till berörd nämnd. Senast den 31 december, ett år efter det att handlingsplanen blev tillstyrkt.

12 Sida 12 av Utveckling av modellen (ordningen) Syfte Syftet med utvecklingen är att säkerställa att ordningen leder till önskad effekt, det vill säga att alla utbildningar vid högskolan uppfyller kraven i högskolelagen, högskoleförordningen och i examensbeskrivningarna, samt att tillämpningen av ordningen stödjer högskolans kvalitetsarbete och säkerställer att berörda funktioner är delaktiga i utvecklingsarbetet. Förväntat resultat Ordningens tillämpning och effekter har följts upp och resulterat i en eventuellt reviderad ordning. Ansvar och beredning Högskolans kvalitetssamordnare ansvarar för att löpande följa upp ordningens tillämpning och vid behov revidera ordningen. Efter att alla högskolans utbildningar har utvärderats ansvarar Högskolans kvalitetssamordnare för att följa upp om ordningen har lett fram till de avsedda effekterna och vid behov revidera ordningen. Tidsplan Årlig uppföljning samt eventuell revidering: löpande Uppföljning av effekter: 2022

13 Sida 13 av 16 Appendix I Bedömargrupp Bedömargrupp tillsätts av berörd nämnd på förslag av akademichef. Studeranderepresentant tillsätts av studentkåren. Bedömargruppen ska bestå av: Minst två vetenskapligt eller konstnärligt kompetenta ämneskunniga lärare (i normalfallet professorer eller docenter) från annat lärosäte än Högskolan i Borås. En (i normalfallet) professor vid Högskolan i Borås från annan miljö och akademi än de utbildningar som för tillfället utvärderas. Denna utses till bedömargruppens ordförande. En representant från professionen/arbetslivet En studentrepresentant En programansvarig från annan akademi vid Högskolan i Borås En representant från enheten för verksamhetsstöd En sekreterare/handläggare. Ordförandens uppgift och ansvar är att leda arbetet och med stöd av sekreteraren sammanställa bedömargruppens rapport. Sekreterarens uppgift och ansvar är att i egenskap av handläggare i ärendets formella delar säkerställa korrekt förvaltningsrättslig hantering och vara stöd för ordföranden i sammanställning av bedömargruppens rapport.

14 Sida 14 av 16 Appendix II Analysen Akademin ska i initieringsfasen utföra ett analysarbete för varje utbildning som ska stödja akademins förslag på områden som ska granskas. Analysen ska utgå från kurs- och programutvärderingar där studenternas värderingar ska vara en del. Den kan också utgå från tidigare analyser eller utvecklingsarbeten. Analysen ska utgå från aspekterna i högskolelagen, 1 kap, 2, 3 och 5 och examensmålen i högskoleförordningens bilaga 2. I analysen ska akademin beskriva och motivera såväl styrkor, svagheter och identifierade utvecklingsområden när det gäller att säkerställa att aspekter i högskolelagen följs samt att examensmål uppfylls. Hänsyn ska tas till synpunkter från berörda lärare, studenter, administrativ personal och professionsföreträdare. Planerade och genomförda åtgärder från identifierade utvecklingsområden ska beskrivas i analysen samt föras till den handlingsplan som ska upprättas som en följd av granskningen. Det är identifierade svagheter, men också styrkor och områden där det förekommer delade meningar som i första hand ska utvärderas. Analysen ska resultera i ett motiverat förslag på de aspekter och examensmål som ska granskas i utbildningen eller i en grupp av utbildningar. För denna utvärdering gäller följande aspekter från HL 1 kap 1, 2, 3 och 5 : 1. Utbildningen vilar på vetenskaplig eller konstnärlig grund 2. Utbildningen vilar på beprövad erfarenhet 3. Utbildningen samverkar med det omgivande samhället 4. Det finns ett nära samband mellan forskning och utbildning 5. Utbildningen främjar hållbar utveckling 6. Inom utbildningen iakttas och främjas jämställdhet mellan kvinnor och män 7. Utbildningen främjar förståelsen för andra länder och för internationella förhållanden. 8. Utbildningen främjar och breddar aktivt rekryteringen till högskolan. I urvalet skall alltid ingå: Aspekten Inom utbildningen iakttas och främjas jämställdhet mellan kvinnor och män samt minst två ytterligare aspekter från HL. Riktmärke är tre aspekter per utvärdering. Examensmål: minst ett mål från varje rubrik: o Kunskap och förståelse

15 Sida 15 av 16 o Färdighet och förmåga o Värderingsförmåga och förhållningssätt Riktmärke är fem mål per utvärdering. De föreslagna aspekterna och examensmålen ska operationaliseras i relation till utbildningen, vilket ska resultera i ett förslag på kriterier för varje aspekt och examensmål. I analysarbetet ansvarar sektionschefen för de berörda utbildningarna för att studentkåren bjuds in till analysarbetet. Dessutom ansvarar sektionschefen för att expertstöd till analysen inhämtas vid behov. Till exempel kan expertstöd vid högskolan inhämtas från samordnare för lika villkor, hållbar utveckling, samverkan och internationalisering och från berörda utskott eller nämnd. Analysrapporten bör i normalfallet högst omfatta 5 sidor per utbildning. Om flera utbildningar föreslås grupperas tillkommer en sammanfattning. Bilagor som stödjer eller motiverar analysen ytterligare kan tillkomma.

16 Sida 16 av 16 Appendix III Begreppslista Aspekt: Lagkrav i högskolelagen. Audit: Samtal mellan en bedömargrupp och grupper av studenter/doktorander, undervisande personal och administrativ personal, samt utbildningsledning, med ett tredelat syfte: o Att kontrollera huruvida utbildningen uppfyller gällande lagkrav i högskolelag och högskoleförordning o Att stödja utbildningens utveckling, samt o Att bidra till lärande inom högskolan. Kriterier: Operationalisering av aspekter i HL och examensmål i Högskoleförordningen bilaga 2 i relation till den analyserade utbildningen. Kriterier fungerar som indikatorer på om aspekten i högskolelagen eller examensmålet är uppfyllt. Styrka: Aspekter eller examensmål där analysen visar att det finns mycket goda skäl att anta att utbildningen uppfyller lagkrav och mål. Svaghet: En identifierad brist i måluppfyllelse eller uppfyllelse av en aspekt där utbildningen inte har ett pågående utvecklingsarbete eller en osäkerhet kring om utbildningen uppfyller ett examensmål eller aspekt. Säkerställa: 1. Skapa förutsättningar för att aspekter och examensmål kan uppfyllas genom utbildningens utformning och genomförande, samt 2. Kontrollera att studenten uppnår examensmål Utvecklingsområde: Identifierade brister i måluppfyllelse eller uppfyllelse av en aspekt där man har påbörjat ett utvecklingsarbete som ska åtgärda bristen.