Samhällsvetenskapliga fakultetens kvalitetssystem

Transkript

1 Samhällsvetenskapliga fakulteten Utbildningsutskottet SAMFAK 2016/ december 2017 PM Fredrik Andersson Linda Stafbom Samhällsvetenskapliga fakultetens kvalitetssystem Bakgrund Systemet för att utvärdera svensk högre utbildning genomgår nu en grundläggande omorientering. Den tidigare nationella utvärderingscykeln, där Universitetskanslersämbetet (UKÄ) utvärderat huvudområden och examina, har ersatts av ett system där den nationella granskningsmyndigheten i huvudsak ska utvärdera lärosätenas interna kvalitetssystem. Därigenom är det varje enskilt lärosätes uppdrag att skapa interna processer för att utvärdera, säkra och utveckla kvaliteten på sina utbildningar. Ramarna för Uppsala universitets kvalitetssystem har fastställts genom rektorsbeslut från Av detta framgår bland annat att varje fakultet, inom det nationella och universitetsgemensamma ramverket, själva ska ta fram ett kvalitetssystem. Dessutom ska ett antal piloter genomföras för att pröva fakulteternas modeller för utvärdering och testa den obligatoriska externa bedömningskomponenten i systemet. På samhällsvetenskapliga fakulteten ingår Institutionen för kostvetenskap i en sådan pilotstudie. Beslut om fakulteternas olika system ska fattas i början av Den första utvärderingscykeln på Uppsala universitet ska löpa mellan Uppdraget till respektive fakultet är enligt rektorsbeslutet att utveckla ett system för kvalitetssäkring och -utveckling, som ska täcka in all utbildning oavsett storlek eller finansieringsform. I detta ingår även årlig uppföljning och utbildningsutvärderingar och under en sexårscykel måste all utbildning minst en gång utsättas för en extern bedömning. Föreliggande promemoria beskriver det övergripande upplägget för samhällsvetenskapliga fakultetens kvalitetssystem. Utgångspunkter för kvalitetssystemet på samhällsvetenskapliga fakulteten Detta dokument beskriver det kvalitetssystem som omfattar fakultetsnivån. Det viktigaste kvalitetsarbetet är dock det som löpande utförs nära verksamheten i institutionsmiljön.

2 Fakultetens kvalitetssystem ska ses som ett komplement till detta och processerna på fakulteten och institutionerna bör så långt det går samordnas. Utgångspunkten är att skapa ett system som strävar efter att uppnå tre mål. För det första att vara kvalitetsdrivande genom att både ha legitimitet och användbarhet i verksamheten och vara så pass skarpt att identifierade brister verkligen åtgärdas. För det andra att uppfylla kraven från regerings- och rektorsbeslut på hur kvalitetssystemet ska vara utformat. För det tredje att skapa ett resurseffektivt system, inte minst eftersom det ska finansieras med befintliga anslagsmedel. För att uppnå dessa tre mål krävs ett nära samarbete mellan institutionerna och fakulteten där det kvalitetsarbete som redan pågår samlas upp och används, samtidigt som dubbelarbete undviks. Kvalitetsbrister bör identifieras på ett tidigt stadium för att då också kunna åtgärdas snabbt. Kvalitetsutveckling blir på detta sätt något som är tydligt integrerat i den löpande verksamheten och inte något som endast hamnar på dagordningen i samband med externa utbildningsutvärderingar. Målsättningen är istället att i någon mån försöka komma åt de svagheter och utvecklingsmöjligheter i utbildningsmiljön som inte går att fånga enbart via skriftliga redogörelser. För att uppnå dessa mål ska kvalitetssystemet stå på två ben, en löpande årlig uppföljning och en extern bedömning en gång per sexårscykel. Det viktigaste elementet är den årliga uppföljningen där institutionen är den centrala enheten. På detta sätt hamnar kvalitetssystemet naturligt närmare det löpande vardagsarbetet, samtidigt som förhoppningen är att det går att tidigare uppfatta och åtgärda kvalitetsproblem. Ett för stort fokus på enskilda och sällan återkommande utvärderingar riskerar att göra att man förlorar siktet på det ständigt pågående kontinuerliga kvalitetsarbetet, samtidigt som viss utbildning kan falla mellan stolarna. 2 Kvalitetssystemet ska så långt som det är möjligt integreras med annan verksamhetsplanering, uppföljning och årsredovisning. I detta ingår att försöka synkronisera fakultetens kvalitetsarbete med olika handlingsplaner och program på universitetsnivå. Tanken är att minska informationsinhämtandet från institutionerna genom att använda insamlad data systematiskt och fler gånger. Om en utbildning under de föregående sex åren omfattats av en UKÄ-utvärdering kommer den normalt att undantas från fakultetens egna externa granskning. Vidare är det som utvärderas var sjätte år hela utbildningsmiljöer, inte enskilda utbildningar, huvudområden eller examina. En utbildningsmiljö kan utgöras av en institution. På detta sätt kommer systemet dels kunna uppfylla kravet om att utvärdera all utbildning, vilket fakultetens kvalitetssystem är ålagt att göra. Dels kommer man bort från risken att samma institution utvärderas år efter år ifall de är del i institutionsövergripande utbildningar. Dessutom öppnar en utvärdering av en miljö för att kunna se på hur resurserna i verksamheten fördelas och hur prioriteringar görs, vilket kan vara svårt om man ser på varje utbildning var för sig. Möjligheten till verklig kvalitetsutveckling ökar troligen då all utbildningsverksamhet vid en institution/utbildningsmiljö utvärderas samlat. Till exempel undervisar lärare och forskare vid

3 en institution ofta inom flera olika kurser och program på olika nivåer samtidigt under ett läsår, varför fördelning av lärarkompetens blir en fråga för hela utbildningsmiljön. Emellertid föreslås ett undantag från detta i den kommande sexårscykeln, i form av att hela forskarutbildningen på fakulteten bedöms samlat. Motiveringen till detta är att forskarutbildningen till sin karaktär är så pass annorlunda att det inte finns någon tydlig fördel att utvärdera den tillsammans med grundutbildningen, samtidigt som det kan finnas en vinst i att få ett jämförande perspektiv mellan fakultetens forskarutbildningar. Forskarutbildningen är också ett undantag från avgränsningen att en utbildning som utsatts för en UKÄ-granskning inte kommer att omfattas av fakultetens system. Detta eftersom det bedöms som av stor vikt att kunna få en samlad bild av fakultetens forskarutbildning. Samtidigt behövs särskild hänsyn tas till det faktum att många institutioner bedriver verksamhet på andra fakulteter, och därmed omfattas av andra kvalitetssystem. Detta kräver en löpande dialog mellan fakulteterna för att så långt som möjligt samordna processerna. Målsättningen är att samma kurser enbart ska utvärderas en gång per sexårscykel. En nyckelfunktion för att få kvalitetssystemet att fungera som tänkt är fakultetens nya utbildningsutskott där en stor del av såväl den löpande uppföljningen som utvärderingarna kommer att hanteras. Översiktlig bild av förslaget till nytt kvalitetssystem på samhällsvetenskapliga fakulteten I II III IV Tid Komponent Innehåll Ansvarig för upprättande Årlig uppföljning Årlig uppföljning Årlig uppföljning En gång var sjätte år Kvalitetsrapport Kvalitetsrapport. Årlig redogörelse för institutionens kvalitetsarbete inklusive en kursvärderingssammanställning som även kommenterats av studenterna Programrapport Kvalitetsanalys Värdinstitutionen (programråd/ programansvarig) Utbildningsutskottet Utbildningsmiljöutvärdering Årlig redogörelse från varje program Årlig redogörelse: - övergripande slutsatser från del I, II och IV - genomgång av övergripande kvalitetsarbete inom fakulteten som inte täcks av I, II & IV Självvärdering, externa bedömare, rapport Institutionen (studierektor) Studenter Utbildningsutskottet Institution & Utbildningsutskottet Mottagare Utbildningsutskottet Fakultetsnämnd Fakultetsnämnd 3

4 Komponent I Institutionernas kvalitetsrapport Institutionerna är redan idag genom såväl förordning som Uppsala universitets regelverk ålagda att insamla och sammanställa kursutvärderingar. Således finns redan ett material i verksamheten som ur ett brukarperspektiv speglar utbildningens kvalitet och som bör integreras i fakultetens kvalitetssystem. Samtidigt behövs dessa data även analyseras ur ett professionellt perspektiv av den undervisande personalen och andra aspekter vägas in i bedömningarna. Varje institution ska efter varje läsår sammanställa en sammanfattande rapport av de viktigaste kvalitetsåtgärderna på institutionen. Den ska innehålla en analys av identifierade brister och utvecklingsmöjligheter samt de åtgärder som institutionen genomfört och avser att genomföra med anledning av detta. En grundval för rapporten ska vara en analys av kursvärderingarna från institutionen. Föregående års kvalitetsrapport ska kommenteras, för att se om en förändring skett. Institutionen förväntas inte inkomma med kopior av genomförda kursvärderingar eller en sammanställning av dem kursvis. Studenterna ska delta i arbetet med kvalitetsrapporten. Formerna för detta kan variera mellan institutionerna, vara muntlig eller skriftlig och antingen ske i samråd mellan studenter och institutionen eller i form av två separata rapporter (en från institutionen och en från studenterna). För program kan programråd eller liknande organ där dialog med studenterna förs vara en lämplig form för återkoppling. 4 Process på fakultetsnivå Institutionen (ansvarig studierektor) lämnar in kvalitetsrapporterna enligt upprättad deadline till Utbildningsutskottet. Utskottet kan på förekommen anledning be institutionen att återkomma för förtydliganden eller åtgärdsplaner. Vid behov kan frågor lyftas till fakultetsnämnden. Inför varje utbildningsmiljöutvärdering (IV) ska föregående sex års kvalitetsrapporter utgöra en del av underlaget. Utvecklingsbehov På kort sikt behöver rutiner för sammanställningen och format för kvalitetsrapporten tas fram i samråd mellan fakulteten och institutionerna. På lång sikt kan kursutvärderingsverktyg och frågebatteri behöva anpassas. Dessutom saknas idag gemensamma rutiner för utvärdering av forskarutbildningskurser. Många av dessa åtgärder kan kräva förändrat digitalt systemstöd.

5 Komponent II Programrapport Varje program ska genom samrådsgrupperna (eller i förekommande fall programsamordnaren) på värdinstitutionen lämna en rapport om kvaliteten på utbildningsprogrammen vid slutet av varje läsår. Denna ska vara utformad som svar på ett antal öppna frågor: en basdel med frågor (ca tre stycken) som är samma år från år; samt ett antal ytterligare frågor på förekommen anledning. Dessutom bör programföreträdarna själva kunna få lägga till frågor om utvecklingsområden de identifierat. Efter det första året ska även en uppföljning av sådant som diskuterats föregående års programrapport finnas med ("Vad har ni gjort åt de frågor som kom upp föregående år?"). Frågorna ska uppmuntra till självkritisk och utvecklingsinriktad reflektion. Studenterna ska delta i framtagandet av programrapporterna, främst genom deltagande i programråd eller liknande. Om sådant inte finns för programmet ska studenterna beredas möjlighet att komma med en egen del i programrapporten. Inför utbildningsmiljöutvärderingarna (IV) ska programrapporterna från den föregående sexårscykeln utgöra en del i underlaget som ett sätt att avgöra vad som hänt sedan föregående utvärdering. Process på fakultetsnivå Rapporterna tillsänds Utbildningsutskottet som, om anledning finns, kan be om förtydliganden eller åtgärder från värdinstitutionen eller lyfta uppkomna frågor till fakultetsnämnden. Särskilt ska utskottet fokusera på jämförelser med föregående år för att se på utveckling över tid. 5 Inför varje utbildningsmiljöutvärdering (IV) ska föregående sex års programrapporter sammanställas och användas som en del i underlaget. Utvecklingsbehov På kort sikt behöver rutiner för programrapportens format, omfång och frågebatteri och sammanställning fastställas samt en tidsplan för när och hur rapporterna hanteras i utbildningsutskottet. Instruktionerna för värdinstitutioner för program behöver revideras för att kunna hantera de nya kraven i programrapporten. På lång sikt behöver rutiner för uppföljning och jämförelser över tid utvecklas i takt med att mängden rapporter och insamlad data ökar. Komponent III Fakultetens kvalitetsanalys Utbildningsutskottet sammanställer årligen vid årsslutet en analytisk rapport som följer upp kvaliteten på fakultetens utbildningar. Dokumentet ska täcka in det övergripande kvalitetsarbetet på fakultetens utbildningar med särskilt fokus på det som inte täcks upp i del I, II och IV.

6 Kvalitetsanalysen ska synkroniseras med verksamhetsberättelserna på institutionerna som ska kompletteras med frågor som kan utgöra underlag för rapporten. Till grund för kvalitetsanalysen finns nyckeltal som insamlas av kansliet utifrån tillgängliga data i de administrativa systemen. Dessa data sprids till institutionerna som ett stöd till dessas kvalitets- och ledningsarbete och användas som underlag till de sexåriga utvärderingarna. Kvalitetsanalysen ska således dels vara en återrapportering uppåt i systemet till fakultetsnämnden och universitetsledningen (och i förlängningen UKÄ) men även nedåt till institutionerna själva. Ett centralt element i kvalitetsanalysen ska vara en återkoppling till tidigare år i syfte att kunna avgöra om föreslagna åtgärder genomförts och fått effekt samt kunna se långsiktiga utvecklingstrender. Detta är också ett sätt att på fakultetsnivå sammanfatta och adressera frågor som är gemensamma för flera institutioner på fakulteten. Slutligen ska kvalitetsanalysen även ta upp frågor som enligt regelverket ska ingå i kvalitetssystemet, men som inte riktigt passar in i de övriga komponenterna. Det gäller framför allt övergripande frågeställningar som är svåra att fånga i enskilda utvärderingar, som internationalisering, lika villkor eller hållbar utveckling. Här är tanken att fakultetskansliet samlar in data och bevakar frågan på en gemensam nivå samt använder redan insamlad data i arbetet. Det kan exempelvis handla om att uppgifter som insamlas för uppföljning av en handlingsplan på universitetsnivå, även kan bilda underlag till bedömningar i kvalitetsrapporten, och vice versa. 6 Process på fakultetsnivå Kvalitetsanalysen avrapporteras till fakultetsnämnden. I rapporten ska ingå eventuella rekommendationer till åtgärder. Fakultetsnämnden kan själv besluta om att vidta åtgärder med anledning av rapportens slutsatser. Rapporten och dess underlag delges även till institutionerna. Vid behov kan hela eller delar av kvalitetsanalysen användas för återrapportering av annan återrapportering som åläggs fakulteten. Utvecklingsbehov På kort sikt behöver kvalitetsrapportens innehåll och format bestämmas samt en tidsplan för dess handläggning. Underlagen i verksamhetsberättelser och årsredovisning behöver anpassas för att ge underlag till rapporten. På lång sikt behöver rapporten synkroniseras dels mot de övriga komponenterna i kvalitetssystemet men även mot andra återrapporteringskrav på universitetet. Detta i syfte att garantera att samhällsvetenskapliga fakultetens kvalitetssystem uppfyller de krav som ställs av statsmakten och rektor.

7 Komponent IV Utbildningsmiljöutvärdering Under en sexårscykel kommer samtliga utbildningar på alla nivåer oavsett finansieringsform att bli föremål för en utvärdering. Utbildningarna kommer att utvärderas i en utbildningsmiljö, vilket under kommande sexårscykel i de flesta fall är en institution. Till påföljande sexårscykel kan denna indelning förändras. All forskarutbildning på fakulteten kommer att bli föremål för en samlad utvärdering under innevarande cykel. Utbildningsmiljöutvärderingen kommer att fokusera på tre element. Basfrågor som ställs till samtliga miljöer; frågor som utbildningsmiljön själv vill få reda på samt eventuella frågor som kommer på förekommen anledning. Institutionen kommer att skriva en självvärdering med grund i de frågor som ställs. Självvärderingen ska vara problematiserande och utvecklingsinriktad. I utvärderingen måste ingå ett element av extern bedömning som ska lämna en skriftlig rapport. Formerna för detta kan variera och bestämmas i samråd mellan den utvärderade miljön och fakulteten. Bland de metoder som används kan till exempel vara systematisk benchmarking med ett annat lärosäte eller längre besök i formen av deltagande observation av kritiska vänner. I den mån den utvärderade miljön väljer att använda sig av utvärderingsformen med ett panelbesök av en bedömargrupp som gör ett besök under en eller ett par dagar, bör särskild hänsyn tas till utformningen av utvärderingen utifrån slutsatserna i pilotutvärderingen av Institutionen för kostvetenskap Oberoende av på vilket sätt den externa bedömningen görs ska studenter medverka i processen. 7 Oavsett form för den externa bedömningskomponenten ska den resultera i en skriftlig bedömarrapport och någon form av muntlig återkoppling. De externa bedömarnas slutsatser bör även behandlas i en kollegial diskussion med den utvärderade miljön, exempelvis genom ett seminarium. Ett abstract av den skriftliga bedömarrapporten kommer att publiceras på fakultetens hemsida Den övergripande processen för en utvärdering bör se ut som följer: I Förberedelsefas - Dialog mellan utvärderingsobjekt och fakultet om målsättning av utvärderingen och vad man vill få ut av dem samt hur den ska läggas upp - Fastställande av institutionen egna frågeställningar - Genomgång av nyckeltal och årsuppföljningar från komponent I III II Projektgrupp - Inom miljön och ska täcka bredden av dess utbildningar samt innehålla studenter. - Nära dialog med fakultetskansliet - Föreslår former och deltagare i extern bedömning III Självvärdering - Kort rapport utformad i dialog med miljön. Formen är beroende på utvärderingens karaktär.

8 IV Extern bedömning - I en sådan form som är överenskommet mellan utvärderingsmiljön och fakulteten - Ska resultera i en rapport som svarar på frågorna V Återkoppling - Utvärderingsmiljön ska kommentera och återrapportera den externa bedömningsrapporten till fakultetsnämnden - Återkoppling av bedömargruppens slutsatser till kollegiet i den utvärderade utbildningsmiljön - Fakultetsnämnden beslutar om det finns behov av ytterligare åtgärder eller återrapportering med anledning av rapporten. - En sammanfattning av rapportens slutsatser presenteras på universitetets webbplats. Samtliga direkta kostnader för de externa bedömningsbesöken tas av fakulteten. Utvecklingsbehov På kort sikt behöver resultaten och erfarenheterna av den pågående pilotstudien på kostvetenskap tas om hand för att kunna utfärda definitiva instruktioner för kommande års utbildningsmiljöutvärderingar. Tidsplanen för utvärderingarna ska kommuniceras i god tid. Rutinerna för kansliets insamling av underlagsmaterial ska fastställas. Fakultetens hemsida behöver omarbetas för att kunna tillgängliggöra information om kvalitetssystemet och de rapporter som genereras av det. På lång sikt kan det finnas ett behov av att ta fram nya nyckeltal, vilket sker i samarbete med andra delar av universitetet. 8 Det behöver även föras en diskussion inom fakulteten, Uppsala universitet samt eventuellt nationellt om nivåerna på ersättning till interna och externa bedömare som deltar i granskningen. Granskningar på förekommen anledning Om fakulteten får signaler, genom kvalitetssystemet eller på andra sätt, om att det finns akuta risker för kvalitetsproblem inom någon utbildning kan den initiera en granskning, styra frågeställningar eller ändra på tidsplanen. Detta beslutas av fakultetsnämnden efter samråd med utbildningsutskottet och berörd institution.

9 Tidsplan för implementering av kvalitetssystemet År 2018 Beslut utanför fakulteten Beslut av samfak I III IV Kompletterande beslut om kvalitetssystemets utformning Implementering av informationsinhämtning Institutionen för psykologi, Statistiska institutionen Avstämning på central nivå av UU:s kvalitetssystem (vt) UKÄs granskning av UUs kvalitetssystem (ht) Beslut av rektor om revidering av systemet inför ny sexårscykel Avstämning av fakultetens kvalitetssystem institutioner och kollegial granskning (vt) Uppföljning av fakultetens system med anledning av revidering av UU:s system Rapportering i respektive processer Rapportering i respektive processer Rapportering i respektive processer Rapportering i respektive processer Rapportering i respektive processer Institutionen för informatik och media, Kulturgeografiska institutionen Nationalekonomiska institutionen, Statsvetenskapliga institutionen, Fakulteten för utbildningsvetenskaper genomför tematisk utvärdering av ämnesdidaktik Sociologiska institutionen, Centrum för Socialt arbete, Ekonomiskhistoriska institutionen Företagsekonomiska institutionen, Institutionen för freds- och konfliktforskning Fakultetens forskarutbildning * 9 * Utvärderingen påbörjas 2022

10 Fakulteten är medveten om att denna tidsplan delvis går utanför sexårscykeln som avslutas Emellertid är bedömningen att kvaliteten på de externa bedömningarna, givet storleken på fakultetens utbildningsuppdrag, skulle minska, samtidigt som kostnaderna för dem skulle öka påtagligt, om man försöker slutföra mer än cirka två utvärderingar per år. Dessutom kommer 2018 att delvis gå åt till kalibrering av systemet, vilket gör att tidsspannet för cykeln blir kortare. Ambitionen är att samtliga utbildningsmiljöer ska rymmas inom nästkommande sexårscykel, särskilt som rutinerna då är upparbetade. Uppföljning och utveckling av kvalitetssystemet Det är viktigt att löpande och systematiskt följa upp fakultetens kvalitetssystem för att se att det uppfyller målen om att vara kvalitetsdrivande och resurseffektivt, samtidigt som det följer de krav som är ålagda från annat håll. Om en sådan uppföljning visar att systemet inte fungerar som det är tänkt, utan behöver modifieras, ska en sådan modifikation kunna göras även innan en full sexårscykel av utvärderingar genomförts. Utbildningsutskottet har det löpande ansvaret för uppföljning och eventuell utveckling av systemet och rapporterar till fakultetsnämnden och institutionerna, framför allt inom ramen för sin kvalitetsanalys (III). En större genomlysning av hur fakultetens kvalitetssystem fungerat i praktiken ska göras under vårterminen Tidpunkten är vald för att infalla innan UKÄ gör sin utvärdering av Uppsala universitets kvalitetssystem, vilket preliminärt ska ske höstterminen Denna uppföljning ska innehålla två moment: dels en återkoppling från samtliga institutioner på fakulteten av hur systemet fungerat och om det nått målsättningarna; dels en kollegial granskning från företrädare från andra fakulteter nationellt och/eller på Uppsala universitet över fakultetens kvalitetssystem. 10 I samband med att universitetet 2023 gör en översyn av Uppsala universitets kvalitetssystem ska även fakulteten göra en uppföljning av sitt eget system, med utgångspunkt i de föregående sex årens erfarenheter.