Handbok för programutvärdering LTH 2017 VERSION 1

Handbok för programutvärdering - LTH 2017 VERSION 1 Sida 1

Förord - OM HANDBOKEN Syftet med denna handbok är att beskriva LTH:s system för programutvärdering, samt att ge vägledning för hur programledningarna kan ta fram underlag för bedömning av programmets kvalitet. Handboken har tagits fram av en arbetsgrupp inom LTH och ansluter till de beslut angående kvalitetsarbete som har fattats av Lunds universitets Utbildningsnämnd, LTH:s styrelse samt ledningsgruppen för grundutbildning, LG GU. Handboken består av två delar. Del 1 beskriver bland annat bakgrund, ansvarsfördelning, bedömningsprocess, årscykel samt vilket stöd som olika intressenter kan få i sitt arbete inom systemet. Del 2 innehåller en vägledning för hur programledningar kan lägga upp arbetet med att ta fram ett bedömningsbart underlag. Delen beskriver en metodik för att ta fram ett målavsnitt till programportföljen för första gången. Arbetsmetodiken är framtagen för befintliga program, men kan till stora delar även användas för nyutveckling. Den följer också strukturen på de workshops som Genombrottet erbjuder till LTH:s utbildningsorganisation och till institutioner. VERSION Denna version dateras 2017-11-01. Versionen ska betraktas som work in progress, och handboken kommer att förändras i takt med att system för programutvärdering utvecklas. För arbetsgruppen Christina Åkerman, kvalitetssamordnare LTH christina.akerman@lth.lu.se Omlagsfoto: Utsikt från Studiecentrum, LTH Sida 1

Del 1 Systemets utformning - BAKGRUND Inom den svenska högskolan är det lärosätena som har ansvar för utbildningarnas kvalitet, vilket innebär lärosätena ska ha ett internt system för systematisk kvalitetssäkring. På nationell nivå är det Universitetskanslersämbetet, UKÄ, som kontrollerar att lärosäten lever upp till kraven genom att granska hur kvalitetssäkring bedrivs och vad det leder till. UKÄ genomför också andra typer av kvalitetsgranskningar. Inom Lunds universitet, LU, har ansvaret för kvalitetssäkring delegerats till fakulteterna som har lämnats stor frihet att utforma sitt eget kvalitetssystem utifrån vissa LU-gemensamma krav. LTH har utformat och beslutat om att införa ett internt kvalitetssystem som svarar mot de krav som UKÄ och LU ställer och som omfattar delarna: Styrning och organisation. Miljö, resurser och område. Utformning, genomförande och resultat programutvärdering. LTH:S SYSTEM FÖR PROGRAMUTVÄRDERING LTH:s system för programutvärdering är utformat för att stödja utveckling. I en årlig kvalitetscykel bidrar de olika aktörerna tillsammans med delarna (se figur nedan): Planering och utformning av utbildningsprogrammet. Genomförande av utbildningen. Uppföljning av studenternas studieresultat. Analys av utbildningsprogrammet med avseende på utformning, genomförande och resultat. Bedömning av utbildningsprogrammet som helhet, inklusive programledningarnas verksamhet. Hela kvalitetscykeln genomförs årligen, men under en uppbyggnadsfas som varar fram till 2022, omfattar ett givet år enbart utvalda delar av de kvalitetsmål som finns uppställda för programmet. Efter uppbyggnadsfasen kommer arbetet med programutvärdering att formas efter de utvecklingsbehov som framkommit på respektive program. Denna handbok beskriver hur LTH:s interna system för kvalitetssäkring av utbildningarnas utformning, genomförande och resultat programutvärdering är uppbyggt. Handboken ger riktlinjer och råd för hur programutvärdering ska drivas i praktiken. Tyngdpunkten ligger på programledningarnas uppgift att ta fram det underlag som ska ligga till grund för programutvärderingen. Planering Utformning Genomförande Analys Bedömning Åtgärder på LTH-nivå Uppföljning Resultat Institutionernas ansvar Programledningarnas ansvarsområde inom programutvärderingen Fakultetsledningens ansvar Sida 2

KVALITETSMÅL FÖR LTH:S UTBILDNINGAR Med kvalitet menas i detta sammanhang att ett antal fastställda mål uppfylls som är i utbildningsplanen. Det övergripande syftet med programutvärderingen är alltså att säkerställa måluppfyllelsen. Kvalitetsmålen faller i tre kategorier: Examensmål Programspecifika mål LTH-mål Examensmålen har beslutats av regeringen och finns i Högskoleförordningens Bilaga 2. Examensmålen definierar vad de studenter som erhållit en examen ska kunna bemästra, och utgör därför kärnan i LTH:s programutvärdering. LTH utfärdar tio olika examina och för varje examen finns mellan fem och tretton examensmål. Dessa är uppdelade i tre kategorier: Kunskap och förståelse Färdighet och förmåga Värderingsförmåga och förhållningssätt Examensmålen är breda och generella till sin karaktär och behöver både uttolkas och konkretiseras för varje program. Som stöd för detta, kommer det inom LTH att tas fram anvisningar med olika aspekter som bedöms vara relevanta för respektive examensmål. Programspecifika mål innefattar lärandemål som programledningen och/eller fakulteten (LG GU) beslutar att införa i utbildningsplanen, utöver examensmålen för den aktuella examenstypen (högskoleingenjör, kandidatexamen etcetera). Ett särskilt mål kan sättas upp för att ge utbildningen en särskild profil genom att komplettera examensmålen. På LTH innehåller vissa utbildningsplaner sådana mål. Ett särskilt mål ska kunna bedömas lika rigoröst som ett examensmål. LTH-mål avser kvalitetsaspekter som inte är lärandemål, men som anses vara så viktiga att de bör kvantifieras och följas upp på ett systematiskt sätt. LTH-mål beslutas av fakulteten (LG GU), och speglar att universitet och högskolor har ett brett uppdrag i samhället, utöver enskilda studenters lärande. Exempel på sådana aspekter är internationalisering (mobilitet och interkulturell kompetens), jämställdhet och likabehandling, breddat deltagande (rekrytering, retention och genomströmning) liksom utbildningarnas användbarhet och arbetslivsanknytning. Många av dessa aspekter ligger utanför programledningarnas kontroll, och uppföljning och utvärdering av LTH-mål ingår för närvarande inte i denna handbok. ANSVARSFÖRDELNING INOM LTH LTH:s styrelse, SLTH, beslutar om huvuddragen i LTH:s kvalitetssystem. Ledningsgruppen för Grundutbildning, LG GU, beslutar om hur systemet för programutvärdering ska vara utformat och bedömningsprocessen, hur bedömargruppen ska bemannas samt bedömer vilka resurser som bör avsättas för ändamålet. Det är också LG GU som har ansvar för att systemet levererar. Programledningarna har ansvar för planering och utformning av utbildningsprogrammen och för att skapa det underlag som ska ligga till grund för bedömningsprocessen. Det underlag som programledningarna har som uppgift att skapa, har formen av en programportfölj. Programledningen är mottagare av bedömargruppens rapporter, och ska ta hänsyn till bedömargruppens synpunkter i sitt fortsatta arbete, exempelvis genom förändringar i utbildnings- och kursplaner. Institutionerna har ansvar för att genomföra utbildning i enlighet med kursplanerna, och följa upp att studenterna når lärandemålen. Det är också institutionernas uppgift att säkerställa att kurserna vilar på vetenskaplig eller konstnärlig grund samt beprövad erfarenhet, det vill säga att lärarna har nödvändig ämnesmässig och pedagogisk kompetens, och att kurserna präglas av ett kritiskt förhållningssätt. På institutionsnivå har prefekten, studierektorn och de kursansvariga lärarna särskilt viktiga roller. Sida 3

LTH:s rektor och prorektor har ansvar för att organisationen är ändamålsenlig och att alla aktörer är medvetna om sitt ansvar. Rektor och prorektor är, liksom programledningarna, mottagare av bedömarnas rapporter och slutsatser och har ansvar inför LTH:s styrelse för att lämpliga beslut och åtgärder kommer till stånd som resultat av bedömningen. Bedömargruppen har ansvar för att bedömningen genomförs, avrapporteras samt för att erfarenheter. LTH:s Kansli och LTH:s pedagogiska utvecklingsenhet, Centre for Engineering Education ger stöd till olika aktörer. Teknologkåren deltar i LTH:s beredande och beslutande organ och har därigenom inflytande över alla delar av programutvärderingen. INTERN KVALITETSGRANSKNING BEDÖMNINGSPROCESSEN Varje program, och därmed också programledning, genomgår årligen en bedömning avseende ett urval av kvalitetsmålen. Bedömningen görs per mål av en intern bedömargrupp, och presenteras i två kvalitetsdimensioner: Hur väl programmet och ingående kurser planeras, utformas, genomförs och analyseras för att lärandemålen (examensmål och programspecifika mål) ska ha förutsättningar att uppfyllas. Studenternas dokumenterande förmåga, det vill säga i vilken grad det finns belägg för att lärandemålen uppfylls. Bedömargruppen är sammansatt av cirka sex personer, som i sin tur kan knyta till sig ämnesexperter, representanter för yrkeslivet eller andra kompetenser. Bedömarna är pedagogiskt sakkunniga och har mycket god insikt i såväl LTH:s utbildningar som i kvalitetsfrågor generellt inom högskolan. För varje mål sammanfattar bedömargruppen sina slutsatser genom att placera in bedömningen för målet i ett diagram de två dimensionerna. Bedömarna kan alltså anse att det finns en medveten och trovärdig planering och programutformning samt en bra analys, men att det saknas tillräckliga belägg för att studenterna når målen, och omvänt. UTBILDNINGENS UTFORMNING OCH GENOMFÖRANDE Föredömligt Väl fungerande Utvecklat Svagt Når inte målet Når målet delvis Når målet Överträffar målet STUDENTERNAS MÅLUPPFYLLELSE Sida 4

PROGRAMPORTFÖLJ ANALYS, ARGUMENTATION OCH BELÄGG Bedömningen baseras på en programportfölj som byggs upp av programledningen. Programportföljen ska ha en introducerande övergripande del, samt en del som är indelad i enlighet med målen. De senare kallas målavsnitt. Den övergripande delen är riktad från programledningen till bedömargruppen, och kan innehålla material som man anser att bedömargruppen behöver för att kunna förstå målavsnitten. Det kan handla om programmets uppbyggnad, specialiseringarnas roll eller speciella förutsättningar för examensarbetet. Varje målavsnitt i portföljen ska innehålla fyra komponenter: 1. Uppföljning, som beskriver väsentliga ändringar sedan föregående år, och som kan ligga till grund för en reviderad bedömning. Detta avsnitt blir aktuellt först år 2. 2. Reflekterande text med: En beskrivning av vad målet innebär för den aktuella utbildningen, och hur programmet har utformats för att nå det aktuella målet. En argumenterande analys och värdering av måluppfyllelsen, där argumenten ska styrkas av belägg. En uppsättning uppföljningsbara åtgärder som behöver vidtas. Bedömarnas uppgift är istället att göra en kritisk granskning av programledningens reflekterande texter, och värdera styrkan i de belägg som presenteras till stöd för argumentationen. En analogi är att bedömarna är reviewers, inte medförfattare! En bra reflekterande text ska knyta samman utbildningens utformning med studenternas lärande och progression, samt identifiera de svagheter och behov av utveckling som finns. Beläggen, särskilt de som avser studenters lärande, bör tas fram tillsammans med de lärare som möter studenterna i undervisningen. De belägg som lyfts fram i programportföljen förväntas inte vara vetenskapligt vattentäta, framförallt inte i början av processen att bygga upp programportföljen. Men en uttalad ambition är att beläggen ska bli allt starkare med tiden. Det kommer att tillhandahållas mallar som ska användas för att bygga upp de olika målavsnitten. 3. Belägg som stödjer argumenten för att programmet är väl utformat och planerat. 4. Belägg som stödjer argumenten för att kvalitetsmålen uppfylls. Bedömargruppen ska inte själv behöva dra slutsatser utifrån källmaterial som använts som belägg. Exempelvis ska bedömargruppen inte själva läsa en mängd examinationsuppgifter, kursplaner eller examensarbeten för att själva finna belägg för att ett visst examensmål är uppnått. Sida 5

PROGRAMMENS UTFORMNING PROGRESSIONSKARTA Ett obligatoriskt belägg i varje programportfölj är en progressionskarta för lärandemålen, det vill säga examensmålen och de särskilt målen. Progressionskartan visar vilka kurser som stödjer ett visst mål, och illustrerar och konkretiserar därigenom studentens väg och progression inom programmet. Den är utformad som en matris med programmets kurser på ena axeln och målen på den andra. Progressionskartan är ett centralt belägg för god planering och utformning av programmet, och ska vara väl avstämd mot lärandemålen på kursnivå. Den pekar även ut från vilka kurser det finns belägg för studenternas lärande avseende ett visst mål. Progressionen uttrycks i tre nivåer, RAC. Nivåerna anknyter till Bloom s taxonomi för kognitiva färdigheter: GENOMFÖRANDE AV UTBILDNING På LTH är det institutionerna som har ansvar för att undervisningen genomförs i enlighet med den kursplan som fastställts av någon av LTH:s programledningar. Men på LTH ska all planering och uppföljning göras i nära samverkan mellan institutionerna och programledningarna. Exempel på sådan samverkan är det årliga överenskommelsen, medverkan i kursutvärderingsprocessen, samt kommunikation och påverkan gentemot lärare och institutionsledningar. Studenternas lärande påverkas inte bara av själva undervisningen utan också av lärandemiljön i stort, exempelvis studiesocialt stöd, undervisningslokaler, tillgången på studieplatser, det psykosociala klimatet i studentgruppen och schemaläggning. Det är väsentligt att programportföljerna tydligt markerar om sådana faktorer hindrar att studenterna når målen, och det faller på LTH:s ledning att hantera den typen av frågor. R står för Remember Reproduce Understand och avser den lägsta nivån. A står för Analyse Apply och avser den intermediära nivån. C står för Create Evaluate och avser den högsta nivån. Appendix A innehåller en tabell som illustrerar hur RAC kan tolkas i förhållande till andra sätt att beskriva progression i lärande och utbildning. För att kvalitetssäkringen och bedömningen ska vara enhetlig över hela LTH fordras en gemensam syn på vad progression innebär, men också en tydlighet om hur långt i progressionskedjan studenterna på ett program förväntas nå fram till examen. För varje examensmål kommer det att finnas anvisningar med: En sammanfattning av vilken progressionsnivå en viss utbildning ska uppnå avseende ett visst mål. Dessa nivåer bör fastställas av LG GU. Innebörden av progressionsnivåerna RAC för olika examensmål. Sida 6

ÅRSCYKEL Varje cykel inom kvalitetssäkringssystemet genomförs under ett läsår. Tidsschemat är: November Avdelningen för kvalitetsstöd vid LTH:s kansli meddelar: Vilka kvalitetsmål som ska utvärderas kommande årscykel. Vilka mallar och format som ska gälla för programportföljen. December Bedömargruppen utses. Januari-mars Mål och progressionsnivåer (RAC) förtydligas. Maj Programportföljen lämnas in. Bedömningen påbörjas. Oktober Bedömningen är genomförd. November Resultatet rapporteras. SYSTEMSTÖD Avdelningen för kvalitetsstöd vid LTH:s kansli tillhandahåller instruktioner för utformningen av programportföljen. Inledningsvis kommer detta främst bestå av mallar i Excel. Efterhand som systemet finner sina former kommer dessa att ersättas med digitala, webbaserade verktyg. PEDAGOGISKT STÖD LTH:s högskolepedagogiska utvecklingsenhet, Genombrottet, erbjuder fyra typer av stöd för kvalitetsarbetet: Högskolepedagogiska kurser, som syftar till att utveckla den generella högskolepedagogiska kompetensen hos lärare och annan personal. LTH-gemensamma workshops och seminarier. Vissa av dessa anknyter direkt till kvalitetsarbetet, medan andra är mer generella. Skräddarsydda workshops och seminarier som tillkommer på initiativ av program, lärarlag eller institutioner. Konsultstöd till program och enskilda lärare. Del 2 av denna handbok speglar LTHgemensamma workshop Programportföljen som arrangeras för programledare. Genombrottets pedagogiska konsulter kan med fördel agera processledare vid workshops med programledningar och programmets lärare. Kontaktperson inom Genombrottet är Roy Andersson, roy.andersson@lth.lu.se. AVSLUTANDE KOMMENTARER Det är sannolikt ett för högt ställt krav att kunna visa att varje enskild student uppnår alla lärande mål (examensmål och programspecifika mål). Däremot ska målavsnitten kunna visa att huvuddelen av studenterna faktiskt når målen, och att alla studenter ges möjlighet att nå dem, oavsett deras väg genom programmet. LTH har många studenter som deltar i studentutbyte, särskilt på civilingenjörs-, design och arkitektutbildningarna. En hög ambitionsnivå avseende kvalitetssäkring av LTH:s utbildningsprogram får inte utgöra ett hinder för internationell mobilitet eller tillräckliga inslag av valfrihet. Istället kan uppföljningen av utlandsstudier och av de utresandes lärande behöva utvecklas. Sida 7

Del 2 Vägledning - 1. ANALYSERA OCH KONKRETISERA MÅLET Examensmålen i Högskoleförordningen är skrivna för att passa alla teknik- och huvudområden samt arkitektur. Med teknikområden avses maskinteknik, datateknik, industriell ekonomi och så vidare. Huvudområden på LTH inkluderar industridesign, elektronikkonstruktion, bioteknik etcetera. De kan uppfattas som ordrika och otydliga, och blir bara meningsfulla om de sätts in områdets kontext. I LTH:s kvalitetssystem måste det dock finnas en tydlighet om vad examensmålen innebär för ett visst utbildningsprogram. Om inte målen blir tillräckligt tydliga, blir det ju inte heller möjligt för bedömargruppen att avgöra om programutformningen är ändamålsenlig och om studenterna når målen. En konkretisering och uttolkning av examensmålen måste finnas för varje program, och det är programledningen för respektive program som har ansvar för detta. Exempelvis kommer innebörden av begrepp som produkter, processer och system och beprövad erfarenhet att vara väldigt olika för skilda områden. En kemisk process inom kemiteknik är ju något helt annat än fastighetsbildningsprocess inom lantmäteri. Även konkretiseringen av examensmål som att visa förmåga till lagarbete och samverkan i grupper med olika sammansättning kommer att variera mellan teknikområden. Inom datateknik kan lagarbete inom programvaruutveckling vara särskilt relevant och bedrivs ofta med en strikt rollfördelning, medan man inom Medicin och teknik har behov att lära sig att samverka med olika intressenter inom vården. För yrkesexamina och yrkesinriktade generella examina, bör man också betrakta målen i ljuset av behoven på den specifika arbetsmarknaden för en viss kategori av ingenjörer. Flera examensmål är komplexa och innehåller i praktiken flera delmål. Ett exempel på det är examensmålet visa förmåga att muntligt och skriftligt redogöra för [ ], där målen för muntlig och skriftlig kommunikation kan behöva konkretiseras oberoende av varandra. I anvisningarna inför varje årscykel kommer det också vara tydligt hur målen ska delas upp, och hur varje målavsnitt ska utformas för att målets olika delar ska kunna bedömas. I flera aktuella utbildningsplaner finns så kallade Särskilda mål (se avsnitt 1.3 i utbildningsplanerna). I vissa fall konkretiserar sådana särskilda mål ett examensmål, i andra fall kompletterar det examensmålen. I det är då detta särskilda mål att betrakta som ett programspecifikt mål. I takt med att kvalitetsarbetet utvecklas kan det bli aktuellt att harmonisera utbildningsplaner och kvalitetssystem. Exempel på hur ett begrepp i ett examensmål kan definieras för ett program. I självvärderingen från civilingenjörsutbildningen i Ekosystemteknik beskrev programledningen produkter, processer och system med texten: Inom teknikområdet Ekosystemteknik utgör produkterna, processerna och systemen länkar mellan omgivningen (miljön) och tekniska konstruktioner. Således kan en produkt utgöras en bioteknisk reaktor, men lika väl av en dagvattenplan för en kommun eller en kusthydraulisk erosionsberäkning. En process kan vara både materiell, till exempel en vattenreningsprocess, eller immateriell såsom en strukturerad miljökonsekvensanalys. Ett system kan vara en bioreaktor, en våtmark, en restaurerad flod, en avfalldeponi eller en vindkraftspark i en skyddsvärd naturmiljö. Sida 8

Exempel på ett befintligt särskilt mål som konkretiserar ett examensmål I utbildningsplanen för civilingenjörsutbildningen i Medicin och teknik har delar av examensmålet visa förmåga att utveckla och utforma produkter, processer och system med hänsyn till människors förutsättningar och behov och samhällets mål för ekonomiskt, socialt och ekologiskt hållbar utveckling konkretiserats som att studenterna ska kunna designa och utveckla medicintekniska produkter i samarbete med såväl ingenjörer, läkare/ vårdpersonal, patienter och anhöriga som hälsointresserade individer utanför sjukvården. 2. INVENTERA OCH SKAFFA EN ÖVERBLICK När innebörden av målet är tydlig och konkret kan man inventera de befintliga kurser och moment som stödjer målet. Inventeringen kommer resultera i en stor mängd information, som sedan kan användas för att skapa en överblick över hur programmet leder studenterna mot målet. Inventeringen kan göras med hjälp av lärooch timplanen (LoT). LoT innehåller alla kurser på programmets basblock, men också de olika specialiseringarna med de kurser som ingår i dessa. Man bör inte begränsa inventeringen till kurser där målet examineras eller finns med i kursplanen. Det viktigaste är att få upp relevanta kurser och moment på bordet. Om programmet ser behov av förändringar i kursinnehåll, pedagogisk idé, examination eller formalia ska det ses som en positiv möjlighet till kvalitetsutveckling, inte som ett problem. överblick. Det är programledningarnas uppgift att argumentera för om någon specialisering kan utelämnas i analysen och värderingen av måluppfyllelse. 3. IDENTIFIERA KURSER SOM ÄR RELEVANTA FÖR MÅLET Inventeringen och överblicken över programmet kommer att omfatta en mängd kurser för varje mål. Det är naturligt eftersom yrkesinriktade utbildningar till sin natur integrerar olika kunskaper och färdigheter i ett nätverk av kurser från olika ämnesområden. Men för att bedömargruppen ska kunna bedöma måluppfyllelsen måste informationsmängden reduceras och fokusera på ett mindre antal nyckelkurser. På långa utbildningsprogram bör nyckelkurserna hämtas både från basblocket och från specialiseringarna. Redan i de självvärderingar som skrevs inför UKÄ:s nationella programutvärdering 2012/2013 hade många program identifierat nyckelkurser för respektive mål. Nyckelkurserna fungerade som belägg för att ett visst examensmål var uppfyllt. Programledningarna har normalt en bra känsla för vilka kurser som är nyckelkurser för ett visst mål inom basblocket, men för kurser i specialiseringarna behöver lärare och studenterna sannolikt bidra med ytterligare information. De flesta av LTH:s längre utbildningar innehåller specialiseringar. Det är viktigt att inventeringen och överblicken även omfattar de viktigaste specialiseringarna på programmet. På vissa program finns dock specialiseringar med många kurser och ytterst få studenter, vilket gör det svårt att skapa en meningsfull Sida 9

4. BESKRIV NYCKELKURSER För att tydliggöra varför en kurs ska vara en nyckelkurs för att uppnå ett visst mål behöver kursen beskrivas, exempelvis med avseende på: Undervisningsmoment som stödjer målet. Direkt koppling mellan kursplanens kursmål och examensmål. Koppling till andra kurser, före eller efter i programmet, progression. Omfattande eller särskilt viktiga moment som stödjer målet. Någon aspekt av målet som inte berörs i andra kurser. Progression. Något särskilt som gör att studenter tar ett stort kliv mot målet i kursen. Moment som innebär direkt examination av målet. Studenternas arbete inom kursen. Pedagogisk form såsom projektarbete, case eller forskningsliknande form. Särskild roll för kursen inom en viss specialisering. Relevans för utbildningen som helhet och till anställningsbarheten. Tillgång på starka belägg. Redan planerade förändringar kopplade till målet. Beskrivningen är viktig för att programledningen ska kunna formulera den analys och värdering av måluppfyllelsen som ska ingå i programportföljen. Den är också viktig för att i senare steg samla belägg och beskriva progressionen. Tänk på att kurser förändras kontinuerligt. Planerade förändringar är viktiga att få med i beskrivningen! 5. SAMLA BELÄGG Beläggen är till för att styrka beskrivningarna, analyserna och värderingarna i programportföljens reflekterande text som ingår in programportföljens olika målavsnitt. Beläggen faller i två kategorier: 1. Belägg som visar att programmet är väl utformat och planerat. 2. Belägg som visar att kvalitetsmålen uppfylls. Belägg som visar att programmet är väl utformat och planerat kan utgöras av kan vara utbildningsplanen, målanalyser, progressionskarta (RAC-matris), kursplaner, kursprogram. policydokument, litteraturstudier, benchmarking, planerade åtgärder, samt annat underlag. Belägg som visar att kvalitetsmålen uppfylls kan utgöras av examinationsuppgifter, analys av examensarbeten, alumnundersökningar, fokusgruppsintervjuer, enkäter, statistik, kursutvärderingar, progressionsstudier, kollegiala granskningar, samt annat underlag. LTH:s programutvärdering ska vara framåtriktad och inspirera till utveckling! Därför kan en planerad förändring, exempelvis ett utkast till reviderad kursplan eller ett nytt kursmoment, också tjäna som belägg för att programmet är väl utformat och planerat. Däremot kan det inte fungera som belägg för att kvalitetsmålen uppfylls. Alla belägg ska så småningom samlas i en digital portfölj i form av PDF-dokument, video och bilder. Det finns ofta belägg tillgängliga som en programledning inte känner till eller har tänkt på. Engagera lärare, administratörer, studenter, arbetsgivare och kolleger vid andra lärosäten var kreativ! Sida 10

6. SKAPA PROGRESSIONSKARTAN RAC När målet är konkretiserat, nyckelkurser identifierade och beskrivna samt belägg funna ska nyckelkurserna placeras in i en progressionskarta och ges beteckningen R, A och/eller C. Progressionskartan är ett obligatoriskt belägg för att programmet är väl utformat och planerat. Däremot är progressionskartan inte i sig ett belägg för att kvalitetsmålen uppfylls. R, A och C är absoluta nivåer som ska vara likvärdiga över LTH:s olika utbildningar. En progressionsmatris behöver alltså inte visa upp att samtliga mål når nivå C vid slutet av utbildningen, utan den slutliga progressionsnivå som gäller för den aktuella examen. Innebörden av nivåerna RAC varierar mellan målen. Det är viktigt att notera att det finns en LTH-gemensam definition av progressionsnivåerna RAC, trots att målen konkretiseras på olika sätt för de olika utbildningarna. För vissa mål kan ett program vara utformat så att studenterna kommer långt i sin progression tidigt i utbildningen. I andra fall kan progressionen inte uppnås förrän i examensarbetet. 7. FORMULERA REFLEKTERANDE TEXT Utifrån det underlag som sammanställts kan programledningarna formulera den reflekterande text som belyser programmets utformning samt måluppfyllelsen, liksom planerade konkreta åtgärder. Texten ska diskutera och argumentera för programmets styrkor, svagheter och utvecklingsbehov avseende målet. I argumentationen ska texten uttryckligen referera till de belägg som presenteras. Det är alltså inte bedömarnas uppgift att knyta samman argumenten i texten med de belägg som presenteras. Det är en styrka att kunna identifiera svagheter! De planerade åtgärderna kan ha väldigt olika karaktär. De kan handla om förändringar i kurser, revidering av någon specialisering, att tillsätta en arbetsgrupp kring en viss fråga, förbättring av lärarkapaciteten etcetera. Texten kan skrivas på svenska eller på engelska. Progressionskartan måste innehålla tillräckligt många kurser för att täcka de viktigaste aspekterna av målet. Det finns dock ingen poäng med att ha överdrivet många kurser i progressionskartan. Syftet med progressionskartan är ju att kvalitetssäkra programmets utformning samt studenternas progression och måluppfyllelse, inte att ge en komplett bild av programmet. Sida 11

Appendix A - I pedagogisk litteratur finns det olika modeller och system för att beskriva progression och olika nivåer av abstraktion och komplexitet. Inom LTH:s system för programutvärdering är det Bloom s taxonomi (kognitiva domänen) som är utgångspunkten för definitionerna av RAC, men det har visat sig vara omöjligt att strikt följa Bloom s taxonomi för varje examensmål. Man kan därför behöva gaffla in progressionsnivån mot olika modeller. Nedanstående tabell är tänkt att ge en bild av vad RAC betyder i förhållande till befintliga modeller och system. Kommentarer: LTH:s nivåklassificering (G1, G2, A) avser kurser, inte enskilda lärandemål. Det betyder att progressionen för ett visst mål kan ligga på en såväl högre som lägre nivå än kursen som helhet. Självständighetstrappan är en modell som tagits fram på Luleå Tekniska Universitet. Man hittar mer om modellen genom att söka på strängen LTU självständighetstrappan Slutrapport. PROGRESSIONSNIVÅ R A C Jämförbar nivå i Bloom s taxonomi Kognitiv domän Psykomotorisk domän Remember och Understand Perception, Attention to act och Imitation Apply och Analyze Recurrent practice Evaluate och Create Developed skills och Complex skills Affektiv domän Susceptibility och Reaction Estimation och Organisation Characteristic Jämförbara strukturer i SOLO-taxonomin Mono- and multistructural Relational Extended abstract Jämförbara nivåer i LTH:s nivåklassificering G1 G2 A Nivå i självständighetstrappan Professionell student Deltagande aktör Självständig professionell aktör Karaktär på det som studenterna gör Uppgiften: Given Kunskapsbasen: Någon av uppgiften, kunskapsbasen Uppgiften: Öppen Kunskapsbasen: Given eller metoden: Öppen Metoden: Given Öppen Metoden: Öppen Sida 12