1 (9) Version 2 2011-12-12 Tove Holmqvist Utbildningsledare kvalitetsarbete Att skriva självvärdering i Högskoleverkets nya utvärderingssystem några reflektioner från Kvalitetsrådet För den institution som står i begrepp att göra en självvärdering i Högskoleverkets (HSV) nya utvärderingssystem finns vägledning att få. HSV har publicerat en instruktion, som tydliggör vad som efterfrågas. Det första ni gör är förstås att läsa och utgå från denna instruktion. HSV genomför också webbseminarier och publicerar länkar till dessa på www.hsv.se. Dessutom finns på samma länk en bra avdelning med FAQ rörande utvärderingssystemet och dess processer. Inom Stockholms universitet pågår nu också en intern process i syfte att samla och sprida erfarenheter och tankar om hur det går till att skriva självvärderingar. Följande text från Kvalitetsrådet bygger på läsning av och reflektioner över ett antal framväxande självvärderingar från flera institutioner. Den är tänkt som en hjälp till er som framöver ska skriva era självvärderingar inom ramen för den fyraårscykel som pågår. Detta är version nr 2 av texten och vissa tillägg har gjorts. Dokumentet kommer att fortsätta att uppdateras i takt med att fyraårscykeln fortsätter. Självvärderingens status i utvärderingssystemet I tidigare utvärderingssystem har självvärderingen haft karaktären av en processberättelse, dvs man har främst beskrivit hur man planerat och lagt upp utbildningen. I det nya systemet är självvärderingen av ett helt annat slag, som man skulle kunna benämna resultatberättelse. Fokus är med andra ord förskjutet från utbildningens processer och förutsättningar till utbildningens resultat. I det nya systemet ingår fyra underlag för bedömning: studenternas självständiga arbeten (i regel examensarbeten), lärosätets självvärdering, alumnenkäter och studentintervjuer. Självvärderingen är det enda av dessa underlag som lärosätet självt kan kontrollera. Det är också det enda som tar hänsyn till helheten i utbildningen. Hela Stockholms universitet Besöksadress: Telefon: 08-16 22 05, 070-611 82 63 106 91 Stockholm Bloms hus Telefax: E-post: tove.holmqvist@su.se
2 (9) utvärderingen fokuserar resultat, vilket definieras som måluppfyllelse. Det innebär att de självständiga arbetena kontrolleras gentemot ett urval examensmål, alumnerna får i en enkät svara på frågor som har med utbildningens måluppfyllelse att göra, studenterna kommer att (vid de virtuella möten som kommer att ersätta tidigare platsbesök) få svara på frågor om måluppfyllelse och självvärderingen ska visa på vilket sätt, och hur väl, studenterna når de av bedömargruppen utvalda examensmålen. Självvärderingen är tänkt att komplettera det underlag som utgörs av de självständiga arbetena. Tillsammans väger de självständiga arbetena och självvärderingen tyngst i utvärderingen. HSV:s bedömargrupp för utbildningen väljer ut de examensmål mot vilka granskningen görs, alla ingår alltså inte i utvärderingen. 1 Dock kommer alltid målen under rubriken Kunskap och förståelse att ingå. Urvalet ska beakta kraven i högskolelagen samt spegla utbildningens helhet och särart samt användbarhet på arbetsmarknaden. Därefter formuleras kriterierna för hur gruppen tänker bedöma måluppfyllelsen. Kriterierna ska passa både de självständiga arbetena och självvärderingen. Denna information delges institutionerna kort efter HSV:s upptaktsmöte. Uppgiften i självvärderingen För lärosätet gäller det att i självvärderingen analysera och värdera studenternas och utbildningens resultat. Ett led i detta är att analysera examinationens relevans och tillförlitlighet. I vad mån, och i vilken utsträckning har samtliga studenter som examineras på en utbildning nått samtliga examensmål? Hur examinerar man på ett sådant sätt som gör att man faktiskt vet att målen nås? Varför ser det ut som det gör? Hur kommer det sig att man valt X och inte Y? Vilka förklaringar ser man som de viktigaste till ett visst resultat? Vilken inverkan på resultatet har förhållandet Z? 1 Examensmålen finns i högskoleförordningens bilaga 2 Examensordning och finns tillgängliga t ex på www.notisum.se.
3 (9) Det är viktigt att motivera det som görs eller inte görs i utbildningen. Var gärna reflexiv i självvärderingen. Trovärdigheten kan öka om man även diskuterar det som inte fungerat optimalt. Konkretisera med belysande exempel. Och som sagt analysera och värdera exemplen från det valda källmaterialet till självvärderingen i relation till respektive utvalt examensmål och dess delar. De vanligaste bristerna hittills i självvärderingarna är att man inte fokuserar resultaten och/eller att man inte analyserar tillräckligt mycket utan istället beskriver utbildningens uppläggning eller resultat. Det vill säga, man beskriver hur saker och ting förhåller sig men gör ingen analys och ingen värdering av resultaten. Förberedelser inför utvärderingen Det är en stor fördel om man kan engagera flera personer i arbetet med självvärderingen, både lärare, studenter och administratörer. Det har att göra med att den analys som krävs förutsätter att undervisande lärare, med sin kännedom om examinationen och studenternas prestationer, kan leverera belysande exempel till självvärderingen. Detsamma gäller studenterna. Deras värdering av utbildningen, t ex i form av exempel från olika kurs- och programutvärderingar kan behövas för att göra en analys av resultaten, liksom för att visa på utbildningens användbarhet på arbetsmarknaden. Ett sätt att förbereda sig inför utvärderingen är att samla en grupp som tillsammans kartlägger hur de förväntade studieresultaten i utbildningens kursplaner relaterar till de olika examensmålen. Genom att skapa sig en bild av detta blir det lättare både att välja lämpliga exempel att analysera i självvärderingen och att skriva fram den röda tråden i utbildningen. Kvalitetsrådet tillhandahåller på begäran matriser som kan användas för detta. Tänk på att det tar tid att samla in och sammanställa lämpligt material till självvärderingen. Det källmaterial man hänvisar till i självvärderingen ska också finnas tillgängligt för bedömargruppen, i den mån den önskar få ta del av detta.
4 (9) Självvärderingen är med andra ord mycket tidskrävande. Den kräver, förutom tid för själva skrivandet och för diskussion av innehåll och framställning, ordentligt med tid för förberedelser och tid för redigering av texten. Självvärderingen råd vid skrivandet Självvärderingen består av tre delar. Det är den första som är viktigast, den som rör måluppfyllelsen. Del 2 handlar om utbildningens förutsättningar (lärarresurs och studenternas förutsättningar). I del 3 kan andra förhållanden som har betydelse för utbildningen beskrivas, t ex om utbildningen har en bestämd profil eller specifika lokala mål. Det kan vara en god idé att börja självvärderingen med en kort läsanvisning till bedömargruppen som kommer att läsa en större mängd självvärderingar. En läsanvisning hjälper dem att se hur just den här självvärderingen är upplagd. I läsanvisningen kan man ta upp hur man tolkat uppgiften, vilket källmaterial som huvudsakligen används och hur analysen är upplagd. Om man t ex gör flera hänvisningar till några speciella kurser kan det vara bra att lista dessa redan här. HSV har vid möten lämnat två råd inför skrivandet av självvärderingen. Det första förutsätter att den aktuella utbildningen kommer att ha tillräckligt med examensarbeten för att dessa ska ingå som underlag i bedömargruppens utvärdering av utbildningen. 1. Det är bra att börja med att läsa igenom det urval av examensarbeten som ingår i utvärderingen för att skapa sig en bild av vad som kommer att möta bedömargruppen när de ska göra sin bedömning av måluppfyllelsen i dessa. Genom att läsa igenom dessa kan författargruppen till självvärderingen också se vilka mål som man särskilt bör koncentrera sig på i självvärderingen, dvs den måluppfyllelse som inte framgår i de självständiga arbetena utan som examineras på annat sätt under utbildningens gång. Självvärderingen ska ge en bredare bild av måluppfyllelsen än vad urvalet av examensarbeten kan ge. 2. Antalet sidor i självvärderingen är begränsat. Ett sätt att hantera detta på är att skriva brödtexten som en löpande text och ha faktauppgifter och källhänvisningar i ett notsystem.
5 (9) Det säger sig självt att med ett begränsat antal sidor ska man också undvika att t ex upprepa HSV:s anvisningar i svaren, att förklara bakgrunden till varför självvärderingen görs, att hänvisa till Bolognaprocessen eller andra (för HSV och bedömargruppen) självklarheter. Likaså ska man undvika utvikningar om varför man inte har kunnat ägna mer tid till arbetet med självvärderingen och liknande. Del 1 Del 1 (måluppfyllelsen) är den del av självvärderingen som kräver mest av författarna. Lärosätet ska i del 1 ü argumentera för att, och hur studenterna i utbildningen når respektive utvalt examensmål och dess delar, ü värdera måluppfyllelsen, dvs argumentera för hur väl studenterna når målen, ü basera argumentationen på olika sorters källmaterial. Mer konkret innebär detta att lärosätet egentligen ska svara på två frågor i självvärderingen. Huvudfrågan rör studenternas resultat och det ideala svaret på denna skulle kunna vara att Studenterna på utbildningen kan oerhört mycket och uppnår examensmålen med god marginal. Om man kunde visa detta med hjälp av examinationsuppgifter tillsammans med beskrivningar av hur väl studenterna har svarat, så skulle man ha just det resultatnära argument som utvärderingssystemet kräver. Ett stort problem här är dock att man sällan har tillgång till det källmaterial som krävs för att kunna besvara frågan på ett sådant sätt (jfr nedan Val av källmaterial till del 1). Det gör förmodligen att många kommer att finna att den fråga man kan besvara bäst är den inom detta utvärderingssystem något mindre viktiga frågan om utbildningens uppläggning och förutsättningar. Observera dock att denna fråga inte är oviktig. Den behövs som ett hjälpargument för att på ett trovärdigt sätt kunna besvara huvudfrågan, även om det alltså inte är utbildningens förutsättningar som bedöms i detta resultatfokuserade utvärderingssystem. Det ideala svaret på denna fråga skulle kunna vara att Utbildningen är klokt uttänkt, det finns en tydlig röd tråd och en tydlig progression genom hela utbildningen. Vi har planerat och genomfört en utbildning som skapar de allra bästa förutsättningarna för måluppfyllelse.
6 (9) Båda dessa uppgifter tar tid att hantera och det kan vara bra att tidigt i processen göra en avvägning mellan dem så att det framgår att den ena frågan (om processer) hanteras som en hjälp för att kunna besvara huvudfrågan (om resultat), snarare än tvärtom. Följande punkter kan vara en hjälp för att kunna formulera hjälpargumentet: visa hur målformuleringar och examinationen inom huvudområdets kurser svarar mot examensmålen, dvs hur kurserna inom huvudområdet sammantaget leder till att examensordningens mål nås (den röda tråden i utbildningen), visa hur målen i de kurser som bygger på varandra (=utgör utbildningen) inom den aktuella nivån leder till fördjupning (progressionen i utbildningen), visa att en nivåskillnad tydligt syns mellan utbildning på grundnivå och på avancerad nivå. Följande punkter kan vara en hjälp för att därefter kunna besvara huvudfrågan: visa i vilka kurser studenterna når de mål som inte (helt eller delvis) nås genom det självständiga arbetet, visa hur väl studenterna besvarar frågor/utför uppgifter som är tydligt relaterade till utvalda examensmål eller delar av dem, visa hur studenterna anser att de nått utbildningsmålen, t ex i kursvärderingar. Val av källmaterial till del 1 Vilka källor ska man använda som utgångspunkt för denna analys och hur ska de hanteras? Till att börja med ska källorna, som nämndes ovan, vara tillgängliga för bedömargruppen vid behov, men de ska inte bifogas självvärderingen. Vidare ska man tänka på att val av källmaterial till analysen ska utgöras av representativa exempel, och gärna från större och återkommande kurser och examinationer med hög relevans för examensmålen. om man har tillgång till studenternas arbeten Eftersom formerna för och innehållet i examinationen är centrala för att man ska kunna visa att studenterna når målen är det viktigt att använda material som framhäver
7 (9) examinationens betydelse i detta utvärderingssystem. Det är med andra ord viktigt att lyfta fram arbeten och uppgifter som studenterna genomfört i sin analys. Se, om möjligt, därför till att i god tid spara studenternas tentor och andra uppgifter. En komplikation är förhållandet att examinationen sker på kurser eller delar av kurser och inte på den övergripande nivå som examensmålen befinner sig på. Det betyder att examensmål kan ha examinerats ur olika perspektiv och på olika sätt vid ett stort antal tillfällen, men bara till mycket begränsad del vid det enskilda provtillfället. Det kan vara något som har getts en underordnad betydelse vid varje sådant tillfälle, men där man ändå sammantaget har prövat studenternas måluppfyllelse på ett bra sätt. Av det skälet är det viktigt att först skapa sig en bild av den samlade examinationen, för att med den som utgångspunkt kunna föra ett resonemang om hur ett visst examensmål har examinerats, och hur studenternas prestationer har framstått. Observera att man kan använda tentamenssvar, inlämningsuppgifter, inspelade examinationer och om man så vill studenternas självständiga arbeten. Om man använder egna analyser av studenternas uppsatser måste de dock tillföra något väsentligt utanför den analys som bedömargruppen redan kommer att göra av det urval självständiga arbeten som kommer att ingå i utvärderingen. Eftersom sidantalet dessutom är begränsat är det sannolikt bättre att i självvärderingen snarare redovisa uppfyllelsen av de mål som inte framgår i de självständiga arbetena i självvärderingen. om man inte har tillgång till studenternas arbeten Om man inte har tillgång till studenternas svar på examinationsuppgifter av olika slag kan man istället koncentrera framställningen på att redogöra för hur man examinerar för att studenterna ska nå målen. Då blir examinationsuppgifter och -frågor ett huvudmaterial för analysen. Denna typ av källmaterial kan de flesta använda sig av, eftersom det ska finnas arkiverat. Källmaterial som rör examinationen är alltså det viktigaste materialet för den analys som krävs i självvärderingen. Det är dock lämpligt att också använda annat material som är kopplat till utbildningens resultat. Detta andra material kan med fördel bestå av kurs- och programutvärderingar, uppföljningar av alumner, egna utvärderingar av huvudområdet. Om man gjort egna analyser av t ex examinationens relevans, så kan detta användas som källmaterial.
8 (9) Del 2 Den del som i tidigare utvärderingssystem upptagit merparten av självvärderingen har i det nya systemet inte alls samma vikt. I del 2 av självvärderingen bör lärarresursen beskrivas i en bilaga (en lista), som utgör ett stöd för analysen av lärarresursen. Analysen av lärarkompetensen och lärarkapaciteten ska göras i relation till de utvalda målen. Samtliga lärare (inkl tillfälliga inhoppare av olika slag) ska räknas med. Det är deras respektive bidrag till måluppfyllelsen som ska analyseras. I del 2 finns också en tabell över antalet helårsstudenter i utbildningen som ska fyllas i. Observera skillnaden mellan antal registrerade studenter och antal helårsstudenter. Det är uppgift om antal helårsstudenter på hela utbildningen under undersökningsperioden som ska anges. Ett frivilligt avsnitt i del 2 gäller studenternas förutsättningar. De kan beskrivas i den mån de skiljer sig markant från andra likvärdiga utbildningar på andra lärosäten, t ex om man arbetat med breddad rekrytering och vet att de egna studenternas meritvärden är lägre än på andra håll och man därför förväntar sig konsekvenser vad gäller resultaten. I så fall kan detta analyseras (med avseende på resultaten) i del 2. Del 3 I del 3 av självvärderingen kan man ytterligare förtydliga hur utbildningen är upplagd i och med att man där kan beskriva förutsättningarna för de självständiga arbetena: hur många poäng de är på, när i utbildningen de är placerade, om de skrivs individuellt eller i grupp. Man kan också ange hur många av studenterna på utbildningen som är programstudenter respektive fristående. I del 3 krävs ingen analys. Ett tips kan också vara att i denna del göra en schematisk beskrivning av vilka obligatoriska och frivilliga kurser studenter inom huvudområdet kan följa. Observera dock att det förutsätter att valmöjligheterna inte är alltför många. Även detta är att betrakta som en hjälp för bedömargruppen att förstå mer om hur utbildningen är upplagd.
9 (9) Till sist Skriv självvärderingen med hjälp av exempel från ovanstående (eller annat) källmaterial. Analysera och värdera vad som är bra i utbildningen (och nämn eventuellt något om vad som kan förbättras) utifrån det ni menar är kvaliteten i utbildningen och hur den är upplagd för att studenterna ska nå målen. Våga visa på svagheter också, det viktiga är att man i texten kan resonera kring kvalitetsfrågor i utbildningen och dess resultat. Ingen kräver att analysen ska vara fullständig och täcka hela utbildningen, så välj därför varierande men belysande exempel från de olika källorna. Beskriv gärna hur ni valt ut just dessa inlämningsuppgifter eller tentamensfrågor för att visa att de kan representera hur undervisningen och examinationen brukar gå till i övriga återkommande kurser. Men undvik att genom att klippa och klistra beskriva förväntade studieresultat, programmål och annat som dessutom tenderar att vara ganska lika mellan olika utbildningar. Skriv med andra ord en sammanhängande och analyserande text av utbildningens styrkor (och svagheter) med fokus på resultat. Sikta på att på ett så trovärdigt sätt som möjligt visa bedömarna att, och hur väl studenterna har nått målen. Var i detta inte rädda för att använda skarpa och tydliga uttryck snarare än vaga och alltför relativiserande skrivningar.