Så här långt har vi kommit

Åsa Klevard Informationsavdelningen 8610 asa.klevard@hsv.se www.hsv.se Så här långt har vi kommit Minnesanteckningar från informationsmöte med kvalitetsarbetsansvariga den 29 oktober 2009. Om nya systemet Efter att deltagarna hälsats välkomna av utvärderingsavdelningens nya chefer Maria Sundkvist och Magnus Hjort berättade Lena Adamson kort om det nya systemet. Hon började med att säga att Högskoleverket haft fem stora hearings inför implementeringen och att man skulle ha flera informationsmöten under implementeringsfasen. Lena betonade att det fortfarande kändes väldigt viktigt med kommunikation och dialog med lärosätena. Hon berättade att det fanns en styrgrupp för arbetet som består av de två avdelningscheferna för utvärderingsavdelningen, Anders Flodström och henne själv. Dessutom arbetar olika interna grupper och externa experter med utvecklingen av systemet. För Lenas anförande se PP-bilder 1 13. I kommentarer till sina bilder påpekade Lena bland annat att platsbesöken kanske blir kortare än de varit tidigare, att man kommer att ha två sorters bedömargrupper en som arbetar främst med indikator 1 inklusive platsbesök, en för indikator 2, granskning av självständiga arbeten och att man nu var säker på att resursfördelning skulle knytas till systemet. Hon berättade också att bedömningsgrunden samlad lärarresurs varit mycket diskuterad men att de allra flesta lärosäten velat ha den med. Indikator 1 Lärandemål och examination Anna-Karin Magnusson presenterade indikator 1 Lärandemål och examination (PPbilder 14-19). Formulären som ska användas för att skicka in material är under utveckling. Bedömningskriterierna är ännu inte fastställda, men det är viktigt att de är tydliga eftersom Högskoleverket tidigare fått kritik för icke tydliga bedömningskriterier. För att materialet ska bli hanterbart kommer en maxgräns att sättas för hur många lärandemål som lärosätet får redovisa. Indikator 2 - Läranderesultat Anders Sundin presenterade indikator 2 Läranderesultat (PP-bilder 20-26) och berättade att en lista på samtliga examensarbeten ska skickas in till Högskoleverkets databas där sedan en slumpgenerator väljer ut vilka som ska granskas. Lärosätena skickar sedan in de utvalda som granskas anonymt av en bedömargrupp. Om ett flertal arbeten

hamnar under det fastställda gränsvärdet blir betyget icke godtagbar kvalitet, om ett eller ett fåtal arbeten hamnar under gränsvärdet blir betyget godtagbar kvalitet. Om inga arbeten hamnar under det fastställda gränsvärdet väljs ett urval av examensarbeten av hög kvalitet ut av utbildningsanordnaren. Dessa granskas av bedömargrupp och fastställs sedan som av utmärkt god kvalitet eller godtagbar kvalitet. Resultaten vägs sedan samman med indikator 1 och 3. Han berättade också att bedömningskriterierna är under utveckling och ska pilottestas i november. Indikator 3 - Studentenkäter Per Westman presenterade indikator 3 Studentenkäter (PP-bilder 27 28). Per berättade att indikatorn ska hänga ihop med och spegla indikator 1 för att få relevanta frågor. Man jobbar med en extern referensgrupp med personer från olika lärosäten och personer som tidigare varit med och gjort frågor till Studentspegeln. I utvecklingen av studentenkäter tittar man på Studentspegeln, på Course Experience Questionnaire (CEQ) från Australien, National Student Survey (NSS) från Storbritannien och National Survey of Student Engagement (NSSE) från USA. När det gäller alumnenkäter har det ännu inte fattats några beslut om hur dessa ska göras. Per betonade att vi kommer att lägga ut förslagen till enkäter och att vi gärna vill ha konstruktiv kritik och inspel. Ur perspektivet studentinformation vore det bra om man kunde göra studentenkäter varje år men Högskoleverket har ingen möjlighet att göra detta. Finns intresse för det hos lärosätena är vi emellertid öppna för att diskutera det i framtiden. Per betonade att vi är medvetna om att grundenkäterna inte passar alla slags utbildningar utan att man för vissa måste ställa kompletterande frågor. HSVdirekt Per Westman presenterade också det som kallas HSVdirekt (PP-bild 30) det nya elektroniska inrapporteringssystemet. Systemet kommer att behöva utveckling kontinuerligt under första året och verket tar gärna emot feed-back även sedan utvärderingarna dragit igång. Pilottestningar Samtliga indikatorer ska pilottestas under hösten (PP-bild 31 34). Testning pågår för bedömningsgrund 1a och 1b. Underlag hämtas bl.a. från den pågående socionomutvärderingen. (Observera dock att testningen och utvärderingen är två helt skilda processer.) Högskoleverket behöver hjälp med testningen från lärosätena. Det blir en workshop på Högskoleverket den 1 december för att diskutera formulär/mallar m.m. Mallar/formulär kommer att finnas tillgängliga i förväg för testning på hemmaplan inför workshopen. Pilottestare kommer att arvoderas. Kontakta Anna-Karin Magnusson om intresse finns för att delta. 2

Testning av indikator 2 sker internt med hjälp av verkets analysavdelning. Externt görs test av tidsåtgången med hjälp av SU och Södertörn. Test av gränsvärdet ( ribban ) den 19 november med idéhistoriker. Kommer att utgå från kriterier och läggas upp mer som en fokusgrupp. Testning av indikator 3 sker 19 nov och 14 december. 19 november sker första testet av HSVdirekt. Tvådelat, dels test av logik och gränssnitt, dels av möjligheten att leverera önskad information. 1-2 ytterligare testare önskas! Frågor och svar Inledning Vad menas med att systemet inte ännu är spikat? Principiellt är det mesta beslutat men viktningen är t.ex. inte fastställd ännu. Kommer det nya systemet verkligen att starta 2010? Det finns ju knappt några självständiga arbeten klara inom ramen för den nya examensordningen. Kan man använda examensarbeten enligt gamla examensordningen? Kanske går det. Måste anpassas till respektive utbildning. Men frågan är om godkäntkravet för självständiga arbeten har förändrats så mycket i den nya examensordningen. Indikator 1 Operahögskolan: Redan i förarbetena måste Högskoleverket ta hänsyn till de konstnärliga utbildningarnas olika behov! Vi är medvetna om detta. Men det centrala är lärandemålen/examensmålen, principen är samma för alla. 3

Examensmål finns för yrkesexamina, hur ser det ut för examina som bygger på fristående kurser? Högskoleverkets utvärderingsfråga är: Hur säkerställer ni att studenterna når målen? Lärosätet ska garantera att studenten nått målen. Det är inte det enskilda huvudområdet som ska lastas om lärosätet inte har en modell för att säkerställa att studenterna når examensmålen. Hur definierar Högskoleverket utbildning? Vad är det som ska utvärderas utbildningar, program, ämnen? Vi utvärderar examina; huvudområden eller yrkesprogram. Lokala program kommer inte utvärderas. Indikator 2 Hur göra med små ämnen som t.ex. bara finns vid ett lärosäte i landet? Vi har inget svar för tillfället, det måste finnas vägar för att lösa detta. På vilka nivåer ska självständiga arbeten granskas? Kandidat, magister, master. Hur kan man med fullständig säkerhet bedöma att ett arbete hamnar över/under ribban? Vi kan konstatera att ett visst arbete faller under ribban utifrån de kriterier som ställs upp. Det är en empirisk iakttagelse till skillnad från en statistisk generalisering som var ursprungsidén för den här indikatorn. För konstnärliga utbildningar kan examensarbeten redovisas på andra sätt än de traditionellt skriftliga, exempelvis som uppträdande. Sådant går inte att leverera till Högskoleverket (om man inte skaffar extra teknisk utrustning), man måste vara på plats. Ja, vi måste tänka igenom detta. Olika utbildningar har olika betygsskalor, hur ska urvalet göras? Urvalet kommer att göras från arbeten som är godkända. Indikator 3 Vilka studenter ska få enkäten? Studenterna ska vara i slutet av sin utbildning. Arbetsdefinitionen är att det ska handla om studenter som klarat runt 120 hp på grundnivå och ca 30 hp på avancerad nivå. När på året kommer enkäten? Mitten/slutet mars. Tre påminnelser. Det blir eventuellt telefonuppföljningar för mindre utbildningar om svarsfrekvensen blir låg. Vi behöver lärosätenas stöd för att få upp svarsfrekvensen. 4

När kommer alumnenkäterna? Inga beslut är ännu fattade. Generellt är alumnundersökningar problematiska eftersom eftersläpningen blir stor. Det dröjer också länge innan man får alumner som gått igenom den nya examensordningen. Det är svårt att tro att alumnundersökningar hinns med första året. Hinner ni verkligen med pilotstudie före mars nästa år? Vi måste hinna. Kan man få tillgång till enkätfrågorna? Skulle vara bra att synka med egna enkäter. Ja, när frågorna börjar ta form kommer vi att lägga ut dem för kommentarer. Kanske framåt årsskiftet. Det är viktigt att vara medveten om att studenterna tar emot många enkäter. Vore bra om vi kunde samarbeta runt enkäterna. HSVdirekt Vi vill underlätta för alla inblandade genom att göra processen så elektronisk som möjligt. All information ska levereras till Högskoleverket via det nya systemet HSVdirekt som är under utveckling. En hel del dokument ska laddas upp. Lärardata, för vilken tidsperiod? Inte en serie bakåt i tiden, utan senaste året gäller. Ska synkroniseras med studentenkäten så att de behandlar samma tidsperiod. Helårsstudieplatser och helårsprestationer ska rapporteras in i HSVdirekt som referens till lärardata. Hur mycket inskrivningsarbete blir det för oss på lärosätena? Om vi har dokument med sammanställningar måste de ändå skrivas om i HSVdirekt? Vi ska försöka undvika det. Vi levererar mallar, för till exempel bedömningsgrund 1a och 1b. Indikator 2 får troligen en mall första året, sedan kan vi förhoppningsvis få detta via Ladok. Kompetens på dem som ska lägga in data? Varje lärosäte ska utse en central kontaktperson som delar ut rättigheter till fler. För att hantera själva IT-systemet kommer inte mer än normal datorvana att behövas och Högskoleverket kommer att både utbilda personerna och ge support när det behövs. Vi vill ha en enda person som sköter allt på hela Linköpings universitet. Måste man dela ut ansvaret? Det är helt upp till lärosätena att lägga upp hur man vill ha det, men Högskoleverket vill ha en centralt ansvarig på varje lärosäte. Däremot kan det kanske bli svårt att inte ha flera personer som kan arbeta med att lägga in uppgifter på ett universitet där flera utvärderingar pågår samtidigt. Hur ska beslutsprocessen se ut? Vad baseras besluten på? 5

Universitetskanslern fattar beslut på basis av bedömarnas utlåtanden. Högskoleverket ska ha ett fastare grepp än tidigare, underlagen ska vara tydligare. Hur sammanvägningen av indikatorerna ska göras är ännu inte beslutat. En bedömargrupp finns för indikator 1. Indikator 2 har en separat bedömargrupp. För indikator 3 har vi än så länge inte bestämt vem som ska ta hand om resultaten. Vi har heller inte börjat arbeta med bedömningskriterier för denna indikator ännu. Dessutom har vi inte beslutat hur den slutliga sammanvägningen av samtliga indikatorer ska göras. Hur ser den politiska processen ut framöver? Kvalitetspropositionen ska komma före jul. Vi utgår från att det inte blir några större förändringar vid riksdagsbehandlingen. Är det nya systemet främjande eller kontrollerande? Det är ett kontrollerande system! När det gäller indikator 1 finns stor variation mellan hur långt man kommit i arbetet med den nya examensordningen. För den som inte kommit så långt kommer indikator 1 säkert att kunna upplevas som ett stöd i utbildningsplaneringen. På så sätt kan det sägas vara främjande. Lokala program ska inte utvärderas, varför inte inkludera program som så önskar? Det finns så många olika program och det blir volymmässigt ohanterligt, bl.a. blir det svårt med sammansättning av bedömargrupper. Men de lokala programmen leder ju till generell examen och kommer indirekt att utvärderas via de huvudämnen som utvärderas. Hur blir det med utvärdering av forskarutbildning? Vi återkommer till detta. Även framöver kommer forskarutbildningen att utvärderas parallellt med grund- och avancerad nivå. Men det kräver ytterligare utvecklingsarbete. Oklart om forskarutbildningen kommer att utvärderas 2010. Besked kommer senare. 6