Ledarskap i kravfylld tid: utveckling genom utvärdering vid KTH

Transkript

1 Ledarskap i kravfylld tid: utveckling genom utvärdering vid KTH 1 Sara Karlsson, Kungliga Tekniska högskolan, Kvalitetssamordnare, sarak2@kth.se 2 Per Berglund, Kungliga Tekniska högskolan, Fakultetens Prodekanus, prodekanus@kth.se 3 Eva Malmström Jonsson, Kungliga Tekniska högskolan, Prorektor, prorektor@kth.se ABSTRACT För att bemöta de växande kraven på hög utbildningskvalitet, har KTH bl.a. valt att satsa på egeninitierad utvärdering. Under 2011 genomfördes en heltäckande sk. Education Assessment Exercise (EAE). I artikeln diskuteras projektets syften, styrkor och svagheter samt hur lärdomar från EAE kan komma sektorn till godo. Nyckelord Ledarskap, kvalitetssäkring, utveckling, utvärdering, autonomi. INTRODUKTION Kraven på svenska lärosäten växer, något som tydligt märks vid Kungliga Tekniska högskolan (KTH). Åtskilliga intressenter ställer krav på ingenjörsutbildningen, som både ska vara vetenskapligt förankrad och tillgodose samhällets behov. Som statligt lärosäte har KTH att leva upp till de utbildningspolitiska direktiv som departement och högskoleverk ger. Till detta kommer KTH:s höga interna ambitioner, som ofta uttrycks i termer av forskningsoch utbildningsexcellens. Att välja ledarskapsstrategi i en sådan upptrissad krav- och konkurrensmiljö är i sig ingen enkel uppgift, och universitetsmiljöns individualiserade arbetskultur och starka decentralisering utgör en särskild utmaning. 1 En av de strategier som KTH har valt är ledarskap genom egeninitierad kvalitetsutvärdering. Under 2011 genomfördes en heltäckande internutvärdering av KTH:s utbildningar, kallad Education Assessment Exercise (EAE). Syftet med denna artikel är att beskriva EAE-projektet i en strategisk kontext, och att genom analys av projektets styrkor och svagheter bidra till ökad kunskap i sektorn kring hur utbildningsutvärdering kan leda till kvalitetsutveckling i en kravfylld utbildningsmiljö. UTVÄRDERING SOM LEDARSKAPSSTRATEGI Kvalitet genom ständiga förbättringar Det är den av fakultetsnämnden framtagna kvalitetspolicyn för åren som sätter tonen för KTH:s kvalitetsarbete. Där dras slutsatsen att betydelsen av systematiskt internt kvalitetsarbete växer, inte minst eftersom högskolesektorns autonomi ökar samtidigt som resultatkraven höjs. Vidare slås fast att kvalitetsarbetet vid KTH ska utgå från principen om ständiga förbättringar. Filosofin bakom detta är att kvalitetsutveckling bäst åstadkoms genom att på lokal nivå, gärna i mindre grupper, kontinuerligt föra en diskussion om kvalitet, och att sätta uppföljningsdata i ett sammanhang. På detta sätt driver gruppens gemensamma värderingar utvecklingen framåt. Detta förhållningssätt, i linje med s.k. management by 1 En klassisk studie av detta är Haikola, L. (2000).

2 means, är bra grund för att bli en framstående utbildningsmiljö: att nå goda resultat både i det som är mätbart och det som är mindre mätbart. 2 Att arbeta enligt principen om ständiga förbättringar passar för ett universitet som oavbrutet utsätts för nya utmaningar. För den centrala ledningen är det också en legitim strategi eftersom den ger den lokala nivån det självbestämmande som eftersträvas. Samtidigt är det ingen enkel lösning då modellen kräver gemensam kraftsamling t.ex. kring ett utbildningsprogram vilket sällan är den naturliga arbetsformen inom akademin. Egeninitierad utvärdering som strategi En grundbult i systematiskt kvalitetsarbete är regelbunden uppföljning. I KTH:s kvalitetspolicy betonas att uppföljningen bör vara mångsidig; både kvalitativ och kvantitativ, och att den kan ha olika syften. Det ska finnas mekanismer för att förbättra redan god kvalitet, men även för att avslöja och åtgärda dålig kvalitet. Ett annat skäl till att genomföra regelbunden intern uppföljning är att förbereda sig på extern granskning. Formerna för uppföljningen kan också variera, men KTH har särskilt valt att satsa på cykliskt återkommande internutvärderingar av större format. Under genomfördes det första storskaliga utvärderingsprojektet, Research Assessment Exercise (RAE). Därmed fick KTH:s forskning både stor uppmärksamhet och en grundlig granskning. Efter detta väcktes tanken att göra motsvarande utvärdering inom utbildningsområdet, och ge detta samma exponering. Projektet Education Assessment Exercise (EAE) blev verklighet under Tidpunkten för EAE verkar vid första anblicken oväntad, med tanke på den nationella granskning av all teknisk högskoleutbildning som Högskoleverket planerar till En viktig poäng i sammanhanget är dock att EAE skulle vara del av en proaktiv strategi. Istället för att, som traditionellt, invänta Högskoleverket ville KTH göra en utvärdering utifrån egendefinierade prioriteringar. Att förlita sig på den externa granskningen är dessutom inte tillräckligt, då Högskoleverkets uppdrag numera är begränsat till att bedöma utbildningarnas resultat, medan utvecklingsarbete kring förutsättningar och processer är lärosätenas eget ansvar. Högskolans autonomi ökar, vilket märks i de förändringar i högskolans regelverk som nyligen har genomförts men också i en mer långsiktig utveckling från detalj- till målstyrning. Forskarna beskriver statens förändrade styrning som en övergång "från government till governance" 3. En bärande tanke med att öka högskolans autonomi är att utbildningsresultaten ska bli bättre. Samtidigt som högskolan får större frihet att välja sina arbetsformer ökar alltså kraven på prestation. EAE-projektets ambitionsnivå ska ses mot bakgrund av detta. EAE-PROJEKTET 4 Syften Givet autonomidiskussionen och filosofin bakom KTH:s kvalitetspolicy, beslutades att EAE i första hand skulle vara en formativ utvärdering 5, dvs. inriktas på kvalitetsutveckling och utgå från att interna drivkrafter ska åstadkomma förbättringar. Denna grundtanke kom att prägla projektets alla delar. Utvärderingen skulle ge en plattform för självreflektion, och därmed vara kvalitetsutvecklande på verksamhetsnivå. Detta skulle också ge positiva bieffekter i form av bättre kommunikation och ökad kunskap om olika policyer, verktyg och system. 2 Östlund, S. Blom, K. Öhrman, A-C (2009). 3 Se t.ex. forskning som utförs vid Stockholms centrum för forskning om offentlig sektor (SCORE). 4 Delar av denna text publiceras även i samband med 3:e utvecklingskonferensen för Sveriges ingenjörsutbildningar. 5 För diskussion kring olika typer av utbildningsutvärdering se t.ex. Franke, S. & Nitzler, R. (2008).

3 Till viss del skulle EAE dock även vara en summativ utvärdering, dvs. utgöra en kvalitetskontroll av hur väl lärandemålen uppfylls, och fungera som avstämning inför Högskoleverkets utvärdering. Bl.a. därför anlitades en extern bedömargrupp med huvuduppdrag att analysera KTH:s utbildningsprogram i relation till de förväntade lärandemålen. I EAE valdes en internationellt beprövad utvärderingsmodell bestående av självvärdering, extern bedömning och uppföljning. Självvärdering I utvärderingen ingick samtliga KTH:s utbildningsprogram som leder till civilingenjörsexamen, arkitektexamen, högskoleingenjörsexamen, kandidatexamen, magisterexamen och masterexamen. Eftersom betoningen låg på utvecklingsbehov, kunde även utbildningar som var nystartade eller under ombildning delta. Ansvariga för utbildningsprogrammen fick välja att göra en egen självvärdering eller slå sig ihop i en grupp om flera program. Totalt medverkade knappt 90 program grupperade i ca 45 självvärderingsgrupper. Självvärderingen gjordes enligt en manual med frågebatteri, kring utbildningens förutsättningar, processer och resultat. En utgångspunkt var att självvärderingen i första hand skulle vara analyserande, snarare än beskrivande, och på så sätt framhäva utbildningens styrkor och svagheter. Varje självvärderingsgrupp skulle bestå av 5-12 personer (beroende på hur många program som omfattades), inklusive studenter och avnämare. Under självvärderingsperioden, som varade knappt fyra månader, erbjöds självvärderingsgrupperna processtöd från KTH:s högskolepedagoger bl.a. i form av seminarier, referensmaterial, och återkoppling på rapportutkast. Grupperna fick tillgång till en statistisk databas som kunde användas i analysen. Eftersom den externa bedömargruppen var internationellt sammansatt skulle självvärderingsrapporterna skrivas på engelska. Extern bedömning Till utvärderingen knöts en extern bedömargrupp bestående av ämnesexperter (både inom olika teknikområden och inom pedagogik/utvärdering), studenter och avnämare. Det var grundutbildningsansvariga vid KTH som nominerade personer till bedömargruppen, som kom att bestå av 50 personer indelade i 8 underpaneler (i stort sett matchande KTH:s indelning i skolor). Bedömarna kom från Sverige, övriga Norden, flera europeiska länder samt USA. Utgångspunkten i bedömningen var främst de lärandemål (nationella och KTH:s egna) som gäller för respektive utbildning. Självvärderingsrapporterna tillsammans med stickprov av studenters examensarbeten var huvudsakligt underlag. Bedömarna fick materialet till handa i slutet av juni och fick sommaren på sig att läsa och ha kontakt via e-post. Under augusti gjorde bedömargruppen platsbesök för att träffa KTH:s ledning, skolornas ledningar, utbildningsansvariga, lärare och studenter. En muntlig återkoppling gavs i slutet av platsbesöket, följd av en skriftlig rapportering snart efteråt. Därmed kunde uppföljningsarbetet påbörjas utan dröjsmål. Uppföljning Eftersom EAE-projektet framför allt syftade till kvalitetsutveckling, identifierades uppföljningen tidigt som viktig. Utvärderingsresultatet ska under kommande år följas upp i ordinarie verksamhet, bl.a. inom ramen för de verksamhetsuppdrag som KTH:s skolor får genom kontrakt med rektor. Utbildningsansvariga på olika nivåer inom KTH behöver ta ställning till vilka åtgärder som bör vidtas. Huvuddelen av uppföljningsarbetet kommer att ske på verksamhetsnivå, men vissa KTH-gemensamma frågor kommer att kräva kompletterande centrala initiativ. EAE får också en uppföljning genom förberedelserna inför Högskoleverkets utvärdering SLUTSATSER Styrkor och svagheter Eftersom ambitionerna för EAE-projektet var högt ställda, krävde projektet mycket av de inblandade. För att uppfylla kvalitetsutvecklingssyftet fordrades ett brett engagemang från utbildningsansvariga, lärare och studenter inom hela KTH. För att ge projektet legitimitet behövde såväl den centrala universitetsledningen som skol- och

4 programledningar, både fakultetens representanter och linjeorganisationens, sluta upp. För själva genomförandet, slutligen, krävdes att universitetsförvaltningen och den högskolepedagogiska enheten satte av tid, resurser och kompetens. På alla nivåer innebar EAE utökad arbetsbörda och i vissa fall att andra pågående utvecklingsprojekt lades på is. Givet detta, mötte EAE-initiativet förhållandevis litet motstånd ute i verksamheten. Ett talande faktum är att samtliga självvärderingsgrupper levererade sina rapporter inom deadline. Denna beredvillighet att ta sig an genomgripande utvärderingsprojekt, får betraktas som en av KTH:s styrkor. Självvärderingsprocessen upplevdes också som övervägande positiv, både av mer etablerade grupper och av mindre etablerade. För de senare erbjöd EAE en utvecklingsmöjlighet som inte tidigare funnits, inklusive en chans att inför den egna ledningen lyfta fram angelägna frågor. Självvärderingsprocessens fokus på lärandemål och särskilt på att belägga måluppfyllelse, visade sig dock vara en utmaning. I ett utbildningsutvecklingsperspektiv är den nationella examensordningen från 2007 ny, och det finns fortfarande en ovana att diskutera lärandemål på detta sätt. Ambitionen att självvärderingsrapporterna skulle ge konkreta bevis på att studenterna nått målen kan därför inte sägas ha uppfyllts. Istället tenderade svaren att bli processbeskrivningar, inte resultatredovisningar. Även om detta förmodligen inte är unikt för KTH, är det en tankeställare inför Högskoleverkets granskning som kommer att fokusera på just detta. I EAE-projektet fick inte heller studenternas examensarbeten den betydelsefulla roll som det ursprungligen var tänkt. Granskningen av slumpmässigt utvalda examensarbeten var svårgenomförbar av flera skäl. T.ex. ansåg de externa bedömarna att tiden var alltför knapp och urvalet alltför litet för att kunna dra några slutsatser om utbildningarnas kvalitet. Bedömarna fick även lämna synpunkter på det övriga underlag som de fick tillgång till inför granskningen varav självvärderingsrapporterna var viktigast, kompletterat med olika mål- och policydokument. Generellt fann bedömarna det svårt att sätta sig in i KTH:s organisation och annan bakgrundsfakta. Paradoxalt nog ledde därför det faktum att självvärderingsgrupperna lyckats väl i strävan att i sina rapporter vara analyserande snarare än beskrivande, till att bedömargruppen saknade beskrivande underlag. Detta är kritik som KTH behöver ta till sig inför liknande projekt i framtiden. Lärdomar EAE kommer att bli föremål för metautvärdering och därmed fördjupad granskning av projektets styrkor och svagheter. En första analys tyder dock på att projektet lyckades väl i ambitionen att skapa ett brett engagemang och stor aktivitet, och att självvärderingsprocessen utgjorde projektets främsta styrka. Den valda metoden fungerade således särskilt väl i förhållande till kvalitetsutvecklingssyftet. Det ska samtidigt poängteras att projekt av denna omfattning kräver att metoden och omständigheterna är de rätta. EAE blev ett test på KTH:s utbildnings- och stödorganisation, och på attityden till kvalitetsarbete generellt. Utan projektets starka betoning på kvalitetsutveckling och erbjudandet om generöst processtöd, och utan den grundläggande beredvilligheten att utsätta sig för kollegial granskning hade EAE kunnat orsaka större skada än nytta. En mer kontrollerande ansats hade förmodligen inte mottagits lika väl av universitetsmiljöns solister. EAE hade ändå ett inslag av kvalitetskontroll, bl.a. genom den externa bedömningen. Projektet visade att det finns inbyggda motsättningar i att kombinera formativa och summativa mål i samma utvärdering. Exempelvis är det svårt att kommunicera detta utan att skapa osäkerhet ute i verksamheten. Det är värt att överväga om nästa utvärderingsomgång också ska ha ett dubbelt syfte, och i så fall, vilka lärdomar som kan dras från EAE. Det som framför allt kommer att avgöra ifall EAE var ett lyckat projekt eller inte, är emellertid uppföljningen. Att initiera projekt är en sak, att förvalta slutsatserna en annan. När det gäller uppföljning har KTH, säkert i likhet med många andra lärosäten, mycket att lära.

5 REFERENSER Berglund, P., Högfeldt, A-K., Karlsson, S., Klasén, I. & Sandberg, T. Utvärdering för utveckling KTH:s samtliga utbildningar under belysning (Kommande) Konferensbidrag till 3:e utvecklingskonferensen för Sveriges ingenjörsutbildningar. 30 november - 1 december Franke, S. & Nitzler, R. (2008). Att kvalitetssäkra högre utbildning: en utvecklande resa från Umeå till Bologna. Studentlitteratur. Haikola, L. (2000). Att dirigera solister. Om ledning och ledarskap vid Lunds universitet. Rapport nr 2000:208. Lunds universitet: Utvärderingsenheten. Högskoleverket (2010). Högskoleverkets system för kvalitetsutvärdering Rapport 2010:22 R. Kungl. Tekniska högskolan (2010). Kvalitet genom ständiga förbättringar. Kvalitetspolicy för KTH hämtad SCORE hämtad Östlund, S. Blom, K. & Öhrman, A-C (2009). Management by means. En metod för kontinuerlig utveckling av ett CDIO-program. Kungl. Tekniska högskolan.