Metautvärdering av EAE

Transkript

1 Mars 2012 Metautvärdering av EAE Lars Geschwind, Miriam Terrell, Göran Melin Faugert & Co Utvärdering AB

2 Metautvärdering av EAE Lars Geschwind, Miriam Terrell & Göran Melin Faugert & Co Utvärdering AB, mars 2012

3 Innehållsförteckning Sammanfattning 1 Summary 2 1. Inledning Metautvärderingens syfte Genomförande 4 2. Syftet med EAE 5 3. Genomförandet Förberedelserna Självvärderingen Bedömarpanelerna 8 4. Resultatet och användningen av utvärderingen Slutsatser och lärdomar inför framtiden 11 Bilaga A Informanter 13 Metautvärdering av EAE i

4

5 Sammanfattning Under år 2011 har KTH genomfört en utbildningsutvärdering kallad Education Assessment Exercise (EAE). Utvärderingen skulle ge en plattform för diskussion och självreflektion, och därmed vara kvalitetsutvecklande på verksamhetsnivå. Ytterligare ett syfte med utvärderingen var att göra en kvalitetskontroll, för att avgöra hur pass goda resultat utbildningarna når i dagsläget. EAE skulle dessutom fungera som en förberedelse inför den utvärdering som Högskoleverket ska genomföra under I EAE användes en utvärderingsmetod bestående av självvärdering, extern bedömning och uppföljning. I utvärderingen ingick samtliga KTH:s utbildningsprogram som leder till civilingenjörs-, arkitekt-, högskoleingenjörs-, kandidat-, magister- och masterexamen. I föreliggande rapport presenteras en meta-utvärdering av EAE. De huvudsakliga slutsatserna lyder: Den genomförda utvärderingen är genom sin omfattning och sitt övergripande syfte unik i Sverige. Balansen mellan de olika syftena (utveckling, kontroll, kommunikation) har uppfattats olika av de inblandade. De utvärderade miljöernas uppfattning av syftena har påverkat deras inställning till självvärderingen och då i synnerhet i vilken mån man har förmått vara självkritisk och utlämnande. Självvärderingarna är generellt sett är ambitiösa och genomarbetade. Många program har tagit chansen att göra en rejäl genomlysning av sina utbildningar. Den största behållningen med EAE är de processer som satts igång runtom på KTH. Utbildningen och dess kvalitetsutveckling har hamnat i fokus, nya konstellationer har uppstått och angelägna förändringar har kommit att diskuteras. Det kan diskuteras om hela KTH ska genomlysas vid ett och samma tillfälle. Det kan vara värt att överväga om framtida EAE ska göras skolvis, för att i möjligaste mån undvika att den hamnar fel i respektive skolas planerings- och förändringsarbete. När det gäller självvärderingen bör kursplaner och annan relevant information biläggas. Den diskussion som präglade de efterföljande platsbesöken hade kunnat bli djupare om mer information kunnat skickas med. Den statistik som gjordes tillgänglig har fungerat väl. Urvalet av examensarbeten, som nu gjordes centralt på KTH, bör göras i samråd med de utvärderade miljöerna. Externa bedömare bör ges tydliga riktlinjer om på vilket sätt arbetena ska vara en del av bedömningsunderlaget. De praktiska arrangemangen har överlag fungerat mycket väl. Projektledningen har fått mycket lovord i våra intervjuer. Det gäller även det processtöd som givits av ECE-skolan. Metautvärdering av EAE 1

6 Summary The Royal Institute of Technology (KTH) has during 2011 conducted an evaluation of the university s programmes, called Education Assessment Exercise (EAE). The purpose of EAE was to establish a platform for discussion and reflection, and insofar foster educational quality. Another purpose was quality assessment, in order to determine what results are achieved today. The EAE should furthermore function as preparation before the evaluation that the Swedish National Agency for Higher Education is going to undertake later during The methods used in the EAE included a self-evaluation, external review, and follow-up. All programmes at KTH that lead to exams as engineer, architect, bachelor, and master, were included in the EAE. This report presents a meta-evaluation of the EAE, undertaken in the period December 2011 March The most central conclusions are as follows: The comprehensive format and the broad purpose of the evaluation make it unique in Sweden. The balance between the respective purposes (quality development, quality assessment, communication) was perceived differently at the evaluated milieus. Their perception of the purposes did in turn affect to which degree they felt able to describe their weaknesses. Generally, the self-evaluations are ambitious and elaborated. Many milieus have used the opportunity to make thorough reviews of their programmes. The most appreciated outcome of EAE is the processes that have been initiated around KTH. Quality in education has come in focus, new networks have established and challenging areas for change have been identified. It can be discussed whether the whole of KTH should be target for a future EAE at the same time. It could be considered if it should rather be done school by school, in order to avoid bad timing and conflicts with the regular quality development work at school level. Curricula and other relevant information about courses should be attached to the self-evaluation. Had this been done, would subsequent discussions with the external reviewers most likely been more rewarding. The provided statistics were appreciated and suitable. Selection of the students degree theses was done from central level at KTH. Instead it should be done in dialogue with the evaluated programmes. The external reviewers must be given clear instructions regarding in which way the theses are part of the material to be evaluated. The practical arrangements have been sufficient. The project management has received high appreciation in our interviews. The same is expressed regarding the support that was provided by the ECE-school along the EAE. 2 Metautvärdering av EAE

7 1. Inledning 1.1 Metautvärderingens syfte Under år 2011 har KTH genomfört en utbildningsutvärdering kallad Education Assessment Exercise (EAE). Syftet var i första hand att bidra till kvalitetsutveckling av utbildningar vid KTH. Utvärderingen skulle ge en plattform för diskussion och självreflektion, och därmed vara kvalitetsutvecklande på verksamhetsnivå. Ytterligare ett syfte med utvärderingen var att göra en kvalitetskontroll, för att avgöra hur pass goda resultat utbildningarna når i dagsläget. EAE skulle dessutom fungera som en förberedelse inför den utvärdering som Högskoleverket ska genomföra under EAE syftade slutligen till att öka kunskapen om kvalitetsfrågor, inklusive KTH:s nyligen beslutade kvalitetspolicy och Högskoleverkets kommande utvärdering. I EAE användes en utvärderingsmetod bestående av självvärdering, extern bedömning och uppföljning. I utvärderingen ingick samtliga KTH:s utbildningsprogram som leder till civilingenjörs-, arkitekt-, högskoleingenjörs-, kandidat-, magister- och masterexamen. Programmen, alternativt grupper av program, genomförde självvärderingar av förutsättningar, processer och resultat. Självvärderingarna gjordes enligt en för ändamålet utvecklad manual. En utgångspunkt var att självvärderingen skulle vara analyserande snarare än beskrivande. Varje självvärderingsgrupp skulle bestå av 5-12 personer (beroende på hur många program som omfattades), inklusive studenter och, när det gäller yrkesutbildningar, avnämare. Under självvärderingsperioden, som varade mellan 21 februari och 15 juni, fick självvärderingsgrupperna processtöd från KTH:s högskolepedagoger, bl.a. i form av seminarier och referensmaterial/lathundar. Varje program fick också tillgång till en statistisk databas som kunde användas i analysen. Självvärderingsrapporterna skrevs på engelska och undertecknades av respektive skolchef. Till utvärderingen knöts en extern bedömargrupp bestående av ämnesexperter (både inom olika teknikområden och inom pedagogik/utvärdering), studenter och avnämare. KTH:s grundutbildningsansvariga (GA) och programansvariga nominerade personer till bedömargruppen, som kom att bestå av totalt 50 personer indelade i åtta underpaneler. Bedömarna kom från Sverige, övriga Norden, ett flertal europeiska länder samt i ett fall USA, och det gemensamma arbetsspråket var engelska. Utgångspunkten i bedömningen var först och främst de lärandemål (nationella och lokala) som gäller för respektive utbildning. Självvärderingsrapporterna tillsammans med stickprov av examensarbeten utgjorde huvudsakligt bedömningsunderlag. Under augusti 2011 gjorde bedömargruppen platsbesök vid KTH och träffade då KTH:s ledning, skolledningar, programansvariga, lärare och studenter. Bedömargrupperna skickade in en skriftlig återkoppling till KTH i mitten av september Uppdraget i föreliggande utvärdering har bestått i att utvärdera EAE att göra en s.k. metautvärdering. Den övergripande frågeställningen är ifall projektet EAE har levt upp till sina syften, dvs.: a) Kvalitetsutveckling b) Kvalitetskontroll c) Kommunikation Metautvärderingen omfattar två faser: Fas 1 genomfördes från slutet av 2011 till början av Syftet har varit att fånga upp de inblandades syn på genomförandet av EAE och få deras rekommendationer inför framtiden. Fas 1 redovisas genom föreliggande rapport. I en möjlig fortsatt Fas 2 kommer effekterna av EAE att utvärderas. Ett sådant arbete bör tidigast inledas mot slutet av 2012, och eventuellt senare. Fas 2 handlar bl. a. om hur resultaten av EAE har omhändertagits på skolorna och i utbildningarna. Metautvärdering av EAE 3

8 1.2 Genomförande Dokumentstudier EAE har efterlämnat skriftlig dokumentation, såsom bedömargruppens rapporter samt de underlag som tagits fram av KTH. För att få en förståelse för projektet, dess processer och resultat, inleddes uppdraget med en genomgång och analys av dokumenten. Intervjuer 18 personer med olika nyckelroller i projektet har intervjuats, exempelvis personer ur KTH:s ledning, skolledningar och självvärderingsgrupper inkl. grundutbildningsansvariga, programansvariga och studentrepresentanter, projektledning/administration, processtöd och bedömargrupp. Metautvärderingen inkluderar en bedömning av hur projektets olika delmoment, självvärdering, extern bedömning och uppföljning har fungerat, hur projektets roller/stödfunktioner har fungerat samt huruvida projektet har lett till ökad kunskap när det gäller olika system, verktyg, processer och underlag. Analys och rapportering I rapporteringen ingår dels en kvalificerad måluppfyllelseanalys, dels rekommendationer inför nästa steg i utvecklingsarbetet och inför framtida utvärderingar av liknande slag. Den 13 mars 2012 hölls ett så kallat tolkningsseminarium där preliminära slutsatser diskuterades. Tanken med tolkningsseminariet var att presentera våra observationer och preliminära slutsatser som underlag till en öppen diskussion, i syfte att öka kvaliteten i utvärderingsrapporten och att bidra till organisationens lärande. Våra resultat och slutsatser har även presenterats för grundutbildningsansvariga och för KTH:s fakultetsråd den 20 mars Under 2012 ska utvärderingsresultatet följas upp i den ordinarie verksamheten (bl.a. inom ramen för de verksamhetsuppdrag/kontrakt som skrivs mellan rektor och skolor) samt i förberedelserna inför Högskoleverkets granskning Metautvärdering av EAE

9 2. Syftet med EAE I intervjuerna har vi efterfrågat vad syftet har varit med utvärderingen, och en mer utförlig beskrivning av bakgrunden. EAE upplevs som ett viktigt initiativ med stor signalfunktion. De löpande utvärderingar av forskningen (RAE) som görs får genom EAE sin motsvarighet på utbildningssidan. EAE, genom sin fullständiga genomlysning av samliga program, har inte haft någon motsvarighet tidigare vid KTH och inte heller på andra lärosäten. En bidragande orsak till att utvärderingen gjordes under 2011 var att Högskoleverket kommer genomföra sin utvärdering med början Tanken var att starta processer och identifiera svaga och starka sidor inför den utvärderingen. EAE och Högskoleverkets nuvarande modell har dock vissa olikheter, vilket vi återkommer till. EAE bygger på en utvärderingsmodell som tidigare praktiserades av Högskoleverket. Den nuvarande modellen lägger mer fokus på resultat, bland annat i form av kopplingen till arbetsmarknaden och examensarbeten. Som en följd av detta var t.ex. examensarbeten ett material som togs fram till bedömarna. EAE har haft tre syften: kontroll, utveckling och kommunikation, i enlighet med den tidigare HSV-modellen. Främst när det gäller de bägge förstnämnda syftena, och relationen mellan dem, har det framkommit en hel del synpunkter. Våra intervjuer visar att syftena har uppfattats på olika sätt av de inblandade. Det gäller alla berörda, inklusive ledning, bedömare och de utvärderade miljöerna. Det har alltmer blivit utvecklingssyftet som har framträtt som det övergripande men det faktum att det också har funnits ett kontrollsyfte har påverkat de utvärderade miljöernas strategier och förhållningssätt till utvärderingen. Den genomlysning och kvalitetsgranskning som ledningen har signalerat har föranlett frågor om vad som kan bli konsekvenserna av utvärderingen. Sammantaget förefaller kommunikationen av syftena med utvärderingen inte har varit helt klara för de inblandade. I realiteten tycks utvärderingen haft starka formativa inslag. Den har fått avsedda effekter i miljöerna i så måtto att kvalitetsfrågorna har diskuterats flitigare. En hel del frågor har lyfts upp på bordet. Utvärderingen har därmed satt igång utvecklingsprocesser och på så sätt haft en positiv påverkan. Det är också utvecklingssyftet som har dominerat bland bedömarna. Deras inställning tycks överlag har varit att inta rollen som den kritiske vännen. Kontrollsyftet är svårare att bedöma. De kvalitetsbrister som framkommit har dels varit väl kända, dels lyfts fram av miljöerna själva. Om bedömargruppernas rapporter varit användbara för ledningen i deras fortsatta arbete är inte helt uppenbart. Flera av synpunkterna handlar snarare om KTH:s organisation för utbildning, t.ex. programansvarigas roll i skolorganisationen. I en del miljöer har man resonerat kring syftena i termer av att centrala KTH skulle ha haft en dold agenda. Exempelvis har man spekulerat i om bedömarna, och EAE, används som ett redskap för att skära bort utbildningar som t.ex. har för dåligt söktryck eller för klen genomströmning. Det tredje syftet, kommunikation, har knappast uppfattats alls av de inblandade. Det är inte heller tydligt för oss vad som här menas med kommunikation och hur det syftet skulle uppfyllas. Det var förvisso ett av tre syften i Högskoleverkets gamla modell, men avsåg då information till presumtiva studenter. Kommunikation kan också tolkas som intern kommunikation inom KTH, t.ex. i form av kunskapsöverföring. Vi konstaterar att projektledningen har ägnat stor möda åt att informera om utvärderingen och dess uppläggning i början av projektet, genom en mängd olika kanaler. Den oklarhet som funnits beträffande vilket syfte som varit överordnat, och vilka konsekvenser konstaterad dålig eller bra kvalitet skulle få, har inneburit att det även fortsättningsvis funnits frågetecken. Informationsspridningen inom skolorna har inte fungerat överallt. Information har fastnat på någon nivå inom skolan och inte förts vidare. KTH:s organisation innehåller i praktiken ganska Metautvärdering av EAE 5

10 många nivåer vilket kan vara en bidragande orsak till att det är svårt att nå ända fram med information. Vi återkommer till syftena genom hela rapporten, men konstaterar så här långt att de uppfattats som motstridiga, att uppfattningen av balansen mellan kontroll och utveckling har varierat samt att syftena har påverkat de strategier som använts av de utvärderade miljöerna. 6 Metautvärdering av EAE

11 3. Genomförandet 3.1 Förberedelserna Bedömargrupperna skulle under sommaren 2011 förbereda sig inför besöket på KTH i augusti. De blev försedda med material och information av projektledningen och beslutade sedan själva hur förberedelserna skulle ske. Ett seriöst förarbete gjordes av många men inte alla. Varierande förberedelser bland grupperna avspeglade sig i intervjuerna som genomfördes under besöket och för vissa innebar det att man endast hann behandla frågor av mer beskrivande karaktär. Bedömarna saknade mer detaljerad information som till exempel kursplaner. Det är dock inte självklart att det går att läsa sig till en förståelse för hur KTH:s organisation ser ut och fungerar. Ett alternativ kunde ha varit att ordna en mer organiserad förberedelse av bedömargrupperna för att skapa en gemensam förståelse och så långt som möjligt utesluta oklarheter vid själva besöket. Detta hade å andra sidan inneburit mer tid vilket inte alltid är enkelt att ordna. 3.2 Självvärderingen I utvärderingen ingick samliga KTH:s utbildningsprogram som leder till civilingenjörsexamen, arkitektexamen, högskoleingenjörsexamen, kandidatexamen, magisterexamen och masterexamen. Även relativt nystartade eller ombildade program ingick i utvärderingen, vilket motiverades av utvärderingens formativa karaktär. De ansvariga för utbildningsprogrammen fick själva avgöra om de skulle genomföra en egen självvärdering eller om de skulle slå ihop sig med andra program. Totalt formerade de knappt 90 programmen ca 45 självvärderingsgrupper. Självvärderingsarbetet vägleddes av en särskilt framtagen självvärderingsmanual. I självvärderingen skulle utbildningarnas förutsättningar, processer och resultat beskrivas och analyseras. Instruktionerna var att självvärderingarna skulle vara analyserande snarare än beskrivande och att de skulle beskriva såväl styrkor som svagheter. Instruktionerna tycks ha fungerat väl och inte lett till några större svårigheter för de utvärderade programmen. Viss kritik har framkommit beträffande omfånget. Sidantalet var begränsat, men vissa miljöer skrev betydligt mer än det stipulerade omfånget. Det föranledde dock inte någon åtgärd från projektledningen vilket uppfattades som orättvist i en del av de miljöer som hållit sig inom ramarna. Varje självvärderingsgrupp skulle bestå av 5-12 personer varav minst en student och när det gäller yrkesutbildning en avnämare. Självvärderingsperioden varade mellan den 21 februari och den 15 juni. Själva arbetet med självvärderingen tycks ha varit en stor del av behållningen för flera av de utvärderade miljöerna. Arbetet ledde i många fall till värdefullt utvecklingsarbete och skapandet av nya konstellationer av arbetsgrupper. Den tid som var avsatt får sägas ha varit väl tilltagen. Ingen har heller ansett att det varit för snålt med tid. Det har också, vilket projektledningen har konstaterat, varit jämförelsevis lite motstånd ute i miljöerna. Den fråga som i någon mån ledde till problem var redovisningen av lärarnas kompetens. Det fanns ingen indikator som på ett lätt och jämförbart sätt kunde visa exempelvis lärarnas pedagogiska utvecklingsarbete och utbildning. Det var också en smula anmärkningsvärt att det inte fanns särskilda frågor för näringslivsrepresentanterna. I intervjuerna har framkommit att de skapade sina egna frågor vid platsbesöket. Har då självvärderingarna varit självkritiska och utvecklingsinriktade? På den punkten kan man säga att intrycket är delat. Många självvärderingar har varit uppriktigt självkritiska och förbättringsinriktade, en del i så pass hög grad att bedömargruppen ansåg att det var för självkritiskt. Flera har dock varit försiktiga med att blotta sina svagheter, med tanke på att konsekvenserna av identifierade brister inte varit klara för Metautvärdering av EAE 7

12 de utvärderade. För vissa miljöer har utvärderingen kommit rätt i tiden medan det för andra har varit helt fel tajming. Självvärderingsgrupperna har haft tillgång till en statistisk databas. Vid behov har man också kunnat få stöd i det arbetet. Examensarbetena valdes ut av den centrala projektledningen, vilket i vissa fall ledde till problem. Det är en grannlaga uppgift att välja ut examensarbeten, men en bättre dialog mellan de utvärderade miljöerna och centrala KTH verkar nödvändig. Frågan är vad som hade gått förlorat om miljöerna hade valt uppsatser själva? De skulle exempelvis ha kunnat välja de fem senaste eller de fem bästa. Självvärderingsgrupperna har också haft tillgång till processtöd från ECE-skolan. Det förefaller ha varit mycket uppskattat. De har bidragit med rådgivning men också lathundar och checklistor vid själva självvärderingsskrivandet. Det stödjande arbetet från den högskolepedagogiska expertisen vid KTH har varit värdefullt för att underlätta utvärderingen. 3.3 Bedömarpanelerna Det andra steget i utvärderingen var en extern bedömning av sakkunniga. De utvärderade programmen fick nominera personer som skulle ingå i gruppen. Bedömargruppen bestod av totalt 50 personer indelade i åtta paneler, vilka i stort sett motsvarade KTH:s indelning i skolor. Bedömarna kom från Sverige, övriga Norden, flera europeiska länder samt i ett fall USA. Arbetsspråket var engelska. Har då panelernas sammansättning varit optimal? Inga starka synpunkter har framkommit från de utvärderade miljöerna beträffande panelernas sammansättning eller balansen mellan olika företrädare. Det har dock framkommit att de utländska bedömarna behövt ägna en hel del tid till att förstå det svenska systemet för högre utbildning, samt, och det gäller även en del svenska bedömare, KTH:s organisation för utbildning. På en övergripande nivå har många betonat vikten av att externa bedömare används för att få legitimitet i bedömningen. Utgångspunkten för bedömning var de lärandemål som gäller för respektive utbildning. Självvärderingarna samt stickprov av examensarbeten skickades till bedömarna i slutet av juni 2011 vilket gav dem sommaren på sig att läsa in sig på materialet. Många bedömare har kommit väl förberedda till platsbesöket som ägde rum augusti, dock som sagts inte alla. Som vanligt i peer review-sammanhang har ambitionsnivån varierat bland bedömarna. Platsbesöket inleddes med förberedelser för panelerna. Då mejslades frågor ut och ansvaret för de olika sessionerna klargjordes. En del intervjupersoner menar att den fasen kunde ha varit något längre. En viktig synpunkt är att det överhuvudtaget upplevdes som ont om tid vid platsbesöket. En dag till hade medgivit mer tid för interna diskussioner än vad som nu blev fallet. Samtidigt är tidsåtgången en svår balansgång. Många bedömare har svårt att frigöra sig från sina ordinarie plikter under alltför många dagar. De praktiska arrangemangen under platsbesöket har fått beröm av bedömarna. Allting har fungerat bra och det sociala programmet har varit uppskattat. En randanmärkning är att den guide som tilldelades varje grupp kunde ha tillhört den skola som utvärderades. Intervjuerna synes i stort ha fungerat väl. De har präglats av en konstruktiv anda och med utvecklingssyftet i förgrunden. Vid vissa sessioner har dock alltför mycket tid gått åt till att klargöra faktaförhållanden, exempelvis beträffande beslutsvägar och organisation. En del av de utvärderade har kommenterat att diskussionerna blev relativt beskrivande vid platsbesöket. De kom att behandla ramfaktorer och förutsättningar snarare än själva utbildningen. På samma tema har bedömare frågat sig varför de inte haft tillgång till kursplaner som hade kunnat ge en mer verksamhetsnära diskussion om själva utbildningen. 8 Metautvärdering av EAE

13 De frågor som ställdes kom att i hög grad röra det som står i självvärderingsrapporterna. Det är naturligtvis väntat men lämnar litet utrymme för överraskningar för de utvärderade programmen. Det som de har valt att ta upp i självvärderingen har kommit att dominera samtalen. De synpunkter som har framkommit har ofta bekräftat den bild som framställts i självvärderingarna. En del paneler har haft en ambulerande mötesledning, där den bedömare som varit mest berörd också har lett mötet. De andra har ställt kompletterande frågor. De pedagogiska experterna har haft en viktig roll i panelerna, som experter på kvalitetsfrågor i allmänhet och lärandemål i synnerhet. Metautvärdering av EAE 9

14 4. Resultatet och användningen av utvärderingen Vid slutet av platsbesöket gav grupperna feedback till de utvärderade miljöerna. Bedömargruppernas rapporter följde en given mall. Mallen verkar ha fungerat relativt väl. Har då bedömarna tagit fram ett användbart material? Som redan nämnts har få överraskningar kommit fram i utvärderingarna. För de utvärderade programmen ledde bedömargruppernas rapporter mest till en bekräftelse av sådant som de redan visste. Som flera intervjupersoner påpekat finns det ändå ett värde med en övning av detta slag. De idéer och de analyser som tagits fram av miljöerna får testas mot bedömare, som många gånger har erfarenhet av liknande problemställningar och utmaningar. För miljöerna har förvisso arbetet med självvärderingen varit det mest värdefulla, men återkopplingen från bedömarna har inte varit utan värde. Det har givit viktiga signaler om vad som borde prioriteras i framtiden. Ett problem i sammanhanget är att bedömarna i vissa fall har tagit upp saker som helt enkelt inte stämmer. Vissa bedömarrapporter innehåller rena faktafel som ligger till grund för felaktiga slutsatser och bedömningar. Panelernas rapporter skickades till de utvärderade miljöerna för, vad vissa uppfattade, faktakontroll. De korrigeringar som skickades in ledde dock inte till några förändringar i rapporterna. Det har framkommit en del starka synpunkter på detta. Det är inte klart för oss varför de utvärderade miljöernas kommentarer inte togs till vara. Resultatet har blivit att bedömargruppernas rapporter har blivit onödigt onyanserade och att de ibland missar målet. Vårt intryck är att det inte funnits någon färdig tanke om hur resultaten av utvärderingen ska användas och spridas. Bedömargruppernas rapporter blev omsider tryckta i en språkgranskad men i övrigt oredigerad volym. Den har dock inte getts någon stor spridning. Det har också skrivits en sammanfattande rapport på svenska. En annan viktig fråga är om utvärderingen har givit ansvariga på olika nivåer vid KTH användbar information. Utvärderingen kommer att följas upp i ordinarie verksamhet framöver. Hur resultaten används, kommuniceras och följs upp på skolnivå är i stor utsträckning upp till respektive skolchef. Huvuddelen av uppföljningsarbetet kommer att ske ute på skolorna men en del kommer också att leda till åtgärder på central nivå vid KTH. En extern uppföljning av arbetet är också planerad. Mycket av tankarna kring uppföljningen tycks ha utvecklats längs vägen. En positiv konkret följd av utvärderingen är det nätverk av programansvariga som har skapats vid KTH. Roller och ansvar för program- och grundutbildningsansvariga har likafullt pekats ut som ett av de områden som är mest angelägna att åtgärda. I den handlingsplan som nyligen beslutats framträder kontrollperspektivet tydligare än i utvärderingen i övrigt. Uppföljning och framtida åtgärder som baserar sig på resultatet av EAE förefaller ta sikte på kontrollsyftet det handlar främst om att åtgärda de brister som påvisats, ibland i form av att stänga ned program. Detta har naturligtvis följder för hur syftena med utvärderingen uppfattas i retrospektiv. Vissa av miljöerna kommer att bli kallade till utbildningsutskottet för en uppföljande dialog. 10 Metautvärdering av EAE

15 5. Slutsatser och lärdomar inför framtiden I detta avslutande kapitel sammanfattar vi de viktigaste resultaten av metautvärderingen och resonerar kring tänkbara lärdomar inför framtiden. Vi lämnar också några olika rekommendationer. Inledningsvis kan man konstatera att det är en anmärkningsvärd och ytterst lovvärd satsning som KTH har gjort genom EAE. Den genomförda utvärderingen är genom sin omfattning och sitt övergripande syfte unik i Sverige. Ett viktigt skäl till att göra en genomgripande utvärdering av samtliga program vid KTH var att visa vikten av utbildningen, jämte forskningen som redan har utvärderats i sin helhet en gång och innevarande år granskas ånyo. Syftet med EAE har varit tredelat: utveckling, kontroll och kommunikation. Det är samma syften som tidigare styrde Högskoleverkets nationella ämnes- och programutvärderingar. Enligt ledningen har utvecklingssyftet varit det viktigaste av dessa. Även kontrollsyftet har dock varit viktigt; att få gjort en kvalitetsgranskning av programmen för att finna delar där det finns tydligt utrymme för förbättring. Balansen mellan de olika syftena har uppfattats olika av de inblandade. Detta är naturligtvis en viktig punkt. Framför allt har vi hört från de utvärderade miljöerna att deras uppfattning av syftet har påverkat deras inställning till självvärderingen och då i synnerhet i vilken mån man har förmått vara självkritisk och utlämnande. Självvärderingarna skiljer sig en hel del åt på den punkten. Vårt övergripande intryck är att självvärderingarna generellt sett är ambitiösa och genomarbetade. Många program har tagit chansen att göra en rejäl genomlysning av sina utbildningar. Det har inte funnits något nämnvärt motstånd i organisationen, men däremot är det en del miljöer som, av olika skäl, gjort så lite som möjligt i processen. Den största behållningen med EAE är tveklöst de processer som satts igång runtom på KTH. Utbildningen och dess kvalitetsutveckling har hamnat i fokus, nya konstellationer har uppstått och angelägna förändringar har kommit att diskuteras. I den här delen har fokus på utveckling varit mycket tydligt. Många, om än inte alla, anser att det är positivt att den här typen av utvärderingar genomförs. Det bör dock inte ske för ofta, och helst i relation till de cykliska RAE. En EAE tar mycket energi från det löpande kvalitetsarbetet. Arbetet med självvärderingen kan ta betydande tid. Vart fjärde år vore en lagom cykel, menar många som vi har talat med eller i varje fall inte oftare. Det kan också diskuteras om hela KTH ska genomlysas vid ett och samma tillfälle. Det kan vara värt att överväga om framtida EAE ska göras skolvis, för att i möjligaste mån undvika att den hamnar fel i respektive skolas planerings- och förändringsarbete. Några av de utvärderade miljöerna har påpekat att det enda felet har varit tajmingen med EAE. Hade den genomförts ett år tidigare eller senare hade den fått avsevärt större effekt. Det är lätt att förstå det signalvärde som en fullständig genomlysning kan ge. Vårt intryck är dock att en EAE kan utnyttjas ännu mer än vad som har gjorts nu. En del intervjupersoner har uttryckt sin besvikelse över att materialet i så liten utsträckning möjliggör jämförelser mellan utbildningarna. Detta skulle kunna vara en poäng med en KTH-övergripande utvärdering, men då behöver genomförandet bättre medge sådana jämförelser. Överhuvudtaget är användningen av utvärderingens resultat något som kan och bör utvecklas inför framtida EAE. Vårt intryck är att den EAE som har avslutats har gett viktiga resultat att gå vidare med på KTH-nivå. Dessa är redan identifierade och en handlingsplan är beslutad. Mycket av slutsatserna handlar om rollfördelning och ansvarsförhållanden ute på skolorna, inte minst mellan programansvariga och grundutbildningsansvariga. Den stora osäkerhet som funnits beträffande vad utvärderingsresultaten ska användas till, både i organisationen och bland bedömarna, Metautvärdering av EAE 11

16 bör tas på största allvar av de ansvariga i KTH:s ledning. Den diskussion som har varit angående syftena och deras inbördes konflikt handlar, menar vi, främst om att man inte varit på det klara med om utvärderingen kan leda till resursförstärkningar eller andra stärkande åtgärder, eller om resultaten, som i hög grad bygger på en självvärdering, kan leda till bestraffningar i form av indragna resurser eller nedlagda utbildningar. Syftet med utvärderingen och en transparent redovisning av tänkta konsekvenser av resultaten bör kommuniceras till de inblandade. Spridningen av resultaten behöver också tänkas igenom. Det är, menar vi, bättre att preliminära rapporter skickas ut till miljöerna för faktagranskning än att slutrapporten innehåller faktafel. Slutrapporten, som har tryckts men inte spritts, innehåller såväl faktafel som onyanserade formuleringar som hade kunnat slipas av. Kopplingen mellan utvärderingssyfte och användning av resultaten är den viktigaste synpunkten på EAE. Det finns i rapporten också en del synpunkter när det gäller själva genomförandet av projektet, som kan övervägas inför kommande utvärderingar. Självvärderingsmanualen tycks på det hela taget ha fungerat väl. Det svåraste momentet har varit att skriva fram utbildningsmålen i utbildningen, vilket för många program har varit en nyttig övning inför kommande HSV-utvärdering. Flera miljöer har också haft svårt att hålla sig till det skriftliga omfång som ålagts dem. När ramarna inte har respekterats har detta inte lett till några åtgärder från ledningens sida, vilket i sin tur lett till irritation från andra miljöer som har respekterat omfånget. När det gäller självvärderingen anser vi också att det är märkligt att kursplaner och annan relevant information inte har kunnat biläggas. Den, som en del menar, relativt ytliga diskussion som präglade platsbesöken hade kunnat bli något djupare om mer information kunnat skickas med. Den statistik som gjordes tillgänglig har fungerat väl, vilket däremot inte kan sägas vara fallet med examensarbetena. Urvalet av examensarbeten, som nu gjordes centralt på KTH, bör göras i samråd med de utvärderade miljöerna. Bedömarna bör ges tydliga riktlinjer på vilket sätt arbetena ska vara en del av bedömningsunderlaget. De utvärderade miljöerna har framhållit att det inte varit mycket nytt som framkommit vid platsbesöket. Det har mest handlat om att bekräfta sådant som redan var väl känt. Det behöver dock inte vara bortkastad tid; flera har uttryckt att en bekräftelse från bedömarna att man har identifierat viktiga problem har varit en behållning med utvärderingen. Som vanligt i sådana här sammanhang har bedömarna själva haft olika ambitionsnivå. Många har kommit väl förberedda, pålästa och med relevanta frågor, men inte alla. Någon dag till för platsbesöket hade varit värdefullt, för förberedelser och efterarbete, men den sammanlagda tiden behöver ställas mot möjligheterna att rekrytera högt kvalificerade personer som kan avsätta den tiden. De praktiska arrangemangen har överlag fungerat mycket väl, vilket redan omskrivits i själva utvärderingsrapporten. Projektledningen har fått mycket lovord i våra intervjuer. Det gäller även det processtöd som givits av ECE-skolan. De miljöer som har utnyttjat den högskolepedagogiska expertisen har vittnat om den höga kompetens och servicemedvetenhet som finns. 12 Metautvärdering av EAE

17 Bilaga A Informanter A.1 Intervjupersoner Namn Johan Alvfors Per Berglund Catharina Erlich Lars Filipsson Istvan Furo Peter Gudmundson Jan Gulliksen Sophia Hober Anna-Karin Högfeldt Kjell Jeppsson Sara Karlsson Johan Kvastad Åsa Lindberg-Sand Anders Lundgren Lauri Malmi Helene Rune Teresia Sandberg Stefan Östlund Roll Utbildningsansvarig, studentkåren Prodekanus Programansvarig, ITM-skolan Programansvarig, SCI-skolan Tidigare grundutbildningsansvarig CHEskolan Rektor Skolchef, CSC-skolan Dekanus Processtöd/pedagogisk utveckling, ECEskolan Ordförande i panelen för ICT-skolan, Chalmers tekniska högskola Projektledare och kvalitetssamordnare Utbildningsansvarig, studentkåren Pedagog i panelen för ABE-skolan, Lunds universitet Förvaltningschef Ordförande i panelen för CSC-skolan, Aalto universitet Administrativ chef, SCI-skolan Projekthandläggare, administrativt ansvarig Skolchef, EES-skolan A.2 Deltagare vid tolkningsseminarium Namn Per Berglund Anna-Karin Högfeldt Sara Karlsson Anders Lundgren Göran Melin Miriam Terrell Roll Prodekanus Processtöd/pedagogisk utveckling, ECEskolan Projektledare och kvalitetssamordnare Förvaltningschef Faugert & Co Utvärdering AB Faugert & Co Utvärdering AB Metautvärdering av EAE 13

18 Faugert & Co Utvärdering AB Grevgatan 15, 1 tr Stockholm Sweden T F E info@faugert.se