Lärdomar från KTH:s egeninitierade utvärdering av administrationen Sara Karlsson & Susanna Pehrson
Vilka är vi? Sara Karlsson Kvalitetssamordnare, planerings- och utredningsavdelningen, KTH:s universitetsförvaltning Doktorand, skolan för teknikvetenskaplig kommunikation och lärande, KTH Central samordnare i AAE-projektet Forskningsintresse förändring i högskolesektorn Susanna Pehrson Forskningshandläggare, KTH Research Office, KTH:s universitetsförvaltning Delprojektledare i AAE-projektet, projektet Extern forskningsfinansiering Arbetar bl.a. med frågor rörande societal impact, forskningsinfrastrukturer och KTH:s strategiska forskningsområden
Administrative Assessment Exercise (AAE) Bakgrund: KTH har utvärderat sin forskning och sin utbildning Research Assessment Exercise (RAE) 2008 och 2012 Education Assessment Exercise (EAE) 2011...dags att utvärdera administrationen
Varför en utvärdering av administrationen? Ökad kvalitet i administrationen Ökad kunskap om utvärdering och kvalitetsarbete bland administrativ personal Ökad synlighet för det administrativa arbetet
Vad utvärderades? Strategiskt viktiga processer 1.Utbildningsprocessen ur systemstöd- och studentperspektiv/studie- och karriärvägledning 2.Lokalförsörjning 3.Rekrytering, befordran, anställning av fakultet 4.Arbetsmiljö, komplicerade personalärenden 5.Internationella studenter 6.Avtalshantering 7.Stöd till externfinansiering av forskning 8.a. Innovation och b. samverkan 9.Dokumenthantering 10.Controllerfunktion, prognoser, budget, uppföljning 11.Internkommunikation 12.Upphandling 13.Uppföljning av utbildning och forskning 14.Internrevisionens granskningsprocess
Delprojektet: Vad utvärderades? KTH:s process för extern forskningsfinansiering Idéfas Ansökningsfas Kontraktsfas Projektfas Inte Research Office (RO) som avdelning Forskningsinfrastrukturer SFO:er Societal impact Utvärderingar av fo-områden, benchmarking
Vad bedömdes? Kompetens Service Kostnad
Delprojektet: Hur tolkades bedömningsgrunderna? Kompetens Finns kompetens för alla faser i processen / alla finansiärer? Service Hur mkt stöd ger RO till forskare (samt skolledningar och admin.) i de olika faserna? Kostnad Hur många forskningshandläggare arbetar i de olika faserna? (FTE)
Hur gjordes utvärderingen? Självvärdering i delprojekten Processkartläggning Omvärldsanalys Intressentanalys Inre analys Peer review - en akademisk metod
Delprojektet: Hur gjordes självvärderingen? Process- kartläggning Idéfas Ansökningsfas Kontraktsfas Projektfas Omvärldsanalys Externa förändringar Interna förändringar Intressentanalys Enkät till 155 fakultetsmedl., svar från 103 Intervjuer med 8 forskare Möte med intern referensgrupp Service kompetens kostnad Inre analys SWOT inkl. enkät och intervjusvar Sammanfattande analys
Funding body rules for participation- other regulations Objectives of collaborating parties (when applicable) Contract base (Collaborative/ excellent science) Certification/ clearances Certification/ clearances Scientific adjustment Review/signature of agreement with funding body* Adj. Project mgt/impact Adj.Budget Mgt/negotiation of cooperation agreement Mgt research specific commitments - PI Signing and exp. legally binding documents Info KTH and cooperating parties Risk assessment and risk management Risk management and mitigation Managing, preparing and briefing (föredragning) Managing, preparing and briefing (föredragning) Ensuring the PI understands his/her responsibility and commitment Understanding IP-tactics ( advisory) General Communication coordination Official contact point
Forts.: Hur gjordes självvärderingen? Slutsatser Kan beskrivas med hjälp av key words : Vulnerability Dependency Awareness Consistency Excellency Expectations
Delprojektet: Hur gjordes utvärderingen? Projektet föreslår ordförande samt panelmedlemmar Ordf. DTU, därutöver EPFL, KI, Groningen Univ. Ordförande besökte KTH i mars, för ökad förståelse för uppdraget Vad innebär begreppen kostnad, service, kompetens? Diskussion kring upplägg platsbesök Bakgrundsförståelse av verksamheten Platsbesök 3 5 juni Intervjuer Vicerektor för forskning RO avd.chef, ansvariga för support, kontrakt och projektfas Representanter från fakulteten Samlad diskussion med hela enheten kring panelens intryck
Vad visade utvärderingen? KTH ett föränderligt universitet med växtvärk Kompetensen hos medarbetarna är mycket hög, men används inte optimalt - inte tillräckligt verksamhetsnära Decentraliserad organisation otydligt vad som ska göras centralt respektive lokalt Arbetsformerna behöver utvecklas Kommunikationen behöver förbättras
Delprojektet: Vad visade självvärderingen? Processen fungerar bra och uppdateras kontinuerligt. Hög kompetens, låg kostnad (FTE) utifrån hur många externfinansierade fo-projekt som processas (ansökningar och kontrakt). Servicen kunde vara högre gällande ansökningar, men mandatory service är prioriterad. Efterfrågas mer service från forskarna. Resurser skulle behöva tillföras RO/juristavd./skolorna för att kunna ge mer service.
Delprojektet: Rekommendationer från bedömargruppen Kartlägga varje skolas egen support underlättar för forskaren i ansökningsstadiet samordningsvinster i projektstadiet Öka samarbetet med skolorna i de tidigare stadierna, samt formalisera det Genomför intern info-drive för att marknadsföra RO när kan forskarna få hjälp från RO när måste de vända sig till RO En förstärkning av juristavdelningen är nödvändig, för få jurister tillgängliga för forskningssamarbets-avtal i nuläget
Vilka var de största frågorna? Kulturella aspekter, relationer, kunskap och förståelse, dialog mellan fakultet och administration mellan skolor och universitetsförvaltning inom universitetsförvaltningen Organisation: centralisering vs. utlokalisering, integrerad vs. parallell administration Arbetsformer: processtänkande Några sakområden: avtalshantering, internationella studenter, IT-utveckling och IT-stöd
Delprojektet: Vilka var de största frågorna? 1. Vad ingår / ingår ej av RO:s arbete? 2. Hur kunna beskriva stöd till extern forskningsfinansiering som en process? 3. Bedömningsgrunden service har kopplat det till deliverables samt mervärde. 4. Referensgrupp svårt att få fakultet att avsätta tid 5. Analysarbetet tar mycket tid
Hur ska kvaliteten i administrationen öka? Uppföljningen är den viktigaste delen! Slutsatserna från projektet överlämnade till linjen kontinuitet och engagemang Utvecklingsprojekt pågår: hundratals små + ett fåtal större, strategiska Princip: många små steg Forskningsprojekt om administrativa roller i högskolan
Vad tyckte delprojektledarna? Lyxigt, kul, lärorikt och förpliktigande Djupdykning i den egna verksamheten Nya kontakter inom KTH Feedback utifrån ger ökat stöd för förändring Men vilken förändring är möjlig?
Vad tycker Susanna? Bra, förutom redan nämnda: Kan utgöra bas för benchmarking och tätare samarbete Panelordföranden blir en resurs för andra sammanhang Värdefullt att få feedback på verksamheten av nya ögon Mindre bra: Inga resurser för att genomföra självvärderingen Inga resurser allokerade för utveckling Otydlig övergripande uppföljning av alla utvecklingsprojekt som bestämdes
Uppfylldes syftena? Ökad kvalitet i administrationen? Svårt att säga, förbättringsarbetet pågår fortfarande, men en början: ökad kunskap om styrkor och svagheter Ökad kunskap om utvärdering och kvalitetsarbete bland administrativ personal? Definitivt! Ökad synlighet för det administrativa arbetet? Ja, kanske både på gott och ont?
Frågor?