1 / 16 Internationella Rankinglistor och Go teborgs Universitet: Principiella analyser och fo rslag till organisation Sverker Lindblad, Professor i pedagogik Mats Cavallin, Biträdande Överbibliotekarie 2011-02-22 Lindblad & Cavallin: University Ranking at the University of Gothenburg: Principal analyses and organization proposals. Abstract: International ranking lists such as the Shanghai-list and the Times Higher Education list are described and analyzed in three different ways: (a) as representations of universities, (b) as governing tools based on epistemic attitudes and actions among stakeholders such as students, policy-makers, as well as governing bodies at universities and academic teachers, and (c) in terms of looping such as self-categorizations and playing the ranking game. It is argued that ranking lists are problematic in terms of representing universities. They are biased in terms of linguistic and cultural features, their use of indicators are privileging certain kinds of publications as well scientific fields, they are based on certain conceptions of universities, and they are excluding parts of Academia that does not fit with the ranking list indicators. However, the ranking phenomenon is a reality in higher education and research today, given their use by stakeholders as a basis for decision-making. Given this combination of problematic representation and the uses of rankings as governing tools might turn into problematic looping in several ways. Based on these consideration it is argued that universities should deal with ranking lists in a selective way using lists and indicators that are valid relative to the university s visions and strategies, to present information about the university to the ranking constructors in combination with demands of sufficient transparency and detailed information on indicators etc. Furthermore, it is argued that Universities and University Colleges should cooperate in different ways in order to deal with rankinglists. Finally, a simple organization to deal with university ranking lists is outlined.
1. Introduktion Föreliggande promemoria presenterar förslag om hur Göteborgs universitet ska hantera internationell ranking av universitet. Till detta kommer också frågor om hur olika lärosäten gemensamt kan hantera frågor om internationell ranking. I promemorian presenteras mycket kortfattat genomgångar och analyser av rankinglistor. De bygger på ett arbete som Cavallin och Lindblad genomfört och som läggs fram som en särskild rapport Ranking som Realitet. Arbetet har skett på uppdrag av Rektor. Antalet rankinglistor har ökat betydligt under senare år. De kan ses som försök att omvandla komplexiteten hos universitetens och högskolornas verksamhet till enkla mått som ska göra lärosäten jämförbara och rangordna dem i termer av hur bra de är. Vad innebär sådana omvandlingar hur rättvisande är de och hur meningsfulla är de som underlag för strategiska beslut inom och utanför lärosätena och för val till högre utbildning? En viktig fråga blir då också hur rankinglistor fungerar som styrinstrument och vilka konsekvenser de därvid kan få för utbildnings- och forskningsverksamhet vid lärosäten. Detta bör sättas i relation till pågående omvandlingar av universitets- och högskolesystemets verksamhet rörande frågor som expansion, globalisering och resultatstyrning. Det finns olika typer av rankinglistor med olika ändamål och baserade på olika slag av information. Vanligtvis bygger listor på mått på tidigare akademisk produktivitet (som publicerings- och citeringsmått) och på ryktbarhet (via enkäter till peers eller bedömningar av studenters anställningsbarhet och institutioners excellens). Det är viktigt att kunna bedöma karaktären och kvaliteten hos dessa och liknande mått. Vi tar upp sådana frågor och diskuterar då också krav som behöver ställas på rankinglistor. Promemorian avslutas med förslag på hur rankinglistorna ska hanteras inom universitetet. 2. Om Rektors uppdrag: Mats Cavallin och Sverker Lindblad presenterade 2006 en analys av internationella rankinglistor deras konstruktion, validitet och potentiella innebörd för högre utbildning och forskning. 1 I mars 2010 tillsatte rektor en rankinggrupp med uppgifterna att ta tillvara erfarenheterna av denna analys, uppdatera densamma, att utveckla en plattform för hur universitetet ska arbeta med frågor om universitetsranking, samt överväga hur detta eventuellt kan användas i universitetets strategiska arbete. I uppdraget låg också att beakta mer proaktiva frågeställningar, att arbeta mer selektivt relativt olika rankinglistor och att delta i den internationella och nationella debatten om universitetsranking som varudeklaration och som instrument för styrning av högre utbildning och forskning. 2, 3 1 Cavallin, M. and S. Lindblad 2006, Världsmästerskap i vetenskap? En granskning av internationella rankinglistor och deras sätt att hantera kvaliteter hos universitetet. Göteborg: Göteborgs Universitet Dnr G11 530/06. 2 Arbetet har genomförts i nära samarbete med GUs Avdelning för Analys och Utvärdering i form av möten och informationsutbyte samt med den företrädare inom universitetet som är verksam i Bolognaexpertgruppen. Inalles har tre möten och ett seminarium genomförts. Vidare har rankingfrågorna diskuterats i Göteborgs universitets kvalitetsråd och vad gäller svenskt och internationellt samarbete i Svenska Universitets- och 2
3. Analyser av rankinglistor och deras betydelse Som underlag för denna promemoria utnyttjas framför allt det arbete som Cavallin & Lindblad (2011) nu genomfört vad gäller ranking som representation och realitet. 4 De analyserar olika listor, framför allt den s.k. Shanghai-listan Academic Ranking of World Universities, 5 Times Higher Education-listan över World University Rankings, 6 och QS-listan över Top Universities. 7 I vårt arbete har vi därvid haft glädje av analyser genomförda vid Avdelningen för Analys och Utvärdering vid Göteborgs Universitet. 8 Till detta kommer en analys av de nya informationssystemen U-Map och U-Multirank, som är en del av EU:s satsning på diversifiering och mobilitet vad gäller högre utbildning och forskning i Europa. U- Map och U-Rank är svar på kritik som riktats mot rankinglistornas en-dimensionalitet och deras anglo-saxiska dominans, en kritik som bl. a. förts fram av Europakommissionen. 9 Positioner pa rankinglistor I tabell 1 ger vi en översikt över några internationella rankinglistor samt över var och hur dessa listor skapas. Vi visar också på GUs position vid de senaste rankingarna. Tabell 1: Internationella rankinglistor namn, rankingkonstruktör, källor och årtal för första publicering samt senaste placering för Göteborgs universitet. Namn Rankingkonstruktör Datakällor Start GU position senast Shanghai-listan: Academic Ranking of World Universities Institute of Higher Education vid Shanghai Jao University Bibliometrier samt akademiska utmärkelser. 2003 212 THE: Times Higher Education World University Ranking Webometrics CHE (Die Zeit-listan) som U-mapföregångare Leiden-listan: CWTS Times Higher Education i dag i samarbete med Thomson Reuters. Cybermetrics Lab med stöd av spanskt forskningsråd Centre for Higher Education Development. Centre for Science and Technology Studies vid University of Leiden. Quacquarelli Symonds Limiteds Enkäter om ryktbarhet och bibliometrier samt information från lärosäten. Nytt sedan 2010 2004 281 Närvaro på webben 2004 243 Bibliometrier, studentenkät internationalisering 2007 Områden, ej lärosäten Bibliometrier 2007 46 QS Top University Enkäter om ryktbarhet. Rankings. Tidigare Bibliometrier, insamlad information samarbete med THE från lärosäten Källa: Rankinglistor för universitet en katalog. Avdelningen för analys och utvärdering, Rapport 2010:03. 2010 183 Observeras bör att Thomson/Reuters är mycket involverade i flera listor genom Web of Science som hanterar publikationer och citeringar och i THEs surveyer. Högskoleförbundets (SUHF) grupp för rankingfrågor, där Sverker Lindblad ingår som medlem. Stort tack till alla som deltagit i diskussioner och som bidragit till utvecklingen av vårt arbete. 3 Jfr Lindblad, S. (2008). Navigating in the Field of University Positioning: on international ranking lists, quality indicators and higher education governing. European Educational Research Journal. 7 (4) s. 438-450 4 Cavallin & Lindblad: Ranking som Realitet. (Manus för översättning till engelska) 5 http://www.arwu.org/index.jsp 6 http://www.timeshighereducation.co.uk/world-university-rankings/ 7 http://www.topuniversities.com/university-rankings/world-university-rankings 8 Rankinglistor för universitet en katalog. Avdelningen för analys och utvärdering, Rapport 2010:03. Man utnyttjar här de s.k. Berlinprinciperna som underlag för bedömning av rankinglistor. Se här också the International Ranking Expert Group (IREG). 9 Se www.u-map.eu och www.u-multirank.eu 3
Det maskineri, som översätter den komplexitet som kännetecknar högre utbildning och forskning till en rangordning byggd på prestation och status, har presenterats och analyserats av Cavallin och Lindblad (op.cit.). 10 Viktiga verktyg är bland annat bibliometriska analyser och ryktbarhetsundersökningar med dessas starka och svaga sidor i relation till frågor om stabilitet, reliabilitet och validitet. På grundval av detta behandlas de olika listornas egenskaper och mera precisa behandlingar av typer av och kvalitet hos de indikatorer som sägs informera om universitet. 11 Detta ses som särskilt betydelsefullt för hur ett lärosäte ska hantera rankinglistor. Av särskild vikt är därvid frågor om transparens i arbetet hos olika rankinglistfabrikanter. Till sammanhanget hör vårt genomförda och planerade deltagande i den nationella och internationella debatten om internationella rankinglistor. 12 En analysmodell: Rankinglistor har sin egen problematik som informationssystem och potentiella styrinstrument för universitets- och högskolesystemet såväl nationellt som internationellt. Denna problematik undersöks på två olika sätt: För det första med fokus på rankinglistor som representation av lärosätens verksamhet vilka indikatorer arbetar man med, vilken information väljer man att ranka utifrån, och vad det är som jämförs vid ranking av universitet? Rankingar bygger på olika kombinationer av enkätdata (t.ex. rörande lärosätenas rykte och studenternas anställningsbarhet), information från olika myndigheter (t ex HSV) eller organisationer (som bibliometriska analyser av Scopus eller Reuters/Thomson), eller uppgifter insända av lärosätena själva (om studenter, lärare, publikationer mm) och av dess studerande. För det andra går vi in på ranking som styrredskap hur rankinglistor utnyttjas i olika sammanhang (av olika aktörer som studenter, politiker, och forskningsfinansiärer såväl som universitetsledningar) och vad detta kan ha för betydelse för högre utbildning och forskning. Lärosäten Ranking som Representation 2 Ranking som Styrredskap Figur 1: Ranking-triangel som analysmodell 10 Jfr Marginson (2009, p 85) som menar att ranking är ett teknik att hierarkisera kunskapssamhället. Se också Boulton (2010, p 9). 11 Se här Usher & Medow (2009), samt den genomgång som gjorts av Avdelningen för analys och utvärdering vid Göteborgs universitet, och Högskoleverkets Rapport om Ranking som studentinformation 12 Se Lindblad, S. & Foss Lindblad, R. (2009): Transnational Governance of Higher Educaiton Popkewitz, T. & Rizvi, F., (Eds.) (2009): Globalization and the Study of Education. Chicago: National Society for the Study of Education Yearbook, Volume 108, Number 2. Se också symposiet Educating a Knowledge Society vid European Educational Research Association I Wien 2009 samt planering för 2011. 4
Ovanstående genomgång gav en översiktlig bild över rankinglistor internationellt och på svensk mark. I figur 1 har vi försökt ge en bild av relationer mellan ranking som representation och som styrredskap med fokus på lärosäten. Vi använder den för att strukturera vårt arbete. Modellen bygger på tre dubbelriktade relationer markerade av pilarna i förhållande till vilka följande frågor ställs enligt pilarnas nummer: 1. Hur ser rankinglistornas representationer av lärosäten ut? Vad är det för mått som används och vilken kvalitet har dessa mått? Ger de rättvisande bilder av lärosäten? Förekommer det någon bias i framtagandet av dessa bilder? 2. Hur används ranking som styrredskap? Hur lyfts rankinglistor fram och diskuteras? Används rankinglistor som underlag för olika beslut? Vilka använder sig av listorna? 3. Hur kan rankinglistorna få konsekvenser för lärosäten och för högre utbildning och forskning i form av looping? Tar lärosätena till sig sin position i de koordinater som skapas av rankinglistorna? Sker motsvarande bland andra aktörer? Fattar universitetsledningar strategiska beslut för att lärosätet ska falla bättre ut på just de mått som utnyttjas i listkonstruktionerna eller för att förändra sin kategoritillhörighet? Betraktat som en realitet inom högre utbildning och forskning är ranking också en realitet som behöver hanteras inom akademin som representation, som styrredskap och i form av looping. Ranking som representation Som argument för rankinglistor som representation anförs att de ger lättförståelig och transparent information som inte kontrolleras av universiteten själva, något som i sin tur stämmer väl överens med idag dominerande principer för styrning av högre utbildning. 13 Genom att utnyttja utvecklingen inom exempelvis bibliometri och de möjligheter som informationsteknologi och internet erbjuder kan omfattande och komplicerad information sammanfattas med mått som sägs återge betydelsefulla egenskaper hos lärosäten. 14 Rankinglistorna kan på så sätt ge värdefull och överblickbar information till olika målgrupper 15 samt vägleda deras beslut i ett expanderande högskolefält. 16 Som argument mot rankinglistor anförs att måtten är alltför endimensionella representationer av lärosäten, ger oriktiga resultat, och framställer universitets- och högskolesystemet i termer av ytlig konkurrens och orimlig förmåga till förändring (som att snabbt stiga och falla ett stort antal positioner). 17 18 Till detta kommer kritik mot bristande transparens vad gäller rankinglistornas 13 Jfr Sahlin, K. (2010) om styrprinciper för högre utbildning, och Ahrne, G. & Brunsson, N. (2009): Complete and incomplete organisation (Scores Reports 2009:2). Stockholm: University. 14 Se här länkarna givna i fotnoterna 3-5 för olika argument för rankinglistor 15 För 2010 finns det nu för rankinglistorna THE och QS särskilda appar som ger en snabb överblick över rankingresultaten. QS-listan är ganska konsumentinriktad med information om det universitet man intresserar sig för under det att THE-listan ger mera detaljer kring rankingens delresultat. Som en del av det mobila nätet är apparna en del av en direktkommunikation med de målgrupper som finns. Samtidigt finner man inte mer än information från det senaste året. 16 T.ex. Stensaker & Kehm (2009, p viii ff) 17 van Raan, A., F., J. (2005): Fatal Attraction: Conceptual and Methodological Problems in the Ranking of Universities by Bibliometric Methods. Scientometrics, Vol 62, No 1, 133-143. 18 Marginson, S. (2009): University rankings, government and social order: Managing the field of higher education according to the logic of the performative present-as-future. In Simons, M., Olssen, M. & Peters, M. (eds): Re-reading Education Policies. Studying the policy agenda of the 21 st century. Rotterdam: Sense. 5
uppbyggnad av olika mått och sammanvägningen av dessa mått. Kritiker ifrågasätter också rimligheten i att det är listkonstruktörerna som bestämmer metodologi och vilka som har tillgång till data-underlaget för rankingarna, samtidigt som det är universiteten som står för kostnaderna för att leverera information till dem som gör rankingarna. 19 Man påpekar också olikheter mellan universiteten i form av institutionella värden och uppbyggnad och risker för en ogiltig representation av exempelvis kontinentala universitet i en anglo-saxisk rankingvärld. 20 Rankinglistor är olika och bygger ofta på olika mått som vi kan se i tabell 1 samt bilaga 1. Universitetsranking förekommer som s.k. aggregerad ranking där värden på olika indikatorer läggs samman till ett enda mått, vilket då visar universitetens inbördes rangordning med detta mått mätt. Sådan aggregerad ranking kritiseras för en-dimensionalitet och antas vara okänslig för eller motverka diversifiering bland lärosäten och institutioner, något som i sin tur sägs vara bra för såväl effektivitet som demokrati inom europeiska arenor. 21 Därför menar man exempelvis inom Europakommissionen att det är viktigt med en annan typ av ranking som bygger på erkännande av olikheter på klassificering av universitet och av olika områden inom högre utbildning och forskning. Man kan då jämföra lärosäten utifrån indikatorer på olika dimensioner och därför kallas detta för multi-dimensionell ranking. Innebörden av sådan ranking är viktig att belysa, bland annat med tanke på skapandet av en Europeisk Arena för Högre Utbildning och Forskning. CHE-listan är det enda exemplet på detta i tabell 1. Erfarenheter från det amerikanska Carnegiesystemet för klassifikation av anordnare för högre utbildning pekar i riktning mot att klassifikationerna också skapar sin hierarki, vilket kan leda till en homogenisering av högre utbildning. 22 Cavallin och Lindblad (2011) visar på rejäla brister hos de internationella rankinglistor som representation av högre utbildning och forskning: Språklig och kulturell bias: Universitet i engelskspråkiga delar av världen rankas som regel mycket högre än universitet med världsspråk som tyska, spanska, franska eller ryska som bas. Svenska som vetenskapligt språk är i rankingsammanhang något av en omöjlighet. Favorisering av vissa vetenskapliga publikationsformer: I stort är det en viss typ av vetenskaplig publikation som räknas, nämligen artiklar publicerade i peer-reviewade tidskrifter. Monografier och böcker får mindre värde i de internationella jämförelsernas värld. Betoning av vissa vetenskapsområden: Matematik och naturvetenskap, teknik och medicin är områden som ges störst tyngd, medan humaniora, samhälls- och utbildningsvetenskap, samt konstnärlig verksamhet väger lätt i de studerade internationella rankinglistorna. Särskild infrastrukturell bas: Lärosäten organiserade som nordamerikanska forskningsuniversitet utgör ofta ideal för konstruktionen av rankingmått. 19 http://globalhighered.wordpress.com/2010/09/21/governing-world-university-rankers-an-agenda-for-muchneeded-reform/ 20 Se här bidraget av Foss Lindblad, Lindblad & Popkewitz: International University Ranking Lists: What is the Game and what are the arts of its practices? till symposiet A world Championship in Higher Education vid American Education Research Association s möte i New York 2008. En viktig poäng I sammanhanget är skillnader mellan kontinentala och nord-amerikanska universitet, där rankinglistorna är byggda för att passa nordamerikanska universitet som Harvard och MIT. 21 Se här van Vught (2009) och det av Europakommissionen stödda U-map och U-multirank. Se särskilt Mapping Diversity Developing a European Classification of Higher Education Institutions från CHEPS. 22 Se McCormick & Zhou (2005): Rethinking and reframing the Carnegie Classification. Change September/October 2005, p 51-57. http://classifications.carnegiefoundation.org/downloads/rethinking.pdf 6
Utestängning av sådan verksamhet som inte kan hanteras av rankinglistorna. Till detta kommer mer funktionsmässiga problem hos de internationella rankinglistorna: Instabilitet i rankingar: Det verkar inte rimligt att de variationer som finns över tid och mellan rankinglistor svarar mot svängningar i universitetens vetenskapliga kvalitet. Bristande transparens: Det är problematiskt att urskilja vilka mått som används och hur sammanvägningar sker. Multi-dimensionell ranking kan ses som försök att motverka vissa brister hos de internationella rankinglistorna genom att ge möjligheter att urskilja olika typer av universitet och jämföra dem på deras egna premisser. 23 Samtidigt ska man försöka ge möjligheter att göra jämförelser inom avgränsade områden. Det bedrivs nu försöksverksamhet med multi-dimensionell ranking, men själva principen åskådliggörs av CHE-listan där exempelvis kvaliteten inom psykologi eller statskunskap jämförs över olika universitet. 24 Ett problem är att kategoriseringarna kräver en indelning i områden som är jämförbara, t ex i termer av institutionsindelning. Detta tyder på att multi-dimensionell ranking kan medföra ett rejält mått av re-klassificering och omstrukturering av lärosäten såväl som högskolefältet nationellt och internationellt. Ranking som styrredskap Kritiker befarar att lärosäten anpassar sig efter rankinglistornas mått på framgång på ett sätt som i praktiken är till men för deras verksamhet, medan förespråkare för ranking menar att listorna kan användas i förbättrande syften och som grundval för val av samarbetspartner bland olika universitet. 25 Studier i England och USA kan visa att rankingplacering är av betydelse för studenters val av lärosäte då särskilt yngre, internationella studenter som läser på avancerad nivå. De visar på ett visst inflytande över vilka universitet som akademiska lärare söker sig till och vilka samarbetspartners som universitet väljer. 26 Inom OECD har man ägnat rankinglistorna särskild uppmärksamhet i samarbete med IAU (International Association of Universities). Här går bl.a. Hazelkorn igenom hur rankinglistor används inom och utanför akademin som målsättningar och i kampen om excellens och världsklass. 27 Samtidigt påpekas risker med utnyttjandet av ranking i byggandet av system för högre utbildning och forskning och på betydelsen av att använda sig av indikatorer som bedöms som rimliga och riktiga. Inom LERU (League of European Research Universities) ser man hur Boulton för fram en kritisk hållning till internationella rankinglistor relativt dess oförmåga att hantera de värden som universiteten står för och den diversitet som ses som betydelsefull inom högre utbildning och forskning. Givet sådana analyser är det rimligt att man inom akademin uppfattar att rankinglistor kan göra större skada än nytta om de hanteras på ett okritiskt sätt. 28 23 Se www.u-map.eu och www.u-multirank.eu 24 http://www.gu.se/omuniversitetet/aktuellt/nyheter/nyheterdetalj/forskarutbildningar-vid-goteborgsuniversitet-hogt-rankade-i-europeisk-jamforelse.cid901627 25 Vid EAIE s (European Association for International Education) konferens i Nantes 2010 användes exempelvis QS top 200 listan för att bedöma vilka som var "värdiga" ett samarbetsavtal. Enligt deltagare var sådana bedömningar av ökande betydelse. Liknande noteringar behöver undersökas ytterligare. 26 Se t ex Locke et al (2008): Counting What Is Measured or Measuring What Counts? League Tables and Their Impact On Higher Education Institutions in England. 27 Se OECD Higher Education Management and Policy. Vol 21, No1. 28 http://www.leru.org/files/publications/leru_ap3_2010_ranking.pdf 7
Undersökningar visar emellertid också att universitetsledningar i olika länder tar hänsyn till rankingresultat vid viktiga beslut, som institutionsindelningar och strategiska satsningar, eller utnyttjar listorna som en typ av kvalitetssäkring. 29 Vi kan också notera att rankinglistor skapats inom akademin för att exempelvis certifiera handelshögskolor eller juristutbildningar. 30 Dessa och liknande uppgifter pekar på att rankingar är en realitet de har ett formande inflytande man inte bör bortse från inom högre utbildning och forskning idag och även inom samspelet mellan exempelvis lärosäten och företagsledningar. 31 Samtidigt visar flera undersökningar att rankinglistor i praktiken förefaller ha begränsat värde som underlag för beslut av olika slag. Som underlag för studieval framstår de internationella rankinglistorna som föga informativa eller rentav sakna validitet. 32 Kritiska röster hörs också om rankingkonstruktörernas bruk av bibliometriska analyser och av information om ryktbarhet för att rangordna lärosäten. 33 Just ryktbarhet anses som direkt felvisande vad gäller kvaliteter hos lärosäten eftersom de inte kommer åt aktuell verksamhet och dess betydelse. I åtskilliga fall varnar man i forskningslitteraturen för användande av sådana mått. 34 Problem med att ha rankingplatser som underlag för beslut understryks också av instabiliteten hos åtskilliga rankinglistor (då särskilt för lärosäten som befinner sig utanför Topp-50 och skillnader i utfall mellan olika rankingar med likartade indikatorer. Ranking som Looping Ser vi till dessa resultat har vi ett intressant förhållande vad gäller rankinglistor deras representation av lärosäten visar på åtskilliga brister och skevheter. Samtidigt framstår ranking som en realitet på flera sätt listorna anses ge bilder av lärosätenas skilda kvaliteter som utnyttjas av olika aktörer. På så sätt kan man hävda att listorna bidrar till att förändra högre utbildning och forskning. Rankinglistorna får en performativ funktion måtten slår tillbaka på det som mäts. Vi får då en potentiell cirkelgång eller looping mellan den representation som listorna åstadkommer och de universitet som placerar sig på dessa listor. 35 Detta är en principiellt intressant problematik som är viktig att förstå och hantera vad gäller rankinglistor. 36 Hur inverkar rankinglistorna på dem som rankas och på högskolefältet i stort? Frågorna kan och bör också översättas till forskningsfrågor rörande högre utbildning med de utvecklingstendenser som är för handen. 29 Se här Hazelkorn (2009): Rankings and the Battle for World-Class Excellence: Institutional Strategies and Policy Choices. OECD: Higher Education Management and Policy. Volume 21, No 1. 30 Se Espeland & Sauer (2007) och Wedlin (2006) 31 Jfr not 16, sid 20: Using (global) rankings as the benchmark only makes sense if the indicators are appropriate otherwise governments and institutions risk transforming their system and institutions to conform to metrics designed by others for other purposes. 32 Se här Högskoleverkets genomgång av rankinglistor som studieinformation, Högskoleverket Rapport 2008:40 R. och Locke et al (2008): Counting What Is Measured or Measuring What Counts? League Tables and Their Impact On Higher Education Institutions in England. 33 Jfr Cavallin & Lindblad, (2006; 2011) 34 Federkill (2009) analyserar relationen mellan mått på ryktbarhet och på aktuella prestationer och menar att ryktbarhet som sådant inte är ett mått på kvalitet. Marginson (2009) är mer kategorisk: Rankings constituted by the surveys of comparative ranking are the worst form of ranking. We need to work vigorously against these forms of ranking (aa. p 92) 35 Jfr särskilt Hacking (1999) och frågor om hur kategorisering och självkategorisering samspelar. 36 Espeland & Sauder (2007) är en av de få som lyft fram denna principiella problematik i deras fall vad beträffar ranking av juristutbildningar. 8
Givet att de har genomslagskraft och översätts till akademins verksamhet kan nedanstående ses som konsekvenser som är viktiga att diskutera: Humaniora, konst och utbildnings- och samhällsvetenskap erhåller minskad strategisk betydelse för universiteten. Publicering i form av artiklar i engelskspråkiga vetenskapliga tidskrifter prioriteras då särskilt de som ingår i ISI-Thomson och Scopus arsenal på bekostnad av annan publicering. Klassifikationer av universitet som används vid ranking kan strukturera upp organisering av universitet och förskjuta deras profil. Ranking-spel 37 av universitet som utgår från rankingkonstruktioner vid revidering av lärosäten, exempelvis vid rekrytering av studenter, eller av lärare för bättre positioner. Vi menar att dessa och liknande frågor om ranking som realitet bör sättas på dagordningen när man inom akademin ska hantera rankingfrågor. 4. Vilka uppgifter beho ver Go teborgs universitet ta itu med vad ga ller rankinglistor? Vi gör här en kort sammanställning som följer av vår genomgång av rankinglistorna. Vi har därvid ställt samman tio uppgifter som vi menar universitetet bör ta itu med. Ranking som representation: Listorna är konstruerade på olika sätt med instrument som är av olika kvalitet och som varierar i termer av reliabilitet, validitet och stabilitet. Skillnader i instrument och skillnader i kvalitet medför att olika listor kommer fram till olika rankingresultat. Uppgifterna blir då: 1. Att bestämma vilka rankinglistor som är intressanta att följa med tanke på universitetets intressen och strategiska överväganden då särskilt med tanke på vilka mått som listorna utnyttjar och om kvaliteten hos dessa mått. 2. Att fortlöpande undersöka och analysera de mått hos rankinglistor som kan vara av intresse för utvecklingen av det egna andra lärosäten. 3. Att förmedla rättvisande information om lärosätet till rankingfabrikanter samt att följa upp hur denna information används vid listkonstruktioner. 4. Att få igenom krav på tillfredsställande transparens i konstruktionen av rankinglistor och deras olika mått. Enligt vår bedömning är Shanghai-listan, Times Higher Education-listan, QS-listan samt U-Map och U- Multirank (se tabell 1) de internationella rankinglistor som är särskilt intressanta givet deras genomslagskraft. Samtidigt vill vi påminna om de brister vi påpekat ovan finns hos dessa listor. Vi menar exempelvis att man inte bör utnyttja de mått från ryktbarhetsundersökningar som ingår i THEoch QS-listorna och att måtten på utbildning är mycket ytliga och i stort irrelevanta. För en mer detaljerad genomgång av indikatorer och bedömning av indikatorer, se Cavallin och Lindblad (2011) och rapporter från Avdelningen för analys och utvärdering vid Göteborgs universitet. 38 Ranking som styrredskap: Listorna används av olika aktörer och kanaliseras på olika sätt inom högre utbildning och forskning. Universitetet är en av aktörerna här och uppgifterna blir då: 37 Bygger på distinktionen spel-tävling. Se t.ex. http://findarticles.com/p/news-articles/new-straitstimes/mi_8016/is_20060730/play-ranking-game/ai_n44335365/ 38 http://www.analys.gf.gu.se/omvarldsbevakning_och_analys/pagaende_projekt/ 9
5. Att bestämma betydelsen man vid lärosätet vill tilldela rankinglistor och ranking som fenomen som underlag för samarbete, styrning, och strategiska satsningar. 6. Att bidra till en bättre kvalitet i analyser och diskussioner om rankinglistor och deras mer specifika kvaliteter som underlag för beslut rörande högre utbildning och forskning. Ranking som looping: Vi vill särskilt påpeka möjligheter och risker med att rankinglistor inverkar på universitetens verksamhet i termer av utvecklingsspiraler eller looping. Detta är särskilt viktigt om man ser till nuvarande forskningspolitiska tendenser som just prioriterar en hierarkiserande styrning av universitet (exempelvis i termer av excellens och track record) vilket korresponderar väl med ranking som verktyg för just hierarkisering i kunskapssamhället. Givet möjligheterna att ranking leder till looping blir följande viktigt att åstadkomma: 7. Att bestämma i vad mån universitetets mål och strategiska uppgifter stämmer överens med vad rankinglistorna betonar i sina mått på universitet och precisera vad som saknas eller förvränger universitetets verksamhet och uppgifter. 8. Att utnyttja de mått som kan vara av intresse för universitetet för att följa eventuella förändringar över tid beträffande dessa mått vilket i sin tur ställer på måttens stabilitet och transparens. Till dessa åtta uppgifter kommer ytterligare två som bygger på nationellt och internationellt samarbete för att hantera rankinglistor 9. Att samarbeta inom högskolefältet med myndigheter, andra lärosäten och med studentorganisationer för att klargöra innebörden av rankinglistor som representation och styrredskap och för att försöka precisera olika effekter av looping. 10. Att utveckla olika fora för information och diskussion om rankinglistor och deras innebörd. Ett bland många exempel är en portal för rankingfrågor med informations- och diskussionsfora och länkar till olika universitet. 5. Och hur ska arbetet organiseras? Enligt ovanstående genomgång är internationella rankinglistor betydelsefulla och problematiska. Att hantera dessa listor blir då en strategiskt viktig uppgift. Givet pågående omorganiseringar och utvärderingar menar vi att vi inte ska vara alltför detaljerade utan bör gå in på några principiellt viktiga frågor. 39 Organiseringen måste vara rimlig relativt uppgiften, utnyttja existerande organisatoriska möjligheter, samt vara tillräckligt stabil för att kunna hantera rankingfrågorna på ett bra sätt över en längre tidsperiod. Samtidigt bör den valda organiseringen vara tillräckligt känslig för förändringar i rankinglistornas karaktär och innebörd i omvärlden. Vi har också betonat betydelsen av samarbete mellan lärosäten vad gäller analys och hantering av rankinglistor. Strategiska uppgifter Våra genomgångar visar på att rankinglistor måste hanteras som strategiskt viktig information på tre olika sätt. För det första krävs att universitetsledningen inte faller till föga för rankinglistornas enkla 39 Se här den remissarbetet rörande omorganiseringen av Göteborgs universitet. http://www.vision2020.gu.se/digitalassets/1326/1326163_organisationsremiss-g--teborgs-universitet--2011-01-24.pdf 10
retorik om att ett mått täcker allt. Det är universitetets värden, normer och strategiska överväganden som måste fälla avgörandet. Detta kräver i sin tur att man bedömer vilka indikatorer som eventuellt är intressanta och då också vilka utestängningar och skevheter som finns i rankingarna. Annorlunda uttryckt om man från universitetets sida inte gör sådana bedömningar bör man också avstå från att utnyttja ranking som mått på verksamheter inom universitets- och högskolesystemet. Underlag för sådana bedömningar finns i dokumentationen av vårt arbete, i ett antal referenser till den här promemorian och i de rapporter som Avdelningen för Analys och Utvärdering publicerat. För det andra är det rimligt att ledningen har klart för sig vilken viktig information som saknas eller marginaliseras i rankinglistorna. Ser man exempelvis till de bibliometriska indikatorerna så är det en stor del av universitetets produktion som inte märks exempelvis inom humaniora, samhällsvetenskap och konst. Detta måste man också förhålla sig till relativt universitetets uppgifter som helhet. Enligt vår mening bör universitetsbibliotekets bibliometriska expertis utnyttjas för detta ändamål. För det tredje är rankinglistorna baserade på det som varit och har i den meningen en inbyggd och teknifierad konservatism. Om man ser detta är det rimligt att kliva utöver rankinglistornas mått och lyfta och diskutera de frågor som är viktiga för framtiden inom våra olika områden och med de professionella resurser och nätverk som vi kan utnyttja. En närliggande fråga är då styrprinciper för universitet. 40 Rankinglistor passar väl in i företagsinriktad och redovisningsinriktad styrning där vetenskapliga diskussioner och argument i forskning och undervisning inte syns. Vi menar att man bör pröva möjligheterna att forskningspröva ranking som representation och styrredskap genom kollegiala diskussioner något som bland annat utredningen om universitets omorganisering ger utrymme för. Sådan forskningsprövning bör då också vila på studier av högre utbildning och forskning och analyser av relationer mellan vetenskap och samhälle för att vara trovärdig. 41 Efter vad vi i dag kan se är ett lämpligt forum det nu föreslagna Forskarkollegiet vid universitetet. En strategiskt viktig fråga är hur och i vad mån universitetet ska engagera sig i rankingverksamhet, dels genom att organisera inlämning av information till rankingfabrikanter och analysera utfallet av rankingar, dels genom att delta i arbetet att utveckla rankinglistor som U-Map och U-Multirank. Enligt vår uppfattning är det rimligt att universitetet avsätter resurser för att leverera information och följa upp hur universitetet representeras i mer betydelsefulla rankinglistor. Deltagande i verksamheten för U-Map och U-Multirank är något mer svårbestämd, dels på grund av kritik mot dessa listor som sådana, dels på grund av att arbetet med dessa listor kräver en hel del insatser för insamling och omorganisering av data. 42 Vårt förslag är att universitetet preliminärt deltar i detta arbete och därefter fattar beslut om fortsatt deltagande. 43 Åtskilliga av de uppgifter som nämnts ovan är gemensamma för universitet och högskolor nationellt och internationellt. Även om rankinglistor bygger på en tävlingsmetafor är det rimligt att lyfta idéer om samarbete mellan lärosäten som ett närliggande samarbetsprojekt mellan Göteborgs 40 Kerstin Sahlin (2010) presenterar i ett manus om styrning och organisation av högskolan en analys av olika styrprinciper i relation till olika styrstrukturer och ledningsideal. Som vi ser det passar rankinglistor väl in i en gransknings- eller företagsmässig, men inte särskilt väl i en professionell eller förvaltningsmässig styrprincip. 41 Jfr Gibson et al (1994) och Nowotny et al (2001). 42 Veterligen har Karolinska Institutet och Lunds universitet avbrutit deltagandet 43 Här är det relevant att inhämta Chalmers erfarenheter av pilotprojektet med U-multirank. 11
Universitet och Chalmers eller mellan lärosäten i Sverige, både vad gäller själva hanterandet av rankinglistor som bedömningar av listornas kvalitet och betydelse. Ett sätt att hantera sådant samarbete är via SUHF med dess organisation. Ett annat sätt är i diskussioner om rankinglistornas kvalitet och eventuella styrande konsekvenser, där studenter, forskare och lärare kan ingå och utveckla argument rörande rankinglistor och högre utbildning och forskning. 44 En tanke att leka med är att vi från Göteborgs sida då gärna i samarbete med Chalmers tar initiativ till en fortlöpande diskussion om rankinglistor, deras kvalitet, transparens, insatser från lärosätenas sida och eventuella konsekvenser för akademi och samhälle. Sådana insatser behövs som svar på rankingfabrikanternas verksamheter då även inkluderat rankingorganisationernas försök till egen kvalitetsgranskning. Motsvarande idéer har tagits upp i SUHFs rankinggrupp och det är på basis av diskussioner där som nedanstående förslag läggs fram: Att SUHF tar initiativ till samarbete över svenska lärosäten om sätt att hantera rankinglistor exempelvis vad gäller informationsunderlag till rankingfabrikanterna och krav på transparens och till gemensamma överläggningar om rankinglistornas kvalitet och innebörd. Att SUHF tar initiativ till informations- och kommunikationssamarbete, exempelvis en portal för rankingfrågor och länkar till diskussioner om och bloggar över internationella rankinglistor. Att SUHF verkar för att utveckla samarbete mellan europeiska lärosäten vad gäller kvalitet och transparens hos rankinglistor. Ett rimligt forum är här European University Association. 45 Vi menar att det är rimligt att utveckla nationellt och internationellt samarbete rörande internationella rankinglistor beträffande deras konstruktion och innebörd för högre utbildning och forskning. Uppgiften är då framför allt att ta upp rankinglistorna till seriös behandling som källor för information om universitet och att behandla för- och nackdelar med att utnyttja rankinglistor av olika slag som navigeringsinstrument rörande högre utbildning och forskning. Detta bör ske i samarbete med de studerande och andra intressenter av högre utbildning och forskning. Organisering inom Göteborgs Universitet Universitetsledningen har ett strategiskt ansvar för att hantera rankingfrågor. Det är då rimligt att utnyttja den kompetens och de resurser som finns vid Avdelningen för Analys och Utvärdering samt inom Bibliometrifunktionen vid Universitetsbiblioteket, som redan tidigare även arbetat med rankingfrågor. Det är viktigt att det samarbete som redan är etablerat med analysavdelningen fortsätter med tydligare/formaliserade roller mellan Avdelningen för Analys och Utvärdering och Universitetsbiblioteket. Till organiseringen hör också innebörder av ranking och motsvarande praktiker relativt forskning om just högre utbildning och forskning. Här kan Institutionen för pedagogik och specialpedagogik med dess kompetenser och nätverk vara en samarbetspartner. 44 http://globalhighered.wordpress.com/2010/09/21/governing-world-university-rankers-an-agenda-for-muchneeded-reform/ och http://globalhighered.wordpress.com/2010/06/23/bibliometrics-global-rankings-and-transparency/ http://www.insidehighered.com/blogs/globalhighered/bibliometrics_global_rankings_and_transparency 45 Se t.ex. http://www.universityworldnews.com/article.php?story=20100205113219232 12
Vidare är det rimligt att samarbeta i landet vad gäller den information som ska rankinglistorna bygger på och som med fördel kan hanteras centralt. 46 Det är också rimligt att universitetet kan presentera kompletterande och lättillgänglig information som kan ta vid där rankinglistorna slutar, eftersom olika intressenters eventuella val av GU är en flerstegsprocess. För universitetets vidkommande är det exempelvis mycket viktigt att webb-sidor m.m. är informativa och uppdaterade, t ex för studenter som väljer mellan olika universitet, eller för andra universitet som sonderar terrängen för samarbete och utbyte på olika sätt. Här måste en kontinuerlig uppdatering ske på olika språk. Avslutningsvis: Vi har gått igenom och analyserat internationella rankinglistor med dess brister och eventuells skadeverkningar. Givet en insikt om detta kan det vara rimligt att se framåt hur ska vi överskrida rankinglistornas begränsningar och föra en professionell diskussion om universitetets verksamhet i ett landskap där samarbete och kritiska samtal blir en realitet? 46 Något som bland annat innebär krav på revidering av LADOK. 13
Bilaga 1: Indikatorer hos fyra rankinglistor. En preliminär översikt sammanställd på basis av Rankinglistor för universitet en katalog. Avdelningen för analys och utvärdering, Rapport 2010:03. Shanghai-listan THE-listan U-multirank för lärosäten QS-listan Alumni (10%): Antal personer med examen från lärosätet som fått Nobelpris mm Awards (20%): Antal personer som var verksamma vid lärosätet när de fick Nobelpris mm. Högt Citerade (20%): Antal anställda som finns på Thomson-Reuters lista över mest citerade Nature & Science (20%): Antal originalartiklar under de senaste fem åren i dessa tidskrifter Publikationer (20%): Antalet originalartiklar i Social Science Citation index och Science Citation index under föregående år Viktade poäng (10%): Antalet poäng delat med antalet lärare Inkomster från näringslivet (2,5%): Forskning (30%): bestående av. Ryktbarhetssurvey (19,5 %). Forskningsanslag (5,25%). Publikationer/anställd (4,5%). Anslagsfördelning (0,75%) Citeringar (32,5%): Citation impacts enligt Thomson- Reuters Internationell blandning (5%):. internationella vs nationella lärare (3%). internationella vs nationella studenter (2%) Undervisning (30%):. Ryktbarhetsenkät (15%). Disputation/lärare (6%). Utexaminerade/lärare (4,5). inkomst/lärare (2.25%). Fil D/Fil Kand (2.25%) Regionalt engagemang:. anslag från regionen. samhällsengagemang. forskningskontrakt med näringslivet.regionalt inflytande Forskning:. internationella priser och stipendier. högt citerade publikationer. fältnormaliserad citeringsimpact. forskningsanslag.forskningsproduktivitet.tvärdisciplinär forskning. konstrelaterat utfall. kostnader för forskning.forskninganslag erhållna i konkurrens Kunskapsutbyte. incitament. forskningskontrakt med näringslivet.omfattning teknologitransfer.kurser för professionell utveckling. gemensamma offentliga och från näringslivet - forskningsanslag. gemensamma publikationer näringsliv/universitet. konstnärliga utmärkelser och priser Internationell orientering.antal program på främmande språk. internationella lärare och studenter. sampublikationer internationellt. internationellt utbildningssamarbet. inflyttade och utflyttade studenter Undervisning och lärande:. Mångdisciplinära program. Relativ arbetslöshet bland utexaminerade..genomströmning Observera: fler indikatorer på institutionsnivå Ryktbarhetsenkät riktad till akademiker globalt (40%): Enkät riktad till potentiella arbetsgivare globalt (10%) Antal lärare/forskare i förhållande till studentantalet (20%) Citeringar i förhållande till antal (heltidsekvivalenter) lärare/forskare (20%) Andelen lärare/forskare med utländskt medborgarskap (5%) Andelen studenter med utländskt medborgarskap (5%) 14
REFERENSER Academic ranking of world universities http://ed.sjtu.edu.cn/ranking.htm Ahrne, G. & Brunsson, N. (2009): Complete and incomplete organisation (Scores Reports 2009:2). Stockholm: University. Avdelningen för analys och utvärdering vid Göteborgs Universitet: Rankinglistor för universitet en katalog. Rapport 2010:03 Cavallin, M. & Lindblad, S., (2006), Världsmästerskap i vetenskap? En granskning av internationella rankinglistor och deras sätt att hantera kvaliteter hos universitet. Göteborgs universitet: Dnr GII 530/06. Dill, D. D., & Soo, M. (2005) Academic quality, league tables, and policy: A cross-national analysis of university ranking systems. Higher Education 49, ss 495-533 Espeland, W., N., & Sauder, M. (2007): Rankings and Reactivity: How Public Measures Recreate Social Worlds. American Journal of Sociology, Vol 113, No 1, p 1-40ö Federkill, G. (2009): Reputation Indicators in Rankings of Higher Education Institutions. I Kehm, B. M. & Stensaker (Eds): University Rankings, Diversity and the New Landscape of Higher Education. Rotterdam: Sense Lindblad, S. & Foss Lindblad, R. (2009): Transnational Governance of Higher Educaiton Popkewitz, T. & Rizvi, F., (Eds.) (2009): Globalization and the Study of Education.Chicago: National Soci-ety for the Study of Education Yearbook, Volume 108, Number 2. Gibbons, M., Limoges, C., Nowotny, H., Schwartzman, S., Scott, P. & Trow, M. (1994) The New Production of Knowledge: The Dynamics of Science and Research in Contemporary Societies. London: Sage Publications. Hacking, I. (1999). The Social Construction of What? Cambridge, Mass. : Harvard Univ.Press Hazelkorn, E. (2007) The Impact of League Tables and Ranking Systems on Higher Education Decision-Making. Higher Education Management and Policy, 19(2), pp 81-105. Hazelkorn (2009): Rankings and the Battle for World-Class Excellence: Institutional Strategies and Policy Choices. OECD: Higher Education Management and Policy. Volume 21, No 1. Högskoleverket: Rankning av universitet och högskolor som studentinformation? Rapport 2008:40 R Kehm, B. M. & Stensaker, B. (Eds): University Rankings, Diversity and the New Landscape of Higher Education. Rotterdam: Sense Locke, William; Verbik, Line; Richardson, John T. E. and King, Roger (2008). Counting What Is Measured or Measuring What Counts? League Tables and Their Impact On Higher Education Institutions in England. Higher Education Funding Council for England, Bristol, UK. Institutions in England MacRoberts, M.H., & MacRoberts, B.R. (1996): Problems of citation analysis. Scientometrics 36:3, ss 435-444 Marginson, S. (2009): University rankings, government and social order: Managing the field of higher education according to the logic of the performative present-as-future. In Simons, M., Olssen, M. & Peters, M. (eds): Re-reading Education Policies. Studying the policy agenda of the 21 st century. Rotterdam: Sense. 15
Marginson, S. (2009): Global University Rankings: Some potentials. I Kehm, B. M. & Stensaker (Eds): University Rankings, Diversity and the New Landscape of Higher Education. Rotterdam: Sense McCormick, A. C. and C. M. Zhao (2005). Rethinking and Reframing the Carnegie Classification. Change (September/October): 51 57. Merisotis, J. P. (2003). On the Ranking of Higher Education Institutions. Higher Education in Europe 27(4): 361 364. Moed, H. F. (2005). Citation Analysis in Research Evaluation. Dordrecht,Springer. Nowotny, H., Gibbons, M. & Scott, P. (2001): Rethinking Science: Knowledge and the Public in an age of Uncertainty. Cambridge: Polity Press. Pengar till forskning 2003 (http://www.eu.adm.gu.se/pengar_forskning_2003.pdf) Power, M. (1997). The Audit Society. Rituals of Verification. Oxford: Oxford University Press. Sahlin, K. (2010): Styrning och organisation av universitet och högskolor: Ideal, reformer och utvecklingstendenser.( Manus) Sandström, U., & Wadskog, D. (2004) Internationella publiceringar från svenska lärosäten. 2004. (Rapporter och PM från analysenheten) http://www.vr.se/publikationer/sida.jsp?resourceid=259 Scientific Research in Finland A Review of Its Quality and Impact in the Early 2000s Editors: Timo Oksanen, Annamaija Lehvo & Anu Nuutinen 2003. Stensaker, B. & Kehm, B., M. (2009): Why a book about Ranking? I Kehm, B. M. & Stensaker (Eds): University Rankings, Diversity and the New Landscape of Higher Education. Rotterdam: Sense SUHF Rekommendationer med anledning av undertecknandet av Berlin Declarationen on Open Access to Knowledge in the Sciences and Humanities http://www.suhf.se/binaryloader.aspx?objectid=108&propertyname=filelist&propertyvalueindex=0& CollID=File Usher, A. & Medow, J. (2009): A global survey of university rankings and league tables. I Kehm, B.,M. & Stensaker, B. (eds). Van Raan, A. (2005) Fatal Attraction. Conceptual and methodological problem in the ranking of universities by bibliometrical methods. Scientometrics. 50(2005):1 ss 133-143 van Vught, F. A., Ed. (2009). Mapping the Higher Education Landscape: Towards a European Classification of Higher Education. Dordrecht: Springer. Wedlin, L. (2006): Ranking business schools: forming fields, identities and boundaries in international management education, Cheltenham: Edward Elgar. World University Rankings, Times Higher Education Supplement, 2004 November Årsredovisning Göteborgs universitet. 2003 ss 28-30. http://www.gu.se/digitalassets/103647_ar2003.pdf 16