Lindblad & Cavallin: University Ranking at the University of Gothenburg: Principal analyses and organization proposals.

Transkript

1 / Sverker Lindblad, Professor i pedagogik Mats Cavallin, Biträdande Överbibliotekarie Lindblad & Cavallin: University Ranking at the University of Gothenburg: Principal analyses and organization proposals. Abstract: International ranking lists such as the Shanghai- list and the Times Higher Education list are described and analyzed in three different ways: (a) as representations of universities, (b) as governing tools based on epistemic attitudes and actions among stakeholders such as students, policy- makers, as well as governing bodies at universities and academic teachers, and (c) in terms of looping such as self- categorizations and playing the ranking game. It is argued that ranking lists are problematic in terms of representing universities. They are biased in terms of linguistic and cultural features, their use of indicators are privileging certain kinds of publications as well scientific fields, they are based on certain conceptions of universities, and they are excluding parts of Academia that does not fit with the ranking list indicators. However, the ranking phenomenon is a reality in higher education and research today, given their use by stakeholders as a basis for decision- making. Given this combination of problematic representation and the uses of rankings as governing tools might turn into problematic looping in several ways. Based on these consideration it is argued that universities should deal with ranking lists in a selective way using lists and indicators that are valid relative to to the ranking constructors in combination with demands of sufficient transparency and detailed information on indicators etc. Furthermore, it is argued that Universities and University Colleges should cooperate in different ways in order to deal with rankinglists. Finally, a simple organization to deal with university ranking lists is outlined.

2 1. Introduktion Cavallin, M. and S. Lindblad 2006, Världsmästerskap i vetenskap? En granskning av internationella rankinglistor och deras sätt att hantera kvaliteter hos universitetet. Göteborg: Göteborgs Universitet Dnr G11 530/06. 2 Arbetet har genomförts i nära samarbete med GUs Avdelning för Analys och Utvärdering i form av möten och informationsutbyte samt med den företrädare inom universitetet som är verksam i Bolognaexpertgruppen. Inalles har tre möten och ett seminarium genomförts. Vidare har rankingfrågorna diskuterats i Göteborgs universitets kvalitetsråd och vad gäller svenskt och internationellt samarbete i Svenska Universitets- och 2

3 Tabell 1: Internationella rankinglistor namn, rankingkonstruktör, källor och årtal för första publicering samt senaste placering för Göteborgs universitet. Namn Rankingkonstruktör Datakällor Start GU position senast Shanghai- listan: Academic Ranking of World Universities Institute of Higher Education vid Shanghai Jao University Bibliometrier samt akademiska utmärkelser THE: Times Higher Education World University Ranking Webometrics CHE (Die Zeit- listan) som U- map- föregångare Leiden- listan: CWTS Times Higher Education i dag i samarbete med Thomson Reuters. Cybermetrics Lab med stöd av spanskt forskningsråd Centre for Higher Education Development. Centre for Science and Technology Studies vid University of Leiden. Quacquarelli Symonds Limiteds Enkäter om ryktbarhet och bibliometrier samt information från lärosäten. Nytt sedan Närvaro på webben Bibliometrier, studentenkät internationalisering 2007 Områden, ej lärosäten Bibliometrier QS Top University Enkäter om ryktbarhet. Rankings. Tidigare Bibliometrier, insamlad information samarbete med THE från lärosäten Källa: Rankinglistor för universitet en katalog. Avdelningen för analys och utvärdering, Rapport 2010: Högskoleförbundets (SUHF) grupp för rankingfrågor, där Sverker Lindblad ingår som medlem. Stort tack till alla som deltagit i diskussioner och som bidragit till utvecklingen av vårt arbete. 3 Jfr Lindblad, S. (2008). Navigating in the Field of University Positioning: on international ranking lists, quality indicators and higher education governing. European Educational Research Journal. 7 (4) s Cavallin & Lindblad: Ranking som Realitet. (Manus för översättning till engelska) university- rankings/ 7 rankings/world- university- rankings 8 Rankinglistor för universitet en katalog. Avdelningen för analys och utvärdering, Rapport 2010:03. Man utnyttjar här de s.k. Berlinprinciperna som underlag för bedömning av rankinglistor. Se här också the International Ranking Expert Group (IREG). 9 Se map.eu och multirank.eu 3

4 Lärosäten Ranking som Representation 2 Ranking som Styrredskap Figur 1: Ranking- triangel som analysmodell 10 Jfr Marginson (2009, p 85) som menar att ranking är ett teknik att hierarkisera kunskapssamhället. Se också Boulton (2010, p 9). 11 Se här Usher & Medow (2009), samt den genomgång som gjorts av Avdelningen för analys och utvärdering vid Göteborgs universitet, och Högskoleverkets Rapport om Ranking som studentinformation 12 Se Lindblad, S. & Foss Lindblad, R. (2009): Transnational Governance of Higher Educaiton Popkewitz, T. & Rizvi, F., (Eds.) (2009): Globalization and the Study of Education. Chicago: National Society for the Study of Education Yearbook, Volume 108, Number 2. Se också sym European Educational Research Association I Wien 2009 samt planering för

5 Ovanstående genomgång gav en översiktlig bild över rankinglistor internationellt och på svensk mark. I figur 1 har vi försökt ge en bild av relationer mellan ranking som representation och som styrredskap med fokus på lärosäten. Vi använder den för att strukturera vårt arbete. Modellen bygger på tre dubbelriktade relationer markerade av pilarna i förhållande till vilka följande frågor ställs enligt pilarnas nummer: 1. Hur ser rankinglistornas representationer av lärosäten ut? Vad är det för mått som används och vilken kvalitet har dessa mått? Ger de rättvisande bilder av lärosäten? Förekommer det någon bias i framtagandet av dessa bilder? 2. Hur används ranking som styrredskap? Hur lyfts rankinglistor fram och diskuteras? Används rankinglistor som underlag för olika beslut? Vilka använder sig av listorna? 3. Hur kan rankinglistorna få konsekvenser för lärosäten och för högre utbildning och forskning i Tar lärosätena till sig sin position i de koordinater som skapas av rankinglistorna? Sker motsvarande bland andra aktörer? Fattar universitetsledningar strategiska beslut för att lärosätet ska falla bättre ut på just de mått som utnyttjas i listkonstruktionerna eller för att förändra sin kategoritillhörighet? Betraktat som en realitet inom högre utbildning och forskning är ranking också en realitet som behöver hanteras inom akademin som representation, som styrredskap och i form av looping Jfr Sahlin, K. (2010) om styrprinciper för högre utbildning, och Ahrne, G. & Brunsson, N. (2009): Complete and incomplete organisation (Scores Reports 2009:2). Stockholm: University. 14 Se här länkarna givna i fotnoterna 3-5 för olika argument för rankinglistor 15 rankingresultaten. QS- listan är ganska konsumentinriktad med information om det universitet man intresserar sig för under det att THE- listan ger mera detaljer kring rankingens delresultat. Som en del av det mobila nätet d de målgrupper som finns. Samtidigt finner man inte mer än information från det senaste året. 16 T.ex. Stensaker & Kehm (2009, p viii ff) 17 van Raan, A., F., J. (2005): Fatal Attraction: Conceptual and Methodological Problems in the Ranking of Universities by Bibliometric Methods. Scientometrics, Vol 62, No 1, Marginson, S. (2009): University rankings, government and social order: Managing the field of higher education according to the logic of the performative present- as- future. In Simons, M., Olssen, M. & Peters, M. (eds): Re- reading Education Policies. Studying the policy agenda of the 21 st century. Rotterdam: Sense. 5

6 Cavallin och Lindblad (2011) visar på rejäla brister hos de internationella rankinglistor som representation av högre utbildning och forskning: Språklig och kulturell bias: Universitet i engelskspråkiga delar av världen rankas som regel mycket högre än universitet med världsspråk som tyska, spanska, franska eller ryska som bas. Svenska som vetenskapligt språk är i rankingsammanhang något av en omöjlighet. Favorisering av vissa vetenskapliga publikationsformer: I stort är det en viss typ av vetenskaplig publikation som räknas, nämligen artiklar publicerade i peer- reviewade tidskrifter. Monografier och böcker får mindre värde i de internationella jämförelsernas värld. Betoning av vissa vetenskapsområden: Matematik och naturvetenskap, teknik och medicin är områden som ges störst tyngd, medan humaniora, samhälls- och utbildningsvetenskap, samt konstnärlig verksamhet väger lätt i de studerade internationella rankinglistorna. Särskild infrastrukturell bas: Lärosäten organiserade som nordamerikanska forskningsuniversitet utgör ofta ideal för konstruktionen av rankingmått world- university- rankers- an- agenda- for- much- needed- reform/ 20 Se här bidraget av Foss Lindblad, Lindblad & Popkewitz: International University Ranking Lists: What is the Game and what are the arts of its practices? e i New York En viktig poäng I sammanhanget är skillnader mellan kontinentala och nord- amerikanska universitet, där rankinglistorna är byggda för att passa nordamerikanska universitet som Harvard och MIT. 21 Se här van Vught (2009) och det av Europakommissionen stödda U- map och U- multirank. Se särskilt Mapping Diversity Developing a European Classification of Higher Education Institutions från CHEPS. 22 Se McCormick & Zhou (2005): Rethinking and reframing the Carnegie Classification. Change September/October 2005, p

7 Utestängning av sådan verksamhet som inte kan hanteras av rankinglistorna. Till detta kommer mer funktionsmässiga problem hos de internationella rankinglistorna: Instabilitet i rankingar: Det verkar inte rimligt att de variationer som finns över tid och mellan rankinglistor svarar mot svängningar i universitetens vetenskapliga kvalitet. Bristande transparens: Det är problematiskt att urskilja vilka mått som används och hur sammanvägningar sker. Multi- dimensionell ranking kan ses som försök att motverka vissa brister hos de internationella rankinglistorna genom att ge möjligheter att urskilja olika typer av universitet och jämföra dem på deras egna premisser. 23 Samtidigt ska man försöka ge möjligheter att göra jämförelser inom avgränsade områden. Det bedrivs nu försöksverksamhet med multi- dimensionell ranking, men själva principen åskådliggörs av CHE- listan där exempelvis kvaliteten inom psykologi eller statskunskap jämförs över olika universitet. 24 Ett problem är att kategoriseringarna kräver en indelning i områden som är jämförbara, t ex i termer av institutionsindelning. Detta tyder på att multi- dimensionell ranking kan medföra ett rejält mått av re- klassificering och omstrukturering av lärosäten såväl som högskolefältet nationellt och internationellt Se map.eu och multirank.eu 24 vid- goteborgs- universitet- hogt- rankade- i- europeisk- jamforelse.cid Vid EAIE (European Association for International Education) konferens i Nantes 2010 användes exempelvis QS top 200 listan för att bedöma vilka som var "värdiga" ett samarbetsavtal. Enligt deltagare var sådana bedömningar av ökande betydelse. Liknande noteringar behöver undersökas ytterligare. 26 Se t ex Locke et al (2008): Counting What Is Measured or Measuring What Counts? League Tables and Their Impact On Higher Education Institutions in England. 27 Se OECD Higher Education Management and Policy. Vol 21, No

8 Se här Hazelkorn (2009): Rankings and the Battle for World- Class Excellence: Institutional Strategies and Policy Choices. OECD: Higher Education Management and Policy. Volume 21, No Se Espeland & Sauer (2007) och Wedlin (2006) 31 appropriate otherwise governments and institutions risk transforming their system and institutions to co 32 Se här Högskoleverkets genomgång av rankinglistor som studieinformation, Högskoleverket Rapport 2008:40 R. och Locke et al (2008): Counting What Is Measured or Measuring What Counts? League Tables and Their Impact On Higher Education Institutions in England. 33 J 34 Federkill (2009) analyserar relationen mellan mått på ryktbarhet och på aktuella prestationer och menar att ryktbarhet som sådant inte är ett mått på kvalitet. by the surveys of comparative ranking are the worst 35 Jfr särskilt Hacking (1999) och frågor om hur kategorisering och självkategorisering samspelar. 36 Espeland & Sauder (2007) är en av de få som lyft fram denna principiella problematik i deras fall vad beträffar ranking av juristutbildningar. 8

9 Vi gör här en kort sammanställning som följer av vår genomgång av rankinglistorna. Vi har därvid ställt samman tio uppgifter som vi menar universitetet bör ta itu med Bygger på distinktionen spel- tävling. Se t.ex. articles/new- straits- times/mi_8016/is_ /play- ranking- game/ai_n /

10 Våra genomgångar visar på att rankinglistor måste hanteras som strategiskt viktig information på tre olika sätt. För det första krävs att universitetsledningen inte faller till föga för rankinglistornas enkla 39 Se här den remissarbetet rörande omorganiseringen av Göteborgs universitet. g- - teborgs- universitet pdf 10

11 retorik om att ett mått täcker allt. Det är universitetets värden, normer och strategiska överväganden som måste fälla avgörandet. Detta kräver i sin tur att man bedömer vilka indikatorer som eventuellt är intressanta och då också vilka utestängningar och skevheter som finns i rankingarna. Annorlunda uttryckt om man från universitetets sida inte gör sådana bedömningar bör man också avstå från att utnyttja ranking som mått på verksamheter inom universitets- och högskolesystemet. Underlag för sådana bedömningar finns i dokumentationen av vårt arbete, i ett antal referenser till den här promemorian och i de rapporter som Avdelningen för Analys och Utvärdering publicerat. För det andra är det rimligt att ledningen har klart för sig vilken viktig information som saknas eller marginaliseras i rankinglistorna. Ser man exempelvis till de bibliometriska indikatorerna så är det en stor del av universitetets produktion som inte märks exempelvis inom humaniora, samhällsvetenskap och konst. Detta måste man också förhålla sig till relativt universitetets uppgifter som helhet. Enligt vår mening bör universitetsbibliotekets bibliometriska expertis utnyttjas för detta ändamål. För det tredje är rankinglistorna baserade på det som varit och har i den meningen en inbyggd och teknifierad konservatism. Om man ser detta är det rimligt att kliva utöver rankinglistornas mått och lyfta och diskutera de frågor som är viktiga för framtiden inom våra olika områden och med de professionella resurser och nätverk som vi kan utnyttja. En närliggande fråga är då styrprinciper för universitet. 40 Rankinglistor passar väl in i företagsinriktad och redovisningsinriktad styrning där vetenskapliga diskussioner och argument i forskning och undervisning inte syns. Vi menar att man styrredskap genom kollegiala diskussioner något som bland annat utredningen om universitets omorganisering ger utrymme för. Sådan forskningsprövning bör då också vila på studier av högre utbildning och forskning och analyser av relationer mellan vetenskap och samhälle för att vara trovärdig. 41 Efter vad vi i dag kan se är ett lämpligt forum det nu föreslagna Forskarkollegiet vid universitetet. En strategiskt viktig fråga är hur och i vad mån universitetet ska engagera sig i rankingverksamhet, dels genom att organisera inlämning av information till rankingfabrikanter och analysera utfallet av rankingar, dels genom att delta i arbetet att utveckla rankinglistor som U- Map och U- Multirank. Enligt vår uppfattning är det rimligt att universitetet avsätter resurser för att leverera information och följa upp hur universitetet representeras i mer betydelsefulla rankinglistor. Deltagande i verksamheten för U- Map och U- Multirank är något mer svårbestämd, dels på grund av kritik mot dessa listor som sådana, dels på grund av att arbetet med dessa listor kräver en hel del insatser för insamling och omorganisering av data. 42 Vårt förslag är att universitetet preliminärt deltar i detta arbete och därefter fattar beslut om fortsatt deltagande Kerstin Sahlin (2010) presenterar i ett manus om styrning och organisation av högskolan en analys av olika styrprinciper i relation till olika styrstrukturer och ledningsideal. Som vi ser det passar rankinglistor väl in i en gransknings- eller företagsmässig, men inte särskilt väl i en professionell eller förvaltningsmässig styrprincip. 41 Jfr Gibson et al (1994) och Nowotny et al (2001). 42 Veterligen har Karolinska Institutet och Lunds universitet avbrutit deltagandet 43 Här är det relevant att inhämta Chalmers erfarenheter av pilotprojektet med U- multirank. 11

12 Organisering inom Göteborgs Universitet Universitetsledningen har ett strategiskt ansvar för att hantera rankingfrågor. Det är då rimligt att utnyttja den kompetens och de resurser som finns vid Avdelningen för Analys och Utvärdering samt inom Bibliometrifunktionen vid Universitetsbiblioteket, som redan tidigare även arbetat med rankingfrågor. Det är viktigt att det samarbete som redan är etablerat med analysavdelningen fortsätter med tydligare/formaliserade roller mellan Avdelningen för Analys och Utvärdering och Universitetsbiblioteket. Till organiseringen hör också innebörder av ranking och motsvarande praktiker relativt forskning om just högre utbildning och forskning. Här kan Institutionen för pedagogik och specialpedagogik med dess kompetenser och nätverk vara en samarbetspartner world- university- rankers- an- agenda- for- much- needed- reform/ och global- rankings- and- transparency/ 45 Se t.ex. 12

13 Vidare är det rimligt att samarbeta i landet vad gäller den information som ska rankinglistorna bygger på och som med fördel kan hanteras centralt. 46 Det är också rimligt att universitetet kan presentera kompletterande och lättillgänglig information som kan ta vid där rankinglistorna slutar, eftersom olika intressenters eventuella val av GU är en flerstegsprocess. För universitetets vidkommande är det exempelvis mycket viktigt att webb- sidor m.m. är informativa och uppdaterade, t ex för studenter som väljer mellan olika universitet, eller för andra universitet som sonderar terrängen för samarbete och utbyte på olika sätt. Här måste en kontinuerlig uppdatering ske på olika språk. Avslutningsvis: Vi har gått igenom och analyserat internationella rankinglistor med dess brister och eventuells skadeverkningar. Givet en insikt om detta kan det vara rimligt att se framåt hur ska vi överskrida rankinglistornas begränsningar och föra en professionell diskussion om universitetets verksamhet i ett landskap där samarbete och kritiska samtal blir en realitet? 46 Något som bland annat innebär krav på revidering av LADOK. 13

14 Rankinglistor för universitet. Avdelningen för analys och utvärdering, Rapport 2010:

15 REFERENSER Academic ranking of world universities Ahrne, G. & Brunsson, N. (2009): Complete and incomplete organisation (Scores Reports 2009:2). Stockholm: University. Avdelningen för analys och utvärdering vid Göteborgs Universitet: Rankinglistor för universitet en katalog. Rapport 2010:03 Cavallin, M. & Lindblad, S., (2006), Världsmästerskap i vetenskap? En granskning av internationella rankinglistor och deras sätt att hantera kvaliteter hos universitet. Göteborgs universitet: Dnr GII 530/06. Dill, D. D., & Soo, M. (2005) Academic quality, league tables, and policy: A cross- national analysis of university ranking systems. Higher Education 49, ss Espeland, W., N., & Sauder, M. (2007): Rankings and Reactivity: How Public Measures Recreate Social Worlds. American Journal of Sociology, Vol 113, No 1, p 1-40ö Federkill, G. (2009): Reputation Indicators in Rankings of Higher Education Institutions. I Kehm, B. M. & Stensaker (Eds): University Rankings, Diversity and the New Landscape of Higher Education. Rotterdam: Sense Lindblad, S. & Foss Lindblad, R. (2009): Transnational Governance of Higher Educaiton Popkewitz, T. & Rizvi, F., (Eds.) (2009): Globalization and the Study of Education.Chicago: National Soci- ety for the Study of Education Yearbook, Volume 108, Number 2. Gibbons, M., Limoges, C., Nowotny, H., Schwartzman, S., Scott, P. & Trow, M. (1994) The New Production of Knowledge: The Dynamics of Science and Research in Contemporary Societies. London: Sage Publications. Hacking, I. (1999). The Social Construction of What? Cambridge, Mass. : Harvard Univ.Press Hazelkorecision- Higher Education Management and Policy, 19(2), pp Hazelkorn (2009): Rankings and the Battle for World- Class Excellence: Institutional Strategies and Policy Choices. OECD: Higher Education Management and Policy. Volume 21, No 1. Högskoleverket: Rankning av universitet och högskolor som studentinformation? Rapport 2008:40 R Kehm, B. M. & Stensaker, B. (Eds): University Rankings, Diversity and the New Landscape of Higher Education. Rotterdam: Sense Locke, William; Verbik, Line; Richardson, John T. E. and King, Roger (2008). Counting What Is Measured or Measuring What Counts? League Tables and Their Impact On Higher Education Institutions in England. Higher Education Funding Council for England, Bristol, UK. Institutions in England MacRoberts, M.H., & MacRoberts, B.R. (1996): Problems of citation analysis. Scientometrics 36:3, ss Marginson, S. (2009): University rankings, government and social order: Managing the field of higher education according to the logic of the performative present- as- future. In Simons, M., Olssen, M. & Peters, M. (eds): Re- reading Education Policies. Studying the policy agenda of the 21 st century. Rotterdam: Sense. 15

16 Marginson, S. (2009): Global University Rankings: Some potentials. I Kehm, B. M. & Stensaker (Eds): University Rankings, Diversity and the New Landscape of Higher Education. Rotterdam: Sense Change (September/October): Merisotis, J. P. (2003). On the Ranking of Higher Education Institutions. Higher Education in Europe 27(4) 364. Moed, H. F. (2005). Citation Analysis in Research Evaluation. Dordrecht,Springer. Nowotny, H., Gibbons, M. & Scott, P. (2001): Rethinking Science: Knowledge and the Public in an age of Uncertainty. Cambridge: Polity Press. Pengar till forskning 2003 ( Power, M. (1997). The Audit Society. Rituals of Verification. Oxford: Oxford University Press. Sahlin, K. (2010): Styrning och organisation av universitet och högskolor: Ideal, reformer och utvecklingstendenser.( Manus) Sandström, U., & Wadskog, D. (2004) Internationella publiceringar från svenska lärosäten (Rapporter och PM från analysenheten) Scientific Research in Finland A Review of Its Quality and Impact in the Early 2000s Editors: Timo Oksanen, Annamaija Lehvo & Anu Nuutinen Stensaker, B. & Kehm, B., M. (2009): Why a book about Ranking? I Kehm, B. M. & Stensaker (Eds): University Rankings, Diversity and the New Landscape of Higher Education. Rotterdam: Sense SUHF Rekommendationer med anledning av undertecknandet av Berlin Declarationen on Open Access to Knowledge in the Sciences and Humanities CollID=File Usher, A. & Medow, J. (2009): A global survey of university rankings and league tables. I Kehm, B.,M. & Stensaker, B. (eds). Van Raan, A. (2005) Fatal Attraction. Conceptual and methodological problem in the ranking of universities by bibliometrical methods. Scientometrics. 50(2005):1 ss van Vught, F. A., Ed. (2009). Mapping the Higher Education Landscape: Towards a European Classification of Higher Education. Dordrecht: Springer. Wedlin, L. (2006): Ranking business schools: forming fields, identities and boundaries in international management education, Cheltenham: Edward Elgar. World University Rankings, Times Higher Education Supplement, 2004 November Årsredovisning Göteborgs universitet ss