Rankning av Universitet en kort översikt

Biblioteksdirektionen Vetenskaplig kommunikation och bibliometri Rankning av Universitet en kort översikt Rapport från Biblioteksdirektionen Lunds Universitet 2005 Ingegerd Rabow Hampus Rabow

Inledning Intresset för rankning eller ranking av utbildnings och forskningsinstitutioner har ökat markant på senare år, speciellt i Europa och Asien. 1 I USA har olika rankinglistor länge varit standardreferenser för studenter som väljer mellan olika utbildningsinstitutioner. Den utbildning där olika rankningar haft störst betydelse är förmodligen MBA. Det ökade intresset för rankning kan antas bero på ett antal samverkande faktorer. Studenter och forskare har fått en ökad rörlighet, samtidigt som universitetsstrukturen blivit alltmer komplex. Ofta har gränserna mellan universitet och andra typer av utbildnings eller forskningsinstitutioner blivit otydliga. 2 Universitetsadministratörer har sett hur finansiering och rekrytering blivit mer labil och beroende av hur studenter, forskare och andra bedömer kvaliteten. Politiker och industriledare i regioner som Europa och Kina vill att de egna utbildningarna ska kunna mäta sig med de bästa universiteten i USA. Rankningsproblematiken är delvis skild från det mer övergripande problemet med att utforma olika prestationsindikatorer 3 för området forskning & utbildning. I det senare fallet handlar det endast om att hitta indikatorer som kan användas för att se hur uppställda mål har uppfyllts. Vid rankning är en av svårigheterna att relevansen av olika kriterier ytterst sällan diskuteras på ett systematiskt sätt. Normalt kan man endast indirekt se hur olika kriterier värderas genom att se hur olika indikatorer beräknats och viktats i metodologin. Ibland är dock inte den bakomliggande metodologin tillgänglig överhuvudtaget, och även när den är det kan den vara svårtillgänglig för normala konsumenter. 4 Även när många olika delkriterier redovisas separat, vilket ibland är fallet, är även dessa delkriterier ofta sammanställda från ett antal olika indikatorer med olika vikt. 5 Den primära målgruppen för rankningar är förstås studenter som dels vill ha en så bra utbildning som möjligt och dels vill ha examen från en institution med hög 1 U.S. News & World Report började publicera rankings 1983. Der Spiegel rankade tyska universitet 1989. The Times rankade årligen brittiska universitet från 1993. I Sverige började Moderna Tider publicera rankningar 1999. 2 Denna utvecling har diskuterats mycket det senaste decenniet, se t.ex Etzkowitz & Leydesdorff (1997). 3 Med denna term avses indikatorer som på engelska benämns performance indicators eller output indicators, dvs indikatorer som används för att se hur en ekonomisk satsning eller policyimplementation fallit ut. Ofta har statistik som samlats in av offentliga forskningsfinansiärer använts i rankningar. The Times använde t.ex. data från Higher Education Funding Council for England (HEFCE), Scottish Higher Education Funding Council (SHEFC), och Higher Education and Funding Council for Wales (HEFCW). 4 En tidigare ganska uppmärksammad rankning av Nordamerikanska univeristet, The Gourman Report, som publicerats av den pensionerade statsvetaren Jack Gourman i åtta upplagor från 1967 till 1997, använde t.ex. en metodologi som var nästan helt okänd. Enligt utgivarna på the Princeton Review är konsumenterna aldrig intresserade av den bakomliggande metodologin. De vill bara veta resultatet. (Selingo, 1997). Senare har dock the Princeton Review publicerat egna rankings där man åtminstone delvis redovisar metodologin på ett lättfattligt sätt. 5 Det finns dock undantag som t.ex. Financial Times' MBA Rankings där man kan ranka institutionerna separat efter varje ingående kriterium. Dock finns även här en betydande osäkerhet om kriteriernas exakta innebörd. Exempelvis har man kriteriet research rating som i den totala rankningen viktas 10%. Denna baseras på antal publikationer i internationella tidskrifter i förhållande till institutionens storlek (antalet aktiva forskare och lärare). Dock framgår inte hur urvalet av tidskrifter skett eller om alla publikationer viktats lika mycket. 1

prestige bland presumtiva arbetsgivare. 6 Här finns emellertid också en feedback loop. Vissa företag lägger ner stora resurser på att rekrytera de bästa studenterna från de bästa universiteten. 7 Om ambitiösa studenter söker sig till topprankade institutioner kommer företagen att företrädesvis rekrytera från dessa institutioner. Liknande förhållande gäller ofta inom forskarvärlden. Forskningsintensiva företag vill samarbeta med toppinstitutioner och ambitiösa forskare söker sig till institutioner med goda resurser och andra framstående forskare. Även om alltså forskare inte direkt är konsumenter av rankings kan de indirekt påverkas av dem genom rankningarnas effekter på institutionerna. Både direkt, genom påverkan på politiska beslutsorgan och forskningsfinansiärer, och genom den potentiella feedbackspiralen, kan det alltså vara viktigt för universiteten att placera sig bra i rankningar med stort genomslag. Får man en bra placering kan man attrahera de bästa studenterna, få politiskt stöd, och samarbeta med ledande forskningsföretag. Därigenom kan man oftast också skapa en av de bästa forskarmiljöerna och knyta till sig bra lärare. Alltså blir det förhållandevis enkelt att bibehålla en ledande position. Hamnar man däremot långt ner på rankningen kan det på motsvarande sätt bli svårt att klättra uppåt. 6 Även i ett land som Tyskland där alla universitet sägs hålla hög kvalitet säger sig omkring en tredjedel av studenterna ta hänsyn till rankings vid valet av utbildningsinstitution. (Federkeil, 2002) 7 Dessutom kan förstås rankings också ha ett betydande marknadsföringsvärde för företag som samarbetar med ledande forskningsinstitutioner. Detta gäller såväl mot kunder och aktieägare som för rekrytering och personalutveckling. 2

De mest kända internationella rankningarna av universitet och högskolor De mest uppmärksammade internationella rankings av institutioner för högre utbildning och forskning är de som publiceras av Times Higher Education Supplement i London och Jiao Tong-universitetet i Shanghai. Jiao Tong har publicerat rankningar 2003 och 1994. THES, som publicerat nationella rankningar sedan 1993, följde efter med sin första världsrankning 2004. En tredje, om än mindre uppmärksammad, rankning under titeln Champions League har publiceras av CEST (Centrum för Vetenskaps och Teknikstudier) vid SWTR (schweiziska vetenskaps- och teknikrådet) i Bern med början 2001. Denna rankning är speciellt intressant eftersom den representerar ett försök att etablera en objektiv rankning på strikt vetenskaplig grundval. Efter kritik från ett schweiziskt universitet och en expertgrupp tillsatt av schweiziska utbildningsdepartementet har dock SWTR nyligen beslutat att CEST inte längre ska publicera Champions League i sin nuvarande form. 8 CESTs Champions Leaugue Basen för CESTs ranking var de publikationsdatabaser som publicerats av ISI (Institute of Scientitific Information i Philadelphia) för åren 1994-1999. De använde SCI (Science Citation Index) för naturvetenskap och teknik, SSCI (Social Sciences Citation Index) för samhällsvetenskap, och A&HCI (Arts and Humanities Citation Index) för konst och humaniora. För indelning efter ämnesområden använde de Current Contents som klassificerade vetenskapliga tidskrifter efter 25 huvudområden och 107 underområden. Champions League omfattade omkring 1000 forskningsinstitutioner (av de ca 50000 som fanns i databaserna). 60% utgjordes av universitet och högskolor, 23% var forskningsinstitut och sjukhus, 14% var företag, och 3% var internationella organisationer. 93% av institutionerna återfanns i OECD-länder och omkring en tredjedel i USA enbart. CEST använde sig av följande huvudindikatorer för sin rankning: 1) Publikationer totalt. Detta avser det totala antalet publikationer från en institution i databaserna. En institution med hög output i ledande forskningstidskrifter kan antas ha en väl fungerande infrastruktur och stora resurser för forskning. 2) Publikationer inom kvalificerat underområde. En forskningsinstitution kan förstås vara ledande inom ett eller flera områden utan att totalt sett tillhöra de mest produktiva. Därför noterade CEST också antalet publikationer inom det de kallar kvalificerat underområde. Ett underområde är alltså ett av de 107 områdena från Current Contents. Det är kvalificerat för en viss institution om denna institution har minst 50 publikationer i databaserna för tidsperioden och 8 Se SWTR (2005) 3

ett relativt citeringsindex (RZI) på minst 20. RZI räknas ut genom att antalet citeringar 9 inom ett underområde relateras till (divideras med) institutionens totala antal publikationer inom samma område. 10 Denna kvot relateras i sin tur till världsgenomsnittet för området. Kvoten normaliseras 11 sedan på en skala från -1 till 1 där 0 representerar världsgenomsnittet. Ett RZI på minst 20 innebär alltså att institutionen kan ses som ledande inom detta område. 3) Viktat genomsnittligt genomslag (impact). Impact mäts här genom RZI. CEST räknade ut RZI för alla underområden där institutionen hade en omfattande forskning (mer än 50 publikationer). Dessa underområden viktades sedan efter produktionen inom respektive område. (Ett område med dubbelt så många publikationer fick alltså dubbelt så stor vikt.) Denna indikator skulle alltså mäta den vetenskapliga relevansen och betydelsen av forskningen. 4) Specialiseringsgrad. Denna indikator räknades ut genom att institutionens publikationer inom ett underområde delades med dess totala antal publikationer. Denna kvot relaterades sedan till ett världsgenomsnitt. (Om t.ex. institutionen hade tre gånger större andel publikationer inom området x än världsgenomsnittet skulle värdet bli 3.) De så erhållna värdena för institutionens underområden kvadrerades därefter och adderades. Slutligen normaliserades värdena till en skala mellan 0 och 1. CESTs studier var pionjärarbeten och representerade som sagt ett försök att med vetenskapliga kriterier som underlag, jämföra världens ledande forskningsinstititutioner. Dock är de befattade med ett antal metodologiska svagheter. T.ex. var urvalet av publikationer i ISIs databaser i stort sett adekvat för naturvetenskap och teknik, men mer problematisk för samhällsvetenskap och humaniora. Databaserna indexerar enbart tidskrifter (alltså inte monografier eller redakterade volymer) och saknade dessutom många betydelsefulla tidskrifter inom vissa ämnesområden. Deras mått på genomslag, RZI, är dessutom problematiskt genom det sätt det beräknas. Genom att RZI kvadreras i normaliseringen får skillnader i närheten av världsgenomsnittet mycket större betydelse än skillnader längre från världsgenomsnittet. Dessutom kan användadet av fraktionella värden för institutionsangivelser och citeringar (jmfr not 10 ovan) leda till egendomliga resultat. Det vore bättre att använda det totala antalet adresser respektive referenser i databaserna för underområdet i nämnaren. Shanghai-rankningen Rankningen från Jiao Tong-universitetet har en betydligt lägre vetenskaplig ambitionsnivå än den från CEST. Däremot delar den målsättningen att grunda 9 Citeringar avser i detta sammanhang det engelska citations. Detta innebär förekomst i referenslistan. Det betyder alltså inte att en artikel citerats enligt normalt språkbruk. 10 För att vara mer exakt räknade CEST för RZI varje underområde en gång per artikel oavsett om tidskrift var klassificerad inom flera olika underområden. Däremot fick varje publikation bara en poäng som var omvänt proportionell mot antalet skilda adresser bland författarna och mot antalet referenser i den referenslista där arbetet var citerat. (CEST delade med antal adresser i ursprungspublikationen och antalet referenser i den citerande publikationen.) 11 Det är inte en normalisering i den gängse betydelsen anpassning av skala utan en projektion. Jmfr. diskussionen nedan. 4

rankningen på objektiva kriterier istället för enkätsvar. Precis som CEST använder man sig av ISIs databaser, men på ett annat sätt. Dessutom svarar publikationsdata endast för ca 2/3 av den totala vikten. Den sista tredjedelen härrör från statistik över nobelpris och (för matematik) Fields-medaljer. Medan endast ca 60% av CESTs institutioner var universitet eller högskolor avser Shanghai-rankingen endast universitet och högskolor. För publikationsdata använde Shanghai-rankningen liksom CEST, SCI 12 och SSCI, men också den speciella sammanställningen i Highly Cited Researchers 13. De räknade ut det totala antalet artiklar i SCI och SSCI och resultatet gavs vikten 20%. De använde också SCI för att hitta det totala antalet artiklar som publicerats i Nature och Science 14. Detta värde viktades likaså med 20%. Slutligen användes Highly Cited för att se hur många forskare från institutionen som fanns med. Även detta värde viktades med 20%. För nobelpris och Fields-medaljer tittade man dels på var pristagarna fått sina examina och dels på var de var verksamma när de tilldelades prisen. Prisen viktades omvänt proportionellt mot åldern, så att de tidigaste prisen endast fick en tiondel av de senaste prisens vikt. Priser till institutioner där forskarna tagit examen viktades sammanlagt till 10% och priser till institutioner där de var verksamma vid pristillfället till 20%. De sista 10 viktprocenten användes för att delvis kompensera för skillnader i storlek mellan olika forskningsinstitutioner. Resultatet av de övriga indikatorerna delades här med antalet heltidsekvivalenter för lärare och forskare. En stor svaghet med Shanghai-metodiken är som synes att stora universitet premieras starkt. En liten forskningsinstitution med relativt sett många nobelpris, citeringar och publikationer kan ändå hamna långt ner i rankinglistan (trots att den hamnar högt i den sista indikatorn som viktats med 10%). Eftersom man använder sig av oviktade totaler för antal publikationer och speciellt Highly Cited kommer vissa ämnesområden att gynnas på bekostnad av andra. Ett annat problem är att även stora universitet får förhållandevis mycket få nobelpris. Det kommer därför in en betydande slumpfaktor. Ett universitet som nyligen råkat få ett par nobelpris kan tillfälligt hoppa upp på listan. Dessutom kan ju universitetet vara framstående inom områden som saknar nobelpris (förutom matematik). Slutligen medför den stora vikten som ges till nobelpris en betydande eftersläpning i tid. Det är ju normalt sett åtskilliga år mellan forskning och nobelpris. Detta kan dels medföra att det dröjer innan en kvalitetsförändring registreras och dels att fel institution får poäng. Kanske har vid tiden för priset forskaren flyttat till ett universitet med trevligare klimat men sämre forskning. 15 12 Medan CEST använde den mindre version som fanns på CD använde Jiao Tong den utökade versionen på Web of Science. 13 Se http://www.isihighlycited.com/ 14 Detta mått användes inte för lärosäten som saknade naturvetenskap som t.ex. London School of Economics. 15 Ytterligare problem finns som gäller användningen av ISIs databaser. Dessa är dock för tekniska för att diskuteras här. För en introduktion till problemen se van Raan (2005). 5

THES World Rankings Urvalet i THES-rankningen är i princip detsamma som i Shanghai-rankningen. THES world rankings verkar ha tillkommit delvis som ett svar på Shanghai. Liksom CEST och Jiao Tong använder sig THES av ISIs databaser för att se hur många citeringar i förhållande till antelt forskare (faculty) institutionerna har. 16 De använde sig dock endast av databasen Essential Science Indicators, som inte innehåller publikationsdata utan bara statistik per forskningsinstitution. THES gav detta värde 20% vikt. Den största vikten (50%) gavs till något som de oegentligt 17 kallar peer review. Detta baseras på en enkät till 1300 akademiker i 88 länder 18 där de först fick ange vilka forskningsområden de bäst kände till och därefter vilka institutioner de ansåg vara bäst inom dessa områden. 20% vikt gavs också till antal akademisk personal (faculty) per student. En hög poäng här ansågs tyda på commitment to education. De återstående 10% av totalpoängen härrörde från andelen internationella studenter, respektive internationella anställda. Detta ansågs spegla institutionens attraktionskraft och prestige. Ett problem som tillkommer med THES är användningen av enkäter. Det är mycket oklart hur urvalet av de 1300 akademikerna gått till, hur många institutioner de fick uppge, och hur stor svarsprocenten var. Det finns stor risk att en sådan metod gynnar institutioner som är framträdande inom de områden som är kända av de utvalda akademikerna eller att man helt enkelt bara bekräftar de fördomar som finns. Antalet studenter per anställd speglar knappast bara commitment to education utan också t.ex. om institutionen är orienterad mot grundutbildning eller forskarutbildning eller ämnesprofil 19. Det finns heller ingen korrelation mellan indikatorerna faculty/student och international students, trots att de, åtminstone delvis, antas spegla samma förhållanden. Sammanfattning CESTs rankning är den med de högsta vetenskapliga ambitionerna och som använder data med högst precision. Deras data är intressanta och användbara, men tyvärr låter de sig inte omedelbart användas för den typ av rankning som de låter påskina. Medan Shanghai och THES producerar sinsemellan liknande listor har CEST ofta en helt avvikande rankning. Visserligen producerades det t.ex. mycket bra forskning på högskolan i Jönköping mellan 1994 och 1999, men skulle verkligen denna högskola rankas före bl.a. Harvard, Berkeley, Cambridge, Oxford och ETH i Zürich? 16 THES gjorde förstås inte detta själva, utan gav uppdraget till Evidence Ltd i Leeds. 17 I detta sammanhang avser termen peer review normalt kvalificerad anonymiserad referentbedömning av den typ som används av alla ledande vetenskapliga tidskrifter och många forskningsråd. 18 Enkäten utfördes av QS QuacquarelliSymonds Limited med huvudkontor i London. 19 Vissa ämnen har normalt mindre klasser och mer handledning än andra. 6

Trots att de använt ganska skilda metoder finns en betydande överensstämmelse mellan THES och Shanghai. Förklaringen att de 1300 som fick svara på enkäten påverkats av Shanghairankningen räcker knappast. Av de 10 högst rankade på THES lista återfinns 8 bland Shanghais topp 10. (De två andra finns på plats 11 respektive 27.) Omvänt finns de återstående 2 från Shanghai på plats 13 och 19 hos THES. Medan CEST och Shanghai helt utgår från forskningen har THES också försökt ta in undervisningskvaliteten. Detta tycks dock påverka resultatet ganska lite. De institutioner som hos THES får högst poäng på anställda/student och internationella studenter är Ecole Normale Supérieure i Paris, Johns Hopkins University i Baltimore, Yale University i New Haven, London School of Economics, RMIT University i Melbourne och Curtin University of Technology i Bentley utanför Perth. Dessa universitet hamnar i tur och ordning på platserna 30, 25, 8,11, 55 och 76 hos THES. I Shanghairankningen hamnar de fyra först nämnda på platserna 85, 22, 11 och 220. De två sistnämnda finns inte med. Skillnaden mellan platserna 55 och 220 för LSE har inte så mycket med utbildning att göra, utan beror på att Shanghai-metodiken missgynnar universitet med en samhällsvetenskaplig profil. Att RMIT och Curtin hamnar så högt hos THES (55 resp. 76), medan de hamnar utanför listan hos Jiao Tong beror förstås på skillnaderna i metodik, men det har knappast speciellt mycket med kvaliteten på undervisningen att göra. Indikatorn internationella studenter är helt enkelt inte speciellt tillförlitlig. 20 20 Det framgår inte hur antalet internationella studenter beräknats för RMIT. Universitetet har en decentraliserad modell med offshore-program i bl.a. Hong Kong, Indonesien, Japan, Malaysia, Singapore och Vietnam. Undervisningen hanteras genom olika samarbetsavtal och franchising. Man har också ett eget campus i Vietnam. Curtin University har liknande offshore-program i Kina, Malaysia, Hong Kong, Singapore, Indonesien, Iran, Sydafrika, Thailand, Sri Lanka och Vietnam. 7

Översikt av indikatorer för rankning Alumni ekonomiskt stöd från Alumni lön och karriär efter examen Alumni som fått nobelpris Alumni sysselsättningsgrad efter examen CEST Shanghai THES 21 Andra exempel Nej Nej Nej Maclean's ranking 22, U.S News & World Report Nej Nej Nej Financial Times Global MBA Rankings 23 Nej Ja Nej Nej Nej Nej Financial Times Global MBA Rankings Alumnienkäter Nej Nej Nej Maclean's ranking Andel forskningsstarka Nej Nej Nej CHE Forschungsranking 25 fakulteter 24 Anslag från forskningsråd Nej Nej Nej DFG Ranking 26 Arbetsgivarenkäter Nej Nej Nej BusinessWeek MBA Rankings Attraktion internationella forskare Attraktion - internationella spetsforskare 27 Attraktion internationella studenter 29 Nej Nej Ja Nej Nobelpristagare Ej specifikt Humboldt-Ranking 28 Nej Nej Ja Financial Times Global MBA Rankings 21 Detta avser world rankings. De nationella rankingarna, university league tables, använde sig av andra indikatorer och kriterier. 22 Maclean's är en kanadensisk nyhetstidskrift. De har rankat kanadensiska universitet varje år sedan 1991. Ekonomiskt stöd från alumni till ett universitet antogs vara en indikator på universitets rykte. 23 Financial Times' globala rankningar av MBA-utbildningar är kanske de mest auktoritativa. De noterar den genomsnittliga lönen tre år efter examen, löneökningen från början av MBA, avkastningen (där löneutvecklingen relateras till utbildningens kostnad för studenten), karriärutveckling (position och storlek på företaget) och uppfyllandet av i förväg uppställda mål med utbildningen. 24 Här används ordet i sin mer normala innebörd av administrativa indelningar av ämnesområden. (Jämför nedan not 33) 25 CHE (Centrum für Hochschulentwicklung) i Tyskland publicerar en speciell forskningsrankning sedan 1998. Deras övergripande rankning baseras på andelen forskningsstarka fakulteteter dvs den andel ämnesområden som fått goda resultat på de underliggande indikatorerna (anslag, publikationer, patent, antal doktorsexamina, och rykte). 26 DFG (Deutsche Forschungsgemeinschaft) svarar för drygt en tredjedel av externa forskningsanslag till tyska universitet. Rankar universteten efter totala anslag fördelat på ämnesområden. 27 Till vilka institutioner söker sig spetsforskare som gästforskare, stipendiater el. motsv. 28 Rankning av tyska institutioner från Alexander von Humboldt-stiftelsen baserad på preferenserna bland dess stipendiater och pristagare. Bland toppuniversiteten återfinns Universität Heidelberg och Technische Universität München. 29 Detta kan också ses som en indikator på en multikulturell miljö. Se nedan. 8

Attraktion proportion antagna/sökande 30 Attraktion - studenter från andra städer/områden CEST Shanghai THES Andra exempel Nej Nej Nej AsiaWeek Asia's Best Universities 2000, U.S News & World Report. Nej Nej Nej Maclean's ranking, The Princeton Review Bibliotek anslag till Nej Nej Nej AsiaWeek Asia's Best Universities 2000, Maclean's ranking Bibliotek antal volymer Bibliotek utgifter för elektroniska resurser Nej Nej Nej Maclean's ranking, Perspektywy 31 Nej Nej Nej Maclean's ranking Citeringar 32 Ja Ja Ja Maclean's ranking Fakultet 33 akademiska titlar Fakultet andel med doktorsexamen Fakultet andel med anslag från forskningsråd Fakultet forskare som fått nobelpris Fakultet professorers böcker recenserade i ledande tidningar/tidskrifter Finanser budget per heltidstudent Finanser budget för laboratorier Nej Nej Nej Perspektywy 34 Nej Nej Nej AsiaWeek Asia's Best Universities 2000, Maclean's ranking Nej Nej Nej Maclean's ranking Nej Ja Nej Nej Nej Nej Business Week's MBA Rankings Nej Nej Nej Maclean's ranking, U.S News & World Report Nej Nej Nej AsiaWeek Asia's Best Universities 2000 Internet - bandbredd Nej Nej Nej AsiaWeek Asia's Best Universities 2000 Internet synlighet på webben Nej Nej Nej Webometrics Ranking 35 Mest citerade Nej Ja Nej forskare 36 Mångfald och jämställdhet Andel kvinnor bland anställda Nej Nej Nej Financial Times Global MBA Rankings 30 Avser grundutbildning. Kan också användas som indikator på studenternas studiekompetens. 31 Förlaget Perspektywy har rankat polska universitet och högskolor sedan 2001. 32 Se även mest citerade forskare nedan. 33 Med fakultet avses här den akademiska staben, dvs lärare och forskare analogt med den engelska användningen av ordet faculty. Detta eftersom en motsvarande svensk term saknas. 34 Perspektywy noterar hur många akademiska titlar som fakulteten under ett år och viktar beroende på titel. 35 Denna ranking publiceras på http://www.webometrics.info. Den produceras av en forskargrupp vid CINDOC (Centro de Información y Documentación Científica) i Madrid. 36 Se även citeringar ovan. Denna indikator är inte inordnad under fakultet eftersom den delvis är ett direkt mått på forskningens kvalitet. 9

Mångfald och jämställdhet Andel kvinnor bland studenterna Mångfald och jämställdhet Andel kvinnor i styrelser el motsvarande Mångfald och jämställdhet multikulturell miljö 37 Mångfald och jämställdhet studenter från lägre socio-ekonomiska grupper CEST Shanghai THES Andra exempel Nej Nej Nej Financial Times Global MBA Rankings Nej Nej Nej Financial Times Global MBA Rankings Nej Nej Nej Perspektywy Nej Nej Nej The Guardian Patent Nej Nej Nej CHE Forschungsranking Professorsenkäter Nej Nej Ja CHE Forschungsranking 38 Publikationer - antal 39 Ja Ja Ja Publikationer - böcker Publikationer - impact factor Nej Nej Nej US News & World Report AsiaWeek Asia's Best Universities 2000 Studenter - betyg Nej Nej Nej Maclean's ranking, The Princeton Review Studenter - Nej Nej Nej The Princeton Review, US testresultat 40 News & World Report Undervisning - klassernas storlek på grundutbildningen 41 Undervisning - proportionen lärare/studenter Undervisning - proportionen studenter som undervisas av professorer Undervisning - studenter som fullföljer utbildningen Undervisning studenternas betyg på lärarna Nej Nej Delvis Maclean's ranking, U.S News & World Report Nej Nej Ja Maclean's ranking, U.S News & World Report Nej Nej Delvis Maclean's ranking Nej Nej Nej Maclean's ranking Nej Nej Nej THES rankings, The Princeton Review 37 Andel internationella studenter användas som mått här, men också för att bedöma attraktionen (se ovan). 38 De använder indikatorn Reputation som baseras på vilka institutioner professorer anser är ledande inom deras ämne. 39 Urvalet av tidskrifter kan här avsevärt påverka resultatet. Ofta används ISIs (Institute of Scientific Information) databaser och urvalet blir då de tidskrifter som ingår där (omkring 9000). För ämnesspecifika rankings används dock ofta andra urval. 40 Detta kan vara såväl högskoleprov och liknande som mer specifika antagningsprov 41 Se även proportionen lärare/studenter nedan. 10

CEST Shanghai THES Andra exempel Undervisning tid med Nej Nej Nej lärare/handledare 42 Undervisning övrig Nej Nej Nej studietid 43 Universitetsmiljö cafeterior och restauranger 44 Nej Nej Nej The Princeton Review Universitetsmiljö - Nej Nej Nej The Princeton Review 46 livskvalitet 45 Universitetsmiljö - Nej Nej Nej The Princeton Review studentrum 47 Universitetsmiljö Nej Nej Nej The Princeton Review vackra omgivningar 48 42 Hur denna indikator mäts tycks variera ganska mycket. Det brukar heller inte specificeras i detalj. Vanligen redovisas det som genomsnittlig tid i undervisning el liknande. 43 Detta bygger normalt på enkäter med studenter där man frågar hur mycket tid de lägger ner på studier per vecka. 44 Baserat på studentenkäter 45 Baserat på studentenkäter 46 The Princeton Review frågar om studenternas overall happiness och mer specifika saker som universitesområdets skönhet, säkerhet och läge, studentrummens komfort, erfarenhet av kontakter med administrativ personal, andra studenters vänskaplighet, interaktion mellan olika sorters studenter och interaktion med samhället utanför universitetet. 47 Baserat på studentenkäter 48 Baserat på studentenkäter 11

Diskussion Det finns ett stort antal olika indikatorer av större eller mindre betydelse som används i olika rankningar av forsknings och utbildningsinstitutioner. Samtliga rankningar tycks behäftade med avsevärda metodologiska problem som borde stämma till eftertanke hos konsumenterna. Likväl kan väl utförda rankningar vara användbara som hjälpmedel för kvalitetsbedömningar, förutsatt att de används kritiskt och inte ges för stor signifikans. Dessutom är det viktigt att förstå hur rankningarna fungerar eftersom de är en realitet som direkt eller indirekt kommer att påverka studenters, forskares och forskningsfinansiärers beslut. 49 Av de internationella rankningarna är Shanghai-rankingen den som är behäftad med minst allvarliga metodologiska problem. Dock kan den egentligen endast användas för att jämföra universitet med liknande storlek och liknande ämnesprofil. Den mest tillförlitliga rankningen är nog den nationella rankning som görs av CHE (Centrum för Högskoleutveckling) i Tyskland. 50 Även denna är till viss del behäftad med några av de problem som nämnts ovan. Dock vore det mycket intressant om delar av CHEs metodik kunde överföras på internationella jämförelser. Till sist bör noteras att indikatorer som mäter forskningsproduktion och relevans med hjälp av bibliometriska data (d.v.s. mått på antal publikationer och citeringar) finns med i stort sett alla rankningar. Dessa kan därför betraktas som mest fundamentala för uppfattningen av universitetens kvalitet. Dock förekommer dessa indikatorer i många olika former, och ofta används de tyvärr utan tillräcklig förståelse av vetenskapliga publikationskulturer. Med ett gammalt hederligt uttryck jämför man äpplen och päron som om det vore samma sak. 49 Se även Meredith (2004) som undersökt hur förändringar i rankningen från U.S. News & World Report påverkat tillströmmningen av studenter. 50 För detaljer se Federkeil (2002) och Berghodd & al. (2005). 12

Referenser: Beghoff & al. (2005) Das CHE Forschungsranking deutscher Universitäten 2004 Auszug aus dem Arbeitspapier Nr. 62. Gütersloh, CHE. CEST (2002) Etzkowitz, H. & Leydesdorff, L., eds (1997) Federkeil, Gero (2002) Gourman, Jack (1997) Jobbins, David (2002) Meredith, Marc (2004) Selingo, Jeffrey (1997) Shale, D. & Yolanda, L. (2002) Stake, Jeffrey E. (Odaterad webbsida) La Suisse et la Champions League internationale des institutions de recherche 1994 1999. Bern, CEST. Universities and the Global Knowledge Economy: A Triple Helix of University-Industry-Government Relations. London, Cassell Academic. Some Aspects of Ranking Methodology--The CHE-Ranking of German Universities Higher Education in Europe27(4)389-397 The Gourman Report. (8 th ed.) New York, Random House. The Times/The Times Higher Education Supplement League Tables in Britain: An Insider s View Higher Education in Europe27(4):383-88 Why Do Universities Compete in the Ratings Game? An Empi rical Analysis of the Effects of the U.S. News and World Report College Rankings Research in Higher Education 45(5):443-461. A Self-Published College Guide Goes Big-Time, and Educators Cry Foul Chronicle of Higher Education 44(11):A45-A46 Ranking the Rankers of Universities: Canada's MacLean's Magazine vs. U.S. News & World Report. Paper presented at the 42nd Ann. Forum of the Assoc. for Inst. Research. June 2-5, 2002, Toronto, Canada. How to Protect From Ranking-mania http://monoborg.law.indiana.edu/lawrank/rankingmania.shtml The Times Higher Education Suppl. (2004) World University Rankings THES Nov 5 2004. SWTR (2005) van Raan, Anthony F. J. (2005) Stellungnahme des SWTR zur Kritik an den Champions League Studien des CEST. Bern, SWTR. Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods Scientometrics 62(1):133-143 13