BIBLIOMETRISK RAPPORT

Transkript

1 BIBLIOMETRISK RAPPORT OM STRUKTURFRÅGOR I SVENSK FORSKNINGSPOLITIK Ulf Sandström 10 mars 2012

2 Sammanfattning Något tillspetsat kan frågeställningen för denna undersökning formuleras: Utgör de regionala högskolorna och de nya universiteten en belastning för det svenska forskningssystemet? I rapporten analyseras forskningsproduktionen under åren Genom att ämnesväga produktionen från olika typer av högskolor och universitet kan enheterna göras jämförbara med avseende på produktivitet och resurseffektivitet. Självfallet måste fler parametrar in i beräkningarna för att på ett realistiskt sätt mäta de samhälleliga effekterna av forskning, men just den här undersökningen avgränsas till att studera relationen mellan output i form av publikationer och input i form av intäkter för forskning. Från olika metodiska infallsvinklar undersöks huruvida det finns skillnader i produktivitet (output/input) mellan å ena sidan grupper av regionala högskolor och grupper av universitet å den andra. Styckkostnaden för att producera en enhet forskning (motsvarande en nordisk normalforskares produktion) är något högre för regionala högskolor, men skillnaderna ser mera ut att ha göra med andelen konkurrensutsatta medel än lärosätets status och storlek. Om de regionala högskolornas resurser flyttades över till universiteten skulle vi årligen vinna motsvarande knappt nittio normalforskares produktion, vilket kan översättas till att de större universiteten vardera skulle disponera ett tillskott av ett tiotal forskare. Detta är vad högskoledebatten handlar när vi kokar ner den till sin kärna. Så långt har vi behandlat produktion av artiklar. Diskussionen handlar också om forskningens kvalitet. Skillnaderna mellan universitet och regionala högskolor är större om citeringar tas med i bilden. Vill vi mäta citeringar måste vi dock gå tillbaka i tiden, i denna rapport görs detta för perioden , vilket innebär att data inte är helt aktuella. Den bild som framträder säger att de regionala högskolorna då hade cirka 20 procent lägre kvalitet jämfört med de breda och stora universiteten. Men detta kan mycket väl förändras när vi vet hur dagens vetenskapliga produktion har blivit citerad, d v s hur den blivit använd av kolleger runtom i världen. Sammantaget är de regionala högskolorna ungefär lika produktiva som andra grupper av lärosäten. Medan skillnaderna i artikelproduktion är små, närmast försumbara, är skillnaderna i citeringsgrad relativt stora. Om de regionala högskolorna skall undgå epitetet belastning för systemet är det nödvändigt att de utformar strategier som kan bidra till att förbättra forskningens kvalitet. Tillämpas en sådan strategi kan skillnaderna elimineras genom en utveckling som påminner om hur de nya universiteten etablerat sin forskning. Ett möjligt scenario är att högskolorna efterhand förbättrar sin citeringsgrad genom att: ökad publiceringsfrekvens leder till ökad synlighet; fler artiklar samförfattas med internationella kolleger; fler artiklar publiceras i tidskrifter med högre impact; forskningsresurserna ökar. De knappa sjuhundra miljoner kronor som staten årligen skickar till de regionala högskolornas forskning skulle om de fördelades över universiteten ge ett marginellt nytillskott. En sådan handlingslinje skulle medverka till att nätverksstrukturer runt de regionala högskolorna slogs sönder, undervisningen skulle på sikt tappa forskningsanknytning och forskare skulle temporärt tappa tempo på grund av omflyttningar.

3 Inledning Rapporten analyserar den svenska vetenskapliga produktionen och effekterna av att den är strukturerad på olika utförare vid landets universitet och högskolor. Mera precist är tanken att undersöka skillnader mellan olika kategorier av högskolor och universitet. Dessa skillnader kan i sin tur avse 1) produktivitet i meningen kostnad per enhet för vetenskaplig produktion, 2) citeringsproduktivitet per kostnadsenhet. Frågan om lokalisering av forskning är som bekant bemängd med föreställningar av ideologiskt slag och har debatterats flitigt. 1 En stor del av diskussionen handlar om effekter i form av sysselsättning, en aspekt som inte alls behandlas här. Frågan om skalfördelar för stora enheter utgör dock en kärna också för den förra frågan eftersom forskning först på lång sikt kan ge effekter i andra avseenden (sysselsättning etc.). Föreliggande undersökning avser produktionen av vetenskapliga artiklar under treårsperioden Intäkter för forskning och forskarutbildning bygger huvudsakligen på uppgifter från Högskoleverket och avser åren Vi räknar således med en viss eftersläpning för publiceringsverksamheten. Utöver Högskoleverkets statistik har även SCB och andra källor använts. Bibliometriska analyser har många fördelar men en av de tydligaste svagheterna är att publiceringar måste ges tid för att erhålla citeringar. Av detta skäl baseras denna undersökning i detta avseende på perioden , d v s publikationer i Web of Science med citeringar fram till När vi är på jakt efter citeringsgrad behöver artiklarna en viss minsta tid för att erhålla rättvisande värden. Publikationsdata Undersökningen baseras på data från Web of Science. Det är citeringsdatabaserna SCI, SSCI och AHCI, under perioden , som används. Vidare baseras analyserna på följande dokumenttyper: Articles, Letters, Proceedings Papers och Reviews. Observera att här utnyttjas endast citeringar från och till dessa dokumenttyper. I allt övrigt hänvisas dels till föreliggande rapports bilaga 1, dels till Högskoleverkets rapport Resurser för citeringar (2008:18R). Kategorisering av högskolor och universitet Analysen genomförs på basis av en kategorisering som tar som utgångspunkt i hur högskolor och universitet är finansierade. 2 Medan några av de regionala högskolorna har en låg andel konkurrensutsatta medel ( 30%) och forskar i huvudsak på statsanslag har andra regionala högskolor en hög andel (40 50%) konkurrensutsatta medel 3 och de senares statsanslag har 1 Av tidigare undersökningar kan Wibe (1988) och Sörlin &Törnqvist (2000) nämnas. Den förre framförde en rad kritiska synpunkter på de senares bok i Wibe (2000). 2 Termer högskola används i denna rapport dels som beteckning på regionala högskolor dels som generell beteckning för svenska lärosäten. 3 Med konkurrensutsatta medel avses i här bidrag till forskning och forskarutbildning som andel av de totala intäkterna.

4 inte samma betydelse för forskningen. De nya universiteten är i stor utsträckning starkt beroende av direkta statsanslag och har således en låg andel konkurrensutsatta forskningsmedel. De universitet som har teknisk fakultet (eller ekonomisk) arbetar normalt med hög andel konkurrensutsatta medel. Universiteten, de etablerade och som arbetar över flera fakulteter, har i typfallet en låg andel konkurrensutsatta medel. Detta ligger till grund för följande indelning av forskningsenheterna: low = regionala högskolor med låg andel konkurrensutsatta medel, high = regionala högskolor med hög andel konkurrensutsatta medel, newu = nya universitet, med låg andel konkurrensutsatta medel spec = specialinriktade stora tekniska universitet, med hög andel univ = breda universitet, med flera fakulteter och omfattande naturvetenskaplig verksamhet samt låg andel konkurrensutsatta medel. Resultat för Örebro universitet visas i särskild ordning. Notera att Örebro universitet inte tillgodräknas publiceringar med adress till Örebro universitetssjukhus. Även Karolinska Institutet (inkl Karolinska sjukhuset) redovisas som separat enhet. Läsaren bör observera att Karolinska Institutet, liksom SLU, HHS och LTU, inte ingår bland de specialinriktade universiteten till följd av att vi valt att renodla per kategorisering. Denna indelning av materialet möjliggör ett tentativt test av följande hypotes: En hög andel konkurrensutsatta medel leder till högre produktivitet och kvalitet på forskningen. Tabell 1. Kategorisering av lärosäten som ingår i undersökningen univ Lunds universitet Uppsala universitet Göteborgs universitet Stockholms universitet Umeå universitet Linköpings universitet high Högskolan i Jönköping Mälardalens högskola Högskolan i Skövde Högskolan i Halmstad Högskolan Väst spec Kungl. Tekniska högskolan Chalmers tekniska högskola newu Linnéuniversitetet Örebro universitet Mittuniversitetet Karlstads universitet low Malmö högskola Högskolan i Gävle Högskolan i Borås Blekinge tekniska högskola Högskolan Dalarna Högskolan Kristianstad Anm: Linnéuniversitetet innefattar Kalmar högskola och Växjö hela perioden; SU inkl Lärarhögskolan hela perioden. Handelshögskolan, Sveriges Lantbruksuniversitet och Luleå tekniska universitet samt Södertörn ingår ej i analysen.

5 Pengar för forskning Frågan om vilka typer av intäkter som skall beaktas i ett arbete av det här slaget är öppen för diskussion. I bilaga 2 finns en redovisning av lärosätenas intäkter för forskning och forskarutbildning fördelade per intäktskategori och per typ av lärosäte. Där framgår också vilka medel som är externa och vilka som är anslagsmedel. Hur gör man t ex med avgiftsintäkter till forskning? Skall de överhuvudtaget tas med i underlaget när diskussionen handlar om effektivitet i publiceringshänseende? Hur är det med kategorin uppdragsforskning? Kan dessa medel betraktas som intäkter vilka kan leda till publiceringar? Vidare: vilka av bidragsintäkterna kan betraktas som konkurrensutsatta och kan tänkas mer eller mindre omedelbart omsättas i publiceringsverksamhet? Det finns många typer av forskningsfinansiärer och många olika finansieringssituationer, vilket gör att pengar kanske inte väger på samma sätt över hela linjen. Av bilaga 2 framgår att det mellan högskoletyperna endast är frågan om små differenser för de flesta intäktskategorier. Det som skiljer är andelen bidrag (och andelen anslag). Av detta skäl tas samtliga typer av intäkter för forskning och forskarutbildning med i analysen. 4 Det innebär att alla intäkter oavsett härstamning betraktas som bidragande till underlaget för högskolornas publiceringsverksamhet. Vi förutsätter att högskolorna kan använda extra intäkter för forskning till publiceringar. Även om detta inte alltid är möjligt är det troligt att merparten av medlen har en sådan funktion. Såvida uppdragsforskning och avgiftsintäkter tas bort från de totala intäkterna blir resultatet på inga väsentliga punkter avvikande från det resultat som presenteras i undersökningen. Tabell 2 (nedan) ger relevanta uppgifter om bidragens andel av de totala intäkterna. De är en betydelsefull kategori för att styra forskningen vid sidan av de direkta anslagen från departementen (inkl övriga anslag). Bidragsandelen ligger till grund för vår prövning av hypotesen att konkurrensutsatta medel driver fram produktivitet och kvalitet i forskningen. I kolumn Stdv i tabell 2 framgår standardavvikelsen för andelen bidrag inom respektive kategori. Med den valda uppsättningen av universitet och högskolor har vi per kategori fått ett relativt enhetligt material. Tabell 2: Bidrag, totala intäkter, snittintäkt per år (milj. kr) och andel bidragsintäkter samt standardavvikelsen inom gruppen under åren för kategorier av lärosäten Typ Bidrag Intäkter totalt Intäkter/år Kumulativ% AndelBidrag Stdv high ,2 2,7% 48,3% 4,6% low ,2 5,6% 32,7% 4,2% newu ,5 11,7% 29,1% 2,4% spec ,6 28,5% 53,3% 2,4% univ ,3 100,0% 37,1% 4,6% Totalt ,7 39,5% Anm: Miljoner kronor för kolumnerna Bidrag, Intäkter totalt och Intäkter/år Källa: HsV NU-databas: Tabellen baseras på uppgifter som återfinns i bilaga 2. 4 Se vidare: och de förklaringar som där ges.

6 Tabell 2 behöver dock justeras till följd av att landstingens bidrag till forskning inte finns med i Högskoleverkets statistik. Där finns s.k. ALF-medel och det är nödvändigt att ha med dessa medel eftersom vi har med universitetssjukhusens produktion i analysen (detta gäller för universiteten men ej för Örebro som inte mottar ALF-medel). Vidare bör landstingens övriga FoU-medel också vara med eftersom gränsen mellan universitetssjukhus och universitet är permeabel. Visserligen har under senare år alltfler tenderat att skriva universitetsadress istället för landstingsadress (=univ hosp och motsvarande) och om vi tar med landstingens medel blir detta förhållande ur analyssynpunkt mindre problematiskt. Här justeras således finansieringsdata på det sätt som framgår av Svenska Läkarförbundets rapport om landstingens bidrag till FoU. Enligt läkarförbundets utredning 5 (och SCB:s statistik) handlar det årligen om 1,5 miljarder per år till de sex landsting och regioner som omfattas av ALF-avtalet: Region Skåne, Landstinget i Östergötland, Landstinget i Uppsala län, Stockholms läns landsting, Västerbottens läns landsting och Västra Götalandsregionen. Dessa medel lägger vi som intäkter när vi räknar universitet och universitetssjukhus. Intäkterna uppgår således till 21, 1 miljarder (19, 4 miljarder + 1,5 miljarder) och hela den tillkommande summan om 1,5 miljarder tillfaller kategorin universitet. 6 Utöver detta bör vi lägga ytterligare 300 miljoner som kommer från privata organisationer m.m. och som förvaltas av landstingen för forskning och utveckling. 7 Produktivitet och effektivitet En analys av resurseffektivitet i forskningen ställs inför problemet att finna en metod för viktning av publikationer. Om så inte sker kommer ett universitet som uteslutande är inriktat på medicinsk forskning att få fördelar medan en enhet som blandade verksamheter med humaniora och samhällsvetenskap kommer att få nackdelar. Orsaken är att i det förra fallet publiceras på nordisk nivå ett stort antal artiklar per forskare och i det senare fallet betydligt färre. Det specifika med föreliggande rapport är att vi har en metod för att väga prestationer så att universitet och högskolor blir jämförbara. Detta har tidigare aldrig varit möjligt och detta har också bidragit till att diskussionen om forskningens lokalisering förblivit haltande. Publiceringar viktas i denna rapport i enlighet med den modell som sedan 2009 används av regeringen för fördelning av resurser i form av direkta statsanslag. Dessa principer presenterades ursprungligen i Dan Brändströms utredning Resurser för kvalitet (SOU 2007:81) samt i Sandström & Sandström (2009). Dock appliceras i den här undersökningen en vidareutveckling av nämnda modell, vilken har kunnat genomföras till följd av att adressuppgifterna i Web of Science från och med 2008 är kopplade till författarnamnet. Detta gör att samtliga (nordiska) författarandelar ingår i underlaget för referensvärdena. Vi kan således räkna alla forskares bidrag och inte enbart försteförfattare och reprint author. Det ökar precisionen att ha med alla artiklar som respektive högskola och universitet har bidragit till ets%20alf-utredning%20delrapport.pdf (nedladdad ). 6 På ett likartat sätt korrigeras Karolinska Institutets intäkter. 7 Se SCBs UF 10 SM 1001 < 8 Båda varianterna ger likformiga resultat, men då måste den tidigare modellen tillämpas på ett sätt som den från början inte var avsedd för, d v s att tillämpa waringvärden på fraktionaliserade artikelandelar.

7 De tidigare referensvärdena avsåg perioden och det förefaller även av den anledningen rimligt att för denna undersökning använda uppdaterade värden som avser Vidare har klustringen av tidskrifter till ämnesområden förnyats och områden har reducerats till tjugotvå. Med dessa metoder kan vi således ta fram ett mått på fältjusterad produktion. Detta mått benämns FAP (Field Adjusted Production) eller fältjusterad produktion. Citeringsgraden avser publicerade dokument (articles, letters, proceeding papers och reviews) i Web of Science under perioden Det är således två helt skilda material som ligger till grund för analysen och de operationer som görs när resultaten från dessa material kopplas samman bygger på antagandet att den citeringsgrad som gäller för perioden kommer att ligga stabil också i perioden Självfallet kan detta inte bedömas i nuläget men antagandet är nödvändigt för diskussionen om de regionala högskolornas bidrag till det svenska forskningssystemets prestationer. Resultat Universiteten och de tekniska högskolorna tar lejonparten av intäkterna för forskning och forskarutbildning. De regionala högskolorna (high och low) representerar cirka fem procent av de totala intäkterna för forskning och forskarutbildning, de nya universiteten svarar för drygt fem procent och resterande 90 procent utgörs av tekniska högskolor och universitet. Tabell 3: Produktivitet per lärosätestyp med intäkter under perioden Typ P Frac P FAP Årliga Intäkter (mkr) Styckkostnad (mkr) FAP/ Mkr high , ,712 1,40 low , ,657 1,52 newu , ,698 1,43 spec , ,709 1,41 univ , ,627 1,59 Totalt , ,645 1,55 ki , ,540 1,85 oru , ,554 1,80 OBS! Landstingens stöd till FoU 10 har lagts till kategorin univ. Även Karolinska Institutets intäkter har justerats. Anm: FAP är Field Adjusted Production (se bilaga 1). Intäkter avser årliga intäkter under perioden för universitet och högskolor och innefattar universitetssjukhus samt ALF-medel och landstingens FoU-medel. Källa: HsV NU-databasen, SCB, egna bearbetningar, Web of Science Ser vi i detalj på resultaten framkommer att det finns produktivitetsskillnader, men dessa skillnader går inte på de linjer som vi förutsatte i vår hypotes. Det är de lågt konkurrensut- 9 Vissa delar av metoden finns dokumenterad i en arbetsrapport till Flodströms utredning daterad den 30/ Vi avser att dokumentera metoden att i artikel till vetenskaplig tidskrift så snart vi har ytterligare ett år av publiceringar ( ). Av den anledningen bör läsaren observera att referensvärdena är baserade på endast tre år och att det kan antas att referensvärdena blir mer stabila om de baseras på minst fyra år. Se även Koski, Sandström & Sandström (2011). 10 Se not 4 ovan.

8 satta verksamheterna som har den lägsta styckkostnaden per enhet och de högt konkurrensutsatta som har lägst produktivitet (se tabell 3). Observera att i tabell 3 nedan anges intäkter som snittintäkten under perioden Resultatet kan ses som tre skilda grupper med delvis skilda villkor. Breda universitet och lågt konkurrensutsatta högskolor ligger på ungefär samma nivå. De högt konkurrensutsatta, d v s de tekniska högskolorna och kategorin HIGH ligger också på ungefär samma nivå, men något högre. De nya universiteten med en förhållandevis låg konkurrensfaktor bryter detta mönster och uppvisar höga styckkostnader. Högskolor med högre andel konkurrensutsatta medel (SPEC och HIGH) har något högre kostnader per enhet jämfört med de med en låg andel konkurrensutsatta medel. De senare har en högre ( 10%) styckkostnad. Men detta är således skillnader som skär tvärs igenom universitets- och högskolegrupperingarna. Tekniska universitet har samma styckkostnad som de tekniskt inriktade regionala högskolorna och de breda universiteten har ungefär samma kostnader som de mer samhällsvetenskapligt inriktade regionala högskolorna. Med avseende på produktivitet kan vi således inte tala om skillnader å ena sidan mellan universitet som kategori och regionala högskolor som kategori. Örebro universitet har låg styckkostnad, d v s hög produktivitet, vilket antyder att skillnaderna inom gruppen newu kan vara avsevärda. Karolinska Institutet (inklusive sjukhuset) uppvisar likaledes låga styckkostnader och hög produktivitet. Citeringar Svensk forskning behöver fler publikationer men framförallt högre kvalitet per publikation. Av denna rapport framkommer att de regionala högskolorna är ungefär lika produktiva som andra lärosäten, men hur är det med kvaliteten på deras forskning jämfört med universiteten? Eftersom vi inte har tillgång till någon variabel som direkt mäter forskningskvalitet nöjer vi oss med en proxy som är förhållandevis accepterad i de flesta forskningskretsar citeringar. Vi använder perioden , en fyraårsperiod, med ett förhållandevis långt citeringsfönster, citeringar fram till Det ger ett resultat som bör återspegla förhållandena utan inverkan av fördröjningar och ge oss stabila värden för citeringsgraden. Vad kan vi förvänta oss? Rimligen att de regionala högskolorna har en lägre normaliserad citeringsfrekvens per publikation jämfört med de större och mer etablerade universiteten och tekniska högskolorna. Inte minst till följd av att dessa tillsammans med de nya universiteten etablerades så sent som för ca 15 år sedan gör att det finns anledning att förvänta lägre citeringsgrad. Samtidigt är det sannolikt att en del forskargrupper flyttat från universiteten till de regionala högskolorna och dessa grupperingar skulle kunna prestera förhållandevis bra om de givits en god miljö och stöd till sin verksamhet. Resultaten framgår av tabell 4 som redovisar de viktigaste citeringsindikatorerna. Respektive indikator förklaras närmare i bilaga 1 och den intresserade läsaren kan inhämta mera i rapporten Resurser för citeringar utgiven av Högskoleverket som rapport 2008:18R.

9 Tabell 4: Parametriska citeringsindikatorer per högskoletyp samt KI och ORU med citeringar fram till 2011 Typ P Frac P NJCS NCSf SCSf VITALITY high ,3 0,88 0,86-0,01 0,97 low ,2 0,91 0,85-0,05 0,97 newu ,3 0,94 0,93 0,05 1,00 spec ,3 1,10 1,02 0,11 1,05 univ ,5 1,10 1,11 0,16 1,01 ki ,0 1,09 1,16 0,19 1,01 oru ,3 0,95 1,08 0,15 1,00 P=publikationer; Frac P= fraktionaliserade P; NJCS=fältnormerad impact; NCSf=fältnormaliserad citeringsgrad: SCSf=fältstandardiserad citeringsgrad; Vitality=referensålder; Anm: Denna tabell redovisar ej FAP-vägda, d v s ämnesvägda citeringar. Källa. Web of Science De två första kolumnerna, P och P Frac ger storleksordningen. Därefter kommer den indikator som benämns NJCS, vilket står för tidskrifternas normaliserade impact. Det framgår med önskvärd tydlighet att de nya enheterna (regionala högskolor och nya universitet) i denna indikator har en övervägande del av sina artiklar i tidskrifter med lägre impact. De skillnader som antyds av indikatorn får sägas vara avsevärda. Detta reflekteras i den fältnormaliserade citeringsgraden (NCSf) som uppvisar samma påtagliga skillnader. Relativt universiteten ligger de regionala högskolorna drygt 20 % lägre i citeringsgrad (t ex NCSf). De nya universiteten ligger något högre än högskolorna, men sannolikt är skillnaderna inte signifikanta. Indikatorn SCSf utjämnar en del av de kantigheter som vidlåder en indikator som bygger på medelvärden för material som är ytterligt skeva i sina fördelningar (se vidare förklaring i bilaga 1). Skillnaderna består även om regionala högskolor och nya universitet kommer närmare den globala förväntade citeringsgraden (= 0). Indikatorn Vitality tydliggör skillnaderna genom att det framgår att högskolorna refererar till äldre forskningsresultat och sannolikt inte heller påverkar forskningsfronten i samma utsträckning som universiteten. Även om det är ett förhållande som gäller hela Sveriges forskning att i allt för stor utsträckning spela säkert och följa upptrampade stigar gäller detta i än högre grad de regionala högskolorna. Något som inte är förvånande när enheter är i ett uppbyggnadsskede. Forskarna rapporterar mer om vad de gjort än förhåller sig till forskningsfronten och relaterar inte problemställningarna till de resultat som områdets ledande forskare har presenterat.

10 Tabell 5: Percentilindikatorer per högskoletyp samt KI och ORU med citeringar fram till 2011 Typ TOP1 TOP5 TOP10 TOP25 TOP50 PNC high 0,8% 3,6% 7,7% 22,7% 51,9% 23,9% low 1,0% 3,5% 7,6% 21,7% 48,8% 21,3% newu 0,6% 4,3% 8,7% 23,9% 54,7% 16,9% spec 0,7% 4,5% 9,9% 27,8% 58,0% 19,6% univ 1,0% 5,6% 11,6% 30,2% 59,1% 12,0% ki 1,4% 6,5% 12,7% 31,7% 59,5% 8,1% oru 0,8% 5,9% 11,2% 28,1% 58,1% 11,5% Anm: PNC = procent ej citerade Denna tabell redovisar ej FAP-vägda, d v s ämnesvägda citeringar. Tabell 5 (ovan) presenterar de icke parametriska måtten på olika percentilnivåer. Fördelen är att de inte kräver framtagandet av referensvärden och med tanke på svårigheterna med referensvärden är det således av stort intresse att i stället arbeta med percentiler av citeringar (per tidskriftsklass). TOP1% visar andelen artiklar som uppfyller villkoret att vara mer citerade än den 99:e percentilen och så vidare enligt samma princip. På samma sätt arbetar vi med 5 % och 10 %, som är de mest använda indikatorerna. Indikatorn TOP1% diskriminerar mellan enheter men är självfallet också beroende av hur många som känner sig kallade att arbeta på den internationella publiceringsmarknaden. Tydligt är att de regionala högskolorna med låg andel konkurrensutsatta medel (low) ligger nära de breda och stora universiteten. Det är i de förras fall inte frågan om många artiklar 11 men ger i det här fallet möjligen en antydan om de bästa resultatens andel av verksamheten. De icke parametriska indikatorerna baserade på percentiler ger i huvudsak samma bild som framkom med de vanliga parametriska indikatorerna. De regionala högskolorna ligger i allmänhet cirka % lägre jämfört med de prestationer som universiteten uppvisar. I vissa fall är det frågan om än större skillnader, vilket framgår av tabell 6 som indexerar i förhållande till universitetens citeringsprofil. Tabell 6. Indexering av citeringsvärdena i tabell 5 Typ TOP1 TOP5 TOP10 TOP25 TOP50 PNC high 76% 64% 66% 75% 88% 199% low 98% 62% 65% 72% 82% 177% newu 65% 77% 75% 79% 93% 141% spec 69% 80% 86% 92% 98% 163% univ 100% 100% 100% 100% 100% 100% ki 140% 117% 110% 105% 101% 68% oru 78% 105% 97% 93% 98% 96% Källa: tabell Det är således inte frågan om signifikanta värden.

11 Även dessa percentilvärden kan baseras på ämnesvägda publikationer och en sådan kontroll har genomförts. Resultaten skiljer sig dock inte nämnvärt från de som visas i tabell 4 och 5. För att inte onödan förvirra läsaren undertrycker vi vår reflex att publicera alla möjliga varianter av körningar med materialet. Om just denna aspekt kan i korthet sägas att strukturen i skillnader mellan de olika kategorierna inte förändras av en ämnesvägning. Hur mycket är ociterat och vad kostar det? Indikatorn PNC står för per cent not cited och visar andelen artiklar som ännu efter fyra till sju år väntar på citeringar. De saknar av olika skäl denna uppmärksamhet. Återigen är det tydligt att andelen ligger cirka tio procentenheter högre för de regionala högskolorna jämfört med de stora och breda universiteten. Omsatt i procentuell skillnad blir det höga värden, se tabell 6 (ovan). Men i förhållande till de tekniska högskolorna (SPEC) har högskolorna inte särskilt högre andelar, vilket till stor utsträckning kan antas bero av ämnesområdets egenskaper. Andelarna är högre inom humaniora, samhälls- teknik- och datavetenskap. Just dessa områden är de forskningsfält där flera av de regionala högskolorna, till viss del även de nya universiteten samt de tekniska högskolorna har tyngdpunkten i sin forskning. Denna indikator tar nämligen inte hänsyn till detta; den ger endast rak information om hur stor andel av artiklarna som är nollciterade. Av detta skäl kan den heller inte användas som indikator för en mer precis jämförelse av prestationer mellan lärosäten. Detta till trots skall vi försöka oss på en övning som beräknar kostnaderna för ociterade publikationer. Resultatet framgår av tabell 7 (nedan). Den bygger en schematiskt genomförd ämnesvägning av publikationer så att andelen ej citerade artiklar (PNC) justeras samt en enkel beräkning med antagandet att vi fortsätter med de citeringsmönster som gällde Ett annat viktigt antagande är att alla områdens artiklar har likartade kostnader. Med dessa inte helt realistiska antaganden, kan vi konstatera att närmare tre miljarder årligen läggs på arbeten som inte leder till citeringar. Andelen är, som framgått ovan, något högre för de regionala högskolorna, men sammantaget blir den totala summan självfallet betydligt större för universiteten. Universitetens ociterade artiklar motsvarar två miljarder kronor. Regionala högskolor lägger 260 miljoner på aktiviteter som inte leder till kollegial uppmärksamhet. Tekniska högskolor förbrukar på samma sätt årligen närmare 700 miljoner kronor. Tabell 7 Kostnadsberäkning för ej citerade artiklar per högskoletyp samt KI och ORU utifrån materialet med citeringar fram till 2011 TYP FAP PNC(fap) Styck #NC KOSTNAD (mkr) HIGH 733 0,25 0, ,4 129,2 LOW 863 0,23 0, ,7 127,9 NEWU ,17 0, ,3 205,5 SPEC ,20 0, ,0 667,6 UNIV ,13 0, , ,2 Total ,13 0, ,4 KI ,08 0, ,6 299,4 ORU 518 0,13 0,554 66,0 36,6 Anm: PNC(fap) är FAP-vägda ociterade andelar; Styck anger kostnad per artikel under perioden ; #NC är antal ej citerade FAP-vägda prestationer.

12 Publiceringar och citeringar Vad samhället får ut av forskningen är naturligtvis en större fråga än vad som kan besvaras med hjälp av publiceringsstatistik. I bästa fall kan ett sammanfattande mått tas fram som närmar sig målet att kombinera produktion och kvalitet. Den ämnesvägda produktionen ger en realistisk bild av hur verksamheterna förhåller sig till varandra och om vi till detta lägger den bild som framträder av citeringar får vi möjligen ett mått på resurseffektiviteten vid svenska universitet och högskolor. Men vilket är detta mått som kan kombineras med produktionsmåttet? I stora drag är det knappast av någon större betydelse vilket av citeringsmåtten som tillämpas. Samtliga verkar indikera liktydiga skillnader mellan högskolor och universitet. Vad vi söker är en indikator som har lämpliga egenskaper. I regeringens nuvarande system används kronidikatorn, vilken här benämns NCSf. Denna indikator har kritiserats eftersom den använder medelvärden på material som ofta är ytterligt skevt fördelade. Det alternativ vi erbjuder är SCSf som mäter i standardavvikelser från det globala medelvärdet (=0) och som loggar citeringsfördelningen d v s trycker ihop värdena i riktning mot medianvärdet. 12 Resultatet ges i tabell 8 som bygger på ämnesvägd produktion under multiplicerad med SCSf-indikatorn. 13 Detta ger ett mått på effektiviteten i resursernas användning och utgör ett sammanfattande mått på verksamheterna: universiteten är i särklass mest effektiva i sin resursanvändning. De tekniska högskolorna och de nya universiteten ligger på ungefär samma nivå. Strax under dessa ligger i sin tur de regionala högskolorna mellan vilka det är små skillnader. Differensen mellan breda och gamla universitet å ena sidan och de nya regionala högskolorna å den andra uppgår till cirka 20 procent. Tabell 8. Ämnesvägd produktion multiplicerad med citeringsgrad (SCSf) Typ FAP SCS (SCSf+1,0) FAP*SCS Årlig intäkt (mkr) Effektivitet FAP*SCS /Årsintäkt high 733 0, ,394 low 863 0, ,459 newu , ,504 spec , ,565 univ , ,872 Totalt , ,782 ki , ,216 oru 518 1, ,146 FAP=Fältjusterad produktion; SCS=Standardiserad Citeringsgrad; Effektivitet = ämnesvägd produktion (FAP) ggr SCS dividerat med Årsintäkter Anm: Tabellen bygger på tabell 3 och 4. Vi har visat att utfallet är oberoende av vilken av citeringsindikatorerna som kommer till användning. I den internationella diskussionen har, som redan nämnts, percentilbaserade indika- 12 För att kunna arbeta med den indikatorn måste man således utföra följande operation: (SCSf + 1,0) 13 Möjligen kan det anses oortodoxt att använda SCS och standardavvikelser i en operation av detta slag.

13 torer fått allt större utrymme under det senaste året och andelen i TOP10% är den indikator som Leidens ranking av universitet utnyttjar. Beräkningarna bygger för de regionala högskolorna på förhållandevis små tal och det ökar självfallet inslaget av slumpmässighet i valet av nivå för percentilerna. Bäst vore att utnyttja samtliga artiklar på det sätt som Bornmann och Leydesdorff har föreslagit i sin I3-indikator (Integrated Impact Indicator) där percentilerna används för hela materialet. I den här rapporten nöjer vi oss med att använda den standardiserade citeringsgraden eftersom den har en rad åtråvärda egenskaper (se vidare bilaga 1). Slutord Det är en bit kvar för de regionala högskolorna. Bedömningsfrågan är hur man skall se på den konstaterade skillnaden i relation till de etablerade universiteten, liksom till de tekniska högskolorna vilka ligger på samma nivå som de nya universiteten. Onekligen finns det bränsle för en fortsatt diskussion, men diskussionen måste börja i de verkliga och inte i påstådda skillnader mellan högskolor och universitet. Regeringens nuvarande politik med incitament för publicering och citering leder i sig till en ökad medvetenhet om framgångsvägar i forskningen. De regionala högskolorna har varit förhållandevis framgångsrika i det nya resursfördelningssystemet. Det har medfört att de regionala högskolornas arbete för att förbättra sin verksamhet intensifierats vilket är en naturlig följd av att det under några år varit klart hur högskolornas forskning utvärderas. * Hypotesen att en hög andel konkurrensutsatta medel leder till bättre forskningsresultat har testats i denna rapport. Undersökningen tyder på att tesen har falsifierats. 14 Snarare förefaller det vara så att lågt konkurrensutsatta lärosätena har den högsta produktiviteten och lägsta styckkostnaden. Lägger vi på citeringar förändras dock bilden i och med att citeringsgraden ser ut att variera med lärosätets status. En intressant fråga är om stora universitet gör bättre resultat än små och nya universitet. Det finns onekligen en viss tendens åt det hållet, men på basis av denna undersökning är det alltför tidigt att dra mer långtgående slutsatser. Vi får sannolikt anledning att återkomma till denna frågeställning men här skall avslutningsvis konstateras att rapportens resultat överensstämmer med resultat som 1988 lades fram av Sören Wibe i boken Universitet: Regioners framtid under redaktion av Åke E Andersson. Sören Wibe visade i sin uppsats att stora universitet inte var effektivare. Han gjorde sin analys per fakultetsområde. I den här rapporten har vi med en statistisk metod eliminerat skillnaderna mellan fakultetsområden och kan därför jämföra universitet med varandra. 14 Jfr Wibe (1988), s161 ff.

14 Fältjusterad produktion FAP Figur 1: Faksimil från från Wibe (1988, s164) Andel resurser = anslag till naturvetenskapliga eller medicinska fakulteter på respektive ort i relation till totala anslagen till samma fakulteter. Antal artiklar = antal publicerade vetenskapliga artiklar inom ämnesområdet från respektive ort i relation till totala antalet artiklar inom området från hela landet. Om vi tillåter oss att som en hommage till Sören Wibe visa hur motsvarande bild ser ut idag med de olika lärosätestyperna inplacerade i samma typ av diagram blir resultatet såsom visas i figur 2. Den proportionalitet som Wibe kunde påvisa är ännu något mera perfekt när vi har fältjusterat produktionen. Tjugofem år senare är det betydligt flera tidskrifter som indexeras och det är betydligt flera forskare som publicerar på den internationella publiceringsmarknaden. De båda lärosätestyper som de regionala högskolorna representerar finns i figur 2 i samma punkt (reg), men det viktiga är att det övergripande mönster är detsamma. 0,8 0,7 Univ 0,6 0,5 0,4 0,3 0,2 Spec 0,1 Newu 0 Reg 0 0,2 0,4 0,6 0,8 Intäkter - resurser Figur 2: Andel av resurser per lärosätestyp och andel av produktion (fältjusterade artiklar) under perioden Till syvende och sist måste en övning av det här slaget läsas som ett sätt att visa på de frågeställningar som fältjusterade produktionsdata kan hantera. Rimligen bör detta påverka den vidare diskussionen om strukturfrågor i det svenska forskningslandskapet.

15 Bilaga 1. Metodbilaga Om datamaterialet: källor och bearbetningar Källa Thomson Reuters Web of Science. Urval Rättning Publiceringar indexerade som Articles ; Letters ; Proceedings Papers eller Reviews, där minst en författare uppgivit adress till svenska lärosäten i databaserna SCI-EXPANDED, SSCI och AH&CI. Universitets- och institutsnamn i svenska adresser har manuellt rättats och harmoniserats enligt de principer som finns redovisade i Resurser för citeringar (Högskoleverket, 2008:18R). Rättningen följer de förhållanden som är giltiga år IPM har förts till KI; Danderyd och andra sjukhus i Sthlm-regionen har förts till Karolinska US; Jönköping har erhållit landstingets Inst Postgrad Dent Educ, Kalmar och Växjö bildar tillsammans det nya Linnéuniversitetet etc. Indikatorer Antal publikationer (P) Antal fraktionaliserade publikationer (Frac P) Fältjusterad produktion (FAP) NCSf SCSf Vitality Antal publikationer där minst en författare uppgivit adress till de aktuella enheterna. Summan av publikationsandelar med adress till de aktuella enheterna, där varje adress uppgiven i en publikation utgör en andel motsvarande ett delat med publikationens totala antal adresser. Antalet fraktionaliserade publikationer justerat med beaktande av normalproduktiviteten i de fält (se nedan) som publikationerna tillhör. Fältnormaliserad citeringsgrad: Till följd av de avsevärda skillnaderna mellan områden, vissa är lågciterade andra högciterade, behövs det en metod för att få jämförbarhet i materialet. Metoden för detta är normalisering genom att varje artikels antal citeringar relateras till medelciteringen i tidskriftsklass(erna) för de tidskrifter där de publicerats. Hänsyn tas även till dokumenttyp och publiceringsår. Detta är ett globalt mått som tar hänsyn till alla artiklar inom tidskriftsklassen. Det kan också kallas crown indicator men man bör vara observant på att det finns flera beräkningsmodeller. Här används en metod som låter beräkningarna ske på artikelnivå. Fältstandardiserad citeringsgrad: De två måtten NJCS och NCSf kännetecknas av att relatera antalet citeringar mot ett medelvärde (referensvärde) för alla artiklar i tidskriften eller tidskriftsklassen. SCS är en metod som utöver medelvärdet tar hänsyn till citeringarnas spridning. Det sker genom z-score transformering, dvs. att beräkna avståndet till referensvärdet i termer av standardavvikelser. SCS harmoniserar således mellan täta fördelningar och mer utspridda. Ett annat problem är de skeva fördelningarna; få artiklar får många citat och ett stort antal får få eller inga citat. I sådana fördelningar anses det vanligtvis bättre att jämföra medelvärden efter att fördelningen logaritmerats. Observera att detta mått innebär standardavvikelser från genomsnittet (=0). Denna indikator justerar den s.k. kronindikatorn (NCSf) såvida det är ett område där fördelningarna är problematiska. Hänsyn tas till ämnesområde, publiceringsår och dokumenttyp. Vitalitet är ett tidigare mått som utrycker medelåldern på de referenser som enheten använder i sina artiklar. Självfallet är detta ämnesberoende och därför normaliserat per tidskriftsklass. Ju yngre referenser desto närmare forsknings-

16 Top X% PNC Ytterligare information fronten och de som ligger nära fronten har större möjlighet att påverka denna forskningsfront. Andel Top X % artiklar: Detta mått har införlivats av samma skäl som föregående punkt. Genom att se hur stor andel av programmets artiklar som tillhör de mest citerade (ligger över en viss percentil) erhåller vi ett mått som är oberoende av skevheten i citeringsfördelningen. Med hänsyn till ämnesområde, dokumenttyp och publiceringsår. Andel ej citerade artiklar inom den tidsram som undersökningen erbjuder. Fönstret för citeringar sträcker sig i denna undersökning fram till och med Se Resurser för citeringar (Högskoleverket R2008:18) samt artikeln Estimating Research Productivity from a Zero-Truncated Distribution presenterad vid ISSI:s världskonferens i Durban 2011 ( Referensvärden för FAP Källa Thomson Reuters Web of Science, v.14, 2011 Urval Frekventa namn Namnrättning Beräkning av referensvärden Publiceringar indexerade som Articles ; Letters ; Proceedings Papers eller Reviews, där minst en författare uppgivit en svensk, finsk, dansk eller norsk adress, i databaserna SCI-EXPANDED, SSCI och AH&CI. För att underlätta namnrättningen har vanliga namn (definierat som de som förekommer vid minst 6 städer) tagits bort ur materialet. Klustringsprocedurer har tillämpats (se vidare vår rapport De mest produktiva och citerade svenska forskarna ). Materialet har i två omgångar, manuellt gåtts igenom för att kontrollera korrektheten i namnklustringen och för att manuellt separera eller lägga ihop artikelandelar. Vår bedömning är att klustringen fungerat tillfredsställande, men det är viktigt att genomföra manuella kontroller eftersom varje artikelandel som egentligen tillhör en specifik författare utgör en ny författare om den inte läggs samman till rätt namn. Varje sådant fel kommer i sin tur att påverka beräkningen av referensvärden ett otillbörligt sätt. Varje unik författare i materialet tilldelas det fält (se nedan punkt 4) där han eller hon har merparten av sina publikationer. Om författaren har lika många publikationer i två eller flera klasser tilldelas författaren slumpvis en av dessa. För varje fält beräknas sedan ett referensvärde enligt det metod som beskrivs i vår rapport Resurser för citeringar (2008). Metoden kan kort beskrivas enligt följande. 1. Vänstertrunkerade medelvärden beräknas, där första punkten utgör antal publikationer per författare (se nedan) i fälturvalet, punkt två utgör antalet publikationer per författare med fler än en publikation, punkt tre antalet publikationer per författare med fler än två publikationer etc. 2. Punkterna (de trunkerade medelvärdena) läggs till grund för en linjär minstakvadrat-regression (se vidare Telcs et al. 1985). Referensvärdet är den punkt där regressionslinjen skär y-axeln. Detta värde utgör ett estimerat värde för hur många publikationer en genomsnittlig forskare inom det aktuella ämnesområdet (fältet) producerat under perioden. Formler återfinns i den tidigare nämnda artikeln Estimating Research Productivity from a Zero-Truncated Distribution (2011). Antalet publikationer per författare baseras på urval av författarandelar. De referensvärden som publicerades i Resurser för citeringar (2008) utformades på basis av första författarnamnet och s.k. reprint author. Detta motiverades med

17 Ytterligare information att det inte fanns möjlighet att använda alla författarandelar eftersom det före 2008 saknades en direkt koppling mellan namn och i databasen. Sedan 2008 har databasen kompletterats med fullständiga namn vilket ger större möjligheter att skilja mellan unika författare och att ta med alla författarandelar. I föreliggande rapport baseras referensvärdena på en metod som benämnes random author och som slumpmässigt tar ut en författarandel per artikel; se vidare artikeln Estimating Research Productivity from a Zero-Truncated Distribution (2011). I syfte att undersöka metodens relevans skrevs artikeln Estimating Research Productivity from a Zero-Truncated Distribution till ISSI:s världskonferens i Durban I detta bidrag framgår att modellen på ett framgångsrikt sätt klarar empiriska test som utgår från kända fördelningar vid två universitet med unika författare identifierade. Även ett s.k. bootstrap-test av ett större nordiskt material tyder på förhållandevis låga konfidensintervall. Fältindelning Källa Urval Fältindelning Thomson Reuters Web of Science. Publiceringar indexerade som Articles, där minst en författare uppgivit en svensk, finsk, dansk eller norsk adress, i databaserna SCI-EXPANDED, SSCI och AH&CI. Tidskrifter har indelats i fält genom klustring enligt nedan. Klustringsmetodik Multi-level Aggregation ( Louvain Method ); se V.D. Blondel, J.L. Guillaume, R. Lambiotte and E. Lefebvre (2008),, Fast unfolding of communities in large networks, Journal of Statistical Mechanics: Theory and Experiment p. P10008; se även L Zhang, XH Liu, F Janssens, LM Liang, & W Glänzel (2009), Subject clustering analysis based on ISI category classification, Journal of Informetrics 4, Issue 2, April 2010, Närhetsvärde Inter citation (IC) enligt följande Resultat där C i,j är antalet referenser från tidskrift i till tidskrift j och n är det totala antalet tidskrifter i materialet. Se KW Boyack & R Klavans (2006) Identifying a better measure of relatedness for mapping science, Journal of the American Society for Information Science and Technology 57(2): För att erhålla grupper av tidskrifter som har stark koppling i form av citeringar mellan tidskrifterna har försteg getts till ömsesidighet relationer i båda riktningarna framför ensidiga relationer. För detta syfte har vi infört en matematisk formel som tar hänsyn till ömsesidiga kopplingar (se definitionen av RAW). På basis av dessa kopplingar har materialet klustrats. Härigenom har 22 ämnesmässiga förtätningar erhållits. 22 fält

18 Bibliometriska korrigeringar Thomson Reuter (Web of Science) använder en konservativ algoritm för att koppla referenser till citeringar. Den tillåter inga små fel av typen omkastade sidnummer och liknande. Vi har korrigerat dessa fel och har därmed kompletterat databasen med cirka 5 procent av citeringarna (bortfallet av citeringskopplingar brukar vara 7-8 procent). Ett öppet citeringsfönster har tillämpats. Självciteringar tas bort från våra citeringsanalyser genom förstanamnet på artikeln. Alla citeringsanalyser baseras på fraktionaliserade och vägda värden. Tidskrifter som klassificeras i kategorin Multidisciplinary utgör ett problem för citeringsanalysen. Genom att fördela artiklar i dessa tidskrifter, t ex Nature, Science och PNAS, till de tidskriftsklasser där de har merparten av sina referenser går det att komma förbi detta problem.

19 Bilaga 2. Om högskolans intäkter Tabell: A- Högskoletypernas intäktsstruktur under , samtliga intäkter (tkr) för forskning och forskarutbildning Typ Avgiftsintäkter Bidrag Finansiella Uppdrags Ramanslag Övr anslag Totalt high low newu spec univ Totalt Källa: NU-databasen Tabell B Högskoletypernas intäktsstruktur under , intäkter (tkr) för forskning och forskarutbildning angivna i procent av totala intäkter Typ Avgiftsintäkter Bidrag Finansiella Uppdrags Ramanslag Övr anslag Totalt high 2,7% 48,3% 1,0% 9,0% 19,9% 19,1% 100% low 3,8% 32,7% 0,5% 4,1% 27,5% 31,5% 100% newu 2,0% 29,1% 1,3% 5,4% 62,2% 0,0% 100% spec 3,8% 53,3% 1,6% 6,7% 34,7% 0,0% 100% univ 5,1% 37,1% 1,3% 6,0% 42,2% 8,3% 100% Totalt 4,6% 39,5% 1,3% 6,1% 41,2% 7,4% 100% Källa: NU-databasen Tabell C Intäkternas fördelning på externa medel och anslagsmedel per högskoletyp, tkr och % Typ Externa medel Anslagsmedel Totalt Typ %_Externa %_Anslag Tot high high 60,0% 40,0% 100% low low 40,5% 59,5% 100% newu newu 36,6% 63,4% 100% spec spec 63,7% 36,3% 100% univ univ 48,2% 51,8% 100% Totalt Totalt 50,2% 49,8% 100% Källa: Tabell A Anm: Till externa medel räknas Avgiftsintäkter, Bidrag och Uppdrag. Resterande källor räknas som anslag eller interna medel.

20 Referenser K.W. Boyack & R. Klavans (2006). Identifying a better measure of relatedness for mapping science, Journal of the American Society for Information Science and Technology 57(2): V.D. Blondel, J.L. Guillaume, R. Lambiotte and E. Lefebvre (2008). Fast unfolding of communities in large networks, Journal of Statistical Mechanics: Theory and Experiment p. P10008 Högskoleverkets Rapport 2008:18R, se U. Sandström (2008) T. Koski, E. Sandström & U. Sandström (2011). Estimating Research Productivity from a Zero-Truncated Distribution Paper presented at the ISSI:s conference in Durban July < E. Sandström & U. Sandström (2009). De mest produktiva och citerade svenska forskarna < U. Sandström & E. Sandström (2008). Resurser för citeringar. Högskoleverket Rapport 2008:18 R. Stockholm. U. Sandström & E. Sandström (2009). The Field Factor: Towards A Metric for Academic Institutions. Research Evaluation (September) 2009(3): A Telcs, W. Glänzel & A. Schubert (1985). Characterization and statistical test using truncated expectations for a class of skew distributions. Mathematical Social Sciences 10: L Zhang, X.H. Liu, F. Janssens, L.M. Liang, & W. Glänzel (2009). Subject clustering analysis based on ISI category classification. Journal of Informetrics 4, Issue 2, April 2010, S. Wibe (1988). Storlek, kostnader och produktivitet inom högskolesektorn. I Red. Åke E Andersson i samverkan med B Hårsman och J. Linzie. Universitet: regioners framtid. Stockholm: Regionplanekontoret, 1988, sid S. Wibe (2000) Ovetenskapligt om forskningens lokalisering. Ekonomisk Debatt vol 28, nr 7, 2000, sid S. Sörlin & G. Törnqvist (2000). Kunskap för välstånd: universiteten och omvandlingen av Sverige Stockholm : SNS (Studieförb. Näringsliv och samhälle). Acknowledgements. Tack till Örebro universitet som finansierat undersökningen.