Rangordnede tidsskriftslister undertrykker den tværvidenskabelige forskning!

Et nyt kvantitativt studie fra universitet i Sussex (Rafols et al., 2011; 2012)¹  underbygger påstanden om, at den udbredte anvendelse af rangordnede tidsskriftslister indenfor forskningsevaluering, som f.eks. de engelske Research Assessment Excercises, skaber en ulempe for den tværvidenskabelig forskning.  Den tværvidenskabelige forskning "undertrykkes" sammenlignet med den mere "mono-disciplinære" forskning.  Kriterier for "excellence" og kvalitet baseres stort set på disciplinære standarder som generelt set hæmmer tværvidenskabelige bestræbelser.

Mistanken har været rejst flere gange, også i Danmark i forbindelse med den bibliometriske forskningsindikator.  Tidligere har kvalitative studier peget på at tværvidenskabelig forskning sandsynligvis "undertrykkes" i fagfællebedømmelser (se f.eks. Laudel & Origgi, 2006).  Men det nye studie er så vidt vides det første som fastslår denne bias kvantitativt i relation til tidsskriftslister.  Vi skal dog med det samme fastslå, at studiet begrænser sig til en enkelt tidsskrifts liste Academic Journal Quality Guide (ABS) udarbejdet af Association of Business Schools i England, og at den empiriske analyse kun omfatter tre engelske handelshøjskoler og tre centre for innovationsstudier.  Man skal derfor være meget forsigtig med at generalisere ud fra de nuværende resultater.  Resultaterne motivere dog helt åbenlyst til flere studier for at få belyst omfanget og konsekvenserne af denne "undertrykkelse", og studiet bør også give stof til eftertanke blandt forskningsledere på universiteter og offentlige bevillingsmyndigheder.

I Danmark forbindes rangordnede tidsskriftslister nok primært med den bibliometriske forskningsindikator.  Men mere specifikke tidsskriftslister anvendes også i stigende grad som ledelsesværktøjer på institutter og fakulteter, mere eller mindre uafhængigt af den nationale bibliometriske indikator.  Og disse specifikke lister er sandsynligvis kommet for at blive i en rum tid fremover.  Kort fortalt udvælges et antal tidsskrifter indenfor en disciplin eller nogle fagområder, og tidsskrifterne rangordnes af eksperter og/eller på baggrund af kvantitative indikatorer, så som Thompson Reuter's Journal Impact Factor.  Resultaterne er lidt forskellige.  Nogle lister har et antal rangordnede grupper af tidsskrifter, mens andre blot udgør én lang rangordnet liste af tidsskrifter.  Formålet er naturligvis, at påvirke publiceringsadfærden blandt forskerne ved at differentiere værdien af en publikation i forhold til hvilket tidsskrift den udkommer i.  Kravene og incitamentsstrukturen varierer meget på tværs af institutionerne.  Nogle institutioner kræver at forskerne publicere i bestemte (internationale) tidsskrifter, nogle gange med udsigt til en økonomiske gevinst, andre institutioner opstiller krav om hvor mange publiceringspoint en forskere skal opnå i en given tidsperiode, og her tæller de højst rangerede tidsskrifter naturligvis mest.  Og der er såmænd internationale eksempler på at institutter indenfor for eksempel økonomi som er blevet omorganiseret på baggrund af deres publiceringsadfærd i relation til en tidsskriftsliste.

Studiet fra universitetet i Sussex analyserer som sagt tidsskriftslisten ABS som anvendes af British Association of Business Schools.  Videnskabelige tidsskrifter indenfor business & management er rangordnet i 5 kategorier på baggrund af citationsdata og fagfællebedømmelser.  Kategori 1 er "modest standard journals" og kategori 4* er "world elite journals".  Rangordningen og kategorierne afspejler forskernes erfaring fra tidligere Research Assessment Exercises.  Listen er oprindeligt tænkt som både et managementværktøj, en publiceringsguide til forskere, en indkøbsguide til fagbiblioteker, og sidst men ikke mindst, et forskningsevalueringsinstrument for business & management skoler.  Vi løber nok ikke nogen stor risiko ved at antage, at listen har haft stor indvirkning på de engelske handelshøjskoler eller rettere på handelshøjskolernes forskere.

Ved hjælp af bibliometriske analyser og kortlægninger viser undersøgelsen at:

• De tre innovation studies centre konsekvent er mere tværfaglige i deres forskning sammenholdt med tre business & management skoler.
• Top tidsskrifterne på ABS-listen dækker et væsentligt mindre sæt af discipliner sammenholdt med de lavere rangerede tidsskrifter på listen; tidsskrifternes rangorden på ABS-listen korrelerer negativt med deres indhold af tværdisciplinær forskning.
• Dette fører til en mere favorable vurdering af business & management skolernes performance fordi de er mere snævert disciplinorienteret. 

Undersøgelsen viser angiveligt hvordan "excellence-baserede" tidsskriftslister udviser en systematisk bias til fordel for den mere "mono-disciplinære" forskning.  I følge forfatterne betyder dette, at forskere, som arbejder på grænserne mellem forskellige forskningsområder kan være dårligere stillet i forskningsevalueringer end deres "mono-disciplinære kolleger".  Forfatterne påpeger samtidig, at belønning for primært at publicere i de højere rangerede tidsskrifter på en liste kan afholde forskere fra tværfagligt arbejde.  Og undersøgelsen viser derudover, at avancerede citationsanalyser af de enkelte publikationer, er et bedre og mere fair instrument til sammenligninger af mono- og tværvidenskabelige forskningsområder.  Det sidste er ikke overraskende.  Evaluering af institutioner ud fra tidsskriftslister belønner efter hvor man publicere.  Hvorimod citationsanalyser måler brugen af de enkelte publikationer i forskersamfundet, og publikationerne måles tilmed på lige vilkår, uanset deres disciplinære karakteristika. 

Man kan måske undre sig over at forfatterne vælger at sammenligne tre engelske handelshøjskoler (business & management) med tre centre for innovationsstudier, men det er ikke helt ved siden af.  Pointen er, at business & management og innovationstudier tilhører det samme evalueringsregime i det nye engelske Research Excellence Framework.  Områderne evalueres altså sammen og ud fra samme grundlæggende kriterier.  Dertil kommer, at områderne intellektuelt set er nært beslægtede, men som forfatterne viser, adskiller områderne sig markant fra hinanden med hensyn til deres tværfaglige karakter.  Forskerne på handelshøjskolerne har tilsyneladende en mere traditionel disciplinær publiceringsadfærd modsat deres kollegaer fra innovation studies, som konsekvent er mere tværvidenskabelige i deres publicering.

Publiceringsadfærd er naturligvis formet af en rækkeforskellige faktorer.  Fagfællebedømmelse kan være forudindtaget imod tværvidenskabeligt arbejde fordi det er mere vanskeligt at vurdere dets kvalitet.  Mange top tidsskrifter er ikke særlig ivrige efter at udgive tværvidenskabelige arbejder.  Studiet fra universitet i Sussex er det første som viser, at disse allerede eksisterende "fordomme" synes at blive forstærket ved brugen af rangordnede tidsskriftslister til forskningsevaluering og forskningsledelse.  Det er interessant!

Afslutningsvis diskuterer forfatterne konsekvenserne af disse fænomener, især hvordan skævhederne sandsynligvis vil påvirke evalueringerne negativt og i forlængelse af dette de mulige faglige og økonomiske effekter.  Det bliver ikke attraktivt at foretage tværvidenskabelig forskning.  Forskningen bliver ensrettet og "mainstream-forskning" bliver normen.  Der er betydelig risiko for "intellektuel indavl" hvor specielt opfattelsen af forskningskvalitet  gradvist får en mere snæver betydning.  Komplekse samfundsrelevante forskningsspørgsmål bliver reduceret til endimensionelle analyser som konsekvens af ensretningen.  Alt sammen et stort problem for forskningens "økosystem" og den fortsatte mangfoldige udvikling.

Hvis man vil udforske forfatternes innovative empiriske undersøgelser af tværvidenskabelighed kan deres fælles hjemmeside anbefales: idr - Measuring & Mapping Interdicsiplinary Research.

¹ Studiet blev præsenteret på konferencen Atlanta Science and Innovation Policy Conference, hvor det vandt prisen for bedste artikel.  Studiet gennemgår i øjeblikket fagfællebedømmelse med henblik på publicering i tidsskriftet Research Policy i løbet af 2012.

Litteratur

• Laudel, G. & Origgi, G. (2006). Introduction to a special issue on the assessment of interdisciplinary research. Research Evaluation, 15(1), p. 2-4.
• Rafols, I., Leydesdorff, L., O'Hare, A., Nightingale, P. & Stirling, A. (2012). How journal rankings can suppress interdisciplinary research: A comparison between Innovation Studies and Business & Management. Indsendt til Research Policy.