Verder kijken dan de Impact Factor
Bredere en meer transparante indicatoren kunnen helpen om wetenschappelijke kwaliteit beter te beoordelen. Dat schrijven CWTS-onderzoekers Paul Wouters (tevens decaan Sociale Wetenschappen), Sarah de Rijcke en Ludo Waltman samen met 22 internationale collega’s in een commentaar in Nature.
Momenteel speelt de Journal Impact Factor (JIF) een grote rol in onderzoeksevaluaties. De JIF is een maat die weergeeft hoe vaak een wetenschappelijk tijdschrift geciteerd wordt. Maar de waarde van een tijdschrift is veel breder dan wat wordt weerspiegeld door deze impact factor, aldus de auteurs. Zij namen in november 2017 deel aan een door het CWTS, Clarivate en EMBO georganiseerde NIAS-Lorentz workshop waar de toekomst van tijdschriftindicatoren intensief onder de loep is genomen. Wouters: ‘Dit commentaar is onderschreven vanuit de belangrijkste partijen die met de impact factor te maken hebben, waaronder de producent van JIF (Clarivate Analytics), tijdschriftredacteuren, uitgevers, onderzoeksfinanciers, indicator-experts en wetenschapsonderzoekers. Het is uniek dat de belangenverschillen tussen deze groepen zijn overbrugd in een voorstel om af te komen van de negatieve effecten van de impact factor in evaluaties. Hier ligt een mooie kans voor de wetenschappelijke gemeenschap.’
Misbruik
Volgens de auteurs lokt een te sterke focus op indicatoren in evaluaties misbruik uit. Zo komt het voor dat wetenschappers zich bij het bedenken van onderzoeksvragen mede laten leiden door wat goed belooft te scoren op de populaire indicatoren. Ook zien zij dat er in de referentielijsten van wetenschappelijke artikelen vaak gerefereerd wordt aan het eigen tijdschrift om het aantal citaties op te poetsen. Er worden zelfs nep-tijdschriften opgericht die zich niet houden aan bestaande standaarden voor het leveren van goede kwaliteit (onder andere door geen peer review te organiseren).
Obstakel
Waltman voegt toe: ‘De dominantie van de JIF vormt daarnaast ook een significant obstakel in het ondersteunen van ontwikkelingen op het gebied van open access publiceren. Dit zien we bijvoorbeeld in discussies rondom Plan S, een initiatief van onderzoekfinanciers om open access publiceren verplicht te gaan stellen.’ Op zoek naar een alternatief voor bestaande tijdschrift-indicatoren hebben de auteurs allereerst in kaart gebracht waarom wetenschappelijke tijdschriften überhaupt bestaan. Ze onderscheiden daarbij verschillende functies. Zo hebben wetenschappelijke tijdschriften bijvoorbeeld een registratiefunctie: wie het eerst een idee in een wetenschappelijk tijdschrift publiceert legt de intellectuele claim op dat idee vast. Een tijdschrift is ook van belang voor evaluatie door peer review. Daarnaast heeft een tijdschrift ook een belangrijke functie in het cureren, verspreiden en archiveren van wetenschappelijke kennis.
Nieuwe indicatoren
Om misbruik van het huidige systeem tegen te gaan, zouden nieuwe indicatoren volgens de auteurs moeten voldoen aan enkele voorwaarden. Zo moeten de indicatoren slechts beperkt gebruikt worden om de kwaliteit van een onderzoeker of instituut te meten, moeten statistische verdelingen toegelicht worden, moet de kennis over de indicatoren verspreid worden, en moet onverantwoordelijk gebruik van indicatoren benoemd worden. In het artikel roepen de auteurs hun collega’s dan ook op om toe te werken naar een gezamenlijke toezichthouder. De Rijcke: ‘We zijn er met z’n allen voor verantwoordelijk dat indicatoren goed in elkaar zitten en op een verantwoorde manier worden gebruikt. Ons voorstel is daarom een internationaal toezichthoudend orgaan op te richten dat deze goede standaarden bewaakt, en waarin alle relevante stakeholders zijn vertegenwoordigd.’
Volledig artikel
Lees het volledige artikel op de website van Nature.