Onderzoek naar wetenschap
Onderzoek naar onderzoek verbetert wetenschap. Het Centrum voor Wetenschaps- en Technologiestudies (CWTS) bestudeert en evalueert op verschillende manieren het wetenschappelijk systeem. Het CWTS zorgt bijvoorbeeld voor inzicht in de productiviteit en impact van wetenschappers door in kaart te brengen hoeveel publicaties een wetenschapper of universiteit produceert en hoe vaak die publicaties worden geciteerd.
Appels en peren
Vorig jaar rapporteerde het Engelse Research Excellence Framework dat Britse biomedische onderzoekers in 2014 ruim twee keer zo veel toppublicaties geschreven hadden als in 2008. Deze verdubbeling in 6 jaar tijd zou natuurlijk een geweldige prestatie zijn. CWTS-onderzoeker Thed van Leeuwen dook samen met Engelse collega’s in deze opmerkelijke evaluatiestudie. Bij het bestuderen van de data waarop de uitspraak berustte, zag Van Leeuwen dat bij de evaluatie van 2014 publicaties in tijdschriften met lagere impactfactoren niet werden meegenomen, maar in de evaluatie van 2008 wél. Dat is een beetje hetzelfde als het ene jaar te kijken naar het gemiddelde van je hele schoolrapport en het volgende jaar het gemiddelde te nemen van alleen je hogere rapportcijfers. Het lijkt dan net alsof je veel beter geworden bent, maar eigenlijk ben je appels met peren aan het vergelijken. Van Leeuwen rekende uit dat het Britse biomedisch onderzoek in het echt ‘maar’ een vooruitgang geboekt had in de ordegrootte van 10 tot 25%.
Dit voorval laat het belang van transparant onderzoek zien. Een juiste definitie en berekening van indicatoren is belangrijk, maar ook goede kwaliteit van de data, het fundament van een onderzoek. Van Leeuwen: “De kwaliteit van de dataverzameling doet er echt toe. Vaak wordt dit deel van het gehele onderzoeksproces onderschat en ondergewaardeerd. Het verzamelen van onderzoeksgegevens wordt vaak gezien als saai, routinematig, en zeker minder ’spannend’ dan de analyses van die data. Maar data en alles wat daarmee te maken heeft is juist van cruciaal belang bij het uitvoeren van wetenschappelijk onderzoek. Het aloude gezegde ‘Garbage in, garbage out’ doet hier keihard opgang.”
Wetenschappelijke productiviteit meten
Het CWTS is gespecialiseerd in bibliometrie, waarin bijvoorbeeld statistieken worden geproduceerd van het aantal publicaties dat universiteiten en wetenschappers publiceren en het aantal keer dat die publicaties worden geciteerd. Dankzij bibliometrie krijgen we onder meer inzicht in de wetenschappelijke output en impact van universiteiten en wetenschappers. De cijfers worden vaak gebruikt als een graadmeter voor de ‘rankings’ van universiteiten, die over de hele wereld worden gepubliceerd. Omdat beleidsmakers en bestuurders rondom wetenschapsbeoefening steeds meer waarde hechten aan kwantitatieve informatie moeten de cijfers betrouwbaar en (zelfs in de tijd) met elkaar te vergelijken zijn.
Bij het uitvoeren van bibliometrisch onderzoek lopen CWTS-onderzoekers tegen fouten en onnauwkeurigheden aan in de data. Van Leeuwen: “Bij een analyse van een universiteit komt het vaak voor dat onderzoekers slordig zijn bij de opgave van adressen van de universiteit waar ze werken. Dan komt een instelling op verschillende manieren voor in de databestanden die we gebruiken.” Het CWTS zorgt ervoor dat de verschillende verschijningsvormen van een instelling of auteur onder één noemer worden gebracht en stelt ook standaarden op voor het bijvoorbeeld wel of niet bij een universiteit rekenen van universitaire ziekenhuizen.
“Een ander probleem is dat van de homoniemen en synoniemen wanneer we kijken naar individuen: er zijn meerdere hondjes die Fikkie heten, oftewel één naam kan vaak behoren bij meerdere onderzoekers, maar er zijn ook meerdere manieren om Fikkie te spellen. Onderzoekers publiceren namelijk vaak onder verschillende varianten van hun volle naam.”
De bevindingen van het bibliometrisch onderzoek van het CWTS worden gebruikt bij het maken van de CWTS Leiden Ranking, waarin een overzicht wordt gegeven van de prestaties van een groot aantal universiteiten wereldwijd gemeten op basis van bibliometrische statistieken, zoals het aantal veel geciteerde publicaties. Het unieke van de Leiden Ranking is dat, naast een transparante methodologie, het CWTS ook geavanceerdere indicatoren gebruikt om een indicatie te geven van de wetenschappelijke impact die universiteiten hebben. Hiermee probeert het CWTS een zo nauwkeurig mogelijk beeld te geven van de prestaties van de ene universiteit ten opzichte van de andere.