Naar beter psychologisch onderzoek
Toen psychologen in 2015 honderd studies overdeden, bleek dat tweederde bij herhaling andere uitkomsten gaf. “Onderzoek naar onderzoek is geen luxe, maar een noodzaak”, onderstreept Mark de Rooij, Hoogleraar Methodologie en Statistiek van Psychologisch Onderzoek. “Mijn doel is om psychologisch onderzoek beter te maken; het dusdanig doordenken van alle stappen van onderzoek zodat het uiteindelijke onderzoek beter wordt. Van onderzoeksvraag tot publicatie.”
Computersimulatie: een fictief Nederland
De Rooij's onderzoeksgroep draagt bij aan beter onderzoek door middel van statistisch onderzoek via computersimulaties. Ze bootsen de echte wereld na door in een computerprogramma fictieve populaties te creëren met specifieke kenmerken. “Ik maak bijvoorbeeld een fictief Nederland, waarin ik weet wat de relatie is tussen mijn voorspeller en mijn uitkomst. Ik weet dus wat de waarheid is.”
Wat is echte kennis?
Op deze controleerbare populaties toetst De Rooij vervolgens of de statistische methoden die psychologen gebruiken voor onderzoek naar bijvoorbeeld neuroticisme of depressie kloppen. Dit kan complexe berekeningen tot gevolg hebben: “De ene keer doet mijn computer in anderhalf uur 5000 analyses waarbij ik uit 50 populaties steeds 100 steekproeven neem. Een andere keer hebben we alle computers van de hele faculteit van vrijdagavond na sluitingstijd tot aan maandagmorgen vroeg laten draaien om zo’n onderzoek uit te voeren.”
Met de resultaten van dit onderzoek kan De Rooij zien of de statistische techniek echt vindt wat het moet vinden. Het geeft inzicht in hoeverre de gebruikte methode van steekproef nemen en analyse daadwerkelijk zorgt dat er een algemene uitspraak kan worden gedaan over een hele populatie. Zo komen resultaten van psychologisch onderzoek in de richting van betrouwbare kennis.
Complexiteit sociale wetenschappen
In elk onderzoek heb je natuurlijk een foutmarge. “Het speciale aan psychologie en alle sociale wetenschappen is dat wij veel dingen niet direct kunnen observeren. Ik kan wel iemands lengte meten, maar ik kan niet zien in welke mate die persoon depressief is. Een psycholoog meet dat met een bepaald psychologisch instrument, zoals een test of een vragenlijst. Die zijn nooit 100% accuraat. Wij hebben altijd te maken met meetfouten, omdat ieder mens in iedere situatie anders is. Dat is dus het lastige en complexe in sociaal wetenschappelijk onderzoek. Geen mens is immers precies gemiddeld, terwijl we bij onderzoek wel conclusies trekken over kenmerken van de zogenaamde gemiddelde mens.”
100% reproduceerbaar
Door middel van de computersimulatie heeft De Rooij echter de beschikking over een stabiele populatie. Hiermee kan hij de techniek net zolang herhalen tot er bijna geen foutmarge meer is. “Het onderzoek dat ik doe is 100% reproduceerbaar. Iemand in Bangladesh of New York kan hetzelfde doen en krijgt dan precies dezelfde resultaten. Dus de kennis die dit oplevert blijft ook kennis.”
Met die kennis stelt De Rooij's onderzoeksgroep richtlijnen op die psychologen laten zien of ze voor hun onderzoek de getoetste statistische techniek kunnen gebruiken en of de analyse van hun data hun eigenlijk wel vertelt wat ze willen onderzoeken. Zo verbetert psychologisch onderzoek en komen we tot kennis waar we op voort kunnen blijven bouwen.