Gepubliceerd op 22 oktober 2009
Gepubliceerde analyse van psychologisch onderzoek vaak niet controleerbaar
Gepubliceerd op 22 oktober 2009
Jelte Wicherts en Marjan Bakker, psychologen aan de Universiteit van
Amsterdam, betogen deze week in een brief in Nature dat hernieuwde
richtlijnen het moeilijker maken om de resultaten van analyses uit
psychologische publicaties te controleren. Zij hebben de brief
geschreven als reactie op de herziene versie van de Publication
Manual, opgesteld door de American Psychological Association (APA).
In theorie zijn wetenschappelijke onderzoeksresultaten controleerbaar,
maar de praktijk is weerbarstiger. Hoewel psychologen die publiceren
in de tijdschriften van de APA verplicht zijn hun onderzoeksgegevens
ter beschikking te stellen aan anderen ter controle van de
statistische analyses, is gebleken dat meer dan 70% van de psychologen
dit nalaat.
Ondanks hun foutgevoeligheid zijn statistische analyses in
psychologisch onderzoek dus vaak niet controleerbaar. In tegenstelling
tot tijdschriften in andere vakgebieden geldt bij psychologische
tijdschriften niet de verplichting om onderzoeksgegevens te publiceren
als appendix bij het onderzoeksartikel.
Nieuwe richtlijnen voor onderzoeksgegevens
In de herziene versie van de Publication Manual heeft de APA haar
richtlijnen voor het delen van onderzoeksgegevens aangescherpt.
Volgens Wicherts en Bakker leggen de nieuwe richtlijnen van APA
omtrent het delen van onderzoeksgegevens nog meer macht bij de
oorspronkelijke onderzoeker. Daardoor wordt kritische heranalyse
volgens hen bijna onmogelijk.
De nieuwe richtlijnen van de APA vereisen namelijk dat gegevens pas
gedeeld worden nadat de oorspronkelijke onderzoeker en de aanvrager
een schriftelijke overeenstemming hebben bereikt. Die gaat onder meer
over het doel van de heranalyse, verwachtingen over coauteurschap op
eventuele publicaties en beperkingen over het openbaar maken van de
resultaten van de heranalyse. Volgens deze richtlijn kan een
onderzoeker wiens analyses bekritiseerd wordt, van de aanvrager eisen
dat heranalyse enkel en alleen gerapporteerd wordt in een artikel
waarop de oorspronkelijke onderzoeker zelf coauteur is. De meeste
onderzoekers zullen volgens Wicherts en Bakker echter niet graag een
artikel publiceren waarin wordt aangetoond dat hun oorspronkelijke
analyses niet deugden.
Universiteit van Amsterdam