Nederlands
Veel psychologisch onderzoek bevat ernstige statistische fouten
Datum: 29 september 2009
In psychologisch wetenschappelijk onderzoek worden veel ernstige
statistische fouten gemaakt. Nederlandse onderzoekers hebben
elementaire statistische methodes niet goed onder de knie en doen
uitspraken die stelliger zijn dan ze kunnen waarmaken. Dat blijkt uit
onderzoek waarop Rink Hoekstra op 8 oktober 2009 promoveert aan de
Rijksuniversiteit Groningen.
Psychologen proberen menselijk gedrag en de onderliggende mentale
processen te begrijpen. Om algemene uitspraken te doen over menselijk
gedrag, wordt er uit praktische overwegingen meestal voor gekozen dit
gedrag te bestuderen bij een beperkt aantal mensen (een steekproef),
om deze steekproefgegevens vervolgens te generaliseren naar de
populatie waarin de onderzoeker geïnteresseerd is. Bij dit
generalisatieproces kunnen verschillende technieken gebruikt worden.
De significantietoets is veruit de meest gebruikte.
Oud probleem
Al decennialang staat het gebruik van die significantietoets ter
discussie. Hoekstra: "Stel je voor dat je onderzoek doet naar de
lengte van mannen en vrouwen. Daarbij kun je je de vraag stellen of
mannen langer zijn dan vrouwen. Na een steekproef waarbij je de lengte
van tien mannen en tien vrouwen meet, zou je kunnen stellen dat mannen
significant langer zijn dan vrouwen. Maar is dat interessant? En zegt
je dat iets? Je kunt je beter de vraag stellen hoe groot het verschil
in lengte is. Zo krijg je én inzicht in de vraag of mannen langer zijn
dan vrouwen én inzicht in de omvang van het lengteverschil." Niet
alleen lijkt het zinvol de vraag te beantwoorden óf een effect bestaat
(waarvoor de significantietoets vaak gebruikt wordt), maar ook hoe
groot dat effect precies is, wat op steekproefniveau wordt uitgedrukt
door de effectgrootte. Een betrouwbaarheidsinterval helpt om de
effectgrootte van de steekproef te generaliseren naar de gehele
populatie.
Onkunde, onwetendheid
Volgens internationale voorschriften is in psychologisch onderzoek een
significantietoets niet voorgeschreven, maar is het gebruik van
effectgrootte noodzakelijk en worden betrouwbaarheidsintervallen sterk
aangeraden. Uit het onderzoek van Hoekstra blijkt dat deze
nuanceringen van de significantietoets in psychologisch
wetenschappelijk onderzoek veelal achterwege blijven, of dat ze pro
forma worden uitgevoerd, maar bij het trekken van conclusies
verwaarloosd worden. Hoekstra: "Als je heel kritisch kijkt, vind je in
vrijwel elk gepubliceerd artikel iets wat niet klopt. Ook in
gerenommeerde tijdschriften." Uit interviews met en tests van dertig
promovendi aan zeven Nederlandse universiteiten blijkt dat geen sprake
is van onwil, maar vooral van onkunde en onwetendheid. Hoekstra: "De
fouten zijn zo gewoon geworden, dat niemand ze meer ziet."
"Het bekt lekkerder"
Maar de statistische fouten komen de onderzoekers soms ook goed uit,
vermoedt Hoekstra. "Wetenschappers streven de waarheid na. Maar in de
praktijk zijn zij ook zeer gericht op het zo goed mogelijk presenteren
van hun eigen onderzoek. Mijn onderzoeksresultaten suggereren dat
onderzoekers geneigd zijn redelijk zwart-wit te denken en dingen
stelliger te beweren dan ze feitelijk kunnen waarmaken. Als je zegt
dat iets significant is, dan bekt dat lekker. En tijdschriftredacties
zijn dan misschien ook sneller in je artikel geïnteresseerd: die
willen het liefst aansprekende verhalen publiceren." De kwaliteit van
het onderwijs in de statistiek moet beter, vindt Hoekstra. "Studenten
zijn slim genoeg om te begrijpen dat de waarheid niet zwart-wit is.
Docenten moeten durven om hun studenten een genuanceerd verhaal te
vertellen. Daar bewijzen ze de studenten én de toekomstige wetenschap
een dienst mee."
Curriculum vitae
Rink Hoekstra (Drachten, 1977) studeerde psychologie en technische
cognitiewetenschappen aan de RUG. Hij verrichtte zijn
promotieonderzoek aan de afdeling Statistiek en Methodologie van de
faculteit Gedrags- en Maatschappijwetenschappen (GMW) van diezelfde
universiteit, onder leiding van prof.dr. H.A.L. Kiers en prof.dr. A.
Johnson. Inmiddels werkt Hoekstra als docent en onderzoeker bij
deafdeling Onderwijskunde van de faculteit GMW. De titel van zijn
proefschrift luidt: "The Use and Usability of Inferential Techniques".
Rijksuniversiteit Groningen