Hogere respons mogelijk bij steekproefonderzoek
Proefschrift: The Hunt for the Last Respondent. Nonresponse in sample
surveys.
De hoge nonrespons bij steekproefonderzoek in Nederland is een ernstig
probleem.
Hoe hoger de respons, hoe groter de kans op betrouwbare resultaten.
Met een intensieve benadering is een respons van 70% mogelijk.
De respons op steekproefonderzoek in Nederland hoeft niet onder te
doen voor die in andere Europese landen.
Zowel de bereikbaarheid van respondenten als de bereidwilligheid om
aan onderzoek mee te doen neemt af. Beide oorzaken van nonrespons
vereisen aparte maatregelen.
Gezien de nadelige gevolgen van nonrespons is het noodzakelijk meer
aandacht te besteden aan de kwaliteit van dataverzameling.
Dit zijn enkele conclusies uit de SCP-publicatie The Hunt for the Last
Respondent. Nonresponse in sample surveys, het proefschrift van
SCP-medewerker Ineke Stoop, dat zij op 19 mei 2005 verdedigt aan de
Universiteit Utrecht.
In Nederland is het steeds moeilijker om een hoge respons te krijgen.
Dit maakt onderzoek onder steekproeven uit de bevolking lastig en
kostbaar. Een lage respons roept vragen op over de betrouwbaarheid van
de uitkomsten van onderzoek. In dit proefschrift wordt een overzicht
gegeven van de internationale literatuur over nonrespons in
steekproefonderzoek. Een belangrijk deel van het eigen onderzoek
bestaat uit een diepgaande analyse van nonrespons bij het Aanvullend
Voorzieningengebruikonderzoek 1999 van het SCP. Een steekproef van
personen die niet aan dit onderzoek wilden meedoen werd enkele maanden
later benaderd met een korte vragenlijst over voorzieningengebruik.
Het merendeel bleek bereid om de vragenlijst te beantwoorden.
Vergelijking van de resultaten van de respondenten die de lange
vragenlijst hadden ingevuld met die van de korte vragenlijst van de
overgehaalde weigeraars, maakte het mogelijk precies aan te geven tot
welke vertekening nonrespons leidt, en of extra inspanningen niet
alleen tot een hogere respons leiden, maar ook tot betrouwbaarder
resultaten.
Een hoge respons is mogelijk en belangrijk.
Veel sociaal-wetenschappelijk onderzoek is gebaseerd op steekproeven
uit de bevolking. Deze kunnen een goed beeld geven van de gehele
bevolking als de respons hoog is. Bij een lage respons is het risico
groot dat de resultaten van een survey bepaald worden door mensen die
veel thuis zijn, het onderwerp interessant vinden of het leuk vinden
om vragenlijsten in te vullen. Een hogere respons, ook onder mensen
die veel weg zijn, of niet in surveys of het onderwerp zijn
geïnteresseerd, is haalbaar als deelname op veel verschillende
manieren mogelijk en aantrekkelijk wordt gemaakt. Dat kan door de
respondenten op een geschikte tijd te benaderen, nog eens terug te
komen als het hen beter uitkomt, of ze zelf te laten bepalen of de
vragenlijst schriftelijk, telefonisch, mondeling of via internet wordt
beantwoord. Deelname kan aantrekkelijk worden gemaakt door het geven
van een cadeautje, maar ook door informatie te geven over het belang
en het doel van het onderzoek.
Aan het Aanvullend Voorzieningengebruikonderzoek 1999 van het SCP
deden iets meer dan 6.000 huishoudens mee. Alle personen van zes jaar
en ouder moesten een lange vragenlijst invullen. De totale respons was
ongeveer 65%, wat voor zo'n lang onderzoek hoog is, zeker in
Nederland. Een klein deel van de hardnekkige weigeraars werd enkele
maanden later opnieuw benaderd met een kortere vragenlijst. Goed
betaalde en enthousiaste interviewers konden een breed scala aan
materiële en immateriële beloningen inzetten en slaagden erin meer dan
70% van de hardnekkige weigeraars over te halen. Uiteindelijk blijkt
dus een zeer hoog percentage van de bevolking bereid mee te doen, maar
een hoge respons kost wel veel tijd en geld. Dit vereist ook een
individuele en intensieve aanpak, passend bij het onderzoek en de
specifieke doelgroep. Inspanningen als in het vervolgonderzoek onder
weigeraars zijn niet zonder meer toepasbaar in grootschalige surveys.
Succesvolle deelstrategieën zijn inmiddels wel toegepast in andere
surveys, met een hoge respons als gevolg.
Ook bij een hoge respons kan vertekening optreden.
Een respons van 70% wordt in het algemeen als hoog gezien. Toch is ook
bij deze respons vertekening mogelijk, als nonrespondenten al te zeer
verschillen van respondenten. Als bijvoorbeeld jongeren weinig
meedoen, kan dat gecorrigeerd worden met statistische weegtechnieken.
Selectieve nonrespons is echter veel moeilijker te herstellen. Van
selectieve nonrespons is sprake als de jongeren die niet meedoen
andere opinies hebben of een ander gedragspatroon vertonen dan de
jongeren die wel meedoen. Daarom is het belangrijk niet alleen naar
een hoge respons te streven, maar ook informatie te verzamelen over
weigeraars en mensen die moeilijk bereikbaar zijn. Dat is zelfs
belangrijker dan jacht te maken op extra respondenten, alleen maar om
een bepaald responspercentage te behalen.
De respons bij surveys in Nederland hoeft niet onder te doen voor die
in andere Europese landen.
In het European Social Survey 2003/2004 zijn in 22 Europese landen op
dezelfde wijze data verzameld. Daarom zijn de responsresultaten goed
te vergelijken. Terwijl Nederland bekend staat om zijn lage respons,
blijkt uit de ESS dat met de nodige inspanningen Nederland tot de
middengroep kan behoren. Dit succes is onder andere behaald door de
mensen opnieuw te benaderen die er aanvankelijk niet zoveel voor
voelden om mee te doen.
Bereikbaarheid en bereidwilligheid zijn verschillende dimensies van
nonrespons.
Mensen zijn tegenwoordig steeds minder goed bereikbaar. Ook de
bereidwilligheid om aan surveys mee te doen neemt af. Om de respons te
verhogen is het zowel van belang zoveel mogelijk mensen te bereiken om
ze de vraag te kunnen stellen of ze willen meewerken, als
daadwerkelijk hun medewerking te verkrijgen. Ook bij het beoordelen
van de kwaliteit van een survey en de consequenties van nonrespons is
het van belang om te weten in hoeverre nonrespons samenhangt met
bereikbaarheid en in hoeverre met bereidwilligheid.
Dataverzameling verdient meer aandacht.
Bij het analyseren van data of het publiceren van interessante
uitkomsten wordt meestal maar weinig aandacht besteed aan de kwaliteit
van de verzamelde gegevens. Geavanceerde analysemethoden of politieke
relevantie kunnen echter nooit tekortkomingen in de dataverzameling
goedmaken. Investeren in de kwaliteit van de gegevens en meer kennis
over de wijze waarop gegevens zijn verzameld, zijn van belang voor
beleid en wetenschap, zeker gezien de grote consequenties die
nonrespons kan hebben voor de betrouwbaarheid van de resultaten.
SCP-publicatie 2005/8, The Hunt for the Last Respondent. Nonresponse
in sample surveys. Ineke Stoop, Den Haag. Sociaal en Cultureel
Planbureau, mei 2005, ISBN 90 377 0215 5, prijs EUR 27,50.
De Nederlandse samenvatting is verschenen als De jacht op de laatste
respondent. Nonrespons in steekproefonderzoek. Ineke Stoop, Den Haag.
Sociaal en Cultureel Planbureau, mei 2005,
ISBN 90 377 0223 6, prijs EUR 9,90.
De publicaties zijn verkrijgbaar bij de boekhandel of te bestellen bij
het SCP via fax 070 - 340 7044,
e-mail: bestel@scp.nl of via de web-site: www.scp.nl
Sociaal en Cultureel Planbureau