Radboud Universiteit Nijmegen
Brein combineert taal en gebaar tot één verhaal
Datum bericht: 17 december 2008
We horen taal en we zien de spreker erbij gebaren. Die gebaren maken we meestal zonder erbij na te denken en zonder geluid betekenen ze ook niet zoveel. Maar met taal erbij voegen de gebaren wel degelijk informatie toe. Roel Willems ontdekte dat het brein taal en gebaar in hetzelfde gebied verwerkt. En even snel. Hij promoveert 16 januari aan de Radboud Universiteit.
Als je je vingers een loopbeweging laat maken als je vertelt dat je je zaterdag van hot naar her hebt gesjouwd voor de kerstversiering, maak je een iconisch gebaar. Dat zijn handbewegingen die tot op zekere hoogte verwijzen naar wat ze uitbeelden. Naar de verwerking en betekenis van deze gebaren deed Roel Willems, psycholoog, zijn promotieonderzoek. De echt abstracte gebaren, zoals bijvoorbeeld het omdraaien van de handen om nadruk te geven aan een verhaal, liet hij buiten beschouwing.
Als onderzoeksmateriaal gebruikte Willems filmpjes van gebaren die mensen maken als ze een verhaal - bijvoorbeeld een tekenfilm - navertellen. Bijvoorbeeld hoe een stripfiguur omhoog springt om iets te grijpen kan in een gebaar worden uitgedrukt.
Het filmpje starten door op het plaatje te klikken of op deze link
Het filmpje starten door op het plaatje te klikken of op deze link
Wanneer en waar
Willems liet gezonde proefpersonen gelijktijdig luisteren en kijken naar gesproken zinnen en handgebaren. In sommige gevallen was de betekenis van een woord of een gebaar niet passend gegeven de zin die voorafging aan het woord of gebaar:
'De dingen die hij op het boodschappenlijstje sloeg, moest hij niet vergeten'.
Eerder onderzoek met EEG liet zien dat zulke betekenisverwarring tot bepaalde hersenreacties leidt, die uitdrukken in hoeverre een woord 'acceptabel' is in de zin. Hetzelfde nu vond Willems voor gebaren: foute gebaren geven hetzelfde effect als foute woorden: na ongeveer 400 milliseconden registreert het EEG een soort betekenissignaal in het brein.
In de hersenscanner werd ontdekt wáár de informatie werd verwerkt. Een bepaald gebied werd actiever als woorden of gebaren 'onacceptabel' waren, dan wanneer die woorden of gebaren pasten bij de context. Dit gebied - het inferieure deel van de frontale cortex - is zeer belangrijk voor taal, zowel voor het spreken of schrijven als voor het begrijpen. Willems concludeerde dat hier informatie uit woorden én acties wordt samengebracht.
Taal, gebaar, betekenis
De iconische gebaren zijn zonder spraak er bij niet veelzeggend. Dat blijkt wel uit het volgende filmpje
Het filmpje starten door op het plaatje te klikken of op deze link
Wat legt deze vrouw precies uit? Dat wordt pas duidelijk als de spraak erbij komt. Maar zijn die gebaren, die op zichzelf dus niet veel zeggen, dan ook zonder nut? Willems metingen aan de hersenen laten zien dát de gebaren wel meegenomen worden in de betekenistoekenning, maar klopt de eerdere voorspelling dat luisteraars de gebaren min of meer negeren? Of dat gebaren in ieder geval weinig toevoegen aan de spraak die we horen? Willems is van het tegendeel overtuigd: gebaren ondersteunen spraak en voegen er zelfs informatie aan toe. Bekijk het bovenstaande filmpje mét geluid.
Het filmpje starten door op het plaatje te klikken of op deze link
We weten nu niet alleen dat het hier over schrijven en rekenen gaat, maar ook over enthousiast, actief werken. Zonder dat dat gezegd is.
Minder bloemrijk
En wat doet het gebaren eigenlijk met de hersenen van de spreker? Willems: 'Het is heel lastig om dat met hersenscanners te onderzoeken, want je moet daarin absoluut stil liggen. Maar ander soort onderzoek heeft laten zien dat sprekers wanneer je ze op hun handen laat zitten als ze een verhaal moeten vertellen minder bloemrijk vertellen. Je mist dan niet alleen de gebaren, maar ook de details die de gebarende spreker je anders had verteld.'
Hoewel spraak en gebaar in veel opzichten erg van elkaar verschillen, lijken ze wel één systeem te vormen: we begrijpen ze op vergelijkbare manier, en gebaren doet ons beter spreken. Sommige onderzoekers menen dan ook dat communicatie met gebaren evolutionair vooraf ging aan taal. Willems is niet helemaal overtuigd: 'De redenen voor die claim zijn voornamelijk suggestief, er zijn weinig harde bewijzen. Spraak en gebaar lijken eerder samen ontstaan, niet zozeer een als de voorloper van de ander.'
Roel Willems (Limbricht, 1980) studeerde psychologie aan de Universiteit Maastricht. Zijn promotieonderzoek maakt deel uit van het programma van het centrum voor cognitive neuroimaging, dat onderdeel is van het Donders Institute for Brain, Cognition and Behaviour van de Radboud Universiteit Nijmegen. Willems is hier momenteel postdoc. Zijn onderzoek werd ondersteund door NWO. Hoofdstukken uit zijn proefschrift verschenen in o.a. Journal of Cognitive Neuroscience, Current Biology, Cerebral Cortex. In april vertrekt Willems naar Berkeley om daar onderzoek te gaan doen. Hiervoor ontving hij een Rubicon-beurs van NWO.
Roel Willems: 'Neural reflections of meaning in gesture, language and action' (Sociale Wetenschappen)
Promotie: 16 januari 2009, promotor prof. dr. P. Hagoort; copromotor mw. dr. A. Özyürek