語(yǔ)義加工依賴(lài)于兩個(gè)系統的交互作用：語(yǔ)義表征系統和語(yǔ)義控制系統。語(yǔ)義表征系統主要用于語(yǔ)義的存儲，語(yǔ)義控制系統使語(yǔ)義加工更靈活、動(dòng)態(tài)地符合當前的情景和任務(wù)要求。然而，廣義上的語(yǔ)義信息不僅包括語(yǔ)言信息，也包括來(lái)自其他模態(tài)的信息。其中來(lái)自手勢的信息格外重要。手勢是伴隨言語(yǔ)而產(chǎn)生的活動(dòng)，一般手勢呈現早于言語(yǔ)，不僅可以作為言語(yǔ)的補充說(shuō)明，而且可以包含言語(yǔ)中不存在的信息。手勢信息和言語(yǔ)信息交互作用，共同影響著(zhù)人們對交流信息的理解。以往的研究發(fā)現，跨模態(tài)的手勢信息和言語(yǔ)信息的加工過(guò)程也會(huì )涉及語(yǔ)義加工的兩個(gè)系統，然而這兩個(gè)系統是如何在手勢與言語(yǔ)的跨模態(tài)語(yǔ)義加工中動(dòng)態(tài)交互的尚不明確。

　　針對這一問(wèn)題，中國科學(xué)院行為科學(xué)院重點(diǎn)實(shí)驗室杜憶研究組采用非侵入性精密計時(shí)雙脈沖經(jīng)顱磁刺激（double-pulse TMS）技術(shù)，將手勢和言語(yǔ)信息的整合過(guò)程分成以40ms為單位的時(shí)間窗，在每個(gè)時(shí)間窗上分別對多模態(tài)語(yǔ)義表征核心腦區——后側顳中回（pMTG）和語(yǔ)義控制核心腦區——額下回（IFG）實(shí)施雙脈沖TMS刺激（圖1），以期獲得兩個(gè)系統的因果性時(shí)間動(dòng)態(tài)加工機制。

　　實(shí)驗中，研究者根據言語(yǔ)詞匯的加工過(guò)程將手勢和言語(yǔ)的整合分成詞匯前的語(yǔ)音階段和詞匯后的語(yǔ)義加工階段。詞匯前階段包含3個(gè)時(shí)間窗（TW1,TW2, TW3），詞匯后階段包含5個(gè)時(shí)間窗(TW4-TW8)。實(shí)驗招募了26名年輕被試，通過(guò)被試內設計分別刺激IFG，pMTG和頭頂（Vertex控制條件），實(shí)驗共包含24個(gè)block，分4次每次間隔5-7天完成。實(shí)驗從兩個(gè)維度操縱了手勢-言語(yǔ)信息的一致性，包含語(yǔ)義一致（呈現“剪”的語(yǔ)音和“剪紙”的手勢動(dòng)作）和語(yǔ)義不一致（呈現“剪”的語(yǔ)音和“噴水”的手勢動(dòng)作），以及性別一致（說(shuō)話(huà)人和做手勢動(dòng)作的人都是男性）和性別不一致（說(shuō)話(huà)人是男性，做手勢動(dòng)作的人是女性）條件。實(shí)驗要求被試看著(zhù)屏幕，但是只對聽(tīng)到的講話(huà)人性別做出判斷。

圖1. 刺激呈現及雙脈沖TMS 刺激施加于不同時(shí)間窗的示意圖

DP表示手勢的區分時(shí)間點(diǎn)（discrimination point）,IP表示言語(yǔ)的識別時(shí)間點(diǎn)（identification point）

　　研究結果發(fā)現，在控制條件下（刺激Vertex）出現了典型的語(yǔ)義一致性效應，即語(yǔ)義不一致條件下的反應時(shí)顯著(zhù)大于語(yǔ)義一致條件下的反應時(shí)，說(shuō)明手勢與言語(yǔ)存在自動(dòng)化的語(yǔ)義整合。以語(yǔ)義一致性效應量作為手勢-言語(yǔ)整合的行為指標，相對于控制條件，刺激pMTG時(shí)在TW1,TW2和TW7三個(gè)時(shí)間窗出現了手勢-言語(yǔ)整合效應的顯著(zhù)性降低，而當TMS實(shí)施于IFG時(shí)，則出現了TW3和TW6下手勢-言語(yǔ)整合效應的顯著(zhù)性降低（圖2）。

圖2. TMS選擇性地在IFG和pMTG的不同時(shí)間窗影響了手勢和言語(yǔ)的整合

　　根據結果，研究提出了手勢-言語(yǔ)的兩階段整合環(huán)路。第一個(gè)階段是詞匯前的語(yǔ)音加工階段，在這一階段，語(yǔ)音信息的輸入一方面自下而上地激活了位于顳上回和顳上溝（STG/S）的語(yǔ)音表征，另一方面又受到先呈現的手勢信息的自上而下的詞匯語(yǔ)義約束。在這一過(guò)程中，手勢對言語(yǔ)的調控先發(fā)生于pMTG，后出現于IFG，提示存在pMTG向IFG的前饋投射。第二個(gè)階段是詞匯后的語(yǔ)義加工階段，手勢的語(yǔ)義信息和言語(yǔ)的語(yǔ)義信息整合形成統一的語(yǔ)義表征。在這一過(guò)程中，IFG比pMTG更早參與到整合過(guò)程，提示存在IFG向pMTG的反饋調節（圖3）。

圖3. (A) 不同加工階段手勢-言語(yǔ)整合受到TMS影響的腦區匯總圖。（B）手勢-言語(yǔ)兩階段加工環(huán)路假設

　　該研究為多模態(tài)語(yǔ)義整合的動(dòng)態(tài)腦環(huán)路機制提供了因果性證據，揭示了額葉語(yǔ)義控制系統與顳葉語(yǔ)義表征系統的動(dòng)態(tài)交互過(guò)程。

　　該研究得到國家自然科學(xué)基金（31800964, 31822024）、心理所青年人才啟動(dòng)項目（Y8CX382005）和中國科學(xué)院戰略性先導科技專(zhuān)項（XDB32010300）的資助。

　　心理所助理研究員趙婉瑩是該研究的第一作者，杜憶研究員為通訊作者。

　　相關(guān)論文已在線(xiàn)發(fā)表于The Journal of Neuroscience。

　　論文信息：

　　Zhao, W., Li, Y., & Du, Y. (2021). TMS reveals dynamic interaction between inferior frontal gyrus and posterior middle temporal gyrus in gesture-speech semantic integration. The Journal of Neuroscience, JN-RM-1355-1321. https://doi.org/10.1523/jneurosci.1355-21.2021