日常對話(huà)中，往往遇到的并不是理想的聽(tīng)覺(jué)環(huán)境，或大或小的環(huán)境噪音會(huì )不同程度地給人們聽(tīng)清對話(huà)帶來(lái)難度。然而，聽(tīng)力正常者在極度嘈雜的環(huán)境下，也能一定程度理解對方要表達什么。這得益于在日常交流情景中，人們不僅僅靠耳朵去聽(tīng)，還會(huì )靠眼睛去捕捉并理解信息。視覺(jué)信息中對理解幫助最大的無(wú)疑是說(shuō)話(huà)人的嘴唇運動(dòng)，經(jīng)過(guò)唇語(yǔ)訓練，甚至僅僅靠觀(guān)看說(shuō)話(huà)人嘴唇運動(dòng)也能完成交流。

　　中國科學(xué)院行為科學(xué)院重點(diǎn)實(shí)驗室杜憶研究組開(kāi)展了一項多模態(tài)磁共振成像研究，包括功能磁共振成像與擴散加權成像（神經(jīng)突起方向離散度與密度成像neurite orientation dispersion and density imaging，NODDI），探究了說(shuō)話(huà)人唇動(dòng)信息輔助噪音下識別言語(yǔ)的神經(jīng)機制。如圖1所示，結果發(fā)現，視覺(jué)唇動(dòng)能夠促進(jìn)聽(tīng)覺(jué)背側通路腦區對于音節的神經(jīng)表征，并且在不同腦區對于不同的發(fā)音特征的增強具有異質(zhì)性。此外，視覺(jué)唇動(dòng)還能促進(jìn)聽(tīng)覺(jué)背側通路腦區之間的有效性功能連接。最后，聽(tīng)覺(jué)背側通路的白質(zhì)結構基礎——弓狀束——的微觀(guān)結構屬性能夠預測言語(yǔ)運動(dòng)區對于音節的表征及其向聽(tīng)覺(jué)區功能連接的視覺(jué)增強效應。

圖1.可視化摘要

　　具體而言，該研究使用/ba/、/da/、/pa/、/ta/四個(gè)音節作為聽(tīng)覺(jué)刺激，這四個(gè)音節形成了發(fā)音位置（雙唇音：/ba/、/pa/；舌齒音：/da/、/ta/）與發(fā)音清濁（濁音：/ba/、/da/；清音：/pa/、/ta/）的2 * 2的刺激屬性條件。被試聆聽(tīng)不同噪音程度下的音節并觀(guān)看對應的說(shuō)話(huà)人唇動(dòng)（視覺(jué)有效條件）或者一張靜止的嘴唇圖片（視覺(jué)無(wú)效條件），盡快辨別他們聽(tīng)到的是哪個(gè)音節。

　　首先，行為結果與以往研究一致，視覺(jué)信息極大促進(jìn)了音節辨別的成績(jì)，降低了反應時(shí)。并且，視覺(jué)信息只會(huì )提高發(fā)音位置維度的辨別，并不會(huì )提高對于音節清濁的辨別。這樣的行為證據提示了視覺(jué)信息主要提供了發(fā)音位置信息來(lái)幫助言語(yǔ)感知。

　　通過(guò)比較視覺(jué)有效與視覺(jué)無(wú)效條件，研究者發(fā)現提供了有效唇動(dòng)信息之后，被試在加工言語(yǔ)過(guò)程中，視聽(tīng)感覺(jué)區域與運動(dòng)區域被更強地激活了。然后，研究者采用基于感興趣區的多體素模式分析發(fā)現，有效的視覺(jué)唇動(dòng)顯著(zhù)增強了左側言語(yǔ)運動(dòng)區和緣上回對于音節的神經(jīng)表征（圖2B，D）。通過(guò)進(jìn)一步分析發(fā)現，聽(tīng)覺(jué)背側通路腦區對于不同發(fā)音特征有著(zhù)差異性的視覺(jué)增強效應。有效視覺(jué)唇動(dòng)增強了左側中央前回下部以及緣上回對于發(fā)音位置特征的神經(jīng)表征，但增強了左側額下回蓋部對于發(fā)音清濁的神經(jīng)表征（圖2E，F）。這是首次在神經(jīng)表征上提供了視覺(jué)信息對于聽(tīng)覺(jué)背側通路腦區對不同發(fā)音特征的貢獻差異性的證據。

圖2.基于感興趣區的多體素模式分析結果

A. 所選擇的與視聽(tīng)言語(yǔ)相關(guān)的腦區（左右腦各25個(gè)）；B. 視覺(jué)增強效應顯著(zhù)腦區；C. 左側緣上回神經(jīng)表征的視覺(jué)增強效應與行為的視覺(jué)增強效應相關(guān)；D. 在視覺(jué)有效（LC）和視覺(jué)無(wú)效條件 (LS)下的音節分類(lèi)正確率；E. 在視覺(jué)有效（LC）和視覺(jué)無(wú)效條件(LS)下的發(fā)音清濁分類(lèi)正確率；F. 在視覺(jué)有效（LC）和視覺(jué)無(wú)效條件(LS)下的發(fā)音位置分類(lèi)正確率

　　接下來(lái)，通過(guò)動(dòng)態(tài)因果模型分析發(fā)現，有效視覺(jué)信息促進(jìn)了聽(tīng)覺(jué)背側通路腦區之間的有效性功能連接（圖3）。具體而言，在視覺(jué)有效條件下，頂下小葉與發(fā)音運動(dòng)區的雙向連接增強，頂下小葉向視覺(jué)區和聽(tīng)覺(jué)區的連接增強，而聽(tīng)覺(jué)區向頂下小葉的連接減弱。四個(gè)腦區的自我抑制程度也受到視覺(jué)信息有效性的調節，聽(tīng)覺(jué)區和發(fā)音運動(dòng)區的自我抑制均上升，傾向于在視覺(jué)有效條件下減少接受刺激輸入，而視覺(jué)區和多感覺(jué)整合區（頂下小葉）的自我抑制下降，傾向于增加刺激輸入。暗示了相對于視覺(jué)無(wú)效條件，視覺(jué)有效時(shí)對于視覺(jué)信息更多的利用和權重。

圖3.動(dòng)態(tài)因果模型結果

視覺(jué)有效條件和視覺(jué)無(wú)效條件下視聽(tīng)言語(yǔ)腦網(wǎng)絡(luò )的有效性連接的差異，實(shí)線(xiàn)表示有顯著(zhù)變化的連接（p_fdr< 0.05），虛線(xiàn)表示沒(méi)有顯著(zhù)變化的連接，正值表示在視覺(jué)有效條件下連接增強，而負值表示在視覺(jué)無(wú)效條件下連接增強，腦區的自連接正值表示腦區自我抑制增強，趨向于不接受信息，負值表示腦區自我抑制下降，趨向于接受信息

　　最后，研究者提取了每個(gè)被試連接額葉（布洛卡區和前運動(dòng)皮層）、頂葉（角回和緣上回）和顳葉（維爾尼克區）的弓狀束（arcuate fasciculus, AF），一條聽(tīng)覺(jué)背側通路的核心白質(zhì)纖維束。NODDI結果發(fā)現，左側弓狀束長(cháng)支的神經(jīng)突朝向復雜性（朝向離散度指數，orientation dispersion index， ODI）可以顯著(zhù)預測言語(yǔ)運動(dòng)區的音節神經(jīng)表征及其與聽(tīng)覺(jué)區功能連接的視覺(jué)增強效應（圖4），這建立了聽(tīng)覺(jué)背側通路的結構和功能在視聽(tīng)言語(yǔ)加工中的關(guān)聯(lián)。

圖4.腦結構與腦功能相關(guān)結果

弓狀束長(cháng)支的神經(jīng)突朝向離散度指數（ODI）與言語(yǔ)運動(dòng)區向聽(tīng)皮層的有效性連接以及額下回蓋部的音節神經(jīng)表征的視覺(jué)增益有顯著(zhù)正相關(guān)，而弓狀束長(cháng)支的各向異性分數（FA）與額下回蓋部的音節神經(jīng)表征的視覺(jué)增益有顯著(zhù)負相關(guān)，與言語(yǔ)運動(dòng)區向聽(tīng)皮層的有效性連接的視覺(jué)增益有弱負相關(guān)但不顯著(zhù)。言語(yǔ)運動(dòng)區向聽(tīng)皮層的有效性連接視覺(jué)增益與額下回蓋部的音節表征視覺(jué)增益有顯著(zhù)正相關(guān)。**表示p < 0.01，*表示p < 0.05

　　該研究為視覺(jué)信息是如何促進(jìn)噪音下言語(yǔ)感知這一問(wèn)題提供了全面的神經(jīng)機制上的證據，從激活水平、神經(jīng)表征水平、腦區功能連接，最后到其白質(zhì)結構基礎，極大地促進(jìn)了對于言語(yǔ)感知中多感覺(jué)整合機制的理解。

　　該研究獲得國家科技創(chuàng )新2030-“腦科學(xué)與類(lèi)腦研究”重大項目（2021ZD0201501），國家自然科學(xué)基金（31822024）和中國科學(xué)院戰略性先導科技專(zhuān)項（XDB32010300）支持。文章已在線(xiàn)發(fā)表于Neuroimage。

　　論文信息：

　　Zhang, L., & Du, Y. (2022). Lip movements enhance speech representations and effective connectivity in auditory dorsal stream. Neuroimage, 257, 119311.

　　DOI: https://doi.org/10.1016/j.neuroimage.2022.119311