在當今人工智能領(lǐng)域飛速發(fā)展的背景下，人形機器人（humanoid robot）在人類(lèi)社會(huì )中的應用日益廣泛。機器人可以協(xié)助人類(lèi)完成一系列重復性的、危險的或高精確度的任務(wù)，從而幫助人類(lèi)解決許多現實(shí)生活中的問(wèn)題。此外，人形機器人還可以作為人類(lèi)的社交伴侶和生活助手，提供情感支持和社會(huì )互動(dòng)，為人類(lèi)帶來(lái)更多便利和舒適。然而，要實(shí)現人形機器人與人類(lèi)的良好互動(dòng)，機器人需要在復雜的現實(shí)環(huán)境中處理多種類(lèi)型和感覺(jué)通道的社會(huì )性線(xiàn)索。因此，對跨感覺(jué)通道輸入信息的整合和沖突解決成為機器人是否可以成功應對復雜人-機交互場(chǎng)景的關(guān)鍵能力。

　　為了研究這一問(wèn)題，中國科學(xué)院行為科學(xué)重點(diǎn)實(shí)驗室劉勛研究組與德國漢堡大學(xué)計算機系Stefan Wermter教授合作將經(jīng)典的注意線(xiàn)索范式（Posner cueing task）改編為一項更具生態(tài)學(xué)效度的視聽(tīng)跨通道任務(wù)。研究通過(guò)采集人類(lèi)參與認知任務(wù)的行為數據，并使用深度網(wǎng)絡(luò )學(xué)習（Deep Neural Networks）建模的方法，成功地訓練出一個(gè)可以執行類(lèi)似于人類(lèi)跨通道社會(huì )性注意和沖突解決的機器人。

　　在人類(lèi)實(shí)驗中，研究者設計了一個(gè)由3名虛擬人組成的圓桌會(huì )議場(chǎng)景。每個(gè)虛擬人都佩戴醫學(xué)口罩以遮擋除眼睛以外的面部線(xiàn)索。不同于傳統的社會(huì )性注意研究，本研究使用的視覺(jué)線(xiàn)索（visual cue）為動(dòng)態(tài)的眼睛注視線(xiàn)索。中間虛擬人不僅可以動(dòng)眼，還會(huì )在每個(gè)試次開(kāi)始后向左或向右輕微轉頭與上半身。隨后，左側或者右側的虛擬人會(huì )發(fā)聲。被試被告知忽略視覺(jué)刺激的干擾，準確且快速地判斷聲音的位置。其中，注視方向和發(fā)聲位置在空間維度可以一致或不一致。實(shí)驗結果發(fā)現，被試在視聽(tīng)空間位置一致條件下的任務(wù)表現顯著(zhù)好于不一致條件，表明本實(shí)驗中動(dòng)態(tài)的注視線(xiàn)索成功誘發(fā)視聽(tīng)跨通道社會(huì )性注意。

圖1. 實(shí)驗流程示意圖

　　在機器人實(shí)驗中，研究者通過(guò)深度學(xué)習網(wǎng)絡(luò )訓練iCub機器人在相同實(shí)驗任務(wù)中產(chǎn)生類(lèi)人的行為反應。首先，研究者構建了一個(gè)門(mén)控注意力預測模型（Gated Attention for Saliency Prediction, GASP）用于預測視聽(tīng)跨通道顯著(zhù)性。該模型可以檢測多個(gè)社會(huì )線(xiàn)索，為每個(gè)線(xiàn)索產(chǎn)生特征圖，這些特征圖根據加權機制進(jìn)行優(yōu)先排序。在加權階段之后，特征被依次整合，以預測顯著(zhù)性。iCub機器人通過(guò)轉動(dòng)眼球完成視聽(tīng)任務(wù)中對聲音的定位，其注視動(dòng)作的產(chǎn)生基于GASP模型預測的顯著(zhù)性密度圖。實(shí)驗結果發(fā)現，機器人表現出了類(lèi)人的反應，即在視聽(tīng)空間不一致的條件下，機器人反應錯誤率顯著(zhù)高于視聽(tīng)空間一致條件。研究者還分析了機器人與人類(lèi)的“刺激-反應兼容性”效應（stimulus-response compatibility, SRC），發(fā)現還是人類(lèi)的跨通道沖突解決能力更勝一籌。

圖2. a) GASP模型；b)iCub機器人做視聽(tīng)跨通道沖突任務(wù)

圖3. 人類(lèi)與機器人在不同實(shí)驗條件下行為反應及對比

　　該研究為開(kāi)發(fā)更具有社交智能的機器人提供了基礎，有助于日后機器人更好地理解和響應人類(lèi)的情感、意圖和需求，并能夠以自然、直觀(guān)的方式與人類(lèi)進(jìn)行互動(dòng)。研究將對醫療保健、教育和其他需要社交互動(dòng)的領(lǐng)域產(chǎn)生積極影響，并為未來(lái)人工智能的落地應用創(chuàng )造更多可能性。

　　該研究受到國家自然科學(xué)基金中德國際合作重大項目（NSFC: 62061136001, DFG: TRR 169）和中國博管會(huì )派出項目支持。文章已發(fā)表于International Journal of Social Robotics。

　　德國漢堡大學(xué)計算機系與中科院心理所聯(lián)合培養博士后付迪博士為第一作者，付迪博士與劉勛研究員為本文共同通訊作者。

　　論文信息：Fu, D.*, Abawi, F., Carneiro, H., Kerzel, M., Chen, Z., Strahl, E., Liu, X.*, Wermter, S. (2023). A trained humanoid robot can perform human-like crossmodal social attention and conflict resolution. International Journal of Social Robotics,1-16. doi: 10.1007/s12369-023-00993-3. https://rdcu.be/c81uf

　　實(shí)驗演示視頻鏈接：https://www.youtube.com/watch?v=bjiYEs1x-7E

　　相關(guān)論文：

　　Fu, D.*, Abawi, F., & Wermter, S. (2023). The Robot in the Room: Influence of Robot Facial Expressions and Gaze on Human-Human-Robot Collaboration. https://arxiv.org/pdf/2303.14285.pdf

　　Parisi, G. I., Barros, P., Fu, D., Magg, S., Wu, H., Liu, X., & Wermter, S. (2018). A neurorobotic experiment for crossmodal conflict resolution in complex environments. In 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (Madrid: IEEE), 2330-2335.