作為重要的非語(yǔ)言交流線(xiàn)索，微表情可以揭示一個(gè)人的真實(shí)情緒狀態(tài)。特別是隨著(zhù)深度學(xué)習方法在微表情分析領(lǐng)域的蓬勃發(fā)展，微表情分析的發(fā)展得到了關(guān)注。然而，心理學(xué)和人工智能的研究都受到了微表情小樣本的限制。 　　  

　　中國科學(xué)院心理研究所微表情應用研究中心建立了CAS(ME)³數據庫，這是一個(gè)大規模、自發(fā)的微表情數據庫，包含了樣本的深度信息，并且具有高生態(tài)效度。該數據庫有望引領(lǐng)下一代微表情分析的發(fā)展。   

　　數據規模對于基于人工智能的微表情分析至關(guān)重要。CAS(ME)³提供了約80小時(shí)的視頻，超過(guò)800萬(wàn)幀，包括1109個(gè)人工標注的微表情和3490個(gè)宏觀(guān)表情。CAS(ME)³的大樣本量可以有效地進(jìn)行微表情分析方法驗證，同時(shí)避免數據庫偏差。   

　　CAS(ME)³的亮點(diǎn)之一是數據庫中的樣本包含深度信息。引入深度信息這一模態(tài)的靈感來(lái)自于基于人類(lèi)視覺(jué)感知的微表情識別心理學(xué)實(shí)驗。受試者被要求觀(guān)看2D和3D微表情視頻，并回答關(guān)于視頻的情緒價(jià)值、情緒類(lèi)型和情緒強度的三個(gè)問(wèn)題。被試在觀(guān)看3D視頻的情況下，反應時(shí)間更短、強度評分更高，這表明深度信息可以促進(jìn)個(gè)體對微表情的識別。在證明了深度信息對人類(lèi)視覺(jué)感知的有效性后，研究團隊繼續進(jìn)行智能微表情分析的工作，并且證明了在深度信息的幫助下，算法對微表情的連續變化更加敏感。 

圖1.微表情樣本：RGB圖像和深度信息（Part A - spNO.216：AU R1+R2，驚喜）

　　CAS(ME)³的另一個(gè)亮點(diǎn)是它的高生態(tài)效度。在微表情誘發(fā)的過(guò)程中，研究者優(yōu)化了采集環(huán)境，設計了模擬犯罪的誘發(fā)范式，使之盡可能接近現實(shí)。并且，在數據采集的過(guò)程中，同時(shí)通過(guò)攝像機和可穿戴設備收集視頻、語(yǔ)音和生理信號，包括皮膚電活動(dòng)、心率/指尖脈搏、呼吸和脈搏等。實(shí)驗表明，高風(fēng)險場(chǎng)景（如犯罪）中的被試比低風(fēng)險場(chǎng)景（如無(wú)罪）中的被試泄露更多的微表情。這種高生態(tài)效度的樣本為真實(shí)場(chǎng)景中微表情分析和情緒理解提供了基礎。 

　　此外，在算法層面，緩解微表情小樣本問(wèn)題的手段之一是無(wú)監督學(xué)習。作為無(wú)監督學(xué)習的一個(gè)研究方向，自監督學(xué)習已經(jīng)成為一個(gè)熱門(mén)話(huà)題。使用額外的深度信息或更多的微表情幀來(lái)生成標簽并構建微表情分析的自監督學(xué)習模型是很自然的一種設想。CAS(ME)³提供了1,508個(gè)無(wú)標簽的視頻，超過(guò)4,000,000幀，搭建了基于無(wú)監督學(xué)習的微表情分析的數據平臺。   

　　心理所傅小蘭研究員帶領(lǐng)的研究團隊此前已經(jīng)發(fā)布了三個(gè)微表情數據庫：CASME、CASME II和CAS(ME)²。這些數據庫被來(lái)自50多個(gè)國家的600多個(gè)研究團隊申請試用，并且超過(guò)80%的微表情分析文章至少使用了其中一個(gè)數據庫進(jìn)行方法驗證。 

　　基于CAS(ME)³與之前的CASME系列數據庫，未來(lái)有望出現基于自監督學(xué)習和基于深度信息、生理和語(yǔ)音信號的多模態(tài)微表情分析研究。 

　　隨著(zhù)數據驅動(dòng)的科研范式的形成，研究所越來(lái)越重視心理學(xué)研究中的科學(xué)數據工作，正在積極建設中國科學(xué)院心理研究所科學(xué)數據中心。該數據庫未來(lái)可通過(guò)科學(xué)數據中心提供的平臺申請使用。 

　　該研究獲得國家自然科學(xué)基金、中國博士后科學(xué)基金和國家重點(diǎn)研發(fā)計劃的資助，并于近期發(fā)表在IEEE Transactions on Pattern Analysis and Machine Intelligence上。 

　　論文信息：Li, J., Dong, Z., Lu, S., Wang, S. J. *, Yan, W. J., Ma, Y., Liu, Y., Huang, C., & Fu, X.* (2022). CAS (ME) ³: A Third Generation Facial Spontaneous Micro-Expression Database with Depth Information and High Ecological Validity. IEEE Transactions on Pattern Analysis and Machine Intelligence. DOI: 10.1109/TPAMI.2022.3174895.