作為人類(lèi)特有的行為，科學(xué)研究是社會(huì )文明的重要推動(dòng)力量之一。近年來(lái)，研究的可重復性問(wèn)題成為科學(xué)關(guān)注的焦點(diǎn)，從心理科學(xué)到臨床醫學(xué)等領(lǐng)域，研究的可重復性成為巨大挑戰。生命科學(xué)研究的共同特點(diǎn)之一是對于測量工具的需求，一項先進(jìn)的技術(shù)會(huì )促進(jìn)更為精準的測量，提升研究的可信度。測量理論中的信效度（可信度與有效度）概念在不同學(xué)科都有涉及，特別是在心理科學(xué)和醫學(xué)中有明確的統計學(xué)界定，但在其他學(xué)科未被充分認識，尤其是交叉學(xué)科。 　  

　　6月28日，中國科學(xué)院心理研究所左西年研究員與合作者在《自然-人類(lèi)行為》上發(fā)表題為《Harnessing reliability for neuroscience research》的評論文章，以神經(jīng)科學(xué)為例，聚焦神經(jīng)影像技術(shù)，提出了個(gè)體差異測量信效度統計學(xué)框架。在此框架下，個(gè)體差異的測量由三部分組成（圖1）：研究對象（疾病或特質(zhì)）特異的變化、研究對象非特異的變化、隨機錯誤，其中前兩者是個(gè)體間差異測量，隨機錯誤則是個(gè)體內差異測量。個(gè)體差異測量的信度是個(gè)體間差異測量所占比例，而疾病或特質(zhì)特異變化所占比例則是個(gè)體差異測量的效度。由此，測量的信度就像一個(gè)瓶子的蓋子一樣，牢牢地限制住了測量的效度，不可信的測量永遠不可能有效；與此同時(shí)，測量的個(gè)體間差異越大，其信度越高，測量的個(gè)體內差異越小，其信度越高；最后，測量信度越高，其檢測統計效應所需樣本量越小?；谏鲜龅娜棞y量信效度統計規律，加之效度無(wú)法直接測量，因此信度對個(gè)體差異的基礎研究和應用轉化至關(guān)重要。 

圖1：個(gè)體差異測量的信效度 

　　近十年來(lái)，神經(jīng)影像領(lǐng)域已經(jīng)積累了大型數據集，成千上萬(wàn)的數據已經(jīng)上線(xiàn)并公開(kāi)，涵蓋人類(lèi)不同發(fā)展階段和腦障礙。由此催生的開(kāi)放式神經(jīng)科學(xué)，推動(dòng)了大型化腦科學(xué)（比如人工智能和腦疾病生物標記物）研究。個(gè)體差異研究的基礎是統計力度，其決定了檢測實(shí)驗效應的能力。大樣本量是提高統計力度的因素之一，然而如果測量信度不夠，就會(huì )產(chǎn)生對大樣本量的不必要需求。在此評論文章中，研究團隊采用蒙特卡洛方法對信度、樣本量和效應量之間的關(guān)系進(jìn)行了數值模擬，結果揭示：在神經(jīng)影像領(lǐng)域，潛在效應量較小，測量的信度局限將會(huì )極大地增加研究對樣本量的需求（圖2）。神經(jīng)影像測量的信度研究表明：現有數據中極少有足夠的個(gè)體數據能獲得高度可信的腦連接測量。各國推出的各類(lèi)大型腦計劃中，個(gè)體差異的基礎和轉化研究（教育和臨床）是中國腦計劃的核心和特色，首要解決的基礎科學(xué)問(wèn)題是測量信效度，據此優(yōu)化和標準化大型數據測量規范，防止產(chǎn)生大量的低質(zhì)量數據樣本。 

圖2：信度、樣本量和效應量之間關(guān)系 

　　神經(jīng)影像領(lǐng)域的各類(lèi)實(shí)驗所采用測量的信度水平不一。以磁共振成像為例，腦形態(tài)測量最為可信，體素或區域信度可達到臨床轉化研究對信度的要求（大于0.8）；功能磁共振的測量則要低很多，并且依賴(lài)于掃描時(shí)間長(cháng)短，其中認知任務(wù)功能磁共振測量因為實(shí)驗設計直接來(lái)源于實(shí)驗心理學(xué)領(lǐng)域的行為實(shí)驗，個(gè)體間差異受到局限，導致其測量信度很低。從統計學(xué)的角度，低可信度的測量加上小樣本將增加科學(xué)研究的假陽(yáng)性率，降低了研究間的可重復性，這在基因組學(xué)已經(jīng)被視為領(lǐng)域挑戰并經(jīng)長(cháng)期研究來(lái)試圖克服。反過(guò)來(lái)講，高可信度測量的研究結果在科學(xué)期刊上出現得更為頻繁，比如默認網(wǎng)絡(luò )和額頂網(wǎng)絡(luò )的測量可信度更高[3,4]，因此就可能在各類(lèi)研究中更易于被檢測到，這種在各類(lèi)腦疾病和個(gè)體差異研究出現的現象可能只是其測量信度高的一種表現，而并不是其實(shí)驗效應特異性的體現。 

　　本評論文章的主要目的是推動(dòng)整個(gè)生命科學(xué)領(lǐng)域關(guān)注測量信度的評測與優(yōu)化。特別是神經(jīng)科學(xué)領(lǐng)域，通常對這一問(wèn)題未給予足夠重視，無(wú)論測量手段是影像、電生理、神經(jīng)炎癥標記物、微生物組學(xué)，還是認知神經(jīng)科學(xué)范式、私人穿戴設備等，都應將測量信度及其決定因素作為基本問(wèn)題來(lái)研究。為應對上述挑戰，近十年來(lái)，心理所與國際合作團隊一起，針對個(gè)體差異測量理論進(jìn)行長(cháng)期而系統的部署，重點(diǎn)培育“心理行為的個(gè)體差異及其畢生發(fā)展規律與應用”研究方向，領(lǐng)銜建立了“國際信度與可重復性聯(lián)盟”，提出了大型腦智畢生發(fā)展項目“彩巢計劃-成長(cháng)在中國”，參與北京市腦計劃，創(chuàng )建并主辦雙年度“國際人腦發(fā)展會(huì )議”，為參與和推動(dòng)國家腦計劃做出了具有國際影響力的貢獻，更為詳細的信度解決方案和未來(lái)研究方向請參見(jiàn)評論文章。 

　　神經(jīng)科學(xué)家致力于將基礎研究成果轉化為臨床工具，檢測和優(yōu)化測量的信度必須成為這些轉化研究的前提和常規，而這需要科研人員改進(jìn)當前的研究實(shí)踐、需要科研基金管理部門(mén)的支持，共同產(chǎn)生開(kāi)放社區資源以用于這些基本特性的定量化。本文基于團隊就測量信效度長(cháng)期研究積累而成，特別是兩項大型人腦神經(jīng)科學(xué)計劃CoRR和R3BRAIN，受?chē)铱萍疾?/span>973課題2015CB351702支持。 

　　相關(guān)閱讀和文獻： 

　　[1] Harnessing reliability for neuroscience research. Nature Human Behaviour (2019). 

　　[2] Assessment of the impact of shared brain imaging data on the scientific literature. Nature Communications 9: 2818 (2018). 

　　[3] Test-retest reliabilities of resting-state FMRI measurements in human brain functional connectomics: a systems neuroscience perspective. Neuroscience & Biobehavioral Reviews 45: 100-118 (2014). 

　　[4] Individual variability and test-retest reliability revealed by ten repeated resting-state brain scans over one month. PLoS One 10: e0144963 (2015). 

　　[5] An open science resource for establishing reliability and reproducibility in functional connectomics. Scientific Data 1: 140049 (2014). 

　　[6] Human connectomics across the life span. Trends in Cognitive Sciences 21: 32-45 (2017). 

　　[7] 彩巢計劃－“成長(cháng)在中國”. 科學(xué)通報 62: 3008-3022 (2017). 

　　[8] The anatomy of reliability: a must read for future human brain mapping. Science Bulletin 63: 1606-1607 (2018). 

　　[9] Editorial: Reliability and reproducibility in functional connectomics. Frontiers in Neuroscience: Brain Imaging Methods 13: 117 (2019). 

　　[10] R3BRAIN: An open science resource for reliability, reproducibility and replicability. OHBM poster (2019).