(相關(guān)資料圖)

自然語(yǔ)言處理( Natural Language Processing, NLP)是指利用人類(lèi)交流所使用的自然語(yǔ)言與機(jī)器進(jìn)行交互通訊的技術(shù)。這意味著計(jì)算機(jī)能以自然語(yǔ)言文本來(lái)表達(dá)給定的意圖、思想等，稱(chēng)為自然語(yǔ)言生成。如何讓自然語(yǔ)言生成系統(tǒng)產(chǎn)生和人類(lèi)語(yǔ)言相同質(zhì)量的語(yǔ)言，一直都是自然語(yǔ)言處理領(lǐng)域的熱點(diǎn)和難點(diǎn)。這一領(lǐng)域盡管已經(jīng)取得了巨大的進(jìn)步，但是在評(píng)估自然語(yǔ)言生成語(yǔ)言質(zhì)量的方法方面仍然存在重大挑戰(zhàn)。語(yǔ)言心理學(xué)研究表明，語(yǔ)言蘊(yùn)含說(shuō)話(huà)人豐富的社會(huì)和心理信息，并且語(yǔ)言的社會(huì)和心理信息主要是由讀者或聽(tīng)眾在內(nèi)隱水平上加工處理。因此，將內(nèi)隱感知信息加入自然語(yǔ)言生成語(yǔ)言的質(zhì)量評(píng)估標(biāo)準(zhǔn)中是一個(gè)有廣闊前景潛在方向。

2月7日，中國(guó)科學(xué)技術(shù)大學(xué)心理學(xué)系張效初團(tuán)隊(duì)在《Advanced Science》（IF=17.5）雜志上發(fā)表了題為《Implicit perception of differences between NLP-produced and human-produced language in the mentalizing network》的研究論文，通過(guò)比較自然語(yǔ)言和自然語(yǔ)言生成語(yǔ)言在感知上的神經(jīng)活動(dòng)差異，揭示了內(nèi)隱感知神經(jīng)信息在語(yǔ)言感知和理解中的重要作用，也為評(píng)估自然語(yǔ)言生成語(yǔ)言質(zhì)量提供了新的思路。

該研究收集了聊天機(jī)器人谷歌Meena和微軟XiaoIce的語(yǔ)料作為自然語(yǔ)言生成語(yǔ)言的代表，同時(shí)收集了人類(lèi)語(yǔ)料作為對(duì)照材料，采用功能磁共振成像技術(shù)記錄受試者在瀏覽評(píng)估兩種語(yǔ)料過(guò)程中的神經(jīng)信號(hào)。結(jié)果分析發(fā)現(xiàn)，當(dāng)受試者主觀(guān)無(wú)法區(qū)分語(yǔ)料來(lái)源的時(shí)候，即主觀(guān)判定人類(lèi)語(yǔ)料和機(jī)器人語(yǔ)料都是人類(lèi)語(yǔ)料的情況，大腦心智化腦網(wǎng)絡(luò)的核心腦區(qū)背內(nèi)側(cè)前額葉和右側(cè)顳頂聯(lián)合區(qū)的激活水平依然可以顯著區(qū)分語(yǔ)料的來(lái)源（圖1）。不同來(lái)源和不同判定的語(yǔ)料所引起的神經(jīng)活動(dòng)在受試者之間表現(xiàn)出了顯著的相似性（圖2）。

圖1 評(píng)定來(lái)源為“人類(lèi)”的語(yǔ)料分類(lèi)準(zhǔn)確度

圖2 受試間神經(jīng)活動(dòng)相似性分析

最后，通過(guò)全腦分析，發(fā)現(xiàn)顯著激活的腦區(qū)與meta分析神經(jīng)合成的心智化腦網(wǎng)絡(luò)存在位置重疊（圖3），說(shuō)明參與內(nèi)隱感知自然語(yǔ)言和自然語(yǔ)言生成語(yǔ)言差異的大腦區(qū)域確實(shí)是心智化腦網(wǎng)絡(luò)。

圖3 全腦分析和重疊分析結(jié)果

這些研究成果表明，大腦的內(nèi)隱感知神經(jīng)信號(hào)是比自我報(bào)告更為敏感的評(píng)估信息，可以將其加入評(píng)估自然語(yǔ)言生成語(yǔ)言質(zhì)量的標(biāo)準(zhǔn)中。這不僅有助于自然語(yǔ)言處理技術(shù)的發(fā)展，也為發(fā)展新的衡量人工智能水平的圖靈測(cè)驗(yàn)提供新的視角。

標(biāo)簽：