基于腦電信號相位傳遞熵的謊言機制研究

韋思宏，張家琦，黎峰，康倩若，高軍峰

(中南民族大學 生物醫(yī)學工程學院 認知科學國家民委重點實驗室，武漢430074)

說謊可以定義為故意掩蓋真相以謀取個人利益和進步的行為，是人類社會普遍存在的社會及心理現(xiàn)象。測謊的真實有效性雖存在爭議，但其對刑事調查、機場安全、反恐等領域具有重要的意義[1]。早期的心理學專家主要通過觀察受試者的言語和非言語行為來進行測謊研究[2]，隨后出現(xiàn)了通過檢測受試者的血壓、脈搏及皮膚電等生理指標的多道儀測謊技術[3]。說謊的本質是一個復雜的認知過程，涉及不同腦區(qū)之間神經元的信息傳遞，單純依靠言語、血壓、脈搏等生理指標無法準確區(qū)分誠實組和說謊組之間的差異。腦電圖（electroencephalogram，EEG）可以記錄大腦神經細胞的電生理活動在頭皮上的總體反映，能夠更加真實地顯示大腦活動的整體信息。因此，基于EEG 的測謊研究將為人們在探索說謊的認知機制中提供更多的可能性[4]，基于腦電的測謊技術在測謊領域的應用越來越多且取得了較為理想的結果[5-6]。Wang 等[7]基于P300，利用圖論對欺騙條件下大腦的功能連接進行分析發(fā)現(xiàn)，與誠實組相比，說謊組有更高的網絡密度，腦網絡的連接邊更為復雜；Wang 等[8]利用腦網絡對欺騙任務進行研究，分析發(fā)現(xiàn)，欺騙狀態(tài)下額葉與顳葉之間導聯(lián)連接顯著增強；Kohan 等[9]利用有向定向函數(shù)對謊言信息進行功能連接分析，結果顯示，導聯(lián)的連接方向主要是由額葉連向頂葉和顳葉。因此，說謊行為需要不同腦區(qū)的共同參與，這些大腦區(qū)域的功能連接為神經元網絡的復雜動力學提供了新的信息。進一步根據不同腦區(qū)之間的統(tǒng)計依賴關系對腦網絡進行完整的描述是當前測謊領域的研究重點。

研究表明，非線性分析方法更加適用于計算非平穩(wěn)信號的復雜度，而腦電信號具有典型的非平穩(wěn)特性[10]，因此，利用非線性分析方法能夠更好地分析腦電信號。近年來，樣本熵、近似熵、相位傳遞熵（phase transfer entropy，PTE）等非線性分析方法成為研究腦認知加工過程的重要工具。2014 年，Muriel等[11]首次提出PTE 的概念，并將其用于腦電信號的定向連接性分析。相較于僅可以計算信號復雜度的樣本熵和近似熵，PTE 可以基于相位關系檢測不同腦區(qū)之間的效應連接，而且其對噪聲具有較強的魯棒性。PTE 已在多項研究中發(fā)揮重要作用。2016 年， Hillebrand 等[12]采用PTE 研究發(fā)現(xiàn)靜息態(tài)下大腦信息流的方向與頻率有關；同年，Meenakshi 等[13]采用PTE 研究發(fā)現(xiàn)路易體癡呆患者腦區(qū)之間的定向信息流被中斷；2020 年，F(xiàn)atemeh 等[14]采用PTE 研究發(fā)現(xiàn)重度抑郁癥與大腦網絡中腦區(qū)間的鏈接缺失有關。

以上研究表明，PTE 可用于大腦信息流和功能腦網絡的定向連接分析。本文通過PTE 對說謊的神經活動機制進行研究，記錄說謊組和誠實組的腦電信號，利用PTE 提取特征，并選擇具有統(tǒng)計性差異的特征送入全連接神經網絡（fully connected neural network, FCNN）分類系統(tǒng)進行分類，根據分類結果構建腦網絡，分析了誠實組和說謊組不同腦區(qū)之間的效應連接差異。

1 相位傳遞熵的基本原理及全連接神經網絡

1.1 相位傳遞熵的基本原理

傳遞熵[15]（transfer entropy, TE）可以表示為在時間序列上信號X(t)對 信號Y(t)不確定性大小的改變。傳遞熵可以衡量非線性系統(tǒng)變量之間的因果關系，因此，被廣泛應用于神經信號的非線性分析。2014 年，Muriel 等[11]對傳遞熵的算法進行改進，利用信號X(t)和 信號Y(t)的瞬時相位時間序列來計算傳遞熵，并將改進的算法稱為PTE。PTE 是基于相位關系的信息流測量方法，具有魯棒性強、計算效率高等優(yōu)點，適用于人類大腦功能的定向連接估計。對于信號X(t)， 為了獲得其瞬時相位 θx(t)，將解析信號定義為

對信號Y(t)進行相同的操作獲取其瞬時相位θy(t)。 在 獲 得 信 號X(t) 和Y(t)的 瞬 時 相 位 后，信 號X(t)到Y(t)的PTE 定義為

式 中： θx(t′) 和 θy(t′)分 別 為X(t) 和Y(t)在 過 去t′=t-δt的瞬時相位時間序列， δt表示分析時延；I(.)表示互信息；H(.)表示香濃熵。

對PTE 進行標準化[13]：

式中： d PTE 的取值范圍為0～1，0.5

1.2 全連接神經網絡

與大多數(shù)深度神經網絡結構相比，F(xiàn)CNN 使用更少的網絡層結構避免了復雜的數(shù)學運算，使模型更簡單易懂。FCNN 是一個有監(jiān)督學習的網絡，由輸入層、隱藏層和輸出層組成[17]。從輸入層開始，上一層神經元節(jié)點的計算結果經過激活函數(shù)歸一化后作為下一層神經元節(jié)點的輸入，直到輸出最終結果ypredict。 為使輸出結果ypredict和 真實值ytrue之間的損失降至最小，在訓練期間可利用梯度下降法對網絡進行反向傳播，反復調節(jié)節(jié)點之間的鏈接權重W和偏置b。本文所使用的激活函數(shù)為Softmax 函數(shù)。Softmax 函數(shù)可以對有限項離散概率分布的梯度對數(shù)歸一化，將線性預測值轉為類別概率，從而進行多分類。將n個輸出{Z1,Z2,...,Zn}通過Softmax函數(shù)，使得輸出滿足概率分布要求，該函數(shù)可以定義為

其中：X為上一層神經元節(jié)點的輸入向量，大小為N×1；Z為大小為M×1的輸出 向量。將大 小為N×M的 權重矩陣W的 轉置乘以輸入向量X再加上偏置向量b，就可以將輸入樣本向量轉換為輸出樣本向量，b的 大小為M×1。

2 實驗設計與數(shù)據預處理

2.1 測謊協(xié)議

本文實驗招募了60 名平均年齡21 歲左右的健康在校大學生作為受試者，所有受試者均簽署了知情同意書。隨機分為誠實組和說謊組，每組各30 名受試者。通過Wilcoxon 秩和檢驗比較2 組成員的性別和年齡，性別（p=0.28）和年齡（p=0.32）的p值表示誠實組和說謊組之間沒有顯著性差異。

實驗采用標準Guilty Knowledge Test （GKT）三刺激實驗模式，GKT 是一種生理技術，可用于檢測受試者是否刻意隱瞞事實。在GKT 中，通常向受試者呈現(xiàn)3 種刺激[18]：①探測刺激（P）。與隱藏信息有關，只有說謊者認識。②靶刺激（T）。與隱藏信息無關，所有受試者對此刺激熟悉。③無關刺激（I）。與隱藏信息無關，所有受試者對此刺激不熟悉。

實驗開始前，準備6 條不同的手鏈，還有手鏈對應的圖片和1 個保險箱，并隨機選取2 條手鏈放入保險箱中。對說謊組，實驗要求受試者從保險箱中拿出手鏈，認真觀察這2 條手鏈的尺寸、形狀、顏色等外觀信息后偷走其中的1 條，并將被偷走的手鏈作為探測刺激（P 刺激），另外1 條作為靶刺激（T 刺激），其余4 條手鏈作為無關刺激（I 刺激）。對誠實組，受試者從保險箱中隨機抽取1 條手鏈，認真觀察后作為T 刺激，保險箱中的另外1 條手鏈和其他4 條手鏈分別作為P 刺激和I 刺激。每次實驗過程中，6 張不同手鏈的圖片在電腦屏幕上共出現(xiàn)30 次，其中P 刺激和T 刺激分別出現(xiàn)5 次，I 刺激出現(xiàn)20 次。受試者需要盡可能準確地以點擊鼠標的形式對出現(xiàn)的圖片進行反應操作，見過該手鏈點擊鼠標左鍵，未見過該手鏈點擊鼠標右鍵。當電腦屏幕上出現(xiàn)P 刺激和I 刺激時，受試者按下鼠標右鍵，出現(xiàn)T 刺激時按下鼠標左鍵，即要求說謊者僅對P 刺激做出說謊行為，誠實者均做出誠實的行為。每位受試者進行10 次實驗。單個試次時長為1.6 s，每次實驗間隔為5 min（見圖1）。

圖1 測謊實驗示意圖Fig. 1 Schematic diagram of polygraph experiment

2.2 EEG 數(shù)據采集及預處理

實驗腦電數(shù)據采集設備為電極位置符合國際標準10-20 的32 導腦電帽和德國BP 公司的腦電圖儀，采樣頻率為500 Hz，導聯(lián)阻抗小于5 kΩ。在靜止狀態(tài)下，記錄受試者的EEG 信號5 min。實驗過程中，使用E-Prime2 對受試者進行視覺刺激。實驗采集了所有受試者的EEG 數(shù)據。

本文采用EEGLAB 工具箱對EEG 數(shù)據進行預處理，使用帶通濾波器（0.05～35 Hz）對信號進行濾波去除偽影；根據標記對P 刺激前300 ms 和刺激后1 300 ms 的數(shù)據進行分割，并將此作為一個epoch；為了更好地分析P 刺激對受試者產生的影響，選擇P 刺激前的300 ms 作為基線對每個epoch 進行基線校正；對數(shù)據進行獨立成分分析，使用Adjust 插件去除由眨眼、肌肉緊張等成分導致的偽影；選擇雙側乳突導聯(lián)對數(shù)據進行電極重參考；對每5 個epoch 進行一次疊加平均。最終獲得誠實組和說謊組各300 個800× 30 的數(shù)據集。EEG 信號處理流程如圖2 所示。

圖2 EEG 信號處理流程Fig. 2 Flow chart of EEG signal processing

2.3 特征提取及分類

本文將不同導聯(lián)之間的 dPTE 作為神經網絡的分類特征。首先，對受試者數(shù)據進行特征提取。分別計算預處理后2 類人群的 dPTE ， 獲得600 個30×30 的 d PTE 有效連通網絡矩陣。圖3 為說謊組和誠實組的總平均 dPTE鄰接矩陣對比。圖中顯示，說謊組和誠實組的平均 dPTE鄰接矩陣存在差異，尤其是電極P4 和F7 到其他電極的d PTE值，說謊組顯然高于誠實組，直觀顯示說謊組不同導聯(lián)之間信息流強度更大。注意的是，本文計算出來的說謊組和誠實組的平均 dPTE鄰接矩陣，除對角線元素為0 外，其余元素均大于0.30 且小于0.65，因此為了更好地從圖3 中顯示說謊組和誠實組的差異性，圖中的顏色刻度范圍為[0.30,0.65]。矩陣的每一行和每一列都對應一個電極通道，每一個元素表示橫坐標電極通道到縱坐標電極通道的鏈接權重。然后，對2 組受試者的所有矩陣進行整合，去除對角線元素，其余元素（870）作為特征向量，最終獲得2 個300×870 的特征矩陣。對特征矩陣中每個特征單獨進行2 組受試者間的獨立樣本T-test 檢驗，使用Bonferroni多重校正方法檢驗特征的差異性，可以得到有差異的特征。對具有顯著性差異（p<0.05/870）的特征進行F-score 值[19]計算，F(xiàn)-score 值越大，表征該特征在誠實和說謊2 種狀態(tài)下的差異越大。將所有特征根據F-score 值進行降序排序，并將排序后的特征依次添加到特征集作為神經網絡的分類特征。這可以減少神經網絡訓練參數(shù)數(shù)目，加速網絡收斂，同時可以快速找出具有顯著性差異的導聯(lián)對。由于同一導聯(lián)對的信息流流向由X流向Y和由Y流向X時 dPTE 值 之 和 為1，則 當 信 息 流 由X流 向Y的dPTE 值 表現(xiàn)出較大的誠實-說謊差異性時，由Y流向X的信息流也必將表現(xiàn)出較大的誠實-說謊差異性，故各特征在差異性排序表中總是以導聯(lián)對的形式成對出現(xiàn)。

圖3 組平均d PTE鄰接矩陣對比Fig. 3 Comparison of group average dPTE adjacency matrix

將獲得的特征集送入FCNN 分類器，本文使用的FCNN 分類器結構如圖4 所示，隱藏層神經元個數(shù)是5，輸出層神經元的個數(shù)是2（說謊和誠實）。采用6 折交叉驗證[20]，將訓練集送入FCNN 進行訓練。模型訓練完成后進行測試，平均6 個測試結果準確率（ACC）即為分類器平均測試準確率，該值代表了分類器的泛化能力。同時計算6 個分類準確率的標準差（SD），直觀反映準確率的離散程度。

圖4 FCNN 結構示意圖Fig. 4 Structure schematic diagram of FCNN

3 實驗結果

3.1 統(tǒng)計及分類

本文選取誠實-說謊差異性較大的 d PTE 值作為特征輸入到神經網絡中進行訓練和分類。統(tǒng)計分析后的特征數(shù)據集輸入到神經網絡分類訓練時發(fā)現(xiàn)，當輸入12 維特征，即對應誠實-說謊差異性最大的6 個有向導聯(lián)對（P4-T8, P4-Pz, FCz-F7, FP2-T8,P4-FT8, F7-FT8）時，平均分類準確率可以達到最大值96.75%（SD=±0.575）。本文同時通過傳統(tǒng)的SVM 分類器[21]對上述特征集進行分類，利用箱線圖與FCNN 分類結果進行對比，結果如圖5 所示?？梢钥闯?，F(xiàn)CNN 比SVM 分類準確率高，且準確率波動程度比SVM 小，表明FCNN 分類效果好且魯棒性更強。因此，最終選用FCNN 用作本文的特征分類器。

圖5 FCNN 與SVM 分類準確率對比Fig. 5 Comparison of classification accuracy between FCNN and SVM

3.2 效應連接分析

基于上述得到的6 個具有顯著性差異的有向導聯(lián)對進行統(tǒng)計分析，結果如表1 所示，這6 個有向導聯(lián)對共包括7 個不同的電極（P4、Pz、F7、FP2、FCz、T8、FT8）。表中電極對對應的 dPTE分別是說謊組和誠實組的平均 dPTE值。Koessler 等[22]研究表明，Brodmann 分區(qū)與10-20 電極放置系統(tǒng)具有相關性，故本文將電極位置投影到大腦皮層，如表2所示，后續(xù)討論將在電極對應的腦區(qū)中進行。

為了更加直觀地突出說謊狀態(tài)下大腦信息流的流向，圖6 利用BrainNet[23]畫出了大腦網絡信息流圖。圖中：藍色節(jié)點表示所選的電極，箭頭方向表示信息流流向，鏈路顏色表示鏈接權重。結合表1 和表2，從圖6 可以看出，相較于誠實組，說謊狀態(tài)下電極對之間信息流強度有所升高。說謊狀態(tài)下，腦網絡信息流主要由頂葉和額葉流向顳葉，平均 dPTE值維持在0.6 左右；誠實狀態(tài)下，相對于說謊狀態(tài)剛好相反，信息流主要由顳葉流向頂葉和額葉，且平均 dPTE值較為恒定，維持在0.53 左右。這進一步說明，說謊狀態(tài)下，大腦的頂葉、額葉和顳葉被激活，這些腦區(qū)之間的信息流動較強。

表1 具有顯著性差異的6 個有向電極對平均dPTE 值統(tǒng)計分析結果Table 1 Statistical analysis results of average dPTE of 6 directed electrode pairs with significant differences

表2 電極及其相應的投射皮層區(qū)域Table 2 Electrodes and their corresponding projection cortical areas

圖6 說謊與誠實受試者腦網絡平均對比Fig. 6 Average brain network comparison between lying and honest subjects

4 討 論

目前的主流測謊方法如BAD、BCD 等，僅專注于EEG 信號的時頻特性，雖然可以在一定程度上揭露說謊狀態(tài)下局部大腦的活動規(guī)律，但無法探知整個大腦及各個腦區(qū)之間的功能模式。PTE 理論是一種基于相位關系的信息流量化方法，可用于EEG 各導聯(lián)信號之間的定向連接估計。為了更好地揭示說謊過程中大腦的工作模式，本文利用PTE 理論量化大腦各節(jié)點之間信息流的方向與強度，并將歸一化后的PTE 鄰接矩陣構建加權有向網絡，對計算結果進行統(tǒng)計分析，選取具有顯著性差異的導聯(lián)對作為神經網絡的分類特征，分類準確率為96.75%，說明 dPTE可以準確探知到大腦在說謊狀態(tài)與誠實狀態(tài)下的差異信息。以上證據表明，本文方法可以有效探索人類說謊時大腦的認知機制，同時也是一種有效的測謊方法。

實驗結果表明，在說謊狀態(tài)下，部分腦區(qū)之間的信息流強度相較于誠實狀態(tài)下更高，尤其是前額葉皮層、后頂葉皮層和顳葉皮層（見圖6）。在說謊激活的相關腦區(qū)中，這些腦區(qū)之間的信息流動可以解釋為需要協(xié)調和使用更多的大腦資源才能有效地執(zhí)行欺騙行為。記憶編碼、抑制控制、任務轉換是實現(xiàn)欺騙行為最基本的神經活動[24]。后頂回參與了視覺注意功能，并且在記憶更新中起關鍵作用[25]。一些關于fMRI 的欺騙研究表明，在欺騙過程中激活了后頂回[26]，并且Sun 等[27]發(fā)現(xiàn)后頂回在欺騙的后期過程中被激活，表明其通過操縱真實信息以達到欺騙的目的。本文將說謊組與誠實組進行比較后發(fā)現(xiàn)，2 組的后頂回和頂上小葉（R-IPG→M-SPL）之間存在相反的信息流傳遞，不僅為后頂回參與欺騙過程提供了新的證據，而且揭露了后頂回在欺騙過程中的信息傳遞規(guī)律。另外有研究表明，顳葉在長期記憶中起重要作用[28]，本文結果發(fā)現(xiàn)，說謊類人群與誠實類人群在后頂回與顳葉（RIPG→R-MTG, R-IPG→R-STG）之間存在相反的信息流傳遞，可能表示傳入的視覺信息引發(fā)了情節(jié)性記憶的檢索，然后進行了記憶更新。關于前額葉，本文發(fā)現(xiàn)，前額葉的額上回和額下回（L-IFG→MSFG）之間有很強的信息交流，其與人的思維、決策、記憶等腦認知活動存在密切的聯(lián)系。說謊行為需要抑制、判斷、決策、記憶等多項認知功能的共同參與，前額葉在復雜而協(xié)調的認知活動中起著至關重要的作用[29]。進一步，考慮到顳葉皮層反復參與長期記憶過程[27]，說謊狀態(tài)下前額葉與顳葉（RSFG→R-MTG, L-IFG→R-STG）之間的強信息流動表明，犯罪人員在看到與被盜物或犯罪現(xiàn)場相關的場景時會不可避免地回憶犯罪過程或細節(jié)等信息，并對這些信息進行記憶檢索和思維決策等認知處理?？偟膩碚f，以上研究結果表明，欺騙會導致大腦中的信息流向重新分配和增強，這可能與說謊者在反測謊過程中更為復雜的腦部活動有關。

雖然當前國內外不同學者對測謊進行了許多研究，但由于測謊協(xié)議、特征提取方式及數(shù)據處理方式的不同，會導致部分研究結果之間存在差異。本文利用 dPTE對欺騙狀態(tài)下腦網絡的信息流進行研究，結果顯示信息流主要由額葉和頂葉流向顳葉，這些結果部分支持了國內外其他研究結果[7-9]，同時也有新的研究發(fā)現(xiàn)。不同的測謊協(xié)議及特征提取算法之間的對比研究也是未來的研究內容之一。

5 結 論

1） 本文針對P 刺激對受試者產生的影響進行腦電信號分析，使用歸一化后的PTE 來度量腦區(qū)之間的信息流模式。根據網絡的信息流模式來探索一個大腦區(qū)域對另一個大腦區(qū)域的直接因果影響，探索欺騙和說真話的認知差異，為揭示欺騙狀態(tài)下大腦的神經活動機制提供新的見解。

2） 根據腦網絡分析結果，額頂葉和顳葉之間的信息交互增強，表明欺騙任務在某些皮質上引起了更強的激活，這在很大程度上與先前關于欺騙的許多研究發(fā)現(xiàn)是一致的。

3） 本文僅對頭皮腦電信號進行了簡單分析，未對大腦皮層的網絡結構進行研究，將來會利用溯源的方法進一步分析皮層腦功能網絡的定向連接，以對謊言機制進行更深入的研究。