基于殘差網(wǎng)絡(luò)與注意力機(jī)制的脈象信號(hào)分析識(shí)別

朱嘉健，馮 躍，徐 紅，2，林卓勝，梁惠珠，劉慧琳，李福鳳

（1.五邑大學(xué) 智能制造學(xué)部，廣東 江門 529020；2.維多利亞大學(xué)，澳大利亞 墨爾本 8001；3.上海中醫(yī)藥大學(xué)，上海 201203）

0 引言

脈診作為中醫(yī)臨床診斷的重要方法之一，具有無創(chuàng)且快捷的特點(diǎn)。但脈診診斷的準(zhǔn)確程度主要取決于中醫(yī)師的臨床經(jīng)驗(yàn)，缺乏統(tǒng)一的客觀標(biāo)準(zhǔn)[1]。智能醫(yī)療技術(shù)的發(fā)展為脈診客觀化發(fā)展帶來了契機(jī)，在近五年的脈象分類研究中，大多都結(jié)合了人工智能技術(shù)來建立脈象分類模型，其中研究人員分別采用支持向量機(jī)（Support Vector Machine，SVM）[2]、最鄰近節(jié)點(diǎn)算法（K-Nearest-Neighbor，KNN）[3]、梯度提升決策樹（Gradient Boosting Decision Tree，GBDT）[4]、極值梯度提升（Extreme Gradient Boosting，XGBoost）[5]、VGG（Visual Geometry Group）[6]、隨機(jī)森林[7]、改進(jìn)的深度融合神經(jīng)網(wǎng)絡(luò)（Modified Inception-ResNet，MIRNet2）[8]和時(shí)序卷積神經(jīng)網(wǎng)絡(luò)（Temporal Convolutional Network，TCN）[9]進(jìn)行脈象信號(hào)分析識(shí)別。

然而，目前已有大量研究將注意力機(jī)制應(yīng)用于自然語言處理、圖像識(shí)別、語音識(shí)別等不同類型的深度學(xué)習(xí)任務(wù)中[10]，而在脈象信號(hào)分類領(lǐng)域中，少有使用注意力機(jī)制提高脈象分類模型性能的研究。

為此，本文通過修改殘差網(wǎng)絡(luò)ResNet 的整體參數(shù)，并通過整合SE（Sequeeze and Excitation）[11]模塊和ECA（Efficient Channel Attention）[12]模塊，得到改進(jìn)的注意力模塊MECA（Modified Efficient Channel Attention），結(jié)合一維ResNet 和MECA 模塊，提出適合于一維脈象信號(hào)的特征提取和分類模型MECA-ResNet。實(shí)驗(yàn)結(jié)果表明，該模型能對(duì)沉脈、遲脈、浮脈、滑脈、緩脈、平脈、數(shù)脈、微脈、弦脈、虛脈10 種脈象進(jìn)行準(zhǔn)確分類，并在臨床病例中可以有效地區(qū)分健康人群與冠心病患者。

1 MECA-ResNet 網(wǎng)絡(luò)設(shè)計(jì)

本文模型基于ResNet 設(shè)計(jì)，將ResNet 的內(nèi)部參數(shù)和相應(yīng)的殘差連接作修改構(gòu)成適合于脈象信號(hào)的特征提取和分類的一維ResNet 網(wǎng)絡(luò)，然后在ResNet 的殘差連接之前添加MECA 注意力塊，構(gòu)建得到MECAResNet，整體MECA-ResNet 網(wǎng)絡(luò)包括分類層共15 層，總體網(wǎng)絡(luò)所占電腦內(nèi)存不足10 MB，其中MECA-ResNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 MECA-ResNet 網(wǎng)絡(luò)結(jié)構(gòu)圖

1.1 一維ResNet 網(wǎng)絡(luò)

構(gòu)建得到的一維ResNet 網(wǎng)絡(luò)內(nèi)部具體配置如下：

1）輸入：輸入數(shù)據(jù)由已預(yù)處理好的目標(biāo)脈象數(shù)據(jù)和對(duì)應(yīng)的標(biāo)簽組成。

2）卷積層：此處除了殘差連接上的卷積核大小為1之外，其他卷積層的卷積核大小設(shè)置為16，使用大卷積核可以使網(wǎng)絡(luò)專注于一維脈象信號(hào)上的小細(xì)節(jié)[13]，每個(gè)卷積層有32×k個(gè)濾波器，其中k從1 開始，除前5 個(gè)卷積層外，后續(xù)每隔兩層卷積層，k加1。

3）激活函數(shù)：因?yàn)檩斎氲拿}象數(shù)據(jù)具有正值和負(fù)值，第一個(gè)卷積層采用Tanh 激活函數(shù)，以便保留更多信息，其他卷積層則采用ReLU 激活函數(shù)。

4）學(xué)習(xí)率策略和其他設(shè)置：學(xué)習(xí)率（Learning Rate）從0.01 開始，每50 個(gè)迭代降低10 倍，總共100 個(gè)迭代，呈階梯式降低；批量大?。˙atch Size）設(shè)置為32；優(yōu)化器（optimizer）采用SGD 優(yōu)化器，動(dòng)量等于0.9。

5）批歸一化（Batch Normalization，BN）層：BN 層是為了加速網(wǎng)絡(luò)的訓(xùn)練和收斂，防止梯度爆炸、梯度消失和過擬合。對(duì)應(yīng)的公式如下：

式中：ci為第i個(gè)卷積層的輸出；μβ和σβ是ci第i個(gè)卷積層的均值和方差；BNi是第i個(gè)卷積層BN 層的輸出；m為總的卷積層數(shù)量。

6）殘差連接：由于第6 層和第10 層的卷積層進(jìn)行了下采樣操作，殘差連接由最大池化、1×1 卷積和BN 層三個(gè)部分組成[14]。其中殘差連接相關(guān)公式如下：

式中：o1代表第3，5，9 和13 層的卷積層輸出F1(x)加上通過恒等映射添加的輸入x并經(jīng)過ReLU 激活函數(shù)δ激活后的輸出；o2代表第7 和11 層的卷積層輸出F2(x)和經(jīng)過恒等映射的輸入x經(jīng)過最大池化Maxpool、一維卷積C1D1和BN 層后的輸出。

7）輸出層：最后的輸出層由帶有Softmax 函數(shù)的全連接層（Dense）得到最終的分類結(jié)果，其相關(guān)公式如下：

式中：x和N分別是全連接層的輸出和類別數(shù)。

1.2 MECA 模塊

SE-ResNet 提出了SE 模塊（見圖2a）），通過壓縮和激勵(lì)操作強(qiáng)化重要通道的特征并弱化非重要通道的特征，但是模塊帶來較大的計(jì)算代價(jià)，且不能很好地捕捉全部通道間的關(guān)系。為此，ECA-ResNet 改進(jìn)了SE 模塊，推出ECA 模塊（見圖2b）），令網(wǎng)絡(luò)大幅度降低參數(shù)數(shù)量的同時(shí)，保持高性能，成為超輕量級(jí)的注意力模塊。受SE 模塊和ECA 模塊的啟發(fā)，本文結(jié)合它們的優(yōu)點(diǎn)提出了MECA 模塊，如圖2c）所示。

圖2 注意力模塊

本文提出的MECA 模塊通過改變ECA 模塊得到相應(yīng)改進(jìn)版的注意力模塊，該模塊通過Dense 模塊來減少相應(yīng)卷積層的特征通道數(shù)，后使用ECA 模塊的自適應(yīng)卷積模塊和Softmax 函數(shù)得到相應(yīng)卷積通道的權(quán)重。該注意力模塊結(jié)合了SE 模塊的激勵(lì)機(jī)制進(jìn)行升維，不但讓網(wǎng)絡(luò)有更多的非線性處理和擬合通道之間復(fù)雜的相關(guān)性，并且增加ECA 模塊中的自適應(yīng)卷積模塊來改進(jìn)模型對(duì)不同特征通道的關(guān)注程度，其相應(yīng)公式如下：

式中：k為自適應(yīng)卷積核大?。籆是輸入特征圖的通道數(shù)；xc(t)指的是第t個(gè)時(shí)間步長的特征圖；T為總的時(shí)間步長。由式（8）得到的z包含了全局平均池化后的特征圖的全局特征。后續(xù)全連接層起到升維的作用，W1代表全連接層的權(quán)重值，k由式（7）來決定，總的具體函數(shù)定義如式（9）所示。最終得到的權(quán)重值w與當(dāng)前輸入MECA 模塊的特征圖x進(jìn)行相乘即可得到調(diào)整通道權(quán)重后的特征圖oc。

2 實(shí)驗(yàn)設(shè)置

2.1 脈診信號(hào)數(shù)據(jù)集

本文的實(shí)驗(yàn)數(shù)據(jù)包含有兩種數(shù)據(jù)集，分別是脈象數(shù)據(jù)集和臨床病例數(shù)據(jù)集。

脈象數(shù)據(jù)集是天津慧醫(yī)谷科技有限公司提供的184 例脈象數(shù)據(jù)，其中包含10 種脈象：沉脈、遲脈、浮脈、滑脈、緩脈、平脈、數(shù)脈、微脈、弦脈、虛脈，脈象數(shù)據(jù)的采集頻率是128 Hz，采集時(shí)間為5～7 s，10 種脈象圖如圖3所示。從圖3 可看到脈象數(shù)據(jù)集中10 種脈象圖的時(shí)域特征各不相同，每種脈象的主波寬度不一樣，如弦脈和遲脈，其中弦脈脈形端直而長；有些脈象呈現(xiàn)2 個(gè)以上的極值點(diǎn)，如緩脈、浮脈、微脈、滑脈。所以這10 種脈象數(shù)據(jù)有著形態(tài)上的區(qū)別。

圖3 脈象數(shù)據(jù)集中所包含的10 種脈象信號(hào)圖

臨床病例數(shù)據(jù)集是上海中醫(yī)藥大學(xué)提供的冠心病和健康脈象數(shù)據(jù)，共有396 例。冠心病和健康脈象數(shù)據(jù)的采集時(shí)間為60～90 s，兩種脈象圖如圖4 所示。從圖4可知，冠心病人群和健康人群的脈象信號(hào)圖的時(shí)域特征亦是各不相同，如健康人群的脈象信號(hào)圖主波寬度比冠心病人群的寬，且冠心病人群的脈象信號(hào)圖比健康人群的更加陡峭。

圖4 臨床病例數(shù)據(jù)集中所包含的兩種脈象信號(hào)圖

2.2 脈象信號(hào)預(yù)處理

由于兩種數(shù)據(jù)集的脈象信號(hào)數(shù)據(jù)包含有大量噪聲且伴有基線漂移，因此需要對(duì)脈象數(shù)據(jù)去除噪聲和消除基線漂移，將脈象數(shù)據(jù)所包含的噪聲點(diǎn)和基線漂移去除。

首先采用帶通濾波器將原脈搏波中除0.032～20 Hz以外的噪聲去除，其次經(jīng)過中值濾波消除孤立噪聲點(diǎn)，然后使用小波變換進(jìn)一步去除脈象數(shù)據(jù)的低頻噪聲，得到能顯現(xiàn)脈搏波特征的脈象圖，如圖5 所示。最后，通過相應(yīng)的單周期頻率窗口，利用三次樣條插值方法和頻率窗口找到脈象波形的最小值，并通過脈象數(shù)據(jù)減去最小值擬合曲線來徹底去除基線漂移得到最終的脈象波形，如圖6 所示。

圖5 去除脈象信號(hào)的噪聲

圖6 去除脈象信號(hào)的基線漂移

由于脈象數(shù)據(jù)集中的數(shù)據(jù)過少，本文采用少數(shù)類樣本過采樣技術(shù)（Synthetic Minority Oversampling Technique，SMOTE）對(duì)脈象數(shù)據(jù)集進(jìn)行過采樣以擴(kuò)增脈象數(shù)據(jù)集的樣本，防止MECA-ResNet 欠擬合。其中脈象數(shù)據(jù)集中的弦脈、虛脈、數(shù)脈、微脈、平脈、緩脈、滑脈、浮脈、遲脈和沉脈的單周期脈象數(shù)據(jù)切片數(shù)量分別從215，8，83，7，127，70，54，25，6 和175 擴(kuò)增至1 720，160，660，140，1 010，560，430，200，120 和1 400。臨床病例數(shù)據(jù)集中的健康和冠心病脈象經(jīng)過周期分割的單周期脈象數(shù)據(jù)數(shù)量分別為1 207 和2 155，數(shù)量足夠，無需進(jìn)行過采樣。

2.3 實(shí)驗(yàn)構(gòu)建的相關(guān)設(shè)置及評(píng)估指標(biāo)

本文通過Python 構(gòu)建所有的模型，其中每個(gè)模型通過十折交叉驗(yàn)證來驗(yàn)證每個(gè)模型在脈象數(shù)據(jù)集和臨床病例數(shù)據(jù)集的性能。其中脈象數(shù)據(jù)集主要用于訓(xùn)練、驗(yàn)證和測(cè)試模型的性能，臨床病例數(shù)據(jù)集主要用于驗(yàn)證模型的病種檢測(cè)能力。實(shí)驗(yàn)采用的GPU 顯卡為NVIDIA GeForce GTX 1080Ti。

本文采用以下4 個(gè)性能指標(biāo)：平均準(zhǔn)確率（Average Accuracy）、平均召回率（Average Recall）、平均精確率（Average Precision）、平均F1分?jǐn)?shù)（AverageF1-score）。其計(jì)算公式如下：

式中：TPi是指十折交叉驗(yàn)證中當(dāng)前折中預(yù)測(cè)為正樣本的正樣本的數(shù)量；FNi是指十折交叉驗(yàn)證中當(dāng)前折中預(yù)測(cè)為正樣本的負(fù)樣本的數(shù)量；TNi是指十折交叉驗(yàn)證中當(dāng)前折中預(yù)測(cè)為負(fù)樣本的負(fù)樣本數(shù)量；FNi是指十折交叉驗(yàn)證中當(dāng)前折中預(yù)測(cè)為負(fù)樣本的正樣本數(shù)量；K等于10。其中模型在兩個(gè)數(shù)據(jù)集的平均性能指標(biāo)和相應(yīng)的混淆矩陣如表1～表4 所示。

表1 各個(gè)模型在脈象數(shù)據(jù)集中的十折交叉驗(yàn)證的平均性能對(duì)比 %

3 實(shí)驗(yàn)結(jié)果與分析

由表1 可知各個(gè)模型對(duì)于脈象數(shù)據(jù)集的十折交叉驗(yàn)證分類實(shí)驗(yàn)結(jié)果，由表2 可得知MECA-ResNet 在各個(gè)脈象類別上的分類性能。

表2 MECA-ResNet 在10 種脈象類別的分類性能 %

其中由表1 中最優(yōu)的傳統(tǒng)機(jī)器學(xué)習(xí)方法和殘差網(wǎng)絡(luò)結(jié)合注意力機(jī)制的分類性能比較可知：改進(jìn)后的一維ResNet 比現(xiàn)有的脈象分類模型的性能更高，其中4 個(gè)指標(biāo)分別比LightGBM 高0.26%，0.26%，0.12%和0.14%，說明該模型僅僅使用脈象信號(hào)數(shù)據(jù)也可以提取出更好的脈象特征并實(shí)現(xiàn)更好的分類效果。在加入了注意力模 塊 后，SE-ResNet、ECA-ResNet 和MECA-ResNet 比ResNet 達(dá)到了更高的分類性能，其中平均準(zhǔn)確率分別提高0.55%，0.58%和1.06%；平均召回率分別提高0.55%，0.58%和1.06%；平均精確率分別提高0.69%，0.70%，1.16%；平均F1分?jǐn)?shù)分別提高0.54%，0.68%，1.20%。這表明MECA 注意力模塊可以以增加少量計(jì)算負(fù)擔(dān)為代價(jià)產(chǎn)生更具有代表性的輸入特征，從而提高分類性能。由表2 的MECA-ResNet 在各個(gè)脈象類別的性能可知，MECA-ResNet 不僅對(duì)弦脈、虛脈、數(shù)脈、微脈、平脈、緩脈、滑脈、浮脈、遲脈和沉脈都有著98%以上的分類準(zhǔn)確率且對(duì)上述10 種脈象的召回率、精確率和F1分?jǐn)?shù)均超過97%，說明該模型在10 種脈象上可達(dá)到較高的檢測(cè)能力和分類精度。

由表3 的各個(gè)模型對(duì)于臨床病例數(shù)據(jù)集的十折交叉驗(yàn)證分類實(shí)驗(yàn)結(jié)果可知：MECA-ResNet 模型的平均準(zhǔn)確率、平均召回率、平均精確率和平均F1分?jǐn)?shù)均為99.64%，MECA-ResNet 的4 個(gè)指標(biāo)與表3 的其他模型相比，其漲幅范圍在0.2%～1.61%，可知在臨床病例數(shù)據(jù)上，MECA-ResNet 的分類性能依然超過了其他的脈象分類方法，說明該模型在臨床病例數(shù)據(jù)集上能夠達(dá)到很好的分類效果。

表3 各個(gè)模型在臨床病例數(shù)據(jù)集中的十折交叉驗(yàn)證的平均性能對(duì)比 %

表4 MECA-ResNet 在臨床病例數(shù)據(jù)集中對(duì)各個(gè)類別的性能 %

4 結(jié)語

本文提出基于深度學(xué)習(xí)模型融合注意力模塊的脈象信號(hào)分類方法，所設(shè)計(jì)的MECA-ResNet 模型可以有效提取出脈象特征并對(duì)脈象信號(hào)進(jìn)行自學(xué)習(xí)和訓(xùn)練。在脈象數(shù)據(jù)集和臨床病例數(shù)據(jù)集上，MECA-ResNet 與已有的脈象分類模型進(jìn)行性能對(duì)比。實(shí)驗(yàn)結(jié)果表明，在僅僅使用脈象數(shù)據(jù)而不對(duì)其做復(fù)雜的特征提取，MECAResNet 不僅可以達(dá)到更準(zhǔn)確的脈象分類效果，還可以改變自身層數(shù)來適應(yīng)脈象分類任務(wù)和病種分類任務(wù)。該模型可以以較高的分類性能應(yīng)用于臨床實(shí)時(shí)脈象的檢測(cè)和相關(guān)病種的檢測(cè)中，并為脈象信號(hào)的分析識(shí)別研究提供新的思路和方法。