郝洪濤 邱園園 丁文捷

摘要：基于深度學(xué)習(xí)的故障診斷方法對(duì)數(shù)據(jù)集的質(zhì)量有很高要求，需要大批量數(shù)據(jù)才能進(jìn)行良好的模型訓(xùn)練，從而實(shí)現(xiàn)準(zhǔn)確的故障診斷，而在實(shí)際應(yīng)用中能夠采集到的故障信號(hào)通常很有限。針對(duì)托輥故障聲音信號(hào)獲取困難、樣本量少，導(dǎo)致智能故障診斷方法性能受限的問題，提出了一種基于小樣本聲音信號(hào)的托輥故障診斷方法。使用特征轉(zhuǎn)換方法將一維聲音信號(hào)轉(zhuǎn)換為二維時(shí)頻圖像，將頻率域的特征融入進(jìn)來，以提高數(shù)據(jù)集對(duì)故障特征的表達(dá)能力；提出了多種類型時(shí)頻圖結(jié)合的數(shù)據(jù)集擴(kuò)充方法，將短時(shí)傅里葉變換（STFT）、連續(xù)小波變換（CWT）、希爾伯特?黃變換（HHT）3種時(shí)頻分析方法繪制的時(shí)頻圖相結(jié)合，以擴(kuò)充數(shù)據(jù)集，增加數(shù)據(jù)樣式；引入了深度遷移學(xué)習(xí)的思想，使用軸承數(shù)據(jù)集對(duì)模型進(jìn)行預(yù)訓(xùn)練，然后使用托輥數(shù)據(jù)對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)，以進(jìn)一步提升模型的識(shí)別準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明：多種類型時(shí)頻圖結(jié)合的數(shù)據(jù)集擴(kuò)充方法能有效解決使用小樣本數(shù)據(jù)訓(xùn)練模型時(shí)易過擬合的問題；使用遷移學(xué)習(xí)后，模型的測(cè)試準(zhǔn)確率達(dá)98.81%，相較于不使用遷移學(xué)習(xí)時(shí)提升了7%，且沒有出現(xiàn)過擬合現(xiàn)象，說明模型訓(xùn)練良好；相較于生成對(duì)抗網(wǎng)絡(luò)擴(kuò)充 STFT 時(shí)頻圖數(shù)據(jù)集+遷移學(xué)習(xí)的方法，多種類型時(shí)頻圖結(jié)合的數(shù)據(jù)集擴(kuò)充+遷移學(xué)習(xí)的方法準(zhǔn)確率提高了4%，且更容易實(shí)現(xiàn)，可解釋性更強(qiáng)。

關(guān)鍵詞：帶式輸送機(jī)；托輥；故障診斷；小樣本；時(shí)頻圖；數(shù)據(jù)集擴(kuò)充；遷移學(xué)習(xí)

中圖分類號(hào)： TD634??? 文獻(xiàn)標(biāo)志碼： A

A fault diagnosis method for roller based on small sample sound signals

HAO Hongtao1，2， QIU Yuanyuan1， DING Wenjie1，2

（1. School of Mechanical Engineering， Ningxia University， Yinchuan 750021， China；2. Ningxia Key Laboratory of CAE on Intelligent Equipment， Yinchuan 750021， China）

Abstract： Fault diagnosis methods based on deep learning have high requirements for the quality of the dataset， requiring a large amount of data for good model training to achieve accurate fault diagnosis. However， the fault signals that can be collected in practical applications are usually limited. A method for diagnosing roller faults based on small sample sound signals is proposed to address the problem of limited performance of intelligent fault diagnosis methods due to the difficulty in obtaining sound signals for roller faults and the small sample size. The feature transformation method is used to convert one-dimensional sound signals into two- dimensional time-frequency images， incorporating features from the frequency domain to improve the dataset's capability to express fault features. A dataset expansion method combining multiple types of time-frequency maps has been proposed. The method combines time-frequency maps drawn by three time-frequency analysis methods： short time fourier transform （STFT）， continuous wavelet transform （CWT）， and Hilbert Huang transform （HHT） to expand the dataset and increase data styles. The concept of deep transfer learning is introduced， using bearing datasets to pre-train the model， and then using roller data to fine-tune the pre-trained model to further improve therecognition accuracy of the model. The experimental results show that the dataset expansion method combining multiple types of time-frequency maps can effectively solve the problem of overfitting when training models with small sample data. After using transfer learning， the testing accuracy of the model reaches 98.81%， an improvement of 7% compared to not using transfer learning. There was no overfitting phenomenon， indicating that the model is well-trained. Compared to the method of generating adversarial networks to expand the STFT time-frequency map dataset and transfer learning， the method of dataset expansion by combining multiple types of time frequency maps and transfer learning has an accuracy improvement of 4%. It is easier to implement， and has stronger interpretability.

Key words： belt conveyor; roller; fault diagnosis; small sample; time-frequency image; dataset expansion; transfer learning

0 引言

遠(yuǎn)程帶式輸送機(jī)是煤礦的重要運(yùn)輸設(shè)備，具有距離長(zhǎng)、運(yùn)行成本低、運(yùn)量大、可連續(xù)平穩(wěn)運(yùn)輸?shù)葍?yōu)點(diǎn)，是連接礦區(qū)與廠區(qū)的關(guān)鍵裝備[1]。托輥?zhàn)鳛檫h(yuǎn)程帶式輸送機(jī)的主要支承部件，在長(zhǎng)達(dá)數(shù)千米的遠(yuǎn)程煤炭運(yùn)輸線路中數(shù)量眾多，是遠(yuǎn)程帶式輸送機(jī)的主要隱患源[2]，一旦發(fā)生故障，輕則造成停機(jī)，影響生產(chǎn)效率，重則造成設(shè)備破損甚至人員傷亡，因此對(duì)托輥進(jìn)行監(jiān)測(cè)和診斷尤為重要。

傳統(tǒng)的依靠人工提取特征的旋轉(zhuǎn)機(jī)械故障診斷方法存在工作量大、效率低、需要充分的先驗(yàn)知識(shí)等缺陷[3-5]。近年來越來越多研究人員開始將研究重點(diǎn)聚焦于數(shù)據(jù)驅(qū)動(dòng)的、基于深度學(xué)習(xí)的故障診斷方法上[6-7]。這類方法取得了較好效果，但對(duì)數(shù)據(jù)集的質(zhì)量有很高要求，往往需要平衡的、大批量的數(shù)據(jù)才能進(jìn)行良好的模型訓(xùn)練，從而實(shí)現(xiàn)準(zhǔn)確的故障診斷。而在實(shí)際應(yīng)用中能夠采集到的故障信號(hào)通常很有限，因此，在小樣本場(chǎng)景下探尋一種簡(jiǎn)單、有效的故障診斷方法具有實(shí)際意義。

本文依托于寧夏大學(xué)設(shè)計(jì)的用于遠(yuǎn)程帶式輸送機(jī)的智能巡檢機(jī)器人[8]，進(jìn)行基于小樣本的托輥故障診斷研究。聲音信號(hào)有非接觸測(cè)量的優(yōu)勢(shì)，能夠及時(shí)、準(zhǔn)確地提供設(shè)備狀態(tài)特征信息，且能夠被永久或間歇監(jiān)測(cè)，因此被設(shè)計(jì)為機(jī)器人重點(diǎn)監(jiān)測(cè)的一個(gè)環(huán)節(jié)。巡檢機(jī)器人沿著遠(yuǎn)程帶式輸送機(jī)運(yùn)行，拾音器不間斷地采集聲音信號(hào)，同時(shí)上位機(jī)借助 RFID 巡檢機(jī)器人定位方法將每2～3個(gè)托輥之間所采集到的聲音信號(hào)保存為1個(gè)聲音信號(hào)文件，在巡檢結(jié)束后將數(shù)據(jù)上傳至數(shù)據(jù)庫中?？紤]在實(shí)際應(yīng)用過程中故障托輥并不會(huì)大量出現(xiàn)，且巡檢機(jī)器人在單獨(dú)托輥附近停留時(shí)間較短，因此在一次巡檢結(jié)束時(shí)故障聲音信號(hào)樣本量很少，導(dǎo)致智能故障診斷方法性能受限。

針對(duì)樣本數(shù)據(jù)不足問題，現(xiàn)階段的解決辦法一般是采用各種數(shù)據(jù)擴(kuò)充技術(shù)，從算法和數(shù)據(jù)2個(gè)層面對(duì)原始數(shù)據(jù)集進(jìn)行擴(kuò)充。算法層面的代表是數(shù)據(jù)生成技術(shù)[9-12]，但其存在不易實(shí)現(xiàn)、不穩(wěn)定的缺陷。數(shù)據(jù)層面的代表是數(shù)據(jù)增強(qiáng)技術(shù)，其實(shí)現(xiàn)形式多樣，主要思想是通過裁剪、加入新信號(hào)、過采樣等處理來獲得更多數(shù)據(jù)[13-15]，相較于生成新的數(shù)據(jù)，該方法從原始數(shù)據(jù)出發(fā)，實(shí)現(xiàn)更簡(jiǎn)單，可解釋性也更強(qiáng)。還有一些輔助的手段也能有效提升小樣本情況下模型訓(xùn)練的精度，例如深度遷移學(xué)習(xí)方法等。

基于以上分析，本文提出一種基于小樣本聲音信號(hào)的托輥故障診斷方法。先將一維信號(hào)轉(zhuǎn)換為二維時(shí)頻圖像，將頻率域的特征融入進(jìn)來，以提高數(shù)據(jù)集對(duì)故障特征的表達(dá)能力；然后將多種時(shí)頻分析方法繪制的時(shí)頻圖相結(jié)合，作為一種簡(jiǎn)單易行的數(shù)據(jù)增強(qiáng)手段來擴(kuò)充數(shù)據(jù)集，增加數(shù)據(jù)樣式；結(jié)合深度學(xué)習(xí)自動(dòng)提取特征的優(yōu)點(diǎn)和深度遷移學(xué)習(xí)思想，實(shí)現(xiàn)小樣本情況下的托輥故障診斷。

1 時(shí)頻圖及遷移學(xué)習(xí)

1.1 時(shí)頻圖

用于故障診斷的一維聲音信號(hào)往往是非線性和非平穩(wěn)的，這些特性使得無論采用單一的時(shí)域分析方法還是頻域分析方法都難以達(dá)到滿意的效果。在20世紀(jì)早期，分析非平穩(wěn)信號(hào)的時(shí)頻分析方法被提出，時(shí)頻分析方法同時(shí)具有時(shí)域分析與頻域分析2種分析方法的特點(diǎn)，通過對(duì)故障聲音信號(hào)進(jìn)行時(shí)頻分析處理后，可以得到信號(hào)的時(shí)頻域能量和強(qiáng)度分布情況。

時(shí)頻圖以時(shí)間為橫坐標(biāo)、頻率為縱坐標(biāo)，用顏色的深淺表征頻率幅值，是一維信號(hào)的二維表達(dá)，可以精準(zhǔn)表示信號(hào)的時(shí)頻域特征，同時(shí)可以直觀表達(dá)頻率與時(shí)間變化的關(guān)系，包含較為豐富的信號(hào)內(nèi)在信息，非常適合作為故障識(shí)別的樣本輸入。因此，近年來將時(shí)頻圖數(shù)據(jù)集與深度學(xué)習(xí)結(jié)合起來用于故障診斷的研究越來越多[16-20]。

較為典型的時(shí)頻分析方法有短時(shí)傅里葉變換（Short-Time Fourier Transform，STFT）、連續(xù)小波變換（Continue Wavelet Transform，CWT）、希爾伯特?黃變換（Hilbert-Huang Transform，HHT）等。以上3種時(shí)頻分析方法有各自的優(yōu)缺點(diǎn)和適用范圍，雖然本質(zhì)都是計(jì)算頻率，然后將頻率與時(shí)間對(duì)應(yīng)起來，但每種時(shí)頻分析方法無論是計(jì)算頻率的方法還是將時(shí)間與頻率結(jié)合的方法都存在差異，導(dǎo)致每一種時(shí)頻分析方法所繪制的時(shí)頻圖也都是有差異的。

STFT 的本質(zhì)是加窗后對(duì)每一小段使用傅里葉變換，繪制出來的時(shí)頻圖看起來是一個(gè)個(gè)小矩形的疊加，如圖1（a）所示。 HHT 計(jì)算的是信號(hào)的瞬時(shí)頻率，繪制出來的時(shí)頻圖看起來是一條連續(xù)的曲線，如圖1（b）所示。由于不同時(shí)頻分析方法的關(guān)聯(lián)與差異，所以將各方法生成的時(shí)頻圖相結(jié)合就成了一種切實(shí)可行的擴(kuò)充數(shù)據(jù)集的方法。

1.2 遷移學(xué)習(xí)

遷移學(xué)習(xí)可以將從一個(gè)數(shù)據(jù)集中獲得的知識(shí)運(yùn)用到其他數(shù)據(jù)集的學(xué)習(xí)任務(wù)中，從而解決新數(shù)據(jù)集上樣本量不足的問題。對(duì)于給定的源域和目標(biāo)域，遷移學(xué)習(xí)的目的是將從源域?qū)W習(xí)到的知識(shí)應(yīng)用到目標(biāo)域中。深度遷移學(xué)習(xí)是指利用上述遷移學(xué)習(xí)的思想來幫助深度學(xué)習(xí)模型的訓(xùn)練，即根據(jù)源域與目標(biāo)域之間學(xué)習(xí)任務(wù)的相關(guān)性，將模型學(xué)習(xí)到的知識(shí)或已訓(xùn)練好的模型的部分參數(shù)通過一定方式遷移到新的模型訓(xùn)練過程中，從而提升新模型訓(xùn)練的效果或降低新模型訓(xùn)練的難度[21-23]。遷移學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)的區(qū)別如圖2所示。

2 基于小樣本聲音信號(hào)的托輥故障診斷方法

托輥故障診斷流程：①制作軸承數(shù)據(jù)集，并使用軸承數(shù)據(jù)集預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，得到一個(gè)預(yù)訓(xùn)練模型。②使用多種類型時(shí)頻圖結(jié)合的數(shù)據(jù)集擴(kuò)充方法制作托輥數(shù)據(jù)集。③將預(yù)訓(xùn)練模型的部分網(wǎng)絡(luò)參數(shù)遷移到目標(biāo)域，使用托輥數(shù)據(jù)集重新訓(xùn)練模型，進(jìn)行模型微調(diào)，獲得托輥故障診斷模型。詳細(xì)的診斷流程如圖3所示。

2.1 多種類型時(shí)頻圖結(jié)合的數(shù)據(jù)集擴(kuò)充方法

多種類型時(shí)頻圖結(jié)合的數(shù)據(jù)集擴(kuò)充方法如圖4所示。

該方法包括以下3個(gè)步驟：

1）采用拾音器采集聲音信號(hào)，采樣頻率為48 kHz，即48000點(diǎn)/s，將采集到的故障聲音信號(hào)裁剪為時(shí)長(zhǎng)為1 s、重疊時(shí)間為0.3 s 的短時(shí)聲音信號(hào)。

2）對(duì)每個(gè)短時(shí)聲音信號(hào)分別進(jìn)行 STFT，CWT， HHT 處理，并繪制時(shí)頻圖。經(jīng)過實(shí)驗(yàn)確定各時(shí)頻分析方法的主要參數(shù)，見表1。

3）將使用不同時(shí)頻分析方法生成的時(shí)頻圖數(shù)據(jù)集中相同標(biāo)簽的數(shù)據(jù)結(jié)合為1個(gè)數(shù)據(jù)集，然后根據(jù)訓(xùn)練需求劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。

2.2 模型搭建及模型訓(xùn)練流程

本文采用殘差卷積神經(jīng)網(wǎng)絡(luò)模型（Residual Convolutional Neural Network，RCNN）作為故障診斷網(wǎng)絡(luò)模型（圖5），該模型使用了捷徑連接的方法。其中 Conv1—Conv4為卷積層，M1，M2為下采樣層，Add 層將 M1的輸出特征圖與 Conv3的輸出特征圖按元素相加，F(xiàn)C1為全連接層，F(xiàn)C2為分類輸出層。具體網(wǎng)絡(luò)參數(shù)見表2。輸入圖像大小為224×224×3。

故障診斷模型訓(xùn)練流程如圖 6 所示。具體步驟：①依次使用 3 種單一時(shí)頻分析方法的時(shí)頻圖數(shù)據(jù)集對(duì)模型進(jìn)行預(yù)訓(xùn)練。②將預(yù)訓(xùn)練模型參數(shù)中所包含的知識(shí)信息遷移到托輥故障診斷模型 Pt?RCNN 中，保留各卷積層及下采樣層的參數(shù)，將全連接層及輸出層替換為新的全連接層與輸出層。③使用多種類型時(shí)頻圖結(jié)合的數(shù)據(jù)集微調(diào)模型。

3 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文方法的有效性，使用實(shí)測(cè)的故障聲音信號(hào)分析其在小樣本情況下的故障識(shí)別能力。

3.1 數(shù)據(jù)集擴(kuò)充方法有效性驗(yàn)證

通過對(duì)比單一時(shí)頻分析方法、2種時(shí)頻分析方法相結(jié)合及3種時(shí)頻分析方法相結(jié)合生成的數(shù)據(jù)集在所搭建模型下的分類表現(xiàn)來驗(yàn)證方法有效性。

3.1.1 托輥數(shù)據(jù)采集

在某企業(yè)廠房?jī)?nèi)搭建帶式輸送機(jī)系統(tǒng)來模擬帶式輸送機(jī)不同的運(yùn)行狀態(tài)，整個(gè)帶式輸送機(jī)長(zhǎng)度為20 m，共有46個(gè)托輥，各托輥之間的間距為1.2 m，如圖7所示。人為制造3種托輥故障：托輥軸承滾珠缺失，托輥摻沙，托輥卡滯。

考慮到人員安全等問題，帶式輸送機(jī)為空載運(yùn)行，設(shè)置帶速為3 m/s，故障信息采樣頻率為48 kHz。為盡量還原巡檢機(jī)器人實(shí)際的巡檢過程，每種故障類型僅采集12 s聲音信號(hào)用于訓(xùn)練（70%訓(xùn)練，30%驗(yàn)證），再單獨(dú)采集10 s聲音信號(hào)用于測(cè)試，然后裁剪為時(shí)長(zhǎng)為1 s、重疊時(shí)間為0.3 s 的短時(shí)聲音信號(hào)。裁剪后得到30個(gè)短時(shí)聲音信號(hào)，其中11個(gè)用于模型訓(xùn)練，5個(gè)用于模型驗(yàn)證，14個(gè)用于模型測(cè)試。

3.1.2 數(shù)據(jù)集生成

按照聲音信號(hào)裁剪及各時(shí)頻分析方法，分別制作如下數(shù)據(jù)集用于后續(xù)的對(duì)比實(shí)驗(yàn)：?jiǎn)我粫r(shí)頻分析方法的托輥時(shí)頻圖數(shù)據(jù)集 TG?1?TG?3；2種時(shí)頻分析方法的托輥時(shí)頻圖結(jié)合的數(shù)據(jù)集 TG?4?TG?6；3種時(shí)頻分析方法的時(shí)頻圖結(jié)合的數(shù)據(jù)集 TG?7。具體的托輥數(shù)據(jù)集見表3。

3.1.3 驗(yàn)證結(jié)果

直接使用表3中的各托輥數(shù)據(jù)集從頭訓(xùn)練 RCNN，采用 Adam優(yōu)化器更新模型參數(shù)，學(xué)習(xí)率設(shè)置為0.0001，批處理樣本數(shù)目為64。采用 Early- Stop-ping 機(jī)制，不設(shè)置固定訓(xùn)練輪數(shù)，當(dāng)驗(yàn)證準(zhǔn)確率不再提高、損失不再下降的時(shí)候，停止訓(xùn)練模型并保存模型參數(shù)，用不同托輥數(shù)據(jù)集訓(xùn)練模型時(shí)的驗(yàn)證準(zhǔn)確率與測(cè)試準(zhǔn)確率見表4。

從表4可看出，僅使用由單一時(shí)頻分析方法生成的托輥時(shí)頻圖數(shù)據(jù)集訓(xùn)練模型時(shí)，由于訓(xùn)練樣本數(shù)過少、數(shù)據(jù)樣式過于單一，導(dǎo)致模型訓(xùn)練出現(xiàn)了很明顯的過擬合現(xiàn)象，即在訓(xùn)練過程中表現(xiàn)很好，但運(yùn)用在測(cè)試集中的效果不夠好，而隨著時(shí)頻圖數(shù)據(jù)集的結(jié)合，用于訓(xùn)練的樣本數(shù)量、樣式都在增加，過擬合現(xiàn)象有明顯改善，說明多種類型的時(shí)頻圖結(jié)合擴(kuò)充數(shù)據(jù)集的方法是可行的。

3.2 遷移學(xué)習(xí)有效性驗(yàn)證

將3種類型時(shí)頻圖結(jié)合的托輥數(shù)據(jù)集輸入到經(jīng)軸承數(shù)據(jù)預(yù)訓(xùn)練的模型中進(jìn)行模型微調(diào)，驗(yàn)證遷移學(xué)習(xí)的有效性。

3.2.1 軸承數(shù)據(jù)來源及數(shù)據(jù)集生成

選用軸承故障綜合模擬器獲取不同故障下的滾動(dòng)軸承聲音信號(hào)數(shù)據(jù)，如圖8所示。

測(cè)試軸承可更換，包括正常軸承和4類故障軸承（外圈故障軸承、內(nèi)圈故障軸承、滾珠故障軸承和保持架故障軸承）。軸承型號(hào)為 ER?12K，其結(jié)構(gòu)參數(shù)見表5，實(shí)驗(yàn)過程中軸承轉(zhuǎn)速為1797 r/min，實(shí)驗(yàn)臺(tái)負(fù)載質(zhì)量為5 kg，采樣頻率為48 kHz。

設(shè)置每種故障采集時(shí)長(zhǎng)為3 min，其中2 min 用于訓(xùn)練（70%訓(xùn)練，30%驗(yàn)證），1 min 用于測(cè)試。樣本裁剪為時(shí)長(zhǎng)為1 s、重疊時(shí)間為0.3 s 的短時(shí)聲音信號(hào)，共得到255個(gè)短時(shí)聲音信號(hào)，其中119個(gè)用于訓(xùn)練，51個(gè)用于驗(yàn)證，85個(gè)用于測(cè)試。采用表1所示時(shí)頻分析方法的參數(shù)，對(duì)所有短時(shí)聲音信號(hào)進(jìn)行時(shí)頻分析并繪制時(shí)頻圖，得到故障軸承時(shí)頻圖數(shù)據(jù)集，每個(gè)數(shù)據(jù)集分別得到595張圖像用于訓(xùn)練，255張圖像用于驗(yàn)證，425張圖像用于測(cè)試。

3.2.2 模型預(yù)訓(xùn)練及遷移

首先使用軸承數(shù)據(jù)集進(jìn)行模型預(yù)訓(xùn)練，采用 Adam 優(yōu)化器更新模型參數(shù)，學(xué)習(xí)率設(shè)置為0.0001，批處理樣本數(shù)為64。預(yù)訓(xùn)練階段，模型在軸承時(shí)頻圖數(shù)據(jù)集上的測(cè)試準(zhǔn)確率最高可達(dá)97.18%。

遷移預(yù)訓(xùn)練模型的部分網(wǎng)絡(luò)參數(shù)至托輥目標(biāo)域并調(diào)整模型結(jié)構(gòu)，得到 Pt?RCNN 模型，再使用3種類型時(shí)頻圖結(jié)合的托輥數(shù)據(jù)集對(duì)模型 Pt?RCNN 重新訓(xùn)練，進(jìn)行模型微調(diào)，得到托輥故障診斷模型。仍采用 Adam優(yōu)化器更新模型參數(shù)，學(xué)習(xí)率設(shè)為0.0001，批處理樣本數(shù)為64，訓(xùn)練過程中的損失及準(zhǔn)確率變化曲線如圖9所示?？煽闯?，僅經(jīng)過200次迭代訓(xùn)練，模型就達(dá)到了收斂且損失不再下降。模型的測(cè)試準(zhǔn)確率達(dá)98.81%，相較于不使用遷移學(xué)習(xí)時(shí)提升了7%，且沒有出現(xiàn)過擬合現(xiàn)象，說明模型訓(xùn)練良好。

模型測(cè)試混淆矩陣如圖10所示。在4種故障類型共168張用于測(cè)試的圖像中，只將2個(gè)摻沙故障的測(cè)試樣本錯(cuò)誤識(shí)別成了正常，驗(yàn)證了本文方法在小樣本故障識(shí)別中的可行性。

3.2.3 模型可視化驗(yàn)證

引入遮擋靈敏度圖來進(jìn)一步評(píng)估本文方法的可行性及模型訓(xùn)練效果。當(dāng)神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行分類時(shí)，圖像不同區(qū)域?qū)Ψ诸惤Y(jié)果的影響不同，模型應(yīng)能夠根據(jù)圖像的主要目標(biāo)來進(jìn)行分類，而不是學(xué)習(xí)到與目標(biāo)偏離的特征。將差異較大的3種時(shí)頻圖都放在一個(gè)數(shù)據(jù)集中去訓(xùn)練模型，很容易導(dǎo)致模型因提取不到共同特征而不收斂。通過遮擋靈敏度圖，可驗(yàn)證模型是否提取到了3種圖像共同的、關(guān)于故障頻率的特征。重復(fù)對(duì)圖像不同部分進(jìn)行遮擋，將遮擋圖像輸入分類模型中，觀察網(wǎng)絡(luò)中間層的情況及預(yù)測(cè)值的變化。3種時(shí)頻圖原圖與遮擋靈敏度圖對(duì)比見表6。

遮擋靈敏度圖中，紅色區(qū)域表示對(duì)圖像分類有積極貢獻(xiàn)，在決策過程中更為重要，藍(lán)色區(qū)域相反?？煽闯?，即使3種時(shí)頻圖原圖有很大區(qū)別，但模型識(shí)別相同類型故障時(shí)，還是會(huì)集中在對(duì)應(yīng)的故障頻率附近，說明模型在訓(xùn)練過程中學(xué)習(xí)到了深層次的特征，與訓(xùn)練預(yù)期相符，從而進(jìn)一步驗(yàn)證了模型的訓(xùn)練效果及數(shù)據(jù)集擴(kuò)充方法的可行性。

3.3 對(duì)比實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文托輥故障診斷方法的有效性，將其與文獻(xiàn)[12]、文獻(xiàn)[24]、文獻(xiàn)[25]所提方法進(jìn)行對(duì)比，所用數(shù)據(jù)仍然是3.1節(jié)中所述實(shí)際采集到的托輥故障信號(hào)，實(shí)驗(yàn)結(jié)果見表7。

由文獻(xiàn)[24]及3.2節(jié)的分析可看出，在數(shù)據(jù)量不足的情況下，無論是使用一維信號(hào)還是使用單一時(shí)頻方法生成的時(shí)頻圖數(shù)據(jù)集直接訓(xùn)練模型，都很容易在訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象，從而導(dǎo)致模型的泛化能力差，應(yīng)用在測(cè)試集中的識(shí)別準(zhǔn)確率低。文獻(xiàn)[25]采用了 STFT 時(shí)頻圖數(shù)據(jù)集加遷移AlexNet網(wǎng)絡(luò)模型的方法，相較于從頭訓(xùn)練模型，準(zhǔn)確率有所提升，說明深度遷移學(xué)習(xí)方法能夠有效提升小樣本情況下的模型訓(xùn)練精度，但最終表現(xiàn)也不是很好，數(shù)據(jù)量過少可能是一個(gè)原因，另一個(gè)原因可能是因?yàn)楸贿w移的AlexNet網(wǎng)絡(luò)初始訓(xùn)練所用的源域數(shù)據(jù)集是 ImageNet 數(shù)據(jù)集，與遷移后目標(biāo)域的時(shí)頻圖數(shù)據(jù)集相似性很低，導(dǎo)致遷移效果差，識(shí)別效果不好。文獻(xiàn)[12]用生成對(duì)抗網(wǎng)絡(luò)擴(kuò)充 STFT 時(shí)頻圖數(shù)據(jù)集，在對(duì)托輥的分類實(shí)驗(yàn)中達(dá)到了不錯(cuò)的分類效果，證明生成式神經(jīng)網(wǎng)絡(luò)是解決小樣本問題很有效的方法之一。本文方法雖然相較于文獻(xiàn)[12]方法準(zhǔn)確率只提高了4%，但是本文所提擴(kuò)充數(shù)據(jù)集的方法相較于文獻(xiàn)[12]方法更容易實(shí)現(xiàn)，可解釋性更強(qiáng)，而且在擴(kuò)大數(shù)據(jù)量的同時(shí)能夠增加數(shù)據(jù)樣式，有效提高模型的泛化能力。

4 結(jié)論

1）提出了多種類型時(shí)頻圖結(jié)合的數(shù)據(jù)集擴(kuò)充方法，充分利用了 STFT，CWT，HHT 之間的關(guān)聯(lián)與差異，有效解決了模型訓(xùn)練樣本數(shù)量不足的問題。

2）引入了深度遷移學(xué)習(xí)的思想，使用軸承數(shù)據(jù)集對(duì)模型進(jìn)行預(yù)訓(xùn)練，然后使用托輥數(shù)據(jù)對(duì)預(yù)訓(xùn)練模型進(jìn)行模型微調(diào)。遷移后的模型微調(diào)過程相較于從頭訓(xùn)練所用的代數(shù)更少，模型能更快地達(dá)到擬合。

3）實(shí)驗(yàn)結(jié)果表明：多種類型時(shí)頻圖結(jié)合的數(shù)據(jù)集擴(kuò)充方法能有效解決使用小樣本數(shù)據(jù)訓(xùn)練模型時(shí)易過擬合的問題；使用遷移學(xué)習(xí)后，模型測(cè)試準(zhǔn)確率達(dá)98.81%，相較于不使用遷移學(xué)習(xí)時(shí)提升了7%，且未出現(xiàn)過擬合現(xiàn)象，說明模型訓(xùn)練良好；相較于生成對(duì)抗網(wǎng)絡(luò)擴(kuò)充 STFT 時(shí)頻圖數(shù)據(jù)集+遷移學(xué)習(xí)的方法，多種類型時(shí)頻圖結(jié)合的數(shù)據(jù)集擴(kuò)充+遷移學(xué)習(xí)的方法準(zhǔn)確率提高了4%，且更容易實(shí)現(xiàn)，可解釋性更強(qiáng)。

參考文獻(xiàn)（References）：

[1] 焦賀彬.煤礦帶式輸送機(jī)智能化安全監(jiān)測(cè)系統(tǒng)研究[J].煤礦機(jī)械，2020，41（10）：182-185.

JIAO Hebin. Research on intelligent safety monitoring system of belt conveyor in coal mine[J]. Coal Mine Machinery，2020，41（10）：182-185.

[2] 付朕.礦用帶式輸送機(jī)托輥遠(yuǎn)程故障診斷系統(tǒng)[D].徐州：中國礦業(yè)大學(xué)，2020.

FU Zhen. Remote fault diagnosis system of mine belt conveyor idler[D]. Xuzhou：China University of Mining and Technology，2020.

[3] 邵思羽.基于深度學(xué)習(xí)的旋轉(zhuǎn)機(jī)械故障診斷方法研究[D].南京：東南大學(xué)，2019.

SHAO Siyu. Methodologies for fault diagnosis of rotary machine based on deep learning[D]. Nanjing：Southeast University，2019.

[4] 吳文臻，程繼明，李標(biāo).礦用帶式輸送機(jī)托輥音頻故障診斷方法[J].工礦自動(dòng)化，2022，48（9）：25-32.

WU Wenzhen，CHENG Jiming，LI Biao. Audio fault diagnosis method of mine belt conveyor roller[J]. Journal of Mine Automation，2022，48（9）：25-32.

[5] 賀志軍，李軍霞，張偉，等.基于 MFCC 特征和 GWO?SVM的托輥故障診斷[J].機(jī)床與液壓，2022，50（15）：188-193.

HE Zhijun，LI Junxia，ZHANG Wei，et al. Roller fault diagnosis based on MFCC feature and GWO-SVM[J]. Machine Tool & Hydraulics，2022，50（15）：188-193.

[6] 陳維望，李軍霞，張偉.基于分支卷積神經(jīng)網(wǎng)絡(luò)的托輥軸承故障分級(jí)診斷研究[J].機(jī)電工程，2022，39（5）：596-603.

CHEN Weiwang，LI Junxia，ZHANG Wei. Hierarchical fault diagnosis of idler bearing based on branch convolutional neural network[J]. Journal ofMechanical& Electrical Engineering，2022，39（5）：596-603.

[7] WEN Long，LI Xinyu，GAO Liang，et al. A new convolutional neural network-based data-driven fault diagnosis method[J]. IEEE Transactions on Industrial Electronics，2018，65（7）：5990-5998.

[8] 寧夏大學(xué).帶式輸送機(jī)故障巡檢載具及其控制系統(tǒng)和控制方法： CN201911098745.5[P].2019-11-12.

Ningxia University. Belt conveyor fault inspection vehicle and its control system and control method： CN201911098745.5[P].2019-11-12.

[9] WANG Zirui， WANG Jun， WANG Youren. An intelligent diagnosis scheme based on generative adversarial learning deep neural networks and its application to planetary gearbox fault pattern recognition [J]. Neurocomputing，2018，310（8）：213-222.

[10] DING Yu，MA Liang，MA Jian，et al. A generative adversarial network-based intelligent fault diagnosis method for rotating machinery under small sample size conditions[J]. IEEE Access，2019，7：149736-149749.

[11] 何強(qiáng)，唐向紅，李傳江，等.負(fù)載不平衡下小樣本數(shù)據(jù)的軸承故障診斷[J].中國機(jī)械工程，2021，32（10）：1164-1171，1180.

HE Qiang，TANG Xianghong，LI Chuanjiang，et al. Bearing fault diagnosis method based on small sample data under unbalanced loads[J]. China Mechanical Engineering，2021，32（10）：1164-1171，1180.

[12] 吳定會(huì)，方欽，吳楚宜.基于數(shù)據(jù)生成與遷移學(xué)習(xí)的軸承小樣本故障診斷[J].機(jī)械傳動(dòng)，2020，44（11）：139-144.

WU Dinghui，F(xiàn)ANG Qin，WU Chuyi. Bearing small sample fault diagnosis based on data generation and transfer? learning[J].? Journal? of? Mechanical Transmission，2020，44（11）：139-144.

[13] 蔣杰.基于深度學(xué)習(xí)的車型識(shí)別算法研究[D].北京：北方工業(yè)大學(xué)，2018.

JIANG Jie. Vehicle recognition algorithm based on deep learning[D]. Beijing： North China University of Technology，2018.

[14] ZHANG Hongyi，CISSE M，DAUPHIN Y N，et al. Mixup：beyond empirical risk minimization[EB/OL].[2022-11-25].https：//arxiv.org/abs/1710.09412.

[15] DVORNIK N，MAIRAL J， SCHMID C. Modelingvisual context is key to augmenting object detection datasets[EB/OL]. [2022-11-25]. https：//arxiv.org/abs/1807.07428.

[16] LEE W J，WU Haiyue，HUANG Aihua，et al. Learning via acceleration spectrograms of a DC motor system with application to condition monitoring[J]. The International Journal of Advanced Manufacturing Technology，2020，106（3/4）：1-14.

[17] BERA A，DUTTA A，DHARA A K. Deep learning based fault classification algorithm for roller bearings using? time-frequency? localized? features[C]. International?? Conference?? on?? Computing， Communication， and Intelligent Systems， Greater Noida，2021.

[18] LI Pengfei，YUAN Hejin，WANG Yu，et al. Pumping unit fault analysis method based on wavelet transform time-frequency diagram and CNN[J]. International Core Journal of Engineering，2020，6（1）：182-188.

[19] XU Yang，LI Zhixiong，WANG Shuqing，et al. A hybrid deep-learning model for fault diagnosis of rolling bearings[J]. Measurement，2021，169（6）. DOI：10.1016/j.measurement.2020.108502.

[20] YUAN Zhuang，ZHANG Laibin，DUAN Lixiang，et al. Intelligent fault diagnosis of rolling element bearings based on HHT and CNN[C]. Prognostics and System Health Management Conference，Chongqing，2018.

[21] PHAM M T，KIM J M，KIM C H. Accurate bearing fault diagnosis under variable shaft speed using convolutional? neural? networks? and? vibration spectrogram[J]. Applied Sciences，2020，10（18）. DOI：10.3390/app10186385.

[22] HE Zhiyi，SHAO Haidong，ZHANG Xiaoyang，et al. Improved deep transfer auto-encoder for fault diagnosis of gearbox under variable working conditions with small training samples[J]. IEEE Access，2019，7：115368-115377.

[23] WANG Chongyu，XIE Yonghui，ZHANG Di. Deep learning for bearing fault diagnosis under different working loads and non-fault location point[J]. Journal of Low Frequency Noise，Vibration and Active Control，2021，40（1）：588-600.

[24] WANG Xin，MAO Dongxing，LI Xiaodong. Bearing fault diagnosis based on vibro-acoustic data fusion and 1D-CNN network[J]. Measurement，2021，173. DOI：10.1016/j.measurement.2020.108518.

[25] MINERVINI M，HAUSMSN S，F(xiàn)ROSINI L，et al. Transfer learning technique for automatic bearing fault diagnosis in induction motors [C]. IEEE 13th International Symposium on Diagnostics for Electrical Machines，Power Electronics and Drives，Dallas，2021.