基于深度Q學(xué)習(xí)和連續(xù)小波變換的旋轉(zhuǎn)機(jī)械故障診斷方法

陳仁祥 周君 胡小林 韓興波 朱孫科 張曉

摘要： 針對(duì)旋轉(zhuǎn)機(jī)械故障診斷中深度神經(jīng)網(wǎng)絡(luò)特征學(xué)習(xí)能力強(qiáng)、決策能力弱的問題，利用卷積神經(jīng)網(wǎng)絡(luò)擬合強(qiáng)化學(xué)習(xí)中的Q函數(shù)，通過Q?learning算法學(xué)習(xí)策略實(shí)現(xiàn)故障診斷，提出了基于深度Q學(xué)習(xí)和連續(xù)小波變換的旋轉(zhuǎn)機(jī)械故障診斷方法。對(duì)振動(dòng)信號(hào)進(jìn)行連續(xù)小波變換得到時(shí)間尺度矩陣，構(gòu)建出環(huán)境狀態(tài)空間，實(shí)現(xiàn)智能體與環(huán)境間的交互;用CNN擬合Q?learning中的Q函數(shù)得到深度Q網(wǎng)絡(luò)，將環(huán)境返回的狀態(tài)輸入到深度Q網(wǎng)絡(luò)中學(xué)習(xí)故障數(shù)據(jù)具體的狀態(tài)特征表示，并據(jù)此表征學(xué)習(xí)策略，智能體采用ε?貪婪方式?jīng)Q策出動(dòng)作，利用獎(jiǎng)勵(lì)發(fā)生器對(duì)動(dòng)作進(jìn)行評(píng)價(jià);通過智能體與環(huán)境間不斷交互學(xué)習(xí)以最大化Q函數(shù)值，得到最優(yōu)策略實(shí)現(xiàn)故障診斷。這種方式融合了深度學(xué)習(xí)的感知能力和強(qiáng)化學(xué)習(xí)的決策能力，從而有效提高了診斷能力。通過不同工況及不同樣本量下齒輪箱故障診斷實(shí)驗(yàn)證明了所提方法的有效性。

關(guān)鍵詞： 故障診斷; 旋轉(zhuǎn)機(jī)械; 連續(xù)小波變換; 深度Q學(xué)習(xí)

中圖分類號(hào)： TH165.+3; TH133 文獻(xiàn)標(biāo)志碼： A 文章編號(hào)： 1004-4523（2021）05-1092-09

DOI：10.16385/j.cnki.issn.1004-4523.2021.05.024

引 言

旋轉(zhuǎn)機(jī)械故障診斷本質(zhì)是模式識(shí)別，其中重要的步驟是故障特征提取與故障類型識(shí)別[1]。近年來，由于深度神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征學(xué)習(xí)能力，使其在旋轉(zhuǎn)機(jī)械故障診斷領(lǐng)域得到快速發(fā)展[2?3]。

利用深度學(xué)習(xí)進(jìn)行故障診斷時(shí)，常見的模式為通過建立不同的深度神經(jīng)網(wǎng)絡(luò)從訓(xùn)練樣本中學(xué)習(xí)故障特征進(jìn)而實(shí)現(xiàn)故障診斷。如：胡蔦慶等[4]對(duì)行星齒輪箱故障信號(hào)進(jìn)行經(jīng)驗(yàn)?zāi)B(tài)分解，得到內(nèi)稟模式函數(shù)（Intrinsic Mode Function，IMF）后利用深度卷積神經(jīng)網(wǎng)絡(luò)融合特征信息明顯的IMF進(jìn)行故障診斷。李巍華等[5]利用深度置信網(wǎng)絡(luò)直接從原始信號(hào)逐層學(xué)習(xí)軸承故障特征進(jìn)行軸承故障診斷。Cao等[6]將長(zhǎng)短期記憶網(wǎng)絡(luò)（Long Short Term Memory Networks，LSTM）用于風(fēng)機(jī)齒輪箱故障的模式識(shí)別。Chen等[7]對(duì)行星齒輪箱信號(hào)進(jìn)行離散小波變換得到二維時(shí)頻信息，再輸入卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）進(jìn)行分類識(shí)別。Zeng等[8]對(duì)信號(hào)進(jìn)行S變換提取時(shí)頻特征信息，提出了基于S變換和CNN的齒輪箱故障診斷。以上方法都取得了不錯(cuò)的效果，但是大部分神經(jīng)網(wǎng)絡(luò)直接在最后一層使用Softmax分類器進(jìn)行分類，且訓(xùn)練時(shí)更注重深度神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力，而忽略了決策能力在神經(jīng)網(wǎng)絡(luò)中的作用，這會(huì)影響診斷結(jié)果的準(zhǔn)確性和可靠性，特別是在樣本量不足時(shí)。

深度Q學(xué)習(xí)（Deep Q Network， DQN）融合了深度學(xué)習(xí)的感知能力和強(qiáng)化學(xué)習(xí)的決策能力，已在視頻游戲中得到廣泛應(yīng)用[9?11]。DQN通過智能體與環(huán)境間的互動(dòng)，利用深度Q網(wǎng)絡(luò)來提取數(shù)據(jù)的抽象表征，同時(shí)據(jù)此表征進(jìn)行自我激勵(lì)的強(qiáng)化學(xué)習(xí)，優(yōu)化解決策略[12]。DQN不僅具有深度學(xué)習(xí)特征能力強(qiáng)的特點(diǎn)，還具備強(qiáng)化學(xué)習(xí)決策能力強(qiáng)的優(yōu)勢(shì)，使其在故障診斷中具有巨大潛力。

同時(shí)，由于旋轉(zhuǎn)機(jī)械結(jié)構(gòu)復(fù)雜，工況多變，信號(hào)傳遞過程中易耦合，采集到的振動(dòng)信號(hào)往往具有非平穩(wěn)非線性的特點(diǎn)，利用時(shí)頻分析方法獲得其二維時(shí)頻信息更有利于深度Q網(wǎng)絡(luò)學(xué)習(xí)特征和作出決策。常見的時(shí)頻分析方法中，S變換對(duì)高頻帶分辨率模糊，連續(xù)小波變換（Continuous Wavelet Transfer，CWT）具有很強(qiáng)的弱信號(hào)檢測(cè)能力，相對(duì)于離散小波和二進(jìn)制小波具有不易發(fā)生漏檢和泄露的特點(diǎn)[13]，故采用CWT對(duì)原始信號(hào)進(jìn)行變換獲得時(shí)間尺度譜。

綜上所述，提出基于深度Q學(xué)習(xí)和連續(xù)小波變換的旋轉(zhuǎn)機(jī)械故障診斷方法。首先利用CWT對(duì)非線性非平穩(wěn)信號(hào)進(jìn)行預(yù)處理，挖掘數(shù)據(jù)的二維時(shí)間尺度特征信息，以時(shí)間尺度矩陣構(gòu)建出環(huán)境狀態(tài)空間。然后，用CNN擬合Q?learning中的Q函數(shù)，將環(huán)境返回的狀態(tài)輸入到深度Q網(wǎng)絡(luò)中學(xué)習(xí)故障數(shù)據(jù)具體的狀態(tài)特征表示，并據(jù)此表征學(xué)習(xí)策略。再通過智能體與環(huán)境間不斷交互學(xué)習(xí)以最大化Q函數(shù)值，得到最優(yōu)策略，從而實(shí)現(xiàn)旋轉(zhuǎn)機(jī)械故障診斷。通過不同工況和不同樣本量下齒輪箱故障診斷實(shí)驗(yàn)證明了所提方法的可行性和有效性。

1 連續(xù)小波變換和深度Q學(xué)習(xí)算法

1.1 連續(xù)小波變換原理

設(shè)函數(shù)ψ∈L2（R）∩L1（R）并且，由ψ經(jīng)伸縮和平移可以得到一簇函數(shù)

通過尺度為a、平移為b的子小波和信號(hào)內(nèi)積可得到每個(gè)小波變換系數(shù)Wf（a，b），當(dāng)信號(hào)與該子波越相似，則系數(shù)值越大，特征成分將在時(shí)間尺度相平面上某處集結(jié)為高幅值的能量塊，反之則能量發(fā)散。通過不同的尺度變換，最終得到系數(shù)矩陣Wf（a，b）能夠刻畫出信號(hào)的二維時(shí)間尺度特征。Morlet小波與旋轉(zhuǎn)機(jī)械發(fā)生故障時(shí)產(chǎn)生的沖擊信號(hào)形狀相似，故選其為母小波。

1.2 深度Q網(wǎng)絡(luò)

強(qiáng)化學(xué)習(xí)包含四個(gè)元素：智能體、環(huán)境狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)。其交互學(xué)習(xí)過程如圖1所示。

智能體通過不停的交互利用從環(huán)境中得到的反饋信號(hào)，調(diào)整策略π來最大化長(zhǎng)期累積獎(jiǎng)勵(lì)，定義累積獎(jiǎng)勵(lì)Gt如下

式中 Q（s，a）為Q函數(shù);s，a，r分別為當(dāng)前狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì);Q（s，a）取得最大值的s'，a'即為下一個(gè)狀態(tài)和動(dòng)作。折扣系數(shù)γ介于0?1之間，其數(shù)值越小表明智能體在學(xué)習(xí)過程中越在意當(dāng)前的獎(jiǎng)勵(lì)，δ為Q學(xué)習(xí)率，用于權(quán)衡Q函數(shù)學(xué)習(xí)的快慢。

CNN利用多層特征提取層，自適應(yīng)提取狀態(tài)特征形成更加抽象的特征表達(dá)，具有擬合任何函數(shù)的特點(diǎn)。因此，可用CNN擬合表示Q函數(shù)得到深度Q網(wǎng)絡(luò)，結(jié)構(gòu)如圖2所示。

其中I層為輸入層，C1層為第一層卷積層，P1層為對(duì)應(yīng)池化層，經(jīng)過多次卷積與池化，最后將最后一層擴(kuò)展成全連接層F，Q層為輸出層，每一層的具體介紹如下：

1）卷積層。多個(gè)卷積核分別與輸入圖像進(jìn)行卷積，加上對(duì)應(yīng)的偏置值，一個(gè)卷積核對(duì)應(yīng)一個(gè)偏置值，加上偏置值之后通過激活函數(shù)就可以得到一系列特征圖，其過程用數(shù)學(xué)描述如下

式中 為l層第j個(gè)元素，Mj為l-1層特征圖的第j個(gè)卷積區(qū)，為前一層特征圖上第j個(gè)元素，為l層的權(quán)重矩陣，為l層的偏置矩陣，f（）為激活函數(shù)，使用Relu函數(shù)如下

2）池化層。通過對(duì)圖像進(jìn)行降維處理，除去冗余信息，保留數(shù)據(jù)的重要特征，同時(shí)減少了計(jì)算量，提高特征學(xué)習(xí)了的效率，公式如下

式中 down（·）為下采樣函數(shù)，表示第l層第j個(gè)特征圖的權(quán)值，表示第l層第j個(gè)特征圖的偏值，經(jīng)過池化層l后的特征圖和卷積層l-1的特征圖在數(shù)量上保持不變，大小改變。

3）全連接層。經(jīng)過多個(gè)卷積層和池化層，網(wǎng)絡(luò)提取到數(shù)據(jù)的特征，通過全連接層將前一層的特征圖連接，最后連接分流層，與全連接層連接前，需要將前一層的所有特征圖展成一維特征向量。

式中 yk為全連接層的輸出層，xk-1是展開的一維特征向量，f（·）為激活函數(shù)，k為網(wǎng)絡(luò)層數(shù)序號(hào)，wk為權(quán)重系數(shù)，bk為偏置值。

4）輸出層。通過前面的卷積、池化等操作，卷積神經(jīng)網(wǎng)絡(luò)在輸出層得到故障數(shù)據(jù)狀態(tài)下每類動(dòng)作Q值，即

式中 Q（s，a;θ）為卷積神經(jīng)網(wǎng)絡(luò)的Q值，θ為卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)。

1.3 深度Q學(xué)習(xí)算法

通過卷積神經(jīng)網(wǎng)絡(luò)擬合Q函數(shù)，同時(shí)結(jié)合Q?learning算法得到的深度Q學(xué)習(xí)算法如表1所示，其中Q函數(shù)的迭代公式如下

式中 yi為第i次迭代目標(biāo)值的優(yōu)化結(jié)果;g（s，a，s'）為獎(jiǎng)勵(lì)發(fā)生器;θi，為深度Q網(wǎng)絡(luò)、目標(biāo)網(wǎng)絡(luò)的權(quán)重參數(shù)。目標(biāo)網(wǎng)絡(luò)與深度Q網(wǎng)絡(luò)結(jié)構(gòu)相同，每迭代C次將DQN的參數(shù)復(fù)制給目標(biāo)網(wǎng)絡(luò)的參數(shù)。

式中 0<ε<1，用于權(quán)衡智能體在學(xué)習(xí)過程中對(duì)環(huán)境進(jìn)行探索和利用的程度。

圖3為智能體決策過程中的移動(dòng)示意圖，每層具有Z個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)代表故障種類。每一次迭代，智能體根據(jù)環(huán)境返回的數(shù)據(jù)狀態(tài)使用公式（12）做出某個(gè)動(dòng)作，當(dāng)實(shí)際決策做出的動(dòng)作所對(duì)應(yīng)的節(jié)點(diǎn)與標(biāo)記故障類型一致時(shí)，設(shè)置獎(jiǎng)勵(lì)值r。否則獎(jiǎng)勵(lì)值為0。

通過智能體與環(huán)境交互作用產(chǎn)生大量經(jīng)驗(yàn)樣本，然后隨機(jī)抽取輸入到深度Q網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)產(chǎn)生誤差，采用隨機(jī)梯度下降方法調(diào)節(jié)深度Q網(wǎng)絡(luò)的權(quán)重和偏值，使誤差達(dá)到最小值，本文使用的損失函數(shù)為均方誤差函數(shù)

對(duì)式（12）求一階偏導(dǎo)數(shù)，可以將得到的誤差逐層反向傳遞，進(jìn)而更新卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)：

左側(cè)為更新后的和，η為學(xué)習(xí)率，依次類推，逐層更新由l層到l-1層的權(quán)重和偏置值。

2 基于深度Q學(xué)習(xí)和連續(xù)小波變換的旋轉(zhuǎn)機(jī)械故障診斷流程

所提故障診斷方法流程圖如圖4所示。智能體由深度Q網(wǎng)絡(luò)、目標(biāo)網(wǎng)絡(luò)、以及回放記憶單元等構(gòu)成，智能體通過卷積神經(jīng)網(wǎng)絡(luò)可以感知數(shù)據(jù)狀態(tài)的抽象表征，同時(shí)根據(jù)環(huán)境反饋獎(jiǎng)勵(lì)值進(jìn)行策略學(xué)習(xí)。

主要步驟如下：

1）采集數(shù)據(jù)與劃分

合理布置加速度傳感器的位置，采集到的時(shí)域數(shù)據(jù)劃分方式如下：確定數(shù)據(jù)狀態(tài)（即樣本）個(gè)數(shù)Ns=lt/ls，其中l(wèi)t為時(shí)域信號(hào)長(zhǎng)度，ls為樣本長(zhǎng)度。由此，可得到某個(gè)時(shí)域數(shù)據(jù)狀態(tài)，下標(biāo)k表示狀態(tài)序列，上標(biāo)td表示時(shí)域數(shù)據(jù)。

2）環(huán)境狀態(tài)空間的構(gòu)建

將故障類型映射到動(dòng)作空間集A={a1=0，a2=1，…，ai=n-1}，n為故障類型數(shù)?？傻玫侥彻收项愋偷臄?shù)據(jù)狀態(tài)空間集

式中 i

3）訓(xùn)練深度Q網(wǎng)絡(luò)

智能體根據(jù)某故障類型的數(shù)據(jù)狀態(tài)sk決策出動(dòng)作ai，即決策出故障類型;然后環(huán)境根據(jù)動(dòng)作ai利用公式（18）返回對(duì)應(yīng)故障類型的下一數(shù)據(jù)狀態(tài)空間中某個(gè)狀態(tài)sk'，同時(shí)根據(jù)公式（13）對(duì)當(dāng)前的決策結(jié)果進(jìn)行評(píng)價(jià)，給予獎(jiǎng)勵(lì)值r?；胤庞洃泦卧獙⒚恳淮蔚慕换?shù)據(jù)（sk，ai，r，sk'）存儲(chǔ)在回放記憶單元D中，然后隨機(jī)抽取K個(gè)樣本輸入到深度Q網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)，采用隨機(jī)梯度下降法來減少公式（14）中的誤差值，同時(shí)更新深度Q網(wǎng)絡(luò)的權(quán)重和偏置值參數(shù)以最大化Q函數(shù)值。

4）故障診斷結(jié)果輸出

將測(cè)試樣本輸入到深度Q網(wǎng)絡(luò)，輸出診斷結(jié)果。

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)數(shù)據(jù)描述

通過動(dòng)力傳動(dòng)故障診斷綜合實(shí)驗(yàn)臺(tái)[16]進(jìn)行實(shí)驗(yàn)，該齒輪箱中齒輪和軸承均存在故障，實(shí)驗(yàn)臺(tái)如圖5所示，故障類型及描述如表2所示。

表2中，齒輪故障類型包括斷齒、缺齒、齒根裂紋、齒面磨損及正常共計(jì)5種。軸承故障包括滾動(dòng)體、內(nèi)圈、外圈、復(fù)合故障及正常5種。實(shí)驗(yàn)中在兩種工況下采集到振動(dòng)加速度信號(hào)，兩種工況分別為：1. 電機(jī)轉(zhuǎn)頻20 Hz，負(fù)載電壓0 V;2. 電機(jī)轉(zhuǎn)頻30 Hz，負(fù)載電壓2 V。由于篇幅有限，具體采集過程可參考文獻(xiàn)[17]的數(shù)據(jù)采集實(shí)驗(yàn)部分。

圖6為齒輪箱中不同故障齒輪的時(shí)域波形圖和幅值譜，不同故障的特征并不明顯，如正常狀態(tài)和齒面故障的波形極為相似，人工診斷極易出錯(cuò)。圖7為對(duì)應(yīng)的時(shí)間尺度圖，可觀察到不同故障類型的能量分布存在顯著差異，如圖中斷齒故障和正常狀態(tài)的能量分布具有差異。因此，信號(hào)通過CWT處理更能表達(dá)出不同故障之間的特征信息。

3.2 DQN參數(shù)確定

首先進(jìn)行齒輪故障診斷實(shí)驗(yàn)。根據(jù)參考文獻(xiàn)[7]和經(jīng)過多次實(shí)驗(yàn)，所使用的網(wǎng)絡(luò)結(jié)構(gòu)如下：兩層卷積層，每層卷積層卷積核的個(gè)數(shù)為C1=32，C2=32，C3=64，卷積核大小均為5×5，且每層卷積層后連接2×2池化層，池化方式采用平均池化方式;第一層全連接層神經(jīng)元個(gè)數(shù)為F1，第二層隱藏層神經(jīng)元個(gè)數(shù)為1024;輸出層神經(jīng)元個(gè)數(shù)為5，即故障類型個(gè)數(shù)。每個(gè)工況下的每類故障樣本量為150，訓(xùn)練集∶測(cè)試集=7∶3。

對(duì)于DQN參數(shù)設(shè)置，目前主要通過經(jīng)驗(yàn)和采用控制變量法進(jìn)行調(diào)參后確定。因篇幅有限，以Q函數(shù)學(xué)習(xí)率δ和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率η的調(diào)參過程為例進(jìn)行說明。表3為不同δ，η數(shù)值下得出的診斷結(jié)果。觀察表3，不同參數(shù)下智能體學(xué)習(xí)到的策略存在一定差異，從而得到不同的診斷精度，當(dāng)η=0.06，δ=1時(shí)，在工況20 Hz?0 V， 30 Hz?2 V時(shí)分別為99.76%， 94.51%，同時(shí)達(dá)到最大值。因此選定參數(shù)η=0.06，δ=1，其他參數(shù)的設(shè)定過程類似。通過不斷調(diào)參分析后參數(shù)設(shè)置如表4所示。

3.3 實(shí)驗(yàn)驗(yàn)證及分析

為驗(yàn)證所提方法的優(yōu)越性，與文獻(xiàn)[8]S變換+CNN方法、文獻(xiàn)[18]STFT變換+CNN方法、CNN和CWT+CNN診斷方法進(jìn)行了對(duì)比。

表5為對(duì)應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置情況，其中卷積層C包含卷積核個(gè)數(shù)和卷積核大小兩個(gè)參數(shù)，池化層P包含層數(shù)和池化大小兩個(gè)參數(shù)，全連接層F只有神經(jīng)元數(shù)目一個(gè)參數(shù)，所有輸入層I和輸出層O的參數(shù)設(shè)置一樣，輸入維度為34×34×1，輸出維度大小為故障類型個(gè)數(shù)。

圖8（a）顯示了在訓(xùn)練過程中智能體獲得獎(jiǎng)勵(lì)值的情況，可以看到隨著智能體不斷學(xué)習(xí)，決策能力逐漸提高，從而得到更多的獎(jiǎng)勵(lì)值，最后達(dá)到平穩(wěn)狀態(tài)。圖8（b）顯示了在訓(xùn)練過程中準(zhǔn)確率的變化，由于決策能力逐漸提高，準(zhǔn)確率逐漸提升，最終在20 Hz?0 V時(shí)最大達(dá)到99.76%，30 Hz?2 V時(shí)達(dá)到94.51%。

圖9顯示了工況為20 Hz?0 V時(shí)，訓(xùn)練過程中均方誤差值和Q函數(shù)平均值的變化情況。圖9（a）顯示了均方誤差代價(jià)函數(shù)的變換情況，隨著迭代次數(shù)的增加，誤差越來越小，最后趨于平緩。圖9（b）顯示了Q函數(shù)值的變化情況：（1）在初始階段，由于網(wǎng)絡(luò)參數(shù)還不穩(wěn)定，決策能力弱，Q函數(shù)值波動(dòng)較大。（2）在最后階段，Q函數(shù)曲線趨于平穩(wěn)，表明深度Q網(wǎng)絡(luò)具有收斂性，最終學(xué)習(xí)到最優(yōu)策略，決策出故障類別。

表6為不同方法下齒輪箱的故障的識(shí)別結(jié)果。根據(jù)該表可看出：1）通過時(shí)頻分析方法預(yù)處理原始數(shù)據(jù)后的準(zhǔn)確率遠(yuǎn)高于直接利用CNN對(duì)原始數(shù)據(jù)進(jìn)行學(xué)習(xí)的準(zhǔn)確率;2）因ST， STFT對(duì)振動(dòng)信號(hào)的時(shí)頻特征展現(xiàn)不佳，使ST+CNN， STFT+CNN的準(zhǔn)確率均低于CWT+CNN;3）CWT+CNN的準(zhǔn)確率低于所提方法，但只是略低（平均準(zhǔn)確率低2.21%），說明充分發(fā)揮CNN的特征學(xué)習(xí)能力可以獲得較好的準(zhǔn)確率。同時(shí)，也證明所提方法融合了深度學(xué)習(xí)特征學(xué)習(xí)能力與決策能力，可取得更好的結(jié)果，但優(yōu)勢(shì)并不突出。故后文分析不同樣本量時(shí)各方法的表現(xiàn)，以進(jìn)一步證明所提方法的優(yōu)勢(shì)。

為驗(yàn)證在不同樣本量下所提方法的優(yōu)勢(shì)，將兩種工況的每類故障樣本量設(shè)為如表7所示，每種工況按比例7∶3，5∶5得到訓(xùn)練集、測(cè)試集，混合兩種工況的訓(xùn)練集進(jìn)行訓(xùn)練。診斷準(zhǔn)確率與樣本量的關(guān)系曲線如圖10所示，根據(jù)該圖，在樣本量較少時(shí)，所提方法準(zhǔn)確率明顯高于其他方法，且不同樣本量下準(zhǔn)確率的波動(dòng)小，驗(yàn)證了在混合兩種不同工況樣本下進(jìn)行訓(xùn)練診斷時(shí)，結(jié)合特征提取能力和決策能力的深度Q網(wǎng)絡(luò)具有更好的診斷優(yōu)勢(shì)。也說明，訓(xùn)練樣本量不足會(huì)限制以CNN為代表的深度神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力，導(dǎo)致結(jié)果不佳。

3.4 齒輪和軸承綜合診斷實(shí)驗(yàn)驗(yàn)證

為了進(jìn)一步驗(yàn)證所提方法的優(yōu)越性，將齒輪箱中的齒輪故障與軸承故障綜合進(jìn)行實(shí)驗(yàn)驗(yàn)證。即故障類型包括：斷齒、缺齒、齒根裂紋、齒面磨、滾動(dòng)體、內(nèi)圈、外圈、復(fù)合故障（內(nèi)外圈均有）以及正常共計(jì)9類。使用所提方法進(jìn)行診斷實(shí)驗(yàn)。同時(shí)CNN，ST+CNN，STFT+CNN，CWT+CNN模型均與上一節(jié)相同，實(shí)驗(yàn)結(jié)果如表8所示，圖11為不同樣本量下的實(shí)驗(yàn)結(jié)果。

觀察表8和圖11，在包含齒輪和軸承故障類型時(shí)，所提方法與前文的表現(xiàn)類似。在樣本量充分時(shí)，所提方法表現(xiàn)最好，但優(yōu)勢(shì)不突出。而在樣本量不足時(shí)，僅僅依靠深度學(xué)習(xí)的特征感知能力并不能得到滿意的結(jié)果，而融合了深度學(xué)習(xí)的特征感知與強(qiáng)化學(xué)習(xí)的決策能力的所提方法可以獲得滿意結(jié)果，進(jìn)一步證明了所提方法的優(yōu)勢(shì)。

從圖10和11可以看到CNN，ST+CNN，STFT+CNN隨著樣本序號(hào)的增加準(zhǔn)確率出現(xiàn)降低的情況，這是因?yàn)橛?xùn)練樣本包含了兩種工況，且兩種工況的樣本量配置不平衡，隨著樣本量的增加，由于不同的診斷模型具有不同的性能，因此有可能存在隨著樣本量的增加識(shí)別精度下降的情況。

在訓(xùn)練過程中，由于深度Q學(xué)習(xí)與CWT+CNN中卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)一樣，所以兩者的網(wǎng)絡(luò)模型的復(fù)雜度一樣。但由于深度Q學(xué)習(xí)包含了兩個(gè)網(wǎng)絡(luò)模型（深度Q網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)），訓(xùn)練時(shí)耗時(shí)會(huì)增加。表9為兩種方法的時(shí)間對(duì)比，可發(fā)現(xiàn)所提方法的訓(xùn)練時(shí)間明顯大于CWT+CNN，但是實(shí)際診斷過程中是使用訓(xùn)練好的模型進(jìn)行診斷，所需的診斷時(shí)間非常少（不超過1 s）。其中電腦配置如下：操作系統(tǒng)WIN10;處理器為inter（R） Core（TM） i5?4210M CPU@2.6 GHz;內(nèi)存容量8 GB;顯卡為NVIDIA GeForce GTX850M。

4 結(jié) 論

本文針對(duì)故障診斷中深度神經(jīng)網(wǎng)絡(luò)感知能力強(qiáng)、決策能力弱的問題，提出了基于深度Q學(xué)習(xí)和連續(xù)小波變換的旋轉(zhuǎn)機(jī)械故障診斷方法。利用連續(xù)小波變換挖掘信號(hào)的二維時(shí)間尺度特征信息，將時(shí)間尺度矩陣作為智能體的當(dāng)前狀態(tài)，輸入到深度Q網(wǎng)絡(luò)中提取狀態(tài)特征;同時(shí)通過Q?learning算法進(jìn)行策略學(xué)習(xí)，然后環(huán)境對(duì)智能體做出的動(dòng)作進(jìn)行評(píng)價(jià)。通過智能體與環(huán)境之間不停的交互“試錯(cuò)”，更新策略以提升決策能力，最終得到最優(yōu)策略實(shí)現(xiàn)故障診斷。這種方法融合了深度學(xué)習(xí)的特征學(xué)習(xí)能力與強(qiáng)化學(xué)習(xí)的決策能力，在樣本量有限時(shí)優(yōu)勢(shì)突出，進(jìn)一步發(fā)展了基于深度學(xué)習(xí)的故障診斷理論與方法。

參考文獻(xiàn)：

[1] 雷亞國(guó)，賈 峰，孔德同， 等.大數(shù)據(jù)下機(jī)械智能故障診斷的機(jī)遇與挑戰(zhàn)[J]. 機(jī)械工程學(xué)報(bào)， 2018， 54（5）： 94-104.

LEI Yaguo， JIA Feng， KONG Detong， et al. Opportunities and challenges of machinery intelligent fault diagnosis in big data era[J]. Journal of Mechanical Engineering， 2018， 54（5）： 94-104.

[2] Lei Y， Jia F， Lin J， et al. An intelligent fault diagnosis method using unsupervised feature learning towards mechanical big data[J]. IEEE Transactions on Industrial Electronics， 2016， 63（5）： 3137-3147.

[3] Zhao Rui， Yan Ruqiang， Chen Zhenghua， et al. Deep learning and its applications to machine health monitoring[J]. Mechanical Systems and Signal Processing， 2019， 115： 213-237.

[4] 胡蔦慶， 陳徽鵬， 程 哲， 等. 基于經(jīng)驗(yàn)?zāi)B(tài)分解和深度卷積神經(jīng)網(wǎng)絡(luò)的齒輪箱故障診斷方法[J]. 機(jī)械工程學(xué)報(bào)， 2019， 55（7）： 9-18.

HU Niaoqing， CHEN Huipeng， CHENG Zhe， et al. Fault diagnosis for gearbox based on emd and deep convolutional neural networks[J].Journal of Mechanical Engineering， 2019， 55（7）： 9-18.

[5] 李巍華， 單外平， 曾雪瓊. 基于深度信念網(wǎng)絡(luò)的軸承故障分類識(shí)別[J]. 振動(dòng)工程學(xué)報(bào)， 2016， 29（2）： 340-347.

LI Weihua， SHAN Waiping， ZENG Xueqiong. Bearing fault classification and recognition based on deep belief network[J]. Journal of Vibration Engineering， 2016， 29（2）： 340-347.

[6] Cao L， Zhang J， Wang J Y， et al. Intelligent fault diagnosis of wind turbine gearbox based on long short-term memory networks[C]. 2019 IEEE 28th International Symposium on Industrial Electronics （ISIE）. IEEE， 2019： 890-895.

[7] Chen R， Huang X， Yang L， et al. Intelligent fault diagnosis method of gearboxes based on convolution neural network and discrete wavelet transform[J]. Computers in Industry， 2019， 106： 48-59.

[8] Zeng X， Liao Y， Li W. Gearbox fault classification using S-transform and convolutional neural network[C]. International Conference on Sensing Technology. IEEE， 2016.

[9] Lake B M， Salakhutdinov R， Tenenbaum J B. Human-level concept learning through probabilistic program induction[J]. Science， 2015， 350（6266）： 1332-1338.

[10] Mnih V， Kavukcuoglu K， Silver D， et al. Playing atari with deep reinforcement learning[J]. 2013， arXiv：1312.5602.

[11] Mnih V， Kavukcuoglu K， Silver D， et al. Human-level control through deep reinforcement learning[J]. Nature， 2015， 518（7540）： 529.

[12] 劉 全， 翟建偉， 章宗長(zhǎng)， 等. 深度強(qiáng)化學(xué)習(xí)綜述[J]. 計(jì)算機(jī)學(xué)報(bào)， 2018， 41（1）： 1-27.

LIU Quan， ZHAI Jianwei， ZHANG Zong-zhang， et al. A survey on deep reinforcement learning[J]. Chinese Journal of Computers， 2018， 41（1）： 1-27.

[13] 林 京， 屈梁生. 基于連續(xù)小波變換的信號(hào)檢測(cè)技術(shù)與故障診斷[J]. 機(jī)械工程學(xué)報(bào)， 2000， 36（12）： 95-100.

LIN Jing， QU Liangsheng. Feature detection and fault diagnosis based on continuous wavelet transform[J]. Journal of Mechanical Engineering， 2000， 36（12）： 95-100.

[14] Singh S， Jaakkola T， Littman M L， et al. Convergence results for single-step on-policy reinforcement-learning algorithms[J]. Machine Learning， 2000， 38（3）： 287-308.

[15] Watkins C J C H. Learning from delayed rewards[D]. Cambridge： University of Cambridge， 1989.

[16] Shao Siyu. Mechanical-datasetst[DS]. https：//github.com/cathysiyu/Mechanical-datasets， 2018.1.17.

[17] Shao Siyu， McAleer S， Yan Ruqiang， et al. Highly-accurate machine fault diagnosis using deep transfer learning[J]. IEEE Transactions on Industrial Informatics， 2019， 15（4）： 2446-2455.

[18] 李 恒， 張 氫， 秦仙蓉， 等. 基于短時(shí)傅里葉變換和卷積神經(jīng)網(wǎng)絡(luò)的軸承故障診斷方法[J]. 振動(dòng)與沖擊， 2018， 37（19）： 132-139.

LI Heng， ZHANG Qing， QIN Xianrong， et al. Fault diagnosis method for rolling bearings based on short-time Fourier transform and convolution neural network[J]. Journal of Vibration and Shock， 2018， 37（19）： 132-139.

作者簡(jiǎn)介： 陳仁祥（1983-），男，博士，教授，碩士生導(dǎo)師。電話： （023）62539903; E-mail： manlou.yue@126.com

通訊作者： 胡小林（1984-），男，碩士，講師。電話：13594019266;E-mail：huxl0918@163.com