摘要:針對傳統(tǒng)模型為提高管道泄漏檢測的精度而導致的模型結構復雜度、參數(shù)量和計算量大的問題,提出一種基于動態(tài)深度可分離卷積神經(jīng)網(wǎng)絡的管道泄漏孔徑識別方法;動態(tài)卷積層將提取到的泄漏信號特征經(jīng)過通道注意力權值計算和動態(tài)權值融合,通過動態(tài)深度可分離卷積層獲得更強的特征表達能力,利用全局平均池化層降低網(wǎng)絡模型參數(shù),通過全連接層識別管道泄漏孔徑。結果表明:新方法具有較高的識別精度,克服了傳統(tǒng)模型資源開銷大、功耗高的問題,降低了模型的訓練時間,提升了管道泄漏孔徑的識別速度,可用于工業(yè)中的管道泄漏程度監(jiān)測。
關鍵詞:泄漏孔徑識別; 動態(tài)深度可分離卷積; 輕量化網(wǎng)絡; 動態(tài)卷積
中圖分類號:TP 277"" 文獻標志碼:A
引用格式:王秀芳,劉源,李月明.基于動態(tài)深度可分離卷積神經(jīng)網(wǎng)絡的管道泄漏孔徑識別[J].中國石油大學學報(自然科學版),2024,48(5):183-189.
WANG Xiufang, LIU Yuan, LI Yueming. Identification of pipe leak apertures based on dynamic depth-separable convolutional neural networks[J]. Journal of China University of Petroleum (Edition of Natural Science),2024,48(5):183-189.
Identification of pipe leak apertures based on dynamic
depth-separable convolutional neural networks
WANG Xiufang, LIU Yuan, LI Yueming
(College of Electrical Information Engineering, Northeast Petroleum University, Daqing 163318, China)
Abstract: Aiming at the complexity of the model structure, the number of parameters and the large amount of computation caused by the traditional model to improve the accuracy of pipeline leakage detection, a pipeline leakage aperture recognition method based on the dynamic depth-separable convolutional neural network was proposed. The dynamic convolutional layer takes the extracted leakage signal features through the calculation of channel-attention weights and the dynamic weights fusion, and then obtains a stronger feature through the dynamic depth-separable convolutional layer. The dynamic convolutional layer reduces the parameters of the network model by using the global average pooling layer, and the pipeline leakage aperture was identified by the fully connected layer. The results show that the new method has a high recognition accuracy, overcomes the problems of a large resource overhead and a high power consumption of the traditional model, reduces the training time of the model, improves the recognition speed of pipeline leakage aperture, and can be used to monitor the degree of pipeline leakage in industries.
Keywords: identification of leakage aperture; dynamic depth-separable convolution; lightweight networks; dynamic convolution
供氣可靠性關系到天然氣管道運輸安全[1],管道泄漏是管道運輸中常見的安全問題。泄漏強度或許比泄漏位置更為重要[2],而泄漏孔徑直接影響泄漏強度。傳統(tǒng)的管道孔徑識別常采用人工提取特征[3]與分類器結合進行分類,通過經(jīng)驗模態(tài)分解[4]、小波變換[5]等方法來提取泄漏信號的特征,然后利用稀疏表示、BP神經(jīng)網(wǎng)絡、支持向量機等進行泄漏孔徑的分類。如Zhou等[6]提出一種集成一維卷積神經(jīng)網(wǎng)絡進行基礎學習,對學習后的結果進行集成優(yōu)化來實現(xiàn)管道泄漏檢測與定位。Lee等[7]針對管道泄漏檢測問題分析了SVM和CNN兩種算法性能,證明了CNN分類模型的有效性。但這類方法需要構建復雜的模型才能提高準確率。
輕量化網(wǎng)絡可以在一定程度上解決上述問題,主流的結構有兩種:基于模型壓縮技術和基于輕量化網(wǎng)絡。前者通過知識蒸餾[8]、通道剪枝[9]、模型量化[10]、低秩分解[11]等技術壓縮模型結構,但難以權衡精度和效率。輕量化網(wǎng)絡如SqueezeNet[12]、MobileNetV3[13]、ShuffleNetV2[14]等減少了模型參數(shù)量和計算量,可以在一定程度上解決上述問題。為了減少管道泄漏檢測對計算資源和有限內存的需求,筆者提出一種基于動態(tài)深度可分離卷積神經(jīng)網(wǎng)絡的管道泄漏孔徑識別方法。
1 基礎理論
本文中提出的基于動態(tài)深度可分離卷積神經(jīng)網(wǎng)絡的管道泄漏孔徑識別網(wǎng)絡模型(dynamic depth-separable convolutional neural networks,DDS-CNN)如圖1所示。主要包括動態(tài)卷積層、動態(tài)深度可分離卷積層、全局平均池化層(GAP)和全連接層。泄漏信號首先通過動態(tài)卷積層將提取到的特征經(jīng)過通道注意力權值計算和動態(tài)權值融合,然后通過動態(tài)深度可分離卷積層獲得更強的特征表達能力,利用全局平均池化層降低網(wǎng)絡模型參數(shù),通過全連接層實現(xiàn)管道泄漏孔徑的準確識別。
1.1 動態(tài)深度可分離卷積層構造
隨著CNN的不斷應用和發(fā)展,許多神經(jīng)網(wǎng)絡模型結構變得更加復雜,將CNN應用于實際工業(yè)中變得更加困難。深度可分離卷積(depth-separable convolution, DepthSepConv)通過將標準卷積分解為深度卷積和逐點卷積的操作,大大降低了模型的計算量,然而僅僅使用深度可分離卷積層構建模型無法充分利用通道間的相關性,會限制其特征提取能力,影響模型的性能。動態(tài)卷積(dynamic convolution)[15]可以更好地權衡網(wǎng)絡性能和計算負載,具有更強的特征表達能力,在不增加網(wǎng)絡的深度和寬度的情況下,通過注意力聚合多個卷積核提高模型的能力。因此將深度可分離卷積層與動態(tài)卷積結合,構造一種新的動態(tài)深度可分離卷積模塊,結構如圖2所示。
動態(tài)深度可分離卷積模塊分為動態(tài)深度卷積層和動態(tài)逐點卷積層,通過引入卷積核注意力機制,可以提取不同輸入的注意力權值πk(x),由于πk(x)是非線性的,因此提升了動態(tài)深度可分離卷積的特征表達能力。
1.2 動態(tài)深度可分離卷積層性能
深度可分離卷積雖然降低了模型的參數(shù)量和占用內存,但是限制了網(wǎng)絡的深度和寬度,導致其表達能力有限。動態(tài)卷積可以在不增加網(wǎng)絡深度和寬度的情況下提升模型的復雜性,使模型具有更強的表達能力。采用深度可分離卷積與動態(tài)卷積結合可以在保證模型更輕量化、更高效的同時具有更好的性能。
假設輸入的特征圖尺寸為DF1×DF2×M,卷積核尺寸為DK1×DK2×M,輸出的特征圖尺寸為DF1×DF2×N,則深度可分離卷積的計算量W1為
W1=2DK1DK2NDF1DF2+2MNDF1DF2. (1)
式中,DF1和DF2分別為特征圖的寬度和高度;DK1和DK2分別為卷積核的寬度和高度;M為輸入通道數(shù);N為輸出通道數(shù)。
深度可分離的計算量和標準卷積的計算量之比x為
x=2DK1DK2NDF1DF2+2MNDF1DF22MDK1DK2NDF1DF2=1N+1DK1DK2 . (2)
由式(2)可知,深度可分離卷積的運算量為標準卷積運算量的1/N+1/(DK1DK2)。深度可分離卷積層造成參數(shù)減少的同時會導致性能下降,動態(tài)卷積通過設置K個尺度和通道數(shù)相同的卷積核,通過注意力提取到的權重πK進行融合,得到該層的卷積核參數(shù),因此動態(tài)可分離卷積會帶來注意力權值計算和動態(tài)權值融合兩部分額外的計算。
計算注意力權重額外增加的計算量W2為
W2=DF1DF2M+M24+KM2 .(3)
在卷積核融合時額外增加的計算量W3為
W3=KMNDK1DK2+KN.(4)
式中,K為需要融合的卷積核個數(shù)。
雖然動態(tài)卷積層造成了兩部分的額外開銷,但是都遠遠小于靜態(tài)卷積的計算量DF1DF2MN×DK1DK2,因此滿足KDF1DF2時這部分造成的開銷是非常小的。動態(tài)卷積的引入可以在提升模型性能的同時,有效地降低了浮點數(shù)(FLOPs)。
1.3 交替的大小尺寸卷積核
卷積核的尺寸通常會影響網(wǎng)絡的最終性能。小卷積核可以增加網(wǎng)絡非線性,減少模型參數(shù)量,而大卷積核可以使網(wǎng)絡具有更大的感受野,獲得的全局特征更好。Tan等[16]將不同尺寸的卷積核混合在同一層中,但是這會降低模型的識別速度,因此選擇在單層中使用同一尺寸的卷積核,并在確保低延遲、高精度的情況下使用大卷積核。
1.4 基于神經(jīng)架構搜索的模型優(yōu)化
硬件感知的神經(jīng)架構搜索方法(NAS)[17]通過將硬件延遲納入架構搜索過程,使硬件延遲可區(qū)分,有利于搜索出低延遲、識別速度更快的模型結構,進而提高模型的實時性。通過引入NAS技術對網(wǎng)絡結構中每一層的卷積核個數(shù)進行優(yōu)化,在盡量保證模型精度的同時,減少網(wǎng)絡中各層通道數(shù)。
2 試驗設置
2.1 試驗裝置
為驗證所提方法的有效性,所搭建的管道泄漏試驗裝置如圖3所示。
管道試驗系統(tǒng)由氣路控制、聲波傳感器、空氣壓縮機、氣罐、管線、泄漏閥、監(jiān)控臺組成。整個管道長160 m、壁厚4 mm,外徑50 mm,材質為304不銹鋼,管線之間進行隔振處理,管線與地面之間進行了隔振處理。
分別采集3個不同泄漏點的泄漏孔徑為1、2和3 mm的泄漏信號。壓電傳感器被安裝在距離進儲氣罐60 m的管道泄漏閥處。泄漏點1、2、3分別位于距傳感器40、20和80 m的位置,如圖4(泄漏球閥每10 m一個)所示。在該管道中馬赫數(shù)為0.04,雷諾數(shù)為1.32×105;在實際天然氣管道中,根據(jù)設計標準[18],馬赫數(shù)應始終小于0.1,雷諾數(shù)約為105。兩者的馬赫數(shù)和雷諾數(shù)在相同湍流狀態(tài)的范圍內。因此該試驗系統(tǒng)可以近似為實際天然氣管道??諝鈮嚎s機和儲氣罐最高允許的壓力為0.8 MPa,符合國家天然氣次高壓管道輸氣壓力標準范圍(0.4~0.6 MPa),泄漏信號的采樣率為2 kHz,構建不同條件下的數(shù)據(jù)集。
2.2試驗方案
2.2.1 網(wǎng)絡參數(shù)設置
按照本文中提出的方法構建網(wǎng)絡模型,其中DDS-CNN的網(wǎng)絡模型參數(shù)如表1所示。
通常更深的模型意味著更好的非線性表達能力,可以學習更復雜的變換,從而可以擬合更加復雜的特征輸入,但是模型加深會導致模型的參數(shù)量和計算量增加以及淺層的學習能力下降進而增大模型訓練的難度。由于本文中構建模型選擇的輸入為一維管道泄漏信號,輸入維度較低,為降低訓練難度,本文中構建模型時選擇1個動態(tài)卷積層和3個動態(tài)深度可分離卷積層。
2.2.2 管道泄漏孔徑識別
在不同泄漏位置及不同壓強下采集大量的泄漏信號,泄漏信號是由于氣體泄漏產生的聲音經(jīng)壓電轉換器變成電流信號,經(jīng)過前置放大器轉換為0~10 V的電壓信號。圖5為壓強0.6 MPa下3種泄漏孔徑的原始信號。
為降低量級差異對模型訓練精度的影響,對每種孔徑類型的數(shù)據(jù)進行均值標準化處理。利用標準化之后的數(shù)據(jù)制作數(shù)據(jù)集,泄漏孔徑為1、2和3 mm,壓強分別為0.4、0.5和0.6 MPa。對于每種泄漏孔徑,樣本長度為3000,樣本數(shù)為1000,其中700個為訓練樣本,300個為測試樣本。
按本文的方法構建網(wǎng)絡模型并初始化學習率為0.01,訓練批次為64,迭代次數(shù)為100;之后將管道泄漏數(shù)據(jù)輸入網(wǎng)絡并訓練模型,訓練過程中通過Adam優(yōu)化器減小概率分布間的誤差;保存訓練后的模型和參數(shù),利用測試集計算孔徑識別精度并對模型進行評價。
3 試驗結果
3.1 不同條件下的識別結果
最優(yōu)網(wǎng)絡的某次訓練過程曲線如圖6所示。
由圖6可以看出,本文方法識別效果較好,具有較好的穩(wěn)定性;本文方法收斂較快,隨著迭代次數(shù)增加,損失函數(shù)不斷減小。
由于實際應用工業(yè)中的硬件資源有限,通過神經(jīng)架構搜索的方法對提出的模型進行搜索優(yōu)化,搜索構建了DDS-CNN-0.25x、DDS-CNN-0.5x和DDS-CNN-0.75x三種適用于硬件平臺的模型結構,3種模型對應不同比例通道數(shù)下的網(wǎng)絡結構,如0.75x表示該網(wǎng)絡結構的通道數(shù)是原始網(wǎng)絡結構中通道數(shù)的75%。對3種模型的性能進行了對比分析,統(tǒng)計結果如圖7所示。
由圖7可以看出,3種不同模型中,DDS-CNN-0.25x相比于另兩種模型的計算量和參數(shù)量最少,識別速度最快,但是平均識別準確率相對較低,僅為96.88%;DDS-CNN-0.75x的識別準確率最高,且多次識別的誤差較小,而所帶來的模型浮點數(shù)和參數(shù)量的增長較少。
為驗證所提方法對管道泄漏檢測的有效性,同時考慮隨機因素的影響,每種條件下進行了10次試驗,試驗過程中將泄漏孔徑進行隨機打亂,計算不同泄漏孔徑在不同泄漏點(泄漏位置)及不同壓強下的平均識別準確率和標準差,統(tǒng)計結果如圖8所示。
由圖8可以看出,本文方法在3個泄漏點的不同壓強下的平均識別準確率分別為99.13%、98.84%、98.80%;其中在泄漏點1壓強為0.6 MPa時,獲得最高識別準確率99.55%。本文方法在3種泄漏位置和不同壓強下的平均識別準確率均超過98%,整體實現(xiàn)了較好的識別效果。本文方法在不同條件下的自適應能力較強,模型具有良好的泛化能力,為不同泄漏位置和不同壓強下準確識別泄漏孔徑提供了合理性。
3.2 網(wǎng)絡主要參數(shù)影響
構建的孔徑識別模型中動態(tài)深度可分離卷積結構及大尺度卷積核的位置對識別準確率有較大的影響,合適的卷積結構不僅能確保識別準確率,還能夠有效減少模型的參數(shù)量和訓練時間。
3.2.1 不同卷積結構影響
對幾種常見的卷積結構進行了對比分析,網(wǎng)絡模型結構包括:①標準卷積機構+交替的大尺寸卷積核;②深度可分離卷積結構+交替的大尺寸卷積核;③動態(tài)卷積結構+交替的大尺寸卷積核;④本文方法(動態(tài)深度可分離卷積核+交替的大尺寸卷積核)。對比數(shù)據(jù)為傳感器采集的某泄漏點壓強0.6 MPa的泄漏數(shù)據(jù),共進行了15次試驗,試驗結果如表2所示。采用平均識別準確率、浮點數(shù)、參數(shù)量、訓練時間、識別時間作為評價指標。
由表2可知,本文提出的動態(tài)深度可分離卷積結構的參數(shù)量是標準卷積結構的0.4%,模型浮點數(shù)則是標準卷積結構的1/50,訓練時間相比標準卷積結構減少了2/3,識別時間降低為標準卷積的43%;此外,相比于單獨的深度可分離卷積和動態(tài)卷積結構,本文方法的參數(shù)量、浮點數(shù)、訓練時間、識別時間也大大降低,具有更高的識別準確率,穩(wěn)定性較高。
3.2.2 大尺寸卷積核在不同位置的影響
為驗證大卷積核的不同位置對模型性能的影響,對比試驗如表3所示,其中1表示卷積核的尺寸為5×5,0表示卷積核的尺寸為3×3。
由表3中可以看出,大尺寸卷積核在網(wǎng)絡結構的合適位置可以幫助提升模型的性能。在應用大尺寸卷積核網(wǎng)絡結構中,本文提出的交替的大尺寸卷積核的識別準確率最高,且多次識別的準確率波動較小。
3.3 模型性能綜合對比
選擇近年來出現(xiàn)的幾個典型的分類模型與DDS-CNN-0.75x模型進行對比。包括1DCNN[18]、L-Resnet[19]、改進稠密塊輕量化神經(jīng)網(wǎng)絡[20],SqueezeNet[12]、MobilenetV3[13]、ShufflenetV2[13]等模型,這些模型中SqueezeNet、MobilenetV3、ShufflenetV2是基于圖像的輕量化網(wǎng)絡,為適應輸入的一維信號,將這3種輕量化網(wǎng)絡的二維卷積更改為一維卷積進行構建,為保證試驗的公平性,3類數(shù)據(jù)集每組重復10次。在模型訓練過程中所有網(wǎng)絡的輸入信號長度統(tǒng)一為3 000。
表4為不同模型的對比結果。首先,就浮點數(shù)而言,DDS-CNN-0.75x模型比改進稠密塊輕量化神經(jīng)網(wǎng)絡和1DCNN至少少了一個數(shù)量級,參數(shù)量則比L-Resnet少了83%;其次,SqueezeNet、ShufflenetV2、MobilenetV3的浮點數(shù)分別是DDS-CNN-0.75x的85、53和29倍,DDS-CNN-0.75x的參數(shù)量僅為SqueezeNet的2.4%、ShufflenetV2的3.4%和MobilenetV3的3.7%;雖然L-Resnet比本文方法具有較低的浮點數(shù)和訓練時間,但本文方法具有更高識別準確率和更少的識別時間,因此更適用于管道泄漏的實際應用。
4 結束語
提出了一種基于動態(tài)深度可分離卷積神經(jīng)網(wǎng)絡的方法,用于管道泄露孔徑識別。該方法解決了深度神經(jīng)網(wǎng)絡在管道泄漏孔徑識別中存在的模型參數(shù)量大、訓練時間和識別時間長等問題。在構建網(wǎng)絡模型過程中泄漏信號首先經(jīng)過動態(tài)卷積層提取淺層特征,然后利用堆疊動態(tài)深度可分離卷積來提取重要特征并減少參數(shù)量和浮點數(shù),采用大小尺度卷積核交替獲取多尺度特征,最終利用Softmax完成對不同孔徑的分類。分別從不同卷積結構和不同位置下的大尺寸卷積核的影響對模型進行分析比對?;诜治鼋Y果建立識別模型,有效地權衡了模型識別精度、參數(shù)量、浮點數(shù)、訓練時間和識別時間,使模型性能均優(yōu)于經(jīng)典網(wǎng)絡模型和輕量化模型,為深度神經(jīng)網(wǎng)絡在管道泄漏孔徑識別的實際應用提供了一種解決方法。
參考文獻:
[1] 范霖,蘇懷,彭世亮,等.基于供氣可靠性的天然氣管道系統(tǒng)預防性維護方案智能優(yōu)化方法[J].中國石油大學學報(自然科學版),2023,47(1):134-140.
FAN Lin, SU Huai, PENG Shiliang, et al. Supply-reliability based method of intellectual optimization on preventive maintenance strategy for natural gas pipeline system[J]. Journal of China University of Petroleum( Edition of Natural Science),2023,47(1):134-140.
[2] 郭凌云,周晶.含外表面軸向裂紋管道評估模型預測精度統(tǒng)計推斷[J].中國石油大學學報(自然科學版),2021,45(2):141-148.
GUO Lingyun, ZHOU Jing. Statistical inference on prediction accuracy of evaluation models for a pipeline with axial surface cracks[J]. Journal of China University of Petroleum (Edition of Natural Science), 2021,45(2):141-148.
[3] 孟令雅,劉翠偉,劉超,等.基于特征量提取的輸氣管道微泄漏檢測[J].中國石油大學學報(自然科學版),2014,38(6):153-160.
MENG Lingya, LIU Cuiwei, LIU Chao, et al. Characteristics extraction of acoustic leakage signal for natural gas pipelines [J]. Journal of China University of Petroleum (Edition of Natural Science), 2014,38(6):153-160.
[4] SUN J, PENG Z, WEN J. Leakage aperture recognition based on ensemble local mean decomposition and sparse representation for classification of natural gas pipeline [J]. Measurement, 2017,108:91-100.
[5] 胡瑾秋,張來斌,梁偉,等.基于諧波小波分析的管道小泄漏診斷方法[J].中國石油大學學報(自然科學版),2009,33(4):118-124.
HU Jinqiu, ZHANG Laibin, LIANG Wei, et al. Small leakage detection of long distance pipeline based on harmonic wavelet analysis [J]. Journal of China University of Petroleum (Edition of Natural Science), 2009,33(4):118-124.
[6] ZHOU M, YANG Y, XU Y, et al. A pipeline leak detection and localization approach based on ensemble TL1DCNN[J]. IEEE Access, 2021,9:47565-47578.
[7] LEE J H. Diagnosis of valve internal leakage for ship piping system using acoustic emission signal-based machine learningapproach[J]. Journal of the Korean Society of Marine Environment amp; Safety, 2022,28(1):184-192.
[8] KIM Y, RUSH A M. Sequence-level knowledge distillation[J]. arXiv preprint arXiv,2016:1606.07947.
[9] HE Y, ZHANG X, SUN J. Channel pruning for accelerating very deep neural networks: Proceedings of the IEEE International Conference on Computer Vision[C]. Venice Italy:Piscataway," 2017:1389-1397.
[10] SCHIEBER T A, CARPI L, DAZ-GUILERA A, et al. Quantification of network structuraldissimilarities[J]. Nature Communications, 2017,8(1):1-10.
[11] PENG Y, GANESH A, WRIGHT J, et al. RASL: robust alignment by sparse and low-rank decomposition for linearly correlatedimages[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012,34(11):2233-2246.
[12] FORREST N I, SONG H, MATTHEW W M, et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and lt;0.5 MB model size[J]. arXiv preprint arXiv,2016:1602.07360.
[13] HOWARD A, SANDLER M, CHU G, et al. Searching for MobilenetV3: Proceedings of the IEEE International Conference on Computer Vision[C]. Seoul Korea:Piscataway, 2019:1314-1324.
[14] ZHANG X, ZHOU X,LIN M, et al. Shufflenet: an extremely efficient convolutional neural network for mobile devices: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition[C]. Salt Lake City, UT:Piscataway, 2018:6848-6856.
[15] CHEN Y, DAI X,LIU M, et al. Dynamic convolution: attention over convolution kernels: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition[C]. Seattle, WA:Piscataway, 2020:11030-11039.
[16] TAN M, LE Q V. Mixconv: mixed depthwise convolutional kernels[J]. arXiv preprint arXiv, 2019:1907.09595.
[17] TAN M, CHEN B, PANGR, et al. Mnasnet: platform-aware neural architecture search for mobile// the IEEE Conference on Computer Vision and Pattern Recognition[C]. Long Beach,CA:Piscataway,2019:2820-2828.
[18] AN Y, MA X, WANG X, et al. Gas pipeline event classification based on one-dimensional convolutional neuralnetwork[J]. Structural Health Monitoring, 2022,21(3):826-834.
[19] WANG X, LIU Y, JIANG C, et al. Real-time identification of natural gas pipeline leakage apertures based on lightweight residual convolutional neural network[J]. IEEE Sensors Journal, 2022,22(24):24112-24120.
[20] 孫潔娣,王利軒,溫江濤,等.改進稠密塊輕量化神經(jīng)網(wǎng)絡的管道泄漏孔徑識別[J].儀器儀表學報,2022,43(3):98-108.
SUN Jiedi, WANG Lixuan, WEN Jiangtao, et al. Improved dense block lightweight neural network for pipeline leakage aperture identification[J].Chinese Journal of Scientific Instrument,2022,43(3):98-108.
(編輯 沈玉英)