李興,朱蘇青,劉松林
(中國(guó)石化股份有限公司 江蘇油田分公司,江蘇 揚(yáng)州 225009)
隨著油田生產(chǎn)信息化深入發(fā)展,生產(chǎn)現(xiàn)場(chǎng)管理在逐步向自動(dòng)化、無(wú)人化的方式轉(zhuǎn)變,油水井生產(chǎn)參數(shù)監(jiān)測(cè)、視頻巡回檢查等手段得到了充分利用,并在生產(chǎn)現(xiàn)場(chǎng)管理中發(fā)揮越來(lái)越重要的作用。當(dāng)前油田生產(chǎn)信息化系統(tǒng)對(duì)于現(xiàn)場(chǎng)抽油機(jī)設(shè)備的監(jiān)控存在以下問(wèn)題: 設(shè)備監(jiān)控手段較少,僅有視頻或電參儀設(shè)備;抽油機(jī)故障初期產(chǎn)生的聲音異常,很難在中心控制室視頻巡查中發(fā)現(xiàn)和辨別,當(dāng)通過(guò)視頻發(fā)現(xiàn)異常時(shí),故障已嚴(yán)重化、事故化。在油井日常管理中發(fā)現(xiàn)抽油機(jī)出現(xiàn)故障前都會(huì)產(chǎn)生一些典型的預(yù)警聲音,如皮帶打滑時(shí)的嘯叫聲,平衡塊固定螺絲松動(dòng)產(chǎn)生的撞擊聲,若超負(fù)荷運(yùn)行時(shí),電動(dòng)機(jī)振動(dòng)導(dǎo)致抽油機(jī)振動(dòng),游梁與橫梁連接部位脫落,或其他部件發(fā)生變形、損壞,平衡塊松動(dòng),造成的各種異常響聲等[1]。如果在故障初期及時(shí)發(fā)現(xiàn)和識(shí)別,可以防范小故障演化成大故障、更能避免機(jī)械事故的發(fā)生。
隨著人工智能、信號(hào)處理、智能信息處理等新技術(shù)的出現(xiàn),開展抽油機(jī)故障音頻診斷及預(yù)警技術(shù)研究與應(yīng)用,利用物聯(lián)網(wǎng)、機(jī)器學(xué)習(xí)、大數(shù)據(jù)分析等技術(shù),推動(dòng)油田的安全生產(chǎn)具有十分重要意義。
在抽油機(jī)合適位置安裝音頻智能采集器,對(duì)抽油機(jī)音頻進(jìn)行智能分析研究,傳統(tǒng)的識(shí)別方法[2-3]普遍存在實(shí)現(xiàn)困難和識(shí)別精度不高難以達(dá)到工業(yè)現(xiàn)場(chǎng)要求的缺點(diǎn)。隨著近些年深度學(xué)習(xí)的發(fā)展,深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別處理中表現(xiàn)出了越來(lái)越高的準(zhǔn)確度。本文將音頻數(shù)據(jù)轉(zhuǎn)換為特征圖像(語(yǔ)譜圖),利用深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像分類識(shí)別,從音頻信號(hào)中提取梅爾頻率倒譜系數(shù)(MFCC),將音頻信號(hào)轉(zhuǎn)換為語(yǔ)譜圖,通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征,應(yīng)用遷移學(xué)習(xí)和知識(shí)蒸餾等多種學(xué)習(xí)方法,結(jié)合深度殘差網(wǎng)絡(luò)進(jìn)行抽油機(jī)音頻故障分類。
通過(guò)研究音頻智能采集器在不同安裝位置所獲取的音頻數(shù)據(jù),排除來(lái)自其他方向的干擾音頻信號(hào),選擇監(jiān)測(cè)能表征抽油機(jī)工作狀態(tài)的聲音信號(hào)。
聲源定位系統(tǒng)主要包括: 麥克風(fēng)陣列、多通道聲波信號(hào)同步采集儀(聲相儀)和聲波信號(hào)分析平臺(tái)。麥克風(fēng)陣列分為規(guī)則幾何形狀和非常規(guī)陣列,通過(guò)麥克風(fēng)陣列可以計(jì)算聲源的角度和距離,從而實(shí)現(xiàn)對(duì)聲源的跟蹤以及后續(xù)的聲音定向拾取。聲相儀使用高性能動(dòng)態(tài)數(shù)據(jù)采集卡,可完成多通道大量數(shù)據(jù)的精確采集。聲波信號(hào)分析平臺(tái)處理聲波信號(hào)形成聲圖像,直觀顯示聲波定位信息。
某油田項(xiàng)目前期做了大量實(shí)驗(yàn),在抽油機(jī)多個(gè)部位安裝抽油機(jī)音頻智能采集器,但資金投入大,逐步簡(jiǎn)化為帶有雙路麥克風(fēng)的抽油機(jī)音頻智能采集器,具有很好的應(yīng)用效果。
抽油機(jī)音頻采集技術(shù)所使用的前端硬件主要是音頻智能采集器,由電源模塊、拾音模塊和采音模塊組成,拾音模塊接收外部的聲音,降噪處理后傳輸至采音模塊,采用海思Hi3518E芯片作為該采集器的微控制單元(MCU),配置時(shí)鐘電路、存儲(chǔ)器、音頻接口、RJ-45接口、JTAG接口和RS-485接口,具有Micro SD卡擴(kuò)展功能,音頻智能采集器通過(guò)采音模塊的RJ-45接口連接油田內(nèi)網(wǎng),將處理后的音頻數(shù)據(jù)傳輸至遠(yuǎn)程數(shù)據(jù)庫(kù)服務(wù)器。雙路麥克風(fēng)抽油機(jī)音頻智能采集器硬件架構(gòu)如圖1所示。
Hi3518E芯片具有回音消除和自動(dòng)增益功能,同時(shí)采用了低功耗工藝和內(nèi)部的低功耗架構(gòu)設(shè)計(jì)。
該采集器的拾音模塊的前置放大電路的主芯片采用TL971,具有較低噪聲和較高共模抑制比。對(duì)于較遠(yuǎn)距離傳來(lái)的音頻信號(hào)使用較大放大倍數(shù),對(duì)于近處音頻信號(hào)使用較小放大倍數(shù),以防止削峰失真。當(dāng)輸入信號(hào)較弱時(shí),呈線性放大趨勢(shì),增益較大;當(dāng)輸入信號(hào)強(qiáng)時(shí),增益隨著輸入信號(hào)的增強(qiáng)而減小。
拾音模塊的有源帶通濾波器采用兩個(gè)Sallen-Key 結(jié)構(gòu)的二階有源帶通濾波器串聯(lián)構(gòu)成,優(yōu)點(diǎn)是可以通過(guò)內(nèi)部增益來(lái)改變品質(zhì)因子,而不改變中心頻率,缺點(diǎn)是品質(zhì)因子和增益不能獨(dú)立調(diào)節(jié)。
利用Hi3518E芯片自帶的回音消除模塊(AEC)消除回音,無(wú)需外接回音消除芯片,可以更好地控制成本。自動(dòng)增益模塊(AGC)通過(guò)反饋控制直放站的增益來(lái)控制輸出電平,當(dāng)聲音輸入音量有大小變化時(shí),能將輸出音量控制在比較一致的范圍內(nèi)。
音頻識(shí)別算法的主要過(guò)程[4-5]包括: 音頻輸入、預(yù)處理、特征提取、模型匹配、輸出結(jié)果。預(yù)處理主要是分割音頻數(shù)據(jù),即打點(diǎn)切分音頻。音頻切分完成后,將切分得到的各音頻片段加以分類,使之后的音頻處理有據(jù)可循。
語(yǔ)譜圖和MFCC[6]是音頻識(shí)別中常用的特征類型。
3.1.1語(yǔ)譜圖
語(yǔ)譜圖[7]是一種頻率隨時(shí)間變化的三維圖譜,它通過(guò)二維平面圖來(lái)表達(dá)三維圖譜信息,其縱坐標(biāo)為頻率,橫坐標(biāo)為時(shí)間,時(shí)間和頻率所對(duì)應(yīng)的像素點(diǎn)的值可以反映出相應(yīng)時(shí)刻和頻率的能量。語(yǔ)譜圖也是一種可查看信號(hào)特性的二維平面圖,可以查看到聲源點(diǎn)的共振特性與聲音在自然界的特點(diǎn)。顏色深淺反映了語(yǔ)譜圖所表示聲紋幅度的大小,幅度越大顏色越深。
3.1.2梅爾頻率倒譜系數(shù)
MFCC基于人類聽覺特性的特征,主要應(yīng)用于語(yǔ)音識(shí)別等領(lǐng)域的音頻數(shù)據(jù)特征提取與運(yùn)算維度的降低。由于人耳感知的聲音高低與聲音的頻率成非線性關(guān)系,而與聲音頻率的對(duì)數(shù)成線性相關(guān),因此提出與赫茲頻率成非線性對(duì)應(yīng)關(guān)系的梅爾頻率。
3.1.3音頻處理
3.1.3.1 音頻處理流程
結(jié)合MFCC和語(yǔ)譜圖特征的音頻處理流程,如圖2所示。首先對(duì)音頻信號(hào)進(jìn)行預(yù)加重、分幀處理與加窗操作,然后將每一個(gè)短時(shí)分析窗經(jīng)過(guò)快速傅里葉變換(FFT)得出相應(yīng)的頻譜;將該頻譜經(jīng)過(guò)梅爾濾波器組得出梅爾頻譜,再做倒譜分析;對(duì)其取對(duì)數(shù),逆變換處理,一般采用 離散余弦變換(DCT)來(lái)實(shí)現(xiàn)[8-9]。
圖2 音頻處理流程示意
音頻處理流程[8-9]是在標(biāo)準(zhǔn)語(yǔ)譜圖的實(shí)現(xiàn)過(guò)程中,將能量密度譜處理環(huán)節(jié)用梅爾濾波器組、對(duì)數(shù)運(yùn)算和DCT變換代替。
3.1.3.2 音頻處理主要步驟
音頻處理的主要步驟如下:
1)音頻信號(hào)分幀。整體上看,抽油機(jī)音頻信號(hào)的特性及能表示其本質(zhì)特性的參數(shù)都是隨時(shí)間變化的,其過(guò)程在長(zhǎng)時(shí)間范圍內(nèi)是非平穩(wěn)態(tài)的,通常用來(lái)處理平穩(wěn)音頻信號(hào)的數(shù)字信號(hào)處理技術(shù)對(duì)其并不適用。然而,由于不同的抽油機(jī)音頻是由抽油機(jī)部件運(yùn)動(dòng)產(chǎn)生的,而部件運(yùn)動(dòng)相對(duì)于音頻來(lái)說(shuō)是非常緩慢的,所以在一個(gè)短時(shí)間范圍內(nèi)的抽油機(jī)音頻信號(hào)特性基本不變,也就是“短時(shí)”相對(duì)穩(wěn)定,因而可以將其看作是一個(gè)準(zhǔn)穩(wěn)態(tài)過(guò)程,即抽油機(jī)音頻信號(hào)具有“短時(shí)”平穩(wěn)性。在“短時(shí)”的基礎(chǔ)上,對(duì)抽油機(jī)的音頻信號(hào)進(jìn)行分幀分析和處理,如圖3所示。
圖3 信號(hào)分幀處理示意
傅里葉變換要求有平穩(wěn)的輸入信號(hào),它既要保證足夠短且平穩(wěn)的幀內(nèi)信號(hào),又要保證足夠多的信號(hào)周期,只有重復(fù)足夠多次才能分析頻率。
2)加窗處理。音頻信號(hào)分幀后對(duì)每一幀加一個(gè)“窗函數(shù)”,以獲得較好的旁瓣下降幅度。窗函數(shù)公式如式(1)所示:
(1)
式中:w(n)——樣本索引n處的窗口系數(shù);0.54——抵消期限;0.46——縮放項(xiàng);N——窗口長(zhǎng)度。
音頻信號(hào)加窗處理原理如圖4所示。加窗即信號(hào)與一個(gè)“窗函數(shù)”相乘,加窗是為了讓一幀信號(hào)的幅度在兩端逐漸變到0,使其在此時(shí)間長(zhǎng)度內(nèi)為周期信號(hào),滿足了FFT變換處理的周期性要求,減少頻譜泄漏。
圖4 音頻信號(hào)加窗處理示意
3)FFT變換。對(duì)分幀加窗后的各幀信號(hào)進(jìn)行FFT變換得到各幀的頻譜,并對(duì)音頻信號(hào)的頻譜取模平方得到音頻信號(hào)的功率譜,從而得到頻譜上的能量分布。頻譜能量分布如圖5所示。
圖5 頻譜能量分布示意
由圖5看出該幀音頻信號(hào)在0.490 kHz和0.585 kHz附近的能量比較強(qiáng)。“包絡(luò)”是連接圖中小峰峰頂?shù)钠交€?!鞍j(luò)”上的峰叫共振峰,4個(gè)共振峰,分別在0.5 kHz,1.7 kHz,2.45 kHz,3.8 kHz附近,共振峰代表了音頻的種類。
4)MFCC提取。將FFT變換處理后的音頻信號(hào)功率譜,通過(guò)梅爾濾波器將每個(gè)濾波器中的能量相加。再取所有濾波器組能量的對(duì)數(shù),經(jīng)DCT變換后得到MFCC。
第二天,紫云來(lái)了,她還在打自己的小算盤,催促蔣浩德結(jié)婚,也好搬進(jìn)蔣家,名正言順地照顧老人。蔣浩德開始疏遠(yuǎn)她,給她交了個(gè)底:“紫云啊,你還是趁早找個(gè)人吧!我是不長(zhǎng)久的?!?/p>
5)生成語(yǔ)譜圖。映射MFCC的頻率幅值,通過(guò)量化的方式,0表示白,255表示黑色,幅值越大,相應(yīng)的區(qū)域越黑,映射后得到語(yǔ)譜圖如圖6所示。語(yǔ)譜圖表達(dá)了時(shí)間、頻率和聲音級(jí)功率(LW)三個(gè)維度信息。
圖6 映射后得到的語(yǔ)譜圖示意
目前國(guó)內(nèi)音頻識(shí)別領(lǐng)域的應(yīng)用算法以循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)為主,而圖像領(lǐng)域?qū)W⒕矸e神經(jīng)網(wǎng)絡(luò)(CNN)。借鑒圖像識(shí)別在近些年的成果,以及語(yǔ)音與圖像在模型訓(xùn)練上的共通性,成功的將深層卷積神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用于該項(xiàng)目領(lǐng)域的抽油機(jī)音頻識(shí)別研究。
算法研究的第一個(gè)關(guān)鍵點(diǎn)是采用更深層次的神經(jīng)網(wǎng)絡(luò)。從ImageNet 競(jìng)賽和谷歌的研究可以看出,更深的卷積網(wǎng)絡(luò)層級(jí),能提取更為抽象的特征,進(jìn)而在逐漸增多的數(shù)據(jù)中,學(xué)習(xí)到更多的知識(shí)。
算法研究的第二個(gè)關(guān)鍵點(diǎn)是在少量標(biāo)簽上,提高學(xué)習(xí)效果。相對(duì)于圖像識(shí)別擁有的巨大訓(xùn)練數(shù)據(jù)量,語(yǔ)音識(shí)別領(lǐng)域的一個(gè)很大的困難就是訓(xùn)練數(shù)據(jù)不足。如何盡可能充分利用少量的標(biāo)簽數(shù)據(jù),是模型成功的關(guān)鍵。但是如果標(biāo)簽過(guò)少,將無(wú)法達(dá)到好的泛化效果。
對(duì)于音頻識(shí)別采用以下幾種方式:
1)深度殘差網(wǎng)絡(luò)。傳統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò),當(dāng)網(wǎng)絡(luò)深度足夠深時(shí),會(huì)出現(xiàn)深度越深學(xué)習(xí)率越低的情況。深度殘差網(wǎng)絡(luò)作為一種卷積神經(jīng)網(wǎng)絡(luò)的變化形式,借鑒了高速網(wǎng)絡(luò)的跨層鏈接思想,具有跳躍式的結(jié)構(gòu),該網(wǎng)絡(luò)的設(shè)計(jì)[10],解決了網(wǎng)絡(luò)深度加深使學(xué)習(xí)率變低的問(wèn)題,有效提升了準(zhǔn)確率,解決了網(wǎng)絡(luò)退化問(wèn)題,也帶來(lái)了更為豐富全面的信息或維度(特征值)作為參考?;谠摼W(wǎng)絡(luò),系統(tǒng)可以學(xué)習(xí)到更加豐富、全面的信息。
2)特征抽取。先將殘差網(wǎng)絡(luò)在ImageNet的有標(biāo)注數(shù)據(jù)集上預(yù)訓(xùn)練,預(yù)訓(xùn)練模型內(nèi)部包括多個(gè)殘差塊,接著刪除最頂層的分類層,把中間的輸出層作為特征抽取模塊。
3)模型訓(xùn)練。模型訓(xùn)練時(shí),用遷移學(xué)習(xí)提高模型的泛化能力和穩(wěn)定性。先將殘差網(wǎng)絡(luò)在ImageNet 的有標(biāo)注數(shù)據(jù)集上預(yù)訓(xùn)練,以該預(yù)訓(xùn)練參數(shù)作為初始參數(shù)進(jìn)行遷移學(xué)習(xí),可使模型獲得一定與圖像相關(guān)的先驗(yàn)知識(shí)。
該項(xiàng)目在現(xiàn)場(chǎng)錄取了近6.0×103條特征音頻數(shù)據(jù),并在相鄰區(qū)塊112口井推廣應(yīng)用,實(shí)現(xiàn)了抽油機(jī)音頻信號(hào)的實(shí)時(shí)采集與傳輸,通過(guò)抽油機(jī)故障音頻實(shí)時(shí)診斷技術(shù),實(shí)現(xiàn)了設(shè)備故障處理的實(shí)時(shí)響應(yīng)。
抽油機(jī)音頻數(shù)據(jù)采集流程如圖7所示,該采集器安裝在靠近抽油機(jī)電機(jī)的位置,通過(guò)無(wú)線接入點(diǎn)(AP)與交換機(jī)連接,井場(chǎng)的監(jiān)控球機(jī)也與交換機(jī)連接,交換機(jī)利用光纖收發(fā)器接入油田內(nèi)網(wǎng)的光纖鏈路,油田管理區(qū)通過(guò)音頻數(shù)據(jù)轉(zhuǎn)儲(chǔ)軟件,將抽油機(jī)音頻信息存儲(chǔ)至中國(guó)石化勘探開發(fā)業(yè)務(wù)協(xié)同平臺(tái)(EPBP)的MongoDB數(shù)據(jù)庫(kù)服務(wù)器,由音頻診斷程序進(jìn)行診斷,并輸出診斷結(jié)果,由用戶查詢程序查看結(jié)果。
圖7 抽油機(jī)音頻數(shù)據(jù)采集流程示意
通過(guò)該音頻智能采集器生成語(yǔ)譜圖的三個(gè)維度信息可用于分析設(shè)備故障原因。從像素的灰度值大小反映相應(yīng)時(shí)刻和相應(yīng)頻率的信號(hào)能量,顏色越深表示該點(diǎn)的語(yǔ)音能量越強(qiáng)。
4.2.1電機(jī)正常運(yùn)行語(yǔ)譜圖
電機(jī)正常啟動(dòng)過(guò)程中,聲音隨轉(zhuǎn)速的頻率增大而變大,特征頻率點(diǎn)隨著時(shí)間,形成向上的弧線。在停電機(jī)過(guò)程中,隨著轉(zhuǎn)動(dòng)變慢,對(duì)應(yīng)的特征頻率點(diǎn),隨著時(shí)間降低形成向下的弧線。電機(jī)啟停正常運(yùn)行聲音語(yǔ)譜圖如圖8所示。
圖8 電機(jī)啟停正常運(yùn)行聲音語(yǔ)譜示意
4.2.2皮帶打滑語(yǔ)譜圖
皮帶相對(duì)于機(jī)械部位,相對(duì)頻率較高,皮帶發(fā)出的聲音對(duì)應(yīng)于1~4 kHz間的波紋,間隔約1 s出現(xiàn)雙扇形紋。皮帶打滑語(yǔ)譜圖如圖9所示。
圖9 皮帶打滑語(yǔ)譜圖示意
4.2.3壓杠松語(yǔ)譜圖
壓杠松動(dòng)造成的撞擊聲音,從低頻到高頻都有,對(duì)應(yīng)于圖形上一個(gè)短時(shí)間的柱狀條,間隔約1 s出現(xiàn)柱狀干擾。壓杠松語(yǔ)譜圖如圖10所示。
圖10 壓杠松語(yǔ)譜圖示意
4.2.4電機(jī)軸承干磨語(yǔ)譜圖
干磨的獨(dú)特聲音,對(duì)應(yīng)于柵欄狀的紋理,密集出現(xiàn)柱狀干擾,但強(qiáng)度低。電機(jī)軸承干磨語(yǔ)譜圖如圖11所示。
圖11 電機(jī)軸承干磨語(yǔ)譜圖示意
4.2.5支架松語(yǔ)譜圖
支架松動(dòng)導(dǎo)致的故障聲音,也是類似柵欄狀,但是和干磨的周期、頻率范圍不同,形成密集出現(xiàn)柱狀,強(qiáng)度高的另一種柵欄狀語(yǔ)譜圖。支架松語(yǔ)譜圖如圖12所示。
圖12 支架松語(yǔ)譜圖示意
本文使用語(yǔ)譜圖技術(shù),把音頻轉(zhuǎn)為視頻圖像,用圖像領(lǐng)域的深度卷積網(wǎng)絡(luò)來(lái)處理音頻數(shù)據(jù)。通過(guò)深度殘差網(wǎng)絡(luò)模型有效地對(duì)信息完整性做了保護(hù),網(wǎng)絡(luò)深度加深導(dǎo)致的學(xué)習(xí)率變低問(wèn)題得以有效解決。在項(xiàng)目實(shí)現(xiàn)過(guò)程中,基于遷移學(xué)習(xí),復(fù)用預(yù)訓(xùn)練的復(fù)雜網(wǎng)絡(luò),提高了模型穩(wěn)定性,在小樣本數(shù)據(jù)集上,也能得到高準(zhǔn)確率、高穩(wěn)定性的結(jié)果。