摘要:目前我國動車組一級修主要依靠檢修人員目視檢查,勞動強度大,且對作業(yè)者依賴性較大,存在安全隱患。為解決該問題,提高檢修質(zhì)量,研發(fā)一款基于深度學(xué)習(xí)的智能檢修輔助支持系統(tǒng)。該系統(tǒng)通過設(shè)計檢修流程實現(xiàn)檢修作業(yè)的過程管控,通過深度學(xué)習(xí)技術(shù)實現(xiàn)對故障的識別并故障預(yù)警。為了實現(xiàn)故障識別功能,研發(fā)基于神經(jīng)網(wǎng)絡(luò)的多算法融合的識別算法,并通過部件識別、檢修點定位及故障檢測的分級方式提高其準確度。通過對模型進行壓縮,實現(xiàn)移動端的流暢運行,最終本系統(tǒng)在現(xiàn)場應(yīng)用中取得了良好的效果。
關(guān)鍵詞:高鐵檢修;圖像處理;深度學(xué)習(xí)
中圖分類號:U269
文獻標志碼:A
1研究背景
隨著國家科學(xué)實力的不斷增強,高速動車、高鐵項目技術(shù)水平不斷提高,高速動車的運營取得很好的效果。高速動車運行具有環(huán)境復(fù)雜、載客量大、運營里程長及運行速度快等特點。如何保證高鐵動車組運行絕對安全,成為倍受社會各界關(guān)注的焦點話題和鐵路運輸企業(yè)的重點任務(wù)[1]。
圖像處理技術(shù)一直是研究者關(guān)注的技術(shù)領(lǐng)域,20世紀80年代,場景分析以及重建得到了快速發(fā)展,圖像金字塔、尺度空間、小波等概念被相繼提出。20世紀90年代,在識別中使用投影不變量的研究呈現(xiàn)爆發(fā)式增長,這期間圖像領(lǐng)域的全局優(yōu)化、光束平差法、光流法、圖像分割以及統(tǒng)計方法等概念廣為人知。進入21世紀,這期間進行的高動態(tài)范圍(high dynamic range,HDR)圖像捕捉成為了主流研究方向?,F(xiàn)在,基于深度學(xué)習(xí)等相關(guān)理論的計算機視覺技術(shù)正在逐漸改變傳統(tǒng)的研究方法,深度學(xué)習(xí)的理論也開始促使圖像處理技術(shù)走向成熟,在各大領(lǐng)域中取得了巨大的成就,例如安檢領(lǐng)域中的人臉識別、人工智能領(lǐng)域的自動駕駛等。
在西方發(fā)達國家,圖像處理技術(shù)應(yīng)用在高鐵檢修上的時間比較早。20世紀50年代,德國便開始了這項研究。目前已形成較為完善的檢測、評價和故障處理系統(tǒng)。隨著高速鐵路技術(shù)的發(fā)展,法國、日本等國家相繼建立了自己的檢測和缺陷處理系統(tǒng)。一些最著名的檢測系統(tǒng)包括荷蘭的ATON系統(tǒng),德國的Track.eye系統(tǒng),西班牙的RENFE系統(tǒng)。
與西方發(fā)達國家相比,電氣化鐵路檢測在中國起步較晚。真正意義上的鐵路現(xiàn)代檢測技術(shù)的研究始于20世紀90年代初。目前,中國已經(jīng)進入了高速鐵路的快速發(fā)展時期,為了解決傳統(tǒng)檢測與機車運行維護之間的矛盾,基于視覺的故障檢測技術(shù)逐漸成為一個途徑。
據(jù)報道,2017年上海鐵路局組織召開的“神州高鐵‘車輛車底智能巡檢機器人系統(tǒng)技術(shù)評審會”,與會專家認為智能巡檢機器人可以投入使用,這樣可以節(jié)省車輛的檢修時間,有利于減輕人工勞動的強度、提高巡檢的質(zhì)量和效率[2]。車輛車底智能巡檢機器人系統(tǒng)主要使用了深度學(xué)習(xí)和圖像處理技術(shù),表明了智能技術(shù)在我國高鐵上的應(yīng)用得到了大力支持。
目前,我國高鐵普遍存在檢修手段單一、檢修部件狀態(tài)差異性小、人員素質(zhì)不均等問題。因此,急需一款智能檢修系統(tǒng)保障檢修作業(yè)的高質(zhì)量、高效率的完成。
2系統(tǒng)設(shè)計
針對于目前存在的問題,本論述研發(fā)了基于智能信息處理的高速動車組檢修支持系統(tǒng)。本系統(tǒng)由智能移動手持終端和后臺組成,如圖1所示,其巾智能移動手持終端集成了智能手持設(shè)備、App和圖像處理算法,智能手持設(shè)備為整套系統(tǒng)提供高清拍照、照明等功能;App負責(zé)接收、執(zhí)行檢修作業(yè),其中包括人員管理、任務(wù)領(lǐng)取與執(zhí)行、拍照檢測與故障識別、自動上傳等功能;圖像處理算法完成對圖片的識別、定位與檢測。后臺主要負責(zé)任務(wù)的制作與分配、故障的追溯與查詢、數(shù)據(jù)的整理與分析等功能。
當進行檢修作業(yè)時,檢修小組通過系統(tǒng)的后臺網(wǎng)頁操作、分配任務(wù)。檢修人員通過手持機接收任務(wù),然后進行檢修作業(yè),檢修流程如圖2所示。檢修完成數(shù)據(jù)自動上傳服務(wù)器,同時進行數(shù)據(jù)分析并在后臺網(wǎng)頁做可視化展示。
3圖像識別算法設(shè)計
該系統(tǒng)的技術(shù)難點是實現(xiàn)在外部環(huán)境復(fù)雜多變、檢修人員在不同角度和不同尺度(遠近)下的圖像采集以及作業(yè)對象本身不斷發(fā)生細微變化的情況下,通過對照片分析,完成對檢修部件的識別以及其可能存在的故障檢測、判斷。針對于此類問題我們做了各方面的研究與嘗試,已有把握在基礎(chǔ)算法的基礎(chǔ)上對其進行改進、優(yōu)化。
目前,每一種算法都具有一定的局限性和適用范圍。為了適應(yīng)外部復(fù)雜多變的環(huán)境、提高算法的速度及準確性,我們研發(fā)了一種基于深度學(xué)習(xí)技術(shù)的多算法融合的故障檢測算法,如圖3所示。整套算法由三部分組成:基于卷積神經(jīng)網(wǎng)絡(luò)的部件識別技術(shù)、基于yo-lov3的故障點定位技術(shù)及基于深度網(wǎng)絡(luò)的故障檢測技術(shù);采用分級的方式,增加其準確性,為了適應(yīng)復(fù)雜的環(huán)境,增加整套算法的魯棒性,通過逐級識別、定位、檢測的方式來實現(xiàn)最終故障點的檢測,具有極強的學(xué)習(xí)能力。
基于volov3研究多級故障定位技術(shù),整個網(wǎng)絡(luò)中沒有池化層和固定輸出的連接層,基本上采用了完整的卷積層,而且圖像輸入在正向計算巾,通過卷積層改變卷積核的步幅來實現(xiàn)尺寸變化。引入了Resnet的殘差塊結(jié)構(gòu),因為它“簡單與實用”,保證網(wǎng)絡(luò)結(jié)構(gòu)在很深的情況下,仍能收斂,模型能訓(xùn)練下去。
該系統(tǒng)選取了高鐵動車的撒砂管、輪緣潤滑、過分相裝置和齒輪箱四個部件做研究。
3.1識別算法
研發(fā)了多神經(jīng)元的卷積神經(jīng)網(wǎng)絡(luò),仿照人類神經(jīng)元的思維方式,通過改變神經(jīng)元的權(quán)重方式實現(xiàn)識別,在大量數(shù)據(jù)的訓(xùn)練下,發(fā)現(xiàn)目標之間潛在聯(lián)系。同時可通過不斷地添加學(xué)習(xí)的圖片,不斷提高其識別能力。
對于上述四個不見分別制作了數(shù)據(jù)集,數(shù)據(jù)集如圖4所示,搭建了多層神經(jīng)網(wǎng)絡(luò),最終在50次迭代后達到擬合,loss值在0.07。測試效果良好:同設(shè)備的采集的照片30張照片全部識別成功,不同設(shè)備采集的照片30張有1張識別錯誤。
3.2定位算法
基于volov3研究多級故障定位技術(shù),整個網(wǎng)絡(luò)中沒有池化層和固定輸出的連接層,基本上采用了完整的卷積層,而且圖像輸入在正向計算中,通過卷積層改變卷積核的步幅來實現(xiàn)尺寸變化。引入了Resnel的殘差塊結(jié)構(gòu),保證網(wǎng)絡(luò)結(jié)構(gòu)在很深的情況下,仍能收斂,模型能訓(xùn)練下去。
volov3沿用YOLO9000預(yù)測bounding box的方法,通過尺寸聚類確定anchor box。對每個bounding box網(wǎng)絡(luò)預(yù)測4個坐標偏移tx,ty,tw,th。如果fealure map某一單元偏移圖片左上角坐標(cx,cy),bounding box預(yù)選框尺寸為pw,ph,即anchor尺寸,那么生成對預(yù)測坐標為bx,by,bw,bh,此為feature map層級.而gx,gy,gw,gh為真值在fealure map上的映射,通過預(yù)測偏tx,ty,tw,th偏移使得bx,by,bw,bh與gx,gy,gw,gh一致,其關(guān)系如圖5所示。
為了取得良好的效果,四個部件采用四個模型進行訓(xùn)練,增加其精準度。在訓(xùn)練過程中,通過多模型的多線程的運行,解決其速度問題,測試效果如圖6所示。
3.3檢測算法
對于微小故障的判別一直是一個難點,本算法通過多級深度網(wǎng)絡(luò)實現(xiàn)對正負樣本細微差距的辨別能力。在識別算法基礎(chǔ)上增加了神經(jīng)元數(shù)量,處理來自定位算法所定位的內(nèi)容。針對于高鐵檢修環(huán)境惡劣、檢修部件的區(qū)分度低和零件存在異物等問題,對每一個故障搭建一個模型,通過此方法排除了其他部位的干擾,增加其檢測的精準度,檢測算法如圖7所示。
4前后端的設(shè)計
通過使用“移動采集端(設(shè)備)”軟件和“后臺智能數(shù)據(jù)分析處理系統(tǒng)”測試檢驗高鐵車輛維修過程中,提示、督導(dǎo)、工作判斷和處理記錄、數(shù)據(jù)上傳、資料查閱等功能完全滿足檢修過程要求,自動實現(xiàn)拍照識別判斷有無異常,重大問題自動報警,檢修工作結(jié)束后自動生成高鐵單位規(guī)定的相關(guān)報表,實現(xiàn)高鐵車輛檢修工作、邊檢查、邊學(xué)習(xí)、邊診斷、邊預(yù)警、邊反饋,實現(xiàn)高鐵車輛運用關(guān)鍵零部件檢修輔助診斷及全生命周期管理。
系統(tǒng)主要包括:智能移動手持終端、后臺系統(tǒng)兩部分如圖8所示。系統(tǒng)最終實現(xiàn)使用手持設(shè)備智能手持設(shè)備對撒砂管、輪緣潤滑、過分相和齒輪箱部位進行拍照識別并故障預(yù)警,如有故障標出故障提示給檢修人員,檢修人員對機器是別的故障進行二次判斷,以此來確保檢修質(zhì)量,提高工作效率。
5移動端速度優(yōu)化
自神經(jīng)網(wǎng)絡(luò)在分類類問題中取得了良好的效果,眾多學(xué)者提出了多種性能的神經(jīng)網(wǎng)絡(luò),其中AlexNet、VGG、GoogleNel、ResNet等。隨著CNN算法的精準度的不斷增加,如Lu等提出了一種基于弱視覺的小麥病害的弱超視覺的小麥病害診斷系統(tǒng),對小麥的識別精度達到97.95%。隨著CNN的識別率、穩(wěn)定性等性能的不斷提高其網(wǎng)絡(luò)層數(shù)也不斷增加,如從16層的VGG到GoogLeNet的22層,再到152層的ResNel,網(wǎng)絡(luò)層數(shù)的不斷增加,對于設(shè)備的內(nèi)存需和計算負擔也隨之增加。目前大部分算法只能在pc端進行,無法再手機端進行,即使能運算也存在運算速度太慢,如yolo在手機端的運算時間大概3min,遠遠無法達到應(yīng)用的要求。
MobileNets是基于一個流線型的架構(gòu),使用深度可分離的卷積來構(gòu)建輕量級的深層神經(jīng)網(wǎng)絡(luò)。將標準卷積分解成一個深度卷積和一個點卷積從而減少計算量,但其識別的效果相差不足2%。
本系統(tǒng)針對運算速度的問題,從兩方面進行優(yōu)化,首先是MohileNe積與tiny-yolo相結(jié)合減少計算量。同時對于移動端模型加載耗時過長問題,采用一次性加載的方法,實現(xiàn)8核4G移動設(shè)備2s以內(nèi)的圖像識別。
6結(jié)論
在動車組維修過程中對后臺智能數(shù)據(jù)分析處理系統(tǒng)算法精確性、數(shù)據(jù)庫處理能力,及對移動采集端設(shè)備及軟件適用性等進行為期1個月的應(yīng)用測試。目前,判別準確率在84%以上,并且隨著照片數(shù)量的積累,通過神經(jīng)網(wǎng)絡(luò)算法學(xué)習(xí),準確率將不斷提高。通過在動車運用所應(yīng)用考核,該系統(tǒng)的記錄處理、數(shù)據(jù)上傳、故障判斷、數(shù)據(jù)處理等功能完全滿足檢修過程要求,識別判斷、自動報警、生成報表功能實現(xiàn)“邊檢查、邊學(xué)習(xí)、邊診斷、邊預(yù)警、邊反饋”的高鐵車輛檢修工作。
隨著科技的發(fā)展、算法及硬件設(shè)備的不斷進步,基于機器視覺的檢修系統(tǒng)將成為智能檢修的必然發(fā)展方向。本論述提出的機器視覺應(yīng)用系統(tǒng)在實際檢修環(huán)境中取得了良好效果,也為在動車組檢修上的智能檢修提供了新的思路。
參考文獻:
[1]周芳.智能機器人在動車組檢修應(yīng)用前景分析[J].建筑工程技術(shù)與設(shè)計,2019(27):682.
[2]曾照平.智能機器人在動車組檢修應(yīng)用前景分析[J].科技風(fēng),2019(18):9.
[3]蘇賦,呂沁,羅仁澤.基于深度學(xué)習(xí)的圖像分類研究綜述[J].電信科學(xué),2019,35(11):57-74.
[4]林健巍.YOLO圖像檢測技術(shù)綜述[J].福建電腦,2019,35(9):80-83.
收稿日期:2020-06-09
作者簡介:郭浩(1982-),男,漢族,山東單縣人,大學(xué)本科,工程師,主要從事動車組現(xiàn)代運用檢修管理方法研究工作。