邊緣計算智能裝備技術(shù)在飛機檢修行為識別領(lǐng)域的應(yīng)用

姚明 李君成 陳龍

摘要：本文描述了基于神經(jīng)網(wǎng)絡(luò)深度學習的邊緣計算智能裝備，及其應(yīng)用于飛機維修檢查行為識別的技術(shù)和場景，可實現(xiàn)飛機航線定檢維修流程跟蹤管控、提升維修檢查作業(yè)的安全質(zhì)量和降本增效，減免人為因素所導(dǎo)致的不安全事件和運行事件，避免經(jīng)濟損失。

關(guān)鍵詞：圖像識別；神經(jīng)網(wǎng)絡(luò)；邊緣計算；維修；檢查

Keywords：image recognition； neural network； edge computing； maintenance； inspection

0引言

目前飛機維修檢查作業(yè)包括短停、航前、航后、定檢等類型，主要采用傳統(tǒng)人工目視檢查作業(yè)方式，按繞機檢查作業(yè)流程逐一檢查飛機機頭、發(fā)動機、起落架、輪機艙、機翼、機尾等不同區(qū)域的設(shè)備部件區(qū)域是否存在缺陷、故障和安全隱患，全程人工定位找點、紙筆記錄，靠工作單卡簽署確認檢查結(jié)果。

由于繞機檢查作業(yè)過程中需要檢查的飛機設(shè)備部件非常多，不同機型間結(jié)構(gòu)差異大，作業(yè)時間窗口期短，傳統(tǒng)人工目視檢查方式的作業(yè)質(zhì)量完全依靠維修人員的技術(shù)、經(jīng)驗和責任心，故存在諸多問題。例如，無法追溯檢查完成情況、無法確認是否存在漏檢、對于故障缺陷無法實時指導(dǎo)排故、人工復(fù)檢費工費時等。

基于飛機維修檢查行為識別的邊緣計算智能裝備，其為維修人員提供實時作業(yè)指引，避免漏檢和違規(guī)行為，提高作業(yè)效率和質(zhì)量；為安全、質(zhì)量管理人員提供有效監(jiān)管工具，實現(xiàn)安全事故溯源和大數(shù)據(jù)分析，做到風險規(guī)避；能有效提升飛機維修的綜合管理能力，減免人為因素所導(dǎo)致的不安全事件和運行事件，避免經(jīng)濟損失。

采用基于神經(jīng)網(wǎng)絡(luò)圖像識別技術(shù)的邊緣計算智能裝備，實現(xiàn)智能化維修檢查作業(yè)，具有行業(yè)領(lǐng)先性，其比傳統(tǒng)方式具有實時、準確、完整、可追溯的先進性。通過邊緣計算智能裝備的應(yīng)用，實現(xiàn)飛機航線定檢維修流程跟蹤管控、安全質(zhì)量提升和降本增效，助力科技創(chuàng)新數(shù)字化轉(zhuǎn)型和智慧維修推廣。

1邊緣計算智能裝備技術(shù)

1.1 神經(jīng)網(wǎng)絡(luò)圖像識別

圖像識別技術(shù)是立體視覺、運動分析、數(shù)據(jù)融合等實用技術(shù)的基礎(chǔ)，能自動識別飛機設(shè)備部件以及缺陷故障、實時跟蹤分析維修檢查作業(yè)行為?；趫D像識別技術(shù)的邊緣計算智能裝備技術(shù)，是未來飛機智慧維修發(fā)展的必然趨勢。

目前基于飛機設(shè)備故障缺陷和維修檢查作業(yè)行為的智能圖像識別技術(shù)的應(yīng)用裝備和系統(tǒng)非常少，究其原因如下：

（1）飛機部件結(jié)構(gòu)繁多復(fù)雜；

（2）故障缺陷種類多、差異大；

（3）作業(yè)行為因人而異；

（4）質(zhì)量要求精準無錯漏；

隨著計算機技術(shù)的迅速發(fā)展和科技的不斷進步，圖像識別技術(shù)已經(jīng)在航空遙感、網(wǎng)絡(luò)通訊、物流交通、軍事公安、生物醫(yī)學、汽車機器人等眾多領(lǐng)域中大量應(yīng)用。例如，交通方面的車牌識別系統(tǒng)；公共安全方面的人臉識別技術(shù)、指紋識別技術(shù)；農(nóng)業(yè)方面的種子識別技術(shù)、食品品質(zhì)檢測技術(shù)；醫(yī)學方面的心電圖、CT影像識別技術(shù)；汽車方面的無人駕駛、自動泊車技術(shù)；網(wǎng)絡(luò)通訊方面的視頻、圖文非法信息的檢測識別技術(shù)等。2015年微軟公布了一篇關(guān)于圖像識別的研究論文，在一項圖像識別的基準測試中，電腦系統(tǒng)識別能力已經(jīng)超越了人類。人類在歸類數(shù)據(jù)庫Image Net中的圖像識別錯誤率為5.1%，而微軟研究小組的這個深度學習系統(tǒng)可以達到4.94%的錯誤率。由此可見，計算機在圖像識別方面已經(jīng)有要超越人類的圖像識別能力的趨勢，而且計算機在很多方面確實已具有人類所無法超越的優(yōu)勢。因此，隨著計算機圖像識別技術(shù)以及算法的不斷優(yōu)化改進，采用深度學習神經(jīng)網(wǎng)絡(luò)算法，具備機器視覺圖像識別分析能力的邊緣計算智能裝備，為實現(xiàn)飛機智能化智慧檢修提供了有效、可行的方法和工具。

深度學習以數(shù)據(jù)的原始形態(tài)作為算法輸入，經(jīng)過算法層層抽象，將原始數(shù)據(jù)逐層抽象為自身任務(wù)所需的最終特征表示，最后以特征到任務(wù)目標的映射作為結(jié)束，從原始數(shù)據(jù)到最終任務(wù)目標，“一氣呵成”并無夾雜任何人為操作。深度學習除了模型學習，還有特征學習、特征抽象等任務(wù)模塊的參與，借助多層任務(wù)模塊完成最終學習任務(wù)。深度學習中的一類代表算法是神經(jīng)網(wǎng)絡(luò)算法，包括深度置信網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)等。卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一類特殊的人工神經(jīng)網(wǎng)絡(luò)，其最主要的特點是卷積運算操作。在諸多領(lǐng)域應(yīng)用特別是圖像相關(guān)任務(wù)上表現(xiàn)優(yōu)異，諸如，圖像分類、圖像語義分割、圖像檢索、物體檢測等計算機視覺問題。

如圖1所示，對深度模型而言，其輸入數(shù)據(jù)是未經(jīng)任何人為加工的原始樣本形式，后續(xù)則是堆疊在輸入層上的眾多操作層。這些操作層整體可看作是一個復(fù)雜的函數(shù)，最終損失函數(shù)由數(shù)據(jù)損失和模型參數(shù)的正則化損失共同組成，深度模型的訓練則在最終損失驅(qū)動下對模型進行參數(shù)更新并將誤差反向傳播至網(wǎng)絡(luò)各層。模型的訓練過程可以簡單抽象為從原始數(shù)據(jù)向最終目標的直接“擬合”，而中間的這些部件正起到了將原始數(shù)據(jù)映射為特征（即特征學習）隨后再映射為樣本標記（即目標任務(wù)，如分類）的作用。

神經(jīng)網(wǎng)絡(luò)是模擬人腦神經(jīng)系統(tǒng)功能的模型，具有學習、聯(lián)想、記憶和模式識別等智能信息處理功能的人工系統(tǒng)。神經(jīng)網(wǎng)絡(luò)的學習是一個過程，在其所處環(huán)境的激勵下，相繼給網(wǎng)絡(luò)輸入一些樣本模式，并按照一定的規(guī)則（學習算法）調(diào)整網(wǎng)絡(luò)各層的權(quán)值矩陣，待網(wǎng)絡(luò)各層權(quán)值都收斂到一定值，學習過程結(jié)束。然后就可以用生成的神經(jīng)網(wǎng)絡(luò)來對真實數(shù)據(jù)做分類識別。

基于深度學習神經(jīng)網(wǎng)絡(luò)算法，將飛機部件、缺陷故障、檢查作業(yè)行為等視頻、圖像信息進行分類整理標注，通過監(jiān)督學習的方式，完成飛機維修檢查行為識別的神經(jīng)網(wǎng)絡(luò)模型訓練，并將訓練好的神經(jīng)網(wǎng)絡(luò)模型植入邊緣計算智能裝備，用于實際應(yīng)用場景的AI實時輔助識別，實現(xiàn)降本增效；同時，在應(yīng)用過程中能夠不斷迭代升級神經(jīng)網(wǎng)絡(luò)模型，從而實現(xiàn)飛機維修檢查的智能化和精準高效可靠，提升安全質(zhì)量。

1.2 邊緣計算智能裝備系統(tǒng)的構(gòu)建

總體思路是基于神經(jīng)網(wǎng)絡(luò)深度學習和圖像識別技術(shù)，采用邊緣計算智能裝備實時采集航線飛機維修檢查作業(yè)行為的視頻圖像，自動智能識別飛機外部缺陷以及漏檢和違規(guī)行為，語音即時提醒和全程記錄；數(shù)據(jù)后臺系統(tǒng)實現(xiàn)遠程監(jiān)控和輔助指導(dǎo)排故，并統(tǒng)一整合飛機基礎(chǔ)數(shù)據(jù)、缺陷和作業(yè)行為記錄等，實現(xiàn)飛機維修檢查行為的可視化數(shù)據(jù)分析。

由圖2所示，應(yīng)用于飛機維修檢查行為識別的邊緣計算智能裝備，主要包括以下幾部分。

1）視頻采集模塊。視頻采集模塊用于實時采集航線維修檢查作業(yè)過程中的機頭、雷達罩、機翼、發(fā)動機、尾翼、起落架、輪機艙、艙蓋板、天線等飛機設(shè)備部件視頻影像，將4K高清分辨率連續(xù)幀截圖實時傳送至圖像處理引擎；裝備可采用機械防抖的耳帶攝像頭、手機或者手持攝像機等，由維修檢查人員在作業(yè)過程中隨身攜帶。

2）圖像處理引擎。連接視頻采集模塊獲取實時視頻流MJEPG連續(xù)幀截圖，基于神經(jīng)網(wǎng)絡(luò)圖像識別分析算法，用預(yù)先訓練好的神經(jīng)網(wǎng)絡(luò)模型，對輸入圖像信息的同步進行識別判定；其中預(yù)先訓練好的神經(jīng)網(wǎng)絡(luò)模型包括分類識別模型和目標檢測模型，所述分類識別模型至少包括機頭、雷達罩、發(fā)動機、起落架、輪胎、輪機艙、機翼、尾翼、機身、艙蓋門等飛機設(shè)備部件的類型識別，通過連續(xù)多幀圖像畫面的分類識別率平均超過0.95的方式進行識別判定，確定當前所檢查的飛機設(shè)備部件類型和區(qū)域位置；所述目標檢測模型至少包括凹坑、雷擊、污漬、缺損、鳥撞等外部缺陷的檢測定位，通過掃描每幀圖像畫面中的飛機設(shè)備部件的圖像區(qū)域，識別判定可能存在的缺陷，當出現(xiàn)連續(xù)多幀圖像畫面檢測出目標缺陷的概率超過0.95，則對圖像進行目標缺陷定位紅框標記；結(jié)合已識別的飛機設(shè)備部件分類信息輸出缺陷識別結(jié)果，即時語音播報提醒并將缺陷識別結(jié)果實時傳送至數(shù)據(jù)后臺；所述缺陷識別結(jié)果至少包括飛機編號、飛機設(shè)備部件名稱、缺陷分類名稱、缺陷位置、帶定位標簽的視頻截圖圖像、時間戳和文字標注信息；裝備采用AI智能主機，具備神經(jīng)網(wǎng)絡(luò)識別分析算法和GPU實時圖像處理計算能力。

3）數(shù)據(jù)后臺，連接圖像處理引擎實時獲取缺陷識別結(jié)果，與飛機缺陷索引數(shù)據(jù)庫中的記錄進行匹對，確認并記錄新識別的缺陷。并迭代更新飛機缺陷索引數(shù)據(jù)庫中的數(shù)據(jù)記錄，實現(xiàn)飛機維修檢查的缺陷記錄、歷史數(shù)據(jù)檢索和跟蹤分析；缺陷索引數(shù)據(jù)庫至少包括飛機編號、缺陷分類和等級、缺陷所屬飛機設(shè)備部件名稱和位置、缺陷定位圖像、缺陷標記起止時間等；采用服務(wù)器，通過網(wǎng)絡(luò)和圖像處理引擎遠程連接，實現(xiàn)遠程實時跟蹤飛機維修檢查過程中所發(fā)現(xiàn)的缺陷，及時查詢判定缺陷類型和輔助指導(dǎo)排故作業(yè)，以及大數(shù)據(jù)分析歷史缺陷信息數(shù)據(jù)。

1.3 邊緣計算智能裝備系統(tǒng)的優(yōu)勢

通過分析邊緣計算智能裝備系統(tǒng)的構(gòu)建機理，可以明顯看出此類系統(tǒng)在航線維修過程的應(yīng)用優(yōu)勢所在。

1）系統(tǒng)利用神經(jīng)網(wǎng)絡(luò)圖像識別的技術(shù)，實現(xiàn)自動實時識別航線維修檢查作業(yè)過程中的飛機設(shè)備部件的缺陷故障，并全程語音即時提醒，提高了飛機部件缺陷的識別率，極大降低了人工識別的錯誤率和漏檢率。

2）系統(tǒng)實現(xiàn)飛機設(shè)備部件缺陷的視頻圖像數(shù)據(jù)的檢索查詢，能夠快速查看故障缺陷的歷史記錄，及時區(qū)分新舊缺陷，避免缺陷重復(fù)檢查確認，節(jié)省大量工時，極大地提高了維修檢查工作效率。

3）系統(tǒng)提升了數(shù)據(jù)管理能力，統(tǒng)一整合飛機航線維修檢查數(shù)據(jù)，建立航線飛機基礎(chǔ)數(shù)據(jù)庫和缺陷索引數(shù)據(jù)庫，實現(xiàn)航線維修的大數(shù)據(jù)跟蹤分析，極大地減免了飛行安全事故隱患。

4）系統(tǒng)實現(xiàn)對飛機部件缺陷狀態(tài)的實時追蹤監(jiān)控，自動學習積累缺陷特征數(shù)據(jù)庫，對缺陷進行精準識別和快速驗證，促進航線智慧維修技術(shù)的應(yīng)用發(fā)展。

2飛機維修檢查行為圖像識別應(yīng)用場景

2.1 漏檢行為提醒

維修檢查人員在繞機檢查作業(yè)過程中，邊緣計算智能裝備能實時識別視頻中的飛機部件，并與工單流程要求進行配對，如未識別發(fā)現(xiàn)待檢部件，則自動即時提醒維修人員進行部件檢查，并能自動記錄檢查作業(yè)的時間和行為過程，每次作業(yè)結(jié)束后出具行為質(zhì)量分析報告，從而有效減免人為因素的漏檢事件。

2.2航前安全檢查糾錯

航前檢查工作需要作業(yè)人員完成關(guān)鍵部位如跳開關(guān)、起落架安全銷、皮托管套、雨刮刷等檢測和拍照記錄，并上傳提交審核人員通過照片二次人工復(fù)檢。通過邊緣計算智能裝備系統(tǒng)，采用AI技術(shù)復(fù)檢，能自動識別并判定，將大大提高效率、節(jié)省人力，能有效提高飛機維修檢查效率。

2.3部件缺陷識別

維修檢查工作采用目視檢查方法，對于如垂尾表面、機翼上表面等飛機遠端或高處部件外部的細小缺陷、凹痕、破損等，通過邊緣計算智能裝備的變焦鏡頭，放大掃描部件表面，能夠自動識別缺陷并影像記錄位置區(qū)域和特征，此外還可以與后臺數(shù)據(jù)庫進行匹對，快速判定缺陷類型，從而提高飛機維修檢查效率和安全性。

2.4 遠程監(jiān)控和大數(shù)據(jù)分析

通過邊緣計算智能裝備后臺系統(tǒng)，能實時監(jiān)控飛機維修作業(yè)行為和維修專家遠程連線輔助指導(dǎo)排故；構(gòu)建飛機基礎(chǔ)特征數(shù)據(jù)庫、檢查作業(yè)行為記錄數(shù)據(jù)庫、外部缺陷索引數(shù)據(jù)庫，實現(xiàn)大數(shù)據(jù)回溯分析。

3結(jié)束語

邊緣計算智能裝備系統(tǒng)能有效提升飛機維修檢查作業(yè)的效率和質(zhì)量，降低維修人員的限制條件，實現(xiàn)智慧維修，能更可靠地保障航線維修安全性，通過歷史數(shù)據(jù)圖像對比分析，預(yù)判潛在故障的發(fā)展趨勢，實現(xiàn)大數(shù)據(jù)AI故障診斷和預(yù)測維修，意義重大。

參考文獻

[1]魏秀參. 解析卷積神經(jīng)網(wǎng)絡(luò)—深度學習實踐手冊[M]. 電子工業(yè)出版社，2018-11.

[2]李開復(fù)，王永剛. 人工智能[M].文化發(fā)展出版社，2017.

[3]李玉鑑，張婷. 深度學習卷積神經(jīng)網(wǎng)絡(luò)從入門到精通.[M].機械工業(yè)出版社，2018.

[4] 李旭冬，葉茂，李濤. 基于卷積神經(jīng)網(wǎng)絡(luò)的目標檢測研究[J]. 計算機應(yīng)用研究，2017（10）.

[5]劉全，翟建偉，等. 深度強化學習綜述[J]. 計算機應(yīng)用研究，2018（1）.

[6]周志華. 機器學習[M].清華大學出版社，2016.