基于音視頻深度學(xué)習(xí)技術(shù)的傳送帶保護(hù)系統(tǒng)

宋遠(yuǎn)

[摘 ? ?要]隨著智能算法越來越成熟，深度學(xué)習(xí)技術(shù)也開始在大型輸送設(shè)備上應(yīng)用。介紹基于視頻技術(shù)通過深度學(xué)習(xí)算法模型智能化解決客戶的現(xiàn)場皮帶設(shè)備的安全運(yùn)行、皮帶巡視等需求的大塊異物檢測系統(tǒng)，以及基于音頻技術(shù)通過深度學(xué)習(xí)算法模型智能化算法監(jiān)測和診斷皮帶傳送聲音狀態(tài)，實(shí)現(xiàn)事故發(fā)生報(bào)警，降低生產(chǎn)安全損失的聲音分析系統(tǒng)。通過這兩種技術(shù)，能有效地降低現(xiàn)場巡視人員的人數(shù)和勞動(dòng)強(qiáng)度，能夠?qū)崟r(shí)了解傳送帶的運(yùn)行狀況，減少事故的發(fā)生。

[關(guān)鍵詞]深度學(xué)習(xí);智能化;異物檢測;聲音分析

[中圖分類號(hào)]TP391.41 [文獻(xiàn)標(biāo)志碼]A [文章編號(hào)]2095–6487（2022）01–00–04

[Abstract]As the intelligent algorithm becomes more and more mature， the deep learning technology also begins to be applied in large-scale conveying equipment. This paper introduces a large foreign object detection system based on video technology to intelligently solve the needs of customers for the safe operation of on-site belt equipment and belt inspection through deep learning algorithm model， and an intelligent algorithm based on audio technology to monitor and diagnose the sound state transmitted by leather belt through deep learning algorithm model， so as to realize accident alarm， Sound analysis system for reducing production safety loss. These two technologies can effectively reduce the number and labor intensity of on-site inspectors， understand the operation status of conveyor belt and reduce accidents.

[Keywords]deep learning; Intellectualization; Foreign matter detection; Sound analysis

1 系統(tǒng)設(shè)計(jì)原則

根據(jù)當(dāng)前人工智能在企業(yè)應(yīng)用上的技術(shù)狀況和發(fā)展趨勢，采用人工智能視頻識(shí)別方案、音頻識(shí)別方案、主流開發(fā)技術(shù)，進(jìn)行高級應(yīng)用開發(fā)。在保證高度安全可靠的前提下，使系統(tǒng)穩(wěn)定高效、易用、易維護(hù)、易擴(kuò)展。

1.1 先進(jìn)性、成熟性原則

采用目前國際上先進(jìn)而且成熟的系統(tǒng)設(shè)備、軟件技術(shù)，使系統(tǒng)具有較高的技術(shù)水平和較長的生命周期。它同時(shí)也保證了系統(tǒng)具有良好的開放性、可靠性及可擴(kuò)展性，能夠滿足未來企業(yè)發(fā)展的需要。

1.2 經(jīng)濟(jì)性、實(shí)用性原則

①盡可能保障現(xiàn)有的資源（包括硬件資源和軟件資源）能夠得到充分利用，在保證系統(tǒng)性能并達(dá)到要求的前提下，盡量使系統(tǒng)投資最省。②確保系統(tǒng)具有友好的用戶界面，使用戶便于掌握、使用和維護(hù)，且能解決具體的實(shí)際問題，同時(shí)，確保系統(tǒng)具有良好的性能、較高的處理效率，且配置和使用靈活。③以實(shí)際的管理業(yè)務(wù)流程為基礎(chǔ)，但不是成為手工系統(tǒng)的仿真，而是加以提煉并提高，對管理水平的提高有所幫助。

1.3 開放性、可擴(kuò)展性原則

應(yīng)用軟件保持開放性以便于系統(tǒng)的擴(kuò)展，系統(tǒng)具備擴(kuò)展的接口與手段，在應(yīng)用的規(guī)模與功能需要增長時(shí)，能夠保證系統(tǒng)的平滑升級與擴(kuò)充。體現(xiàn)在軟件的設(shè)計(jì)上表現(xiàn)為應(yīng)用基礎(chǔ)平臺(tái)設(shè)計(jì)、數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)、軟件構(gòu)件化程度、軟件文檔的實(shí)用和規(guī)范，以及公共部件包括應(yīng)用類庫的開放程度等方面。

1.4 安全性原則

系統(tǒng)設(shè)計(jì)滿足安全要求，數(shù)據(jù)定期備份保證數(shù)據(jù)安全。

1.5 標(biāo)準(zhǔn)性原則

系統(tǒng)設(shè)備、軟件、編碼、文檔、網(wǎng)絡(luò)協(xié)議等以及所采用的開發(fā)技術(shù)遵循相應(yīng)的國際標(biāo)準(zhǔn)和國家標(biāo)準(zhǔn)。

2 大塊異物檢測系統(tǒng)

2.1 系統(tǒng)概述

大塊異物檢測系統(tǒng)：通過深度學(xué)習(xí)算法模型智能化解決客戶的現(xiàn)場皮帶設(shè)備的安全運(yùn)行、皮帶巡視等需求。

具體來說，大塊異物檢測系統(tǒng)是一款面向工業(yè)的視覺AI開發(fā)系統(tǒng)，其提供面向客戶人員使用的全流程“0”代碼的模型訓(xùn)練、優(yōu)化與模型預(yù)測服務(wù)。具備數(shù)據(jù)對齊、模型訓(xùn)練、模型測試、模型分發(fā)、模型管理和項(xiàng)目管理等AI功能，在皮帶設(shè)備安全運(yùn)行、皮帶巡檢等視覺場景為客戶實(shí)現(xiàn)降本增效提質(zhì)的AI應(yīng)用能力。

本系統(tǒng)以自研的AI算法、模型和各類硬件算力為核心。通過在皮帶附近安裝的高清攝像頭對皮帶上的礦石進(jìn)行分析，分析各種礦石外的雜質(zhì)，如木塊，鐵板，鋼絲，大型石塊等。檢測出異物后對異物的直徑進(jìn)行判斷，進(jìn)行警報(bào)或者通過對接PLC設(shè)備對所屬線路進(jìn)行停機(jī)。停機(jī)后大塊異物所停的位置要根據(jù)速度和時(shí)間計(jì)算，以方便維護(hù)人員檢出。后臺(tái)可靈活地配置對于大塊異物檢測標(biāo)準(zhǔn)。

2.2 系統(tǒng)架構(gòu)

2.2.1 硬件系統(tǒng)

大塊異物檢測系統(tǒng)分為三層：信息采集層、AI數(shù)據(jù)識(shí)別層、皮帶控制層（圖1）。

（1）信息采集層：在現(xiàn)場布置高清防抖攝像頭以及補(bǔ)光燈，進(jìn)行皮帶運(yùn)行視頻數(shù)據(jù)采集，將采集數(shù)據(jù)實(shí)時(shí)傳輸至AI計(jì)算工控機(jī)。

（2）AI數(shù)據(jù)識(shí)別層。采用安裝有高算力GPU運(yùn)算卡的工控機(jī)，收集實(shí)時(shí)視頻數(shù)據(jù)，運(yùn)用自研的AI算法和模型，實(shí)時(shí)分析皮帶運(yùn)行狀態(tài)。系統(tǒng)具備模型訓(xùn)練、模型測試等完善模型功能。通過深度學(xué)習(xí)使系統(tǒng)越用越準(zhǔn)確，效率越高。

（3）皮帶控制層。通過OPC通訊，與皮帶控制PLC建立通訊。一旦系統(tǒng)發(fā)現(xiàn)皮帶上有異物，下發(fā)控制命令控制皮帶電機(jī)停機(jī)。

2.2.2 異物檢測視頻分析技術(shù)架構(gòu)

本系統(tǒng)結(jié)構(gòu)以CAPI為界，將整個(gè)系統(tǒng)分為前端和后端兩個(gè)子系統(tǒng)（圖2）：

（1）前端系統(tǒng)。提供編程模型，負(fù)責(zé)構(gòu)造計(jì)算圖;

（2）后端系統(tǒng)：提供運(yùn)行時(shí)環(huán)境，負(fù)責(zé)執(zhí)行計(jì)算圖。

2.2.3 皮帶控制系統(tǒng)聯(lián)動(dòng)技術(shù)架構(gòu)

皮帶控制系統(tǒng)聯(lián)動(dòng)，大塊異物檢測系統(tǒng)和聲音分析系統(tǒng)分析發(fā)現(xiàn)影響皮帶設(shè)備運(yùn)行的故障信息后，通過軟件平臺(tái)報(bào)警系統(tǒng)發(fā)出控制信號(hào)，通過網(wǎng)絡(luò)IO控制器，與皮帶控制PLC建立通訊，控制皮帶電機(jī)停機(jī)（圖3）。

2.3 系統(tǒng)特點(diǎn)

2.3.1 系統(tǒng)特點(diǎn)

系統(tǒng)配置高清防抖攝像機(jī)，安裝在皮帶附近，可以響應(yīng)4～6m/s的皮帶運(yùn)行速度。AI數(shù)據(jù)識(shí)別高速完成視頻幀解析，交由總控統(tǒng)一任務(wù)調(diào)度：①完成幀快速過濾，過濾掉空軌幀和無信息幀，將目標(biāo)幀轉(zhuǎn)發(fā)至信息區(qū)域提取節(jié)點(diǎn)，完成異物目標(biāo)識(shí)別提取，并根據(jù)對異物大小尺寸判定完成對異物的切分;②標(biāo)記信息識(shí)別節(jié)點(diǎn)進(jìn)一步完成詳細(xì)標(biāo)記信息，識(shí)別結(jié)果反饋給總控節(jié)點(diǎn)，由總控節(jié)點(diǎn)完成各皮帶視頻點(diǎn)信息的綜合，得出最終識(shí)別結(jié)果;③由應(yīng)用系統(tǒng)接口模塊將識(shí)別結(jié)果提供給業(yè)務(wù)應(yīng)用系統(tǒng)。

模型可通過自迭代學(xué)習(xí)，其識(shí)別率可以快速增長。在運(yùn)行效率上，系統(tǒng)采用高算力GPU運(yùn)算卡設(shè)備，優(yōu)異的模型算法，從而提供識(shí)別效率。

2.3.2 技術(shù)架構(gòu)特點(diǎn)

（1）支持多語言的客戶端，方便用戶構(gòu)造各種復(fù)雜的計(jì)算圖，實(shí)現(xiàn)所需的模型設(shè)計(jì)?？蛻舳艘詴?huì)話為橋梁連接后段的運(yùn)行時(shí)，并啟動(dòng)計(jì)算圖的執(zhí)行過程

（2）分布式Master負(fù)責(zé)將計(jì)算圖拆分為多個(gè)子圖，以便在不通的進(jìn)程和設(shè)備上并行執(zhí)行

（3）Worker Service負(fù)責(zé)在硬件環(huán)境（如CPU或GPU）上調(diào)用OP的Kernel實(shí)現(xiàn)完成圖的計(jì)算，并從其他Worker Service接受計(jì)算結(jié)果或?qū)⒂?jì)算結(jié)果發(fā)送給其他Worker Services

（4）數(shù)據(jù)操作層是OP在硬件設(shè)備上的特定實(shí)現(xiàn)，負(fù)責(zé)執(zhí)行OP運(yùn)算，如數(shù)值計(jì)算、多維數(shù)組操作、控制流、狀態(tài)管理等，每個(gè)OP根據(jù)設(shè)備類型都會(huì)存在一個(gè)優(yōu)化了的Kernel實(shí)現(xiàn)。在運(yùn)行時(shí)根據(jù)本地設(shè)備的類型，為OP選擇特定的Kernel實(shí)現(xiàn)，完成該OP的計(jì)算。其中，大多數(shù)Kernel基于Eigen：：Tensor實(shí)現(xiàn)。Eigen：：Tensor是一個(gè)使用C++模板技術(shù)，為多核CPU/GPU生成高效的并發(fā)代碼。

2.4 主要設(shè)備介紹

2.4.1 攝像頭

400萬像素、黑光、夜間全彩、防抖（或電子防抖）。

2.4.2 工控機(jī)

CPU：i7-9代;內(nèi)存：16G;固態(tài)硬盤：M.2：256G+4T機(jī)械硬盤;顯卡：RTX308010G顯存;雙千兆網(wǎng)口、4COM、USB2.0×4;鍵盤鼠標(biāo)。23.8寸顯示器

3 聲音分析系統(tǒng)-人工智能聲紋識(shí)別技術(shù)

3.1 系統(tǒng)概述

聲音分析系統(tǒng)通過從已有視頻服務(wù)器中提取音視頻流數(shù)據(jù)，通過深度學(xué)習(xí)算法模型智能化算法監(jiān)測和診斷皮帶傳送聲音狀態(tài)，實(shí)現(xiàn)事故發(fā)生報(bào)警，降低生產(chǎn)安全損失。

3.2 視頻服務(wù)器分離音頻流

傳送帶周圍安裝的智能攝像機(jī)，獲取監(jiān)控皮帶運(yùn)行的視頻流（復(fù)合流），工控機(jī)讀取視頻服務(wù)器中的視頻文件，利用FFmpeg獲取服務(wù)器中視頻文件的媒體流（包括視頻流、音頻流）對應(yīng)的軌道，從而獲取原始視頻文件的視頻信息以及音頻信息。

通過程序完成對視頻流中音頻信息的抓取，但此時(shí)獲取的音頻信息（包括采樣率、聲道數(shù)）不可靠，而且音頻文件不具有完備的音頻屬性。為了達(dá)到對異常聲音的有效識(shí)別，需要對音頻文件進(jìn)行解碼處理：對音頻文件關(guān)鍵幀進(jìn)行讀取，通過對音頻文件音頻幀解碼處理后，音頻文件具備具體的音頻屬性，之后對音頻進(jìn)行分析處理。

3.3 分離出的音頻文件處理（排除其他雜音）

聲音事件分析識(shí)別技術(shù)作為機(jī)器聽覺系統(tǒng)中的重要一環(huán)，承擔(dān)了利用聲音信號(hào)感知環(huán)境并對環(huán)境中各類復(fù)雜情況進(jìn)行分析判斷的任務(wù)。相比于視頻和圖像信號(hào)，聲音信號(hào)具有不受角度、光線以及地形等條件限制的優(yōu)點(diǎn)。聲音事件分析識(shí)別技術(shù)本質(zhì)上是音頻分類技術(shù)。

未經(jīng)處理的聲音音頻是多維度、復(fù)雜性很高的數(shù)據(jù)。如果直接用來進(jìn)行分析及分類處理，數(shù)據(jù)處理量非常巨大。因此需要對音頻文件進(jìn)行預(yù)處理：剔除噪聲信號(hào)以及工頻信號(hào)。然后對音頻進(jìn)行特征提取和分類，降低音頻信息數(shù)據(jù)維度，降低音頻文件的復(fù)雜性，降低聲音分析的工作量。

設(shè)備出現(xiàn)異常時(shí)，聲音發(fā)生變化，但聲音變化可能會(huì)不明顯，人耳也會(huì)無法分辨，所以需要通過對異常聲音進(jìn)行預(yù)加重、濾波處理，突出異常聲音片段的特征。另外為了提高整套系統(tǒng)對工作環(huán)境的適應(yīng)性和穩(wěn)定性，需要積累異常聲音樣本的類型和數(shù)量。

3.4 聲音分析異常結(jié)果報(bào)警

控制軟件平臺(tái)接收到聲音分析系統(tǒng)的判斷結(jié)果，將該消息發(fā)布到報(bào)警處理模塊，向系統(tǒng)內(nèi)用戶推送報(bào)警信息，從而實(shí)現(xiàn)自動(dòng)報(bào)警處理。

3.5 利用深度學(xué)習(xí)識(shí)別故障聲音

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)算法研究中的新的技術(shù)，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。利用深度神經(jīng)網(wǎng)絡(luò)將連續(xù)的音頻分割成一幀一幀的音頻片段，從這些音頻片段中提取該段對應(yīng)的聲學(xué)特征，用這些特征對模型進(jìn)行訓(xùn)練，進(jìn)而對目標(biāo)進(jìn)行識(shí)別。最終實(shí)現(xiàn)對音頻文件的分析以及音頻文件特征提取并且完成對聲音的分類。

深度神經(jīng)網(wǎng)絡(luò)應(yīng)用的其中一個(gè)方向是直接利用原始音頻文件對卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行訓(xùn)練。卷積神經(jīng)網(wǎng)絡(luò)模擬生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，擁有很高的網(wǎng)絡(luò)層數(shù)，直接將原始音頻文件輸入網(wǎng)絡(luò)，發(fā)揮了卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢，能夠更精確實(shí)現(xiàn)音頻分析和特征提取。

深度學(xué)習(xí)從數(shù)據(jù)中自動(dòng)學(xué)習(xí)聲音特征，智能感知聲音目標(biāo)類別，將設(shè)備正常運(yùn)行的聲音特性進(jìn)行保存，以設(shè)備正常運(yùn)行的聲音特性作為基準(zhǔn)，確定模型中各個(gè)參數(shù)，結(jié)合模型訓(xùn)練實(shí)現(xiàn)深度學(xué)習(xí)，將故障狀態(tài)下聲音與正常運(yùn)行時(shí)的聲音進(jìn)行精確對比分析，如果出現(xiàn)與正常運(yùn)行聲音特征不一致（主設(shè)備聲音異常變化），最終形成判斷，將判斷結(jié)果發(fā)送至控制軟件平臺(tái)。

3.6 音頻信號(hào)分析以及特征提取

從視頻服務(wù)器獲取的音頻文件中包含很多聲音：包括設(shè)備運(yùn)行聲、講話聲、自然環(huán)境聲（如風(fēng)聲、雨聲、雷電聲以及鳥叫聲等）。面對龐雜的聲音需要設(shè)計(jì)一套合理的算法，準(zhǔn)確地提取并分析設(shè)備運(yùn)行聲音。

聲音信號(hào)龐雜，無法直接對音頻提取特征。需要在剔除噪聲信號(hào)以及工頻信號(hào)后，應(yīng)用MFCC梅爾頻率倒譜系數(shù)技術(shù)，降低聲音數(shù)據(jù)維度，并且保留信號(hào)的有效特征，最終實(shí)現(xiàn)對音頻信號(hào)的分析以及特征提取。

音頻信息特征提取之后，需要依據(jù)特征空間選擇分類器對音頻內(nèi)容進(jìn)行分類。不同的聲音具備不同的頻率信號(hào)，不同頻率信號(hào)所處的音調(diào)各不相同，基頻和音調(diào)聯(lián)系緊密，音調(diào)高低由相應(yīng)的基頻曲線決定，因此利用音調(diào)的頻域進(jìn)行特征提取，可以提高聲音分類的準(zhǔn)確性，準(zhǔn)確地區(qū)分設(shè)備運(yùn)行聲以及其他聲音。

4 結(jié)束語

基于音視頻深度學(xué)習(xí)技術(shù)在傳送帶保護(hù)方面的應(yīng)用還處于研究和試點(diǎn)階段，根據(jù)試點(diǎn)的案例來看，結(jié)合不同的項(xiàng)目具體環(huán)境，深度學(xué)習(xí)還需要一定的過程，相對于傳統(tǒng)的皮帶機(jī)保護(hù)裝置而言，存在一定的誤報(bào)警情況，而隨著時(shí)間的推移，積累夠一定的數(shù)據(jù)之后，誤報(bào)警情況會(huì)得到一定的改進(jìn)。

參考文獻(xiàn)

[1] 李素娟.皮帶機(jī)智能檢測系統(tǒng)設(shè)計(jì)開發(fā)[J].中國科技博覽，2012（26）：348.