王發(fā) 麻瑞 袁山山 王志富
摘? 要:目前石灰爐窯的測溫技術(shù)大多依賴于人工測溫,不僅耗時(shí)費(fèi)力并且精度較低,無法及時(shí)發(fā)現(xiàn)潛在危險(xiǎn)。針對(duì)該問題,提出基于5G通信與改進(jìn)YOLOv5的智能爐窯測溫系統(tǒng),通過5G通信傳輸遠(yuǎn)紅外和可見光視頻數(shù)據(jù),進(jìn)一步采用改進(jìn)的YOLOv5算法檢測標(biāo)定塊,從而定位石灰窯的溫度異常區(qū)域,設(shè)計(jì)并實(shí)現(xiàn)了基于5G通信與改進(jìn)YOLOv5的智能爐窯測溫裝置,最后將其集成在一個(gè)在線系統(tǒng)平臺(tái)上,實(shí)現(xiàn)了對(duì)窯體溫度的實(shí)時(shí)監(jiān)測,保證了測溫的實(shí)時(shí)性、準(zhǔn)確性以及全覆蓋性。
關(guān)鍵詞:5G通信;目標(biāo)檢測;YOLOv5算法;智能測溫;石灰爐窯
中圖分類號(hào):TN391.4;TF068 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):2096-4706(2023)10-0001-05
Abstract: At present, the temperature measurement technology of lime kiln mostly relies on manual temperature measurement, which is not only time-consuming and laborious, but also has low precision, and can not find the potential danger in time. To solve this problem, an intelligent furnace temperature measurement system based on 5G communication and improved YOLOv5 is proposed. By transmitting far-infrared and visible video data through 5G communication, the improved YOLOv5 algorithm is further used to detect the calibration block, so as to locate the temperature abnormal area of the limekiln. An intelligent kiln temperature measurement device based on 5G communication and improved YOLOv5 is designed and implemented. Finally, it is integrated into an online system platform to realize real-time monitoring of kiln temperature and ensure real-time, accuracy and full coverage of temperature measurement.
Keywords: 5G communication; object detection; YOLOv5 algorithm; intelligent temperature measurement; limekiln
0? 引? 言
在生石灰的生產(chǎn)過程中,最重要的工藝環(huán)節(jié)是石灰石的煅燒,石灰爐窯是該環(huán)節(jié)的核心,它的運(yùn)轉(zhuǎn)情況直接關(guān)系到生石灰的產(chǎn)量、質(zhì)量和原料、燃料消耗[1]。而石灰爐窯隨著生產(chǎn)不斷運(yùn)轉(zhuǎn),在運(yùn)轉(zhuǎn)過程中窯體的耐火材料就會(huì)出現(xiàn)不同程度的損失、損壞或者損耗,引起窯體局部外壁溫度過高,最終導(dǎo)致整個(gè)窯體故障,停工停產(chǎn),致使設(shè)備運(yùn)營商承擔(dān)巨大的經(jīng)濟(jì)損失。
目前,針對(duì)爐窯的測溫技術(shù)大多依賴人工測溫或半智能化設(shè)備,現(xiàn)有技術(shù)的主要缺點(diǎn)如下:人工測溫的準(zhǔn)確度較低,耗費(fèi)時(shí)間較大,爐窯的覆蓋面太過局限,測溫效率很低;半智能化設(shè)備測溫精度不高,且存在一定的滯后性,未實(shí)現(xiàn)爐窯全覆蓋測溫;現(xiàn)存裝置未涉及人工智能算法、智能監(jiān)測溫度等,智能化處理數(shù)據(jù)水平較低。因此,本文提出基于5G通信[2]與改進(jìn)YOLOv5的智能爐窯測溫系統(tǒng),從而更加實(shí)時(shí)、準(zhǔn)確地監(jiān)測窯體溫度,可以克服傳統(tǒng)窯體溫度監(jiān)測技術(shù)的準(zhǔn)確性低、實(shí)時(shí)性差、滯后性高以及智能化水平低等缺陷。
1? 基于5G通信的在線測溫裝置硬件設(shè)計(jì)
基于5G通信的爐窯在線測溫裝置是由太陽能電池板供電單元、主控單元和監(jiān)測設(shè)備單元組成,通過遠(yuǎn)紅外視頻采集和可見光視頻采集裝置,實(shí)現(xiàn)對(duì)窯體溫度的實(shí)時(shí)監(jiān)測。
1.1? 硬件設(shè)計(jì)
本設(shè)備采用可見光視頻采集單元和遠(yuǎn)紅外視頻采集單元,實(shí)時(shí)采集現(xiàn)場的可見光視頻信息和遠(yuǎn)紅外圖像信息,紅外熱像儀能夠直觀地顯示出圖像和溫度信息[3],準(zhǔn)確度高、響應(yīng)快、測量范圍廣,尤其適用于測高溫的應(yīng)用場景中,可以實(shí)時(shí)檢測出窯體表面的溫度,當(dāng)出現(xiàn)溫度異常區(qū)域或溫度異常變化區(qū)域,可見光視頻將對(duì)目標(biāo)區(qū)域進(jìn)行跟蹤標(biāo)定,能夠快速找出高溫的所在點(diǎn)。根據(jù)石灰爐窯測溫系統(tǒng)的實(shí)際需求,設(shè)計(jì)出如圖1所示的石灰爐窯溫度測量裝置硬件框圖,其主要包括:可見光視頻采集單元、遠(yuǎn)紅外視頻采集單元、中央控制單元、邊緣計(jì)算單元、電源模塊、5G通信模塊和網(wǎng)絡(luò)交換模塊等。
太陽能板單元中的太陽能板在有光照的情況下,吸收光能,將光能轉(zhuǎn)化成電能存儲(chǔ)到太陽能蓄電池中。太陽能板單元由太陽能控制器和太陽能蓄電池組成。太陽能控制器的作用是保護(hù)太陽能蓄電池,防止過充過放,具有過流保護(hù)、短路保護(hù)、防雷等功能。太陽能蓄電池負(fù)責(zé)給監(jiān)測設(shè)備供電,保證監(jiān)測設(shè)備在室外正常工作。
主控板主要負(fù)責(zé)系統(tǒng)故障檢測、系統(tǒng)邏輯控制、異常情況處理、各單元電源控制、指示燈狀態(tài)控制、雙備份功能單元控制等。
監(jiān)測設(shè)備中可見光視頻采集與紅外遠(yuǎn)視頻采集單元與網(wǎng)絡(luò)交換模塊互聯(lián),用于采集窯體的可見光視頻和遠(yuǎn)紅外視頻,并傳輸?shù)骄W(wǎng)絡(luò)交換模塊,5G通信單元與網(wǎng)絡(luò)接口單元雙向連接,通過網(wǎng)絡(luò)交換單元與其他的單元進(jìn)行數(shù)據(jù)傳輸。其主要用于傳輸可見光視頻、遠(yuǎn)紅外視頻、邊緣計(jì)算處理單元的處理結(jié)果等數(shù)據(jù);由于5G通信單元中的網(wǎng)口較少,進(jìn)而擴(kuò)展一個(gè)網(wǎng)絡(luò)交換單元,用以與各種網(wǎng)絡(luò)設(shè)備進(jìn)行數(shù)據(jù)交互;邊緣處理的單元與網(wǎng)絡(luò)交換單元雙向連接,用于監(jiān)測窯體溫度異常,對(duì)溫度異常區(qū)域或溫度異常變化區(qū)域,在可見光視頻中對(duì)目標(biāo)區(qū)域進(jìn)行跟蹤標(biāo)定,將處理結(jié)果傳輸至網(wǎng)絡(luò)交換單元。
爐窯溫度測量裝置結(jié)構(gòu)示意圖如圖2所示,由于窯體本身長度過長,每個(gè)窯體需安裝三臺(tái)裝置,三臺(tái)裝置的安裝支架都處于綠化帶內(nèi)且相互分離,共同作用保證窯體溫度監(jiān)測全覆蓋。相機(jī)鏡頭方向需垂直于窯體,由于遠(yuǎn)紅外溫度測量傳感器不能正對(duì)太陽,因此,為避免太陽對(duì)傳感器造成傷害,監(jiān)測裝置的高度必須接近窯體中軸線高度,且裝置鏡頭必須有約10至15度的俯視角。
1.2? 裝置功能
本裝置利用5G通信技術(shù),先將采集到的視頻信息和溫度信息傳輸?shù)竭吘壧幚韱卧袛嗍欠駷闇囟犬惓^(qū)域或溫度異常變化區(qū)域,并對(duì)目標(biāo)區(qū)域在可見光視頻中進(jìn)行跟蹤標(biāo)定,若為異常,將生成報(bào)警信息和定異常區(qū)域的可見光視頻一并傳輸給前端,點(diǎn)檢人員通過前端數(shù)據(jù)可以直觀看到疑似隱患區(qū)域,便于快速定位問題。
2? 基于改進(jìn)YOLOv5算法的石灰窯標(biāo)定塊跟蹤算法
YOLO算法舍棄候選框提取階段,采用直接回歸的方法預(yù)測目標(biāo)位置和類別,提高了目標(biāo)檢測速度[4]。YOLO系列算法經(jīng)過不斷的發(fā)展,為實(shí)時(shí)檢測作業(yè)環(huán)境提供了算法支撐。在實(shí)際拍攝中,石灰爐窯上的標(biāo)記塊在整幅圖像中占小,并且由于拍攝角度和外界環(huán)境因素的干擾,得到的圖像存在目標(biāo)邊緣信息缺失的現(xiàn)象,導(dǎo)致標(biāo)記塊檢測效果達(dá)不到實(shí)際生產(chǎn)要求。石灰窯標(biāo)定塊的定位問題在本文至關(guān)重要,只有定位到標(biāo)定塊的絕對(duì)位置才能確定紅外圖像中發(fā)生局部高溫區(qū)域的位置。針對(duì)石灰窯標(biāo)定塊定位問題,本文利用高性能的YOLOv5算法,對(duì)石灰窯標(biāo)定塊在不同角度、不同光線情況下展開研究,提出了一種基于改進(jìn)YOLOv5算法的爐窯標(biāo)定塊檢測算法。
2.1? YOLOv5算法
一階段目標(biāo)檢測網(wǎng)絡(luò)YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)包括輸入端、Backbone、Neck、Head。在輸入端,YOLOv5采用Mosaic數(shù)據(jù)增強(qiáng)方式[5],對(duì)4張圖片進(jìn)行隨機(jī)縮放、隨機(jī)裁剪、隨機(jī)排布后,拼接成和輸入圖像尺寸相同的新圖像,在減少GPU耗費(fèi)的同時(shí)豐富了數(shù)據(jù)集;采用自適應(yīng)錨框計(jì)算,對(duì)不同的數(shù)據(jù)集給定適合該數(shù)據(jù)集的最佳錨框值;采用自適應(yīng)圖片縮放,對(duì)原始圖像添加最少黑邊,提高目標(biāo)檢測速度。
在Backbone中,在YOLOv5中引入Focus模塊,理論上從高分辨率圖像中,周期性地抽出像素點(diǎn)重構(gòu)到低分辨率圖像中,將圖像相鄰的四個(gè)位置進(jìn)行堆疊,聚焦尺寸維度信息到通道維度,提高每個(gè)點(diǎn)感受野,并減少原始信息的丟失,減少計(jì)算量,增加速度;借鑒CSP模塊在減少網(wǎng)絡(luò)計(jì)算量的同時(shí)增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)能力。在Neck中,采用FPN和PAN結(jié)構(gòu),F(xiàn)PN自頂向下傳達(dá)強(qiáng)語義特征,而PAN則自底向上傳達(dá)強(qiáng)定位特征,從不同的主干層對(duì)不同的檢測層進(jìn)行參數(shù)聚合,提高特征表達(dá)能力。YOLOv5采用CIoU作為Bounding box的損失函數(shù),在IoU的基礎(chǔ)上計(jì)算預(yù)測框和真實(shí)框之間的歐氏距離作為懲罰項(xiàng),通過最小化歐氏距離的方式為預(yù)測框提供移動(dòng)方向,加快模型收斂,解決了預(yù)測框與真實(shí)中心重合時(shí)梯度無法有效回傳問題,CIoU計(jì)算公式為:
IoU表示預(yù)測框與真實(shí)框交并比,ρ(b, bgt)表示預(yù)測框和真實(shí)框中心點(diǎn)的距離,c表示最小外接矩形的對(duì)角線距離,v表示長寬比相似因子,定義如下:
其中w gt,h gt,w,h分別表示真實(shí)框?qū)?、高以及預(yù)測框?qū)挕⒏摺?/p>
2.2? 優(yōu)化策略
石灰爐窯上的標(biāo)記塊會(huì)隨著爐窯一起轉(zhuǎn)動(dòng),當(dāng)標(biāo)記塊轉(zhuǎn)動(dòng)到邊緣處像素占比量降低,容易出現(xiàn)漏檢,增加檢測難度;實(shí)際應(yīng)用時(shí),需要將模型部署到算力相對(duì)低下的嵌入式設(shè)備。針對(duì)以上問題,本文在YOLOv5算法的基礎(chǔ)上作出改進(jìn),具體細(xì)節(jié)如下。
YOLOv5的Backbone采用C3結(jié)構(gòu),參數(shù)量較大,檢測速度較慢,在算力較低的移動(dòng)或者嵌入式設(shè)備中難以應(yīng)用。當(dāng)模型較大時(shí),端上設(shè)備面臨著內(nèi)存不足的問題,并且這些實(shí)時(shí)檢測場景要求低延遲,響應(yīng)速度快。針對(duì)此問題本文提出將原主干網(wǎng)絡(luò)替換為更輕量的MobileNetv3[6]。MobileNetv3網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示,使用1×1的卷積擴(kuò)張輸入特征層的維度,再使用3×3的深度可分離卷積提取特征,然后將特征層通過一次全局平均池化和兩次全連接獲取通道所占比重,并由此調(diào)整通道權(quán)重指導(dǎo)注意力機(jī)制,最后使用1×1的卷積降維并與輸入直接連接輸出結(jié)果,改進(jìn)后的網(wǎng)絡(luò)框圖如圖4所示。
MobileNetv3在具有計(jì)算和求導(dǎo)復(fù)雜、對(duì)量化過程不友好的激活函數(shù)swish基礎(chǔ)上提出h-swish激活函數(shù),有效地降低了計(jì)算開銷,h-swish激活函數(shù)公式為:
2.3? 實(shí)驗(yàn)驗(yàn)證
本次實(shí)驗(yàn)數(shù)據(jù)集為自采數(shù)據(jù)集,包含300張可見光圖像,300張遠(yuǎn)紅外圖像,具體訓(xùn)練步驟如下:
實(shí)驗(yàn)環(huán)境配置:服務(wù)器為GPU(Tesla T416G),客戶端為CPU(Intel(R)CPU@3.2 GHz)。
通過圖像增強(qiáng)后共有1 500張圖像,并且按照8:1:1劃分為訓(xùn)練集、驗(yàn)證集和測試集。使用labelImg工具對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注,標(biāo)注格式為yolo。
模型配置:使用MobileNetv3模塊替換YOLOv5源文件中的yolo5s.yaml文件中的backbone部分;修改common.py中的模型解析文件,加入新的MobileNetv3模塊。
使用YOLOv5源文件模型作為初始權(quán)重模型,調(diào)整訓(xùn)練參數(shù),使模型達(dá)到最佳性能。
將模型部署到硬件設(shè)備進(jìn)行測試,部分測試結(jié)果如圖5所示,使用YOLOv5算法檢測標(biāo)記塊的平均準(zhǔn)確率為85.4%,經(jīng)過改進(jìn)后的算法比原算法平均準(zhǔn)確率提高1.8%,不僅有效提高處于邊緣角度的標(biāo)記塊準(zhǔn)確率,同時(shí)改進(jìn)后的算法的平均檢測速度為每張圖片120 ms,符合實(shí)時(shí)作業(yè)環(huán)境要求。
3? 系統(tǒng)平臺(tái)設(shè)計(jì)
結(jié)合石灰爐窯產(chǎn)線的生產(chǎn)工藝,研發(fā)并實(shí)現(xiàn)基于5G通信與改進(jìn)YOLOv5算法的智能石灰窯在線測溫系統(tǒng)平臺(tái),其可以對(duì)生產(chǎn)過程進(jìn)行實(shí)時(shí)智能監(jiān)測管控,有效提升生產(chǎn)線的生產(chǎn)效率及生產(chǎn)過程管控的安全性。該系統(tǒng)實(shí)時(shí)采集爐窯現(xiàn)場可見光視頻和遠(yuǎn)紅外圖像信息,多維度分析爐窯溫度數(shù)據(jù),深度挖掘有價(jià)值信息,提前預(yù)判爐窯每個(gè)點(diǎn)的溫度變化趨勢,第一時(shí)間發(fā)現(xiàn)溫度異常變化區(qū)域,對(duì)爐窯溫度異常變化區(qū)域及異常變化趨勢及時(shí)做出報(bào)警或預(yù)警決策,提醒相關(guān)工作人員結(jié)合監(jiān)測數(shù)據(jù)和現(xiàn)場情況做出合理處置,將安全隱患消滅在萌芽狀態(tài),將企業(yè)風(fēng)險(xiǎn)降到最低,將生產(chǎn)事故扼殺在搖籃里。
基于5G通信與改進(jìn)YOLOv5算法的智能石灰窯在線測溫系統(tǒng)平臺(tái)的主要功能有:雙光視頻實(shí)時(shí)顯示功能、窯溫實(shí)時(shí)統(tǒng)計(jì)功能、報(bào)警日志查詢功能以及歷史數(shù)據(jù)查詢功能。
3.1? 雙光視頻實(shí)時(shí)顯示
前端實(shí)時(shí)在線監(jiān)測裝置通過石灰廠內(nèi)部5G基站將現(xiàn)場可見光視頻、遠(yuǎn)紅外圖像實(shí)時(shí)傳輸至大數(shù)據(jù)分析處理服務(wù)器,點(diǎn)檢人員可以在監(jiān)控中心實(shí)時(shí)直觀查看雙光視頻信息,如圖6所示。由于爐窯長度過長,需多套設(shè)備分段進(jìn)行監(jiān)測,所以,視頻顯示界面將分段分區(qū)域顯示。每個(gè)區(qū)域的上方將對(duì)該區(qū)域最高溫度點(diǎn)進(jìn)行實(shí)時(shí)展示,更新頻率為3 Hz。當(dāng)出現(xiàn)溫度異常區(qū)域或溫度異常變化區(qū)域,可見光視頻將對(duì)目標(biāo)區(qū)域進(jìn)行跟蹤標(biāo)定,點(diǎn)檢人員可以直觀看到疑似隱患區(qū)域,便于快速定位問題,排除隱患。
3.2? 窯溫實(shí)時(shí)統(tǒng)計(jì)
只有當(dāng)爐窯自轉(zhuǎn)一個(gè)圓周后,在線監(jiān)測設(shè)備才可對(duì)窯體橫截面360度進(jìn)行無死角監(jiān)測,窯體每轉(zhuǎn)動(dòng)一周或大于一周時(shí),系統(tǒng)對(duì)橫截面統(tǒng)計(jì)出一個(gè)溫度最大值,根據(jù)窯體轉(zhuǎn)速,暫定90秒統(tǒng)計(jì)一次,該統(tǒng)計(jì)數(shù)據(jù)記為實(shí)時(shí)單周期最大溫度曲線。因此,曲線圖每90秒刷新一次數(shù)據(jù),用于點(diǎn)檢人員在線直觀監(jiān)測爐窯表面最大溫度值,便于及時(shí)發(fā)現(xiàn)異常溫度點(diǎn)。此外,系統(tǒng)還統(tǒng)計(jì)了窯體中軸線實(shí)時(shí)溫度曲線,窯體可視區(qū)域溫度極值動(dòng)態(tài)曲線以及窯體表面溫度變化率曲線,如圖7所示。
3.3? 報(bào)警日志查詢
系統(tǒng)后臺(tái)可對(duì)報(bào)警日志進(jìn)行篩選查詢,可以通過時(shí)間段和報(bào)警類型對(duì)報(bào)警事件進(jìn)行查詢,如圖8所示,其中報(bào)警類型分為高溫異常和變化異常,報(bào)警事件的日志信息可以體現(xiàn)出報(bào)警時(shí)間、報(bào)警地點(diǎn)、報(bào)警設(shè)備、報(bào)警類型、報(bào)警視頻等信息,當(dāng)點(diǎn)檢員關(guān)閉某個(gè)報(bào)警事件時(shí),需手動(dòng)輸入報(bào)警原因及關(guān)閉措施,同時(shí)上傳相關(guān)附件為后期報(bào)警追溯做存檔。
3.4? 歷史數(shù)據(jù)查詢
工作人員可通過系統(tǒng)客戶端查詢歷史數(shù)據(jù)信息,如圖9所示,由于原始溫度數(shù)據(jù)、視頻數(shù)據(jù)都保存在相應(yīng)的數(shù)據(jù)庫和流媒體服務(wù)器中,因此,設(shè)備管理人員可通過多種篩選條件,檢索歷史數(shù)據(jù),具體條件包含時(shí)間段、窯體位置、溫度類型等。同時(shí)可以根據(jù)時(shí)間點(diǎn)、窯體位置打印點(diǎn)檢報(bào)告。此外,還可查看歷史數(shù)據(jù)信息的窯體溫度詳情,如圖10所示。
4? 結(jié)? 論
本文提出的基于5G通信與改進(jìn)YOLOv5的智能爐窯測溫系統(tǒng)很大程度提升了傳統(tǒng)石灰生產(chǎn)效率,在“人工智能+”的浪潮下,真正將智能智造應(yīng)用于傳統(tǒng)生產(chǎn)線,順應(yīng)國家產(chǎn)業(yè)發(fā)展趨勢,習(xí)近平強(qiáng)調(diào),我國經(jīng)濟(jì)已由高速增長階段轉(zhuǎn)向高質(zhì)量發(fā)展階段,正處在轉(zhuǎn)變發(fā)展方式、優(yōu)化經(jīng)濟(jì)結(jié)構(gòu)、轉(zhuǎn)換增長動(dòng)力的攻關(guān)期,迫切需要新一代人工智能等重大創(chuàng)新添薪續(xù)力。該系統(tǒng)恰恰體現(xiàn)了深度學(xué)習(xí)、跨界融合、人機(jī)協(xié)同、自主操控等新特征,使企業(yè)在安全運(yùn)轉(zhuǎn)、提升效率、節(jié)能減員等方面都有質(zhì)的飛躍。
參考文獻(xiàn):
[1] 蔡博峰,曹東,劉蘭翠,等.中國石灰生產(chǎn)和能源消耗分析 [J].環(huán)境工程,2012,30(1):124-127+131.
[2] 杜海濤.5G通訊的技術(shù)現(xiàn)狀及面臨的挑戰(zhàn) [J].大眾標(biāo)準(zhǔn)化,2020(22):197-198.
[3] 儲(chǔ)李德,張丹林,王加峰.遠(yuǎn)程紅外測溫儀在窯爐上的應(yīng)用分析 [J].新世紀(jì)水泥導(dǎo)報(bào),2014,20(2):9-11.
[4] REDMON J,DIVVALA S,GIRSHICK R,et al. You Only Look Once: Unified, Real-Time Object Detection [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Las Vegas:IEEE,2016:779-788.
[5] BOCHKOVSKIY A,WANG CY,LIAO HY M. YOLOv4: Optimal Speed and Accuracy of Object Detection [J/OL].arXiv:2004.10934 [cs.CV].(2020-04-23).https://arxiv.org/abs/2004.10934.
[6] KOONCE B. Mobilenetv3 [M]//KOONCE B.Convolutional Neural Networks with Swift for Tensorflow.Berkeley:Apress,2021:125-144.
作者簡介:王發(fā)(1970—),男,漢族,黑龍江齊齊哈爾人,高級(jí)工程師,本科,研究方向:建構(gòu)筑物檢測技術(shù);麻瑞(1998—),女,漢族,甘肅平?jīng)鋈耍T士在讀,研究方向:計(jì)算機(jī)視覺;袁山山(1999—),女,漢族,陜西西安人,碩士在讀,研究方向:數(shù)字圖像處理;王志富(1996—),男,漢族,陜西延安人,碩士在讀,研究方向:嵌入式系統(tǒng)。