視頻拼接融合技術(shù)在斗輪機無人值守系統(tǒng)中的研究應(yīng)用

串志強 周洪利

[摘 ? ?要]隨著數(shù)字化煤場信息化的快速發(fā)展，煤場管理人員和技術(shù)人員以及操作員缺乏視頻監(jiān)控信息集成手段的認(rèn)識，無法實現(xiàn)將有效的監(jiān)控信息與實際的場景建立關(guān)聯(lián)，在斗輪機工作過程中可能會存在大量的盲點，無法實時掌握監(jiān)控區(qū)域的整體實時狀況，無法最大化發(fā)揮出視頻監(jiān)控的價值，故原有視頻監(jiān)控模式在條形煤場斗輪機無人值守系統(tǒng)中無法滿足現(xiàn)實需求。提出一種實現(xiàn)視頻圖像融合的技術(shù)方案并成功應(yīng)用于項目，系統(tǒng)采用視頻圖像特征提取、視頻圖像融合等算法，結(jié)合攝像機合理布局，完成對數(shù)字化條形煤場的圖像拼接與融合。結(jié)合項目實際情況，將煤場馬道上六個攝像機進(jìn)行視頻融合，完成在一幅圖像中查看整個煤場的實時動態(tài)情況，實現(xiàn)了將視頻監(jiān)控信息與傳感器信息進(jìn)行有效融合，從而獲得實際應(yīng)用場景的三維全景圖，提升故障診斷能力，將視頻監(jiān)控應(yīng)用提升一個臺階。為斗輪機設(shè)備、周邊設(shè)備及人員的工作安全提供有力的技術(shù)支撐和保障，為斗輪機無人值守系統(tǒng)安全運行提供決策支持。

[關(guān)鍵詞]全景拼接;圖像配準(zhǔn);圖像融合;特征點去噪

[中圖分類號]TM621 [文獻(xiàn)標(biāo)志碼]A [文章編號]2095–6487（2022）01–0–04

[Abstract]With the rapid development of digital coal yard informatization， The managers， technicians and operators of coal yard are lack of large-scale discrete video information means of effective integration for the traditional video monitoring system， and can't associate the effective monitoring video with the real scene in isolation. There may be a lot of blind spots in the working process of bucket wheel， and they can't grasp the overall real-time situation of the monitoring area in real time， and can't maximize the use of video monitoring Therefore， the original video monitoring mode can not meet the practical needs in the unattended system of bucket wheel machine in strip coal yard. In this paper， a fusion algorithm of strip image and video image is proposed and applied to the project. Combined with the actual situation of the project， the video fusion of six cameras on the raceway of the coal yard is completed to view the real-time dynamic situation of the whole coal yard in one image， so as to effectively integrate， analyze and process massive video monitoring and various complex sensor information， so as to obtain the panoramic visualization and fault judgment ability in three-dimensional space-time， and enhance the application of video monitoring to a higher level steps. It provides strong technical support and guarantee for the safety of the bucket wheel machine equipment， peripheral equipment and personnel， and provides decision support for the safe operation of the unattended system of the bucket wheel machine.

[Keywords]panoramic mosaic; image registration; image fusion; feature point denoising

隨著攝像機應(yīng)用技術(shù)的不斷演進(jìn)和成熟，圖像拼接技術(shù)在視頻領(lǐng)域應(yīng)用受到越來越多的重視。國內(nèi)外很多研究者對其進(jìn)行了不同方式的探索和研究，取得了一定的成果。在高空飛行拍攝森林圖像時，受到地理地貌、飛行高度、無人機穩(wěn)定性、鏡頭分辨率等因素的影響，無人機只能一次獲取部分林區(qū)圖像。因此需要使用圖像拼接技術(shù)對拍攝圖像進(jìn)行拼接，以此獲取整個林區(qū)全貌。然而，國內(nèi)外大部分研究針對圖像拼接技術(shù)、視頻拼接技術(shù)發(fā)展起步較晚，技術(shù)尚未成熟完善。視頻拼接原理上雖然是多副圖像的拼接，但是在實際使用時應(yīng)考慮同步性，這就需要發(fā)現(xiàn)一種效果更佳的圖像拼接技術(shù)來提高處理速度，保證同步性。

在傳統(tǒng)的視頻監(jiān)控系統(tǒng)中只能觀察到攝像機周邊的情況，對于大場景觀察到的情況有一定的受限性，可能并不能清晰地觀察到對應(yīng)場景的整體情況，視線相對比較狹窄，水平方向和垂直方向僅僅是在25°～70°，在傳統(tǒng)的視頻監(jiān)控系統(tǒng)中，相關(guān)的操作人員或技術(shù)人員在根據(jù)視頻觀察實際情況時，對技術(shù)人員或者操作人員有比較高的要求，對場景的熟悉程度提出更高的要求，對多個屏幕來進(jìn)行觀察分析時，只觀察其中某幾個視頻圖像，需要視線不停切換，因為每個圖像之間只是有比較小的區(qū)域存在區(qū)別，如此無形之中增加了工作人員的工作負(fù)擔(dān)，對正常運行操作有比較大的影響?？傊?，操作人員不能及時地從全場景觀察到對應(yīng)具體的事物變化情況，可能存在安全隱患或事故的發(fā)生，存在一定的事故風(fēng)險，不利于企業(yè)經(jīng)營和生產(chǎn)的有序安全運行。

煤場管理人員、技術(shù)人員以及操作員對傳統(tǒng)的視頻監(jiān)控系統(tǒng)缺乏有效集成的大場景在空間上分割、隔離視頻信息手段，不能迅速將孤立視頻內(nèi)容與真實的場景相關(guān)聯(lián)。在斗輪機工作過程中可能會存在大量的盲點，無法實時掌握監(jiān)控區(qū)域的整體實時狀況，無法最大化發(fā)揮出視頻監(jiān)控的價值，故原有視頻監(jiān)控模式在條形煤場斗輪機無人值守系統(tǒng)中無法滿足現(xiàn)實需求。

該系統(tǒng)首先是在軟件架構(gòu)上的創(chuàng)新，將整個系統(tǒng)應(yīng)用微服務(wù)架構(gòu)的思想，將服務(wù)根據(jù)實際業(yè)務(wù)需求劃分為多個層級，盡可能減少服務(wù)的耦合度，更高更有效地利用服務(wù)器資源。另外，將位置上相關(guān)聯(lián)的視頻進(jìn)行特征提取，完成特征篩選;采用拼接融合算法，完成圖像拼接以及深度融合，將位置相關(guān)聯(lián)的視頻圖像拼接成高分辨率、寬視角的完整圖像。該研究適用于比較開闊、場景比較單一可控的大場景區(qū)域或者工業(yè)場景，如煤場、礦場、港口等區(qū)域，該方案提高視頻使用效率，提升用戶體驗，共同提升視頻指揮體系或者應(yīng)急指揮體系的價值。

1 系統(tǒng)關(guān)鍵流程與實施

本系統(tǒng)關(guān)鍵業(yè)務(wù)主要分為兩部分：①業(yè)務(wù)方面，結(jié)合大數(shù)據(jù)技術(shù)方面的應(yīng)用;②視頻處理方面，包括原始視頻數(shù)據(jù)和融合視頻數(shù)據(jù)，以及結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。其主要流程如圖1所示。

（1）客戶端將業(yè)務(wù)請求（Request）數(shù)據(jù)發(fā)送給消息中間件（RocketMQ）服務(wù)。

（2）通過消息中間件服務(wù)將客戶端業(yè)務(wù)數(shù)據(jù)請求分發(fā)給管理服務(wù)。

（3）經(jīng)過管理服務(wù)內(nèi)部處理后，將返回的數(shù)據(jù)格式化。

（4）管理服務(wù)將處理好的數(shù)據(jù)通過消息中間件，將數(shù)據(jù)返回給UI客戶端。

（5）UI客戶端發(fā)送請求視頻融合。

（6）管理服務(wù)生成視頻融合任務(wù)，并制定相應(yīng)的策略，同時負(fù)責(zé)動態(tài)負(fù)載均衡地將任務(wù)分配到比較空閑的視頻融合服務(wù)上進(jìn)行計算。

（7）在管理服務(wù)生成任務(wù)和確定視頻融合服務(wù)后，將任務(wù)下發(fā)給制定的視頻融合服務(wù)上。

（8）視頻融合服務(wù)啟動任務(wù)后，通過GB28181協(xié)議從視頻監(jiān)控服務(wù)拉取視頻流，并進(jìn)行視頻融合算法計算。

（9）視頻融合服務(wù)將計算結(jié)果事實推送給UI客戶端，UI客戶端對融合后的視頻進(jìn)行解碼播放。

其中結(jié)構(gòu)化數(shù)據(jù)包含的流程包括：UI與管理服務(wù)，管理服務(wù)與視頻融合服務(wù)之間的消息通信;非結(jié)構(gòu)化數(shù)據(jù)包括：與視頻監(jiān)控服務(wù)之間視頻流存儲與拉取以及視頻融合服務(wù)與客戶端（Client）之間的視頻流拉取或推送。

2 視頻融合模型計算

2.1 視頻圖像配準(zhǔn)

2.1.1 視頻圖像特征點提取

基于SIFT特征點的圖像匹配算法，需要采用的步驟為：①根據(jù)算法獲取相鄰圖像間的重疊區(qū);②對重疊區(qū)做特征檢測，獲取特征點;③對特征點做特征匹配，以完成對圖像配準(zhǔn)的前期數(shù)據(jù)準(zhǔn)備。

2.1.2 特征點優(yōu)化與去噪

在提取的特征點中，存在部分極值點不是關(guān)鍵點的情況，所以需要優(yōu)化調(diào)對比度比較低的特征點，剔除處于圖像邊緣的特征點。達(dá)到更能符合實際情況以及特征點能夠精確反映真實情況的目的。另外，根據(jù)實際情況，劃分場景為敏感區(qū)域和非敏感區(qū)域，針對敏感區(qū)域增大特征點密度處理;針對實際場景中非敏感區(qū)域，降低特征點密度。對特征點所屬不同區(qū)域做加權(quán)處理，盡可能無限逼近現(xiàn)場情況。

2.1.3 特征匹配算法

在采用SIFT匹配算法時，通過算法找到最近鄰點與次近鄰點進(jìn)行特征匹配。

2.2 視頻圖像融合

多個攝像機在不同方位對同一個場景進(jìn)行拍攝，因為所處的方位不同可能會產(chǎn)生因為外部環(huán)境不同而造成圖像亮度不同的情況。，利用視頻融合技術(shù)可消除圖像重疊部分的拼接縫問題和亮度等問題。

3 實施效果

四期煤場共4個條形煤場，#2斗輪機在3.4號煤場作業(yè)，煤場東西長270 m，單個條形煤場寬45 m。2#斗輪機上方中間和北面有兩臺檢修馬道，上布置有10個球機，每條馬道布置5個，間隔45 m。本文選擇攝像頭6、攝像頭7和攝像頭8作為示例，煤場攝像機部署如圖2所示。

本系統(tǒng)設(shè)備采用?？稻W(wǎng)絡(luò)攝像機，型號為：DS-SDE7232IW-A（C），經(jīng)過視頻圖像特征點提取、配準(zhǔn)以及視頻圖像融合，實施效果如圖3和圖4所示。

另外，視頻融合后的結(jié)果如圖5所示，融合后基本上能夠覆蓋煤場的部分位置。

由上述結(jié)果所示，基本上滿足目前需求。

4 結(jié)論

本研究引入目前比較流行通用的大數(shù)據(jù)開發(fā)的微服務(wù)架構(gòu)，對系統(tǒng)開發(fā)進(jìn)行了有益的嘗試。算法方面，采用視頻圖像特征提取、視頻圖像融合等算法，完成對條形煤場的圖像拼接與融合，達(dá)到了整合數(shù)據(jù)、動態(tài)分析、實時處理海量視頻信息的目的，同時與各類復(fù)雜傳感器信息進(jìn)行深度融合，通過上述數(shù)據(jù)整合獲得在三維時空中的全景可視及故障判斷能力的目的，同時也將視頻監(jiān)控應(yīng)用提升一個臺階。在數(shù)字化煤場安全運營方面，為斗輪機設(shè)備、周邊設(shè)備及人員的工作安全提供有力的技術(shù)支撐和保障，保障斗輪機無人值守安全運行。

參考文獻(xiàn)

[1] 陳淑清.一種改進(jìn)的圖像無縫拼接算法[J].武夷學(xué)院學(xué)報，2016，35（6）：65-69.

[2] 梁高升. 基于多攝像頭的全景圖像拼接系統(tǒng)[D].濟南：濟南大學(xué)，2016.

[3] 楊艷春，李嬌，王陽萍.圖像融合質(zhì)量評價方法研究綜述[J].計算機科學(xué)與探索，2018，12（7）：1021-1035.

[4] 朱煉，孫楓.夏芳莉，等.圖像融合研究綜述[J].傳感器與微系統(tǒng)，2014，33（2）：14-18.

[5] CHANG C H，SATO Y，CHUANG Y.Shape—preserving half-projective warps for image stitching[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition，2014：3254-3261.

[6] 資訊新視界編導(dǎo).諾基亞推出虛擬現(xiàn)實攝像機OZO[J].上海國資，2015，26（8）：14.

[7] 王糍，周軍.圖像美感質(zhì)量評價方法研究[J].網(wǎng)絡(luò)新媒體技術(shù)，2018，7（3）：19-24.

[8] CANNY J.A computational approach to edge detection [J].IEEE Transactions on Pattern analysis and Machine Intelligence，1986，8（6）：679-698.

[9] 鄒超洋.基于多攝像頭全景圖像拼接的實時視頻監(jiān)控技術(shù)研究[D].廣州：華南理工大學(xué)，2014.

[10] 趙小川，何灝，繆遠(yuǎn)誠.MATLAB數(shù)字圖像處理實戰(zhàn)[M].北京：機械工業(yè)出版社，2013.

[11] 劉瑞禎，于仕琪.OpenCV教程基礎(chǔ)篇[M].北京：北京航空航天大學(xué)出版社，2007.

[12] Rafael C. Gonzalez， Richard E. Woods， Steven L. Eddins. Digital Image Processing Using MATLAB（阮秋琦譯）[M].北京：電子工業(yè)出版社，2014.

[13] 朱云芳，葉秀清，顧偉康.視頻序列的全景圖拼接技術(shù)[J].中國圖象圖形學(xué)報，2006，11（8）：1150-1155.

[14] 苗立剛.視頻監(jiān)控中的圖像拼接與合成算法研究[J].儀器儀表學(xué)報，2009，30（4）：857-861.

[15] 施明登，周鵬，白鐵成.全景圖像拼接技術(shù)在胡楊研究中的應(yīng)用[J].湖南農(nóng)業(yè)科學(xué)，2014，53（22）：5539-5542.

[16] 陸文周.Qt5開發(fā)及實例[M].北京：電子工業(yè)出版社，2015.

[17] 劉艷英.高清視頻切換技術(shù)的研究與實現(xiàn)[D].泉州：華僑大學(xué)，2014.

[18] 庫德強.基于工控機和PLC的監(jiān)控系統(tǒng)的研究[D].沈陽：沈陽工業(yè)大學(xué)，2006v.

[19] Brown M， Lowe D.G. Automatic Panoramic Image Stitching using Invariant Features International Journal of Computer Vision[J]， 2007， 74（1）：59-73.

[20] Ozawa T， Kitani K.M， Koike H. Human-centric Panoramic Imaging Stitching[C]// AH12 Proceedings of the 3rd Augmented Human International Conference Article No.20， New York：ACM， 2012.

[21] 劉李緯.基于特征的多路視頻實時拼接技術(shù)的研究與實現(xiàn)[D].北京：北京工業(yè)大學(xué)，2015.

[22] 施明登，周鵬，白鐵成.全景圖像拼接技術(shù)在胡楊研究中的應(yīng)用[J].湖南農(nóng)業(yè)科學(xué)，2014，53（22）：5539-5542.

[23] 李宗辰，朱秀昌.基于VLC的Android多路視頻監(jiān)控系統(tǒng)[J].現(xiàn)代電子技術(shù)，2013，36（24）：63-66.

[24] 趙書睿.全景圖像拼接關(guān)鍵技術(shù)研究[D].成都：電子科技大學(xué)，2013.

[25] 吳瓊.多攝像頭視頻融合系統(tǒng)的設(shè)計與實現(xiàn)[D].成都：電子科技大學(xué)，2013.

[26] 霍春寶，童帥，趙立輝.SIFT特征匹配的顯微全景圖拼接[J].遼寧工程技術(shù)大學(xué)學(xué)報（自然科學(xué)版），2015，34（1）：93-96.

[27] 徐杰，金湘亮，白瑞廣.一種改進(jìn)的攝像頭視頻實時拼接方法[J].計算機工程與應(yīng)用，2013，49（24）：179-181.

[28] 阮芹.實時視頻拼接系統(tǒng)關(guān)鍵技術(shù)研究[D].武漢：華中科技大學(xué)，2011.

[29] 尹文生，羅榆林，李世其.基于OpenCV的攝像機標(biāo)定[J].計算機工程與設(shè)計，2007，28（1）：197-199.

[30] 張春林，余黃河.基于FPGA的圖像融合處理系統(tǒng)方案設(shè)計[J].信息安全與技術(shù)，2013，28（1）：59-61.

[31] 唐福明.圖像拼接中顏色校正及圖像融合研究[D].長沙：中南大學(xué)，2013.

[32] 朱偉，趙春光.OpenCV圖像處理編程實例[M].北京：電子工業(yè)出版社，2016.

[33] 張恒.基于SIFT的圖像拼接算法研究[D].天津：河北工業(yè)大學(xué)，2012.

[34] 薛佳樂，趙萌，張哲，等.針對大視差圖像拼接的顯性子平面配準(zhǔn)[J].中國圖象圖形學(xué)報，2018，23（3）：323-332.

[35] 王震，許曉航，王靜，等.多路高清YUV視頻GPU實時拼接研究[J].計算機工程，2016，42（12）：314-320.

[36] XIANG T Z，XIA G S，BAI X，et al. Image Stitching by Line-guided Local Warping with Global Similarity Constraint[J].Pattern Recognition，2018，83：481-497.

[37] OTSU N. A threshold selection method from gray - level histograms[J]. IEEE transactions on systems， man， and cybemetics， 1979，9（1）：62-66.

[38] ZHANG C， XIE Y，LIU D， et al. Fast threshold image segmentation based on 2D fuzzy Fisher and random local optimized QPSO[J]. IEEE Transactions on Image Processing，2017，26（3）：1355-1362.

[39] 王偉，陸佩忠.數(shù)字圖像拼接技術(shù)[J].小型微型計算機系統(tǒng)，2006，27（7）：6.