基于OpenCV的遙操作工程機(jī)器人雙目視覺定位技術(shù)

張瑞鵬，尹燕芳

(山東科技大學(xué) 電子信息工程學(xué)院，濟(jì)南 250031)

0 引言

遙操作工程機(jī)器人隨著工業(yè)化的不斷發(fā)展進(jìn)步而更加高端化，遙操作工程機(jī)器人可以在復(fù)雜或危險的工作環(huán)境下代替人力操作，不僅能夠高質(zhì)量地完成高難度工作任務(wù)，還能夠保障人員的安全。為了進(jìn)一步提升遙操作工程機(jī)器人的工作效率，國內(nèi)外的科研人員對機(jī)器人的視覺定位系統(tǒng)進(jìn)行研究設(shè)計，通過相應(yīng)的攝像技術(shù)來獲取圖像信息。

文獻(xiàn)[1]中提出的SIFI算法的定位技術(shù)主要是應(yīng)用攝像機(jī)來鎖定并獲取二維圖像，應(yīng)用三維技術(shù)對二維圖像進(jìn)行三維處理，將二維場景深度擴(kuò)展為三維景物，分別應(yīng)用二維空間數(shù)據(jù)計算理論、計算數(shù)據(jù)的圖形表達(dá)、相應(yīng)的硬件設(shè)備試驗過程，能夠較簡單地處理算法與數(shù)據(jù)之間的反復(fù)性關(guān)系。文獻(xiàn)[2]中提出的SURF算法的定位技術(shù)，主要是通過攝像機(jī)采集圖像的數(shù)據(jù)整理分析，用于后期的機(jī)器人視覺導(dǎo)航，機(jī)器人根據(jù)攝像機(jī)所獲取的位置坐標(biāo)點重新對二維圖像進(jìn)行方向路徑規(guī)劃，此技術(shù)的實現(xiàn)過程主要是將圖像進(jìn)行三維坐標(biāo)提取，再根據(jù)三維坐標(biāo)中的障礙物和機(jī)器人的路徑規(guī)劃走向確定視覺跟蹤系統(tǒng)中的光學(xué)參數(shù)與動力學(xué)參數(shù)。

本文將基于OpenCV對遙操作工程機(jī)器人雙目視覺定位技術(shù)進(jìn)行研究與實現(xiàn)，盡可能地提升遙操作工程機(jī)器人的運(yùn)行精準(zhǔn)度與穩(wěn)定性。

1 基于OpenCV的遙操作工程機(jī)器人雙目視覺目標(biāo)特征提取

本文應(yīng)用的OpenCV技術(shù)能夠為遙操作管理人員提供大量的視覺資源與圖像處理相關(guān)算法，涵蓋圖像空間中的優(yōu)化代碼與實時圖像函數(shù)，為遙操作工程機(jī)器人雙目視覺目標(biāo)特征提取提供穩(wěn)定的函數(shù)基礎(chǔ)與視覺庫基礎(chǔ)。雙目視覺進(jìn)行目標(biāo)跟蹤的過程中需要劃分一個統(tǒng)一的特征分類標(biāo)準(zhǔn)，能夠更好地應(yīng)用與運(yùn)動目標(biāo)的跟蹤與局部目標(biāo)的特征識別[3-4]。

顏色特征是遙操作工程機(jī)器人雙目視覺目標(biāo)特征提取最為常用的視覺特征，顏色特征與運(yùn)動的速度、形態(tài)等參數(shù)無關(guān)，顏色特征包含目標(biāo)與實時場景中的圖像精準(zhǔn)數(shù)據(jù)，應(yīng)用OpenCV技術(shù)首先需要建立一個適合工程機(jī)器人的顏色特征識別空間體系，空間體系中劃分為RGB空間與HSV空間,RGB空間中主要存在光譜色彩參數(shù)，空間中所有的顏色特征均與紅色、黃色、綠色建立關(guān)聯(lián)通道，為目標(biāo)的特征跟蹤提供色彩通道。HSV空間中主要由亮度、色度以及飽和度組成，此空間中的特征數(shù)據(jù)主要反映色彩空間中的顏色本質(zhì)與顏色特征參數(shù)，遙操作工程機(jī)器人需要隨時對彩色圖像分析時便依靠HSV空間中的本質(zhì)特征進(jìn)行效果比較，更加方便于目標(biāo)顏色特征的提取[5-6]。HSV色彩空間的原理構(gòu)成如圖1所示。

圖1 HSV色彩空間的原理構(gòu)成圖

OpenCV圖像處理庫中具有不同層次的數(shù)據(jù)處理函數(shù)，根據(jù)不同的數(shù)據(jù)特征和目標(biāo)圖像結(jié)構(gòu)確定函數(shù)的運(yùn)算模式，OpenCV技術(shù)中的特征提取主要運(yùn)用目標(biāo)小光源作為圖像特征，根據(jù)目標(biāo)周圍的光源以及飽和度對小光源的影響程度進(jìn)行固定形式的像素坐標(biāo)區(qū)分，選取像素坐標(biāo)中的圓形光點，再利用OpenCV圖像處理庫中的幾何算法選取圖像函數(shù)處理庫中的工程機(jī)器人抓手路徑特征，應(yīng)用小光源作為特征的目標(biāo)提取流程如圖2所示。

圖2 應(yīng)用小光源作為特征的目標(biāo)提取流程

在OpenCV的函數(shù)計算庫中有一套標(biāo)準(zhǔn)的數(shù)據(jù)算法包，由幾百個獨(dú)立算法構(gòu)成，算法的運(yùn)算過程中需要遙操作工程機(jī)器人雙目視覺提供目標(biāo)的靶點，由于目標(biāo)的運(yùn)動速度不同、運(yùn)動狀態(tài)不同等因素，會造成工程機(jī)器人提供的靶點目標(biāo)不同，為此本文將靶點作為OpenCV技術(shù)識別的特征之一[7-8]。對于靶點的特征識別有3種匹配方法，分別為基于視覺元素的匹配、基于顏色特征的匹配及基于目標(biāo)形態(tài)的匹配，匹配過程中需要在遙操作工程機(jī)器人視覺傳達(dá)系統(tǒng)中添加體征感知體系，再建立圖像識別模板，使整體靶點特征能夠完整地投入圖像模板中，便于工程機(jī)器人管理人員的復(fù)雜特征識別，在一塊圓形區(qū)域內(nèi)識別出的靶點特征，需要立即在靶點周圍建立坐標(biāo)體系，應(yīng)用函數(shù)坐標(biāo)系進(jìn)行特征解析與數(shù)據(jù)分析，經(jīng)過函數(shù)運(yùn)算的模板能夠簡單對該坐標(biāo)范圍內(nèi)的靶點特征目標(biāo)實現(xiàn)全面積識別定位，還能夠根據(jù)特征中的部分?jǐn)?shù)據(jù)進(jìn)行數(shù)學(xué)形態(tài)識別，提升遙操作工程機(jī)器人雙目識別精準(zhǔn)度，實現(xiàn)了OpenCV技術(shù)的智能化處理[9-10]。

圖像邊緣一般是由像素的灰度值變化而產(chǎn)生，每種目標(biāo)的圖像邊緣都是該目標(biāo)的特征之一，圖像邊緣特征能夠描述目標(biāo)的結(jié)構(gòu)特征，為實現(xiàn)三維雙目視覺的定位提供良好的立體結(jié)構(gòu)元素，本文基于OpenCV技術(shù)中圖像顏色數(shù)據(jù)庫中的顏色變化能夠區(qū)分圖像邊緣中的邊緣特征。

2 基于OpenCV的遙操作工程機(jī)器人雙目視覺目標(biāo)檢測定位

遙操作工程機(jī)器人雙目視覺目標(biāo)檢測定位能夠應(yīng)用于OpenCV圖像庫中，將相關(guān)條件與目標(biāo)進(jìn)行關(guān)聯(lián)，在目標(biāo)識別背景一定的情況下實現(xiàn)不同幀數(shù)的運(yùn)動檢測[11-12]。

基于OpenCV技術(shù)的目標(biāo)檢測最簡單及常見的方法為光流法，此方法主要應(yīng)用遙操作工程機(jī)器人對光流的表達(dá)形式因目標(biāo)運(yùn)動速度與幅度的變化而改變原理，在工程機(jī)器人的雙目視覺目標(biāo)定位過程中計算平面目標(biāo)在幀數(shù)以及幅度方面的變化程度，應(yīng)用光流法對運(yùn)動目標(biāo)檢測能夠突顯方法的光亮流動性特點，三維物體在二維空間中的表達(dá)更能表現(xiàn)遙操作工程機(jī)器人雙目視覺目標(biāo)定位的信息測控能力，光流產(chǎn)生的目標(biāo)亮度矢量因素信息可以根據(jù)目標(biāo)與三維空間中的運(yùn)動狀態(tài)直接對目標(biāo)光流因素進(jìn)行信息提取與跟蹤，梯度算法也屬于光流法中的計算方式之一，在基于雙目視覺能夠提取目標(biāo)運(yùn)動頻率以及精準(zhǔn)幀數(shù)的前提下，分別計算圖像中的稀疏光流密度與密集光流密度的檢測運(yùn)用值，稀疏光流的運(yùn)算量遠(yuǎn)遠(yuǎn)小于密集光流運(yùn)算量，因此梯度算法類的運(yùn)算方法更適用于稀疏光流環(huán)境下[13-14]。

光流法進(jìn)行目標(biāo)跟蹤與檢測的過程中需要滿足充足的視覺亮度與持續(xù)時間的空間平衡，保障圖像檢測過程中的降噪操作穩(wěn)定，由于自然環(huán)境中存在著一些不可避免的噪聲、光線變化、陰影偏移等情況，所以光流法在應(yīng)用于較復(fù)雜環(huán)境下的目標(biāo)檢測工作中不能滿足實際的圖像處理需求[15]。

為了能夠使本文的檢測技術(shù)能更加全面化，本文基于OpenCV技術(shù)在遙操作工程機(jī)器人的雙目視覺運(yùn)行程序中添加背景減除法作為光流法的第二階段檢測方法。背景減除法能夠精準(zhǔn)地處理復(fù)雜環(huán)境中的運(yùn)動目標(biāo)，將目標(biāo)的背景模型與圖像的處理方式分割開來，提取背景與干擾因素的全部信息。首先確定機(jī)器人的檢測背景圖像，在檢測識別的過程中將目標(biāo)的每幀動作，再將動作幀數(shù)與背景圖像進(jìn)行融合尋找經(jīng)過處理的差分圖像，差分圖像的二值化閾值處理運(yùn)動目標(biāo)的形態(tài)處理實現(xiàn)無干擾圖像顯示。背景圖像的差分處理公式如下：

高等職業(yè)院校辦學(xué)主要面向地方產(chǎn)業(yè)一線，以學(xué)生獲得職業(yè)技能作為主要培養(yǎng)目標(biāo)。國務(wù)院印發(fā)的《關(guān)于深化體制機(jī)制改革 加快實施創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略的若干意見》，明確了技術(shù)創(chuàng)新市場導(dǎo)向機(jī)制、成果轉(zhuǎn)化激勵政策等，推進(jìn)了高職院?？蒲泄ぷ鞯陌l(fā)展。高職院校依托校企合作辦學(xué)，深化產(chǎn)教融合，推進(jìn)科研成果轉(zhuǎn)化為社會生產(chǎn)力，對地方產(chǎn)業(yè)起到積極的推動作用[1]。然而，我國高職院?？蒲谐晒霓D(zhuǎn)化率很低，很多科研成果未得到推廣。本文對于高職院校科研成果推廣的現(xiàn)狀、限制因素進(jìn)行分析，并研究對應(yīng)策略，提升高職院?？蒲谐晒D(zhuǎn)化率。

D(x,y)=F(x,y)-B(x,y)

(1)

式中，D、F、B、分別代表背景中運(yùn)動目標(biāo)圖像、背景圖像、預(yù)檢測圖像的位置坐標(biāo)區(qū)域，在實際的背景減除法目標(biāo)檢測中需要精準(zhǔn)識別B值以及位置，計算B值的表達(dá)公式如下所示：

(2)

式中，T代表背景圖像的二值化閾值，將檢測目標(biāo)圖像的灰度值假設(shè)為1，在獲取圖像明亮度前設(shè)目標(biāo)的前景圖像為目標(biāo)檢測區(qū)域，獲取圖像明亮度后設(shè)目標(biāo)背景圖像為目標(biāo)檢測區(qū)域。

為了補(bǔ)充運(yùn)動目標(biāo)檢測過程中的幀數(shù)識別不精準(zhǔn)問題，本文在OpenCV圖像函數(shù)處理庫中引用幀間差分法，將遙操作工程機(jī)器人識別的運(yùn)動目標(biāo)相鄰幀數(shù)以圖像序列的方式獲取目標(biāo)的初始輪廓，還可以應(yīng)用三幀至五幀的差分來進(jìn)行目標(biāo)的幀數(shù)識別，幀間差分法在運(yùn)動目標(biāo)檢測過程中的實現(xiàn)流程如圖3所示。

圖3 幀間差分法在運(yùn)動目標(biāo)檢測過程中的實現(xiàn)流程

設(shè)2幀圖像與1幀圖像分別為K2、K1，經(jīng)過數(shù)學(xué)形態(tài)分析與二值化閾值處理的圖像為R，則幀數(shù)的差分法運(yùn)算公式為：

B(x,y)=|K2(x,y)-K1(x,y)|

(3)

(4)

幀間差分法主要是針對圖像的兩幀數(shù)之間的簡單運(yùn)算，在運(yùn)動目標(biāo)檢測的過程中不受場景的光學(xué)因素影響，所以能夠顯著提升基于OpenCV技術(shù)的實現(xiàn)精準(zhǔn)度。

綜上所述，通過對視頻圖像序列預(yù)處理，分別得到第一幀第二幀圖像，通過OpenCV技術(shù)在遙操作工程機(jī)器人雙目視覺運(yùn)行程序中添加背景減除法，提取圖像背景與干擾因素信息，融合檢測識別過程中目標(biāo)的每幀動作，通過二值化閾值處理運(yùn)動目標(biāo)形態(tài)，實現(xiàn)無干擾圖像顯示，通過幀間差分法檢測運(yùn)動目標(biāo)，實現(xiàn)目標(biāo)定位。

3 實驗研究

遙操作工程機(jī)器人配置如表1所示。

本文通過基于OpenCV的遙操作工程機(jī)器人雙目視覺定位技術(shù)與SIFI算法的定位技術(shù)、與SURF算法的定位技術(shù)進(jìn)行特征匹配，匹配結(jié)果如圖4所示。

根據(jù)圖4可知，本文研究的基于OpenCV的遙操作工程機(jī)器人雙目視覺定位技術(shù)的匹配精度較高，能夠確保匹配效果。而傳統(tǒng)方法在匹配過程中存在一定誤差。本文研究的匹配方法能夠適用于任何圖像特征，通過創(chuàng)建模板和尋找模板來建立模型，通過模板匹配來提高匹配的精度。

表1 遙操作工程機(jī)器人配置表

圖4 匹配結(jié)果實驗圖

根據(jù)圖5可知，本文研究的基于OpenCV的遙操作工程機(jī)器人雙目視覺定位技術(shù)匹配時間較低，在0.4～1.1 s之間波動，而SIFI算法的匹配時間在0.7～1.6 s之間波動，SURF算法的匹配時間在1.3～1.7 s之間波動，由此可見，基于OpenCV的遙操作工程機(jī)器人雙目視覺定位技術(shù)匹配時間較低，效率較好。

圖5 匹配精度實驗圖

為了進(jìn)一步驗證定位結(jié)果的準(zhǔn)確率，通過3次定位進(jìn)行實驗分析，對同一矩形塊進(jìn)行定位，算法性能概括如表2所示。

表2 基于SIFI算法的定位技術(shù)定位準(zhǔn)確率算法概括表

表3 基于SURF算法的定位技術(shù)定位準(zhǔn)確率算法概括表

表4 基于openCV的定位技術(shù)定位準(zhǔn)確率算法概括表

根據(jù)表2～4可知，本文研究的基于openCV的定位技術(shù)定位準(zhǔn)確率算法誤差率平均值為0.6%，遠(yuǎn)遠(yuǎn)低于傳統(tǒng)算法，定位能力更強(qiáng)。

4 結(jié)束語

為了增強(qiáng)遙操作工程機(jī)器人雙目視覺定位技術(shù)定位準(zhǔn)確率，基于OpenCV提出了一種改進(jìn)的遙操作工程機(jī)器人雙目視覺定位技術(shù)，該定位技術(shù)具有很強(qiáng)的定位能力，能夠有效提高匹配算法準(zhǔn)確率。本文的研究對于遙操作工程機(jī)

器人定位系統(tǒng)設(shè)計有重要的參考意義，同時也可以為遠(yuǎn)程醫(yī)療提供一定的參考。