分布式算法對(duì)工業(yè)機(jī)器人視覺(jué)伺服圖像處理系統(tǒng)的影響

方赟，李石朋,2，王娟

（1.中國(guó)國(guó)際海運(yùn)集裝箱（集團(tuán)）股份有限公司，廣東深圳 518067；2.浙江大學(xué)機(jī)械工程學(xué)院，杭州 310058；3.華南理工大學(xué)自動(dòng)化科學(xué)與工程學(xué)院，廣州 510641）

0 引言

近年來(lái)，以高速視頻流提供的圖像為控制信息的視覺(jué)伺服得到了廣泛的研究[1-3]，一方面通過(guò)視覺(jué)傳感器機(jī)器人可與環(huán)境進(jìn)行更豐富圖像交互，擴(kuò)展機(jī)器人的應(yīng)用領(lǐng)域；另一方面隨著工業(yè)4.0的發(fā)展，小批量、多圖像、可重構(gòu)的工業(yè)制造模型要求機(jī)器人具有自主感知、自主決策等功能，這也對(duì)機(jī)器人結(jié)合視覺(jué)信息的綜合能力提出了更高的要求[4,5]。機(jī)器人視覺(jué)伺服技術(shù)區(qū)別于傳統(tǒng)的視覺(jué)引導(dǎo)或視覺(jué)定位，以能對(duì)高速視頻流圖像信息做出實(shí)時(shí)反饋為特點(diǎn)，為機(jī)器人的應(yīng)用提供了靈活多變的技能基元。在伺服圖像進(jìn)行的過(guò)程中，原始的視頻流圖像信息并不能直接為機(jī)器人指令使用，需要經(jīng)過(guò)一系列的圖像處理過(guò)程，如分割、銳化、邊緣提取等預(yù)處理步驟[3]。在當(dāng)前的視覺(jué)伺服研究概念下，為保證機(jī)器人能夠更多地獲取有效信息和較大的工作范圍，一般都會(huì)采用大視野的高清工業(yè)相機(jī)作為視覺(jué)傳感器，而高質(zhì)量的圖像為機(jī)器人帶來(lái)豐富環(huán)境信息的同時(shí)，也必定給圖像處理單元帶來(lái)更高的負(fù)載要求，因此，能否對(duì)高速高清的目標(biāo)圖像完成實(shí)時(shí)的視覺(jué)伺服處理過(guò)程，是制約以視覺(jué)圖像為控制信號(hào)的機(jī)器人控制系統(tǒng)操作精度和實(shí)時(shí)性的關(guān)鍵因素[6,7]。

目前大多數(shù)工業(yè)機(jī)器人受尺寸、成本、能耗等方面的影響，工業(yè)機(jī)器人的自身資源往往是局限的，工業(yè)機(jī)器人提供的本地計(jì)算資源無(wú)法滿足實(shí)時(shí)處理信息密集型圖像的需求，因此為視覺(jué)伺服系統(tǒng)提供更強(qiáng)大的圖像處理能力成為解決這一問(wèn)題的可靠思路。隨著計(jì)算機(jī)技術(shù)的發(fā)展，云計(jì)算為工業(yè)機(jī)器人提供了強(qiáng)大的計(jì)算服務(wù)，解決了工業(yè)機(jī)器人資源受限的難題。然而，具有遠(yuǎn)程部署屬性的云服務(wù)器無(wú)法滿足延時(shí)敏感任務(wù)的實(shí)時(shí)性要求，同時(shí)增加了通信網(wǎng)絡(luò)的壓力，導(dǎo)致了更高的網(wǎng)絡(luò)延時(shí)，無(wú)法從根本上解決上述視覺(jué)伺服圖像中高速視頻流圖像處理過(guò)程的瓶頸問(wèn)題，針對(duì)該問(wèn)題，一種新型計(jì)算資源——“霧計(jì)算”被提出[8,9]。作為云計(jì)算的擴(kuò)展與提升，霧計(jì)算將云計(jì)算服務(wù)遷移至網(wǎng)絡(luò)邊緣，通過(guò)在終端設(shè)備或者數(shù)據(jù)源附近部署一定數(shù)量的霧節(jié)點(diǎn)進(jìn)而完成霧計(jì)算平臺(tái)的搭建。為了實(shí)現(xiàn)面向工業(yè)機(jī)器人的實(shí)時(shí)、高效處理目標(biāo)，通過(guò)霧計(jì)算為工業(yè)機(jī)器人制定有效的解決方案，近距離、分布式部署的霧節(jié)點(diǎn)彌補(bǔ)了工業(yè)機(jī)器人計(jì)算資源不足的缺點(diǎn)，通過(guò)在霧節(jié)點(diǎn)建立不同的應(yīng)用模塊、算法，為工業(yè)機(jī)器人提供多粒度、多模式計(jì)算服務(wù)。

本文以改善高清視頻流圖像實(shí)時(shí)處理能力為目標(biāo)，從“系統(tǒng)架構(gòu)與模型-算法設(shè)計(jì)-實(shí)驗(yàn)結(jié)果驗(yàn)證”3個(gè)主要維度對(duì)基于霧計(jì)算的工業(yè)機(jī)器人視覺(jué)伺服系統(tǒng)圖像自適應(yīng)實(shí)時(shí)處理相關(guān)技術(shù)開(kāi)展一系列研究，主要貢獻(xiàn)如下：

（1）分析了工業(yè)機(jī)器人視覺(jué)伺服系統(tǒng)實(shí)時(shí)性能限制要素，建立起以視覺(jué)傳感器-霧服務(wù)器-控制器-機(jī)器人的基于霧計(jì)算的圖像處理模型，充分利用近距離、分布式的霧計(jì)算特點(diǎn)，提高視覺(jué)系統(tǒng)圖像處理速度；

（2）研究了不同速度和大小視頻流情況下對(duì)視覺(jué)伺服系統(tǒng)實(shí)時(shí)性的影響，在考慮機(jī)器人視覺(jué)系統(tǒng)實(shí)時(shí)性的同時(shí)考慮了系統(tǒng)計(jì)算資源的合理分配問(wèn)題，根據(jù)不同的計(jì)算負(fù)載要求設(shè)計(jì)出自適應(yīng)實(shí)時(shí)圖像處理算法；

（3）通過(guò)實(shí)時(shí)的自適應(yīng)圖像處理資源管理，針對(duì)不同的任務(wù)需要自動(dòng)配置計(jì)算負(fù)載，提高了在高速高分辨率視頻流情況下視覺(jué)系統(tǒng)的圖像處理能力，從而提高以圖像為控制信號(hào)的為機(jī)器人控制精度和速度。

1 系統(tǒng)架構(gòu)與模型設(shè)計(jì)

視覺(jué)伺服系統(tǒng)的實(shí)質(zhì)是根據(jù)目標(biāo)位置與當(dāng)前位置的函數(shù)誤差來(lái)計(jì)算機(jī)器人控制器反饋指令[10]，基于反饋信號(hào)的不同分為基于圖像的視覺(jué)伺服IBVS（Image-Based-Visual-Servoing），基于位置的視覺(jué)伺服PBVS（Position-Based-Visual-Servoing），以及結(jié)合兩者特點(diǎn)的混合視覺(jué)伺服HBVS（Hybrid-Based-Visual-Servoing）。其中IBVS的目標(biāo)函數(shù)中所選擇的控制信號(hào)是純粹的圖像信息，IBVS相比于PBVS控制結(jié)構(gòu)更為簡(jiǎn)單，只需要對(duì)圖像信息進(jìn)行比較而不需要進(jìn)行三維重構(gòu)，其對(duì)環(huán)境噪聲也有更高的魯棒性[11]，因此基于圖像的視覺(jué)伺服系統(tǒng)架構(gòu)也得到了更多研究者的關(guān)注[13,14]，其基本結(jié)構(gòu)如圖1所示。

圖1 基于圖像視覺(jué)伺服系統(tǒng)架構(gòu)

如圖1所示，對(duì)于虛線內(nèi)的主要耗時(shí)模塊，當(dāng)前視覺(jué)伺服系統(tǒng)主要通過(guò)上位機(jī)進(jìn)行處理，無(wú)論當(dāng)前需要處理圖像的大小和頻率如何，在完成一個(gè)視覺(jué)系統(tǒng)的配置后，在該視覺(jué)系統(tǒng)進(jìn)行的所有計(jì)算圖像均由此單一設(shè)備節(jié)點(diǎn)完成，不能根據(jù)圖像的需求進(jìn)行靈活布置，這樣的資源分配機(jī)制有著較大的隨機(jī)性，不能保證系統(tǒng)能夠得到足夠的計(jì)算需求。針對(duì)這一問(wèn)題，本文設(shè)計(jì)了如圖2所示的基于霧計(jì)算的視覺(jué)伺服實(shí)時(shí)圖像自適應(yīng)處理控制模型。

在圖2中，視覺(jué)傳感器針對(duì)不同的工作環(huán)境獲取到不同幀率和不同大小的目標(biāo)圖像，霧服務(wù)器會(huì)根據(jù)目標(biāo)圖像的大小和幀率，結(jié)合圖像算法所需提取的特征值計(jì)算出各情況下所必須的圖像負(fù)載，并自動(dòng)分配硬件資源，在保證滿足計(jì)算要求的情況下完成機(jī)器人控制器基于視覺(jué)信息的指令。這種基于霧計(jì)算的視覺(jué)伺服圖像自適應(yīng)處理模型可以實(shí)時(shí)完成系統(tǒng)的圖像處理圖像[15]，能夠很好的適應(yīng)不同的應(yīng)用環(huán)境，尤其針對(duì)多視覺(jué)信息來(lái)源或多控制圖像的視覺(jué)伺服系統(tǒng)，以及工作環(huán)境復(fù)雜的視覺(jué)圖像。以下根據(jù)上述圖像需求進(jìn)行實(shí)時(shí)資源分配算法的設(shè)計(jì)。

圖2 基于霧計(jì)算的視覺(jué)伺服實(shí)時(shí)圖像自適應(yīng)處理控制系統(tǒng)架構(gòu)

根據(jù)基于霧計(jì)算的視覺(jué)伺服實(shí)時(shí)圖像自適應(yīng)處理控制模型建立系統(tǒng)模型，系統(tǒng)模型中部署了多臺(tái)工業(yè)機(jī)器人和多個(gè)霧節(jié)點(diǎn)。F表示霧節(jié)點(diǎn)集合，F(xiàn)={F1,F2,…,Fn,…,FN}，霧節(jié)點(diǎn)Fn的計(jì)算能力記為Cn；I表示一個(gè)圖像集合，I={I1,I2,…,Im,…,IM}，圖像Im的屬性可模型化為三元組(Cm,Tm,max)；Cm表示圖像Im需要的計(jì)算資源量，Tm,max表示圖像Im的最大容忍時(shí)間。由計(jì)算資源選擇系統(tǒng)模型得知，每個(gè)圖像可以從N個(gè)霧節(jié)點(diǎn)中選擇一個(gè)霧節(jié)點(diǎn)來(lái)完成處理。對(duì)于圖像Im，其在霧節(jié)點(diǎn)Fn下的時(shí)延記為T(mén)nm、能耗記為Enm。

計(jì)算資源選擇策略的優(yōu)化目標(biāo)為最小化圖像處理時(shí)延，目標(biāo)函數(shù)如式（2）所示：

其中，“1）”和“2）”為計(jì)算資源選擇決策變量約束條件，即每個(gè)圖像只能選擇一個(gè)計(jì)算資源，“3）”為每個(gè)計(jì)算資源的約束條件，“4）”為每個(gè)圖像的時(shí)延約束條件。

2 基于圖像計(jì)算容量的自適應(yīng)霧計(jì)算節(jié)點(diǎn)選擇算法設(shè)計(jì)

在本部分內(nèi)容中，通過(guò)在霧服務(wù)器中設(shè)計(jì)計(jì)算資源選擇模塊實(shí)現(xiàn)自適應(yīng)計(jì)算資源選擇。對(duì)于每個(gè)圖像來(lái)說(shuō)，存在多個(gè)計(jì)算資源可供選擇，每個(gè)計(jì)算資源具有不同的性能與優(yōu)勢(shì)。在霧計(jì)算平臺(tái)中，異構(gòu)圖像通過(guò)選擇不同的計(jì)算資源來(lái)完成處理。然而，圖像的復(fù)雜度、實(shí)時(shí)性需求給計(jì)算資源選擇帶來(lái)了挑戰(zhàn)。計(jì)算資源選擇是實(shí)施霧計(jì)算的關(guān)鍵，也是實(shí)現(xiàn)圖像高實(shí)時(shí)、高能效、高可靠處理的有效途徑[16,17]。通過(guò)自適應(yīng)計(jì)算資源選擇算法為異構(gòu)圖像制定最優(yōu)的計(jì)算資源選擇方案，從而滿足視覺(jué)伺服任務(wù)的高實(shí)時(shí)、高能效、高可靠性能需求。自適應(yīng)計(jì)算資源選擇策略的主要功能是在現(xiàn)有計(jì)算資源條件下，為當(dāng)前需要處理的圖像制定最優(yōu)的計(jì)算資源選擇方案，從而實(shí)現(xiàn)圖像高實(shí)時(shí)、高能效、高可靠處理的目標(biāo)。本文所提出的自適應(yīng)計(jì)算資源選擇過(guò)程示意圖如圖3所示。

圖3 自適應(yīng)計(jì)算資源選擇過(guò)程示意圖

圖3展示了自適應(yīng)計(jì)算資源選擇的詳細(xì)流程，描述如下：（1）當(dāng)圖像傳感器獲取到系列圖像時(shí)，圖像處理模塊發(fā)送計(jì)算資源選擇服務(wù)請(qǐng)求到霧服務(wù)器以獲取選擇策略；（2）圖像處理模塊接收到來(lái)自霧服務(wù)器的計(jì)算資源選擇服務(wù)響應(yīng)后，會(huì)發(fā)送圖像相關(guān)信息到霧服務(wù)器，包括圖像大小、采集頻率以及實(shí)時(shí)性要求；（3）霧節(jié)點(diǎn)向霧服務(wù)器發(fā)送各自的相關(guān)信息，其中包括工作狀態(tài)、可用計(jì)算資源等；（4）在霧服務(wù)器中運(yùn)行計(jì)算資源選擇算法，為所有的圖像制定最優(yōu)的計(jì)算資源選擇方案，得到每個(gè)圖像的計(jì)算資源選擇集合Φ，Φ表示圖像的計(jì)算資源選擇集合；（5）在圖像處理單元收到計(jì)算資源選擇集合Φ后，根據(jù)Φ將不同的圖像發(fā)送至相應(yīng)的計(jì)算資源上；（6）霧節(jié)點(diǎn)在接收到圖像參數(shù)后執(zhí)行一系列操作，最后將圖像處理結(jié)果發(fā)送至原工業(yè)機(jī)器人。

根據(jù)自適應(yīng)計(jì)算資源選擇問(wèn)題，為了有效地取得全局最優(yōu)解，本文將遺傳算法GA（Genetic Algorithm）應(yīng)用在自適應(yīng)計(jì)算資源選擇問(wèn)題求解中，提出了一種基于GA的自適應(yīng)計(jì)算資源選擇算法，該算法可根據(jù)霧計(jì)算資源為異構(gòu)圖像制定最優(yōu)的計(jì)算資源選擇方案，以達(dá)到實(shí)現(xiàn)優(yōu)化目標(biāo)的目的，基于GA的自適應(yīng)計(jì)算資源選擇算法如表1所述。

表1 基于GA的自適應(yīng)計(jì)算資源選擇算法

3 實(shí)驗(yàn)結(jié)果分析

本部分內(nèi)容是針對(duì)上述算法理念的驗(yàn)證，即基于霧計(jì)算的視覺(jué)伺服實(shí)時(shí)自適應(yīng)控制系統(tǒng)對(duì)傳統(tǒng)控制方法的下機(jī)器人控制性能的影響。視覺(jué)伺服平臺(tái)如圖4所示，其中機(jī)器人為Franka Emika，內(nèi)部通訊周期為1 ms；圖像傳感器為Basler Ac-640，分別設(shè)定傳感器圖像采集頻率為30 Hz、50 Hz、80 Hz、100 Hz、120 Hz，圖像分辨率大小分別為640×480，800×600，1 024×768，1 280×960，1 600×1 200。

圖4 基于圖像的視覺(jué)伺服實(shí)驗(yàn)平臺(tái)

首先利用傳統(tǒng)圖像處理方法對(duì)圖像進(jìn)行處理，對(duì)不同分辨率和不同采集頻率的圖像分別進(jìn)行100次左右的采樣計(jì)算，對(duì)比方法在單位時(shí)間內(nèi)（以s為單位）不同頻率和不同分辨率情況下處理結(jié)果如表2所示。如“46-49”類型數(shù)據(jù)表示每秒可處理數(shù)量，反應(yīng)了視覺(jué)系統(tǒng)每秒最多迭代周期次數(shù)。

表2 對(duì)比方法單位時(shí)間內(nèi)圖像處理結(jié)果

從表中可以看出在固定計(jì)算負(fù)載時(shí)，視覺(jué)系統(tǒng)只有在低傳感器頻率，低分辨率的情況下才能夠?qū)崟r(shí)完成圖像處理過(guò)程，在采集頻率增加（大于50 Hz），或圖像分辨率增大（大于1 024×768）時(shí)會(huì)開(kāi)始出現(xiàn)嚴(yán)重的計(jì)算時(shí)延，造成計(jì)算任務(wù)不能順利完成，如在120 Hz采集頻率1 600×1 200分辨的時(shí)候只能完成目標(biāo)數(shù)量的10%，將會(huì)導(dǎo)致視覺(jué)伺服任務(wù)的失敗。這樣的計(jì)算控制系統(tǒng)只能以低分辨率低頻率的傳感器作為系統(tǒng)圖像采集單元，這顯然不能滿足視覺(jué)伺服對(duì)機(jī)器人高精度高速度的控制目標(biāo)要求。

圖5為選取表2中1組具有代表性數(shù)據(jù)，原始實(shí)驗(yàn)數(shù)據(jù)繪制的單位時(shí)間內(nèi)圖像處理數(shù)量變化折線圖，橫坐標(biāo)為不同的相機(jī)采樣頻率，縱坐標(biāo)為單位時(shí)間內(nèi)系統(tǒng)可處理圖像數(shù)量，圖中例如“640×480”的表示為圖像分辨率。從圖中可以看出圖像采集頻率越高，圖像分辨越大，單位時(shí)間系統(tǒng)能處理的圖像數(shù)量越少，這直接限制了視覺(jué)伺服系統(tǒng)的性能，可得到與表中相同的結(jié)論。

圖5 對(duì)比算法單位時(shí)間內(nèi)圖像處理數(shù)量變化圖

本文利用基于霧計(jì)算的實(shí)時(shí)自適應(yīng)控制系統(tǒng)再次對(duì)視覺(jué)伺服系統(tǒng)進(jìn)行測(cè)試，單位時(shí)間內(nèi)系統(tǒng)能夠處理的不同頻率和不同分辨率下的圖像數(shù)量如下表所示，從表3中可以看出該自適應(yīng)控制系統(tǒng)能夠?qū)崟r(shí)的調(diào)整系統(tǒng)計(jì)算資源，提高系統(tǒng)對(duì)高分辨率高采集頻率圖像傳感單元的處理能力，根據(jù)前言部分的介紹，該方法能夠提高視覺(jué)伺服系統(tǒng)的實(shí)時(shí)性和精度，驗(yàn)證了本文觀點(diǎn)。

表3 本文方法單位時(shí)間內(nèi)圖像處理結(jié)果

圖6為根據(jù)表3中1組具有代表性的原始數(shù)據(jù)繪制的單位時(shí)間內(nèi)圖像處理數(shù)量變化折線圖，從圖6種可以看出，在本文提出的基于霧計(jì)算的自適應(yīng)圖像處理算法的幫助下，視覺(jué)伺服系統(tǒng)能夠較大的幅度的提高單位時(shí)間內(nèi)對(duì)高分辨率和高頻率圖像的處理能力，即對(duì)視覺(jué)伺服系統(tǒng)的控制精度和實(shí)時(shí)性都有明顯的促進(jìn)作用，驗(yàn)證了摘要中本文的觀點(diǎn)。

圖6 本文算法單位時(shí)間內(nèi)圖像處理數(shù)量變化

4 結(jié)束語(yǔ)

在機(jī)器人本身的控制性能趨于成熟的情況下，對(duì)以視覺(jué)信號(hào)為控制指令的視覺(jué)伺服系統(tǒng)一個(gè)研究關(guān)鍵任務(wù)即實(shí)時(shí)目標(biāo)圖像的提取。高速高清的圖像信息給能給機(jī)器人系統(tǒng)帶來(lái)豐富的環(huán)境信息，有利于人、機(jī)、環(huán)境的三方交互，是未來(lái)發(fā)展的一個(gè)重要方向；而一個(gè)包含有豐富目標(biāo)信息的圖像,同時(shí)也包含了豐富的與目標(biāo)無(wú)關(guān)的信息，為提高控制的實(shí)時(shí)性，有必要最大程度提高單位時(shí)間內(nèi)圖像的刷新頻率，這些因素直接關(guān)系著機(jī)械臂末端控制的精度和實(shí)時(shí)性，因此在不考慮圖像本身預(yù)處理算法的情況下首先需要解決的問(wèn)題即系統(tǒng)大量計(jì)算任務(wù)的負(fù)載問(wèn)題。本文根據(jù)分布式霧計(jì)算實(shí)時(shí)計(jì)算的能力優(yōu)勢(shì)，并結(jié)合機(jī)器人視覺(jué)伺服系統(tǒng)的特點(diǎn)設(shè)計(jì)了基于霧計(jì)算的視覺(jué)伺服圖像實(shí)時(shí)自適應(yīng)處理系統(tǒng)，使機(jī)器人視覺(jué)伺服系統(tǒng)不僅對(duì)普通信號(hào)源的圖像信息能夠快速處理，同時(shí)對(duì)高頻率高清度的視頻流能夠根據(jù)目標(biāo)需要進(jìn)行資源分配，在一定程度上實(shí)現(xiàn)了機(jī)器人高速高精的視覺(jué)控制目標(biāo)。

傳統(tǒng)的視覺(jué)伺服系統(tǒng)一般只配備一臺(tái)上位機(jī)作為圖像處理單元，隨著高清高速視頻流對(duì)圖像處理單元計(jì)算負(fù)載要求的提升，這以思路從本質(zhì)上限制了機(jī)器人的控制效果。另外，根據(jù)作者長(zhǎng)期對(duì)機(jī)器人視覺(jué)伺服系統(tǒng)的研究發(fā)現(xiàn)，越來(lái)越多的研究者將云計(jì)算、霧計(jì)算以及邊緣計(jì)算等方法于傳統(tǒng)的機(jī)器人控制結(jié)合，從圖像處理本身之外尋找更有效的方法提高機(jī)器人視覺(jué)系統(tǒng)性能指標(biāo)的同時(shí)，實(shí)現(xiàn)有限計(jì)算資源的合理分配，這將是會(huì)機(jī)器人視覺(jué)伺服系統(tǒng)未來(lái)發(fā)展的趨勢(shì)。