沈 華
〔上海振華重工(集團(tuán))股份有限公司,上海 200125,E-mail:shenhua@zpmc.com〕
在起重機(jī)領(lǐng)域(尤其是集裝箱機(jī)械領(lǐng)域),遠(yuǎn)程控制、智能化、自動(dòng)化越來越普及。在起重機(jī)上同時(shí)安裝有用于遠(yuǎn)程控制的監(jiān)控相機(jī),用于保護(hù)及識(shí)別用的相應(yīng)設(shè)備以及傳統(tǒng)的電氣機(jī)械件。不同于傳統(tǒng)的起重機(jī),自動(dòng)化設(shè)備的設(shè)計(jì)要求相關(guān)的監(jiān)控相機(jī)、識(shí)別用的設(shè)備的定位更加準(zhǔn)確并且希望可以輔助相應(yīng)設(shè)備的選型。傳統(tǒng)的二維三視圖的方式已經(jīng)不能滿足相應(yīng)的要求,鑒于三維設(shè)計(jì)軟件(如AutoCAD 3D)的準(zhǔn)確性,可以借助三維設(shè)計(jì)軟件的一些方法來滿足實(shí)際設(shè)計(jì)中的定位選型的要求。
在自動(dòng)化起重機(jī)的遠(yuǎn)程控制中,遠(yuǎn)程監(jiān)控系統(tǒng)(Remote Vision System)和遠(yuǎn)程控制系統(tǒng)(Remote Control System)是最為重要的系統(tǒng)[1]。對(duì)于操作者來說,遠(yuǎn)程視頻的流暢度、清晰度與觀感的合理是遠(yuǎn)程控制的基礎(chǔ)。遠(yuǎn)程監(jiān)控系統(tǒng)的核心元件是相機(jī),因此可以說相機(jī)的合理選型、定位是決定遠(yuǎn)程控制和圖像識(shí)別效果的重要因素。在自動(dòng)化設(shè)計(jì)中,需要利用一定的方法模擬出相機(jī)的成像輔助相應(yīng)的設(shè)計(jì)及選型。
相對(duì)傳統(tǒng)的起重機(jī)設(shè)備,自動(dòng)化起重機(jī)的檢測(cè)元件數(shù)量更多。通常在自動(dòng)化起重機(jī)中的檢測(cè)元件主要包括激光器和相機(jī)。利用接收激光器發(fā)出的光的回波可以用于測(cè)距[2]。通過旋轉(zhuǎn)激光器的光心就可以達(dá)到3D掃描的目的[3]。激光器3D掃描是自動(dòng)化中最常見的目標(biāo)位置定位方法[4]。同時(shí),激光器也被用于起重機(jī)自動(dòng)化中的檢測(cè)及保護(hù)。
而相機(jī)在較早之前僅用于圖像的識(shí)別。隨著圖像識(shí)別技術(shù)、深度學(xué)習(xí)及人工智能的發(fā)展,相機(jī)也被應(yīng)用于目標(biāo)定位[5]甚至保護(hù)。
自動(dòng)化對(duì)精度的要求比較高,因此自動(dòng)化檢測(cè)元件的定位要求比較高。合理的定位和選型可以使自動(dòng)化的精度更高,效果更好,效率也更高。需要相應(yīng)的軟件和方法來輔助元件的選型及定位。
在自動(dòng)化設(shè)計(jì)選型中,相機(jī)最重要的參數(shù)是焦距,相機(jī)視野,幀速率,PTZ(球機(jī))角度范圍或可調(diào)角度范圍(固定式相機(jī))和分辨率(像素比)[6]。如果沒有標(biāo)注相機(jī)視野,則相機(jī)視野的計(jì)算方法為[7]:
(1)
式中:fn為可變焦情況下的第n個(gè)焦距,mm;Lh為相機(jī)傳感器大小(水平),mm;Lv為相機(jī)傳感器大小(垂直),mm;θhn為可變焦情況下的第n個(gè)相機(jī)水平視野角,(°);θvn為相機(jī)第n個(gè)垂直視野角,(°);θn為相機(jī)第n個(gè)對(duì)角視野角(°)。常用的傳感器參數(shù)如表1所示。
表1 常規(guī)傳感器大小對(duì)應(yīng)表
如三維設(shè)計(jì)軟件的虛擬相機(jī)視野角參數(shù)使用對(duì)角視野角,而實(shí)際相機(jī)樣本中經(jīng)常標(biāo)注的是垂直和水平視野角??筛鶕?jù)公式推得對(duì)角視野角
(2)
在三維軟件中可使用公式(2)計(jì)算出來的對(duì)角視野角的相機(jī)進(jìn)行模擬。
而在自動(dòng)化設(shè)計(jì)選型中,激光器最重要的參數(shù)是角精度,檢測(cè)距離,掃描頻率和檢測(cè)范圍。其中角精度是指本激光束與下一激光束之間的夾角[8]。角精度是影響檢測(cè)精度的最主要因素。通常激光器的檢測(cè)范圍、精度都與被測(cè)物體的材質(zhì)、顏色即反射率有關(guān),選型時(shí)需要根據(jù)工況進(jìn)行判斷。
根據(jù)相機(jī)以及激光器的參數(shù)簡(jiǎn)述及監(jiān)控、自動(dòng)化檢測(cè)的工況要求,需設(shè)計(jì)輔助的是判斷元件的定位問題主要包括是否被其它物體遮擋,是否與其它物體干涉,是否能被所需的人員觀察到,是否檢測(cè)元件選型得當(dāng),是否可以正確識(shí)別所需識(shí)別的信息等。
在模擬圖像之前,首先要對(duì)被測(cè)物體附上相應(yīng)的材質(zhì),必要時(shí)進(jìn)行貼圖。如被測(cè)物體是集卡,需要對(duì)車窗附以玻璃材質(zhì),對(duì)輪胎附以橡膠材質(zhì),對(duì)其它部分附以金屬漆。附上相應(yīng)的材質(zhì)以后,渲染后的模擬圖像會(huì)更為準(zhǔn)確[9-10]。
在三維軟件中建立相機(jī)(在AutoCAD中該指令為camera),根據(jù)相機(jī)的視野范圍設(shè)置參數(shù),根據(jù)起重機(jī)的機(jī)械結(jié)構(gòu)和相機(jī)所要觀察的對(duì)象移動(dòng)相機(jī)到設(shè)計(jì)的位置。初步觀察相機(jī)視野中的圖形后切換到相機(jī)視角,根據(jù)相機(jī)的分辨率進(jìn)行渲染可得模擬的圖像。
圖1為輪胎吊的觀察40英尺集裝箱在集卡上落箱情況的相機(jī),其水平視野為110°,垂直視野62°,根據(jù)公式計(jì)算得其對(duì)角線視野為114.3°,選擇固定合適的角度、修改相機(jī)視野并渲染后的模擬圖像如圖1所示。
▲圖1 模擬的觀察40英尺落箱相機(jī)拍攝圖像
如發(fā)現(xiàn)相機(jī)的模擬圖像不甚理想,可以通過調(diào)整相機(jī)位置并粗調(diào)其參數(shù)達(dá)到較理想的成像效果。
現(xiàn)場(chǎng)經(jīng)過精調(diào)后的同一位置的相機(jī)實(shí)際拍攝的圖像如圖2。
▲圖2 實(shí)際的觀察40英尺落箱相機(jī)拍攝圖像
對(duì)比模擬圖像圖1與實(shí)際圖像圖2,兩個(gè)圖大體一致。相機(jī)成像時(shí)對(duì)畸變處理優(yōu)化了成像效果造成了與模擬圖像的偏差。因此可以利用三維軟件(如AutoCAD 3D)進(jìn)行相機(jī)實(shí)際拍攝效果的模擬。
遠(yuǎn)程控制的時(shí)候,常常在同一個(gè)顯示器上顯示多個(gè)攝像頭的圖像,圖3所示的是吊具空中帶箱場(chǎng)景。
▲圖3 吊具空中帶箱場(chǎng)景
在遠(yuǎn)控帶箱下放的時(shí)候,同一個(gè)顯示器上顯示四個(gè)角的吊具相機(jī)的圖像??墒褂萌S軟件的視口功能進(jìn)行模擬。設(shè)置4個(gè)視口,將各個(gè)視口設(shè)置成對(duì)應(yīng)的相機(jī),此時(shí),圖像拼接模擬圖如圖4所示。
▲圖4 吊具相機(jī)的模擬圖像拼接
如果需要模擬相機(jī)在機(jī)械設(shè)備運(yùn)動(dòng)過程中的成像圖形,可以通過建立相機(jī)的路徑及相機(jī)視野中心點(diǎn)指向線[12]。如圖5所示。
▲圖5 相機(jī)的運(yùn)動(dòng)路徑
在定義了相機(jī)運(yùn)動(dòng)路徑和相機(jī)視野中心方向運(yùn)動(dòng)路徑線以后,使用運(yùn)動(dòng)路徑動(dòng)畫渲染導(dǎo)出就可以得到相機(jī)沿路徑的動(dòng)畫視頻。
在已經(jīng)建立了相應(yīng)的模型的情況下,檢測(cè)元件的檢測(cè)范圍需根據(jù)檢測(cè)元件的位置和被測(cè)物體的運(yùn)動(dòng)范圍確定。將該范圍外廓線及檢測(cè)元件本身運(yùn)動(dòng)外廓線附上帶有透明度的顏色以方便觀察。
如岸邊集裝箱起重機(jī)通常會(huì)通過激光器配合云臺(tái)來引導(dǎo)及定位集卡從而實(shí)現(xiàn)對(duì)集卡作業(yè)的自動(dòng)化[13]。該系統(tǒng)的檢測(cè)元件安裝在聯(lián)系梁附近,為方便起見可忽略的轉(zhuǎn)動(dòng)中心和光心的位置偏差,如需精確可根據(jù)模擬光心的運(yùn)動(dòng)軌跡后的外廓線確定范圍。通過建立相應(yīng)的模型,并在設(shè)計(jì)的位置放置模型,確定其檢測(cè)區(qū)域并進(jìn)行外廓線標(biāo)注即完成檢測(cè)及運(yùn)動(dòng)范圍的確定,如圖6所示。
激光器的檢測(cè)距離和角度都會(huì)影響檢測(cè)精度[13],因此其值在自動(dòng)化設(shè)計(jì)選型中十分重要。使用三維軟件的量取點(diǎn)-點(diǎn)之間距離信息的指令(如在AutoCAD中該指令為DI)
▲圖6 岸邊集裝箱起重機(jī)集卡定位檢測(cè)元件檢測(cè)區(qū)域圖
可以獲取點(diǎn)與點(diǎn)之間的距離和相對(duì)坐標(biāo)平面的角度。根據(jù)量取的距離和角度可以方便地校對(duì)實(shí)際的定位是否滿足元件的參數(shù)及特性。
云臺(tái)或者轉(zhuǎn)動(dòng)機(jī)構(gòu)驅(qū)動(dòng)檢測(cè)元件時(shí),需要對(duì)其運(yùn)動(dòng)路徑上是否有其它物體進(jìn)行校驗(yàn)。在三維圖中相應(yīng)位置建立物體的模型,根據(jù)檢測(cè)元件檢測(cè)范圍,通過以檢測(cè)元件轉(zhuǎn)動(dòng)軸為中心轉(zhuǎn)動(dòng)檢測(cè)元件可以校驗(yàn)周圍其它物體是否有干涉。
▲圖7 遮擋的判斷
圖6已經(jīng)確定檢測(cè)元件的檢測(cè)范圍,并標(biāo)注了疑似的遮擋。通過放大圖片或者在三維軟件中旋轉(zhuǎn)視角均可以校驗(yàn)是否遮擋。旋轉(zhuǎn)并調(diào)整視角、局部放大后,如圖7所示。
可以看出交通燈不在集卡引導(dǎo)的檢測(cè)區(qū)域內(nèi)。
▲圖8 建立模擬人眼的相機(jī)
在節(jié)3.4的例子中校驗(yàn)了遮擋的交通燈,由于安裝位置很高,仍需要校驗(yàn)其可觀性,可在所對(duì)應(yīng)的集車車道的進(jìn)入側(cè)的集卡建立集卡內(nèi)用于模擬司機(jī)視野的相機(jī)。通常,人眼睛視角是120°,當(dāng)集中注意力時(shí)為25°,人的視覺敏感區(qū)在10度以內(nèi),人可以正確識(shí)別信息的區(qū)域在10°到20°,動(dòng)態(tài)物體敏感區(qū)為20°到30°,觀感較好的區(qū)域?yàn)榇怪币曇?0°,水平視野36°范圍內(nèi)[14]。因此,建立抬頭情況下水平視野36°,垂直視野20°的虛擬相機(jī),根據(jù)公式(2)可得對(duì)角視野為40.6°,長(zhǎng)寬比9∶5,可取像素比900∶500,如圖8所示。
切換到相機(jī)視野,將模擬人眼視界渲染出來(注意設(shè)置交通燈的自發(fā)光),如圖9所示。
▲圖9 集卡內(nèi)司機(jī)正視視野模擬圖
從圖9中可以看到,在駛?cè)氚稑蚵?lián)系梁區(qū)域之前,司機(jī)可以看到所對(duì)應(yīng)車道的車道燈。將圖片放大后可以證實(shí)在像素比900∶500的情況下,司機(jī)是可以看到交通燈上的綠燈。但交通燈的高度接近車窗的遮擋區(qū)域,這就要求在設(shè)計(jì)中盡量降低交通燈的高度以使集卡司機(jī)有更好的視覺效果。
精確模擬激光器3D掃描的結(jié)果需通過建立相應(yīng)的掃描線和對(duì)象物體的數(shù)學(xué)模型取各掃描線到物體的交點(diǎn)。其中被掃物體可能由多個(gè)基本圖形組成,數(shù)學(xué)建模比較繁瑣且計(jì)算復(fù)雜。但是在自動(dòng)化設(shè)計(jì)中仍需要驗(yàn)證激光器的掃描精度以輔助選型和定位。
Δyn=ry[tan(αy+δy)-tan(αy)]
(3)
將αy取最遠(yuǎn)處的點(diǎn)的角度,即可求得3D掃描在Y軸方向的上的最大誤差。同理也可以求X方向的最大誤差。
(4)
因此,通過在三維設(shè)計(jì)軟件中量取及求得邊界點(diǎn)對(duì)應(yīng)的數(shù)據(jù)代入公式(4),求得理想的角精度限制,從而校驗(yàn)激光類的設(shè)計(jì)選型。
在自動(dòng)化設(shè)計(jì)中,經(jīng)常會(huì)涉及到一些系統(tǒng)(如箱號(hào)識(shí)別,車牌號(hào)識(shí)別等)的相機(jī)需要核實(shí)相應(yīng)的視角及識(shí)別的清晰度。同樣可以在三維圖形中建立相應(yīng)的空間關(guān)系、相機(jī)的安裝角度、參數(shù)及被測(cè)物的工作區(qū)域,切換到相機(jī)視角渲染出相應(yīng)的圖片。圖10為雙懸臂鐵路吊在一側(cè)需識(shí)別位于兩個(gè)作業(yè)車道上集卡的車牌的模擬圖片。
▲圖10 車牌識(shí)別相機(jī)的三維位置模型
根據(jù)圖10的三維安裝位置,調(diào)整相機(jī)到參數(shù)范圍內(nèi)允許的合適視野和角度(假定相機(jī)為固定相機(jī),其視野經(jīng)過調(diào)校后不能改變),渲染相機(jī)的模擬圖片如圖11所示。在渲染的時(shí)候發(fā)現(xiàn)這個(gè)位置受到大梁及小車架的遮擋,光照條件不好,畫面昏暗,因此也提醒設(shè)計(jì)需要增加補(bǔ)光設(shè)備以滿足識(shí)別的要求。在三維軟件中,光源的參數(shù)也是可以調(diào)整的,在此不作詳述了。
▲圖11 車牌識(shí)別相機(jī)的成像模擬
從模擬的圖片來看,靠近鐵路吊的集卡的車牌照片較為清晰且角度適宜,而遠(yuǎn)離鐵路吊的車牌角度較大,將模擬的圖片取車牌號(hào)區(qū)域輸入相應(yīng)的識(shí)別測(cè)試軟件,忽略識(shí)別結(jié)果中間符號(hào)點(diǎn)的影響,結(jié)果如表2所示。
表2 車牌識(shí)別結(jié)果表
表2的結(jié)果顯示靠近鐵路吊的集卡的車牌號(hào)可以被正確識(shí)別,而遠(yuǎn)離鐵路吊的集卡的車牌號(hào)無法被正確識(shí)別。因此,在實(shí)際項(xiàng)目方案中提出2個(gè)建議:① 將相機(jī)的位置提高在車道上方,并增加了一個(gè)相機(jī)以達(dá)到減小角度從而達(dá)到可以準(zhǔn)確識(shí)別外側(cè)車道的車牌號(hào);② 在需要識(shí)別外側(cè)車牌的時(shí)候(同后20尺工況),由自動(dòng)化控制系統(tǒng)控制大車向遠(yuǎn)離方向運(yùn)動(dòng)一段距離使相機(jī)到合適的角度后再進(jìn)行識(shí)別。
此方法也適用于箱號(hào)識(shí)別等需要識(shí)別文字、符號(hào)的場(chǎng)合,當(dāng)使用球機(jī)時(shí)可以在同樣的位置建立多個(gè)相機(jī)模擬球機(jī)各個(gè)預(yù)置位。切換到相機(jī)視野渲染出圖像后輸入相應(yīng)的測(cè)試軟件得出結(jié)果,此時(shí)的各個(gè)預(yù)置位的參數(shù)也可作為設(shè)計(jì)階段的結(jié)果輸出給實(shí)際使用參考。
在雙懸臂軌道吊的自動(dòng)化設(shè)計(jì)中,需在門腿附近安裝用于定位集卡的3D掃描儀、用于箱號(hào)識(shí)別的相機(jī)。在靠近地面高度安裝用于提示集卡司機(jī)準(zhǔn)確停車的引導(dǎo)燈。其中的箱號(hào)識(shí)別相機(jī)需要在不同工況下識(shí)別箱門或箱尾(短邊)箱號(hào)及箱體面(長(zhǎng)邊)箱號(hào)[15]。圖12為該實(shí)例的全局圖。
▲圖12 輔助設(shè)計(jì)選型實(shí)例
對(duì)于箱號(hào)識(shí)別相機(jī)的工況要求有兩個(gè),一是在吊具帶箱情況的(a)到(b)的任意位置處,箱號(hào)識(shí)別相機(jī)都可以抓拍到可用的20尺及40尺集裝箱的長(zhǎng)邊箱號(hào);二是在(c)位置附近可以抓拍可用的短邊箱號(hào)。對(duì)于引導(dǎo)燈,需要校驗(yàn)集卡在(d)(前20尺作業(yè))位置、(e)(中20/40/45尺作業(yè))位置、(f)(后20尺作業(yè))位置附近均可以看到引導(dǎo)燈。對(duì)于定位集卡用的3D掃描儀需要檢驗(yàn)其被遮擋情況(如圖中電氣房及卷盤)并計(jì)算滿足精度的最大角精度。
經(jīng)測(cè)量,(a)、(b)、(c)三個(gè)位置分別相對(duì)球機(jī)位置的小車方向距離分別為32 m,9 m,0 m。球機(jī)位于大車方向中心距10.3 m,離地高度21.1 m。集裝箱上平面距離地面高度為22 m。定位集卡用的3D掃描儀大車方向中心距9.8 m,高度10.5 m,小車方向中心距-1.66 m(外伸)。引導(dǎo)燈的位置為小車方向中心距-1.2 m,大車方向中心距11.2 m。(d)、(e)、(f)三個(gè)的集卡尾部大車方向相對(duì)引導(dǎo)燈的距離分別約22 m,18 m,14 m左右。
使用3.7節(jié)的方法,定義球機(jī)的0°方向?yàn)槌虻孛婕?b)->(a)方向,在箱號(hào)識(shí)別球機(jī)位置分別建立抓拍(a)位置20尺、40尺,(b)位置20尺、40尺,(c)位置20尺、40尺的虛擬1 080p相機(jī),選取合理視野后記錄繞高度方向旋轉(zhuǎn)角α、繞大車方向旋轉(zhuǎn)角β、對(duì)角視野角γ及抓拍效果如表3所示。
表3的模擬結(jié)果說明,需選用的球機(jī)繞高度方向旋轉(zhuǎn)的角度范圍至少為20°~90°,繞大車方向旋轉(zhuǎn)角范圍至少為83°~89°,對(duì)角視野角度范圍至少為7°~55°。
根據(jù)表3的結(jié)果,在(b)位置可以抓拍但識(shí)別效果不佳,進(jìn)一步模擬發(fā)現(xiàn)無論20尺還是40尺情況下距離相機(jī)15 m((a),(b)點(diǎn)之間)對(duì)長(zhǎng)邊箱號(hào)的抓拍效果比較好,說明該位置的球機(jī)依然可以進(jìn)行抓拍。同時(shí),在15 m以內(nèi)需要其他位置的相機(jī)進(jìn)行抓拍補(bǔ)充識(shí)別。
使用節(jié)3.5的方法建立集卡司機(jī)視野的相機(jī)校對(duì)引導(dǎo)燈的可觀性,發(fā)現(xiàn)在(e)處附近已經(jīng)無法看到引導(dǎo)燈,(f)點(diǎn)附近也無法看到。調(diào)整引導(dǎo)燈的位置后發(fā)現(xiàn),如需引導(dǎo)燈在司機(jī)正視視野范圍內(nèi)顯示,則需要安裝在中心距18 m的位置。在工程上,18 m中心距是無法滿足的。因此,在實(shí)際應(yīng)用的時(shí)候通過安裝2個(gè)引導(dǎo)燈,其中1個(gè)用于司機(jī)的前視和側(cè)視,1個(gè)則需借助集卡的后視鏡。
使用3.1節(jié)的方法,繪制掃描范圍的外廓線發(fā)現(xiàn)電氣房、卷盤等均未對(duì)3D掃描行程遮擋。根據(jù)自動(dòng)化的定位精度需求為50 mm以內(nèi),在軟件中量取(d)、(e)、(f)處帶載集卡及空載集卡下的大車方向的激光器距離集卡尾部的邊緣距離S、垂直掃描線距離Sh后計(jì)算出角度αy,代入公式(4)求得激光器角精度δy要求,如表4所示。
表4 各位置激光器角精度要求計(jì)算表
綜合各工況,角精度要求為δy≤0.193 7°,因此為保證精度需選取角精度低于0.193 7°的激光器。實(shí)際選用的激光器的角精度是0.166 7°。
三維設(shè)計(jì)軟件(如AutoCAD 3D)可以輔助起重機(jī)自動(dòng)化的設(shè)計(jì)選型。由于設(shè)計(jì)軟件的準(zhǔn)確性,通過放置相機(jī)可以比較真實(shí)的模擬現(xiàn)場(chǎng)實(shí)際的成像效果。通過相機(jī)的運(yùn)動(dòng)路徑可以直觀地模擬運(yùn)動(dòng)中的相機(jī)成像。進(jìn)而在建立元件的檢測(cè)范圍的基礎(chǔ)上,可以達(dá)到校驗(yàn)物體的遮擋與干涉、顯示元件的可觀性、輔助激光類精度校驗(yàn)選型、識(shí)別相機(jī)的圖像可行性論證并提供相機(jī)參數(shù)以便相機(jī)選型。為相關(guān)的設(shè)計(jì)選型工作提供了一些比較新穎的方法,為軟件算法和原型驗(yàn)證提供了一定的設(shè)計(jì)依據(jù),同時(shí)也為后續(xù)運(yùn)動(dòng)模擬軟件提供了基礎(chǔ)模型。