韓皓杰,田大慶,江怡舟,周博
一種基于改進(jìn)FAST的纜芯角度識別算法
韓皓杰,田大慶*,江怡舟*,周博
(四川大學(xué) 機(jī)械工程學(xué)院,四川 成都 610065)
成纜機(jī)是一種裝鎧纜線的專用設(shè)備,并線工藝是保證成纜品質(zhì)的關(guān)鍵。本文針對成纜機(jī)并線工藝中的纜芯偏轉(zhuǎn)角度識別與糾正的智能化程度低等問題,利用機(jī)器視覺技術(shù),分析纜芯截面形狀并建立了纜芯光照模型,提出了一種改進(jìn)的FAST特征識別算法用于纜芯高光特征識別,建立了在纜芯轉(zhuǎn)動狀態(tài)下的角度計算模型,采用RANSAC算法擬合纜芯高光特征點(diǎn)為直線,從而計算纜芯高光特征點(diǎn)的偏移,將像素坐標(biāo)下的纜芯高光偏移量轉(zhuǎn)換到世界坐標(biāo)下,最終實(shí)現(xiàn)纜芯角度識別。
纜芯;光照模型;FAST;RANSAC
成纜機(jī)是纜芯加工專用設(shè)備,是電線纜芯行業(yè)保障纜芯質(zhì)量的關(guān)鍵設(shè)備,如圖1所示。多芯并線工藝是保證纜芯品質(zhì)的關(guān)鍵[1],每根纜芯的運(yùn)動由旋轉(zhuǎn)與直線運(yùn)動構(gòu)成,在軸向前進(jìn)的同時,圍繞中心纜芯絞合,如圖2所示[2]。
在多芯并線工藝中,纜芯傳送時常發(fā)生轉(zhuǎn)動,致使并線后纜芯凹槽與中心纜芯不貼合,造成產(chǎn)品鋼帶卷邊、圓整度指標(biāo)不合要求等質(zhì)量問題。目前國內(nèi)企業(yè)主要采用人工目測判斷纜芯角度是否超出偏差范圍,判斷經(jīng)驗(yàn)要求高且需持續(xù)高強(qiáng)度注視觀察,易產(chǎn)生眼睛疲勞,帶來產(chǎn)品質(zhì)量風(fēng)險和工人視力健康風(fēng)險,難以精確保證糾偏精度。因此電纜生產(chǎn)企業(yè)必須提升自身生產(chǎn)設(shè)備的技術(shù)含量和自動化、智能化應(yīng)用水平[3]。
圖1 成纜機(jī)
1.絞盤,纜芯從絞盤上圓孔穿過 2.待絞合纜芯 3.絞合模座內(nèi)的并線模套 4.成纜后的纜芯
為了解決纜芯凹槽角度識別與矯正問題,國內(nèi)張東紅等[4]提出在纜芯進(jìn)入絞合繞包前,加入一扇形絕緣輪,通過扇形與纜芯凹槽接觸,達(dá)到施加外力、防止纜芯旋轉(zhuǎn)的目的。但每捆纜芯的實(shí)際情況不同,每次更換纜芯后,需要重新調(diào)整扇形絕緣輪的角度,且每次角度調(diào)整根據(jù)纜芯實(shí)際轉(zhuǎn)動情況,無理論支撐而全憑經(jīng)驗(yàn),費(fèi)時費(fèi)力。在現(xiàn)有公開報道中,國外自動化的解決方案多采用對絕緣線芯進(jìn)行預(yù)扭的方式控制線芯傳送角度,如法國Pourtier公司制造的UVK型通用成纜機(jī),采用一組精密器具來調(diào)整線芯角度位置,這種控制方式一方面使得成纜機(jī)結(jié)構(gòu)趨于復(fù)雜化,另一方面存在一定的失誤率,因?yàn)樵趯?shí)際運(yùn)行過程中,由于放線盤到并纜模具進(jìn)線區(qū)距離較遠(yuǎn),纜芯傳動中有時會發(fā)生翻身問題,造成纜芯實(shí)際角度變化,進(jìn)而造成成纜圓整度質(zhì)量不達(dá)標(biāo)。日本成纜機(jī)生產(chǎn)企業(yè)有采用正位傳感器或觸覺器進(jìn)行凹槽角度檢測的報道,但沒有具體細(xì)節(jié)說明[5]。
以上改進(jìn)方案中,均未解決纜芯偏轉(zhuǎn)角度判斷的問題。機(jī)器視覺技術(shù)的檢測精度高,獲取信息的速度快并且能夠自動處理,該技術(shù)在工業(yè)檢測領(lǐng)域的應(yīng)用十分普遍[6]。本文將機(jī)器視覺技術(shù)應(yīng)用于成纜機(jī)改造,建立纜芯光照模型,運(yùn)用圖像處理技術(shù)識別纜芯角度。提出一種改進(jìn)的FAST特征提取算法,用以識別纜芯特征,隨后代入建立的纜芯角度計算模型,完成纜芯角度識別。研究成果能直接用于后續(xù)纜芯糾偏矯正控制中。
如圖3[7]所示,物體表面由粗糙和光滑兩部分融合而成,物體反射模型可表達(dá)為環(huán)境光反射、漫反射與高光反射之和。
圖3 Phong光照計算模型
漫反射將射入光線等強(qiáng)度地朝四周反射,光強(qiáng)只與入射光和物體反射面法線夾角有關(guān),與觀測者視角無關(guān)。
式中:ldiff[8]為漫反射強(qiáng)度;k∈(0,1)為物體的光照漫反射系數(shù);I為入射光源強(qiáng)度,lx;為法線與入射光線的夾角。
相對于粗糙的漫反射,鏡面反射是光滑表面的光照特性表現(xiàn),入射光線經(jīng)過光滑表面后,在特定觀察角度形成高光,因此又稱高光反射,光強(qiáng)與觀測者視角有關(guān)。
式中:spec為鏡面反射強(qiáng)度;k∈(0,1)為光照表面下鏡面反射系數(shù),由材料自身特性、入射光波長決定;為觀測視角與反射光線的夾角;為物體表面的光滑程度[9],值越大,表面越光滑、反射光線的空間分布越積聚,同理,值越小,反射光線越發(fā)散。
物體反射模型可表達(dá)為:
式中:k∈(0,1)為物體的環(huán)境光漫反射系數(shù),表示環(huán)境光強(qiáng)度,可以理解為當(dāng)前場景的亮度,是一個常量。
在多次試驗(yàn)觀察后發(fā)現(xiàn),纜芯的繞包外殼成分為透明白色塑料,纜芯塑料反射光主要為內(nèi)部銅金屬反光,有明顯的高光反射,如圖4所示。因此可以將纜芯光照模型簡化為一般鏡面反射加上環(huán)境光反射,即為:
纜芯截面形狀如圖4所示。纜芯的光源水平布置在正上方,可視為平行光源。光線豎直向下發(fā)射,與纜芯表面產(chǎn)生一般鏡面反射,凹槽部分法線方向變化,對應(yīng)的反射光線與觀測視角間夾角發(fā)生變化,因而產(chǎn)生不同光照強(qiáng)度。
根據(jù)以上思路建立纜芯與光源之間亮度變化關(guān)系,如圖5所示,可知,光源豎直向下發(fā)射,假設(shè)觀察者視角與光線夾角為60°,在纜芯凹槽處使得反射光與觀察方向夾角為0時,即處,鏡面反射強(qiáng)度最大,=k·I+I·k。
由纜芯截面形狀可推導(dǎo)出,在處同樣存在最大鏡面反射強(qiáng)度,如圖6所示。隨著平行光照射到纜芯的凹槽拐角處,入射光與法線夾角逐漸減小,反射光與觀察視角夾角逐漸增大,反射強(qiáng)度呈余弦的冪級指數(shù)減小??梢苑治龀隼|芯鏡面反射強(qiáng)度與表面形狀變化有關(guān),纜芯表層光照強(qiáng)度是隨位置變化的連續(xù)函數(shù),擴(kuò)展到二維平面可表示為=(,),、為平面像素點(diǎn)坐標(biāo)。
圖5 纜芯鏡面反射強(qiáng)度模型示意圖
圖6 纜芯高光反射
對纜芯表層光照強(qiáng)度做二階求導(dǎo)。因圖像的二階導(dǎo)數(shù)表示灰度斜率變換的快慢,二階導(dǎo)數(shù)更加細(xì)化邊緣,如圖7所示。二階導(dǎo)數(shù)最大值處對應(yīng)圖像邊緣,二階導(dǎo)數(shù)為0處則對應(yīng)平坦區(qū)域,據(jù)此得纜芯凹槽邊緣信息。如式(5)。
由圖7可以看出,纜芯凹槽數(shù)學(xué)模型的二階導(dǎo)數(shù)能夠有效提分理出凹槽處的直線特征,為后續(xù)特征提取提供便利。
Rosten和Drummond提出的FAST角點(diǎn)檢測算法[10],直接比較點(diǎn)之間的大小信息,減少了尺度梯度計算,從原理上實(shí)現(xiàn)快速檢測。本文改進(jìn)FAST算法將其應(yīng)用于纜芯圖像凹槽特征檢測,在一定的準(zhǔn)確性下保證實(shí)時性。FAST角點(diǎn)的基本原理是:比較以圓心為中心、半徑為3、周圍像素點(diǎn)為16的圓周灰度信息,判別圓心是否為角點(diǎn),如圖8所示,圓周上點(diǎn)順序按順時針頂部為1依次到16排序編號。
圖8 FAST圓心P與周圍16個像素點(diǎn)
如果在圓周上有連續(xù)個像素點(diǎn)的灰度值都比圓心的灰度值加上一閾值還要大,或者連續(xù)個像素點(diǎn)的灰度值都比圓心灰度值減去閾值小,則此圓心可確定為角點(diǎn)。判斷角點(diǎn)的方法可以歸納為兩個條件:
(1)集合由圓周上個連續(xù)的像素組成,該集合的任意像素都滿足I>I+;
(2)集合由圓周上個連續(xù)的像素組成,該集合的任意像素都滿足I<I-。
但經(jīng)過纜芯光照模型分析得出,纜芯凹槽的特征近似為直線邊緣特征,因此需要適當(dāng)修改FAST判定條件,以適用于直線檢測。首先改進(jìn)FAST算法適用于纜芯圖像的二階偏導(dǎo),建立以圓心為中心、半徑=7的圓。同理對圓周像素進(jìn)行編號,從頂點(diǎn)為1順時針依次排序到40。如果圓周上有連續(xù)個的像素點(diǎn)都比圓心的灰度值減去一閾值小,則可以認(rèn)為該圓心在直線特征上。判斷條件為:在圓上的至少連續(xù)個、至多+3個像素點(diǎn)都滿足I<I-,則認(rèn)為是凹槽特征點(diǎn)。這里設(shè)置為21,即圓周的一半,邊緣直線可以理解為經(jīng)過圓心的直線。
在特征點(diǎn)檢測中為了提高檢測效率與速度,建立一種非特征點(diǎn)的排除方法。纜芯凹槽特征的二階導(dǎo)數(shù)近似為一條豎直直線,因此在編號為1、11、21、31四個點(diǎn)中,點(diǎn)1和21一定有一個點(diǎn)滿足條件,四個點(diǎn)中至多有2個點(diǎn)滿足條件。因此檢測時首先檢測1和21是否滿足條件,如果1,21>I-,則該點(diǎn)肯定不是特征點(diǎn),可以剔除;如果1與21中最多只有一個點(diǎn)滿足條件,則繼續(xù)判斷11、31兩個點(diǎn),只有左右兩點(diǎn)均滿足條件時,該點(diǎn)才有可能是特征點(diǎn),可以納入備選點(diǎn)。最后再對備選點(diǎn)進(jìn)行圓周點(diǎn)判斷,至少有連續(xù)21個像素點(diǎn)滿足條件時,該備選點(diǎn)才能算作最終特征點(diǎn)。
為了增加算法魯棒性,還要對特征點(diǎn)經(jīng)行篩選,采用非極大值抑制方法保留最具直線特征的點(diǎn)。
如圖9所示,傳統(tǒng)FAST角點(diǎn)檢測法是檢測灰度信息中能夠形成大角度的特征點(diǎn),在纜芯圖像中灰度值相差很小,因此從原理上決定了凹槽處特征檢測率低。SURF檢測方法檢測的特征具有多尺度性、可旋轉(zhuǎn)性,運(yùn)用了二階微分算子,能夠體現(xiàn)凹槽處特征,但檢測數(shù)量稀少,同時也增加了纜芯邊緣處不必要的特征點(diǎn)。ORB方法也檢測到凹槽處的特征,因?yàn)檫\(yùn)用了Sobel算子能夠檢測二階導(dǎo)數(shù)信息,但特征點(diǎn)過于聚集、數(shù)量少,不能有效構(gòu)成凹槽特征。本文的改進(jìn)FAST算法有效識別了位于兩處凹槽的特征點(diǎn),雖然有少量錯誤點(diǎn),但有足夠數(shù)量正確點(diǎn)作為保障以便后期運(yùn)用RANSAC算法刪除錯誤點(diǎn)。測試了各算法對895×549大小的纜芯圖像檢測效率,結(jié)果如表1所示。
圖9 幾種算法在纜芯特征檢測中的應(yīng)用
成纜機(jī)并線工藝中,纜芯主要檢測的變化為軸向轉(zhuǎn)動,根據(jù)纜芯的光照模型可知,纜芯高光部分會隨著纜芯角度的變換而移動,如圖10所示。這里以右側(cè)識別圖像高光特征變化情況為例,當(dāng)纜芯轉(zhuǎn)動角度為0°時,處為凹槽左側(cè)高光,同理凹槽另一邊高光點(diǎn)為。將纜芯表面的光照強(qiáng)度按位置投影到觀測視角平面,則點(diǎn)對應(yīng)的高光位置為X。當(dāng)纜芯轉(zhuǎn)動一小角度時,由于纜芯特殊的幾何外形,為保障入射角大小固定為(鏡面反射強(qiáng)度保持最大),反射點(diǎn)將朝纜芯凹槽中心移動,即到處;對應(yīng)在觀測視角平面內(nèi),X移動到X'處。
表1 各檢測算法間的比較
圖10 纜芯轉(zhuǎn)動時高光強(qiáng)度變化通用模型
為了方便解釋高光處位移隨纜芯角度變化的關(guān)系,簡化纜芯凹槽模型為半徑為的圓弧,如圖11所示。假設(shè)纜芯轉(zhuǎn)動Δ角,實(shí)線輪廓表示轉(zhuǎn)動前,虛線輪廓表示轉(zhuǎn)動后;為轉(zhuǎn)動前圓弧圓心,為轉(zhuǎn)動前高光點(diǎn),為入射角;為轉(zhuǎn)動后圓心,為轉(zhuǎn)動后高光點(diǎn)。
已知光線入射角為固定,則式(6)簡化為:
式中:為固定值,與纜芯截面形狀有關(guān);為固定值,與光源角度有關(guān)。
考慮攝像頭最大安裝角度為60°,則高光處的入射角=30°,代入式(10),分析函數(shù)單調(diào)性。
因此(X)>0在纜芯所有轉(zhuǎn)動角度中恒成立,高光點(diǎn)的位移隨轉(zhuǎn)動角度的增大而單調(diào)增大?;谝陨辖Y(jié)論,在檢測凹槽特征變化以及計算轉(zhuǎn)動角度時,只需跟蹤凹槽高光直線的相對位置變化,即可得到纜芯轉(zhuǎn)動角度,而不需要計算纜芯凹槽的具體位置。
為了更方便地計算纜芯高光特征的位移量,本文采用RANSAC算法[11]擬合高光特征點(diǎn)成直線,用直線間的平均距離代替高光特征位移量,代入計算模型。相比于最小二乘算法,RANSAC可剔除錯誤點(diǎn)并得到精確的模型[12]。因?yàn)樵谔卣鼽c(diǎn)檢測中仍存在少量誤差特征點(diǎn),將其剔除能有效提升后續(xù)角度的計算精度。最終得到的凹槽直線特征如圖12所示。
圖12 RANSAC算法提取出的纜芯高光特征
纜芯角度計算模型是在世界坐標(biāo)前提下得出的變化模型,所以在像素坐標(biāo)下得出的纜芯高光偏移量需要轉(zhuǎn)換為世界坐標(biāo)下的偏移量。
因?yàn)槭澜缛S坐標(biāo)到相機(jī)內(nèi)部三維坐標(biāo)是剛體變換,點(diǎn)與點(diǎn)之間的距離不變,因此只需考慮相機(jī)內(nèi)部點(diǎn)之間距離的幾何投影關(guān)系。圖13是相機(jī)成像平面到像素點(diǎn)坐標(biāo)的變化示意圖,它們在同一平面內(nèi),只是坐標(biāo)尺度不同[13],在成像平面的變化量為:
式中:d為一個像素點(diǎn)對應(yīng)的軸尺寸。
在相機(jī)內(nèi)部的三維坐標(biāo)轉(zhuǎn)換到成像平面是幾何投影變換,偏移量轉(zhuǎn)換關(guān)系為:
式中:為相機(jī)焦距,mm;Z為物體到相機(jī)焦點(diǎn)的距離,mm。
因此最終的角度計算公式為:
本文對纜芯角度計算模型開展了試驗(yàn)(取5個偏轉(zhuǎn)角度),結(jié)果如表2所示,首先獲得不同角度下的纜芯圖片并識別出凹槽高光直線特征,與無角度偏轉(zhuǎn)狀態(tài)的纜芯高光直線特征作比較,求得高光偏移量,運(yùn)用公式得出最終的角度偏轉(zhuǎn)值(約定順時針偏轉(zhuǎn)為正)。
表2 偏轉(zhuǎn)角度準(zhǔn)確度
由表2分析得,纜芯角度計算模型能夠跟隨反映纜芯轉(zhuǎn)動情況,但角度總體識別準(zhǔn)確率仍然有待提高,可能的誤差原因包括電纜表面建模精度不夠、線纜傳輸抖動、拍攝光源條件差等。與實(shí)際電纜反射情況存在一定誤差,課題組正在進(jìn)一步深入研究解決。
根據(jù)目前的線纜凹槽角度識別精度,應(yīng)用于項目合作單位的CLY1+1+3/1250型成纜機(jī)的線纜自動糾偏控制裝置上,已使得試驗(yàn)生產(chǎn)的圓形護(hù)套電纜樣品(長度100 m,進(jìn)行20點(diǎn)采樣)的電線截面橢圓度測量指標(biāo),從過去手工識別和手工糾偏方式的平均外徑比誤差不超過15%,降低到不超過8.3%,試驗(yàn)統(tǒng)計數(shù)據(jù)如表3所示。隨著線纜凹槽角度識別精度算法在項目合作單位的進(jìn)一步試驗(yàn)改進(jìn)研究,矯正控制有可能取得更理想的糾偏效果。
表3 圓形護(hù)套電纜樣品的電線截面橢圓度試驗(yàn)測量值
本文針對成纜機(jī)并線工藝中纜芯凹槽面繞包不匹配從而導(dǎo)致的電纜外徑不圓整的問題,提出了一種基于改進(jìn)FAST的纜芯角度識別算法,可以有效快速地識別出纜芯高光特征,論證推導(dǎo)了纜芯角度計算公式,建立了纜芯角度識別模型。通過試驗(yàn)證明了該模型的可行性。但模型精度以及高光特征識別的準(zhǔn)確度仍有待進(jìn)一步研究與提升。
[1]尹鋒雷,周禮文. 一種水下光電復(fù)合纜的設(shè)計與制造[J]. 電線纜芯,2013(3):17-18.
[2]溫彩鳳,代元軍. 基于嵌入式系統(tǒng)的成纜機(jī)控制系統(tǒng)研究[J].自動化技術(shù)與應(yīng)用,2011,30(5):100-103.
[3]吉鴻飛,葉啟洪,安鑫淼. 35kV及以下交聯(lián)電纜生產(chǎn)過程控制研究[J]. 機(jī)械,2017,44(1):24-30.
[4]張東紅. 利用調(diào)整輪解決扇形線芯成纜翻身問題探討[J]. 數(shù)字技術(shù)與應(yīng)用,2010(09):140.
[5]繆盤銘. 國外電線纜芯生產(chǎn)工藝及專用設(shè)備發(fā)展水平綜述(一)束線[J]. 電線纜芯,1979(3):45-61.
[6]機(jī)器視覺技術(shù)在工業(yè)檢測中的廣泛應(yīng)用[J]. 機(jī)械,2013,40(3):82.
[7]Bui Tuong Phong. Illumination for computer generated pictures[J]. Communications of the ACM,1975,18(6):311-317.
[8]Tobias Damm,Elias Jarlebring. The Lambert W function and the spectrum of some multidimensional time-delay systems[J]. Automatica,2007,43(12):2124-2128.
[9]滑瑞朋. 計算機(jī)圖形學(xué)的應(yīng)用及研究[J]. 山西科技,2012,27(5):37-38,45.
[10]Rosten Edward,Porter Reid,Drummond Tom. Faster and better: a machine learning approach to corner detection.[J]. Pubmed,2010,32(1):105-119.
[11]Martin A. Fischler,Robert C. Bolles. Random sample consensus[J]. Communications of the ACM,1981,24(6):381-395.
[12]劉忠賀,李宗春,郭迎鋼,等. 利用RANSAC算法篩選坐標(biāo)轉(zhuǎn)換中相對穩(wěn)定公共點(diǎn)[J]. 測繪科學(xué)技術(shù)學(xué)報,2019,36(5):487-493.
[13]李自力,高光軍,沙萬里. 基于World文件的遙感影像坐標(biāo)轉(zhuǎn)換研究[J]. 現(xiàn)代測繪,2017,40(4):8-10.
A Cable Angle Recognition Algorithm Based on Improved FAST
HAN Haojie,TIAN Daqing,JIANG Yizhou,ZHOU Bo
( School of Mechanical Engineering, Sichuan University, Chengdu 610065, China )
Cabling machine is an equipment specialized for armoring cable, and cable merging process is the key to ensure the quality of the cable. This paper aims at the low intelligence degree of cable angle identification and correction in the cable merging process, analyzes the sectional shape of the cable core and develops its illumination model by using machine vision technology, proposes an improved FAST feature recognition algorithm for core highlight feature recognition, develops an angle calculation model for the cable core under rotation, fits the cable core highlight feature points into a straight line by using RANSAC algorithm to calculate the offset of the cable core highlight feature points, and transfers the cable core highlight offset from pixel coordinates to world coordinates. Finally, the rotation angle of the cable core is calculated.
cable core;lighting model;FAST;RANSAC
TM246
A
10.3969/j.issn.1006-0316.2020.12.008
1006-0316 (2020) 12-0053-08
2020-06-15
四川省科技廳重點(diǎn)研發(fā)項目:智能監(jiān)控技術(shù)在大型成纜機(jī)并線關(guān)鍵工藝中的應(yīng)用開發(fā)(2020YFG0118);瀘州市科技局(川大-瀘州)合作項目(2019):大型成纜機(jī)并線關(guān)鍵工藝智能監(jiān)控技術(shù)研究(2019CDLZ-08)
韓皓杰(1996-),男,山西呂梁人,碩士研究生,主要研究方向?yàn)闄C(jī)械電子工程。*通訊作者:田大慶(1971-),男,四川南充人,工學(xué)博士,副教授,主要研究方向?yàn)閿?shù)控技術(shù)、設(shè)備故障診斷、缺陷安全評價,E-mail:dqtian@163.com;江怡舟(1995-),男,四川南充人,碩士研究生,主要研究方向?yàn)闄C(jī)械電子工程,E-mail:985046984@qq.com。