面向精密微裝配的視覺復合定位

王曉東， 崔世鵬， 徐 征， 盧世勤

（大連理工大學 機械工程學院，遼寧 大連 116023）

1 引 言

高性能微系統(tǒng)是航空航天器等重大裝備中不可或缺的關(guān)鍵單元，其裝配精度和一致性對產(chǎn)品性能作用顯著[1］。在精密微裝配中，通過機器視覺精確獲取像素級微小特征的位置，引導機械手進行微小零件的拾取、搬運、對準等[2-3］是常用的模式。隨著對微系統(tǒng)性能和集成度要求的不斷提高，系統(tǒng)逐漸呈現(xiàn)多品種、小批量、異形異構(gòu)等特點。在視覺引導的精密微裝配中，零件特征的提取普遍采用固定的、人工設(shè)計的算子在預設(shè)的感興趣區(qū)域（Region of Interest， ROI ）內(nèi)進行，該方法能夠在較為理想的實驗環(huán)境中得到滿意的精度。但是，在實際批量裝配生產(chǎn)中，照明波動、零件表面差異、輕度離焦會導致此類算子無法提取到真實的有效特征，導致視覺引導任務失敗，嚴重影響裝配效率和儀表成活率。這就需要在兼顧精度的同時，提高視覺定位的穩(wěn)定性。

目前，在工業(yè)現(xiàn)場應用的視覺算法多是通過幾何形狀特征配準[4-6］或基于尺度不變特征轉(zhuǎn)換（Scale-Invariant Feature Transform，SIFT）[7-9］、方向梯度直方圖（Histogram of Oriented Gradients，HOG）特征[10-11］等模板匹配的方式來實現(xiàn)，這類基于固定算子或模板的“硬核”方法均存在泛化性弱的問題，難以適應復雜裝配作業(yè)需求。近年來，人工智能的發(fā)展為提高定位算法的穩(wěn)定性帶來新契機，YOLO（You Only Look Once）[12-13］，SSD（Single Shot multibox Detector）[14］，R-CNN（Region CNN）[15］等目標框檢測算法在保持智能算法強穩(wěn)定性的前提下，具有速度快、精度高，便于部署的優(yōu)點。Shinde 等[16］利 用YOLO算法分類并定位晶圓缺陷。Li 等[17］結(jié)合YOLO 算法和雙目視覺定位球體、圓柱體等工件的空間關(guān)鍵點。Suzuki 等[18］結(jié)合孿生網(wǎng)絡與SSD定位最佳抓取位置。這類算法盡管具有強穩(wěn)定性，但總體上精度多局限在10 像素以上，這是樣本統(tǒng)計類算法本質(zhì)決定的，雖然采用像素級分割可以進一步提高定位準確性，但標注繁瑣，對硬件要求也較高。

本文提出一種微小特征復合定位方法，該方法結(jié)合深度學習魯棒性強與幾何特征提取精度高的特點，先利用深度學習算法鎖定目標區(qū)域（粗定位），然后利用幾何輪廓精確定位特征（精定位）。建立面向?qū)嶋H裝配過程的自適應動態(tài)學習機制，根據(jù)精定位和粗定位結(jié)果差異，通過圖像自動標注與樣本增強進行再訓練，提高定位算法對零件差異的自適應能力。

2 原理與方法

2.1 基本過程

微小零件復合定位法包含目標框檢測算法（粗定位）與輪廓幾何特征配準算法（精定位）。如圖1 所示，目標框檢測算法用于初步定位零件特征區(qū)域，其流程包含原始圖像數(shù)據(jù)集建立、算法訓練及自動標注機制。憑借粗定位獲取的特征位置、類別等信息，精定位通過輪廓幾何特征配準法獲取零件特征準確位置，粗-精定位相互結(jié)合，引導精密裝配作業(yè)。

圖1 復合定位法的訓練及應用Fig.1 Training and application of composite positioning method

原始數(shù)據(jù)集建立及粗定位算法訓練步驟如下：

（1）采集多種光照亮度、位姿、離焦等狀態(tài)的零件特征圖片共1 000 張，特征輪廓包含圓形、矩形以及不規(guī)則輪廓，手工標注形成原始圖像數(shù)據(jù)集；

（2）按照9∶1 的比例將數(shù)據(jù)集劃分為訓練集與驗證集并訓練目標框檢測算法；

（3）對原始圖像數(shù)據(jù)集中的零件圖片進行亮度調(diào)整、旋轉(zhuǎn)，并添加椒鹽噪聲、高斯噪聲等操作，實現(xiàn)樣本增強，將原始圖像數(shù)據(jù)集增至4 000 張；

（4）利用原始圖像數(shù)據(jù)集訓練粗定位目標框檢測算法。若零件因變動批次導致表面狀態(tài)改變，粗定位目標框檢測算法定位成功率也隨之下降，則通過粗定位算法預測新批次零件，將預測所得零件的特征類別、位置等信息制作成標簽文件，通過Labelimg 軟件對其檢查并微調(diào)，完成原始圖像數(shù)據(jù)集的補充更新，利用更新的數(shù)據(jù)集重新訓練目標框檢測算法。

微小特征復合定位步驟如下：

（1）利用粗定位目標框檢測算法預測零件圖片，以目標框位置為基準提取ROI；

（2）根據(jù)預測信息中的特征類別是否符合裝配流程、目標置信度是否超過預定閾值、目標位置偏離量是否超差等情況判斷流程的可靠性；

（3）以預測的特征類別及位置為依據(jù)，對不同零件使用相應的輪廓配準算法，提取特征點并通過坐標轉(zhuǎn)換引導精密裝配動作。

2.2 復合定位方法的實現(xiàn)

粗定位旨在從圖像中快速提取ROI，為精定位提供有先驗約束的計算狀態(tài)。本文選用YOLOv5 作為特征粗定位算法。YOLOv5 由輸入端、主干網(wǎng)絡、頸部網(wǎng)絡和檢測頭組成，輸入端采用4 幅圖像隨機縮放、裁剪、排列的馬賽克拼接進行數(shù)據(jù)增強，主干網(wǎng)絡通過Darknet53 卷積網(wǎng)絡結(jié)構(gòu)提取深度特征，頸部網(wǎng)絡采用特征金字塔網(wǎng)絡（Feature Pyramid Network， FPN）與像素聚合網(wǎng)絡（Pixel Aggregation Network， PAN）結(jié)構(gòu)提取強語義特征與強定位特征，檢測頭用CIOU Loss 作為邊界框的損失函數(shù)[19］，零件圖像經(jīng)過該算法處理后獲得所需零件包圍框的位置與類別。

精定位旨在從粗定位獲得的ROI 中獲取微小零件特征的準確位置，在排除干擾的條件下，采用幾何算子就可以精確定位特征。精定位算法采用最大類間方差法（OTSU）[20］對零件與背景進行分割。OTSU 將零件與圖像背景分為兩類，使兩類方差最大的閾值即為最佳分割閾值。假設(shè)ROI 中像素數(shù)為N，灰度值為i的像素個數(shù)為ni，則該灰度值像素的概率為：

若二值化閾值為T，ROI 中最大像素值為L，則前景與背景兩類出現(xiàn)的概率分別為：

那么兩類的灰度均值分別為：

整個ROI 區(qū)域的灰度均值為：

類間方差定義為：

式(5)中，σ2取最大值的閾值T即為最佳分割閾值。

二值化分割完成后進一步通過Canny 算子[21］提取零件輪廓幾何特征。圖2 所示為通過OTSU 法進行閾值分割以及通過Canny 算子提取圖像輪廓幾何特征的操作流程。

圖2 Canny 處理流程Fig. 2 Flowchart of Canny processing

為了進一步獲取像素級精度的輪廓位置信息，這里利用最小二乘算法擬合邊緣信息，即使擬合后的輪廓與數(shù)據(jù)點之間的誤差平方和最小。為了排除邊緣信息中離群點的干擾，設(shè)計多次迭代擬合方法。以圓形輪廓為例，在擬合過程中，本文選擇30 個像素作為初始閾值，即擬合出圓心坐標及半徑后，分別計算原始集合中各點與擬合出的圓之間的距離，如果距離超過閾值，則將該點從原始集合中剔除，隨后將閾值減小，重新擬合，如此迭代直至誤差小于要求的范圍。

3 實驗設(shè)備

實驗在課題組研制的精密膠連裝配設(shè)備上開展，該設(shè)備可通過視覺測量模塊定位微小零件，通過機械手完成上料、拾取、裝配等動作。其主要組成部分如圖3 所示：

圖3 精密裝配系統(tǒng)實物Fig.3 Photo of precision assembly system

（1）視覺測量模塊負責圖像采集工作，由工業(yè)相機、光學遠心鏡頭、光源以及精密位移滑臺組成，其中光源由八位數(shù)字輸出卡控制，可實現(xiàn)256 級光照強度變化，其余器件性能參數(shù)見表1；

表1 視覺測量模塊的技術(shù)參數(shù)Tab. 1 Technical parameters of visual measurement module

（2）工作臺模塊負責夾具的定位、鎖緊以及零件的位姿調(diào)整（重復精度0.3 μm）；

（3）上料模塊負責待裝配零件的上料；

（4）機械臂模塊是精密自動化裝配系統(tǒng)中的執(zhí)行模塊，完成零件的拾取、搬運、裝配等工作；

（5）工具庫模塊是裝配系統(tǒng)中不同零件吸附機構(gòu)的存放模塊，配合作業(yè)機械臂模塊完成裝配工作。

4 實驗結(jié)果與分析

本文以查準率（Precision， P）、查全率（Recall， R）、平均精確度（Average Precision， AP）以及模型參數(shù)數(shù)量評價粗定位目標框檢測算法，以復合定位算法提取的特征位置波動情況評價整體算法。查準率為正確預測目標所占百分比，高查準率代表低誤檢概率，其計算公式為：

式中：TP代表正確預測的正向目標，F(xiàn)P代表錯誤預測的正向目標，F(xiàn)N為錯誤預測的負向目標。

查全率代表正確預測的目標在所有目標中所占的百分比，其計算公式如下：

AP 為查準率與查全率曲線下的面積值，其計算公式為：

式中：p（rn+1）為與查全率對應的查準率，mAP 為各類別AP的平均值。其中，mAP_0.5為當IOU閾值為0.5 時AP 的平均值，mAP_0.5∶0.95 為將IOU閾值從0.5到0.95間隔0.05計算mAP值并最后求得的平均值，此指標更加關(guān)注目標的位置精度。

4.1 復合定位方法對比

選擇近年來有代表性的3 種目標框檢測算法YOLO，F(xiàn)aster R-CNN 和SSD，與精定位輪廓配準算法組合成為復合定位方法后，進行對比實驗，對比指標包含平均精確度、平均消耗時間和參數(shù)數(shù)量。

實驗樣本采集自某導航傳感器的實際裝配流程，包含6 種零件共1 000 張圖像，將該圖像集進行樣本增強后獲得4 000 張零件圖像，并按照9∶1 的比例劃分為訓練集與測試集。實驗測試環(huán)境 為corei7-12700h CPU 和RTX3060 顯 卡，結(jié) 果見表2。

在對比實驗中，各算法的mAP 值均高于98%。其 中，YOLOv5 的mAP 值 與Faster RCNN 和SSD 相比分別降低0.76% 和0.66%?；赮OLOv5 算法構(gòu)建的復合定位方法的耗時間最短。在模型參數(shù)數(shù)量方面，YOLOv5 算法最少，為7.065M，約為Faster R-CNN 算法的1/19和SSD 算法的1/3。由此可見，由YOLOv5 組成的復合定位方法在一定程度上能兼顧效率和精度，與其他算法相比，更適合應用在精密微裝配作業(yè)中。

4.2 穩(wěn)定性測試

4.2.1 亮度變化對復合定位算法穩(wěn)定性的影響

本文引入圖像對比度對所采集圖像進行定量評價，其計算公式為：

式中：δ(I，K)=|I-K|，為相鄰像素間的灰度差；Pδ(I，K)為相鄰像素間灰度差為δ的像素分布概率。

在0～200 光強等級內(nèi)等間隔采集零件圖像，每個光強等級下采集2 種零件各10 張圖像。計算粗定位目標框檢測算法對應的P，R，mAP 等指標。為驗證復合定位法對圖像對比度波動的穩(wěn)定性，在相機與零件相對位置不變的條件下，采集不同等級光強的圖像，通過本文方法定位特征質(zhì)心。

圖4 為2 種零件特征在不同光強等級時使用復合定位法的定位效果，圖5 為亮度變化對粗定位目標框檢測算法各項指標的影響，圖6 為通過復合定位法獲取的特征質(zhì)心坐標。

圖4 不同光強等級下定位效果Fig. 4 Positioning results with different light intensities

圖5 亮度變化對粗定位的影響Fig.5 Influence of brightness on rough positioning

圖6 定位算法提取的特征坐標Fig.6 Extracted feature coordinates by positioning algorithm

當圖像對比度高于2.37（光強等級＞60）時，粗定位各指標均在90%以上。當圖像對比度降低至2.37（光強等級為60）時，P，R，mAP_0.5，mAP_0.5∶0.95 分別下降至83%，76%，81%，54%，此時復合定位方法的重復定位精度優(yōu)于2個像素；當圖像對比度繼續(xù)降低至1.1（光強等級為40）時，P，R，mAP_0.5，mAP_0.5∶0.95 降低至60%，65%，55% 和39%，特征2 定位出現(xiàn)異常，復合定位方法的重復定位精度超出2 個像素；當圖像對比度低于1.1（光強等級＜40）時，零件特征難以辨別，無法成功定位。因此，在圖像對比度高于2.37（光強等級＞60）時，本文所述方法有較高的定位穩(wěn)定性。

4.2.2 離焦度對復合定位算法穩(wěn)定性的影響

以鏡頭工作距離為基準，在遠離相機的方向間隔200 μm 采集零件圖像，每次拍攝2 種零件各10 張圖像，共拍攝11 組圖像并制成測試集。本文引入灰度差分法和Brenner 梯度算子實現(xiàn)離焦程度的定量評價[22-23］，計算公式如下：

式中I(i，j)為圖像像素值。將兩個函數(shù)結(jié)果歸一化后的均值作為離焦程度評價指標，記為F。

為驗證復合定位法對圖像離焦的穩(wěn)定性，保持零件固定并在不同離焦距離下采集圖像，通過復合定位算法定位零件特征質(zhì)心坐標。圖7 為不同離焦距離下使用復合定位算法的定位效果。圖8 為離焦距離對粗定位檢測算法各項指標的影響，圖9 為復合定位算法在不同離焦距離下提取的特征質(zhì)心坐標。

圖7 不同離焦距離下的復合定位效果Fig.7 Positioning results with various defocus distances

圖8 離焦距離對粗定位的影響Fig.8 Influence of defocus distances on rough positioning

當離焦距離≤800 μm（聚焦度≥0.56）時，粗定位目標框檢測算法的P，R，mAP_0.5 和mAP_0.5∶0.95 分 別 在88.2%，99.5%，99.5% 和83.1%以上，而復合定位方法的重復定位精度優(yōu)于2 個像素；當離焦距離增至1 000 μm（聚焦度=0.54）時，粗定位目標框檢測算法依然有較高的魯棒性，P，R，mAP_0.5 和mAP_0.5∶0.95 分別為94.0%，100.0%，99.5%，82.2%，但復合定位方法的重復定位精度降低至5 個像素（對應微裝配場景精度約為12 μm）；當離焦距離大于1 000 μm（聚焦度＜0.54）時，P，R，mAP_0.5 和mAP_0.5∶0.95 分 別 降 至94.3%，93.0%，99.5%，82.2%以下，復合定位方法中精定位過程因聚焦度過低而失敗。

4.2.3 位姿變化對復合定位算法穩(wěn)定性的影響

裝配設(shè)備中零件夾具有足夠的制造精度與安裝精度，零件不會有大角度偏差，在上百件小批量裝配實驗中，零件的實際旋轉(zhuǎn)角度為-3.4°～3.7°，因此，實驗樣本采集了2 種零件旋轉(zhuǎn)10°內(nèi)的圖像，并以此來驗證復合定位法在目標零件位姿變化時的抗干擾能力。

圖10 為2 種零件在不同旋轉(zhuǎn)角度下使用復合定位算法的定位效果，圖11 為隨著零件轉(zhuǎn)動粗定位目標框檢測算法各項指標的變化情況。結(jié)果表明：隨著零件旋轉(zhuǎn)角度的變化，粗定位算法各項評價指標并無明顯變化，P，R，mAP_0.5 和mAP_0.5∶0.9 分 別 在92.3%，100%，99.5%，87.7% 以上，同時精定位過程也未受到干擾，定位成功率達到100%，即針對零件位姿變化本文所述復合定位法具有足夠的穩(wěn)定性。

圖11 位姿對粗定位的影響Fig.11 Influence of posture on rough positioning

4.3 準確性測試

以精密位移滑臺為參考展開復合定位算法準確性實驗。保持零件固定，精密位移滑臺帶動相機每移動100 μm 后拍攝圖片，重復5 次，分別使用YOLOv5 粗定位目標框檢測算法與本文方法定位零件在圖像中的坐標，計算相鄰兩次特征位置的歐氏距離并與滑臺移動距離進行比較。

圖12 為測試所用4 種微小零件特征，表3 與表4 分別為使用目標框檢測算法與本文所述方法定位上述4 種特征的測試數(shù)據(jù)。每種特征分別統(tǒng)計了5 次特征坐標移動距離與滑臺移動距離之差，其中目標框檢測算法定位特征的最大定位誤差為20.8 μm，重復定位精度為39.2 μm；復合定位法定位特征的最大定位誤差為1.0 μm，重復定位精度為1.3 μm。由測試數(shù)據(jù)可知，本文所述零件定位方法的定位精度顯著優(yōu)于直接使用目標框檢測算法，且定位精度與重復精度均優(yōu)于2 μm。

表3 目標框檢測算法定位誤差Tab.3 Error of target detection algorithm （μm）

表4 復合定位法定位誤差Tab.4 Error of composite positioning algorithm（μm）

圖12 零件特征Fig.12 Images of part features

4.4 自動標注及動態(tài)學習機制測試

為驗證動態(tài)學習機制的有效性，選擇某型號傳感器的引線基板作為測試對象，通過改變制造參數(shù)使該零件具有兩種不同表面狀態(tài)，如圖13 所示。采集零件圖像并分別建立測試圖像數(shù)據(jù)集，每個數(shù)據(jù)集包含40 張不同狀態(tài)的零件圖像。

選擇兩個測試數(shù)據(jù)集之一訓練原始粗定位目標框檢測算法，分別測試該粗定位算法在兩個測試數(shù)據(jù)集上的P，R指標，計算過程中置信度閾值與交并比閾值分別為0.25 和0.45。

測試結(jié)果表明：零件表面狀態(tài)改變后，原始粗定位目標框檢測算法定位與分類零件出現(xiàn)異?；蚴。琍和R分別下降至68.1%與72.7%，而通過自動標注流程并再次訓練，P和R提高至96.0%和99.2%，粗定位成功率達到改變前的水平。

4.5 裝配實驗

通過課題組研制的裝配設(shè)備進行實驗，待裝配組件由圖14 所示的兩個零件組成，零件以中心孔為基準，上下疊放完成裝配。裝配實驗使用幾何特征配準定位算法和復合定位法分別引導實驗設(shè)備裝配100 套不同批次的組件。裝配流程如圖15 所示，具體步驟如下：

圖14 待裝配零件Fig.14 Assembly parts

圖15 基于特征定位方法的裝配流程Fig.15 Assembly process based on feature positioning

（1）將零件2 放置于裝配工作臺上，視覺測量模塊調(diào)用定位算法定位零件；

（2）通過上料夾具對零件1 初步定位，視覺測量模塊調(diào)用定位算法精確定位；

（3）作業(yè)機械臂模塊通過真空吸附方式將零件1 搬運至裝配位置；

（4）對準上下兩個零件后執(zhí)行裝配，直至完成；

（5）裝配完成后通過最小二乘算法擬合零件中心孔邊緣，以兩個零件圓心在X，Y方向上的偏差表示裝配誤差。

使用特征定位方法引導實驗設(shè)備進行裝配工作，組件X方向的最大偏差為7.4 μm，均值為3.1 μm，Y方向的最大偏差為9.7 μm，均值為4.6 μm，圓心最大偏差為9.7 μm，滿足裝配精度要求。以單純使用幾何特征配準的定位算法引導完成的裝配任務中，裝配誤差與本文所述方法相當，但裝配成功率僅為69%，而應用本文定位方法后裝配成功率為97%。

5 結(jié) 論

本文提出了一種面向精密裝配的微小零件特征復合定位方法，通過粗定位與精定位兩步實現(xiàn)零件的準確定位。相比于傳統(tǒng)零件定位算法，該方法對光照變化、離焦和位姿變化等干擾因素有較高的穩(wěn)定性，同時該方法保留了傳統(tǒng)定位算法精度高的優(yōu)點。引入自動標注以及動態(tài)學習機制，解決了零件因批次變動而導致定位算法適應能力下降的問題。將該方法部署于精密裝配設(shè)備上進行裝配實驗，裝配精度小于2 μm,裝配成功率為97%，能夠滿足精密微裝配對精度與穩(wěn)定性的要求。