基于計(jì)算機(jī)視覺的航天電連接器插針質(zhì)量檢測(cè)技術(shù)研究

袁鵬哲 余紫揚(yáng) 張 楠 劉 璞 張烈山

基于計(jì)算機(jī)視覺的航天電連接器插針質(zhì)量檢測(cè)技術(shù)研究

袁鵬哲1余紫揚(yáng)1張 楠2劉 璞1張烈山1

（1.浙江理工大學(xué)，杭州 310018；2.首都航天機(jī)械有限公司，北京 100076）

提出了一種基于計(jì)算機(jī)視覺的連接器插針質(zhì)量檢測(cè)方法。該方法利用高分辨率工業(yè)相機(jī)和成像系統(tǒng)對(duì)被測(cè)電連接器插針進(jìn)行攝像，經(jīng)圖像預(yù)處理、插針特征點(diǎn)提取、坐標(biāo)點(diǎn)配準(zhǔn)和模板比對(duì)等處理后，根據(jù)比對(duì)結(jié)果對(duì)插針進(jìn)行合格性判定。搭建了一套影像測(cè)量系統(tǒng),經(jīng)實(shí)驗(yàn)驗(yàn)證，結(jié)果表明該方法基本實(shí)現(xiàn)了對(duì)航天連接器插針的自動(dòng)化檢測(cè)，合格性判定成功超過(guò)98.67%，基本滿足了應(yīng)用要求。

電連接器；計(jì)算機(jī)視覺；坐標(biāo)配準(zhǔn)；模板比對(duì)

1 引言

隨著計(jì)算機(jī)技術(shù)的發(fā)展，航天制造業(yè)作為我國(guó)重要戰(zhàn)略性產(chǎn)業(yè)，面臨轉(zhuǎn)型升級(jí)[1]。各類航天飛行器內(nèi)部包含各種傳感器模塊或者具有特定功能電路模塊[2，3]。模塊之間常采用電連接器交互數(shù)據(jù)或傳輸能量。為保證航天傳感器模塊信號(hào)連接或能量傳輸?shù)目煽啃?，使用前須檢測(cè)航天電連接器的插針[4]。計(jì)算機(jī)視覺技術(shù)作為目前檢測(cè)領(lǐng)域最有效的方法之一，利用模擬人眼視覺識(shí)別效果，獲取并處理信息[5，6]。相較于人眼，具有更高的準(zhǔn)確率與更快的檢測(cè)速度，減少人力物力的投入，提高生產(chǎn)效率，促使生產(chǎn)線全自動(dòng)化[7～11]。

視覺檢測(cè)技術(shù)在航空航天制造領(lǐng)域也發(fā)揮著越來(lái)越重要的作用[12，13]，李曉慶等人[14]利用機(jī)器視覺對(duì)現(xiàn)有運(yùn)載火箭增壓氣瓶氣密性實(shí)現(xiàn)自動(dòng)檢測(cè)；邢雪亮等人[15]提出基于機(jī)器視覺的航空鉚釘尺寸高精度與智能化的檢測(cè)方法；畢超等人[16]針對(duì)飛機(jī)蒙皮上鉆孔點(diǎn)位處的法矢檢測(cè)提出了結(jié)構(gòu)光視覺檢測(cè)系統(tǒng)；南京電子技術(shù)研究所通過(guò)分析電連接器三維裝配設(shè)計(jì)的流程及特點(diǎn)，提出了對(duì)電連接器三維快速裝配工具的應(yīng)用技術(shù)[17]。提出了一種基于計(jì)算機(jī)視覺技術(shù)檢測(cè)方法，通過(guò)插針坐標(biāo)提取、模板比對(duì)，實(shí)現(xiàn)航天航空插頭接口處插針的自動(dòng)化缺陷檢測(cè)識(shí)別。

2 插針檢測(cè)原理

工業(yè)現(xiàn)場(chǎng)電連接器插針自動(dòng)檢測(cè)系統(tǒng)如圖1所示。插頭平放傳送帶上由PLC控制傳送節(jié)拍，達(dá)到檢測(cè)工位后，由工業(yè)成像系統(tǒng)采集電連接器的插針接口影像。

圖1 航天電連接器插針自動(dòng)檢測(cè)系統(tǒng)示意圖

該系統(tǒng)利用工業(yè)機(jī)械臂調(diào)整工業(yè)相機(jī)的拍攝位置和角度，獲取被測(cè)產(chǎn)品上的電連接器圖像信息，并傳輸至計(jì)算機(jī)。計(jì)算機(jī)獲得被測(cè)插頭圖像后，從中提取出所需的幾何特征。根據(jù)數(shù)學(xué)模型，將特征點(diǎn)點(diǎn)集的坐標(biāo)歸一化。最后，與標(biāo)準(zhǔn)模板點(diǎn)集配準(zhǔn)與比較，判斷是否存在異常點(diǎn)，檢測(cè)被測(cè)插頭缺陷。

2.1 成像系統(tǒng)模型

高精度相機(jī)獲取待測(cè)件圖像，其中相機(jī)模型是光學(xué)成像幾何關(guān)系的簡(jiǎn)化。薄透鏡物像公式高斯形式為：

2.2 圖像矯正

在透鏡的實(shí)際制作和安裝過(guò)程中存在誤差，在成像時(shí)會(huì)產(chǎn)生徑向和切向畸變，在坐標(biāo)轉(zhuǎn)換前要矯正。徑向畸變可以通過(guò)泰勒級(jí)數(shù)展開校正：

式中：(,)——矯正后的坐標(biāo)；(,) ——矯正前的坐標(biāo)；——與光學(xué)中心的距離；1,2,3——徑向畸變系數(shù)。切向畸變可以通過(guò)泰勒級(jí)數(shù)展開校正：

式中：1，2——切向畸變系數(shù)。綜上所述，成像系統(tǒng)總共需要得到5個(gè)畸變參數(shù)。通過(guò)OpenCV函數(shù)庫(kù)中張正友標(biāo)定法[18]標(biāo)定成像系統(tǒng)所拍攝的標(biāo)準(zhǔn)棋盤格圖像，得到畸變系數(shù)，根據(jù)式（2）和式（3）實(shí)現(xiàn)檢測(cè)圖像的畸變校正。

3 檢測(cè)算法設(shè)計(jì)

獲得檢測(cè)影像后，通過(guò)OpenCV函數(shù)庫(kù)處理圖像得到所需特征點(diǎn)信息。對(duì)所提取的插針特征點(diǎn)與標(biāo)準(zhǔn)坐標(biāo)模板進(jìn)行點(diǎn)集配準(zhǔn)，分析兩者坐標(biāo)位置即可檢測(cè)插針缺陷。質(zhì)量檢測(cè)算法流程如圖2所示。

圖2 檢測(cè)算法總體流程圖

3.1 圖像預(yù)處理

為使圖像特征更加突出，便于后續(xù)處理。預(yù)處理過(guò)程包括濾波、二值化、膨脹腐蝕等。為減少電連接器插口圖像噪點(diǎn)需采用高斯濾波算法預(yù)處理。通常采用的是二維高斯濾波，濾波函數(shù)為：

為便于電連接器插針位置的準(zhǔn)確提取，需要設(shè)置一定的閾值對(duì)圖像二值化處理，將圖像黑白化。采用Ostu算法[19]（大津法）分割自適應(yīng)閾值，根據(jù)遍歷所有分割閾值對(duì)應(yīng)的圖像類間方差，以最大類間方差所對(duì)應(yīng)的閾值作為分割閾值。其計(jì)算公式如下：

式中：0——前景點(diǎn)所占比例；0——前景灰度均值；1——背景灰度均值。

腐蝕膨脹處理便于后期圖像特征目標(biāo)輪廓提取。經(jīng)過(guò)處理后的圖片會(huì)有一個(gè)平滑的邊界，使邊緣輪廓提取更為準(zhǔn)確。圖3所示為某型10針電連接器插針的檢測(cè)圖像原圖與預(yù)處理后的圖像。

3.2 ROI分割

圖4 ROI分割結(jié)果

利用OpenCV庫(kù)中的Findcontours()函數(shù)提取出插頭接口的外輪廓像素，建立ROI掩膜。將掩膜作用于二值化后的圖像，完成ROI分割。圖4所示為前述10針電連接插口檢測(cè)圖像ROI分割后效果，準(zhǔn)確濾除了所有的背景，僅保留接口區(qū)域，減少了運(yùn)算量。

3.3 特征點(diǎn)提取

在光源的照射下，插針中心處會(huì)形成圓形的光斑，提取圖像中圓形光斑的圓心作為插針的位置，得到插針的位置分布。使用霍夫圓轉(zhuǎn)換[20]對(duì)ROI區(qū)域進(jìn)行圓的提取。已知圓的一般參數(shù)方程為：

化簡(jiǎn)后得：

式中，(,)為圖像平面上的圓心坐標(biāo)，為半徑。在圖像平面上的圓對(duì)應(yīng)其參數(shù)空間中的點(diǎn)(,,)。在圖像平面上的點(diǎn)相對(duì)應(yīng)于其參數(shù)空間中的三維圓錐面。如圖5所示，其中，三元組(i,i,)代表了每一個(gè)可能的圓，可定位圓。在圖像中，每一個(gè)像素點(diǎn)(i,i)可能在一個(gè)或者多個(gè)圓上。這樣的圓必須過(guò)點(diǎn)(i,i)，且滿足式（7）。

圖5 標(biāo)準(zhǔn)霍夫變換原理

像素點(diǎn)集合{(i,i)}在參數(shù)空間中對(duì)應(yīng)的圓錐面會(huì)構(gòu)成圓錐簇。若集合中的所有點(diǎn)都位于同一圓周上，則其構(gòu)成的圓錐簇就會(huì)相交于參數(shù)空間中的一點(diǎn)(0,0,0)，而圓錐簇交點(diǎn)對(duì)應(yīng)的是要檢測(cè)的圓在圖像平面上的圓心和半徑。

基于霍夫圓變換對(duì)插針中心點(diǎn)查找工作過(guò)程如下：

圖6 圓心查找示意圖

a.首先對(duì)圖像應(yīng)用Canny邊緣檢測(cè)提取邊緣輪廓線；b.使用Sobel算子計(jì)算所有邊緣輪廓線上各個(gè)像素點(diǎn)的梯度；c.遍歷邊緣輪廓線上所有點(diǎn)，沿著輪廓線上各點(diǎn)的梯度方向畫線，如圖6所示，再統(tǒng)計(jì)并排序輪廓線中每個(gè)點(diǎn)上過(guò)線數(shù)量，根據(jù)設(shè)定的閾值范圍即可找到所有可能的圓心；d.計(jì)算邊緣輪廓線上所有像素點(diǎn)距離圓心的距離，從小到大排序，選取合適的半徑；e.如果邊緣輪廓線上有足夠數(shù)量的點(diǎn)組合成一個(gè)圓并且其圓心與之前選中圓心的距離足夠大，則保留這個(gè)圓心。

根據(jù)各個(gè)圓心之間的最小距離、圓的最大半徑、圓的最小半徑等參數(shù)，約束霍夫圓提取的過(guò)程，實(shí)現(xiàn)插針位置精確提取。如圖7所示，插針位置提取算法的實(shí)際效果可以看出，特征點(diǎn)（插針頂部亮斑）提取算法準(zhǔn)確地提取出了所有插針的位置。

圖7 插針位置提取效果

3.4 點(diǎn)集配準(zhǔn)與插針坐標(biāo)偏差計(jì)算

圖8 模板匹配效果示意圖

提取到待測(cè)電連接器各個(gè)插針位置后，與標(biāo)準(zhǔn)模板比對(duì)可判斷是否存在缺陷。由于拍攝角度不同，被測(cè)插頭的插針分布與模板并不是完全對(duì)應(yīng)的，如圖8a所示。偏差判別之前需要配準(zhǔn)點(diǎn)集，使檢測(cè)圖像坐標(biāo)系與模板坐標(biāo)系相匹配。點(diǎn)集的配準(zhǔn)分三個(gè)步驟：

a. 旋轉(zhuǎn)中心歸一化：首先確定被測(cè)點(diǎn)集的旋轉(zhuǎn)中心。由于插針一般為同心圓排布，因此使用最小二乘法對(duì)被測(cè)點(diǎn)集進(jìn)行圓的擬合，并以此為旋轉(zhuǎn)中心。根據(jù)旋轉(zhuǎn)中心，歸一化處理被測(cè)點(diǎn)集，將旋轉(zhuǎn)中心移動(dòng)至原點(diǎn)，便于后續(xù)處理。

b. 旋轉(zhuǎn)角度迭代求解：歸一化后的被測(cè)點(diǎn)集與標(biāo)準(zhǔn)點(diǎn)集存在旋轉(zhuǎn)差異，需要計(jì)算出兩組點(diǎn)集之間的旋轉(zhuǎn)角度。被測(cè)點(diǎn)集(i,i)與標(biāo)準(zhǔn)點(diǎn)集(i,i)之間的匹配代價(jià)定義為：

被測(cè)點(diǎn)集繞旋轉(zhuǎn)中心（原點(diǎn)）旋轉(zhuǎn)的計(jì)算公式為：

式中，(,)為原始坐標(biāo)，(,)為新坐標(biāo)，為繞原點(diǎn)逆時(shí)針旋轉(zhuǎn)的角度。

通過(guò)改變旋轉(zhuǎn)角度，匹配代價(jià)迭代運(yùn)算，以最小匹配代價(jià)對(duì)應(yīng)的旋轉(zhuǎn)角度作為最終計(jì)算結(jié)果。為了減小運(yùn)算量，在計(jì)算旋轉(zhuǎn)角度時(shí)采用變步長(zhǎng)搜索。首先，以步長(zhǎng)step為10°，在[0°, 360°] 區(qū)間內(nèi)迭代運(yùn)算，取最小匹配代價(jià)對(duì)應(yīng)的旋轉(zhuǎn)角度；下一步以步長(zhǎng)1°，在[-step,+step] 區(qū)間內(nèi)迭代運(yùn)算，以此類推，當(dāng)步長(zhǎng)小于0.01°時(shí)結(jié)束迭代運(yùn)算，并輸出最終旋轉(zhuǎn)角度。

c. 點(diǎn)集旋轉(zhuǎn)；根據(jù)旋轉(zhuǎn)中心與旋轉(zhuǎn)角度，運(yùn)算被測(cè)插針點(diǎn)集并與標(biāo)準(zhǔn)點(diǎn)集配準(zhǔn)。將被測(cè)插針坐標(biāo)點(diǎn)集與標(biāo)準(zhǔn)模板上的插針坐標(biāo)比對(duì)，如圖8所示。以配準(zhǔn)后的兩組點(diǎn)集對(duì)應(yīng)點(diǎn)之間平均距離的兩倍作為判斷閾值，可實(shí)現(xiàn)插針的合格性分類，超出閾值的插針即為不合格插針。

4 電連接器插針檢測(cè)實(shí)驗(yàn)

為驗(yàn)證上述計(jì)算機(jī)視覺方法檢測(cè)航天電連接器插針缺陷的有效性，搭建了一套模擬工業(yè)生產(chǎn)應(yīng)用的影像測(cè)量系統(tǒng)，主要由成像系統(tǒng)、機(jī)械臂、傳送帶以及上位機(jī)構(gòu)成。其成像系統(tǒng)主要參數(shù)指標(biāo)如表1所示。

表1 成像系統(tǒng)主要參數(shù)描述

以GX16-10P型電連接器為例簡(jiǎn)述實(shí)驗(yàn)過(guò)程，GX16-10P型電連接器插口標(biāo)準(zhǔn)模板尺寸如圖9所示。

圖9 標(biāo)準(zhǔn)模板

圖10 原始圖像

為驗(yàn)證所述電連接器插針質(zhì)量檢測(cè)方法的有效性，將經(jīng)過(guò)掰歪的GX16-10P型電連接器作為檢測(cè)對(duì)象，利用安裝在機(jī)械臂末端的成像系統(tǒng)拍攝連接器接口檢測(cè)圖像，原始檢測(cè)圖像如圖10所示，可見該連接器右上方插針向外歪斜。

原始圖像預(yù)處理后，提取插針坐標(biāo)并配準(zhǔn)點(diǎn)集，與標(biāo)準(zhǔn)模板比較，檢測(cè)各個(gè)插針是否存在缺陷，有缺陷的插針圈出，實(shí)現(xiàn)輸出圖像可視化。配準(zhǔn)和檢測(cè)結(jié)果如圖11所示，圖11a為點(diǎn)集配準(zhǔn)后的效果圖，圖11b中圈出的插針帶有缺陷。圖像處理過(guò)程耗時(shí)0.5s，能夠滿足要求。

將所提取的插針光斑特征點(diǎn)與標(biāo)準(zhǔn)模板坐標(biāo)比對(duì)，成功判別了被測(cè)電連接器的缺陷。所述方法可判斷并找出插針缺陷。

表2 不同型號(hào)電連接器插針質(zhì)量檢測(cè)結(jié)果

利用該系統(tǒng)對(duì)不同型號(hào)、不同質(zhì)量的航天電連接器插針重復(fù)檢測(cè)，統(tǒng)計(jì)檢測(cè)算法的準(zhǔn)確率，驗(yàn)證所述方法的準(zhǔn)確性。分別對(duì)合格、不合格的電連接器進(jìn)行不少于150次的檢測(cè)試驗(yàn)，結(jié)果見表2。從表中的數(shù)據(jù)可以看出，本方法對(duì)于不合格產(chǎn)品沒有發(fā)生誤檢。

5 結(jié)束語(yǔ)

針對(duì)航天電連接器插針質(zhì)量自動(dòng)化檢測(cè)問(wèn)題，提出了一種基于計(jì)算機(jī)視覺的檢測(cè)方法。該方法利用影像檢測(cè)技術(shù)對(duì)航天電連接器插頭接口內(nèi)的插針缺陷進(jìn)行無(wú)人工干預(yù)的自主檢測(cè)判斷。通過(guò)對(duì)插頭接口的圖像預(yù)處理、輪廓檢測(cè)分割、特征點(diǎn)提取、點(diǎn)集配準(zhǔn)和模板比對(duì)分析，對(duì)插頭接口內(nèi)的插針缺陷進(jìn)行檢測(cè)判斷并找出帶有缺陷的插針。經(jīng)過(guò)試驗(yàn)調(diào)試該方法判斷插針缺陷所需時(shí)間均在0.8s以內(nèi)，滿足工業(yè)流水線上的插針檢測(cè)需求。解決了目前工業(yè)上對(duì)航天航空插頭接口處插針缺陷自動(dòng)化檢測(cè)判斷的需求問(wèn)題。相比于傳統(tǒng)工業(yè)上裝配人員的人眼觀察判斷，在檢測(cè)效率上有了很大提升，節(jié)省了人工成本。

1 Li Yun. Empirical Analysis of Technical Efficiency of Chinese Aerospace Manufacturing[J]. ModernEconomy, 2020, 11(4)：807～816

2 陳濟(jì)桁. 航空航天制造業(yè)對(duì)自動(dòng)化在線檢測(cè)技術(shù)需求迫切[J]. 航空維修與工程，2019(10)：20～21

3 向恒. 淺析智能制造在航空航天制造業(yè)的應(yīng)用[J]. 智能制造，2018(6)：40～42

4 汪嘉杰. 面向裝配引導(dǎo)的航天電連接器視覺分類識(shí)別方法研究[D]. 上海：上海交通大學(xué)，2018

5 劉重陽(yáng). 基于計(jì)算機(jī)視覺的透明材料缺陷檢測(cè)系統(tǒng)研究[D]. 哈爾濱：哈爾濱理工大學(xué)，2020

6 李濰楚. 基于計(jì)算機(jī)視覺的表面缺陷檢測(cè)方法探究[J]. 中國(guó)新通信，2020， 22(21)：121～123

7 楊俊葉，劉佳，王麗. 計(jì)算機(jī)視覺技術(shù)在工業(yè)領(lǐng)域中的應(yīng)用[J]. 科技創(chuàng)新導(dǎo)報(bào)，2020，17(1)：108～109

8 楊俊葉，劉佳，王麗. 計(jì)算機(jī)視覺技術(shù)在工業(yè)領(lǐng)域中的應(yīng)用[J]. 科技創(chuàng)新導(dǎo)報(bào)，2020，17(1)：108～109

9 江浩. 計(jì)算機(jī)視覺技術(shù)在自動(dòng)化中的應(yīng)用探析[J]. 科技創(chuàng)新與應(yīng)用，2020(14)：179～180

10 段利容. 基于計(jì)算機(jī)視覺的檢測(cè)方法與應(yīng)用[J]. 科技資訊，2019，17(7)：7～8

11 Ren S, He K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[C]. International Conference on Neural Information Processing Systems. MIT Press, 2015:91～99

12 韓朝君. 基于深度學(xué)習(xí)的計(jì)算機(jī)視覺物體關(guān)系檢測(cè)[D]. 成都：電子科技大學(xué)，2020

13 黃新，童宣科. 基于OpenCV的航空插頭內(nèi)焊杯坐標(biāo)定位[J]. 儀器儀表用戶，2018，25(4)：49～52，61

14 李曉慶，成群林，楊波，等. 基于機(jī)器人視覺的復(fù)合氣瓶氣密自動(dòng)檢測(cè)系統(tǒng)[J]. 航天制造技術(shù)，2016(2)：27～29

15 邢雪亮，甘文波，蔣朝根. 基于機(jī)器視覺的航空鉚釘尺寸檢測(cè)技術(shù)[J]. 計(jì)量學(xué)報(bào)，2020，41(5)：518～523

16 畢超，郝雪. 基于結(jié)構(gòu)光視覺的鉆孔點(diǎn)位法矢檢測(cè)技術(shù)研究[J]. 航天制造技術(shù)，2020(4)：1～6

17 趙希芳. 電連接器三維快速裝配研究[J]. 電子機(jī)械工程，2013，29(5)： 41～43

18 李莉. OpenCV耦合改進(jìn)張正友算法的相機(jī)標(biāo)定算法[J]. 輕工機(jī)械，2015，33(4)：60～63，68

19 李宏，張冬生，林義剛，等. 基于Otsu理論的灰度圖像分割算法研究和改進(jìn)[J]. 科學(xué)技術(shù)與工程，2010，10(22)：5437～5440

20 楊春巖. 一種基于霍夫變換的圓檢測(cè)方法[J]. 白城師范學(xué)院學(xué)報(bào)，2016， 30(2)：65～68

Research on Quality Inspection Technology of Aerospace Electrical Connector Pin Based on Computer Vision

Yuan Pengzhe1Yu Ziyang1Zhang Nan2Liu Pu1Zhang Lieshan1

(1. Zhejiang Sci-Tech University, Hangzhou 310018；2. Capital Aerospace Machinery Co., Ltd., Beijing 100076)

This paper proposes a computer vision-based method to detect connector pin. This method uses a high-resolution industrial camera and imaging system to take a picture of the tested electrical connector as test sample. After image preprocessing, pin feature point extraction, coordinate point registration and template comparison, etc., test sample would be compared with template in order to realize qualification judgment. A set of image measurement system was built to verify the method. The results show that the method can basically realize the automatic detection of aerospace connector pins, and the eligibility judgment successfully exceeds 98.67%, which basically meets the application requirements.

electrical connector；computer vision；coordinate registration；the template matching

TP278；TH89

A

袁鵬哲（2000），本科在讀，電氣工程及其自動(dòng)化專業(yè)；研究方向：機(jī)器視覺測(cè)量與計(jì)算機(jī)視覺檢測(cè)。

2021-03-11