基于機器視覺的高精度微納光纖直徑實時測量

李華　麻艷娜　谷付星

摘要：針對傳統(tǒng)微納光纖直徑測量方法操作復雜、重復性差且易于損傷光纖等問題，開發(fā)了一套基于機器視覺的微納光纖直徑測量系統(tǒng)。首先，對系統(tǒng)采集的圖像進行預處理和二值化分割，其次，通過 Canny邊緣算子實現(xiàn)微納光纖邊緣初定位，最后，基于改進 Zernike 矩的亞像素檢測方法精確定位了亞像素級邊緣。此外還提出了結(jié)合 Hough 變換與最小二乘法的算法擬合亞像素級邊緣點的方案，將系統(tǒng)微納光纖直徑測量精度提升至納米級。實驗測量結(jié)果表明，該系統(tǒng)可實現(xiàn)3.51%以內(nèi)誤差的自動化測量，運行時間為2.671 s，更適用于微納光纖尺寸的高精度實時測量。

關鍵詞：微納光纖;直徑測量;機器視覺;圖像分割;邊緣檢測

中圖分類號： TP 391.4; O 434.3 文獻標志碼： A

High-precision and real-time measurement of micro-nano fiber diameter based on machine vision

LI Hua，MA Yanna，GU Fuxing

（School of Optical-Electrical and Computer Engineering， University of Shanghai forScience and Technology， Shanghai 200093， China）

Abstract： To solve the problems of complex operations， poor repeatability， and contact damage in traditional micro-nano fiber diameter measurement methods， a new measurement system based on machine vision was developed. Firstly， the image was preprocessed and binary segmented in the system， and then the edge of micro-nano fiber was initially located by the Canny edge operator. After that， a sub-pixel detection method based on improved Zernike moment was used to accurately locate? the? sub-pixel? edge. Besides，? our? system? also? proposed? an? algorithm? combining? Hough transform? and? the? least? square? method? to? fit? sub-pixel? edge? points，? which? improved? the measurement accuracy of micro-nano fiber diameters to the nanometer level. The measurement results of micro-nano fiber diameter show that the system can achieve high automation with a measurement error of less than 3.51%， and the running time is 2.671 s. It can be applied to the high- precision and real-time measurement ofmicro-nano fiber morphology.

Keywords： micro-nano fiber; diameter measurement;machine vision; image segmentation; edge detection

引言

目前，聚二甲基硅氧烷復合微納光纖、石墨烯復合微納光纖等材料已經(jīng)成為微納光纖領域的熱點研究課題。其中，微納光纖的形貌對相關微納光纖功能器件[1]的性能具有決定性的影響。因此，微納光纖傳感器件[2]的研究對光纖直徑的控制與測量提出了很高要求。

近年來，微納光纖直徑測量技術快速發(fā)展。利用掃描電子顯微鏡可實現(xiàn)分辨率達亞納米量級的微納光纖成像，然而顯微鏡中的高能電子會對被測試樣品造成不可逆的傷害。Warken等通過對光纖衍射圖樣的采集分析[3-4]，實現(xiàn)了50 nm 測量精度的光纖直徑檢測。Sumetsky等則通過檢驗納米光纖中回音壁模式的共振峰測量其直徑[5]，分辨率可低至0.1 nm 量級，但無法得到直徑的準確值。此外，Keloth等還提出了一種利用缺陷模光柵構(gòu)成的光子晶體微腔與微納光纖接觸，通過其共振峰測量光纖直徑的方案[6]，測量分辨率可達10 nm ，但是該方案需要五維調(diào)節(jié)對準微腔與微納光纖的位置，實驗操作難度大且重復性差。傳統(tǒng)微納光纖直徑測量法在實際應用中逐漸暴露出重復性差、操作難度大以及容易損傷光纖等問題。因此，本文提出了一種利用機器視覺實時測量微納光纖直徑的方案，涉及到的視覺算法包括圖像增強、邊緣檢測等。

圖像增強是一種基于圖像分割和圖像理解的預處理算法。在圖像采集和傳輸過程中，成像效果易受到光照噪聲和傳輸噪聲的影響，需要先對圖像進行濾波去噪而后進行分割。

日本的大津展之提出最大類間方差法（Otsu）分割圖像[7]。該方法以圖像的灰度直方圖為基礎，通過設置合適閾值來計算目標區(qū)域和背景區(qū)域的類間方差。當該方差函數(shù)到達最大值時，此時的閾值即為所需閾值。增強圖像后，需要通過邊緣檢測提取被測物體輪廓。邊緣檢測常用的算子有 Laplacian 算子、 Prewitt 算子和 Canny 算子[8]等。以上算子都是像素級別的，而在實際生產(chǎn)中往往需要達到亞像素級別[9]的檢測精度。目前，獲取亞像素邊緣點的方法主要有三種：空間矩法、插值法和擬合法。Lyvers等首先使用幾何矩得到圖像亞像素邊緣[10]，該方法利用六個幾何矩計算階躍邊緣參數(shù)，因其圖像矩的多項式并不正交，所以會產(chǎn)生大量的無效計算[11]。隨后，Ghosal 等提出了利用 Zernike 正交矩獲取精確亞像素邊緣點的方法[12]，但是其在計算中需要手動設置亞像素點判定條件，不僅精度較低，而且耗時較長，不利于批量處理圖像。

針對現(xiàn)有應用機器視覺進行微納光纖直徑測量方向的空缺，本文通過圖像預處理、圖像二值化分割、邊緣檢測以及直線擬合等方法，搭建了一套基于機器視覺的高精度微納光纖直徑實時測量系統(tǒng)，可精確提取擬合光纖邊緣并分析計算光纖直徑。該系統(tǒng)穩(wěn)定性強，可批量處理圖像，具有良好重復性;系統(tǒng)僅增加了相機和計算機即可實現(xiàn)測量，操作簡單;而且該系統(tǒng)屬于非接觸式測量，可避免移動光纖造成的污染和損傷。

1 基于機器視覺的微納光纖直徑檢測方法

微納光纖直徑測量步驟主要有圖像預處理、圖像分割、 Canny邊緣檢測邊緣點粗定位、亞像素邊緣檢測邊緣點精確定位和微納光纖輪廓擬合五個部分。最后利用標定獲得的相機標定系數(shù)將像素長度轉(zhuǎn)換為實際長度，計算微納光纖的準確直徑。

圖像預處理用于將原始圖像轉(zhuǎn)變?yōu)榛叶葓D像，并采用拉普拉斯算子變換[13]的方法實現(xiàn)圖像增強，增加明暗區(qū)域?qū)Ρ榷?，并通過中值濾波去除圖像隨機噪聲。圖像分割則將預處理后的圖片分割成擁有共同特征的不同的部分。本文采用 Otsu 法選取灰度閾值，根據(jù)像素點的灰度值將圖像轉(zhuǎn)變?yōu)槎祱D像。而后通過 Canny邊緣檢測算法提取圖像中灰度值急劇變化區(qū)域的點，實現(xiàn)邊緣點初定位。

該機器視覺檢測方案而后基于改進的 Zernike 矩實現(xiàn)亞像素邊緣的精確定位。該檢測算法通過三個不同階次 Zernike 矩計算階躍灰度模型參數(shù)，并通過四個參數(shù)計算確定目標邊緣。

圖像f（x，y）的二維 Zernike 矩表述為

式中： f（x，y）為圖像點（x，y）處的灰度值; V m（;）

為Vnm（;）的復共軛;Vnm（;）為極坐標系單位圓內(nèi) Zernike 矩的 n 階次多項式。

離散條件下，圖像f（x，y）的二維 Zernike 矩在單位圓內(nèi)定義為

Zernike 矩Znm旋轉(zhuǎn)φ角度后Znm關系函數(shù)定義為

Z′nm = Znme?imφ?? （3）

由式（3）可知，圖像旋轉(zhuǎn)后模相同，僅僅相位

改變，由此可以定義為 Zernike 矩的旋轉(zhuǎn)不變性。

如圖1所示，在單位圓內(nèi)直線 L 兩側(cè)的灰度值分別為 h 和h+k，其中k 為灰度階躍差值，原點到邊緣的理想長度為 l ，φ為線段 l與 x軸的夾角。圖1（b）為圖1（a）旋轉(zhuǎn)φ角度后的圖像。

Re[Zn1]和Im[Zn1]分別是 Zn1的實部和虛部。根據(jù)旋轉(zhuǎn)后不同階 Zernike 矩可求得φ、l、k、 h 四個參數(shù)分別為

由此灰度階躍模型可演算出亞像素邊緣檢測的公式為

緣點的判決條件為k ?Kt ∩ l ?lt，其中Kt和lt為閾值。 Kt取值范圍比lt大得多，其取值一直是實驗中的重點，對于實驗結(jié)果有較大影響。本文通過 Otsu 的自適應灰度階躍閾值法確定閾值 Kt。

本文最后結(jié)合 Hough 變換（Hough transform， HT）[14]和最小二乘法（ least? square? method，LSM）[15-16]，實現(xiàn)微納光纖邊緣的實際檢測。首先使用 Hough 變換量化參數(shù)空間，接著統(tǒng)計累加器的值，若值為一定鄰域內(nèi)極大值，則可得到一條直線的大致位置，直至找出所有直線。然后對直線作外接平行四邊形，如圖2所示，四邊形的長寬可以根據(jù)數(shù)據(jù)點分布選取合適值，最后將落入平行四邊形內(nèi)的數(shù)據(jù)點擬合成一條直線。該方法具有強魯棒性，當光纖內(nèi)部光場分布不規(guī)律時，仍然能準確擬合光纖外邊緣，使得實驗結(jié)果具有更高精度。

2 實驗結(jié)果和結(jié)果分析

該微納光纖直徑測量系統(tǒng)包括光纖制備[17]和圖像采集兩個部分，如圖3所示。其中光纖制備系統(tǒng)包括信號發(fā)生器、 CO2激光器、電動位移平臺和二維調(diào)節(jié)架。 CO2激光器用于產(chǎn)生紅外激光和加熱熔融光纖。信號發(fā)生器的作用是通過改變脈沖信號占空比調(diào)節(jié) CO2激光器輸出功率。電動位移平臺和二維調(diào)節(jié)架分別用于拉制光纖和調(diào)節(jié)光纖擺放位置。圖像采集系統(tǒng)包括工業(yè)相機、相機支架、鏡頭、照明系統(tǒng)和計算機。相機和鏡頭分別采用圖譜光電130萬像素的 LCMOS01300KPA 工業(yè)相機和日本尼康公司 CF Plan 100×的低畸變鏡頭，相機標定系數(shù)為0.06398μm/pixel。照明系統(tǒng)選擇 LED 光源前景光照明。實驗系統(tǒng)將相機與計算機連接，通過Toupview軟件獲取圖像，并使用 MATLAB 軟件進行圖像處理。實驗過程中實時采集圖像，并通過機器視覺處理系統(tǒng)批量處理。

2.1 圖像處理及邊緣定位

采集圖像后對圖像進行預處理。由圖4（b）可以看出，經(jīng)過拉普拉斯算子運算和中值濾波后，圖像邊緣對比度更高，細節(jié)更加突出。接著使用 Otsu 閾值分割法，對圖像進行二值化分割，如圖4（c）所示，盡管照射光源產(chǎn)生的光在光纖-空氣界面發(fā)生反射和折射，使得光纖內(nèi)部光場分布并不均勻，但是該算法仍然能夠獲得清晰完整的光纖外輪廓信息。

微納光纖圖像可通過 Canny算子檢測出清晰、單像素連續(xù)的邊緣，如圖5（a）所示，初定位結(jié)果準確性較高。將圖像中從上至下的四條邊緣分別標記為邊緣1、邊緣2、邊緣3和邊緣4。邊緣1和邊緣4為與背景相鄰的光纖外部輪廓，是有效邊緣信息。因為其保存了光纖直徑信息，將作為后續(xù)實驗的核心研究對象。微納光纖內(nèi)部光場分布不均，邊緣2和邊緣3為 Canny 算子可以檢測到的內(nèi)部假邊緣，后續(xù)將其忽略。而后通過改進的 Zernike 矩亞像素邊緣檢測算法，提升微納光纖直徑測量精度，如圖5（b）所示，將邊緣細化到亞像素級，準確提取出極細的光纖外邊緣。兩級邊緣檢測算法，減少了運算復雜度，將運算時間減少到約1.7 s。此外利用 Otsu法求取灰度閾值Kt，也有利于批量處理圖片，簡化處理流程。

2.2 直線擬合仿真

系統(tǒng)仿真驗證了 Hough-LSM算法的測量精度。圖6（a）為一張600 pixel×600 pixel 像素的三角形圖像，圖上有直線1（y=2x?450），直線（2y=?2x+600）和直線3（y=0.4x+350）。記直線1斜率和截距分別為 a1和 b1，直線2斜率和截距分別為 a2和 b2，直線3斜率和截距分別為 a3和 b3。直線檢測參數(shù)列如表1中所示。

黑色直線為三角形圖像邊緣，紅色直線為算法檢測出的直線。傳統(tǒng) Hough 算法檢測出了若干錯誤直線，精度較低，如圖6（b）所示;而本算法擬合出的直線與原圖直線基本重合，如圖 6（c）所示。Hough-LSM算法計算斜率的最大誤差為0.0032，截距最大誤差則為0.3719。因此，本方案提出的 Hough-LSM算法準確率極高，適用于微納光纖直徑的高精度測量。

在仿真測量中，該方案首先對 Canny算子檢測出的邊緣點進行 Hough 變換，求出兩條直線的大致直角坐標方程以及擬合區(qū)域，而后進行 Hough-LSM算法擬合檢測。如圖7（a）所示，算法可實現(xiàn)亞像素邊緣點的有效擬合，能準確檢測出光纖外側(cè)邊緣位置。圖7（b）則驗證了算法擬合直線與光纖輪廓的重合度。

2.3 測量結(jié)果分析

實驗采集了多根微納光纖樣品，并將本文算法測得的物理直徑與手工測量結(jié)果進行對比，比較分析誤差。在實際應用中，微納光纖兩側(cè)輪廓的形貌并不能達到理想的平行，僅通過平行線距離計算公式得到的結(jié)果并不準確。因此本文選取了其中一條直線段，并取點將線段分為數(shù)等份。此時兩條直線段距離即等效為數(shù)點到另一條直線段距離的均值。具體步驟如下。取其中一條直線上9個點 pi（xi ;yi）（i =1;2;：：：;9），分別計算各個點到另一條直線axi+ byi+ c =0的距離 di，即

然后對上述距離取均值，求得微納光纖的像素直徑d，即

而后將光纖像素直徑乘以標定系數(shù)，即可得到微納光纖實際物理直徑。

實驗對整個過程進行監(jiān)測，獲取圖像并計算微納光纖直徑，4種光纖直徑變化情況如圖8所示。在實驗中使用高倍顯微鏡進行人工測量，測量誤差為±0.064μm。記機器視覺計算的直徑值為d1，人工測量值為d2，誤差為ε，各參數(shù)測量結(jié)果如表2所示。由測量結(jié)果可得，本方案的直徑測量誤差在3.51%以內(nèi)。此外，還記錄了測量多根微納光纖直徑過程中每個步驟耗時和總耗時的均值，測量結(jié)果如表3所示。整個實驗過程共耗時2.671 s ，可基本滿足微納光纖的實時測量需求。

3 結(jié)論

本文開發(fā)了一套基于機器視覺的微納光纖直

徑測量系統(tǒng)。相較于傳統(tǒng)的微納光纖直徑測量方法，該系統(tǒng)將機器視覺檢測技術引入微納光纖的直徑測量中，運行穩(wěn)定且速度快，測量結(jié)果精度高，有較強魯棒性。本文利用 Otsu 法改進了亞像素邊緣檢測算法，可避免頻繁的手動取值且具有高測量精度。而后結(jié)合 Hough 變換和最小二乘法的優(yōu)點提出 Hough-LSM算法，可在復雜的光纖內(nèi)部光場分布情況下實現(xiàn)亞像素邊緣點高精度擬合。通過實驗測量，系統(tǒng)的直徑測量誤差在3.51%以內(nèi)，運行時間為2.671 s ，滿足了高精度和實時測量的要求，對微納光纖制備過程的光纖形貌監(jiān)測有很大借鑒意義。

參考文獻：

[1] LINGHU S Y， GU Z Q， LU J S， et al. Plasmon-drivennanowire actuators for on-chip manipulation[J]. Nature Communications， 2021， 12（1）：385.

[2] LIAO F， YU J X， GU Z Q， et al. Enhancing monolayerphotoluminescence? on? optical? micro/nanofibers? for low-threshold? lasing[J]. Science? Advances， 2019， 5（11）： eaax7398.

[3] WARKEN F， GIESSEN H. Fast profile measurementof micrometer-sized tapered fibers with better than 50-nm accuracy[J]. Optics Letters， 2004， 29（15）：1727–1729.

[4] LITTLE D J， KANE D M. Subdiffraction-limited radi-us measurements of microcylinders using conventional bright-field optical microscopy[J]. Optics Letters， 2014，39（17）：5196–5199.

[5] SUMETSKY M， DULASHKO Y. Radius variation ofoptical? fibers with? angstrom? accuracy[J]. Optics Let- ters， 2010， 35（23）：4006–4008.

[6] KELOTH J， SADGROVE M， YALLA R， et al. Dia-meter measurement of optical nanofibers using a com- posite photonic crystal cavity[J]. Optics Letters， 2015， 40（17）：4122–4125.

[7] OTSU N. A threshold selection method from gray-levelhistograms[J]. IEEE? Transactions? on? Systems，? Man， and Cybernetics， 1979， 9（1）：62–66.

[8]文山， 李葆青.基于小波分層的多方向圖像邊緣檢測[J].自動化學報， 2007， 33（5）：480–487.

[9] XIN L， SONG A G. A new edge detection method us-ing??? Gaussian-Zernike??? moment??? operator[C]// Proceedings of the 2nd International Asia Conference on Informatics in Control， Automation and Robotics. Wuhan， China： IEEE， 2010.

[10] LYVERS E P， MITCHELL O R， AKEY M L， et al.Subpixel? measurements? using? a? moment-based? edge operator[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1989， 11（12）：1293–1309.

[11] LIAO S X， PAWLAK M. Image analysis with Zernikemoment? descriptors[C]//Proceedings? of the? Canadian Conference? on? Electrical? and? Computer Engineering. Engineering? Innovation： Voyage? of? Discovery. St. John's， Canada： IEEE， 1997.

[12] GHOSAL S， MEHROTRA R. Detection of compositeedges[J]. IEEE? Transactions? on? Image? Processing， 1994， 3（1）：14–25.

[13]錢松， 李建榮.應用拉普拉斯算子設計高通濾波器進行圖像增強分析[J].軟件導刊， 2011， 10（12）：158–159.

[14] HEROUT? A，? DUBSKá? M，? HAVEL? J. Review? ofHough transform? for line? detection[M]//HEROUT A， DUBSKá M， HAVEL J. Real-Time Detection ofLines and Grids. London： Springer， 2013：3?16.

[15] YORK D. Least-squares fitting of a straight line[J]. Ca-nadian Journal ofPhysics， 1966， 44（5）：1079–1086.

[16] KRYSTEK M， ANTON M. A least-squares algorithmfor fitting data points with mutually correlated coordin- ates? to? a ?straight? line[J]. Measurement? Science? and Technology， 2011， 22（3）：035101.

[17]周聰， 谷付星.基于 CO2激光的微納光纖熔接技術研究[J].光學儀器， 2019， 41（1）：24–28.

（編輯：張磊）