光學(xué)顯微定位系統(tǒng)定位精度分析

陳雄 鄒湘軍 樊科 盧俊

摘 要：為了提高光學(xué)顯微定位系統(tǒng)對細胞微生物識別定位的精度：一方面，必須改進手眼標定方法;另一方面，需要提高全局圖像識別的準確性，因此，提出一種兩步法對系統(tǒng)進行手眼標定。首先，通過標定固定靶標來確定系統(tǒng)原點，并得到視覺模塊相對于系統(tǒng)原點的轉(zhuǎn)換關(guān)系;然后，根據(jù)每次拍照的起始點位置、拍照的數(shù)量和移動的步長求解出全局圖像相對于系統(tǒng)原點的轉(zhuǎn)換關(guān)系;最后，為了進一步提高全局轉(zhuǎn)換關(guān)系的準確度，提出一種基于傅里葉變換的誤差矯正方法，利用傅里葉變換求解出視覺模塊在移動過程中的誤差，并加入系統(tǒng)進行補償。實驗結(jié)果表明，誤差補償之后，系統(tǒng)X軸方向的誤差均值從10.23μm降為-0.002μm，Y軸方向的誤差均值從6.9μm降為-0.50μm，顯微定位系統(tǒng)的平均定位精度達到了99%以上。結(jié)果表明，所提方法可很好地用于光學(xué)顯微定位系統(tǒng)對細胞微生物進行高精度的自動化抓取。

關(guān)鍵詞：顯微定位系統(tǒng);手眼標定;誤差矯正;傅里葉變換

中圖分類號：TP391.41

文獻標志碼：A

文章編號：1001-9081（2019）04-1157-05

Abstract： In order to improve the accuracy of identification and localization of cell microorganisms by optical micropositioning system， on the one hand， the hand-eye calibration method should be optimized， on the other hand， the accuracy of global image recognition should be improved. Aiming at those， a two-step method for hand-eye calibration of the system was proposed. Firstly， the origin of the system was determined by calibrating the fixed target， and the transformation relationship of the vision module to the origin of the system was obtained. Then， according to the starting point position of each photograph， the number of photoing and the step size of movement， the transformation relationship of the global image to the origin of the system was solved. Finally， in order to further improve the accuracy of the global transformation relationship， an error correction method based on Fourier transform was used to obtain the error of the visual module in movement，then the error was added into the system for compensation. Experimental results show that after error compensation， the micropositioning system has the error mean value in X-axis direction reduced from 10.23μm to -0.002μm， the error mean value in Y-axis direction reduced from 6.9μm to -0.50μm， and the average positioning accuracy over 99%. The results show that the proposed method can be applied to the optical micropositioning system for high-precision automated capture of cell microorganisms.

Key words： micropositioning system; hand-eye calibration; error correction; Fourier transform

0?引言

光學(xué)顯微定位系統(tǒng)是一種應(yīng)用于細胞微生物領(lǐng)域的自動化識別定位系統(tǒng)。該系統(tǒng)首先通過視覺模塊獲得細胞微生物清晰完整的成像，并通過識別算法對目標進行視覺定位，之后，將目標圖像坐標轉(zhuǎn)換到自動化挑取系統(tǒng)（機械手）坐標，并發(fā)送給機械手進行自動化挑取，其中，圖像坐標到機械手坐標的轉(zhuǎn)換過程即為手眼標定[1]。由于本文所采用的光學(xué)顯微定位系統(tǒng)制造安裝精度較高，因此，忽略視覺系統(tǒng)的非線性問題和機械手結(jié)構(gòu)的非線性問題[2]，那么，為了提高系統(tǒng)的精度，只能通過降低視覺模塊和機械手模塊之間的手眼標定誤差，并對誤差進行補償[3]。

對于手眼標定國內(nèi)外學(xué)者都作了大量研究。Kelly等[4]提出了一個典型的視覺機器人系統(tǒng)， 設(shè)計了一個定點控制器以補償攝像機內(nèi)部參數(shù)以及手眼關(guān)系轉(zhuǎn)換矩陣的不確定性，并且獲得了局部收斂的穩(wěn)定的結(jié)果，但要求已知機器人重力項參數(shù);田浩辰等[5]提出了一種局部線性化的像機標定算法，采用基于粗定位和精確定位兩步走的算法實現(xiàn)了機械手的精確對位;劉蘇宜等[6]提出了一種同時標定攝像機和機器人手眼的方法，該方法依據(jù)機器人手眼矩陣和機器人手爪對基坐標系位姿矩陣之間的特定關(guān)系，進行一次標定實驗?zāi)芡瑫r求解出攝像機參數(shù)和機器人手眼關(guān)系矩陣;胡小平等[7]針對微裝配機器人提出了一種固定視覺的手眼系統(tǒng)標定算法，該方法通過3個空間點在機械手基坐標系中的坐標，采用P3P（Perspective-3-Point）位姿測量原理獲得相應(yīng)空間點在攝像機坐標系中的坐標，建立了標定方程組，并基于最小二乘法標定出了手眼系統(tǒng)之間的轉(zhuǎn)換矩陣;魏振忠等[8]提出了基于法蘭盤的雙機器人手眼標定方法，但該方法要求的機械結(jié)構(gòu)相當復(fù)雜，在單機器人手眼標定時難以實現(xiàn);溫卓漫等[9]提出了一種基于合作靶標的在軌手眼標定方法，僅需3個特征點的圖像坐標就能計算攝像機外部參數(shù)，并運用P3P方法求解位姿確保了高精度，而矩陣重排的方法使得機械臂只需要轉(zhuǎn)動很小的角度，就可以完成手眼標定;張強等[10]提出了一種基于誤差分布估計的加權(quán)最小二乘魯棒估計方法，以提高機器人手眼標定的精度。以上研究者提出的方法大多針對宏觀物體，精度要求均未達到微米級，且相機位置固定，而本文系統(tǒng)主要用于細胞微生物的識別定位，精度要求為微米級，且為了獲得大視場和高清晰度的圖像，相機位置需要不斷地移動，因此，不能采用傳統(tǒng)的方法對本文系統(tǒng)進行手眼標定。

針對以上問題，本文提出了一種兩步法對系統(tǒng)進行手眼標定：1）標定系統(tǒng)原點，在系統(tǒng)初始狀態(tài)下，相機位置不變，采用傳統(tǒng)的固定靶標的方式對系統(tǒng)的原點進行標定，系統(tǒng)的原點設(shè)置為拍攝靶標圖像時機械手所在的位置坐標;2）確定全局轉(zhuǎn)換關(guān)系，根據(jù)每次拍照的起始點位置，以及拍照的數(shù)量和移動的步長確定全局轉(zhuǎn)換關(guān)系。然而，根據(jù)此方法進行手眼標定，系統(tǒng)依然存在較大誤差，而誤差主要是由于視覺模塊在移動過程中每次移動的距離存在誤差，使得相鄰的圖像之間存在一定的偏移量，因此而產(chǎn)生了圖像的全局定位誤差。為了進一步提高系統(tǒng)的精度，本文提出了一種基于傅里葉變換的方法來矯正該誤差，首先，采用傅里葉變換求解系統(tǒng)拍攝的相鄰兩張圖片的實際重疊量，并與人為設(shè)定的理論重疊量進行比較，便可得到視覺模塊在移動過程中的誤差，之后，多次測量分別求取X和Y方向的誤差均值，并將誤差均值加入系統(tǒng)的控制單元進行補償。實驗結(jié)果表明，顯微定位系統(tǒng)的視覺模塊的誤差均值明顯降低，系統(tǒng)的整體平均定位精度達到99%以上，可以滿足細胞微生物的識別定位要求。

1?顯微定位系統(tǒng)的結(jié)構(gòu)與標定原理

1.1?顯微定位系統(tǒng)結(jié)構(gòu)和組成

顯微定位系統(tǒng)主要由視覺模塊和機械手模塊組成。視覺模塊由相機、鏡頭、反射鏡、閃光燈組成，相機為Andor科學(xué)級sCMOS相機Zyla5.5，晶片尺寸為16.6×14.0mm，鏡頭分為4倍鏡、10倍鏡和20倍鏡，當使用10倍鏡鏡頭時，成像精度為0.65μm/pixel。視覺模塊的結(jié)構(gòu)如圖1所示，它共分為上下兩層，以細胞培養(yǎng)皿為界，上面為閃光燈，下方為鏡頭、反射鏡、相機，上下兩個部分均安裝在由光柵尺組成的三坐標移動平臺上，由光柵尺進行聯(lián)合控制運動，其中光柵尺的精度為0.2μm，在進行拍照時，上方的閃光燈與下方的相機同步運動，移動一定的步長時，閃光燈開啟，相機獲取圖片。機械手模塊的挑取裝置安裝在閃光燈所在的移動平臺上，可由光柵尺單獨進行移動控制。由于成像區(qū)域較大，無法通過一次成像獲得完整的區(qū)域，因此，采用了一種如圖2所示的Z字型的拍照方式對整個區(qū)域進行依次成像，最后將圖像進行拼接。

1.2?顯微定位系統(tǒng)標定原理

由于本文系統(tǒng)制造精度和安裝精度都較高，視覺模塊坐標系和機械手模塊坐標系的水平度和垂直度均較好，因此，在進行系統(tǒng)手眼標定的過程中，忽略視覺模塊坐標系和機械手模塊坐標系之間的旋轉(zhuǎn)變換，只考慮坐標系之間的平移變換。標定的過程分為兩步：基于靶標進行系統(tǒng)原點的標定和進行全局區(qū)域的標定。

1.2.1?基于靶標的系統(tǒng)原點標定方法

描述相機成像的物理模型為小孔模型[11]。由于成像模塊在拍照過程中，鏡頭會隨著培養(yǎng)基表面的地貌特征而改變，因此相機的焦距在不斷地改變，且相機的制造精度較高，徑向畸變和切向畸變可以忽略，因此，在進行坐標轉(zhuǎn)換的過程中，不能采用傳統(tǒng)方法對相機進行標定，獲取內(nèi)外參數(shù)，而是直接采用相機本身的參數(shù)，每個像素點所代表的物理尺寸為pixel_um=0.65μm/pixel進行轉(zhuǎn)換。轉(zhuǎn)換矩陣如式（1）：

其中：img為圖像坐標系;obj為靶標所在平面的坐標系;M為轉(zhuǎn)換矩陣。設(shè)靶標中心點的坐標為（0，0），將視覺模塊移動到靶標正上方拍攝圖片，則可求出圖像坐標（u， v），那么轉(zhuǎn)換矩陣M便可得知。整個轉(zhuǎn)換都在二維平面內(nèi)進行，空間Z坐標由地貌掃描時確定。此時圖像上的任意一點便可通過矩陣變換找出對應(yīng)的空間坐標[12]。

機械手末端的工具坐標系Xtool與靶標坐標系Xobj之間的轉(zhuǎn)換關(guān)系，如式（2），工具坐標系Xtool與機械手坐標系Xrob之間的轉(zhuǎn)換關(guān)系如式（3），因為工具安裝在機械手上，所以工具相對于機械手的位置不變，toolHrob為固定值，由設(shè)計安裝參數(shù)便可得到。則圖像坐標便可通過坐標轉(zhuǎn)換變?yōu)闄C械手坐標系下的坐標，便于進行移動拍照時的全局定位。

Xtool到Xobj之間的轉(zhuǎn)換通過固定靶標的方法進行標定得到。首先視覺模塊移動到靶標上方拍攝靶標圖片，計算出靶標標志點的圖像坐標，并轉(zhuǎn)換為Xobj坐標，之后，機械手工具末端盡可能靠近靶標中心點，得到此時的Xtool坐標，如此便可計算出Xtool到Xobj之間的轉(zhuǎn)換關(guān)系objHtool。

1.2.2?全局區(qū)域標定方法

在拍攝大目標區(qū)域時，視覺模塊需要按照一定的規(guī)律和步長進行移動，在不考慮坐標系之間旋轉(zhuǎn)變換的情況下，機械手坐標系下的全局變換可以簡化為相對于系統(tǒng)原點的二維平移變換，變換方式如式（4）所示：x

vimg為拼接圖片中目標點的圖像坐標，主要由圖片所在全局圖像的位置和目標點所在圖片的位置確定;

圖像的Z坐標由地貌掃描結(jié)果而來，由此，便可將全局的圖像坐標轉(zhuǎn)換為機械手下的全局三維坐標，之后，通過toolHrob轉(zhuǎn)換矩陣，轉(zhuǎn)換為機械手工具末端坐標，便于進行細胞微生物挑取。然而，在視覺模塊移動的過程中，每次移動的步長都會有所偏差，如果直接將圖像按照順序拼接起來計算全局圖像坐標u

vimg，圖像的接縫處會存在較大誤差，而且，誤差會隨著拍攝距離的增加而累積，因此，需要對視覺模塊的移動誤差進行矯正。

2?視覺模塊移動誤差測量

2.1?誤差測量原理

為了驗證傅里葉變換算法的準確性，本文采用了高精度的網(wǎng)格進行拍照拼接實驗。其中整個網(wǎng)格的大小為4mm×4mm，每格的大小為200μm×200μm，拍攝時從左下角依次往上拍，共拍攝12張圖片，分為4行3列。從中選取了左右相鄰的兩張圖片進行拼接，其中圖3（a）為直接拼接圖，圖3（b）為傅里葉變換拼接圖，由圖可知，采用傅里葉變換可以對圖片進行很好的拼接，同時，可以得到相鄰圖片之間的實際重疊量。因此，可以采用傅里葉變換的方法進對系統(tǒng)的移動誤差進行測量和補償。

2.2?誤差測量實驗

為了進一步測量視覺模塊的移動誤差，本文設(shè)計了一個實驗。選取高精度的微流控芯片作為拍照對象，芯片的結(jié)構(gòu)尺寸為43mm×27mm，芯片內(nèi)部由一些三棱柱和圓柱組成，三棱柱三角形的邊長為53μm，圓柱的直徑為10μm，在拍照時，采用10倍鏡拍攝，成像精度為0.65μm/pixel，按照Z字形的拍照方式進行，調(diào)節(jié)相機移動的步長，使得相鄰圖片之間存在150μm的重疊量，共拍攝了702張圖片。之后對相鄰的圖片進行拼接，其中圖4（a）為左右拼接的效果圖，圖4（b）為上下拼接的效果圖，由拼接算法便可得到相鄰圖片之間的實際重疊量，而實際重疊量與理論重疊量150μm之間的差值，便是顯微定位系統(tǒng)視覺模塊移動的誤差值。

由于所拍攝的區(qū)域中有些位置特征較少，無法實現(xiàn)較好拼接效果，所以拍攝的702張圖片并不能全部作為實驗的樣本，本文只選取了拼接較好的圖像對作為誤差實驗的樣本，即偏移量在閾值范圍內(nèi)。在計算X方向誤差時，需要對左右相鄰的圖片進行拼接，實驗中共采集了633對有效樣本，其誤差圖如圖5（a）所示，由圖可知，X方向誤差值絕大部分在8～14μm區(qū)間波動，均值為10.18μm，其中存在兩個較為明顯的突變值，主要是由于機械結(jié)構(gòu)的固有誤差所造成的，因為光柵尺雖然精度較高，但是依然存在部分位置的直線度不夠好，所以造成了X方向的誤差突變;在計算Y方向誤差時，需要對上下相鄰的圖片進行拼接，實驗中共采集了652對有效樣本，其誤差圖如圖5（b）所示，由圖可知，Y方向誤差存在一個突變值，且這個突變發(fā)生在拍攝的轉(zhuǎn)折點，而大部分值在4～10μm區(qū)間波動，均值為6.71μm。為保證實驗數(shù)據(jù)的準確性，在相同的拍照方式下，移動微流控芯片的位置進行實驗，共測試了10組不同位置的數(shù)據(jù)，X方向誤差波動規(guī)律和Y方向誤差波動規(guī)律均相同，其補償前X方向和Y方向誤差均值如表1所示。

3?實驗與結(jié)果分析

3.1?誤差補償實驗

由第2章的誤差測量實驗可知，X方向和Y方向誤差均在一定范圍內(nèi)波動，且X方向的誤差均值在7μm左右，Y方向的誤差均值在10μm左右，且均為正數(shù)。因此，系統(tǒng)在進行移動拍照時，相鄰圖像之間X方向的實際移動距離高于理論移動距離7μm左右，而Y方向的實際移動距離高于理論移動距離10μm左右，為了降低視覺模塊在移動拍照時的誤差，本文采用了固定誤差補償?shù)姆绞剑谝曈X模塊進行移動拍照時，對X方向的移動步長減小7μm，對Y方向的移動步長減小10μm。為驗證方法的可行性，本文采用與2.1.2節(jié)相同的拍照測量方式，補償后的X方向誤差圖和Y方向誤差圖分別如圖6所示，共拍攝了10組不同位置的樣本，10組樣本補償后的X方向和Y方向的誤差均值如表1所示。從表1可知：X方向的誤差在進行補償之后大多數(shù)降到了3μm以內(nèi)，且誤差的均值降低為0.002μm;而Y方向的誤差在進行補償之后大多數(shù)降到了5μm以內(nèi)，且誤差的均值降低為-0.48μm， 相對于補償之前，誤差均值有所降低。

同時，為了更加直觀地展現(xiàn)誤差補償?shù)男Ч疚脑O(shè)計了另外一個實驗，分別將補償前和補償后所拍攝的圖片隨機選取兩張相鄰的圖片直接進行拼接，圖7（a）、（b）分別為補償前和補償后所拼接的圖片，由圖可知，在進行誤差補償之后，相鄰圖像之間的拼接誤差有所降低，全局圖像的拼接質(zhì)量有所提高。

3.2?定位精度實驗

3.1節(jié)的誤差補償實驗已經(jīng)證明通過本文方法可以基本消除視覺模塊在連續(xù)拍照過程中的誤差，并且得到較為準確和完整的全局圖像。同時，由于系統(tǒng)的精度要求較高，而機械手直徑約為1mm，很難對微米級別的誤差進行度量，因此為了精確驗證系統(tǒng)的精度，本文設(shè)計了以下實驗：

首先通過視覺模塊進行圖像采集，之后將采集的圖像直接拼接起來，并求得全局圖像中不同特征點的圖像坐標，例如，圖9（a）、（b）中A1的坐標;然后，將圖像坐標按照式（4）轉(zhuǎn)換為機械手下的坐標;

將該坐標輸入系統(tǒng)，使得機械手模塊與視覺模塊同步移動到該點上方，之后采用視覺模塊獲取當前位置的圖像。

重合度計算方法示意圖如圖8所示，A為連續(xù)圖像采集時目標點所在的原始圖片（如圖9（a）），B為移動視覺模塊所拍攝的圖片（如圖9（b）），利用傅里葉變換求解出重疊區(qū)域的面積A∩B。共拍攝9組不同距離的數(shù)據(jù)，重合度計算結(jié)果如表2所示。從表2可知，采用本文方法對于圖像的平均定位精度達到了99%以上，可以滿足細胞細胞微生物的定位要求。

4?結(jié)語

本文基于顯微定位系統(tǒng)較高的定位精度要求，首先采用兩步法對系統(tǒng)進行手眼標定，完成圖像坐標到機械手坐標的轉(zhuǎn)換;之后，針對兩步法中全局轉(zhuǎn)換的誤差，提出了一種基于傅里葉變換的方法來提高視覺模塊的移動精度，以此來進一步提高系統(tǒng)的定位精度。實驗結(jié)果表明，顯微定位系統(tǒng)的視覺模塊的移動精度得到了有效提高，系統(tǒng)整體的平均定位精度達到了99%以上，基本滿足細胞微生物的識別定位要求。

參考文獻（References）

[1] RULAND T， PAJDLA T， KRUGER L. Globally optimal hand-eye calibration[C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2012： 1035-1042.

[2] ZOU X， ZOU H， LU J. Virtual manipulator-based binocular stereo vision positioning system and errors modelling [J]. Machine Vision and Applications， 2012， 23（1）： 43-63.

[3] ZOU X， YE M， LUO C， et al. Fault-tolerant design of a limited universal fruit-picking end-effector based on vision-positioning error[J]. Applied Engineering in Agriculture， 2016， 32（1）： 5-18.

[4] KELLY R， MARQUEZ A. Robust asymptotically stable visual servoing of planar robots[J]. IEEE Transactions on Robotics and Automation， 1996， 12（5）： 759-766.

[5] 田浩辰， 張銀龍， 趙海文， 等.機械手視覺系統(tǒng)的非均勻標定法研究[J]. 制造業(yè)自動化， 2016， 38（5）： 41-47. （TIAN H C， ZHANG Y L， ZHAO Y W， et al. Non-uniform calibration method research of loading manipulator system based on vision positioning[J]. Manufacturing Automation， 2016， 38（5）： 41-47.）

[6] 劉蘇宜， 王國榮， 石永華.激光視覺機器人焊接中攝像機和手眼的同時標定[J]. 華南理工大學(xué)學(xué)報（自然科學(xué)版）， 2008， 36（2）： 74-77， 82. （LIU S Y， WANG G R， SHI Y H. Simultaneous calibration of camera and hand-eye in robot welding with laser vision[J]. Journal of South China University of Technology （Natural Science Edition）， 2008， 36（2）： 74-77， 82.）

[7] 胡小平， 左富勇， 謝珂.微裝配機器人手眼標定方法研究[J]. 儀器儀表學(xué)報， 2012， 33（7）： 1521-1526. （HU X P， ZUO F Y， XIE K. Research on hand-eye calibration method for micro-assembly robot[J]. Chinese Journal of Scientific Instrument， 2012， 33（7）： 1521-1526.）

[8] 魏振忠， 張博， 張廣軍.雙機器人系統(tǒng)的快速手眼標定方法[J]. 光學(xué)精密工程， 2011， 19（8）： 1895-1902. （WEI Z Z， ZHANG B， ZHANG G J. Rapid hand-eye calibration of dual robot system[J]. Optics and Precision Engineering， 2011， 19（8）： 1895-1902.）

[9] 溫卓漫， 王延杰， 邸男， 等.基于合作靶標的在軌手眼標定[J]. 儀器儀表學(xué)報， 2014， 35（5）： 1005-1012. （WEN Z M， WANG Y J， DI N， et al. On-orbit hand-eye calibration using cooperative target[J]. Chinese Journal of Scientific Instrument， 2014， 35（5）： 1005-1012.）

[10] 張強， 曲道奎， 徐方， 等.基于誤差分布估計的機器人手眼標定方法研究[J]. 計算機測量與控制， 2018， 26（4）： 246-249. （ZHANG Q， QU D K， XU F， et al. Error distribution estimation based robot hand-eye calibration[J]. Computer Measurement & Control， 2018， 26（4）： 246-249.）

[11] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（11）： 1330-1334.

[12] 葉溯， 葉玉堂， 劉娟秀， 等.補強片自動貼片系統(tǒng)高精度手眼標定方法[J]. 應(yīng)用光學(xué)， 2015， 36（1）： 71-76. （YE S， YE Y T， LIU J X， et al. High-precision hand-eye calibration method for automatic stiffness bonder[J]. Journal of Applied Optics， 2015， 36（1）： 71-76.）

[13] 郭永剛， 葛慶平， 姜長勝.基于傅里葉變換的紅外熱波圖像拼接[J]. 計算機應(yīng)用研究， 2007， 24（1）： 227-228. （GUO Y G， GE Q P， JIANG C S. FFT-based image mosaicing of infrared thermal wave images [J]. Application Research of Computers， 2007， 24（1）： 227-228.）