基于深度學(xué)習(xí)的顯微離焦圖像法顆粒深度測(cè)量

徐日辛，周騖，張翔云

（1 上海理工大學(xué)能源與動(dòng)力工程學(xué)院，上海 200093；2 上海市動(dòng)力工程多相流動(dòng)與傳熱重點(diǎn)實(shí)驗(yàn)室，上海 200093）

微通道在材料、生物化學(xué)、化工等領(lǐng)域應(yīng)用廣泛，如脫氧核糖核酸（DNA）分析[1]、化工材料合成[2]和微尺度反應(yīng)器研究[3-4]等。這些微流設(shè)備的設(shè)計(jì)需以充分了解其流動(dòng)特性為前提，即一般采用粒子成像測(cè)速技術(shù)（PIV） 或粒子追蹤測(cè)速技術(shù)（PTV）等手段對(duì)其中流場(chǎng)進(jìn)行可視化測(cè)量[5]。對(duì)于復(fù)雜流體系統(tǒng)而言，三維速度的測(cè)量必不可少，而其難點(diǎn)在于示蹤粒子的深度定位。

單個(gè)示蹤粒子深度信息的獲取手段包括雙目視覺(jué)[6]、數(shù)字全息[7]、光場(chǎng)[8-10]、離焦[11]等，其中離焦法通過(guò)識(shí)別成像的不同離焦程度確定深度位置，尤其適合景深較小的顯微成像系統(tǒng)。Pentland[11]提出通過(guò)將一幅離焦模糊的圖像建模為一張清晰圖像與退化函數(shù)卷積的結(jié)果，退化模型被認(rèn)為滿足高斯分布，則退化模型的標(biāo)準(zhǔn)差可以用來(lái)表征離焦模糊程度，從而建立與深度位置的對(duì)應(yīng)關(guān)系，被稱為離焦深度測(cè)量（depth from defocus，DFD）。本文作者課題組[12-13]提出了基于單鏡頭雙相機(jī)系統(tǒng)的深度測(cè)量方法，解決了離焦二義性問(wèn)題，但所采用設(shè)備的顆粒測(cè)量下限約為20μm，且相關(guān)圖像處理方法難以應(yīng)用于前后離焦不對(duì)稱的顯微成像系統(tǒng)。Barnkob等[14]提出了一種基于一組校準(zhǔn)圖像和歸一化互相關(guān)函數(shù)的常規(guī)離焦顆粒跟蹤（general defocus particle tracking，GDPT）方法來(lái)跟蹤微通道系統(tǒng)中示蹤粒子的三維運(yùn)動(dòng)，但正如其所述，其局限在于由于像差導(dǎo)致圖像傳感器不同區(qū)域?qū)ν活w粒的成像效果不同，使得準(zhǔn)確的校準(zhǔn)過(guò)程非常復(fù)雜。Newby 等[15]基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）對(duì)顯微粒子進(jìn)行識(shí)別，獲取顆粒二維位置，但缺乏對(duì)深度位置進(jìn)行研究。

受上述研究的啟發(fā)，本文采用幾何光學(xué)原理分析了顯微離焦成像的特點(diǎn)，針對(duì)單幅顯微離焦的顆粒圖像提出基于深度學(xué)習(xí)的顆粒深度位置識(shí)別方法。首先建立顆粒深度位置測(cè)量的預(yù)測(cè)模型，使用光線追蹤的方法生成顆粒的顯微離焦仿真圖片，用仿真圖片驗(yàn)證了預(yù)測(cè)模型的準(zhǔn)確性；其后搭建了顯微離焦深度測(cè)量試驗(yàn)臺(tái)，獲取實(shí)際顆粒的顯微離焦圖片并進(jìn)行模型訓(xùn)練和預(yù)測(cè)。

1 基于深度學(xué)習(xí)的顯微離焦成像顆粒深度測(cè)量原理

1.1 顯微離焦成像的特點(diǎn)

光學(xué)成像時(shí)，不同距離下物體的成像清晰度是不同的，或者從像方角度而言，物體位置固定時(shí)，成像面位置不同時(shí)，成像清晰度是不同的。成像面離清晰成像平面越遠(yuǎn)，物體的成像越模糊，稱為離焦模糊。理想透鏡成像時(shí)，從同一物點(diǎn)P發(fā)出的光線匯聚到同一個(gè)像點(diǎn)P'，如圖1所示；顯微鏡物鏡普遍使用球面透鏡，與理想透鏡成像不同的是，其近軸光線和遠(yuǎn)軸光線不能匯聚在同一點(diǎn)，造成其前后離焦不對(duì)稱，且沒(méi)有明顯的焦平面[16]。但該模糊依然與離焦距離有直接的對(duì)應(yīng)關(guān)系，且因?yàn)槠淝昂箅x焦不對(duì)稱而不存在離焦二義性的問(wèn)題，則可以利用此離焦模糊信息通過(guò)深度學(xué)習(xí)的方法來(lái)預(yù)測(cè)顆粒深度位置。

圖1 顯微成像原理和前后離焦圖像

1.2 深度學(xué)習(xí)模型

CNN 是一種具有局部連接、權(quán)值共享以及池化特性的深層前饋神經(jīng)網(wǎng)絡(luò)[17]，一般由卷積層、池化層和全連接層交叉堆疊而成（全連接層為頂層）。這三個(gè)特性使得卷積神經(jīng)網(wǎng)絡(luò)具有一定程度上的平移、縮放和旋轉(zhuǎn)不變性，可以提取到自然圖像中的局部不變特征，并且參數(shù)相比全連接前饋神經(jīng)網(wǎng)絡(luò)要少很多，易于訓(xùn)練。卷積層的輸出叫作特征圖，是由前一層與卷積核卷積之后再通過(guò)激活函數(shù)映射得到；常用的激活函數(shù)有ReLU 函數(shù)、Sigmoid 函數(shù)等。卷積層后的池化層能夠減少參數(shù)數(shù)量并降低網(wǎng)絡(luò)的計(jì)算復(fù)雜度，例如平均池化的輸出是矩陣鄰域內(nèi)所有值的平均。CNN 的輸出層通常為Softmax 函數(shù)，它的輸出是范圍為0～1 的K維概率分布向量，向量中的值代表某一類分類得到的分值。CNN訓(xùn)練的基本過(guò)程[18]是將帶有標(biāo)簽的圖片讀入CNN 后，通過(guò)最優(yōu)化算法（通常用梯度下降算法[19]），不斷調(diào)整網(wǎng)絡(luò)的權(quán)重以使得損失函數(shù)達(dá)到最小。

本文深度預(yù)測(cè)使用的Inception V3[20]是由Google公司開(kāi)發(fā)的一款CNN 模型，其特點(diǎn)是用密集成分來(lái)近似最優(yōu)的局部稀疏結(jié)，經(jīng)過(guò)卷積→池化層→卷積→局部稀疏結(jié)→池化層→回歸分類，共42 層網(wǎng)絡(luò)，得到能預(yù)測(cè)顯微離焦顆粒的深度位置的模型。其具體網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)表1。

表1 Inception V3模型的網(wǎng)絡(luò)結(jié)構(gòu)[20]

本文的圖像處理流程，即圖片的訓(xùn)練及預(yù)測(cè)流程如圖2所示。采用已標(biāo)注顆粒深度位置的不同顆粒粒徑的訓(xùn)練集圖片（訓(xùn)練過(guò)程中內(nèi)測(cè)試集占比為10%），對(duì)Inception V3網(wǎng)絡(luò)結(jié)構(gòu)的相關(guān)參數(shù)進(jìn)行訓(xùn)練，獲得顆粒深度測(cè)量模型，再利用該模型對(duì)仿真或?qū)嶒?yàn)獲得的顆粒圖像進(jìn)行深度位置預(yù)測(cè)。

圖2 圖像處理流程

2 顯微離焦仿真圖像的深度預(yù)測(cè)

2.1 仿真圖片的生成

本文在Rossi 等[21]編寫的開(kāi)源程序MicroSIG 的基礎(chǔ)上進(jìn)行顯微離焦仿真圖像的生成。MicroSIG的原理是運(yùn)用三維射線追蹤方法，模擬無(wú)限薄的雙凸球面透鏡，使用斯涅爾定律對(duì)光線進(jìn)行偏轉(zhuǎn)。其生成單顆粒離焦圖像時(shí)，通過(guò)設(shè)置顆粒粒徑、光學(xué)放大倍率和縱深距離等參數(shù)獲得不同離焦程度圖像。

本文所使用的主要仿真參數(shù)與下文搭建的實(shí)驗(yàn)系統(tǒng)中的相應(yīng)參數(shù)一致，即物鏡放大倍率為20、數(shù)值孔徑為0.4，相機(jī)像元大小為3.45μm、圖像大小為299×299。針對(duì)1～10μm 十種不同粒徑，在-50～50μm 深度范圍間隔1μm 生成相應(yīng)的顯微離焦仿真圖像，共1000張，部分圖片如圖3所示?？煽闯鲱w粒模糊程度隨著顆粒深度的變化而變化，且顆粒在深度位置為-10μm 的前后離焦特征不具有對(duì)稱性，也體現(xiàn)了顯微離焦清晰成像面并不是對(duì)應(yīng)理論焦平面（z=0）的特點(diǎn)[21]。

圖3 部分顯微離焦仿真圖像

2.2 基于仿真圖片的模型訓(xùn)練與預(yù)測(cè)

選取1000張仿真圖片中的950張用于模型的訓(xùn)練，剩余50 張用于預(yù)測(cè)分析。訓(xùn)練過(guò)程中，選取ReLU 作為激活函數(shù)，學(xué)習(xí)率設(shè)置為0.01，動(dòng)量因子0.9，權(quán)重衰減值為0.0005。由圖3可知，較小顆粒（1～3μm）在離焦程度較大時(shí)，圖像中幾乎辨別不出顆粒。為了方便比較不同粒徑的深度預(yù)測(cè)結(jié)果，所以在成像比較好的深度范圍內(nèi)選取。因此選取了-33μm、-23μm、-13μm、-3μm、7μm 共5個(gè)深度、10個(gè)粒徑的顆粒圖像進(jìn)行預(yù)測(cè)，表2為訓(xùn)練及預(yù)測(cè)過(guò)程中使用的參數(shù)。

表2 仿真圖片深度學(xué)習(xí)參數(shù)

本文以微通道中顆粒深度為測(cè)量對(duì)象，因此采用預(yù)測(cè)值與真實(shí)值之差和微通道高度的比值作為判定相對(duì)誤差的依據(jù)，如式(1)所示。

式中，δ為相對(duì)誤差；WP為深度預(yù)測(cè)值；WR為深度真實(shí)值；H為微通道高度。

經(jīng)過(guò)以上配置環(huán)境的訓(xùn)練及預(yù)測(cè)，預(yù)測(cè)結(jié)果及誤差如圖4 所示。從圖4(b)可知，預(yù)測(cè)的顆粒深度位置相對(duì)于高度為100μm的微通道，當(dāng)粒徑為1～3μm 時(shí)，其相對(duì)誤差小于±13%；粒徑為4～10μm時(shí)，相對(duì)誤差小于±5%。

圖4 顯微離焦仿真圖像深度預(yù)測(cè)結(jié)果

3 實(shí)際顯微離焦圖像的深度預(yù)測(cè)

使用MicroSIG 進(jìn)行顯微離焦圖像的光學(xué)仿真，難免進(jìn)行了一些理論近似和理想假設(shè)，如假定透鏡為無(wú)限薄球面透鏡，而現(xiàn)實(shí)中不可能存在這樣的透鏡。這就使得使用光學(xué)仿真圖像訓(xùn)練得到的預(yù)測(cè)模型不能直接應(yīng)用于實(shí)際顯微離焦圖像的顆粒深度預(yù)測(cè)，必須對(duì)實(shí)際的顯微離焦圖像進(jìn)行訓(xùn)練，以得到可應(yīng)用于實(shí)際測(cè)量的深度預(yù)測(cè)模型。

為此搭建了一套顯微成像實(shí)驗(yàn)系統(tǒng)，如圖5所示，主要由顯微鏡（上海光學(xué)儀器廠XSP-9CE，Olympus 物鏡）、石英微通道、相機(jī)（XIMEAMC031MG）和步進(jìn)電機(jī)（Thorlabs MTS50MZ8）組成。將微通道固定在步進(jìn)電機(jī)上并置于顯微鏡測(cè)量區(qū)內(nèi)，向其注入濃度較稀的聚苯乙烯微球標(biāo)準(zhǔn)顆粒。待顆粒靜置在微通道中后，將顯微鏡對(duì)焦于標(biāo)準(zhǔn)顆粒的位置記為深度0點(diǎn)。控制步進(jìn)電機(jī)以1μm為步長(zhǎng)從深度為-50μm處豎直向上運(yùn)動(dòng)至50μm深度位置處，相應(yīng)地，標(biāo)準(zhǔn)顆粒從顯微鏡的前離焦位置移動(dòng)至后離焦位置。與此同時(shí)，使用步進(jìn)電機(jī)的運(yùn)動(dòng)信號(hào)作為相機(jī)的觸發(fā)信號(hào)，每當(dāng)步進(jìn)電機(jī)運(yùn)動(dòng)到設(shè)定位置，相機(jī)便自動(dòng)捕獲一張圖像，這樣便獲得了不同離焦位置下的標(biāo)準(zhǔn)顆粒顯微圖像序列。試驗(yàn)系統(tǒng)的詳細(xì)參數(shù)見(jiàn)表3。

表3 離焦成像系統(tǒng)參數(shù)

圖5 實(shí)驗(yàn)系統(tǒng)

實(shí)驗(yàn)采用的聚苯乙烯顆粒為標(biāo)稱直徑2.6μm和5μm的兩種標(biāo)準(zhǔn)顆?；旌衔铩Ｈ鐖D6所示，顆粒在不同深度位置時(shí)（下圖從左往右），顆粒由模糊逐漸變清晰，且顆粒中間有亮斑，當(dāng)達(dá)到一定離焦程度時(shí)，顆粒中心的亮斑開(kāi)始消失，然后隨著離焦程度增大，顆粒變得越來(lái)越模糊，可以明顯看出其前后離焦明顯不一致。

圖6 顯微離焦實(shí)驗(yàn)部分圖像

獲取不同粒徑顆粒在不同離焦程度下的圖像后，再根據(jù)第1.2 節(jié)所述的訓(xùn)練及預(yù)測(cè)流程，選取300 張2.6μm 和200 張5μm 顆粒在不同深度位置的圖像用于模型訓(xùn)練，然后對(duì)另外一組2.6μm和5μm顆粒圖像選取成像較好的深度位置（-20～20μm）分別進(jìn)行深度范圍預(yù)測(cè)。由圖7(b)實(shí)驗(yàn)結(jié)果可以看出，2.6μm 顆粒的相對(duì)誤差在±15%以內(nèi)，5μm 顆粒的相對(duì)誤差小于±5%。

圖7 實(shí)際顯微離焦圖像深度預(yù)測(cè)結(jié)果

4 結(jié)論

本文利用顯微鏡下顆粒離焦成像的不對(duì)稱性，將Inception V3 網(wǎng)絡(luò)模型應(yīng)用于顯微離焦成像法顆粒深度測(cè)量，使用不同粒徑及離焦程度的顆粒圖片對(duì)模型進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)對(duì)顆粒深度位置的預(yù)測(cè)。

首先采用顯微離焦仿真圖片對(duì)深度測(cè)量模型進(jìn)行訓(xùn)練和預(yù)測(cè)，結(jié)果顯示，1～3μm 顆粒的預(yù)測(cè)相對(duì)誤差小于±13%，4～10μm 顆粒的相對(duì)誤差在±5%以內(nèi)。然后將該方法應(yīng)用于在實(shí)際微通道中顆粒的深度位置測(cè)量，2.6μm顆粒深度測(cè)量的相對(duì)誤不大于±15%，5μm顆粒的小于±5%。

上述研究表明，對(duì)于景深約3μm的顯微系統(tǒng)，基于深度學(xué)習(xí)的離焦成像法可以對(duì)其景深十幾倍甚至幾十倍范圍內(nèi)的顆粒深度位置進(jìn)行估計(jì)，與PIV或PTV方面相結(jié)合可用于微通道內(nèi)速度場(chǎng)測(cè)量。