王堯，黃鋼，2

1.上海理工大學(xué)健康科學(xué)與工程學(xué)院，上海 200093；2.上海健康醫(yī)學(xué)院附屬嘉定中心醫(yī)院上海市分子影像學(xué)重點實驗室，上海 201318

前言

在光學(xué)、電子和計算機技術(shù)飛速發(fā)展的今天，顯微技術(shù)取得了很大的進步，在細胞實驗過程中獲得高質(zhì)量圖像是后續(xù)圖像處理和數(shù)據(jù)分析的關(guān)鍵，對此問題可以通過選擇合適的微孔板、控制細胞鋪板密度以及選擇熒光強度、發(fā)射光譜小的熒光染料來提高圖像質(zhì)量，再根據(jù)實驗?zāi)康倪x擇合適的成像模式和物鏡［1］。深度學(xué)習是機器學(xué)習算法的一個重要分支，目前已經(jīng)應(yīng)用到眾多科研領(lǐng)域中，特別是在圖像處理領(lǐng)域。與傳統(tǒng)的圖像處理方法相比，深度學(xué)習的一個關(guān)鍵優(yōu)勢是它的特征層不是人為設(shè)計的，而是使用通用的學(xué)習程序從數(shù)據(jù)中學(xué)習特征。深度學(xué)習模型從輸入層輸入數(shù)據(jù)，輸出層輸出一個有誤差的結(jié)果，通過反向傳播、梯度下降等算法不斷對輸出結(jié)果進行優(yōu)化，直到模型收斂或達到預(yù)期的效果才結(jié)束［2］。隨著計算機技術(shù)的發(fā)展，深度學(xué)習在處理具有大量參數(shù)的問題時顯示出巨大優(yōu)勢。卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network, CNN）、遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network, RNN）、生成對抗網(wǎng)絡(luò)（Generative Adversarial Nets,GANs）等深度學(xué)習模型在圖像分類、區(qū)域分割、目標檢測和超分辨重建等方面都取得了令人滿意的結(jié)果。本文詳細介紹深度學(xué)習在細胞圖像分析中的研究進展。

1 深度學(xué)習在細胞圖像分類中的應(yīng)用

圖像分類，即按照一定規(guī)則給輸入圖像定義一個標簽以此決定該圖像的類別。設(shè)計一個分類器可以識別細胞圖像之間的差異性、區(qū)分不同類型或者不同生長階段的細胞。傳統(tǒng)算法中，一般是通過手工提取圖像特征，并將這些特征與給定的類別標簽一起訓(xùn)練分類器，但基于深度學(xué)習的分類器具有自主學(xué)習圖像相關(guān)特征的能力。在細胞圖像分析中，深度學(xué)習算法，尤其是CNN 已被證明在細胞分類和亞細胞結(jié)構(gòu)識別任務(wù)中取得優(yōu)異表現(xiàn)。

基于CNN的分類器經(jīng)歷了長期的發(fā)展，LeNet是最早被提出作為CNN 圖像分類器模型的，主要用于手寫字體的識別［3］。隨著深度學(xué)習的不斷發(fā)展，很多優(yōu)秀的模型被不斷提出并應(yīng)用于圖像分類領(lǐng)域。在CNN 分類器逐步發(fā)展的同時，各種分類模型在細胞圖像的分析中也展現(xiàn)出巨大潛力。Patil 等［4］將CNN和LSTM（Long Short-Term Memory）相結(jié)合，提出基于典型相關(guān)分析（Canonical Correlation Analysis,CCA）的深度學(xué)習體系結(jié)構(gòu)，用于血細胞圖像分類任務(wù)。CCA 從輸入圖像中提取各種重疊特征，分類準確度達到95.89%，其他類似深度學(xué)習算法的準確度均 不 到92%。Rui 等［5］提出一種基于融合網(wǎng)絡(luò)（Fusion-Net）混合深度學(xué)習框架的高通量高光譜顯微鏡成像技術(shù)，用于在單細胞水平上快速分類食源性細菌。分別采用LSTM、ResNet和一維卷積神經(jīng)網(wǎng)絡(luò)等多種DL 框架，分類準確率分別達到92.2%、93.8%和96.2%。利用融合策略，將單個DL 框架堆疊形成融合網(wǎng)，同時處理這些特征，分類準確率高達98.4%。Shpilman等［6］開發(fā)一種基于深度學(xué)習的框架DNCIC，可以準確預(yù)測正常線粒體和罕見或未觀察到的藥物影響細胞，準確率達到98%，本研究結(jié)果為藥物影響細胞的診斷提供基礎(chǔ)。Wang 等［7］提出一種模式網(wǎng)絡(luò)融合卷積神經(jīng)網(wǎng)絡(luò)集成實現(xiàn)白細胞分類，該體系結(jié)構(gòu)依賴于PatternNet集成方法，PatternNet可以捕獲每個參與模型的優(yōu)點，同時對異常值不敏感。Wang 等［8］對傳統(tǒng)的機器學(xué)習和深度學(xué)習圖像分類算法進行比較和分析，在使用大樣本數(shù)據(jù)集時，支持向量機的準確率為0.88，CNN的準確率為0.98。針對大量細胞圖像進行分類的效果，基于深度學(xué)習的分類器比傳統(tǒng)的分類器更迅速更準確。

2 深度學(xué)習在細胞圖像分割中的應(yīng)用

圖像分割是將一幅圖像分成幾個具有特定屬性區(qū)域的過程，是圖像分析中的一個重要步驟，能夠幫助研究人員從大量數(shù)據(jù)中獲得豐富的有效信息，細胞圖像分割可以提供關(guān)于細胞結(jié)構(gòu)和功能的定量信息。傳統(tǒng)的分割方法包括閾值分割、邊緣檢測、區(qū)域生長、直方圖法等。基于深度學(xué)習的分割方法被分為語義分割和實例分割。語義分割是對圖像中的每個像素進行分類，但是同一類別的對象之間不會區(qū)分。 2015年，Long 等［9］提出的FCN（Fully Convolutional Network）在網(wǎng)絡(luò)架構(gòu)上將全連接層均替換為卷積層，F(xiàn)CN 成為深度學(xué)習技術(shù)應(yīng)用于語義分割問題的基石，許多流行語義分割模型，如SegNet、U-Net 都源自FCN，其中，顯微圖像分割中應(yīng)用最廣泛的模型是U-Net。實例分割是一種基于目標檢測的分割方法，可以識別圖像中不同對象并對其分類。最初的目標檢測模型是由Girshick 等［10］提出的R-CNN，將CNN 應(yīng)用于自底而上的候選區(qū)域來定位和分割對象。后續(xù)又在R-CNN的基礎(chǔ)上開發(fā)了計算速度更快的Fast R-CNN 和Faster R-CNN。2017年，He 等［11］提出的Mask R-CNN 是在Faster R-CNN的基礎(chǔ)上添加了一個預(yù)測分割mask 的分支，在檢測目標的同時，對目標像素進行分割，從而實現(xiàn)實例分割，這個網(wǎng)絡(luò)的平均分割準確率高達96.1%，優(yōu)于其他有監(jiān)督學(xué)習分類方法，適用于血液學(xué)分析?；谏疃葘W(xué)習的分割方法在細胞圖像分析領(lǐng)域具有重大意義，它可以幫助研究人員從大量數(shù)據(jù)中捕捉到有用信息。Joseph 等［12］開發(fā)一種自動分割角膜內(nèi)皮細胞圖像的方法，該方法包括圖像扁平化、U-Net 和后處理，以實現(xiàn)單個細胞分割，確定定量的生物標志物，指示角膜移植后的健康狀況。Roy等［13］提出的語義分割模型，采用DeepLabv3+架構(gòu)，使用ResNet-50作為特征提取網(wǎng)絡(luò)，可以在顯微血液圖像中準確地分割出白細胞，并且對接觸紅細胞的圖像和全血涂片圖像的分割平均準確率為96.15%，可以產(chǎn)生更好的結(jié)果。

深度學(xué)習在亞細胞結(jié)構(gòu)圖像分割中也發(fā)揮重要作用，Kumar等［14］提出一種SCPP-Net模型，該模型通過實現(xiàn)具有可分離卷積金字塔池化網(wǎng)絡(luò)的有效編碼器-解碼器架構(gòu)來自動分割組織病理學(xué)圖像中的細胞核。Meku等［15］提出一種利用基于CNN的分割管道，用于自動分割線粒體和內(nèi)溶酶體。通過平衡采樣、改進對比度和遷移學(xué)習提高分割的魯棒性，評估結(jié)果表明該方法優(yōu)于其他先進算法。基于深度學(xué)習的分割方法已被廣泛用于細胞計數(shù)、形態(tài)計量分析和組織圖像分析。

3 深度學(xué)習在細胞圖像目標跟蹤中的應(yīng)用

描述現(xiàn)實生活中的物體不僅需要量化它們的空間屬性，還需要量化它們的時間屬性。目標跟蹤是通過一系列延時圖像來跟蹤目標，該方法在分析細胞或亞細胞結(jié)構(gòu)中的動態(tài)信息是不可或缺的［16］。如今一些顯微鏡已經(jīng)支持獲取細胞和亞細胞結(jié)構(gòu)的延時圖像，但是在跟蹤顯微圖像中的細胞時，由于存在細胞分裂、粘連運動不均勻等問題，準確性仍有待提高［17］。經(jīng)典的跟蹤算法可以被分為生成式和判別式，生成式方法重點描述目標的特征，通過搜索候選目標來降低誤差，而判別式方法通過訓(xùn)練分類器來區(qū)分目標和背景，效果要比生成式好，目前大部分基于深度學(xué)習的目標跟蹤方法也屬于判別式。目標跟蹤任務(wù)可以分為目標檢測和數(shù)據(jù)鏈接，目前最常用的檢測方法是MASK R CNN。另一個常用結(jié)構(gòu)是RNN，其本質(zhì)上是一種處理序列信息的方法，模型可以記憶保留的信息，但是在處理長序列過程中存在梯度消失和梯度爆炸的問題，隨著LSTM 的提出與發(fā)展，這個問題得到解決，LSTM 是一種特殊的RNN 模型，引入細胞狀態(tài)這一概念，分別使用sigmoid函數(shù)做輸入門和遺忘門，tanh 函數(shù)做輸出門來控制信息，LSTM 不僅可以記憶信息還可以篩選出有用信息，大大提高目標跟蹤的精度和效率［18］。

Lugagne 等［19］開發(fā)一個基于U-Net 圖像分析管道，不僅可以識別大腸桿菌細胞的位置，而且還可以跟蹤它們的生長和分裂周期，專注于微流體設(shè)備中細菌生長的延時圖像，可用于長期的單細胞分析。針對干細胞跟蹤問題，Wang 等［20］提出一種具有卷積結(jié)構(gòu)和多輸出層的深度學(xué)習框架。利用卷積結(jié)構(gòu)，通過遷移學(xué)習策略在顯微鏡圖像數(shù)據(jù)上學(xué)習特征，多輸出層可以跟蹤人類干細胞的運動，同時監(jiān)測細胞的有絲分裂，具有更高的跟蹤性能和魯棒性。Masoudi 等［21］提出一種基于循環(huán)聚焦的在延時圖像系列中進行實例級微管（MT）跟蹤的新方法，該算法在每一幀分割單個MT，連續(xù)幀的分割結(jié)果用于分配MT 之間的對應(yīng)關(guān)系，最終根據(jù)每幀中的MT 生成一個不同的路徑軌跡來估算MT 速度，結(jié)果表明MT 實例速度估算精度有大幅提高。Moghadam 等［22］提出一種基于深度學(xué)習的鏈接方法跟蹤三維熒光圖像序列中的多個細胞，訓(xùn)練3D-caln模型提取特征，使用足夠多的連續(xù)兩幀的單個熒光斑馬魚中性粒細胞的人工標記配對3D圖像，與其他跟蹤方法相比，該方法具有更好的性能。

4 深度學(xué)習在細胞圖像超分辨率重建中的應(yīng)用

超分辨率圖像重建是指利用圖像處理和算法模型將低分辨率圖像重建為高分辨率圖像的技術(shù)［23］。在細胞圖像的分析中，獲得高質(zhì)量和信息豐富的圖像對后續(xù)處理非常重要，需要采用不同的熒光通道、熒光染色試劑和曝光時間對細胞樣品進行成像，并盡可能提高細胞圖像分辨率。常見的傳統(tǒng)超分辨率重建算法有以下3類：（1）基于插值的超分辨率重建：將圖像上每個像素都看做是圖像平面上的一個點，用已知的像素信息為未知的像素信息進行擬合；（2）基于退化模型的超分辨率重建：通過提取低分辨率圖像中的關(guān)鍵信息，并結(jié)合對未知的超分辨率圖像的先驗知識來約束超分辨率圖像的生成；（3）基于學(xué)習的超分辨率重建：利用大量的訓(xùn)練數(shù)據(jù)，從中學(xué)習低分辨率圖像和高分辨率圖像之間對應(yīng)關(guān)系，根據(jù)該映射關(guān)系來預(yù)測對應(yīng)的高分辨率圖像。基于深度學(xué)習的圖像重建方法通過學(xué)習低分辨率圖像到高分辨率圖像的端到端的映射函數(shù)，可以直接從低分辨率圖像推理出高分辨率圖像，提高細胞圖像重建的速度、準確性和魯棒性［24］。SRCNN 是較早提出應(yīng)用于圖像重建的卷積神經(jīng)網(wǎng)絡(luò)，將低分辨率圖像進行雙三次插值（bicubic）放大為目標尺寸，接著通過三層卷積網(wǎng)絡(luò)擬合非線性映射輸出高分辨率圖像［25］。VDSR 是基于SRCNN 的改進網(wǎng)絡(luò)，在增加網(wǎng)絡(luò)深度的基礎(chǔ)上，使用殘差學(xué)習和梯度裁剪提升學(xué)習速率和收斂速度，并且提高重建的準確度［26］。除了傳統(tǒng)的卷積網(wǎng)絡(luò)，GANs 也被用于圖像重建中，Ledig 等［27］提出的SRGAN 引進感知損失函數(shù)，其中包括對抗損失和內(nèi)容損失，生成網(wǎng)絡(luò)將輸入的低分辨率圖像根據(jù)內(nèi)容相似性生成高分辨率圖像，對抗損失使生成的圖像更加細節(jié)化，判別網(wǎng)絡(luò)則負責鑒別輸出圖像是真實的高分辨率圖像還是生成的高分辨率圖像。將深度學(xué)習與顯微技術(shù)結(jié)合，可以實現(xiàn)細胞圖像超分辨率重建和高效實時的分析。

Wang等［28］提出一個基于訓(xùn)練生成對抗網(wǎng)絡(luò)來實現(xiàn)熒光顯微鏡中的超分辨率和跨模態(tài)圖像轉(zhuǎn)換，該模型將實驗獲得的低分辨率圖像和高分辨率圖像進行精確的多階段圖像配準，可將不同成像方式獲得的低分辨率和寬場圖像轉(zhuǎn)換為高分辨率圖像，包括寬場熒光、共聚焦和TIRF顯微鏡。單分子定位顯微鏡方法為了獲得更高的空間分辨率導(dǎo)致成像速度緩慢，Ouyang等［29］提出一種計算策略ANNA-PALM（Artificial Neural Network Accelerated PALM），在不影響空間分辨率的情況下減少幀總數(shù)也可以獲得高質(zhì)量的超分辨率圖像。該策略使用ANNs學(xué)習數(shù)據(jù)輸入和輸出之間非線性映射，從快速獲取的定位圖像和寬視場圖像重建超分辨率視圖，ANNA-PALM大大縮短了采集時間，實現(xiàn)了更高效的活細胞超分辨率成像。Jin等［30］使用U-Net來增強結(jié)構(gòu)照明顯微技術(shù)SIM（Structured Illumination Microscopy），通過訓(xùn)練的U-Net可以從較少的SIM原始圖像中直接重建超分辨率圖像，并從弱光樣本中檢索超分辨率信息，使亞細胞結(jié)構(gòu)可以被清晰觀測到，證明DL-SIM（深度學(xué)習輔助SIM）在活細胞多色超分辨率成像中具有巨大潛力。

5 總結(jié)與展望

深度學(xué)習在細胞圖像分析中的應(yīng)用取得了顯著進展，已被廣泛應(yīng)用到細胞圖像的分類、分割、跟蹤和超分辨率重建中。作為一個先進且功能強大的圖像分析工具，深度學(xué)習比許多傳統(tǒng)分析算法表現(xiàn)出更迅速更高效的處理能力。盡管深度學(xué)習在細胞圖像分析中顯示出了巨大的優(yōu)勢，但仍然存在一些問題亟待解決。首先，深度學(xué)習需要大量的嚴格標注的數(shù)據(jù)集，而廣泛用于細胞圖像分析的公共數(shù)據(jù)集目前還很缺乏。其次，深度學(xué)習處理圖像后得出的結(jié)論沒有與生物發(fā)現(xiàn)深度結(jié)合起來。最后，深度學(xué)習缺乏一定的解釋性，尤其是生物醫(yī)學(xué)這種敏感領(lǐng)域。隨著深度學(xué)習和顯微技術(shù)的飛速發(fā)展，生成的高分辨率細胞圖像具有更多的細節(jié)信息，對后續(xù)的客觀分析也提供了很大幫助。相信在不久的將來，將二者結(jié)合的智能顯微鏡也會應(yīng)用到細胞領(lǐng)域的分析中。