圖像分割評估方法在顯微圖像分析中的應(yīng)用

馬博淵，姜淑芳，尹 豆，申昊鍇，班曉娟，黃海友，王 浩，薛維華，封 華

1) 北京科技大學(xué)北京材料基因工程高精尖創(chuàng)新中心，北京 100083 2) 北京科技大學(xué)材料領(lǐng)域知識工程北京市重點(diǎn)實(shí)驗(yàn)室，北京 100083 3) 北京科技大學(xué)計(jì)算機(jī)與通信工程學(xué)院，北京 100083 4) 北京科技大學(xué)人工智能研究院，北京 100083 5) 解放軍總醫(yī)院第一醫(yī)學(xué)中心婦產(chǎn)科，北京 100853 6) 中國石油大學(xué)（北京）信息科學(xué)與工程學(xué)院，北京 102249 7) 北京科技大學(xué)新材料技術(shù)研究院，北京 100083 8) 北京科技大學(xué)順德研究生院，佛山 528300 9) 北京科技大學(xué)材料科學(xué)與工程學(xué)院，北京 100083 10) 遼寧工程技術(shù)大學(xué)材料科學(xué)與工程學(xué)院，阜新 123099

計(jì)算機(jī)視覺是一門“教”會(huì)計(jì)算機(jī)如何去“看”世界的科學(xué)，旨在使用計(jì)算機(jī)及相關(guān)設(shè)備對生物視覺進(jìn)行模擬，進(jìn)而代替眼睛對數(shù)字圖像中的目標(biāo)進(jìn)行處理、識別、分析和理解[1].圖像分割是從圖像中提取感興趣區(qū)域的方法，是計(jì)算機(jī)視覺的重要組成部分[2].在實(shí)際應(yīng)用中，對圖像分割結(jié)果的正確評估是分割方法完善的重要研究手段[3].

在材料科學(xué)領(lǐng)域，隨著材料信息學(xué)的發(fā)展，大量先進(jìn)的信息學(xué)技術(shù)在材料領(lǐng)域獲得應(yīng)用，并展現(xiàn)出蓬勃的生機(jī)和快速發(fā)展的態(tài)勢.材料圖像，特別是材料顯微圖像，是材料組織信息的重要載體.使用圖像分割等計(jì)算機(jī)視覺方法可提取材料圖像中的組織信息，是高效建立材料成分–工藝–組織–性能關(guān)系的重要環(huán)節(jié).

本文在材料顯微圖像分析的應(yīng)用背景下，重點(diǎn)綜述了圖像分割的評估方法，并討論了不同評估方法的適用性.

1 圖像分割的定義及其在材料顯微圖像分析中的應(yīng)用

圖像分割是將圖像分成若干個(gè)特定的、具有獨(dú)特性質(zhì)區(qū)域的技術(shù)[4]，是計(jì)算機(jī)視覺的重要分支.分割結(jié)果可進(jìn)一步為圖像識別和圖像描述等圖像理解相關(guān)任務(wù)提供信息支撐.

圖1 材料顯微圖像分割流程示意Fig.1 Flow chart of material microscopic image segmentation

目前，隨著多學(xué)科間的深入交叉和融合，科學(xué)工作者開始嘗試將以圖像分割為代表的計(jì)算機(jī)視覺技術(shù)運(yùn)用到表面缺陷檢測、金相組織分析、神經(jīng)細(xì)胞拓?fù)浞治龅炔牧虾蜕镝t(yī)學(xué)領(lǐng)域[5?6].如圖1所示為材料顯微圖像分割流程圖，針對原始的材料顯微圖像，采用圖像分割方法（Image segmenta-tion methods）提取圖像中科研人員感興趣的組織結(jié)構(gòu)區(qū)域[7]，如圖1中的白色區(qū)域?qū)?yīng)的材料組織（枝晶和晶粒）.通過定量分析材料內(nèi)部的微觀組織特征（如尺寸和形狀分布等），可進(jìn)一步解構(gòu)材料微觀組織特征與材料成分、制備工藝、宏觀性能之間的內(nèi)稟關(guān)系[8]，進(jìn)而輔助材料性能的優(yōu)化和新材料的研發(fā)[9].

隨著計(jì)算機(jī)硬件以及以深度學(xué)習(xí)[10]為代表的機(jī)器學(xué)習(xí)技術(shù)的進(jìn)步，多種基于不同理論的圖像分割方法如雨后春筍般涌現(xiàn)，如圖1中基于閾值的分割方法（Threshold based segmentation methods）[11]、基于梯度的分割方法（Gradient based segmentation methods）[12]、基于形態(tài)學(xué)的分割方法（Morphology based segmentation methods）[13]、基于區(qū)域生長的分割方法（Region growing based segmentation methods）[14]、基于聚類的分割方法（Clustering based segmentation methods）[15]，基于圖論的分割方法（Graph based segmentation methods）[16]和基于深度學(xué)習(xí)的分割方法 （Deep learning-based segmentation methods）[17?18]等，上述方法被廣泛應(yīng)用于材料顯微圖像分析任務(wù)[19?21].為了進(jìn)一步理解各種圖像分割方法的適用性以及改進(jìn)分割質(zhì)量，本文對不同方法的分割結(jié)果進(jìn)行了系統(tǒng)地評估.雖然人的視覺判斷是最直接的判斷方法，但是人的主觀不確定性會(huì)導(dǎo)致算法評估難以量化.因此，采用自動(dòng)的客觀的評估方法成為圖像分割結(jié)果評估的主流方式.當(dāng)前存在多種基于不同理論的圖像分割客觀評估方法（Segmentation evaluation methods），每種方法均從特定的角度評估分割結(jié)果的優(yōu)劣，可應(yīng)用于不同目標(biāo)的圖像分割任務(wù)中.

本文綜述了14種基于不同理論的圖像分割客觀評估指標(biāo)，將其分成五大類方法分別展開敘述（圖1）：基于像素的評估方法（Pixel based evaluation methods）、基于類內(nèi)重合度的評估方法（Intra class coincidence based evaluation methods）、基于邊界的評估方法（Edge based evaluation methods）、基于聚類的評估方法（Clustering based evaluation methods）和基于實(shí)例的評估方法（Instance based evaluation methods）.并在材料顯微圖像分析應(yīng)用中，選擇兩種典型材料顯微圖像分割任務(wù)作為分析目標(biāo)，對比采用不同分割方法和不同典型噪聲下各種評估指標(biāo)的性能，進(jìn)而對不同評估方法的適用性展開討論.

2 圖像分割評估方法

通過現(xiàn)有文獻(xiàn)整理和研究，本文將圖像分割評估指標(biāo)分為基于像素的評估方法、基于類內(nèi)重合度的評估方法、基于邊緣的評估方法、基于聚類的評估方法和基于實(shí)例的評估方法等五個(gè)類別.

2.1 基于像素的評估方法

基于像素的評估方法主要包括像素準(zhǔn)確率（Pixel accuracy）和平均準(zhǔn)確率（Mean accuracy）[17]兩個(gè)評估指標(biāo).

像素準(zhǔn)確率統(tǒng)計(jì)了預(yù)測正確的像素占總像素的比例[22]，其定義為：

在圖像分割任務(wù)中，假定有k+1個(gè)類別（“+1”指包括背景類），通常使用pij表示真值結(jié)果為類i而預(yù)測結(jié)果為類j的像素點(diǎn)總數(shù)，同理，pii表示真值結(jié)果和預(yù)測結(jié)果均為類i的像素點(diǎn)總數(shù)，即預(yù)測正確的像素點(diǎn)數(shù)目.

平均準(zhǔn)確率（Mean accuracy）：是對像素準(zhǔn)確率的改進(jìn)，分別計(jì)算每個(gè)類內(nèi)被正確分類像素?cái)?shù)的比例，進(jìn)而對所有類求平均值.該方法可緩解當(dāng)分割任務(wù)中不同類別包含像素?cái)?shù)目差異較大時(shí)，準(zhǔn)確率被包含像素?cái)?shù)目較多的類別所主導(dǎo)的問題，其定義為：

2.2 基于類內(nèi)重合度的評估方法

基于類內(nèi)重合度的評估方法主要包括平均交并比（Mean intersection over union, MIoU）[17]，頻權(quán)交并比（Frequency weighted intersection over union,FWIoU）[17]和 Dice系數(shù)（Dice score）[23]三個(gè)評估指標(biāo).

平均交并比MIoU在計(jì)算每個(gè)類的交并比的基礎(chǔ)上求均值，可反映預(yù)測結(jié)果和真值結(jié)果的重合度.IoU（或稱為 Jacarrd index）的計(jì)算方式如圖2（a）所示，其中P代表預(yù)測結(jié)果（Predicted segmentation），T代表真值結(jié)果（也稱目標(biāo)結(jié)果，Target truth），其思路是計(jì)算真值結(jié)果和預(yù)測結(jié)果區(qū)域集合的交集和并集之比，即公式（3）所示.

具體地，采用上述描述方法，MIoU可定義為[17]：

圖2 評估指標(biāo)示意圖.（a）IoU 指標(biāo)示意圖；（b）VI指標(biāo)示意圖Fig.2 Schematics of evaluation metrics: (a) IoU metric diagram; (b) VI metric diagram

其中，pji表示真值結(jié)果為類j而預(yù)測結(jié)果為類i的像素點(diǎn)總數(shù).

頻權(quán)交并比FWIoU是對原始的MIoU的改進(jìn)，即根據(jù)每一類出現(xiàn)的頻率對各個(gè)類的IoU進(jìn)行加權(quán)求和，定義為[17]：

Dice系數(shù)（Dice score）是圖像分割結(jié)果衡量的常用指標(biāo)，其計(jì)算公式為[23]:

其中，|P∩T|代表預(yù)測結(jié)果P和真值結(jié)果T之間的重合像素?cái)?shù)量，|P|表示預(yù)測結(jié)果P中的像素?cái)?shù)量，同理|T|表示真值結(jié)果T中的像素?cái)?shù)量，通常P、T集合僅統(tǒng)計(jì)前景區(qū)域的像素.Dice score實(shí)質(zhì)上是兩個(gè)樣本間的重疊度量（0～1），其中該指標(biāo)為1代表完全重疊，表示預(yù)測結(jié)果較好.Dice score相比于IoU的區(qū)別在于分子和分母間均增加|P∩T|的數(shù)目.

2.3 基于邊界的評估方法

邊界檢測也稱邊緣檢測，是指將圖像分成邊緣區(qū)域和非邊緣區(qū)域.由于在邊緣檢測任務(wù)中，邊緣區(qū)域往往僅占據(jù)少量像素區(qū)域，并且繪制真值邊緣時(shí)容易產(chǎn)生誤差，致使預(yù)測邊緣和真實(shí)邊緣在像素上通常無法一一對應(yīng)，因此該類評估方法主要通過計(jì)算預(yù)測邊緣像素和真實(shí)邊緣像素間的距離來反映邊緣檢測效果.

基于邊界的評估方法主要包括FoM（Figure of merit）[24]、Completeness[25]、Correctness[25]和Quality[25]4個(gè)評估指標(biāo).

FoM（Figure of merit）計(jì)算公式為：

其中，通過人工檢視標(biāo)注得到的真值邊緣像素點(diǎn)個(gè)數(shù)為|T|；通過檢測算法檢測的邊緣像素點(diǎn)個(gè)數(shù)為|P|；檢測算法得到的第i個(gè)邊緣像素點(diǎn)和離它最近的真值邊緣像素點(diǎn)間的歐氏距離為di；常量系數(shù)ξ一般為0.1，表示錯(cuò)位邊緣懲罰項(xiàng).FoM值越大表明檢測出的邊緣越靠近人工標(biāo)注的真值邊緣, 即該邊緣檢測算法的檢測精度越高.

Completeness、Correctness和 Quality評估方法在基于歐氏距離的基礎(chǔ)上重新定義了匹配的概念.其匹配的計(jì)算公式為：

設(shè)兩個(gè)像素集合A和B，其中a和b分別為兩個(gè)集合中的兩個(gè)元素，d(a,b)表示兩個(gè)元素之間的歐氏距離.μB(A)指集合A中滿足與距集合B某一元素的距離小于閾值 θ的元素的子集.根據(jù)上述定義，分別計(jì)算預(yù)測邊緣像素集合P和真值邊緣像素集合T的μT(P)和μP(T)，μT(P)代表預(yù)測結(jié)果中與真值結(jié)果相匹配的元素的子集，μP(T)代表真值結(jié)果中與預(yù)測結(jié)果相匹配的元素的子集.如圖3所示.

圖3 邊緣檢測匹配示意圖.（a）令預(yù)測邊界與真值邊界進(jìn)行匹配；（b）令真值邊界與預(yù)測邊界進(jìn)行匹配Fig.3 Matching schematics of edge detection：(a) matching ground truth with prediction skeleton; (b) matching prediction with ground truth skeleton

在此基礎(chǔ)上，Completeness的計(jì)算公式為：

其中，|P|為預(yù)測邊緣像素集合P中的邊緣像素個(gè)數(shù).同理，|μT(P)|，|μP(T)|和|T|分別代表各自集合中的邊緣像素個(gè)數(shù).

Correctness的計(jì)算公式為：

Quality的計(jì)算公式為：

2.4 基于聚類的評估方法

圖像分割可以看作是一種聚類任務(wù)，將圖像中的所有像素分割成n個(gè)分區(qū)或段，通過對比真值圖和預(yù)測圖中的分區(qū)結(jié)果可對圖像分割任務(wù)進(jìn)行評估.在基于聚類的評估方法中類的定義和圖像類別中類的定義不同，聚類中每個(gè)類具體指圖像中得到每個(gè)分區(qū)，在圖像分割任務(wù)中，某個(gè)圖像類別可以有多個(gè)分區(qū).

基于聚類的評估方法主要包括：蘭德系數(shù)（Rand index, RI）[26?27]、調(diào)整蘭德系數(shù)（Adjusted rand index，ARI）[28]和信息變化量（Variation of information,VI）[29]3 個(gè)評估指標(biāo).

給定一個(gè)含有n個(gè)元素的集合S的兩種劃分，S劃分為r個(gè)子集：T={T1,T2,···,Tr}和S劃分為s個(gè)子集：P={P1,P2,···,Ps}.在圖像分割任務(wù)中，S代表像素集合，T代表真值分割結(jié)果，P代表預(yù)測分割結(jié)果.通常，采用聯(lián)通區(qū)域方法（Connected component）分別將T和P劃分成不同的分區(qū)（子集）.

進(jìn)一步，定義：

a為S集合中在T中屬于同一子集，在P中也屬于同一子集的元素對數(shù)；b為S集合中在T中屬于不同子集，在P中也屬于不同子集的元素對數(shù)；c為S集合中在T中屬于同一子集，但在P中屬于不同子集的元素對數(shù)；d為S集合中在T中屬于不同子集，但在P中屬于同一子集的元素對數(shù)；

則RI定義為：

直觀地，a+b可被認(rèn)為是T和P之間一致的元素對個(gè)數(shù)，c+d可被認(rèn)為是T和P之間不一致的元素對個(gè)數(shù).

雖然RI的取值范圍為[0,1]，但該指標(biāo)不能保證在類別標(biāo)簽是隨機(jī)分配的情況下其值接近0.由于RI基于像素點(diǎn)對數(shù)目進(jìn)行評估，而在材料顯微圖像分割應(yīng)用中，大多數(shù)像素點(diǎn)對不相連，即公式（12）中的b非常高，導(dǎo)致不同分割方法的評估結(jié)果均接近1，造成區(qū)分度較低.因此，ARI在RI的基礎(chǔ)上進(jìn)行了修正，令來表示Ti與Pj之 間交集的元素，基于聚類任務(wù)的列聯(lián)表如表1所示.其計(jì)算公式如式（13）所示.

表1 基于聚類任務(wù)的列聯(lián)表Table 1 Contingency table

ARI的取值范圍為[?1,1]，值越大，代表預(yù)測結(jié)果中的分區(qū)結(jié)果更接近與真值結(jié)果中的分區(qū)結(jié)果.

VI公式如（14）所示，將預(yù)測結(jié)果P和真值結(jié)果T看成兩種數(shù)據(jù)分布，利用信息熵計(jì)算兩者之間的分布變化.核心是計(jì)算預(yù)測和真實(shí)標(biāo)注圖之間的條件熵，如圖2（b）所示.

其中，H(P|T)代表過分割錯(cuò)誤，過分割即錯(cuò)誤地將一個(gè)區(qū)域分割成兩個(gè)區(qū)域，也被稱為拆分錯(cuò)誤（Split error，SE）.H(T|P)代表欠分割錯(cuò)誤，即將兩個(gè)區(qū)域錯(cuò)誤地合并成一個(gè)區(qū)域，也被稱為合并錯(cuò)誤 （Merge error，ME）.VI代表總錯(cuò)誤指標(biāo)，為ME和SE的和，值越小，代表分割結(jié)果中存在的錯(cuò)誤越少，即分割結(jié)果越準(zhǔn)確.并且，隨著誤差的變化，VI呈現(xiàn)線性變化，而RI呈現(xiàn)二次方的變化，因此，VI更適用于作為距離指標(biāo)反映誤差的變化[30].

2.5 基于實(shí)例的評估方法

基于實(shí)例的評估方法主要包括平均均值精確率 （Mean average precision，MAP）[31?32]和基數(shù)差（Cardinality difference，CD）[33]兩個(gè)評估指標(biāo).

MAP是圖像分割和物體檢測任務(wù)中的經(jīng)典評估指標(biāo)，與基于聚類的評估方法類似，該方法首先使用聯(lián)通區(qū)域方法分別將真值分割結(jié)果和預(yù)測分割結(jié)果分成多個(gè)分區(qū)，進(jìn)而在每個(gè)預(yù)測分區(qū)上逐個(gè)與所有的真值分割結(jié)果的分區(qū)計(jì)算IoU，IoU的閾值范圍從0.5到0.95，步長為0.05，即在閾值t為（0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95）情形下分別統(tǒng)計(jì)匹配的數(shù)目.在MAP計(jì)算過程中，匹配指某一預(yù)測結(jié)果中的分區(qū)與真值結(jié)果中的分區(qū)的IoU大于特定的閾值.其中True positive（TP）表示真實(shí)和預(yù)測結(jié)果中正確匹配的分區(qū)對數(shù)量，F(xiàn)alse positive(FP)表示預(yù)測分割結(jié)果中未正確匹配的分區(qū)數(shù)量，F(xiàn)alse negative（FN）表示真值分割結(jié)果中未正確匹配的分區(qū)數(shù)量.

在每個(gè)閾值t上，根據(jù)預(yù)測分割的分區(qū)結(jié)果與真值分割的分區(qū)結(jié)果比較產(chǎn)生的TP、FN、和FP的數(shù)量計(jì)算出一個(gè)精度值，并除以閾值個(gè)數(shù)獲得均值精確率.在此基礎(chǔ)上，對所有圖像n計(jì)算各自均值精確率再求平均，獲得最終平均均值精確率，公式如下所示：

CD是Waggoner等引入的一種比較分割結(jié)果中分區(qū)個(gè)數(shù)的評估指標(biāo)[33]，其定義為：

式中，NumT代表真實(shí)結(jié)果中的實(shí)例個(gè)數(shù)，NumP代表預(yù)測結(jié)果中的實(shí)例個(gè)數(shù)，如果CD是正數(shù)，表示欠分割，如果CD是負(fù)數(shù)，表示過分割.

綜上，各評估指標(biāo)的簡要信息如表2所示，其中 ↑代表值越大性能越高，↓代表值越低性能越高，N代表圖像中像素個(gè)數(shù).

表2 各指標(biāo)的簡要概括Table 2 Brief description of different evaluation methods

3 圖像分割評估方法對比實(shí)驗(yàn)

本章以兩種典型材料顯微圖像分割任務(wù)為應(yīng)用背景，定量地衡量圖像分割評估方法在不同分割算法和不同噪聲下的性能.本文所有代碼及示例圖像可開源獲取，詳見如下網(wǎng)址：https://github.com/Keep-Passion/ImageSegMetrics.

3.1 不同圖像分割算法下的評估結(jié)果

為了降低圖像分割算法對評估方法的影響，本文選擇了6種最為經(jīng)典的圖像分割算法進(jìn)行比較：基于閾值的圖像分割算法OTSU[11]，基于梯度的邊緣提取算法Canny[34]，基于形態(tài)學(xué)的圖像分割算法Watershed[35]，基于聚類的圖像分割方法K–means[36]，基于圖論的圖像分割算法Random Walker[37]和基于深度學(xué)習(xí)的圖像分割算法Unet[18].

本文選擇多晶純鐵（Polycrystalline iron）晶粒組織圖像和鋁鑭合金(Al–La alloy)枝晶組織圖像作為目標(biāo)數(shù)據(jù)集，數(shù)據(jù)集參數(shù)如表3所示.兩數(shù)據(jù)集示例如圖1所示，其中多晶純鐵晶粒的前景晶粒區(qū)域像素個(gè)數(shù)遠(yuǎn)高于背景邊界區(qū)域的像素個(gè)數(shù)，屬于類別不平衡的圖像分割任務(wù).鋁鑭合金枝晶圖像的前景組織區(qū)域像素個(gè)數(shù)與背景區(qū)域的像素個(gè)數(shù)相當(dāng)，屬于類別平衡的圖像分割任務(wù).在實(shí)踐過程中，類別不平衡的圖像分割任務(wù)更加困難.

表3 材料顯微圖像數(shù)據(jù)集參數(shù)Table 3 Description of two material micrographic image datasets

由于本文選擇基于深度學(xué)習(xí)的圖像分割模型Unet作為不同評估指標(biāo)的基線模型，而Unet需要樣本訓(xùn)練模型才可進(jìn)一步使用.因此將數(shù)據(jù)集按照7∶1∶2的方式劃分為訓(xùn)練集、驗(yàn)證集和測試集.為保證實(shí)驗(yàn)的公平性，所有圖像分割算法均在測試集上進(jìn)行評估.對于Unet模型，模型在訓(xùn)練集上訓(xùn)練，并在每輪迭代中使用驗(yàn)證集驗(yàn)證，選擇驗(yàn)證集損失最低的網(wǎng)絡(luò)參數(shù)在測試集上進(jìn)行評估.其中，Unet網(wǎng)絡(luò)訓(xùn)練參數(shù)為：Batch size 為 10，初始學(xué)習(xí)率為1×10?4，在Adam優(yōu)化器下訓(xùn)練50輪.所有實(shí)驗(yàn)均在裝備一臺Nvidia Tesla V100顯卡的工作站上測試.

多晶純鐵晶粒組織圖像在不同分割算法下的各評估結(jié)果如表4所示，其可視化示例如圖4上兩行所示.鋁鑭合金枝晶組織圖像在不同分割算法下的各評估結(jié)果如表5所示，其可視化示例如圖4下兩行所示.

表4 多晶純鐵晶粒組織圖像不同分割算法下評估結(jié)果Table 4 Evaluation results under different segmentation algorithms for polycrystalline iron image

由于多晶純鐵晶粒組織圖像分割任務(wù)的目標(biāo)是提取并分離每個(gè)晶粒，因此，該任務(wù)可被解讀為晶粒分割或晶界提取兩種不同的描述.因此，對于后者，可采用基于邊界的評估方法對晶界提取的準(zhǔn)確性進(jìn)行評估.

由于基于深度學(xué)習(xí)的機(jī)器學(xué)習(xí)算法可在訓(xùn)練過程中自動(dòng)學(xué)習(xí)到數(shù)據(jù)中適用于目標(biāo)任務(wù)的強(qiáng)有效特征，因此其分割性能遠(yuǎn)高于傳統(tǒng)圖像處理方法.由圖4直觀比較，基于深度學(xué)習(xí)的圖像分割模型Unet在兩種數(shù)據(jù)集上的可視化效果均顯著超過了其余經(jīng)典算法.但在多晶純鐵晶粒組織圖像的客觀評估中（表4），Unet和傳統(tǒng)方法（除Unet外的其他方法）在基于像素和基于類內(nèi)重合度的評估方法的數(shù)值指標(biāo)上相差較小.在鋁鑭合金枝晶組織圖像的客觀評估中（表5），傳統(tǒng)方法和Unet在基于像素的評估方法的數(shù)值指標(biāo)上相差較小.基于像素的評估方法逐像素地比較預(yù)測分割結(jié)果和真值分割結(jié)果的區(qū)別，而基于類內(nèi)重合度的評估方法逐類別的比較兩者之前的差異，均未考慮材料顯微組織的拓?fù)涮匦?，因此，本文認(rèn)為在材料顯微圖像分析及定量表征應(yīng)用中，該評估方法適用于目標(biāo)為統(tǒng)計(jì)物相組成比例等的表征任務(wù)，但不適用于需要分析單個(gè)組織特征的尺寸或形狀統(tǒng)計(jì)等的表征任務(wù).

基于邊界的評估方法僅適用于基于邊緣提取的圖像分割任務(wù)，其泛用性較低.同時(shí)晶界提取的目標(biāo)在于分離每個(gè)晶粒，基于邊界的評估方法并未考慮晶界不閉合的情況.因此，本文認(rèn)為在材料顯微圖像分析應(yīng)用中，基于邊界的評估方法可適用于缺陷（如裂紋）檢測[25]，但不適用組織結(jié)構(gòu)定量表征任務(wù).

基于聚類和基于實(shí)例的評估方法由于在執(zhí)行過程中需要先使用聯(lián)通區(qū)域方法對分割結(jié)果進(jìn)行分區(qū)操作，考慮了顯微組織結(jié)構(gòu)的拓?fù)涮匦裕虼吮疚恼J(rèn)為這兩類方法更適用于材料顯微圖像分析任務(wù)中統(tǒng)計(jì)尺寸和形狀分布等微觀組織定量表征的目標(biāo).

在基于聚類的評估方法中，RI被證明在最差情況下也難以達(dá)到最低值，造成各方法間差距過小，如多晶純鐵晶粒圖像分割結(jié)果（表4）中的Watershed(RI=0.9444)和 Unet(RI=0.9819).ARI是對RI指標(biāo)的改進(jìn)，各方法間該指標(biāo)的差距較大.VI指標(biāo)進(jìn)一步分為合并錯(cuò)誤（Merge Error，ME）和分離錯(cuò)誤（Split Error，SE），可更加全面的分析算法的分割結(jié)果.

圖4 多晶純鐵晶粒組織及鋁鑭合金枝晶組織圖像在不同分割算法結(jié)果的可視化對比Fig.4 Visualization results of different segmentation methods for polycrystalline iron and Al–La alloy microscopic image

在基于實(shí)例的評估算法中，CD指標(biāo)易受到噪聲影響，且該指標(biāo)不存在上下限，造成各方法的評估結(jié)果差距過大，難以直觀評估分割結(jié)果，如在鋁鑭合金枝晶圖像分割任務(wù)中，CD指標(biāo)從?10到?10918產(chǎn)生變化，因此本文認(rèn)為該指標(biāo)不適合材料顯微圖像分析任務(wù).MAP的值域范圍是[0,1]，且在不同交并比閾值下綜合評估分割結(jié)果，性能較為準(zhǔn)確，但也同樣容易受到微小噪聲的影響.

3.2 引入不同噪聲下評估方法效果

為進(jìn)一步加深對圖像分割評估方法的理解，本文在圖像中增加固定數(shù)目的典型噪聲，以展示各圖像評估方法的魯棒性.

本文從多晶純鐵晶粒圖像和鋁鑭合金枝晶圖像中分別選擇500×500像素尺寸的圖像，并通過控制變量，隨機(jī)引入三種在材料顯微圖像分析任務(wù)中常見的噪聲[38]，每種噪聲各具有500像素的改變量：隨機(jī)斑點(diǎn)噪聲、劃痕噪聲和邊界模糊或消失現(xiàn)象.

表5 鋁鑭合金枝晶組織圖像不同分割算法下評估結(jié)果Table 5 Evaluation of different segmentation results for Al–La microscopic image

（1）隨機(jī)斑點(diǎn)噪聲（Random noises）：在制備過程中，需要在材料表面涂抹銹蝕劑，才可在拋光過程中磨掉材料表面區(qū)域，進(jìn)而獲得材料的微觀形貌.若采用系列截面法逐層觀察材料組織形貌，則需要頻繁的使用銹蝕劑，在拋光過程中，銹蝕劑不可避免地殘留在微觀組織表面，形成隨機(jī)斑點(diǎn)噪聲，如圖5中黑色箭頭所示.

（2）劃痕噪聲（Scratch noises）：如前所述，在制備過程中，需要對材料表面進(jìn)行研磨.該制備方法不可避免地將在顯微組織表面留下劃痕噪聲.劃痕噪聲通常為黑色直線.由于其與多晶純鐵晶粒圖像中晶界區(qū)域在像素值上相似，容易被誤認(rèn)為是晶界從而影響分割結(jié)果，如圖5中紅色箭頭所示.

圖5 兩種圖像數(shù)據(jù)引入不同種類噪聲的結(jié)果.（a）多晶純鐵晶粒圖像；（b）圖（a）的真值結(jié)果；（c）在（b）中隨機(jī)引入 500 像素的噪聲點(diǎn)；（d）在（b）中引入 500 像素的劃痕噪聲；（e）在（b）中引入 500 像素的消失晶界噪聲；（f）鋁鑭合金枝晶圖像；（g）圖（f）的真值結(jié)果；（h）在（g）中隨機(jī)引入 500 像素的噪聲點(diǎn)；（i）在（g）中引入500像素的劃痕噪聲Fig.5 Two microscopic images with different noises: (a) polycrystalline iron; (b) ground truth of (a); (c) random noises with 500 pixels in (b); (d) scratch noises with 500 pixels in (b); (e) missing boundaries with 500 pixels in (b); (f) Al la alloy; (g) ground truth of (f); (h) random noises with 500 pixels in (g);(i) scratch noises with 500 pixels in (g)

（3）邊界模糊或消失現(xiàn)象（Blurred or missing boun-daries）：在制備過程中，除銹蝕和研磨外，需使用一定比例的浸蝕液對材料表面進(jìn)行處理，才可浸蝕出晶界或相界（后文以晶界為例），為防止形成雙晶界或粗晶界缺陷，浸蝕時(shí)間不宜過長，因此容易出現(xiàn)浸蝕不完全現(xiàn)象.具體地表現(xiàn)為晶界區(qū)域沒有完全浸蝕，致使出現(xiàn)晶界模糊或晶界消失現(xiàn)象.由于晶界消失后的表觀特征與晶粒內(nèi)部區(qū)域相似，容易被誤認(rèn)為是晶粒區(qū)域從而影響分割結(jié)果，如圖5中藍(lán)色箭頭所示.

在本實(shí)驗(yàn)中，只有斑點(diǎn)噪聲屬于隨機(jī)分布，而劃痕噪聲和缺失晶界噪聲是根據(jù)原圖的紋理信息和傳統(tǒng)方法的錯(cuò)誤識別結(jié)果在標(biāo)注圖中相應(yīng)增加而形成.通過固定噪聲數(shù)目，可以直觀地展示不同評估方法的區(qū)別.比如對于基于像素的評估方法并不考慮分割結(jié)果的拓?fù)渥兓嗤肼晹?shù)目但不同噪聲類型的評估結(jié)果基本相同.對于基于實(shí)例和基于聚類的評估方法考慮了顯微組織的拓?fù)浣Y(jié)構(gòu)，相同噪聲數(shù)目但不同噪聲類型的評估結(jié)果具有很大差異.

隨機(jī)斑點(diǎn)噪聲由于面積較小且較為分散，不影響顯微組織拓?fù)浣Y(jié)構(gòu)，并且可通過設(shè)置最小連通區(qū)域的面積閾值進(jìn)而消除該噪聲.雖然500個(gè)像素只占一幅500×500尺寸圖像的1/500，但是劃痕噪聲和模糊或消失晶界噪聲改變了分割結(jié)果的拓?fù)浣Y(jié)構(gòu)：劃痕噪聲會(huì)造成分割結(jié)果中的分區(qū)錯(cuò)誤（即將一個(gè)晶粒錯(cuò)誤地分離成兩個(gè)晶粒），嚴(yán)重影響顯微組織尺寸及形狀統(tǒng)計(jì).模糊或消失晶界同樣會(huì)影響多晶純鐵晶粒圖像中的微觀組織表征（即將兩個(gè)晶粒錯(cuò)誤地合并成一個(gè)晶粒）.因此，本文期望在劃痕噪聲和模糊或消失晶界噪聲下，評估指標(biāo)出現(xiàn)明顯的退化，以正確反映圖像分割結(jié)果.

多晶純鐵晶粒圖像在不同噪聲下的各指標(biāo)評估結(jié)果如表6所示，鋁鑭合金枝晶圖像在不同噪聲下的各指標(biāo)評估結(jié)果如表7所示.兩表中每個(gè)數(shù)據(jù)項(xiàng)括號中的數(shù)值表示變化的幅值.基于像素、基于類內(nèi)重合度和基于邊界的評估方法在三種噪聲影響下變化較?。ㄗ兓稻诎俜治换蚯Х治唬?，且性能均較高，不符合本文的要求.而基于實(shí)例和基于聚類的評估指標(biāo)的變化幅度在十分位以上，相較于基于像素，基于類內(nèi)重合度和基于邊界的評估方法更能有代表性地反映分割結(jié)果的退化情況.基于實(shí)例的評估方法中，RI的變化幅度較小，ARI雖然在模糊或消失晶界處變化較大，但在劃痕噪聲情況變化幅度較小.VI可通過合并錯(cuò)誤（ME）和分離錯(cuò)誤（SE）綜合評估分割結(jié)果.在劃痕噪聲影響下，其分離錯(cuò)誤出現(xiàn)了大幅提高；在模糊和缺失晶界噪聲影響下，其合并錯(cuò)誤出現(xiàn)了大幅提高；MAP在多晶純鐵晶粒圖像中在上述兩種噪聲影響下出現(xiàn)大幅度變化，變化幅度與VI相當(dāng)，但在鋁鑭合金枝晶圖像中，在模糊或消失晶界噪聲下其變化幅度相對VI指標(biāo)較低.

4 討論

本文綜述了14種圖像分割的評估指標(biāo)，并將其分為五大類：基于像素點(diǎn)的評估方法、基于類內(nèi)重合度的評估方法、基于邊界的評估方法、基于聚類的評估方法和基于實(shí)例的評估方法.并在材料顯微圖像分析應(yīng)用中，通過實(shí)驗(yàn)對比了兩種數(shù)據(jù)集在不同分割方法和不同常見噪聲類型下各評估指標(biāo)的評估結(jié)果.

表6 多晶純鐵晶粒圖像在不同噪聲下各評估方法的結(jié)果Table 6 Results of different evaluation methods for polycrystalline iron image under different noises

表7 鋁鑭合金枝晶圖像在不同噪聲下各評估方法的結(jié)果Table 7 Results of different evaluation methods for Al La alloy under different noises

由于基于像素的評估方法逐像素地比較預(yù)測分割結(jié)果和真值分割結(jié)果的區(qū)別，而基于類內(nèi)重合度的方法逐類別地比較兩者之間的差異，均未考慮材料顯微組織的拓?fù)涮匦?，因此，本文認(rèn)為在材料顯微圖像分析及定量表征應(yīng)用中，該評估方法適用于圖像分割的目標(biāo)為統(tǒng)計(jì)物相組成比例的表征任務(wù)，但不適用于需要分析單個(gè)組織特征的尺寸或形狀統(tǒng)計(jì)等的表征任務(wù).

基于邊界的評估方法僅適用于基于邊緣提取的圖像分割任務(wù)，其泛用性較低.同時(shí)針對多晶純鐵晶粒分割任務(wù)，晶界提取的目標(biāo)在于分離每個(gè)晶粒，基于邊界的評估方法并未考慮晶界不閉合的情況.因此，本文認(rèn)為在材料顯微圖像分析應(yīng)用中，基于邊界的評估方法可適用于表面缺陷（如裂紋）檢測，但不適用組織結(jié)構(gòu)定量表征任務(wù).

基于聚類和基于實(shí)例的評估方法由于在執(zhí)行過程中需要先使用聯(lián)通區(qū)域方法對分割結(jié)果進(jìn)行分區(qū)，考慮了顯微組織結(jié)構(gòu)的拓?fù)涮匦?，因此本文認(rèn)為這兩類方法更適用于材料顯微圖像分析任務(wù)中統(tǒng)計(jì)尺寸和形狀分布等微觀組織定量表征的目標(biāo).同時(shí)在引入典型噪聲后，當(dāng)組織拓?fù)浣Y(jié)構(gòu)發(fā)生巨大變化時(shí)，VI和MAP其變化幅度較大，本文認(rèn)為上述兩個(gè)指標(biāo)更適合于材料顯微圖像分割任務(wù).并且，VI可進(jìn)一步細(xì)分為合并錯(cuò)誤和分離錯(cuò)誤，可更加全面地評估分割結(jié)果.

5 總結(jié)與展望

隨著硬件計(jì)算能力和計(jì)算機(jī)算法的發(fā)展，圖像分割領(lǐng)域取得了巨大突破，大量基于不同理論的優(yōu)秀的圖像分割方法爭相問世.因此，在應(yīng)用過程中，準(zhǔn)確地評估各種分割方法的準(zhǔn)確性和適用性是科研工作中的必要環(huán)節(jié)，同時(shí)理解和掌握各種評估方法是改進(jìn)圖像分割方法的途徑之一.本文首先按照不同類別（基于像素的評估方法、基于類內(nèi)重合度的評估方法、基于邊界的評估方法、基于聚類的評估方法和基于實(shí)例的評估方法）詳細(xì)介紹了各評估方法的計(jì)算方式，并在材料顯微圖像分析的應(yīng)用背景下，進(jìn)行實(shí)驗(yàn)討論了不同分割方法和不同噪聲對不同評估方法的影響.最后探討了每種方法的優(yōu)勢和適用性.本文認(rèn)為在材料顯微圖像分析及定量表征應(yīng)用中，基于像素和基于類內(nèi)重合度的評估方法適用于圖像分割的目標(biāo)為統(tǒng)計(jì)物相組成比例的表征任務(wù)，但不適用于需要分析單個(gè)組織特征的尺寸或形狀統(tǒng)計(jì)等的表征任務(wù)；基于邊界的評估方法可適用于表面缺陷（如裂紋）檢測任務(wù)；基于聚類和基于實(shí)例的評估方法更適合于材料顯微圖像分割任務(wù).并且，VI可進(jìn)一步細(xì)分為合并錯(cuò)誤和分離錯(cuò)誤，可更加全面的評估分割結(jié)果.

同時(shí)，由于材料顯微圖像分割任務(wù)的目標(biāo)是獲得微觀組織的定量表征，如面積或形狀分布等.在未來的研究中，可更進(jìn)一步從材料學(xué)目標(biāo)出發(fā)，如選擇 KL 散度（Kullback–Leibler divergence），JS散度（Jensen–Shannon divergence）或 Wassertein 距離等方法評估預(yù)測結(jié)果的面積分布和真實(shí)結(jié)果的面積分布的相似性.

致謝

本文的計(jì)算工作得到了北京材料基因工程高精尖創(chuàng)新中心材料計(jì)算平臺的支持.