李 雪, 江旻珊

(上海理工大學(xué) 光電信息與計算機工程學(xué)院, 上海 200093)

引 言

圖像清晰度評價函數(shù)是評價光學(xué)顯微成像系統(tǒng)成像質(zhì)量的關(guān)鍵函數(shù),而一個良好的圖像清晰度評價函數(shù)應(yīng)滿足單峰性、無偏性、靈敏度高、信噪比大及計算量大的要求[1]。目前國內(nèi)外學(xué)者提出了很多圖像清晰度評價函數(shù),每種評價函數(shù)各有優(yōu)缺點,并且在不同的環(huán)境下有不同的評價效果,但大多只能在某些特定情況下才具有較好的效果。由于自動對焦的系統(tǒng)十分復(fù)雜和多變,一種函數(shù)無法適應(yīng)所有的對焦場合,因此本文將對目前比較常見的十幾種圖像清晰度評價函數(shù)進行對比分析,研究其主要性能和特點,以便為這些函數(shù)的正確使用提供一定的依據(jù)。

1 圖像清晰度評價函數(shù)

(1) Brenner梯度函數(shù)(Brenner)[2]

Brenner梯度函數(shù)僅僅考察被判斷點與其中一個相鄰像素點之間的灰度差值,簡潔實用、計算量少,其表達式為

(1)

式中I(x,y)為像素點(x,y)處的灰度值。

Brenner梯度算子可以看作是模板T=[-1 0 1]和對應(yīng)位置的圖像像素[I(x,y)I(x+1,y)I(x+2,y)]依次進行卷積,模板T=[-1 0 1]是一個帶通濾波器,Brenner梯度算子正是通過帶通濾波來濾除比例較大的低頻能量,保留圖像中的中頻部分能量。

(2) 改進的Brenner梯度函數(shù)(ImprovedBre)

改進算法采用兩個模板濾波器來克服閾值對傳統(tǒng)Brenner算法評價結(jié)果的影響[3]。兩個濾波器模板分別是帶通濾波器T=[-1 0 1]和高通濾波器G=[1 -1]。用兩個濾波器模板分別對圖像進行濾波,通過計算低頻部分能量和高頻部分能量來評價圖像的清晰度。

改進的清晰度評價算法可定義為

(2)

改進的算法在濾除比例較大的低頻成分的同時,保留了圖像細節(jié)豐富的中高頻成分。

(3) 絕對方差函數(shù)(AbsVar)[4]

絕對方差函數(shù)是一個較為簡單的算法,它僅僅是將像素點與其相鄰位置的特定一個像素進行比較,其表達式為

(3)

因為正焦圖像的邊緣有較大的灰度差值,所以正焦圖像經(jīng)過這個算法計算之后會得到相對于離焦圖像更大的值,且圖像越模糊,其值越小。

(4) Roberts梯度函數(shù)(Roberts)[5]

該函數(shù)對于絕對方差函數(shù)來說,考察的不僅僅是像素點和其中一個鄰域像素的灰度關(guān)系,而是將像素點和其右下角的鄰域像素進行比較,同時再比較其垂直方向下的兩個鄰域像素之間的灰度差值,兩組差值的和作為函數(shù)的最終結(jié)果。函數(shù)表達式為

(4)

該函數(shù)使用了被判斷點及其外沿三個像素點的灰度信息,實際上是以某一點為中心的連續(xù)梯度的近似,處理邊緣特性的時候比絕對方差和Brenner梯度函數(shù)要好。

(5) Laplacian函數(shù)(Laplacian)[6]

Laplacian函數(shù)就是利用了邊緣檢測的Laplacian算子,其表達式為

(5)

式中:T為閾值;G(x,y)為圖像與Laplacian算子的卷積。Laplacian算子為

(6)

該評價函數(shù)使用了被判斷點及其周圍四個像素點的灰度信息。Laplacian函數(shù)是二級微分算子,對孤立噪聲點的響應(yīng)是對階躍邊緣響應(yīng)的4倍,對單像素線條的響應(yīng)是對階躍邊緣響應(yīng)的2倍,對線端及斜向邊緣的響應(yīng)大于垂直及水平走向邊緣的響應(yīng),所以它不及Roberts梯度函數(shù)和梯度向量模方函數(shù)。

(6) Tenengrad函數(shù)(Tenengrad)

該函數(shù)和Laplacian函數(shù)類似,同樣運用邊緣檢測的思想[7]。與之不同的是Tenengrad函數(shù)采用的是Sobel算子,利用Sobel算子來估算圖像在水平方向和垂直方向的梯度,為使圖像邊緣的梯度放大,對梯度進行平方運算。其定義為

(7)

其中

(8)

式中Gx(x,y)和Gy(x,y)分別是圖像與gx和gy的卷積,其中g(shù)x和gy分別是水平方向和垂直方向的Sobel算子,可表示為

(9)

Tenengrad函數(shù)是先加權(quán)平均再微分,分別對水平和垂直方向進行模板運算,對噪聲有一定的抑制能力。

(7) 梯度向量模方函數(shù)(SGVM)

梯度向量模方函數(shù)是一個灰度變化梯度和的表達式,只選取了梯度標(biāo)量數(shù)值信息作為灰度變化量描述[8],其函數(shù)定義為

(10)

(8) 自相關(guān)函數(shù)(Autocorrection)

當(dāng)圖像細節(jié)越多,即高頻能量越豐富時,自相關(guān)函數(shù)的曲線就越尖銳[9]。該方法兼顧空間域函數(shù)的優(yōu)點并且克服了空間域函數(shù)對噪聲干擾敏感和對對焦區(qū)域選擇要求高的缺點,具有較好的實時響應(yīng)性能。該函數(shù)表達式為

(11)

該函數(shù)能較好地克服圖像中噪聲和高亮目標(biāo)等因素的影響,但是計算量較大。

(9) 熵函數(shù)法(Entropy)

熵函數(shù)法是根據(jù)香濃信息論提出來的,香濃認為熵越大的時候信息量就越多,然后將此原理應(yīng)用到圖像清晰度評價中,因此可以認為在圖像能量一定的情況下,圖像熵越大圖像越清晰[10]。定義為

(12)

(10) 全頻段積分函數(shù)(Integral)[11]

在整個頻域段進行積分,表達式為

(13)

(11) 相鄰灰度差分算子絕對值之和(Sum)[12]

用差分絕對值代替乘方和開方,即對被測點及其鄰近點的灰度作差分運算,提取該點灰度值的變化大小,圖像灰度差分絕對值之和算子為

(14)

式中M、N分別為圖像長度和寬度的像素數(shù)。

(12) 中值濾波-離散余弦函數(shù)(MDCT)[13]

函數(shù)表達式為

(x,y)?g)2

(15)

該函數(shù)可以將圖像信息由空域轉(zhuǎn)換至頻域,圖像越模糊高頻分量越少,模糊圖像中相鄰像素間的相互作用,表現(xiàn)為頻域分布中高頻成分的缺失,以高頻成分的大小作為圖像清晰度的評價依據(jù)。

(13) 圖像能量函數(shù)(ImageEnergy)[14]

使用圖像能量函數(shù)作為清晰度評價函數(shù)的原因,是由于圖像在離焦成像時,離焦量越大,彌散損失的能量就越大。該函數(shù)表達式為

(16)

(14) 平面微分平方和(PlanarDiff)

對圖像進行微分運算提取圖像中景物的邊緣和輪廓,可以評判圖像中高頻分量的大小,并判斷對焦正確與否[15]。其表達式為

(17)

該算法最大的特點在于計算方法簡單而且計算量小,適用于需要實時自動對焦的場合。

(15) 基于Prewitt邊緣檢測算子的清晰度評價函數(shù)(Prewitt)[16]

Prewitt算子與Sobel算子非常類似,只是模板系數(shù)不同。Prewitt算子的sx和sy分別用卷積模板表示為

圖像清晰度評價函數(shù)為

(18)

Prewitt邊緣算子是一種一階微分算子,是在圖像空間利用兩個方向模板與圖像進行鄰域卷積來完成檢測。

(16) 基于LOG邊緣檢測算子的清晰度評價函數(shù)[17](LOG)

LOG算子對圖像進行邊緣檢測時,輸出的LOG(x,y)是通過卷積運算得到的。LOG(x,y)常用模板為

應(yīng)用LOG邊緣檢測算子評價清晰度時,最后整幅圖像的清晰度評價公式為

(19)

這種方法是先將圖像和高斯濾波器進行卷積運算,這種運算既平滑了圖像又降低了噪聲,由于孤立的噪聲點和較小的組織結(jié)構(gòu)將同時被濾除,會不利于清晰度評價的精度,但此方法會增強調(diào)焦函數(shù)的單調(diào)性。

2 算法比較

本文在多個環(huán)境下對16種算法進行了比較和驗證,所有算法均由MATLAB編程,并且在相同的計算機環(huán)境下測試。

為了驗證這些算法的性能,我們對同一個電路板拍攝了一組在純白背景下的圖像。我們選擇了在清晰成像位置附近,每隔0.05 mm采集一幅圖像,焦面前和焦面后各10幅,一共采集到21幅圖,將所得到的21幅圖像從1到21依次排序,得到一組序列號,并在不同環(huán)境條件下對各個算法的單峰性,無偏性、靈敏度以及計算量進行比較。

2.1 單峰性、無偏性和靈敏度

圖1為各個函數(shù)運算并平滑歸一化之后的結(jié)果。

圖1 理想情況下各清晰度評價函數(shù)運算結(jié)果Fig.1 The results of all sharpness functions

由圖1可以看出,熵函數(shù)、全頻段積分函數(shù)以及圖像能量函數(shù)表現(xiàn)極差,甚至不能找出最清晰的那幅圖像。而Tenengrad函數(shù)和自相關(guān)函數(shù)雖然能分辨出最清晰的圖像,但是仍然能清楚地看出存在局部極值點。下面我們來對比一下其他算法的性能,理想情況下,運算結(jié)果如圖2所示。

圖2 理想情況下部分函數(shù)的運算結(jié)果Fig.2 The results of part of sharpness functions

由圖2可見:在單峰性方面,每個函數(shù)都體現(xiàn)了極好的單峰性,并且函數(shù)在第一幅圖像到最后一幅圖像的調(diào)焦范圍內(nèi)都只有一個極值點;在無偏性方面,每個函數(shù)的極值點都在橫軸為10的位置,即每個函數(shù)的最佳焦距位置都指向第10幅圖像的位置,函數(shù)之間的結(jié)果得到相互的證明;在靈敏度方面,Laplacian函數(shù)和中值濾波-離散余弦函數(shù)的靈敏度最高,基于Prewitt邊緣檢測算子的函數(shù)的靈敏度是這幾個函數(shù)中最低的。

2.2 計算量

圖3為各個函數(shù)運行一次所耗費的時間。

圖3 理想情況下各函數(shù)運行耗時Fig.3 Time- consumption of each algorithm

從圖3可以看出,熵函數(shù)耗時最短,而相鄰灰度差分算子絕對值之和函數(shù)耗時最長。但是在耗時方面,由于受計算機因素的限制以及函數(shù)運行環(huán)境的影響,在此僅僅作為參考。

為了驗證以上結(jié)果的可靠性,我們用有自動對焦功能的顯微鏡拍攝了南瓜莖細胞在顯微鏡離焦-合焦-離焦?fàn)顟B(tài)下的一段視頻,從中間截取了25張圖像對以上結(jié)果進行驗證。

圖4的3張圖分別是顯微鏡離焦、合焦、再離焦時拍攝到的南瓜莖細胞圖。

圖4 南瓜莖細胞圖像Fig.4 Images of cell of pumpkin stem

理想情況下,各函數(shù)運算結(jié)果如圖5所示。

圖5 理想情況下各清晰度評價函數(shù)運算結(jié)果Fig.5 The results of all sharpness functions

從圖5 中可以看出:熵函數(shù)、圖像能量函數(shù)以及全頻段積分函數(shù)均不能識別出最清晰的那幅圖像;其次,仍舊可以看到Tenengrad函數(shù)和自相關(guān)函數(shù)擁有幾個不可忽視的局部峰值;其余的函數(shù)均表現(xiàn)出來較好的無偏性,均在第13幅圖的位置達到了最大值,而且都只有一個極值點,證明了這些函數(shù)優(yōu)秀的單峰性;而在靈敏度方面,Lapacian函數(shù)的靈敏度仍舊是最高的。這組結(jié)果和以上結(jié)果得到了很好的相互驗證。

2.3 抗噪性

高斯噪聲和椒鹽噪聲是現(xiàn)在圖像中最常見的兩種噪聲,而清晰度評價函數(shù)應(yīng)該具備一定的抗噪性,所以我們給所拍攝的21幅圖像分別加上標(biāo)準偏差為200的高斯噪聲和椒鹽噪聲,以此來測試各個算法的抗噪能力。

2.3.1 高斯噪聲

圖6為各個函數(shù)在原圖像加入高斯噪聲并歸一化平滑之后的結(jié)果。

圖6 高斯噪聲情況下各清晰度評價函數(shù)的運算結(jié)果Fig.6 The results of all sharpness functions

由圖6可以看出,Laplacian函數(shù)、熵函數(shù)、全頻段積分函數(shù)以及圖像能量函數(shù)性能極差。尤其是Laplacian函數(shù),在這種情況下波動極其大,完全無法識別最清晰的圖像,而在近乎理想的情況下Laplacian函數(shù)表現(xiàn)最好,由此我們可以推知,Laplacian函數(shù)雖然各方面性能都十分好,但唯獨抵抗噪聲的能力非常弱。究其原因,Laplacian函數(shù)利用的是邊緣檢測的Laplacian算子,Laplacian算子利用的是二階微分,使得Laplacian函數(shù)對邊緣十分敏感,由于噪聲也有邊緣,這就大大地影響了該算法,使得算法將噪聲的邊緣誤以為是正焦圖像的邊緣,導(dǎo)致算法在離焦的區(qū)域也有較大的輸出,形成不可忽視的極值點。圖7為其余12種函數(shù)的運算結(jié)果,圖8為12種函數(shù)中表現(xiàn)較好的4種函數(shù)。

圖8 高斯噪聲情況下表現(xiàn)較好的函數(shù)的運算結(jié)果Fig.8 The algorithms with only one peak

從圖7中我們可以看出,這些函數(shù)受高斯噪聲的影響較小,均具有較好的無偏性,但仍舊有部分函數(shù)出現(xiàn)了數(shù)值可觀的極值點。

從圖8我們可以看到,Brenner函數(shù)、Tenengrad函數(shù),基于Prewitt邊緣檢測算子的函數(shù)以及中值濾波-離散余弦函數(shù)表現(xiàn)較好,具有較好單峰性和靈敏度。

2.3.2 椒鹽噪聲

圖9為各函數(shù)在原圖中加入椒鹽噪聲并歸一化平滑之后的結(jié)果。從圖我們可以看出,椒鹽噪聲對函數(shù)的影響十分大,只有幾個函數(shù)不受影響。Brenner函數(shù)、平面微分平方和函數(shù)和中值濾波-離散余弦函數(shù)雖然能識別出最清晰的圖像,但均具有較大的極值點,而Laplacian函數(shù)、Tenengrad函數(shù)、熵函數(shù)、全頻段積分函數(shù)以及圖像能量函數(shù)則是連最清晰的圖像都分辨不出來。以下我們將對性能好的幾個函數(shù)(如圖10所示)作進一步的討論。

從圖10可知,這幾個函數(shù)仍舊能識別出最清晰的圖像,也具有較好的單峰性和靈敏度。但是自相關(guān)函數(shù)仍舊存在不可忽視的波動,改進的Brenner函數(shù)、絕對方差函數(shù)、Roberts函數(shù)、梯度向量模方函數(shù)、相鄰灰度差分算子絕對值之和以及基于LOG邊緣檢測算子的函數(shù)這6個函數(shù)的綜合性能表現(xiàn)較優(yōu),其中Roberts函數(shù)曲線最為平滑,幾乎不存在局部峰值。

圖9 椒鹽噪聲情況下各清晰度評價函數(shù)的運算結(jié)果Fig.9 The results of all sharpness functions

3 結(jié) 論

一種函數(shù)是無法在所有的環(huán)境中通用的,一種函數(shù)也許在這種環(huán)境中表現(xiàn)都很好,但拿到另一種環(huán)境中也許就完全無法使用。比如我們的Laplacian函數(shù),在近乎理想的環(huán)境下,Laplacian函數(shù)無論是在無偏性、單峰性還是在靈敏度方面均表現(xiàn)出色,但到了存在高斯噪聲和椒鹽噪聲的情況下,完全不能使用。所以,針對不同的環(huán)境選擇不同的清晰度評價函數(shù)是十分重要的。

本文研究了16種清晰度評價函數(shù)在近乎理想的情況、存在高斯噪聲的情況、存在椒鹽噪聲的情況這三種情況下各種性能的表現(xiàn),為以后更好地使用這些函數(shù)提供參考。

在近乎理想的情況下,可以選擇Laplacian函數(shù)作為清晰度評價函數(shù);而在高斯噪聲存在的情況下,則應(yīng)該選擇Brenner函數(shù)、Tenengrad函數(shù)、基于LOG邊緣檢測算子的函數(shù)或者中值濾波-離散余弦函數(shù);在椒鹽噪聲存在的情況下,改進的Brenner函數(shù)、絕對方差函數(shù)、Roberts函數(shù)、梯度向量模方函數(shù)、相鄰灰度差分算子絕對值之和以及基于LOG邊緣檢測算子的函數(shù)比較好。

圖10 椒鹽噪聲情況下部分函數(shù)的運算結(jié)果Fig.10 The results of part of sharpness functions

[1] 任四剛,李見為,謝利利.基于灰度差分法的自動調(diào)焦技術(shù)[J].光電工程,2003,30(2):53-55.

[2] 李奇,馮華君,徐之海,等.數(shù)字圖象清晰度評價函數(shù)研究[J].光子學(xué)報,2002,31(6):736-738.

[3] 王健,陳洪斌,周國忠,等.改進的Brenner圖像清晰度評價算法[J].光子學(xué)報,2012,41(7):855-858.

[4] 陳國金,朱妙芬,張克松.圖像調(diào)焦過程的清晰度評價函數(shù)研究[J].數(shù)據(jù)采集與處理,2009,24(2):165-169.

[5] 高贊,姜威,朱孔鳳,等.基于Roberts梯度的自動聚焦算法[J].紅外與激光工程,2006,35(1):117-121.

[6] YAO Y,ABIDI B,DOGGAZ N,et al.Evaluation of sharpness measures and search algorithms for the auto focusing of high- magnification images[C]∥Proceedings of the SPIE volume 6246 visual information processing XV.Orlando:SPIE,2006,6246:62460G.

[7] REDONDO R,BUENO G,VALDIVIEZO J C,et al.Autofocus evaluation for brightfield microscopy pathology[J].Journal of Biomedical Optics,2012,17(3):036008.

[8] 孫文.調(diào)制傳遞函數(shù)測試儀的自動調(diào)焦技術(shù)研究[D].南京:南京理工大學(xué),2009.

[9] SANTOS A,DE SOLRZANO C O,VAQUERO JJ,et al.Evaluation of autofocus functions in molecular cytogenetic analysis[J].Journal of Microscopy,1997,188(3):264-272.

[10] JARVIS R A.Focus optimization criteria for computer image processing[J].Microscope,1976,24(2):163-180.

[11] 鮑歌堂,趙輝,陶衛(wèi).圖像測量技術(shù)中幾種自動調(diào)焦算法的對比分析[J].上海交通大學(xué)學(xué)報,2005,39(1):121-124.

[12] 吳振鋒,左洪福,邱根良.光學(xué)顯微鏡自動聚焦的技術(shù)研究[J].光學(xué)儀器,2000,22(4):9-12.

[13] ZHANG X,JIA C,XIE K.Evaluation of autofocus algorithms for automatic detection of Caenorhabditis elegans lipid droplets[J].Progress in Biochemistry and Biophysics,2016,43(2):167-175.

[14] MATEOS- PéREZ J M,REDONDO R,NAVA R,et al.Comparative evaluation of autofocus algorithms for a real- time system for automatic detection of mycobacterium tuberculosis[J].Cytometry Part A,2012,81(3):213-221.

[15] 鄭玉珍,吳勇,倪旭翔.實時自動對焦的研究[J].光電工程,2004,31(4):64-66.

[16] 吳曦.基于MATLAB的圖像邊緣檢測算法的研究和實現(xiàn)[D].長春:吉林大學(xué),2014.

[17] 劉興寶.基于數(shù)字圖像處理的自動對焦技術(shù)研究[D].綿陽:中國工程物理研究院,2007.