語(yǔ)義驅(qū)動(dòng)的顏色恒常決策算法

劉 凱,孫 鵬,童世博,解夢(mèng)達(dá)

(1.中國(guó)刑事警察學(xué)院 公安信息技術(shù)與情報(bào)學(xué)院,沈陽(yáng) 110854;2.廣州大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院,廣州 511442)

0 引 言

相機(jī)記錄的物體在不同光源顏色下色彩表現(xiàn)不同,當(dāng)圖像中物體呈現(xiàn)出的色彩表現(xiàn)與物體本身顏色偏離一定程度后,僅憑人眼往往不能輕易分辨,需要借助顏色恒常性算法對(duì)這些偏色的目標(biāo)圖像進(jìn)行校正。顏色恒常性是指人的視覺(jué)系統(tǒng)無(wú)論所處環(huán)境光源顏色如何,都能識(shí)別出物體表面真實(shí)顏色的能力[1]。顏色恒常性算法的目的是通過(guò)估計(jì)目標(biāo)圖像所處場(chǎng)景的光源顏色,并根據(jù)光源顏色將其校正至標(biāo)準(zhǔn)白光下,從而解決由光源顏色引起的圖像偏色問(wèn)題[2]。

顏色恒常性算法分為單光源估計(jì)和多光源估計(jì),其中大多數(shù)(包括本文)為方便計(jì)算,默認(rèn)以單光源的假設(shè)為前提進(jìn)行研究?，F(xiàn)有的顏色恒常性算法主要分為基于圖像底層特征驅(qū)動(dòng)的顏色恒常性算法和基于高級(jí)語(yǔ)義指導(dǎo)的顏色恒常性算法兩大類?；趫D像底層特征驅(qū)動(dòng)的顏色恒常性算法可以分為兩大類：基于統(tǒng)計(jì)的方法和基于學(xué)習(xí)的方法。常見(jiàn)的基于統(tǒng)計(jì)的方法有灰度世界算法(Gray World,GW)[3]、完美反射算法(White Patch,WP)[4]、灰度陰影算法(Shades of Gray,SoG)[5]、灰度邊緣算法(Gray Edge,GE)[6]等,基于學(xué)習(xí)的算法主要包括色域映射算法(Gamut-mapping,GM)[7]、基于貝葉斯推理的顏色恒常性計(jì)算(Bayesian Color Constancy,BCC)[8]、基于支持向量回歸的顏色恒常性計(jì)算(Support Vector Regression,SVR)[9]等?；趯W(xué)習(xí)的方法光源估計(jì)效果總體優(yōu)于基于統(tǒng)計(jì)的方法,但這歸結(jié)于前期大量測(cè)試數(shù)據(jù)的訓(xùn)練學(xué)習(xí);基于統(tǒng)計(jì)的方法雖性能稍弱,但在實(shí)際應(yīng)用中計(jì)算效率遠(yuǎn)遠(yuǎn)高于基于學(xué)習(xí)的方法。

盡管基于圖像底層特征驅(qū)動(dòng)的顏色恒常性算法體系已基本完善,各種假設(shè)及基于各種假設(shè)所提出的算法層出不窮,但在借助一些顏色恒常性算法對(duì)目標(biāo)圖像進(jìn)行光源估計(jì)時(shí),會(huì)遇到算法失效的問(wèn)題。因此,解決單一顏色恒常性算法的局限性,為目標(biāo)圖像選擇最合適的顏色恒常性算法或者算法組合有著重要的實(shí)際意義[10]?；诟呒?jí)語(yǔ)義指導(dǎo)的顏色恒常性算法是顏色恒常領(lǐng)域內(nèi)一個(gè)重要的研究方向,研究人員嘗試從圖像內(nèi)容相關(guān)的高級(jí)視覺(jué)信息中獲取光源估計(jì)線索[11]。例如,Cardei等[12]提出基于委員會(huì)的顏色恒常性計(jì)算(Committee-based Color Constancy),對(duì)灰度世界算法、完美反射算法、基于BP神經(jīng)網(wǎng)絡(luò)的算法的光源估計(jì)結(jié)果進(jìn)行了加權(quán)融合,以達(dá)到提高光源估計(jì)準(zhǔn)確度的目的;Van de Weijer等[13]在所提出的Top-Down算法中,將圖像視為多語(yǔ)義類集合體,并利用不同語(yǔ)義信息作為先驗(yàn)知識(shí)估計(jì)光源;Gijsenij等[14]提出了基于自然圖像統(tǒng)計(jì)的顏色恒常性算法融合方案(Color Constancy using Natural Image Statistics,NIS),使用威布爾參數(shù)描述圖像的紋理分布特征,進(jìn)而根據(jù)紋理分布特征選擇最優(yōu)的顏色恒常性算法。

上述融合性算法的研究表明,所處理目標(biāo)圖像對(duì)應(yīng)的最優(yōu)算法與該圖像的語(yǔ)義信息存在著明顯的相關(guān)性,但上述融合性算法存在一些不足,如NIS算法以圖像全局紋理特征作為選擇算法的依據(jù),事實(shí)上,不同語(yǔ)義類別的紋理特征會(huì)有很大差異,因此使用全局紋理特征不能精確地描述圖像。為更好地利用圖像語(yǔ)義信息,本文從語(yǔ)義分割的角度,以GE算法框架為基礎(chǔ),提出一種語(yǔ)義驅(qū)動(dòng)的顏色恒常決策算法,通過(guò)計(jì)算目標(biāo)圖像和已訓(xùn)練圖像的場(chǎng)景語(yǔ)義相似度來(lái)為目標(biāo)圖像選擇最合適的算法。具體來(lái)說(shuō),首先,使用由Cityscapes[15]數(shù)據(jù)集輸入訓(xùn)練的PSPNet(Pyramid Scene Parsing Network)語(yǔ)義分割模型對(duì)經(jīng)過(guò)一階灰度邊緣算法(1st Gray Edge,1stGE)偏色預(yù)處理后的目標(biāo)圖像進(jìn)行場(chǎng)景語(yǔ)義分割,并計(jì)算該圖像場(chǎng)景中每種語(yǔ)義信息的占比;其次,根據(jù)目標(biāo)圖像語(yǔ)義信息類別在已訓(xùn)練好的決策集合中尋找相似的參考圖像;然后,根據(jù)目標(biāo)圖像與參考圖像相同語(yǔ)義信息的占比計(jì)算相同語(yǔ)義間的歐氏距離,以歐氏距離表示為目標(biāo)圖像與參考圖像間的語(yǔ)義相似度;最后,選擇相似度最高的參考圖像,使用該相似度與基于多維歐氏空間所確定的閾值進(jìn)行比較,若大于閾值,則使用該參考圖像對(duì)應(yīng)的最優(yōu)算法,為目標(biāo)圖像實(shí)行偏色校正;若小于閾值,則默認(rèn)使用光源估計(jì)性能較好的灰度陰影算法對(duì)目標(biāo)圖像實(shí)行偏色校正。在Color Checker[8]和NUS 8-camera[16]數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明,本文所提算法性能明顯優(yōu)于Gray Edge框架下單一算法及同類型融合性算法,能夠有效提升光源估計(jì)的魯棒性和準(zhǔn)確度。

1 理論基礎(chǔ)

1.1 光照反射模型

根據(jù)朗伯特反射模型(Lambertian Model),彩色圖像成像取決于場(chǎng)景光源顏色e(λ)、相機(jī)相應(yīng)函數(shù)ρ(λ)以及物體的表面反射率R(x,λ)[17],可表示為

(1)

式中：λ表示波長(zhǎng);x表示圖像像素的空間三維坐標(biāo);c={R,G,B};ω表示可見(jiàn)光譜。實(shí)踐中,為方便計(jì)算,往往不考慮相機(jī)感應(yīng)函數(shù)ρ(λ)的影響,即光源顏色e只與場(chǎng)景光源顏色e(λ)以及物體的表面反射率R(x,λ)有關(guān)：

(2)

1.2 Gray Edge框架

GE框架是Weijer等[6]在提出GE假設(shè)的基礎(chǔ)上,通過(guò)引入閔可夫斯基(Minkowski)范式和高斯平滑預(yù)處理得到的,公式為

(3)

表1 Gray Edge框架下的顏色恒常性計(jì)算方法Tab.1 Color constancy algorithms under Gray Edge framework

1.3 語(yǔ)義分割模型：PSPNet

圖像語(yǔ)義分割方法可分為基于FCN的方法,如DeepLab系列[18]通過(guò)帶孔卷積等技術(shù)對(duì)FCN進(jìn)行優(yōu)化改進(jìn),增大感受野;基于編碼解碼的方法,如DeconvNet[19]通過(guò)反卷積等操作構(gòu)成的解碼器對(duì)低分辨率圖像進(jìn)行上采樣處理;基于特征融合的方法,如PSPNet[20]使用空間金字塔池化模塊捕獲圖像不同位置信息等?？紤]到PSPNet模型能夠融合不同尺度下的特征,從而達(dá)到聚合全局信息的目的,更適用于語(yǔ)義信息較豐富的場(chǎng)景,本文使用PSPNet模型對(duì)目標(biāo)圖像進(jìn)行語(yǔ)義分割。

對(duì)于主干特征提取網(wǎng)絡(luò)的選取,本文嘗試使用AlexNet[21]、Vgg16[22]、ResNet50[23]3種網(wǎng)絡(luò),分別作為PSPNet模型的特征提取網(wǎng)絡(luò)進(jìn)行語(yǔ)義分割訓(xùn)練。

2 本文算法

本文算法分為訓(xùn)練階段和測(cè)試階段,算法整體流程包括3個(gè)步驟,分別為構(gòu)建決策集合、圖像預(yù)處理、算法決策,如圖1所示。

圖1 算法流程Fig.1 Flow of the proposed algorithm

2.1 構(gòu)建決策集合

訓(xùn)練階段構(gòu)建的決策集合中應(yīng)包含了參考圖像的語(yǔ)義分割結(jié)果,以及對(duì)應(yīng)的最優(yōu)顏色恒常性計(jì)算方法,以便為測(cè)試階段的目標(biāo)圖像提供算法決策方案。

為構(gòu)建決策集合M,首先對(duì)輸入的訓(xùn)練圖像a使用GE框架下的各種無(wú)監(jiān)督算法(如GW、WP等)分別進(jìn)行處理,得到5幅結(jié)果圖,按照公式(4)使用角度誤差對(duì)結(jié)果圖進(jìn)行誤差度量：

(4)

2.2 圖像預(yù)處理

考慮到一些偏色嚴(yán)重的圖像會(huì)影響到場(chǎng)景語(yǔ)義分割的精確性,所以對(duì)輸入網(wǎng)絡(luò)的目標(biāo)圖像b使用1stGE算法進(jìn)行偏色的預(yù)處理;同時(shí)為了減少偏色預(yù)處理對(duì)結(jié)果帶來(lái)的影響,將原圖像與1stGE算法處理的結(jié)果按照公式(5)進(jìn)行圖像的線性混合得到偏色預(yù)處理后的結(jié)果如下：

H(x)=(1-α)f0(x)+αf1(x)

(5)

式中：H(x)為混合圖像,即1stGE算法預(yù)處理后的結(jié)果;圖像線性混合權(quán)重α=0.5。再對(duì)預(yù)處理后的圖像H(x)進(jìn)行場(chǎng)景語(yǔ)義分割,得到包含n種語(yǔ)義信息wi(按占比降次排序)以及所對(duì)應(yīng)的占比pi的語(yǔ)義集合體。占比pi可表示為

(6)

式中：wi(x,y)表示語(yǔ)義信息wi的像素?cái)?shù)目;f(x,y)m×n表示圖像總的像素?cái)?shù)目?？紤]到有些目標(biāo)圖像語(yǔ)義信息貧乏而有些圖像語(yǔ)義信息豐富,為方便計(jì)算,取語(yǔ)義信息wi類別數(shù)目n≤4。

2.3 算法決策

2.3.1 場(chǎng)景語(yǔ)義相似度計(jì)算

常用度量圖像語(yǔ)義相似度的距離公式有歐氏距離(Euclidean Distance)、余弦距離(Cosine Distance)、巴氏距離(Bhattacharyya Distance)等,為更好地計(jì)算圖像語(yǔ)義相似度,識(shí)別圖像語(yǔ)義間的視覺(jué)、空間差異,本文參照文獻(xiàn)[24-26]使用歐氏距離表示語(yǔ)義集合體m,m′(即目標(biāo)圖像b和參考圖像b′)的語(yǔ)義相似度。相似度計(jì)算公式如下：

(7)

式中：S表示相似度;p表示測(cè)試圖像中語(yǔ)義信息占比;p′表示訓(xùn)練集中對(duì)應(yīng)圖像語(yǔ)義信息占比,由于訓(xùn)練集中具有相同語(yǔ)義信息的語(yǔ)義集合體(圖像)不止一個(gè),所以會(huì)產(chǎn)生S1,S2,S3等不同相似度,取最高相似度,記為所需語(yǔ)義相似度S。

同時(shí),為驗(yàn)證所使用歐氏距離對(duì)語(yǔ)義相似度度量的有效性與魯棒性,本文根據(jù)5種距離公式分別構(gòu)建所對(duì)應(yīng)的語(yǔ)義相似度距離公式,包括歐氏距離、曼哈頓距離[27](Manhattan Distance)、海林格距離(Hellinger Distance)、巴氏距離、余弦距離,對(duì)應(yīng)語(yǔ)義相似度計(jì)算公式見(jiàn)表2。

表2 由5種距離公式構(gòu)建的語(yǔ)義相似度計(jì)算公式Tab.2 Semantic similarity calculation formulas constructed by 5 distance formulas

表2中,c1,c2,c3,c4均為常數(shù),為方便計(jì)算,取c1=c2=c3=1,c4=0,并從決策集合中選取21幅對(duì)應(yīng)最優(yōu)算法為GW的圖像,其中1幅作為參考圖像,分別使用構(gòu)建的5種距離公式計(jì)算該參考圖像與另20幅圖像的語(yǔ)義相似度,觀察各計(jì)算公式所得結(jié)果的誤差值,如圖2所示。

圖2 5種公式下語(yǔ)義相似度計(jì)算結(jié)果Fig.2 Results of semantic similarity calculation under 5 formulas

圖2中誤差棒表示上四分位值,柱形圖高度表示計(jì)算結(jié)果均值。由于常數(shù)c1,c2,c3,c4取值和相似度結(jié)果有著直接關(guān)系,故本次實(shí)驗(yàn)所得結(jié)果大小并不能衡量實(shí)際相圖像語(yǔ)義似度。僅從5種語(yǔ)義相似度計(jì)算公式的魯棒性角度出發(fā),觀察圖2中5種語(yǔ)義相似度計(jì)算公式下計(jì)算結(jié)果的誤差值,可知?dú)W氏距離對(duì)應(yīng)的計(jì)算結(jié)果誤差值最小,證明了本文選用歐氏距離作為圖像語(yǔ)義相似度計(jì)算公式的有效性和魯棒性。

2.3.2 閾值選取

閾值大小的選取直接影響著算法的效果,而閾值的選取與決策集合中用于訓(xùn)練參考圖像的數(shù)目高度相關(guān),閾值越高,對(duì)參考圖像數(shù)目要求越多。本文閾值大小的選取是由決策集合中每幅參考圖像通過(guò)計(jì)算獲取的,與每幅參考圖像直接相關(guān),可解釋性較強(qiáng)。本文算法閾值的確定,通過(guò)以下步驟實(shí)現(xiàn)：

步驟1 根據(jù)訓(xùn)練集中的圖像,選擇采取相同算法fk(如GW算法)的決策集合Mk中一幅參考圖像N0與其余N幅參考圖像進(jìn)行語(yǔ)義相似度計(jì)算。在公式(7)的基礎(chǔ)上引入向量特征表示,如公式(8)：

(8)

(9)

步驟3 得到5種算法(GW,WP,SoG,1stGE,2ndGE)決策集合Mk的平均相似度εk,結(jié)果如圖3所示,其中誤差棒表示95%的置信區(qū)間。

圖3 95%置信區(qū)間下參考圖像的平均相似度Fig 3.Average similarity of reference images under 95% confidence interval

(10)

式中：|Xk|表示決策集合Mk中的樣本數(shù)。

根據(jù)訓(xùn)練階段使用的677張參考圖像的計(jì)算結(jié)果,本文設(shè)定測(cè)試階段語(yǔ)義相似度閾值τ=0.706。

2.3.3 算法選擇

經(jīng)過(guò)對(duì)語(yǔ)義集合體m進(jìn)行場(chǎng)景語(yǔ)義相似度計(jì)算后,得到最高相似度S及該相似度對(duì)應(yīng)的語(yǔ)義集合體m′和處理算法f′：

(11)

最后通過(guò)判斷S與設(shè)定閾值τ的大小,為目標(biāo)圖像b選擇合適算法f：若相似度S大于閾值τ,則對(duì)輸入圖像b適用語(yǔ)義集合體m′的顏色恒常性計(jì)算方法f′處理;若相似度S小于閾值τ,則對(duì)圖像整體采用SoG算法進(jìn)行處理,最終得到偏色校正圖像c。

2.4 相關(guān)參數(shù)設(shè)置

2.4.1 算法參數(shù)選擇

根據(jù)表1中參數(shù)取值與公式,SoG、1stGE、2ndGE 3種算法通過(guò)調(diào)節(jié)不同的ρ值(1<ρ<∞)與高斯濾波器參數(shù)σ可得到不同的算法效果,本文通過(guò)使用網(wǎng)格化參數(shù)尋優(yōu)的方法,設(shè)定SoG算法中ρ=7,1stGE、2ndGE算法參數(shù)取值分別為e1,1,6和e2,1,5,如表3所示。

表3 算法參數(shù)設(shè)置Tab.3 Algorithm parameter settings

2.4.2 PSPNet語(yǔ)義分割模型參數(shù)選擇

本文使用PSPNet模型對(duì)圖像進(jìn)行語(yǔ)義分割,主干特征提取網(wǎng)絡(luò)分別使用了ALexNet、Vgg16和ResNet50,訓(xùn)練圖像為Cityscapes數(shù)據(jù)集中5 000幅精細(xì)標(biāo)注的圖像。設(shè)置訓(xùn)練語(yǔ)義分割信息類別共10類(包含背景)。設(shè)置總的epoch=100(凍結(jié)階段epoch=60,解凍階段epoch=40),模型凍結(jié)訓(xùn)練階段batchsize=8,解凍訓(xùn)練階段batchsize=6。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

3.1.1 語(yǔ)義分割模型訓(xùn)練：Cityscapes數(shù)據(jù)集

Cityscapes數(shù)據(jù)集[15],即城市景觀數(shù)據(jù)集,包含了50個(gè)不同歐洲城市的街道場(chǎng)景圖像,其中包括5 000幅精細(xì)標(biāo)注的圖像和20 000幅粗糙標(biāo)注的圖像,語(yǔ)義信息包含34個(gè)類別,但常用的是19個(gè)類別。本文將數(shù)據(jù)集中5 000幅精細(xì)標(biāo)注的圖像用于訓(xùn)練和評(píng)估PSPNet語(yǔ)義分割模型,訓(xùn)練類別包括人、汽車、道路、天空、建筑等10類。

3.1.2 算法訓(xùn)練階段：Cube+數(shù)據(jù)集

Cube+[28]數(shù)據(jù)集是對(duì)Cube數(shù)據(jù)集的擴(kuò)展,包含了克羅地亞、斯洛文尼亞和奧地利等城市在不同季節(jié)記錄1 707幅圖像。本文選取Cube+數(shù)據(jù)集共677幅語(yǔ)義信息豐富的室外圖像用于構(gòu)建決策集合。

3.1.3 算法測(cè)試階段：Color Checker數(shù)據(jù)集、NUS 8-camera數(shù)據(jù)集

Color Checker數(shù)據(jù)集包括568幅線性RGB圖像,真實(shí)光照是通過(guò)圖像中放置的色彩測(cè)試標(biāo)板(Color Checker)獲得。NUS 8-camera數(shù)據(jù)集是由8部不同型號(hào)相機(jī)在相同場(chǎng)景下拍攝的1 736幅圖像。

3.2 評(píng)估指標(biāo)

3.2.1 語(yǔ)義分割模型性能評(píng)估指標(biāo)：均交并比

均交并比(Mean Intersection over Union,MIoU)是語(yǔ)義分割領(lǐng)域中最為廣泛使用的評(píng)估指標(biāo),通過(guò)計(jì)算場(chǎng)景中所有語(yǔ)義類別的交集和并集之比的平均值來(lái)度量語(yǔ)義分割模型的性能,計(jì)算公式如下：

(12)

式中：n表示語(yǔ)義信息類別的數(shù)量;i表示真實(shí)值;j表示語(yǔ)義分割的預(yù)測(cè)值;pij表示將i預(yù)測(cè)為j。

PSPNet模型使用3種主干特征提取網(wǎng)絡(luò)訓(xùn)練所得模型MIoU如圖4所示。從圖4可以看出,3種主干特征提取網(wǎng)絡(luò)在訓(xùn)練結(jié)果上相差無(wú)幾,但考慮到網(wǎng)絡(luò)的計(jì)算效率,由于ResNet50使用了殘差網(wǎng)絡(luò)結(jié)構(gòu),網(wǎng)絡(luò)的計(jì)算能力和準(zhǔn)確率相較于ALexNet和Vgg16要高,故本文算法使用ResNet50作為PSPNet模型的主干特征提取網(wǎng)絡(luò)對(duì)目標(biāo)圖像進(jìn)行語(yǔ)義分割。

圖4 PSPNet模型MIoU曲線Fig.4 MIoU curve of PSPNet model

3.2.2 光源估計(jì)性能評(píng)估指標(biāo)：角度誤差

本文通過(guò)使用角度誤差(Angular error)估計(jì)真實(shí)光照和估計(jì)光照的距離以評(píng)估各種顏色恒常性計(jì)算方法的性能,如公式(4)。在此基礎(chǔ)上,為綜合評(píng)估顏色恒常性計(jì)算方法的性能,本文使用光源估計(jì)圖像角度誤差的均值、中值、三均值與最大誤差等指標(biāo)作為評(píng)估依據(jù)。

3.3 算法性能評(píng)估

本文使用Color Checker、NUS 8-camera數(shù)據(jù)集評(píng)估各算法光源估計(jì)性能。對(duì)比算法選用了單一算法和融合算法兩種類型：?jiǎn)我凰惴ò℅E框架內(nèi)5種算法(GW、WP、SoG、1stGE、2ndGE)和兩種GM算法(GM-pixel和GM-edge);融合性算法包括Top-Down和NIS算法。參數(shù)設(shè)置方面除了本文設(shè)定的GE框架內(nèi)的算法外,其余算法皆采用默認(rèn)值。各算法在Color Checker和NUS 8-camera數(shù)據(jù)集中光源估計(jì)性能如表4所示。

表4 各算法光源估計(jì)性能Tab.4 Illuminant estimation performance of each algorithm

由表4觀察到,本文所提算法在Color Checker數(shù)據(jù)集中與實(shí)驗(yàn)結(jié)果中性能最優(yōu)的單一顏色恒常性算法(SoG算法)相比,均值、中值、三均值角度誤差分別下降14.03%,14.22%,15.86%,與性能最優(yōu)的融合性顏色恒常性算法(NIS算法)相比,均值、中值、三均值角度誤差分別下降11.59%,14.62%,15.86%;在NUS 8-camera數(shù)據(jù)集中與實(shí)驗(yàn)結(jié)果中性能最優(yōu)的單一顏色恒常性算法(1stGE算法)相比,均值、中值、三均值角度誤差分別下降8.24%,6.76%,4.38%,與性能最優(yōu)的融合性顏色恒常性算法(NIS算法)相比,均值、中值、三均值角度誤差分別下降6.44%,10.88%,7.19%。此外,本文算法相對(duì)于所基于的GW、WP、SoG、1stGE、2ndGE算法,光源估計(jì)性能大幅提升,證明了本文所提出算法決策模型的有效性。且在兩種數(shù)據(jù)集中,本文算法最大角度誤差較各種算法均有大幅度下降,這表明本文算法能夠彌補(bǔ)單一顏色恒常性算法的局限性,有效為目標(biāo)圖像選擇合適的顏色恒常性算法,提高了在不同場(chǎng)景下光源估計(jì)的魯棒性,進(jìn)一步增強(qiáng)了光源估計(jì)的準(zhǔn)確度。

3.4 實(shí)驗(yàn)結(jié)果分析

根據(jù)表4中各種算法的實(shí)驗(yàn)結(jié)果表明,本文算法在兩種數(shù)據(jù)集中均取得較好的性能表現(xiàn),分析原因有以下幾點(diǎn)：首先,本文算法使用了PSPNet語(yǔ)義分割模型充分利用圖像全局信息,并使用精細(xì)標(biāo)注的Cityscapes數(shù)據(jù)集圖像輔以學(xué)習(xí),從而更為精細(xì)、全面地構(gòu)建語(yǔ)義集合體;其次,本文算法在計(jì)算目標(biāo)圖像與已訓(xùn)練決策集合中參考圖像的語(yǔ)義相似度過(guò)程中,選擇與多幅參考圖像計(jì)算相同語(yǔ)義信息占比的歐氏距離,以確定最終相似度最高的參考圖像;最后,在確定相似度閾值時(shí),根據(jù)參考圖像對(duì)應(yīng)最優(yōu)算法的種類及數(shù)目計(jì)算,閾值的確定和訓(xùn)練使用的參考圖像高度關(guān)聯(lián),選取規(guī)則更具有說(shuō)服力。

實(shí)驗(yàn)過(guò)程中,在處理具有大面積單一語(yǔ)義或是語(yǔ)義類別沒(méi)有經(jīng)過(guò)訓(xùn)練的目標(biāo)圖像時(shí),如圖5中右側(cè)兩幅目標(biāo)圖像,由于場(chǎng)景相似度過(guò)低,本文算法默認(rèn)使用SoG算法對(duì)這類目標(biāo)圖像進(jìn)行處理,也會(huì)出現(xiàn)光源估計(jì)精度低等問(wèn)題。因此,場(chǎng)景語(yǔ)義類別的擴(kuò)充訓(xùn)練應(yīng)作為后續(xù)的一個(gè)研究方向。

圖5 部分圖像光源估計(jì)示例Fig.5 Example of illuminant estimation for some images

4 結(jié) 論

針對(duì)單一顏色恒常性算法的局限性及融合性算法在算法選擇依據(jù)上的不足,本文基于GE框架提出了一種語(yǔ)義驅(qū)動(dòng)的顏色恒常決策算法,通過(guò)計(jì)算已訓(xùn)練參考圖像與待校正目標(biāo)圖像場(chǎng)景語(yǔ)義相似度,從而為目標(biāo)圖像選擇最合適算法,達(dá)到彌補(bǔ)單一算法局限性、提高顏色恒常性算法準(zhǔn)確度的目的。在Color Checker和NUS 8-camera數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果表明,本文算法的光源估計(jì)性能優(yōu)于GE框架下的單一算法且較同類型融合性算法角度誤差分別下降14.02%和8.17%,提高了顏色恒常性算法對(duì)偏色圖像進(jìn)行光源估計(jì)時(shí)的魯棒性和準(zhǔn)確度。