孫 鵬 于 彤 馮鵬定 蔣莊浩 魏丹妮 單大國(guó)

（1 中國(guó)刑事警察學(xué)院聲像資料檢驗(yàn)技術(shù)系 遼寧 沈陽(yáng) 110035;2 現(xiàn)場(chǎng)物證溯源技術(shù)國(guó)家工程實(shí)驗(yàn)室 北京 100038；3 江西省經(jīng)濟(jì)犯罪偵查與防控技術(shù)協(xié)同創(chuàng)新中心 江西 南昌 330103；4 沈陽(yáng)市公安局于洪分局 遼寧 沈陽(yáng) 110141）

1 引言

隨著新媒體技術(shù)的不斷發(fā)展，視頻已成為最重要的信息傳播載體。在目前的公安工作中，視頻偵查主要是對(duì)視頻中的犯罪嫌疑人及嫌疑車輛識(shí)別、追蹤。對(duì)視頻中目標(biāo)識(shí)別、追蹤時(shí)，目標(biāo)的姿態(tài)、形狀等特征，隨其運(yùn)動(dòng)會(huì)發(fā)生較大變化，不利于跟蹤識(shí)別。而視頻中的色彩特征穩(wěn)定，辨識(shí)度高，在視頻分辨率變化時(shí)表現(xiàn)出較強(qiáng)的魯棒性，可以作為視頻偵查工作所依賴的主要參考特征[1]。

視頻中物體的色彩信息常因光源特性的差異及光學(xué)傳感器的不同而產(chǎn)生較大的改變。不同于成像設(shè)備，人眼具有“色彩恒常”的能力，即能在一定程度上消除光照條件等因素對(duì)物體色彩的影響，正確感知到物體固有的顏色。E.Land等人模擬人眼的這種功能，提出了一系列色彩恒常性算法[2]，用以解決光學(xué)系統(tǒng)中物體色彩隨光照變化而發(fā)生偏移的問(wèn)題，使成像設(shè)備“具備”人眼的色彩恒常能力，真實(shí)再現(xiàn)物體本身的顏色。在公安工作中，跨攝像頭追蹤同一犯罪嫌疑目標(biāo)也時(shí)常會(huì)遇到視頻色彩偏離的問(wèn)題，不利于準(zhǔn)確迅速的定位犯罪嫌疑目標(biāo)。因此，將色彩恒常算法應(yīng)用于監(jiān)控視頻預(yù)處理可以進(jìn)一步提高犯罪嫌疑目標(biāo)識(shí)別、追蹤的準(zhǔn)確率?，F(xiàn)今存在的色彩恒常性算法可分為兩類，第一類為使用低級(jí)圖像特征的算法，可直接用于圖像色彩校正，E.Land提出的Retinex理論[3]是很多此類算法的理論基礎(chǔ)。第二類算法是學(xué)習(xí)型算法，即在特定數(shù)據(jù)庫(kù)中通過(guò)學(xué)習(xí)來(lái)獲取可能的光源及色彩反射分布等圖像信息，用以估計(jì)光源，比較典型的算法有：色域映射方法[4]、應(yīng)用概率統(tǒng)計(jì)知識(shí)的色彩恒常性方法[5]等。

不同于圖像，視頻具有連續(xù)性的特點(diǎn)，所以必須充分考慮相鄰幀間的相關(guān)性，并選擇快速有效的色彩恒常性方法來(lái)保證系統(tǒng)功能的實(shí)時(shí)性[6]。因此，本文在隨機(jī)選取視頻關(guān)鍵幀[7]作為參考幀的基礎(chǔ)上，使用了時(shí)間效率最高的循環(huán)迭代Retinex算法對(duì)視頻中犯罪嫌疑目標(biāo)進(jìn)行色彩校正。實(shí)驗(yàn)結(jié)果表明，本文方法可以較好的克服視頻中犯罪嫌疑目標(biāo)的色彩偏離問(wèn)題，進(jìn)一步提高視頻偵查工作的效率。

2 Retinex算法

眾所周知，視頻由多幀圖像構(gòu)成。所以，對(duì)偏色視頻的處理可以簡(jiǎn)化為對(duì)偏色視頻幀的處理。由于監(jiān)控系統(tǒng)常常處在光源非均勻分布的環(huán)境，而Retinex算法是處理由點(diǎn)光源照射或光源非均勻分布場(chǎng)景的一種極佳算法，遂選取該算法用于視頻的預(yù)處理環(huán)節(jié)。

Retinex理論的核心是將視頻的每一幀都看做是入射光分量和反射光分量的乘積，即

其中s（x，y）=log（S（x，y）），r（x，y）=log（R（x，y）），l（x，y）=log（L(x，y））。現(xiàn)實(shí)中直接獲得反射分量是很困難的，所以計(jì)算時(shí)一般先通過(guò)原視頻幀估計(jì)入射光分量，然后通過(guò)公式（2）計(jì)算反射光分量。Retinex算法的流程圖如下：

圖1 Retinex算法流程圖

3 隨機(jī)參考幀的McCann算法

3.1 參考幀的選取方法

參考幀的選取對(duì)于Retinex算法非常重要。研究中常使用視頻的第一幀作為參考幀，在簡(jiǎn)單光照條件下，或基于光照條件不變的假設(shè)時(shí)，這種參考幀選擇方法能夠?yàn)槠曨l的校正效果提供參考依據(jù)。然而，在實(shí)際的公安工作中，光照條件的變化十分頻繁與復(fù)雜，這種簡(jiǎn)單的參考幀選取辦法容易受到光照條件等因素的影響而導(dǎo)致算法效果的誤判。為了更好的將算法應(yīng)用于公安實(shí)戰(zhàn)，本文參考幀從光照條件較好情況下包含追蹤目標(biāo)的視頻幀中選擇。

（1）選取關(guān)鍵幀。算法的目的是更快更準(zhǔn)確的追蹤嫌疑目標(biāo)，所以選取的關(guān)鍵幀必須完整清晰的展現(xiàn)嫌疑目標(biāo)。我們?cè)O(shè)目標(biāo)大小占畫面高度的三分之一為最佳，這樣既可以保證清晰的提取到嫌疑目標(biāo)的體貌特征，又能盡可能全面的將四周環(huán)境攝入，以防止色彩范圍太過(guò)局限。

（2）選取參考幀。在關(guān)鍵幀中選取參考幀主要考慮光照因素。對(duì)于陽(yáng)光室外場(chǎng)景來(lái)說(shuō)，8點(diǎn)鐘拍攝的視頻存在過(guò)曝光現(xiàn)象，且通過(guò)計(jì)算10點(diǎn)鐘的光源條件較其他時(shí)間段均要好，遂選取10點(diǎn)鐘拍攝視頻的第250幀為參考幀；對(duì)陰影室外和室內(nèi)場(chǎng)景，采用相同原則選參考幀，所以分別選取了陰影室外10點(diǎn)的第270幀，以及室內(nèi)12點(diǎn)所拍視頻的第200幀為其參考幀。

3.2 McCann算法

本文選取基于多重迭代策略的Retinex算法[8]，也稱為McCann算法。該算法認(rèn)為視頻幀中某點(diǎn)的像素值由一條特定的路徑環(huán)繞決定，再經(jīng)多次迭代逐漸逼近期望的理想數(shù)值，然后對(duì)螺旋路徑上各像素點(diǎn)的灰度值進(jìn)行比較，實(shí)現(xiàn)視頻幀照度分量的估計(jì)并去除。假設(shè)中心部分本身亮度較高，即最終結(jié)果為高亮度值；若中心部分亮度值低，導(dǎo)致中心值減其他點(diǎn)的結(jié)果為負(fù)值，則最后算出的結(jié)果中，中心部分的反射率估計(jì)值較小，亮度也相對(duì)較低。由以上分析可知，選取路徑上的點(diǎn)要能較好的反應(yīng)整幅圖特性，算法基本原理如公式（3）所示。

McCann算法先將經(jīng)過(guò)對(duì)數(shù)變換的原視頻幀s初始化。算法按照公式（3）進(jìn)行迭代，是轉(zhuǎn)換次數(shù)，如圖2所示，每次進(jìn)行替換的部分設(shè)為圖像長(zhǎng)和寬中較大者的二分之一。由于物體不可能反射所有的入射光線，所以必須保證亮度圖像滿足限制，也就是，所以迭代中用函數(shù)來(lái)確保視頻幀s永遠(yuǎn)小于亮度圖像

3.3 色彩校正效果評(píng)價(jià)標(biāo)準(zhǔn)

如今常用的比較算法校正效果的標(biāo)準(zhǔn)主要為主觀評(píng)價(jià)標(biāo)準(zhǔn)和客觀評(píng)價(jià)標(biāo)準(zhǔn)。主觀評(píng)價(jià)標(biāo)準(zhǔn)較為簡(jiǎn)單，即直接根據(jù)觀察者的視覺(jué)感受來(lái)評(píng)價(jià)算法校正后的圖像色彩，客觀評(píng)價(jià)標(biāo)準(zhǔn)則需要通過(guò)計(jì)算標(biāo)準(zhǔn)光源（通常是相對(duì)標(biāo)準(zhǔn)的情況下的光源）和校正后得到的光源之間的距離來(lái)評(píng)價(jià)校正效果。距離度量中常進(jìn)行rgb的歸一化運(yùn)算：

在色彩恒常研究中，常用的兩個(gè)性能指標(biāo)是歐幾里得距離和角度誤差，后者使用更為廣泛。歐幾里得距離是測(cè)量標(biāo)準(zhǔn)光源和矯正后所得到的新的光源估計(jì)值之間的距離：

圖2 McCannRetinex算法路徑選擇示意圖

4 實(shí)驗(yàn)

為了驗(yàn)證本文方法的有效性，并充分考慮日光強(qiáng)度對(duì)算法的影響，實(shí)驗(yàn)樣本分別采集自室內(nèi)、陽(yáng)光下室外及陰影處室外3類光照條件。首先對(duì)選取的視頻參考幀進(jìn)行處理，將該幀中得到的估計(jì)光源視為標(biāo)準(zhǔn)光源。設(shè)置對(duì)照實(shí)驗(yàn)：隨機(jī)抽取實(shí)驗(yàn)樣本中的300張（非參考幀）視頻幀，計(jì)算其與參考幀之間的角度誤差。然后用Retinex算法處理這300幀，計(jì)算處理后的視頻幀與參考幀之間的角度誤差。通過(guò)兩組實(shí)驗(yàn)數(shù)據(jù)的比對(duì)說(shuō)明該算法在視頻處理中的有效性[9]。圖3到圖5為主觀效果的比較，（a）～（c）分別為視頻參考幀，未進(jìn)行色彩校正的原始幀及經(jīng)Retinex算法校正后的視頻幀。本實(shí)驗(yàn)視頻均為小米6自帶攝像機(jī)固定狀態(tài)下拍攝，拍攝日期為2018年4月11日。部分實(shí)驗(yàn)樣本如圖3～5所示。

圖3 陽(yáng)光室外場(chǎng)景結(jié)果圖比較

圖4 陰影室外場(chǎng)景結(jié)果圖比較

圖5 室內(nèi)場(chǎng)景結(jié)果圖比較

從圖3～5各時(shí)間段的（a）和（b）可以看出，即便是同一攝像機(jī)拍攝的同一場(chǎng)景，不同時(shí)刻的視頻幀光照條件也是不同的，光照較暗淡的室內(nèi)場(chǎng)景的光照變化更是非常明顯。而經(jīng)過(guò)多重迭代策略的Retinex算法校正過(guò)的圖像（c）亮度明顯得到了提高，接近標(biāo)準(zhǔn)幀的光照條件，同時(shí)體貌特征等信息也更加突出?，F(xiàn)用客觀評(píng)價(jià)標(biāo)準(zhǔn)來(lái)說(shuō)明基于多重迭代策略的Retinex算法在視頻處理中的有效性。視頻幀間角度誤差的計(jì)算如公式（7）所示[10]：

表 角度誤差的比較

觀察表，整體來(lái)看，經(jīng)過(guò)基于多重迭代策略的Retinex算法校正后，室外兩類場(chǎng)景下視頻的幀間角度誤差均小于未進(jìn)行算法校正的視頻序列，而室內(nèi)環(huán)境的幀間角度誤差結(jié)果卻相反，經(jīng)算法處理后的視頻幀角度誤差甚至大于未經(jīng)處理的幀間角度誤差。按時(shí)間段來(lái)看，10點(diǎn)時(shí)刻拍攝的陽(yáng)光室外視頻幀，10點(diǎn)時(shí)刻的陰影室外視頻幀，以及10點(diǎn)、12點(diǎn)、14點(diǎn)、18點(diǎn)時(shí)刻的室內(nèi)視頻幀處理效果同樣與期望相反?？梢园l(fā)現(xiàn)，關(guān)鍵幀臨近時(shí)間點(diǎn)的視頻幀處理后誤差均大于原圖像誤差，這是由于相對(duì)參考幀，視頻幀在理論意義上不存在偏色現(xiàn)象，這種情況下對(duì)其進(jìn)行色彩恒常算法校正只會(huì)起到反效果。而室內(nèi)環(huán)境下拍攝的部分實(shí)驗(yàn)樣本，光照條件較差，無(wú)法滿足Retinex算法進(jìn)行光源估計(jì)所需的條件，所以處理效果不佳。

5 結(jié)論

在討論了經(jīng)典Retinex算法原理的基礎(chǔ)上，選取了基于多重迭代策略的Retinex算法進(jìn)行視頻幀預(yù)處理，并針對(duì)公安實(shí)際工作，對(duì)視頻參考幀進(jìn)行了定義和選擇。分別對(duì)陽(yáng)光室外、陰影室外及室內(nèi)實(shí)驗(yàn)樣本進(jìn)行處理后，在主觀和客觀方面對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了討論。結(jié)果表明，視頻光照條件較好的情況下，該算法可以去除光源變化給圖像帶來(lái)的影響，將光照條件存在變化的視頻幀校正到同一光照條件下，有效解決視頻幀間存在的色彩偏離現(xiàn)象。