史 靜, 朱 虹, 韓 勇

(西安理工大學 自動化與信息工程學院,西安 710048)

用天氣預報來獲得天氣狀態(tài)的模式已經被大家熟知并廣泛應用. 但是,對于視頻監(jiān)控領域,如果需要24小時全天候的室外監(jiān)控系統(tǒng),利用圖像畫面自動判斷天氣狀況,是一個必須面對的問題. 然而,由于監(jiān)控場景的景物豐富性,使得天氣變化在畫面上呈現(xiàn)的信息很弱,這就使得基于圖像來進行天氣狀態(tài)的估計[1-5]成為難點問題.

文獻[1]通過提取圖像中天空,陰影,反光,對比度,霧等特征,然后利用一種投票機制完成對天氣狀況的分類估計; 文獻[2]通過提取圖像的功率譜斜率特征,對比度特征,噪聲特征,飽和度特征進行訓練,實現(xiàn)對天氣狀況的分類估計. 文獻[3]利用HSI顏色直方圖等特征,識別輔助駕駛系統(tǒng)中的晴天和雨天的天氣狀態(tài). 文獻[4]利用圖像的天空,陰影,雨,雪的特征對陰晴雨雪四類天氣進行分類.

這些方法不是應用領域有所局限,就是在提取特征方面較為復雜[6,7],鑒于此本文利用詞袋模型和空間金字塔匹配對圖像的天氣狀態(tài)進行判別.

首先,采用SIFT特征[8]描述子提取特征,并且對其采用K-Means聚類構建詞袋模型的字典,再用字典對每一個圖像進行量化形成字典原子[9,10]的統(tǒng)計直方圖.然后,通過空間金子塔匹配模型[11,12]分層統(tǒng)計每一個子塊的字典原子的統(tǒng)計直方圖,最后將利用空間金字塔匹配模型生成的特征作為圖像的特征訓練和測試分類器. 其處理流程如圖1所示.

圖1 圖像分類流程圖

1 天氣狀態(tài)識別的詞包模型

用于天氣狀態(tài)分類識別的詞包模型[13]的構建,主要分為特征提取,視覺詞典的構造,圖像的詞典結構描述,空間金字塔的匹配幾個方面.

1.1 特征提取

晴天相比于陰天,在畫面上呈現(xiàn)的視覺特性是明亮、清晰. 考慮大場景的多樣性,本文采用了具有平移、旋轉、縮放、甚至仿射變換保持不變性的圖像SIFT特征. 如圖2所示,是對一幅圖像提取SIFT特征的示例. 圖(b)標出了SIFT特征的位置、方向和大小,圖中箭頭的長度表示大小,箭頭為方向,箭頭的起點為特征位置.

圖2 圖像的SIFT特征示例

1.2 視覺詞典的構造

將每一個SIFT特征描述子看做詞匯,借助KMeans聚類算法將詞義相近的詞匯進行合并. 首先,從訓練樣本中隨機選出一部分圖像,對其SIFT特征描述子進行聚類,聚類中心作為字典原子,組成視覺詞典.因為這里的聚類中心是構建詞典的字典原子,所以,聚類的類別數(shù)越多,則表明字典越豐富. 綜合考慮對場景特征的表達能力,本文設置的聚類類別數(shù)為200.

1.3 圖像的詞典結構描述

圖像的詞典結構描述就是求取圖像的每個字典原子的統(tǒng)計直方圖,一般該直方圖是詞典中的用詞頻次構成,為了更加細致地表述詞典原子的影響程度,本文提出了一種基于最小二乘的詞典原子影響程度統(tǒng)計方法,具體描述如下.

設D=[d1,d2,···,dm]是n×m的矩陣,列向量di為第i個n維的字典原子.s是一個SIFTn維的描述子,x為m的列向量,表示每一個字典原子di對該SIFT特征描述子的影響程度,則：

為了選取最合適的x讓式(1)成立,引入殘差平方和函數(shù)E：

如果矩陣DTD非奇異則x有唯一解：

對于一幅圖像的SIFT特征描述子的集合S={s1,s2,···,sk}來說經過上述運算可得到x1,x2,···,xk的一組字典表示系數(shù),則該幅圖像的量化直方圖X為：

1.4 空間金字塔匹配

為了彌補BOF模型中圖像空間信息的不足的缺點而引入金字塔匹配,金字塔匹配是為了獲得多尺度的圖像詞典結構特征.

首先,對圖像求取SIFT特征,然后對SIFT特征圖像進行尺度劃分,將圖像劃分為0,…,L個尺度,如圖3所示,將圖像分為3個尺度level 0,level 1,level 2. 這里我們將圖像的尺度l下的圖像劃分稱為劃分為2l-1×2l-1的子圖像塊. 那么對于圖3我們將會將將圖像依次分為1,4,16個圖像子塊,再對每一個圖像塊我們將會依據上述利用圖像的詞典結構描述得到圖像塊的量化直方圖,那么我們將會得到 2l-1×2l-1個直方圖.然后將每一個尺度下的所有直方圖拼接成一個直方圖,由于不同尺度對于圖像描述的貢獻不同,不同尺度下我們將賦予不同的權值,顯然大尺度的權重小,而小尺度的權重大,因此定義權重為這樣我們在進行圖像各個尺度下的直方圖拼接是對于不同的尺度圖像塊乘以相應的權重. 最后將得到的這個拼接的直方圖就稱為金字塔特征.

圖3 空間金字塔特征

2 天氣狀態(tài)識別分類器的設計

鑒于支持向量機(SVM)[14]在解決小樣本非線性及高維模式識別問題中所表現(xiàn)出的特有優(yōu)勢,本文采用了SVM分類器和隨機森林分類進行分類融合[15],完成對天氣狀況的分類識別.

對文獻[1]中數(shù)據庫的2000個測試樣本,有978個落在支持向量之間,而其中有304個是錯分類的樣本.為此,對小置信樣本的再處理,是提高識別準確率的有效手段.

本文對第一次分類的結果,采用隨機森林進行二次分類. 進行二次分類后錯誤樣本數(shù)從336個降到了314個,識別率從83.2%提高到了84.3%.

3 實驗結果及分析

本文采用文獻[1]提供的圖像數(shù)據集. 數(shù)據集由陰天與晴天兩類圖像組成,該圖像集共有1萬張圖像,其中每類樣本有5000張. 圖4為該數(shù)據集的部分圖像.

圖4 文獻[1]數(shù)據集的部分圖像

對于兩分類問題,即使是隨機猜也能達到50%的準確率. 為了更好的表達算法的有效性,本文采用文獻[1]提出的歸一化識別率：

表1給出了與已有算法的對比測試實驗結果,采用了文獻[1]中的圖像集,利用80%的圖像作為訓練樣本訓練SVM分類器和隨機森林分類器,20%用于測試. 這里,對訓練樣本隨機選取了5次后得到的實驗結果的均值和方差作為分類的準確率. 可以看到,本文所提出的方法具有較小的方差和較大的歸一化識別率.由此也驗證了本文算法的有效性.

為了進一步驗證本文方法的有效性[16],由于天氣狀態(tài)分類問題圖像測試庫缺乏,本文對自己采集的兩類場景圖像庫進行測試,圖5為本測試集的部分樣本.

圖5 本文數(shù)據集中的部分圖像

表1 實驗結果對比(單位：%)

本測試集陰天圖像有289張,晴天圖像有352張,試驗中每類圖像抽取200張用于訓練,其余的圖像用于測試. 本次實驗通過對5次的實驗結果分析可知傳統(tǒng)識別率可以達到92.53+0.16%.

4 結論

本文利用圖像場景分類的方法對于基于圖像的天氣場景分類方法進行分類. 利用BOF模型和空間金字塔匹配求解基于圖像的天氣狀態(tài)識別問題,本文提出了最小二乘求解的最優(yōu)系數(shù)更加準確地刻畫每一個字典原子的影響. 在分類方面本文提出了利用支持向量機隨機森林進行兩次分類,提高了算法的識別準確率.

1 Lu CW,Lin D,Jia JY,et al. Two-class weather classification. Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus,OH,USA. 2014. 3718-3725.

2 李騫,范茵,張璟,等. 基于室外圖像的天氣現(xiàn)象識別方法.計算機應用,2011,31(6)：1624-1627.

3 Roser M,Moosmann F. Classification of weather situations on single color images. Proceedings of IEEE Intelligent Vehicles Symposium. Eindhoven,The Netherlands. 2008.798-803.

4 Zhang Z,Ma HD,Fu HY,et al. Scene-free multi-class weather classification on single images. Neurocomputing,2016,207：365-373. [doi：10.1016/j.neucom.2016.05.015]

5 Lalonde JF,Efros AA,Narasimhan SG. Estimating the natural illumination conditions from a single outdoor image.International Journal of Computer Vision,2012,98(2)：123-145. [doi：10.1007/s11263-011-0501-8]

6 Lowe DG. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision,2004,60(2)：91-110. [doi：10.1023/B：VISI.0000029664.99615.94]

7 Yan XS,Luo YP,Zheng XM. Weather recognition based on images captured by vision system in vehicle. Proceedings of the 6th International Symposium on Neural Networks：Advances in Neural Networks. Wuhan,China. 2009. 390-398.

8 Milborrow S,Nicolls F. Active shape models with SIFT descriptors and MARS. Proceedings of 2014 International Conference on Computer Vision Theory and Applications(VISAPP). Lisbon,Portugal. 2014. 380-387.

9 徐健,常志國,趙小強,等. 基于自適應梯度最速下降的分類字典訓練算法. 計算機工程,2013,39(5)：225-229.

10 Ye MC,Qian YT,Zhou J,et al. Dictionary learning-based feature-level domain adaptation for cross-scene hyperspectral image classification. IEEE Transactions on Geoscience and Remote Sensing,2017,55(3)：1544-1562. [doi：10.1109/TGRS.2016.2627042]

11 彭天強,栗芳. 哈希編碼結合空間金字塔的圖像分類. 中國圖象圖形學報,2016,21(9)：1138-1146. [doi：10.11834/jig.20160903]

12 de Souza Gazolli KA,Salles EOT. Exploring neighborhood and spatial information for improving scene classification.Pattern Recognition Letters,2014,46：83-88. [doi：10.1016/j.patrec.2014.05.009]

13 Zhou L,Zhou ZT,Hu DW. Scene classification using a multi-resolution bag-of-features model. Pattern Recognition,2013,46(1)：424-433. [doi：10.1016/j.patcog.2012.07.017]

14 Shao L,Liu L,Li XL. Feature learning for image classification via multiobjective genetic programming. IEEE Transactions on Neural Networks and Learning Systems,2014,25(7)：1359-1371. [doi：10.1109/TNNLS.2013.2293418]

15 Ding M,Antani S,Jaeger S,et al. Local-global classifier fusion for screening chest radiographs. Proceedings of SPIE Medical Imaging 2017：Imaging Informatics for Healthcare,Research,and Applications. Orlando,FL,USA. 2017. 10138：101380A.

16 Geng YY,Liang RZ,Li WZ,et al. Learning convolutional neural network to maximize Pos@Top performance measure.arXiv：1609.08417,2016.