楊文明 孫大任 李得第 謝正偉

(1.清華大學(xué)深圳研究生院信息科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室,廣東深圳 518055;2.清華大學(xué)電子工程系,廣東深圳 518055;3.深圳市星谷科技有限公司,廣東深圳 518000)

一種基于目標(biāo)分塊的建筑活動(dòng)板房識(shí)別方法

楊文明1孫大任2李得第2謝正偉3

(1.清華大學(xué)深圳研究生院信息科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室,廣東深圳 518055;2.清華大學(xué)電子工程系,廣東深圳 518055;3.深圳市星谷科技有限公司,廣東深圳 518000)

活動(dòng)板房作為施工過程中的標(biāo)志建筑,若能對(duì)其進(jìn)行準(zhǔn)確識(shí)別,將有助于提升施工智能監(jiān)控系統(tǒng)的性能。本文針對(duì)建筑工地目標(biāo)復(fù)雜,光照,遮擋等因素多的特點(diǎn),提出一種基于目標(biāo)分塊的建筑活動(dòng)板房識(shí)別方法。算法將板房分為房頂,墻體與窗體三部分,首先在監(jiān)控場(chǎng)景圖中檢測(cè)藍(lán)色房頂區(qū)域,通過形態(tài)學(xué)操作與外接矩形計(jì)算,自適應(yīng)獲取板房墻體的候選區(qū)域。然后對(duì)候選區(qū)進(jìn)行局部閾值處理,腐蝕處理與連通域檢測(cè),得到板房窗體中心點(diǎn)集合。再通過窗體縱坐標(biāo)直方圖統(tǒng)計(jì)與滑窗求和,判別是否為板房。實(shí)驗(yàn)表明,該法對(duì)光照,角度,尺度有一定的魯棒性,對(duì)墻體清楚的活動(dòng)板房有較高的識(shí)別率,達(dá)到了83.0%。

板房檢測(cè) 目標(biāo)分塊 形態(tài)學(xué)處理

1 引言

國(guó)土監(jiān)察對(duì)打擊違法侵占國(guó)有土地的行為,切實(shí)保障國(guó)有儲(chǔ)備土地的安全有重要的作用。然而現(xiàn)有的監(jiān)察方法多是通過人工來(lái)周期性或不定時(shí)的進(jìn)行巡查,這樣不僅會(huì)耗費(fèi)巨大的人力、財(cái)力及物力,對(duì)邊遠(yuǎn)地區(qū)的土地也難以做到實(shí)時(shí)監(jiān)管,同時(shí)還存在著監(jiān)察區(qū)域狹小等問題。

隨著計(jì)算機(jī)視覺[1]的不斷發(fā)展,諸多使用攝像頭進(jìn)行智能監(jiān)控的嘗試也應(yīng)運(yùn)而生。目前的智能監(jiān)控多是根據(jù)施工過程的特點(diǎn)及建筑工地中標(biāo)志性物體進(jìn)行分析,Ehsan Rezazadeh Azar[2]等人通過檢測(cè)液壓挖掘機(jī)來(lái)判別施工活動(dòng),J.Teizer, P.A.Vela[3]等人通過追蹤工地上的人員來(lái)分析施工行為,A.Peddi等人[4]通過人物姿態(tài)分析實(shí)時(shí)判定施工活動(dòng)。

以上研究中的檢測(cè)對(duì)象多是施工人員,施工工具及地表變化,關(guān)于施工過程中標(biāo)志性建筑的檢測(cè)卻很少。觀察國(guó)內(nèi)的施工過程可以發(fā)現(xiàn),工程開展初期,往往要先搭建起活動(dòng)板房,以供施工人員住宿使用。因此,若能準(zhǔn)確識(shí)別出監(jiān)控區(qū)域中是否存在板房,無(wú)疑對(duì)整個(gè)系統(tǒng)性能的提升有很大幫助。

但實(shí)際視頻中,由于光照,角度,尺度的劇烈變化,使用單一特征很難界定什么是板房。因此,本文針對(duì)通用活動(dòng)板房的特點(diǎn),提出了一種基于目標(biāo)分塊的板房檢測(cè)方法。該法通過對(duì)可疑區(qū)域進(jìn)行圖像切塊,將板房分割為房頂,窗體及墻身三部分,利用顏色,結(jié)構(gòu),方向等信息,通過分析各塊的特點(diǎn)及塊與塊間的關(guān)系,對(duì)板房進(jìn)行識(shí)別。因?yàn)檩^多的利用相對(duì)信息,此法對(duì)光照,角度,尺度有很好的魯棒性,可以實(shí)現(xiàn)板房的精確檢測(cè),如圖1所示。

圖1 板房示意圖

2 特征提取

由于尺度,角度的影響,不同視頻中板房呈現(xiàn)出的姿態(tài)千差萬(wàn)別,因此很難獲取普適的整體特征,對(duì)板房進(jìn)行描述。

然而,通用的板房存在著固有的結(jié)構(gòu)信息,由于結(jié)構(gòu)是相對(duì)的,不管視頻間的差異有多大,同一視頻中的板房,各部分間的關(guān)系仍保持穩(wěn)定。本文提出的算法便是基于這種特性的。

圖2 目標(biāo)分塊圖

2.1 目標(biāo)切塊

圖3 自適應(yīng)墻體搜索示意圖

圖4 房頂檢測(cè)過程

圖5 窗體檢測(cè)過程

算法的第一步是對(duì)可疑目標(biāo)進(jìn)行分塊,然后根據(jù)先驗(yàn)知識(shí),利用塊與塊間的聯(lián)系,對(duì)每一塊進(jìn)行識(shí)別。

分塊的目的在于克服不同場(chǎng)景中板房尺度,角度的差異給分類器帶來(lái)的影響。

對(duì)板房來(lái)說(shuō),房頂和墻身在色度,紋理上具有顯著的差異。但單純依據(jù)這兩者進(jìn)行識(shí)別,很難取得理想的效果。由于窗體與墻體間有穩(wěn)定的位置關(guān)系,而窗體的方向與房頂?shù)姆较蛞灿泻軓?qiáng)的相關(guān)性,因此算法將板房分割為房頂,墻面,窗體三部分,如圖2所示。

2.2 房頂檢測(cè)與板房提取

相對(duì)于場(chǎng)景中的其它物體,活動(dòng)板房的房頂區(qū)域在顏色上有顯著的特征,可以作為目標(biāo)提取的依據(jù)。

算法在HSV空間上進(jìn)行房頂檢測(cè)。HSV是一種比較直觀的顏色模型,便于選取合適的顏色閾值。對(duì)人工截取的房頂樣本進(jìn)行顏色分布統(tǒng)計(jì)[5],得到的統(tǒng)計(jì)結(jié)果為:H空間分布在[170,240]之間,V空間分布在[0.6,1]之間。

因?yàn)樵诠庹詹皇呛軜O端的情況下,板房的房頂與墻面的顏色有很大的區(qū)別,寬泛的閾值就足以精確的區(qū)分兩者。而房頂與墻面的分界線被清楚的檢測(cè)出之后,后續(xù)的房頂角度檢測(cè)就不會(huì)受到太大的影響。

檢測(cè)到房頂候選區(qū)后,對(duì)候選區(qū)做形態(tài)學(xué)處理。具體上,先進(jìn)行連通域檢測(cè),排除較小的連通域,以去除明顯不是房頂?shù)膮^(qū)域。之后再進(jìn)行閉運(yùn)算,以連接檢測(cè)結(jié)果中的斷點(diǎn)。

形態(tài)學(xué)處理后,得到較為完整的房頂區(qū)域。對(duì)該區(qū)域求取最小外接矩形,可以獲得板房屋頂?shù)母?屋頂最小外接矩形的中心 roof_ center和旋轉(zhuǎn)角度roof_ angle。板房墻體的大小可以根據(jù)房頂信息進(jìn)行自適應(yīng)搜索:

圖6 縱坐標(biāo)直方圖與滑窗

表1 算法識(shí)別結(jié)果

圖7 部分識(shí)別效果圖

其中板房墻體外接矩形的中心wall_width ,wall_height,為板房墻體外接矩形的高與寬,wall_angle為墻體的旋轉(zhuǎn)角度,scale為自定義的放大尺度,如圖3,圖4所示。

獲取墻體區(qū)域后,由于實(shí)際應(yīng)用中的板房墻體大多會(huì)包含一些旋轉(zhuǎn),這會(huì)給后續(xù)程序帶來(lái)干擾,因此需要對(duì)獲取到的墻體進(jìn)行反旋轉(zhuǎn)處理。

由于已經(jīng)獲得房頂?shù)男D(zhuǎn)角度wall_angle ,墻體與房頂必定是平行的,因此將ROI中的圖片按wall_angle 反旋轉(zhuǎn),即可提取出正面無(wú)旋轉(zhuǎn)的墻體。

2.3 窗體檢測(cè)

2.3.1 自適應(yīng)閾值操作

對(duì)2.2中得到的墻體候選圖進(jìn)行自適應(yīng)的閾值操作,二值化公式為:

dst（x,y）為閾值化后的二值圖,src（x, y）為原灰度圖。T為閾值,sgn為符號(hào)函數(shù)。

通過計(jì)算鄰域內(nèi)均值得到:

ai為以 src（x, y）為中心的鄰域內(nèi)的像素值,N為鄰域內(nèi)像素總數(shù)。

2.3.2 腐蝕

腐蝕操作的定義為:

其中erode(x,y)為腐蝕后的圖像,b為自定義的結(jié)構(gòu)元素[6]。

該處進(jìn)行腐蝕的目的是消除除窗體與墻面的粘連,以獲得獨(dú)立的窗戶,便于精確檢測(cè)其輪廓。算法使用的結(jié)構(gòu)元素為大小的矩形小塊。

2.3.3 輪廓檢測(cè)與最小外接矩形

對(duì)腐蝕后的二值圖進(jìn)行輪廓檢測(cè),得到輪廓集合,對(duì)該集合中的每一個(gè)元素計(jì)算其最小外接矩形,得到矩形集合Rect。對(duì)Rect中的元素進(jìn)行篩選,篩選的條件如下:

其中x為Rect集合中的元素,xwidth表示外接矩形的寬,表示外接矩形的高, Scontour表示連通域的面積, Scontour為人為設(shè)定的比例系數(shù)。最后,取篩選后的矩形中心得到最終的窗體集合Window,如圖5所示。

2.4 板房判定

依據(jù)房頂傾斜角度旋轉(zhuǎn)后的板房,窗戶排列近似為一條水平線。因此可以統(tǒng)計(jì)Window中元素縱坐標(biāo)的直方圖,若為板房,則直方圖中的點(diǎn)應(yīng)該會(huì)集中分布在某幾個(gè)區(qū)域,且每個(gè)區(qū)域點(diǎn)數(shù)占總點(diǎn)數(shù)的比例應(yīng)大于某一閾值。

對(duì)獲取的直方圖進(jìn)行滑窗計(jì)數(shù),窗體寬度d決定了檢測(cè)的精度。當(dāng)滑窗內(nèi)點(diǎn)數(shù)和超過總點(diǎn)數(shù)一定比例后,即可判定存在平行的窗體,也就是判定為板房,如圖6所示。

3 實(shí)驗(yàn)結(jié)果與分析

在自建的施工工地監(jiān)控?cái)?shù)據(jù)庫(kù)上,使用本文提出的算法進(jìn)行活動(dòng)板房識(shí)別。數(shù)據(jù)庫(kù)中圖片大致可分為4類:

（1)板房墻體清晰,每個(gè)板房房頂較獨(dú)立。

（2)板房墻體清晰,但多個(gè)房頂相互粘連。

（3)墻體模糊。

（4)無(wú)板房。

識(shí)別結(jié)果如表1所示。

對(duì)多數(shù)窗體朝向正面,同一圖片中板房分布相對(duì)獨(dú)立的樣本,算法有很好的識(shí)別率,實(shí)際應(yīng)用中能達(dá)到83.0%。但對(duì)圖片中板房分布擁擠,房頂互相粘連的情況,識(shí)別率會(huì)顯著下降,同時(shí)漏警率大大上升。這是由于房頂粘連導(dǎo)致對(duì)墻體大小和位置的估計(jì)失準(zhǔn),使算法未能工作在設(shè)想的狀態(tài)下。

實(shí)際應(yīng)用中,由于系統(tǒng)的實(shí)時(shí)監(jiān)控性以及板房建設(shè)需要有一定過程,板房大多只會(huì)以單個(gè)或兩個(gè)的形式出現(xiàn),突然出現(xiàn)大量板房的概率很低,因此對(duì)單個(gè)板房的識(shí)別率將主導(dǎo)系統(tǒng)的性能。雖然算法在房頂粘連的情況下表現(xiàn)不佳,但在實(shí)際的監(jiān)控場(chǎng)景下仍可以正常工作。

而由于場(chǎng)景中的其它物體與活動(dòng)板房特征有較大的區(qū)別,算法虛警率很低,如圖7所示。

4 結(jié)語(yǔ)

本文提出一種基于目標(biāo)分塊的建筑活動(dòng)板房識(shí)別方法,算法依據(jù)先驗(yàn)知識(shí)將目標(biāo)切分為三塊,運(yùn)用色度分析,形態(tài)學(xué)處理,連通域分析及直方圖統(tǒng)計(jì)等方法,著重研究不同塊之間的相對(duì)信息,以提升識(shí)別率,克服不同監(jiān)控場(chǎng)景中尺度,角度的干擾。算法在自建的數(shù)據(jù)庫(kù)上,在圖片中各板房獨(dú)立分布的情況下取得了83.0%的識(shí)別率,且虛警較低,可以滿足一般監(jiān)控的需求。

對(duì)房頂粘連導(dǎo)致識(shí)別率顯著下降的情況,由于實(shí)際使用時(shí)是實(shí)時(shí)監(jiān)控,同時(shí)出現(xiàn)大量板房的幾率很小,因此不會(huì)大幅度影響系統(tǒng)的性能。該部分的改進(jìn)重點(diǎn)將落在房頂連通域檢測(cè)上面,作為日后的研究方向。

[1]Vernon D.Machine vision-Automated visual inspection and robot vision[J].NASA STI/Recon Technical Report A,1991,92: 40499.

[2]Rezazadeh Azar E,McCabe B.Part based model and spatial–temporal reasoning to recognize hydraulic excavators in construction images and videos[J].Automation in construction, 2012,24:194-202.

[3]Teizer J,Vela P A.Personnel tracking on construction sites using video cameras[J].Advanced Engineering Informatics,2009,23(4):452-462.

[4] Peddi A,Huan L,Bai Y,et al.Development of human pose analyzing algorithms for the determination of construction productivity in real-time[C]//Construction Research Congress,ASCE, Seattle,WA.2009:11-20.

[5]郭煒強(qiáng).基于運(yùn)動(dòng)特征的林火煙霧圖像檢測(cè)技術(shù)研究[D].北京林業(yè)大學(xué),2012.

[6]Gonzalez R C,Woods R E.Digital image processing[J].2002.

楊文明,男,漢族,2010.1就職于清華大學(xué)深圳研究生院信息科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室,講師、副教授。主要從事圖像處理與計(jì)算機(jī)視覺領(lǐng)域的研究,具體包括智能視頻分析、生物特征識(shí)別、立體成像與分析、工業(yè)視覺檢測(cè)、醫(yī)學(xué)影像處理、光學(xué)字符識(shí)別、智能交通系統(tǒng)等。近年來(lái),在IEEE Trans. on Image Processing、Information Sciences、Pattern Recognition、 IEEE SPL等國(guó)際期刊和IEEE ICIP、ICASSP、ACM Multimedia等國(guó)際會(huì)議發(fā)表學(xué)術(shù)論文30余篇,獲得中國(guó)發(fā)明專利授權(quán)4項(xiàng)。

孫大任,男,漢族,2013年9月就讀于清華大學(xué)電子工程系,專業(yè)為電子與通信工程（圖像處理方向)。2008年9月-2012年6月,就讀于東南大學(xué)吳健雄學(xué)院,專業(yè)為電子信息工程。

李得第,男,漢族,2012年9月就讀于清華大學(xué)電子工程系,專業(yè)為電子與通信工程（圖像處理方向)。2007年9月-2011年6月,就讀于杭州電子科技大學(xué)電子信息學(xué)院,專業(yè)為電子信息工程。

謝正偉,男,漢族,大學(xué)本科,深圳市星谷科技有限公司系統(tǒng)研發(fā)部經(jīng)理。