基于背景差分法的電網(wǎng)巡檢運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)

廖 逍，張 弛，應(yīng)國(guó)德，浦正國(guó)

(1.國(guó)家電網(wǎng)信息通信產(chǎn)業(yè)集團(tuán)有限公司 a.信通研究院，b.安徽繼遠(yuǎn)軟件有限公司，北京 102211；2.國(guó)網(wǎng)浙江省電力有限公司 臺(tái)州供電公司，浙江 臺(tái)州 318001)

隨著我國(guó)電網(wǎng)的大規(guī)模建設(shè)與發(fā)展，輸電線路覆蓋區(qū)域地形復(fù)雜、環(huán)境惡劣，對(duì)于線路的運(yùn)維提出了更高的要求[1].傳統(tǒng)的人工巡檢方式不僅效率低下，且易受到地形和外部條件的各種限制[2-3].無(wú)人機(jī)巡檢作為一種新興的技術(shù)手段，由于其巡檢范圍廣、操作簡(jiǎn)單、靈活性高等多種優(yōu)勢(shì)，其在電力巡檢工作中得到了廣泛應(yīng)用[4-5].

圖像識(shí)別與目標(biāo)檢測(cè)技術(shù)是無(wú)人機(jī)巡檢的技術(shù)基礎(chǔ)，國(guó)內(nèi)外相關(guān)學(xué)者對(duì)此開展了廣泛的研究[6-8].向濤等[9]利用隨機(jī)森林算法，提出了一種能夠滿足圖像外觀變化的目標(biāo)檢測(cè)技術(shù)；陳振學(xué)等[10]利用小波變換獲得圖像的局部特征信息，并利用視覺轉(zhuǎn)移機(jī)制提升圖像目標(biāo)檢測(cè)的準(zhǔn)確率；許冰等[11]建立動(dòng)態(tài)場(chǎng)景下的目標(biāo)顯著性模型，并利用漂移聚類算法實(shí)現(xiàn)了對(duì)復(fù)雜場(chǎng)景下的目標(biāo)檢測(cè)；唐聰?shù)萚12]采用多視窗的SSD方法，提高了目標(biāo)檢測(cè)的物體搜索能力和物體檢測(cè)精度；李成美等[13]結(jié)合Shi-Tomasi角點(diǎn)檢測(cè)技術(shù)和光流法及運(yùn)動(dòng)目標(biāo)的歸一化處理，實(shí)現(xiàn)了在PC平臺(tái)和嵌入式平臺(tái)下的運(yùn)動(dòng)目標(biāo)檢測(cè).

現(xiàn)有研究多是基于靜態(tài)場(chǎng)景復(fù)雜背景下的目標(biāo)檢測(cè)[14-15].無(wú)人機(jī)巡檢屬于一種動(dòng)態(tài)場(chǎng)景下的目標(biāo)檢測(cè)，為了實(shí)現(xiàn)動(dòng)態(tài)背景下的目標(biāo)檢測(cè)，在運(yùn)動(dòng)估計(jì)的基礎(chǔ)上對(duì)視頻圖像進(jìn)行背景補(bǔ)償，以實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的準(zhǔn)確檢測(cè).基于背景差分法高斯模型，通過降維和局部匹配的方式對(duì)SIFT特征點(diǎn)提取技術(shù)進(jìn)行優(yōu)化，解決了參數(shù)更新和穩(wěn)定性匹配問題，增強(qiáng)了算法的抗干擾能力.

1 背景補(bǔ)償

無(wú)人機(jī)巡檢屬于動(dòng)態(tài)場(chǎng)景下的目標(biāo)檢測(cè)，由于鏡頭運(yùn)動(dòng)導(dǎo)致圖像背景運(yùn)動(dòng)存在于整個(gè)視頻范圍內(nèi)，因此，需要對(duì)運(yùn)動(dòng)背景進(jìn)行補(bǔ)償，即將動(dòng)態(tài)場(chǎng)景轉(zhuǎn)換為靜態(tài).本文建立了鏡頭運(yùn)動(dòng)的數(shù)學(xué)模型，然后通過尋找前后幀之間相匹配的特征點(diǎn)求解模型參數(shù)，從而完成背景補(bǔ)償.

1.1 運(yùn)動(dòng)模型

傳統(tǒng)用于描述圖像變換的仿射模型只能對(duì)平面圖像進(jìn)行映射，但無(wú)人機(jī)的運(yùn)動(dòng)是在整個(gè)三維空間內(nèi)進(jìn)行的，所以本文從參數(shù)模型的角度建立了雙線性模型，用于表征鏡頭運(yùn)動(dòng)引起的全局運(yùn)動(dòng)矢量，其表達(dá)式為

(1)

式中：(x，y)為像素點(diǎn)坐標(biāo)；(u，v)為x方向和y方向的運(yùn)動(dòng)量；m0～m7為待求解的參數(shù).通過尋找第t幀圖像上像素點(diǎn)和與之對(duì)應(yīng)的第t+1幀圖像上像素點(diǎn)的坐標(biāo)，即可建立方程求解得到參數(shù)m.

理論上，只要有4個(gè)匹配點(diǎn)，即可求得兩幀圖像之間的映射關(guān)系.但一般通過計(jì)算機(jī)處理得到的匹配點(diǎn)數(shù)目通常大于4個(gè)，因此需要采用最小二乘法求解鏡頭運(yùn)動(dòng)的最優(yōu)參數(shù)解，從而對(duì)其全局運(yùn)動(dòng)進(jìn)行估計(jì).

1.2 特征點(diǎn)提取

尺度不變特征變換算法(SIFT)是一種廣泛應(yīng)用于全局特征匹配的圖像特征點(diǎn)提取算法.本文采用SIFT特征提取算法對(duì)圖像進(jìn)行處理，算法可分為4個(gè)步驟，分別為：極值檢測(cè)、確定特征點(diǎn)、特征點(diǎn)方向確定及特征向量的生成.

1)極值檢測(cè).使用SIFT進(jìn)行特征點(diǎn)提取時(shí)，需要建立圖像的尺度空間，其表達(dá)式定義為

L(x，y，σ)=G(x，y，σ)P(x，y)

(2)

式中：σ為均方差；P(x，y)為(x，y)處圖像灰度值；G(x，y，σ)為高斯核函數(shù).

極值檢測(cè)算子用于檢測(cè)尺度空間內(nèi)的特征點(diǎn)，定義表達(dá)式為

D(x，y，σ)=[G(x，y，kσ)-G(x，y，σ)]P(x，y)=

L(x，y，kσ)-L(x，y，σ)

(3)

式中，k為兩個(gè)相鄰尺度間的比例因子.對(duì)于第n層尺度空間上的一個(gè)檢測(cè)點(diǎn)(x，y)，當(dāng)判定該點(diǎn)為極值點(diǎn)時(shí)，則該極值點(diǎn)為特征匹配點(diǎn)的候選.

3)特征點(diǎn)方向.以特征點(diǎn)為中心，分別計(jì)算其鄰域內(nèi)各點(diǎn)梯度的大小與方向，即

m={[L(x+1，y)-L(x-1，y)]2-

[L(x，y+1)-L(x，y-1)]2}1/2

(4)

(5)

以10°為一個(gè)區(qū)間劃分，將特征點(diǎn)鄰域內(nèi)各點(diǎn)梯度值乘以高斯權(quán)重并進(jìn)行求和，最大值所在的角度區(qū)間即為該特征點(diǎn)的方向.至此，即可確定關(guān)鍵點(diǎn)的位置、尺度和方向.

4)特征向量.為了增強(qiáng)匹配的穩(wěn)定性，每個(gè)特征點(diǎn)的鄰域以自身為中心，由16×16個(gè)采樣點(diǎn)組成.16×16的采樣點(diǎn)又可分為16個(gè)4×4的區(qū)域，每個(gè)區(qū)域可由一個(gè)種子點(diǎn)進(jìn)行表征，每個(gè)種子點(diǎn)可設(shè)置8個(gè)方向，最終每個(gè)特征點(diǎn)即可形成128維的SIFT特征向量.

相鄰兩幀圖像特征點(diǎn)生成后，即可確定特征匹配點(diǎn).由特征匹配點(diǎn)可求得兩幀圖像之間的變換關(guān)系，從而完成圖像背景的補(bǔ)償.

2 背景差分法

完成背景補(bǔ)償后，即可將動(dòng)態(tài)場(chǎng)景轉(zhuǎn)換為靜態(tài)場(chǎng)景，進(jìn)而采用背景差分法完成運(yùn)動(dòng)目標(biāo)檢測(cè)任務(wù).背景差分法利用當(dāng)前圖像與背景圖像之間的差分，能夠簡(jiǎn)單、快速地完成對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè).本文在分析了傳統(tǒng)高斯模型的背景差分法后，對(duì)其完成進(jìn)一步的優(yōu)化以滿足實(shí)際使用的需求.

2.1 高斯模型

基于高斯模型的背景差分法是一種以統(tǒng)計(jì)學(xué)原理為基礎(chǔ)的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，該方法首先需要為視頻圖像的每個(gè)背景像素點(diǎn)建立初始高斯模型η(p，μ0，σ0)，其中，p為像素點(diǎn)(x，y)像素值，μ0為初始像素均值，σ0為初始像素均方差.初始像素值和均方差可通過計(jì)算T時(shí)間段內(nèi)的圖像得到.假設(shè)某時(shí)間段內(nèi)視頻中共有N幀圖像，則μ0與σ0可以表示為

(6)

(7)

由概率論相關(guān)理論可知，隨機(jī)變量X服從正態(tài)分布時(shí)，在區(qū)間(μ-3σ，μ+3σ)內(nèi)的概率為0.997 4，即可認(rèn)定X落在區(qū)間(μ-3σ，μ+3σ)外的事件不會(huì)發(fā)生.對(duì)應(yīng)于視頻圖像的高斯模型，閾值變量Th在滿足2

2)裝卸。新鮮果蔬鮮嫩，含水量高，如裝卸搬運(yùn)中操作粗放、野蠻，就會(huì)導(dǎo)致商品機(jī)械損傷、腐爛，造成巨大的經(jīng)濟(jì)損失。我國(guó)果品蔬菜多為人工裝卸搬運(yùn)，其勞動(dòng)強(qiáng)度大，機(jī)械傷嚴(yán)重。裝卸時(shí)要求箱子要捆實(shí)扎緊，搬運(yùn)要輕拿輕放，快裝快運(yùn)。

視頻圖像始終處于一個(gè)動(dòng)態(tài)場(chǎng)景，因此需要對(duì)其進(jìn)行更新.高斯分布的均值和方差是決定高斯曲線形狀的兩個(gè)關(guān)鍵參數(shù)，故基于高斯模型的背景模型更新即是對(duì)各像素點(diǎn)均值和方差參數(shù)的更新.引入高斯模型的更新參數(shù)a，對(duì)高斯模型參數(shù)進(jìn)行表達(dá)式更新為

μt+1=(1-a)μt+apt

(8)

(9)

通過對(duì)高斯模型的更新，可以使其適應(yīng)視頻圖像的背景變化，與實(shí)際背景相匹配.由高斯背景模型即可判斷各像素點(diǎn)是背景點(diǎn)還是運(yùn)動(dòng)目標(biāo)點(diǎn)，從而完成對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè).

2.2 改進(jìn)高斯模型

實(shí)際視頻圖像的背景較為復(fù)雜，除了會(huì)發(fā)生明顯的運(yùn)動(dòng)外，還受多種因素的影響.實(shí)際應(yīng)用過程中，可以從更新率的選擇和更新策略的改進(jìn)兩方面對(duì)高斯模型進(jìn)行優(yōu)化.

高斯模型的均值和方差決定了高斯曲線的形狀.當(dāng)高斯模型的均值和方差采用統(tǒng)一的更新速率進(jìn)行更新時(shí)，難以做到更新速度與模型穩(wěn)定性之間的匹配.因此對(duì)高斯模型的均值賦予較大的更新速率，以提高模型的更新速度和收斂性.對(duì)于方差則采用分段更新的方式，即模型訓(xùn)練初期采用較大的更新率以提高收斂性；模型訓(xùn)練后期采用較小的更新速率以維持穩(wěn)定性.

對(duì)于更新策略的優(yōu)化，需要考慮前景和背景的轉(zhuǎn)化問題：1)鏡頭中存在運(yùn)動(dòng)目標(biāo)時(shí)，隨著目標(biāo)的移動(dòng)會(huì)發(fā)生前景和背景區(qū)域的轉(zhuǎn)化；2)運(yùn)動(dòng)物體運(yùn)動(dòng)狀態(tài)的變化也會(huì)導(dǎo)致前景和背景的轉(zhuǎn)化.

高斯模型還要有較強(qiáng)的抗干擾能力，需要在高斯模型的更新過程中剔除運(yùn)動(dòng)物體的像素點(diǎn)，僅保留背景點(diǎn)參與更新.同時(shí)還需要考慮到運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)狀態(tài)發(fā)生變化時(shí)，對(duì)物體的運(yùn)動(dòng)狀態(tài)進(jìn)行判斷，決定是否參與更新.優(yōu)化后高斯模型更新策略表達(dá)式為

(10)

(11)

式中：aμ與aσ分別為均值和方差的更新速率；Cn為幀計(jì)數(shù)器，用于判斷像素點(diǎn)是否需要參與更新，初始值為0.若該點(diǎn)為背景點(diǎn)，則Cn置0并對(duì)其進(jìn)行更新；若該點(diǎn)為前景點(diǎn)，則Cn加1并與幀計(jì)數(shù)器的閾值Cn0進(jìn)行比較.當(dāng)Cn

3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)采用分辨率為1 080×1 920機(jī)載相機(jī)拍攝得到的圖片來(lái)檢驗(yàn)算法性能.硬件仿真平臺(tái)為Intel Core i7處理器，開發(fā)環(huán)境為Windows 10操作系統(tǒng)，VS2015編程環(huán)境.

本文選擇巡檢過程中5段典型樣本視頻對(duì)其進(jìn)行目標(biāo)檢測(cè)分析.每段視頻樣本時(shí)長(zhǎng)為20 s，拍攝幀率為30幀/s，即每個(gè)樣本約600幀畫面.其中：樣本1為無(wú)人機(jī)起飛過程中的視頻片段；樣本2為無(wú)人機(jī)正常巡檢的視頻片段；樣本3和4為巡檢過程中發(fā)現(xiàn)漂浮搭掛物的視頻片段；樣本5為鳥類在線路桿塔附近活動(dòng)的視頻片段.

3.1 特征點(diǎn)提取

對(duì)樣本1中的圖像進(jìn)行特征點(diǎn)提取，共得到435個(gè)特征點(diǎn).對(duì)相鄰幀進(jìn)行特征點(diǎn)的匹配，共有153對(duì)匹配點(diǎn)，匹配結(jié)果如圖1所示.

圖1 SIFT特征點(diǎn)匹配結(jié)果

在特征點(diǎn)提取過程中發(fā)現(xiàn)，采用上述方法對(duì)圖像進(jìn)行處理時(shí)，耗時(shí)量較大，圖像處理效率較低，上述方法存在一定的局限性.

SIFT在特征點(diǎn)提取過程中每個(gè)特征點(diǎn)需要128維向量對(duì)其進(jìn)行描述，對(duì)于本文而言這些向量有一定程度的冗余，因此文中選擇以特征點(diǎn)為中心的8×8個(gè)區(qū)域作為采樣點(diǎn)，將該區(qū)域分成4個(gè)4×4的子區(qū)域，這樣每個(gè)特征點(diǎn)即可由2×2共4個(gè)種子點(diǎn)組成，每個(gè)種子點(diǎn)有8個(gè)方向的信息量，即每個(gè)特征點(diǎn)生成4×8維的特征向量.優(yōu)化后SIFT每個(gè)特征點(diǎn)的特征向量數(shù)目減少了3/4.

采用優(yōu)化后的SIFT對(duì)樣本圖像進(jìn)行特征點(diǎn)的提取與匹配，結(jié)果如圖2所示，共得到424個(gè)特征點(diǎn)，124對(duì)匹配點(diǎn).可以看到，優(yōu)化后的特征點(diǎn)位置基本處于優(yōu)化前特征點(diǎn)的覆蓋范圍之內(nèi)，降低維數(shù)后仍可滿足實(shí)際工作的需求.

圖2 優(yōu)化后的SIFT特征點(diǎn)匹配結(jié)果

采用優(yōu)化后的SIFT對(duì)樣本片段進(jìn)行處理，統(tǒng)計(jì)特征向量的生成時(shí)間后發(fā)現(xiàn)：對(duì)于不同的樣本，特征向量的生成時(shí)間是原來(lái)的30%～40%，結(jié)果如圖3所示.雖然優(yōu)化后匹配特征點(diǎn)有所減少，但本文只需估算8個(gè)背景運(yùn)動(dòng)參數(shù)，這些特征點(diǎn)完全可以滿足需要，可以通過降低維數(shù)的方法縮短特征提取時(shí)間.

圖3 特征向量生成時(shí)間比較

SIFT特征匹配算法是通過全局匹配的方式來(lái)尋找匹配點(diǎn).采用該算法需要在全局范圍內(nèi)尋找匹配點(diǎn)，耗時(shí)較多，因此本文采用局部匹配的方式以縮短運(yùn)算時(shí)間.

假設(shè)第t-1幀圖像中特征點(diǎn)的集合為Pt-1={Pt-1，1，Pt-1，2，…，Pt-1，N}.對(duì)于每一個(gè)特征點(diǎn)Pt-1，n，在以點(diǎn)Pt-1，n為中心的鄰域內(nèi)，搜索符合條件的特征點(diǎn)集，并對(duì)其進(jìn)行匹配.以測(cè)試樣本為例，對(duì)相關(guān)匹配算法運(yùn)行時(shí)間進(jìn)行比較分析，結(jié)果如圖4所示.

圖4 提取特征點(diǎn)時(shí)間比較

由圖4可知，采用局部匹配算法后可以進(jìn)一步提升系統(tǒng)的運(yùn)行效率.局部匹配算法與經(jīng)典SIFT算法相比，提取特征點(diǎn)的總時(shí)間是原來(lái)的30%～50%.改進(jìn)SIFT算法可以縮短20%～30%的時(shí)間，這對(duì)于進(jìn)一步提高算法的運(yùn)行效率具有重要意義.

3.2 目標(biāo)檢測(cè)

由目標(biāo)檢測(cè)結(jié)果可知，移動(dòng)鏡頭下的視頻圖像若不采用運(yùn)動(dòng)估算的方式加以糾正，則檢測(cè)結(jié)果中會(huì)出現(xiàn)大量陰影和誤檢的情況，從而難以滿足實(shí)際工作的需求.如圖5所示，無(wú)人機(jī)在巡檢過程中發(fā)現(xiàn)桿塔頂端懸掛了明顯的漂浮物，在風(fēng)力的作用下發(fā)生抖動(dòng)，對(duì)線路安全造成威脅.未進(jìn)行背景補(bǔ)償時(shí)檢測(cè)效果較差，圖像背景會(huì)對(duì)檢測(cè)目標(biāo)產(chǎn)生較多干擾.

圖5 目標(biāo)檢測(cè)結(jié)果比較

樣本圖片中，無(wú)人機(jī)巡檢過程中發(fā)現(xiàn)桿塔周圍有活動(dòng)的鳥類.鳥類既是運(yùn)動(dòng)目標(biāo)，但也是干擾目標(biāo).圖6為本文提出的背景補(bǔ)償和背景差分法建立的背景模型與原始圖片的比較.可見所提算法具有較好的抗干擾能力.

圖6 原始與背景模型圖片比較

4 結(jié) 論

本文研究了無(wú)人機(jī)電網(wǎng)巡檢中移動(dòng)鏡頭的目標(biāo)檢測(cè)方法，得出主要結(jié)論如下：

1)利用SIFT特征提取技術(shù)實(shí)現(xiàn)對(duì)視頻圖片特征點(diǎn)的提取.在此基礎(chǔ)上，結(jié)合無(wú)人機(jī)運(yùn)動(dòng)模型完成對(duì)場(chǎng)景的運(yùn)動(dòng)估算，從而實(shí)現(xiàn)背景補(bǔ)償.

2)通過特征向量降維和采用局部匹配的方法對(duì)SIFT算法進(jìn)行優(yōu)化，使其特征向量生成時(shí)間縮減為原來(lái)的30%～40%.與經(jīng)典SIFT算法相比，局部匹配算法提取特征點(diǎn)的總時(shí)間僅為原來(lái)的30%～50%.

3)利用背景差分法對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，移動(dòng)鏡頭下的視頻圖像采用背景補(bǔ)償后可以消除陰影和誤檢，能夠明顯提高運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確率.