胡雄偉，張萼輝

（中國鐵路上海局集團(tuán)有限公司 科學(xué)技術(shù)研究所，上海 200071）

鐵路客站視頻質(zhì)量智能診斷技術(shù)研究與應(yīng)用

胡雄偉，張萼輝

（中國鐵路上海局集團(tuán)有限公司 科學(xué)技術(shù)研究所，上海 200071）

隨著視頻監(jiān)控系統(tǒng)應(yīng)用規(guī)模越來越大，鐵路客站視頻質(zhì)量檢測工作日益繁重，人工巡視已無法滿足大型客站視頻監(jiān)控系統(tǒng)的日常維護(hù)需求。提出一種視頻質(zhì)量智能診斷技術(shù)，利用混合高斯背景建模方法提取視頻前景，對前景進(jìn)行向量化和歸一化后進(jìn)行標(biāo)注，在支持向量機(jī)中進(jìn)行訓(xùn)練，得出分類超平面后即可用于視頻質(zhì)量診斷?；谠摷夹g(shù)的鐵路客站視頻質(zhì)量智能診斷系統(tǒng)可滿足大型客站視頻監(jiān)控系統(tǒng)日常維護(hù)需要。

鐵路客站；視頻質(zhì)量；智能診斷；混合高斯模型；支持向量機(jī)

0 引言

近年來，隨著中國鐵路上海局集團(tuán)有限公司運(yùn)營線路的不斷延伸和擴(kuò)展，配套布置的視頻監(jiān)控點(diǎn)位也不斷增加，視頻監(jiān)控系統(tǒng)規(guī)模越來越大。依據(jù)2016年10月鐵路局客運(yùn)處統(tǒng)計(jì)數(shù)據(jù)，全局客運(yùn)車站視頻監(jiān)控前端攝像機(jī)共計(jì)7 863個，其中G20峰會期間補(bǔ)強(qiáng)攝像機(jī)653個。如虹橋站、杭州東站及南京南站等大型客運(yùn)站，攝像機(jī)數(shù)量在700～800個。大量部署鐵路客站攝像機(jī)極大地提升了鐵路安全運(yùn)營的保障能力。

2016年8月發(fā)布的《上海鐵路局綜合視頻監(jiān)控系統(tǒng)運(yùn)用及維護(hù)管理辦法》規(guī)定：視頻監(jiān)控系統(tǒng)“集中管理、分級維護(hù)”，各客站負(fù)責(zé)調(diào)閱實(shí)時(shí)視頻、歷史視頻圖像以驗(yàn)證綜合視頻系統(tǒng)工作狀態(tài)，因故障發(fā)現(xiàn)不及時(shí)造成的后果由相關(guān)使用單位承擔(dān)。現(xiàn)場人員面臨著日益增長的視頻設(shè)備質(zhì)量檢測工作量，人工巡視已無法滿足大型客站視頻監(jiān)控系統(tǒng)的日常維護(hù)需求。

綜合視頻監(jiān)控系統(tǒng)中的編碼器、光端機(jī)故障，信號傳輸通道接觸不良或電磁干擾都會導(dǎo)致視頻質(zhì)量不良，監(jiān)控畫面會出現(xiàn)雪花噪點(diǎn)、滾動橫紋、畫面蠕動等現(xiàn)象，如不及時(shí)處理將發(fā)展為視頻信號中斷。據(jù)統(tǒng)計(jì)，此類故障占系統(tǒng)故障的80%以上，如能通過實(shí)時(shí)視頻流對上述視頻質(zhì)量不良情況進(jìn)行自動診斷，則可大幅減少現(xiàn)場日常巡視工作。針對此類視頻質(zhì)量不良情況進(jìn)行研究，并提出智能診斷技術(shù)方案。

1 技術(shù)路線

針對虹橋站大量質(zhì)量不良視頻進(jìn)行前景提取和分析，發(fā)現(xiàn)其前景像素呈大致均勻分布狀態(tài)，與靜止畫面及行人走動等視頻幀的前景像素分布顯著不同。根據(jù)這一特性，首先從視頻通道采集各種實(shí)時(shí)視頻流，利用混合高斯背景建模方法[1]提取視頻前景，將前景圖像進(jìn)行分割，統(tǒng)計(jì)每個小區(qū)域里的像素值，并將像素值歸一化后形成行向量，根據(jù)視頻質(zhì)量良好與否，賦予行向量標(biāo)簽，將行向量輸入支持向量機(jī)后計(jì)算出分類超平面。利用此超平面，機(jī)器即可對視頻質(zhì)量狀態(tài)進(jìn)行分類和診斷。

為最大程度減少誤檢，應(yīng)多次采樣進(jìn)行診斷。雪花噪點(diǎn)、滾動波紋等視頻異?，F(xiàn)象在一段時(shí)間內(nèi)會保持穩(wěn)定，因此采用間隔方式采集同一個通道5個視頻片段進(jìn)行診斷，3次及以上診斷為“視頻質(zhì)量不良”時(shí)報(bào)故障。

2 混合高斯背景建模

2.1 建模方法

雪花噪點(diǎn)、滾動波紋及畫面蠕動在視頻中呈現(xiàn)出動態(tài)變化的特征，如果是靜態(tài)視頻，其前景幾乎都是這種異常情況的像素構(gòu)成。因此，應(yīng)先將前景從視頻背景中分離出來，以分析其圖像特征。在分離之前，一般會將圖像灰度化[2]，因雪花噪點(diǎn)及滾動波紋等噪聲特征基本與色彩無關(guān)，同時(shí)可大幅減少計(jì)算量。

通常，圖像中每個像素的灰度值在短時(shí)間內(nèi)都圍繞某一均值μh的一定方差σh內(nèi)分布。如果視頻時(shí)間較長，像素值呈正態(tài)分布。根據(jù)此特點(diǎn)，如果像素灰度值偏離均值很近（本模型取3σh范圍內(nèi)），可判斷這個點(diǎn)屬于背景；若像素點(diǎn)的值偏離均值較遠(yuǎn)，則此像素點(diǎn)屬于前景。同時(shí)，根據(jù)前景與背景像素的差值，對背景像素的均值和標(biāo)準(zhǔn)差進(jìn)行微調(diào)，使均值往前景灰度值方向移動一小步（學(xué)習(xí)率一般取0.01）。這種處理方式能適應(yīng)背景的變化，如光線漸變等，具有較強(qiáng)的魯棒性。

理論上，如果不存在任何干擾，單高斯模型即可準(zhǔn)確區(qū)分前景和背景。一般情況下，背景會有細(xì)微變化，如來回?cái)[動的樹葉、波光粼粼的水面、閃爍的顯示器或攝像機(jī)的規(guī)律性抖動，都會引起像素灰度值在多個中心位置大量聚集，每個位置便會產(chǎn)生1個高斯分布。因本場景基本為條件較好的室內(nèi)環(huán)境，因此選用3個高斯分布構(gòu)成混合高斯模型以表征像素的特征，混合高斯背景模型概率密度曲線示例見圖1，需注意模型會隨前景的變化而動態(tài)變化。

圖1 混合高斯背景模型概率密度曲線示例

2.2 前景提取

根據(jù)上述方法，截取人員移動、站臺靜止?fàn)顟B(tài)、滾動橫紋及交叉波紋等不同場景的動態(tài)視頻進(jìn)行前景提取，將背景置為純黑色，前景值高亮。少量人員和大量人員移動前景提取見圖2、圖3。

圖2 少量人員移動前景提取

圖3 大量人員移動前景提取

攝像機(jī)一般離行人較遠(yuǎn)，行人在監(jiān)控區(qū)域里成像不會太大，前景像素較為集中，背景占據(jù)了絕大部分空間。車站候車室檢票口、出站口等區(qū)域人員大量集中且流動，部分視頻通道呈現(xiàn)出較大規(guī)模像素的前景，可能難以與視頻質(zhì)量不良狀態(tài)進(jìn)行區(qū)分，針對這些通道，可選擇凌晨2：00—5：00時(shí)間段進(jìn)行診斷。車站某些監(jiān)控區(qū)域，如應(yīng)急通道、配線間及部分站臺，大部分時(shí)間處于靜止?fàn)顟B(tài)，前景只有少數(shù)幾個亮點(diǎn)，基本為純黑色，特征明顯。部分室外監(jiān)控區(qū)域即使受到自然光照影響，但背景模型也會根據(jù)時(shí)序漸變，只要沒有出現(xiàn)運(yùn)動物體，將長時(shí)間保持基本純黑的前景。站臺靜止?fàn)顟B(tài)前景提取見圖4。

圖4 站臺靜止?fàn)顟B(tài)前景提取

滾動橫紋與交叉波紋的前景，其像素分布較為均勻（見圖5、圖6）。因此可根據(jù)前景像素空間分布的差異性對視頻質(zhì)量進(jìn)行分類。考慮到特殊情況，當(dāng)人員進(jìn)入監(jiān)控區(qū)域時(shí)，前景將出現(xiàn)人與噪點(diǎn)像素。若人在區(qū)域中停留時(shí)間不長，通過多次采集和診斷可濾除分類誤差。同時(shí)與橫紋或波紋等前景像素相比，人的前景像素占比較少，不太會引起分類誤差的出現(xiàn)。

圖5 滾動橫紋前景提取

圖6 交叉波紋前景提取

3 支持向量機(jī)分類

3.1 訓(xùn)練樣本構(gòu)建

根據(jù)前景像素空間分布的顯著差異性對視頻質(zhì)量進(jìn)行分類，首先應(yīng)考慮對這種差異進(jìn)行量化。車站監(jiān)控視頻有CIF、4CIF及1080P等多種格式，經(jīng)權(quán)衡，將前景圖像分為8×8個相同尺寸的矩形區(qū)域，不能整除的部分可舍棄。因不同格式其矩形區(qū)域所含像素個數(shù)不同，因此需將前景像素?cái)?shù)量進(jìn)行歸一化。計(jì)算每個區(qū)域包含像素的數(shù)量Xtotal和區(qū)域前景像素?cái)?shù)量Xfront，根據(jù)式（1）計(jì)算每個區(qū)域中前景數(shù)量所占的比重：

找到比重W的最大值Wmax，根據(jù)式（2）將比重矩陣歸一化：

然后將歸一化后的Xregu矩陣轉(zhuǎn)化成向量。將圖2—圖6中的前景轉(zhuǎn)化為向量后，計(jì)算向量的非零值比例及頻數(shù)分布的峰度系數(shù)[3]（見表1）。

表1 向量的非零值比例及頻數(shù)分布的峰度系數(shù)

通過以上2個指標(biāo)可以看出，波紋及橫紋的不良視頻與少量人員移動及監(jiān)控區(qū)域靜止的良好視頻有顯著差異，但與大量人員移動的良好視頻差異性不大。一方面說明此方法可行性強(qiáng)，另一方面建議大量人員移動的監(jiān)控通道應(yīng)在凌晨車站停止?fàn)I業(yè)后進(jìn)行檢測。

3.2 超平面訓(xùn)練

如上所述，雖然從統(tǒng)計(jì)數(shù)據(jù)可對視頻質(zhì)量進(jìn)行分類，但為實(shí)現(xiàn)各種視頻通道檢測的通用性和兼容性，采用支持向量機(jī)[4]進(jìn)行模型訓(xùn)練。此時(shí)樣本需更加豐富，采集視頻質(zhì)量良好類（包括人員移動、物體運(yùn)動、靜止視頻等）20個前景向量和視頻質(zhì)量不良類（包括滾動橫紋、交叉波紋及雪花噪聲等）20個前景向量，進(jìn)行分類標(biāo)注后輸入支持向量機(jī)，訓(xùn)練分類超平面。

在機(jī)器學(xué)習(xí)中，支持向量機(jī)屬于二分類的監(jiān)督學(xué)習(xí)模型，可用于分類和回歸分析。給定一組訓(xùn)練樣本并分為兩類，利用樣本對分類超平面進(jìn)行訓(xùn)練，將兩類樣本區(qū)分開的同時(shí)，讓兩類樣本中離超平面最近的樣本盡量與超平面保持最大的距離，以使分類器達(dá)到最大的分類可靠性。除了進(jìn)行線性分類，支持向量機(jī)還可使用核技巧，將樣本映射到高維特征空間中有效地進(jìn)行非線性分類，在此使用線性核即可。

利用兩類樣本訓(xùn)練出超平面后，一旦接收到新的待分類樣本，只需判斷此前景向量在超平面的哪一側(cè)，即可診斷此向量所屬視頻的質(zhì)量。

4 系統(tǒng)應(yīng)用

2016年8月，鐵路客站視頻質(zhì)量智能診斷系統(tǒng)在虹橋站及虹橋通信車間進(jìn)行應(yīng)用。應(yīng)用初期以人工和機(jī)器并行的方式對視頻監(jiān)控系統(tǒng)進(jìn)行巡視，診斷出所有視頻質(zhì)量問題，未發(fā)現(xiàn)漏報(bào)，誤檢率低，每100個預(yù)警事件中只有3個左右的誤檢，而且基本是由于夜間照明不足、攝像機(jī)信噪比低造成的。系統(tǒng)應(yīng)用界面見圖7。

圖7 系統(tǒng)應(yīng)用界面

鐵路客站視頻質(zhì)量智能診斷系統(tǒng)可滿足大型客站視頻監(jiān)控系統(tǒng)日常維護(hù)需要，根據(jù)應(yīng)用場景的差異進(jìn)行適應(yīng)性改造，也可用于高鐵線路、存車場、貨運(yùn)、倉儲、房建及機(jī)車車輛檢修現(xiàn)場等監(jiān)控系統(tǒng)的視頻質(zhì)量智能診斷工作[5]。

[1]ZIVKOVIC Z. Improved adaptive gaussian mixture model for background subtraction[C]//International Conference on Pattern Recognition. IEEE Computer Society，2004.

[2]劉洪生，蔣紅海，忽正熙. 基于高斯混合 模型的磁瓦合格分類研究[J]. 制造業(yè)自動 化，2017，39(1)：113-115.

[3]陳新武，馬文娟. 以能量和峰度為特征的 輪廓波紋理檢索算法[J]. 信陽師范學(xué)院學(xué) 報(bào)：自然科學(xué)版，2014(3)：432-435.

[4]肖靚. 基于支持向量機(jī)的圖像分類研究[D]. 上海：同濟(jì)大學(xué)，2006.

[5]鄭健，張萼輝，胡雄偉. 高鐵視頻監(jiān)控智 能識別預(yù)警系統(tǒng)在滬杭客專上的應(yīng)用[J]. 中國鐵路，2016(10)：77-80.

Research and Application of Intelligent Diagnostic Technology for Video Quality of Railway Station

HU Xiongwei，ZHANG E’hui
（Institute of Science and Technology，China Railway Shanghai Group Co Ltd，Shanghai 200071，China）

As the scale of video monitoring system increases, the inspection work of railway station video quality becomes more and more heavier. Consequently, manual patrol cannot meet the requirements for daily maintenance for the video monitoring system of large railway station. The paper puts forward an intelligent diagnostic technology for video quality, extracts video foreground by Gaussian Mixture Modeling method,labels the vectorization and normalization of foreground, make trainings by support vector machine and obtains classification hyperplane which can be used for video quality diagnose. The video monitoring intelligent diagnose system of railway station based on the technology can meet the requirements for daily maintenance of the video monitoring system for large railway station.

railway station；video quality；intelligent diagnose；Gaussian Mixture Model；support vector machine

U298

A

1001-683X（2017）12-0084-04

10.19549/j.issn.1001-683x.2017.12.084

胡雄偉（1979—），男，高級工程師，碩士。 E-mail：24245225@qq.com

張萼輝（1980—），男，高級工程師，碩士。 E-mail：18918121605@126.com

責(zé)任編輯 盧敏

2017-11-01