基于圖像顯著性特征的交通標志注視點預測方法＊

徐 志 關宏志 嚴 海 陳二慧

（北京工業(yè)大學建筑工程學院1） 北京 100124） （天津市城市規(guī)劃設計研究院2） 天津 300201）

0 引 言

從20世紀90年代起，人們便開始了對交通視認性的基礎性研究工作．近年來，這些研究取得了一些成果，并在道路交通標志標牌的設計規(guī)范制定方面取得了一些進展．對于標志視認的研究，國內(nèi)外研究大多集中在駕駛員的反應［1］、光照影響［2］、材料反光／發(fā)光特性［3］、顯示方式［4］等方面．目前，隨著相關研究的不斷發(fā)展，人們越來越發(fā)現(xiàn)從人的視認特性、注視特性等人的生理、心理曾經(jīng)研究的必要性．其中，人在識別圖像是的注視點的分布規(guī)律，是研究這些問題的基礎．但是，復雜的眼動實驗設計和實驗條件，在一定程度上制約了相關研究的進展．

本文以Ltti的視覺注意模型為基礎，通過高斯金字塔的生成、多通道圖像特征的提取及特征圖的生成以及顯著性圖的生成等步驟，建立針對交通標志的注視點預測模型．通過MATLAB實現(xiàn)對模型的編程．并以眼動儀為手段，以相似度和線性距離兩項指標對模型精度進行評價．通過該方法，本文希望實現(xiàn)對交通標志注視點的有效預測，從而為交通標志的設計提供有效的工具．

1 基于圖像顯著性特征的注視點預測模型

Koch等［5］提出了基于顯著性分布圖的視覺注意模型，其后陸續(xù)出現(xiàn)了很多基于顯著性特征分布圖的視覺注意模型［6］．這些模型的提出在于不需要利用眼動儀進行復雜的眼動實驗，即可得到輸入圖像或視頻中人類視覺最感興趣的區(qū)域．目前這些模型已經(jīng)應用到目標檢測［7］和圖像分析［8］等領域中．

基于Laurent Ltti的視覺注意模型［9－10］，本文將其運用到交通標志注視點預測的工作中，以期在交通標志版面設計的工作中發(fā)揮作用．模型流程圖見圖1．

1．1 高斯金字塔對圖像的過濾

金字塔技術是一個由圖像處理和信號處理等學科發(fā)展出來的多尺度的信號處理技術，該方法將信號或者圖像進行多次平滑和抽樣．高斯金字塔是在圖像處理中采用的技術，特別是在紋理合成方面應用較多，該技術涉及創(chuàng)建一系列圖像．這些圖像使用高斯平均（高斯模糊）等方法逐步對圖像進行過濾，從而生成一系列分辨率和圖像密度不斷降低的圖像序列．圖2以一維情況為例，解釋高斯金字塔的生成情況．圖中g0圖像為原始圖像，g1圖像是基于g0圖像按照一定規(guī)則進行抽樣或者過濾后的圖像，g2圖像是基于g1圖像按照一定規(guī)則進行抽樣或過濾后的圖像．經(jīng)過逐層抽樣或者過濾后形成的圖像序列稱為高斯金字塔［11］．

圖1 基于顯著性的注視點預測模型示意圖

圖2 高斯金字塔的生成過程

本文中采用高斯金字塔技術對交通標志的圖像進行抽樣，生成9個尺度的高斯金字塔．為了方便抽樣，橫向和縱向的圖像抽樣系數(shù)為1∶2k．其中k為高斯金字塔的尺度，k∈［0．．8］．

1．2 多通道圖像特征提取及特征圖的生成

圖像特征提取工作是在Center－surround方法的基礎上完成的，選擇了顏色、亮度以及角度三類圖像特征．所謂Center－surround方法是指高斯金字塔不同尺度圖像之間的廣義差分操作，以符號Θ表示．其中Center是指在高斯金字塔低尺度上的圖像（Center尺度用c表示，c∈｛2，3，4｝），surround是指在高斯金字塔高尺度上的圖像（surround尺度用s表示，s＝c＋α，α∈｛3，4｝）．通過廣義差分操作，每一通道的特征都可以表示為6張不同的特征圖，其尺度對分別為2－5，2－6，3－6，3－7，4－7，4－8．

設r，g，b分別為輸入圖像的紅色、綠色和藍色通道，令亮度指標I＝（r＋g＋b）／3．用I創(chuàng)建高斯金字塔I（k）．那么亮度特征圖則可以通過下式得到

為了將顏色信息從亮度信息中合理的分離出來，用I對r，g，b 3個顏色通道進行標準化處理．考慮到現(xiàn)有標志的顏色特征，基于“Color doubleopponent”理論：人類視野中心的神經(jīng)元由一種顏色引起興奮（如紅色），又被另一種顏色所抑制（如綠色），而視野的周圍恰好相反．基于此理論建立4個廣義顏色通道：藍色：B＝b－（r＋g）／2；綠色：G＝g－（r＋b）／2；紅色：R＝r／（b＋g）／2；黃色：Y＝｜（r＋g）／2－｜r－g｜／2－b｜≥0．然后分別為這四個顏色通道創(chuàng)建高斯金字塔B（k），G（k），R（k），Y（k）．由此，顏色特征圖可以通過下式得到

為了得到方向信息，先對I進行Gabor濾波，生成一系列的 Gabor金字塔O（k，θ）．其中：θ為方向．考慮到不同類交通標志中圖像信息中路網(wǎng)圖像的特征，選擇θ∈｛0°，30°，45°，60°，90°，120°，135°，150°｝．方向特征圖可以通過下式得到

O（c，s，θ）＝ ｜O（c，θ）ΘO（s，θ）｜

1．3 顯著性圖生成

將各通道生成的特征圖合成顯著性圖存在2個問題：（1）各通道的特征圖具有不同的提取機制，也就是說不同通道的特征圖無法在同一標準下進行比較；（2）個別特征圖上的顯著信息會被其它圖上的噪聲湮沒，因此需要對各通道特征圖進行標準化．在對各通道特征圖進行標準化方面，現(xiàn)有的基于顯著性的視覺注意模型所采用的方法主要有3種N（·）算子、DoG濾波以及隨機抽樣等方法．本文采用DoG濾波方法在對各通道特征圖進行標準化．

DoG濾波方法具體的做法是：將各通道特征圖數(shù)值標準化到（0，1）區(qū)間內(nèi)，用以消除不同的提取機制下不同特征圖之間的差別．使用DoG濾波算子加入原圖進行迭代運算，DoG濾波算子表示為：

式中：σex和σinh分別為輸入圖像寬度的2%和25%；cex＝0．5；cinh＝1．5．特征圖如果用 M 表示的話，那么加入DoG濾波算子后的標準化過程可以表示為

通過不斷的迭代，可以完成圖像特征圖標準化的過程．迭代的次數(shù)并沒有一個判斷的標準，本文選擇文獻［10］中推薦的10次作為迭代次數(shù)．

在標準化過程之后，各通道內(nèi)各尺度的特征圖跨尺度廣義疊加為一張標準的特征圖．各通道各自的特征圖在尺度4下線性加權求和，即可得到最終的顯著性圖．在現(xiàn)行加權求和的過程中，各通道的權重系數(shù)按照文獻［9］中的1：1：1進行計算．

圖3 MATLAB實現(xiàn)圖像特征提取的效果圖

2 注視點預測模型預測效果實驗驗證

2．1 注視點預測模型在MATLAB中的實現(xiàn)

上述算法可以借助MATLAB中的圖像處理工具箱得到實現(xiàn)，圖像特征提取的效果圖見圖3．

2．2 使用眼動儀進行標志注視點實測

為了驗證模型的有效性，本文采用現(xiàn)有的各類常見標志對模型進行驗證．在實驗中，本文根據(jù)GB 5768．2—2009：道路交通標志和標線中對現(xiàn)有標志的分類，共采用2大類35種標志作為測試標志為被試呈現(xiàn)．測試標志中以常規(guī)標志為主，考慮到可變信息標志視認特性的特殊性，本文也選擇了少量的全可變和部分可變信息標志進行測試，采用的測試標志詳細信息見表1．

表1 測試標志詳細信息

本實驗采用SensoMotoric Instruments公司的iView XTMHED型眼動儀，通過室內(nèi)實驗的方式進行．45種測試標志通過PowerPoint軟件向被試順序播放，每種標志向被試呈現(xiàn)的時間為4s．實驗結束后，將同一標志的注視點分布情況進行統(tǒng)計，得到注意點分布圖見圖4中．

實驗驗證過程招募被試30名，其中男女被試各15名，被試年齡范圍從19～30歲，所有被試均持有駕照．被試的具體信息見表2．

圖4 實驗使用的眼動儀及標志注視點分布圖

表2 被試基本信息

2．3 實驗驗證

為了評價顯著性圖中預測結果的準確性，采取相似度和線性距離2項指標進行評價．

將標志版面按照其上文字大小進行網(wǎng)格劃分（無文字標志按照同類標志文字大小進行劃分），顯著性圖上的預測注視點（如圖5中的●）以及眼動儀的檢測結果（如圖5中的○）都可以繪制在同一張網(wǎng)格圖上．如果二者在某一區(qū)域落入同一網(wǎng)格內(nèi)，則稱二者在這一區(qū)域相似，如果二者在某一區(qū)域不能落入同一網(wǎng)格內(nèi)，則稱二者在這一區(qū)域不相似．相似度被定義為相似網(wǎng)格數(shù)與實測和預測序列注視點平均值的比值．該指標可以反映在標志文字的大小的精度條件下，預測情況與實際情況相符合情況．

圖5 相似度和線性距離示意圖

相似度指標可以表示為

式中：S為相似度；n為預測結果和實測結果落入同一網(wǎng)格的網(wǎng)格數(shù)；n1為預測序列注視點數(shù)量；n2為實測注視點序列的注視點數(shù)．

線性距離指標［12］可以定量描述預測序列和實測序列的符合情況，即

式中：D為線性距離；n1為預測序列熱點區(qū)域數(shù)量；n2為實測注視點序列的注視點數(shù)．d1i為預測序列第i個熱點區(qū)域至最近的一個實測注視點的距離；d2j為實測序列第j個注視點至最近的一個預測序列熱點區(qū)域的距離；a為圖像長度；b為圖像寬度．

以相似度和線性距離兩項指標作為評價標準，將眼動儀實測注視點序列與顯著性圖注視點預測序列進行對比，得到的實驗結果見表3．

表3 實驗驗證測試結果

3 結束語

通過試驗驗證測試結果可以看到，基于圖像顯著性特征的交通標志預測方法，對于復雜的大型標志，如可變信息標志以及指路標志等，平均相似度達到80%以上，認為注視點實測序列與預測序列相似度較高，平均線性距離小于0．1，預測效果較好．而這種方法對于單圖像標志，比如警告標志以及禁令標志等，平均相似度低于50%，認為注視點實測序列與預測序列相似度不高，平均線性距離大于0．2，預測效果較差，還不能達到令人滿意的預測效果．在進一步的研究中，將著重解決單圖像標志以及可變信息標志中復雜路網(wǎng)信息的注視點預測問題．

除此之外，在進一步的研究中還有如下問題有待研究和改進：（1）特征圖生成過程中DoG濾波迭代次數(shù)以及在對各通道特征圖加權求和的過程中各通道的權重系數(shù)目前還是依靠經(jīng)驗，并沒有科學的依據(jù)．在進一步的研究中可以引入帶有反饋機制的算法，對這些參數(shù)進行合理的標定．（2）在進行眼動儀驗證實驗中，本文只招募了30名被試，而且從年齡分布來看，被試年齡集中在青年階段，實驗樣本中缺乏中老年被試的實驗數(shù)據(jù)．在進一步的研究中，將以現(xiàn)狀駕駛員年齡分布作為總體，按比例招募中老年被試參與實驗，盡量使樣本分布反映總體分布情況．

［1］MARIEKE H，MICAH R J F．Do familiarity and expectations change perception？Drivers’glances and response to changes［J］．Transportation Research Part F，2007（10）：476－492．

［2］HELMUT T Z，F(xiàn)AZLEENA F B，SAHIKA V．Legibility performance under high luminance and contrast conditions at night［C］∥Proceedings of the 83th TRB Annual Meeting，Washington D．C．，2004．

［3］朱祖祥，沈模衛(wèi)．VDT點陣尺寸對漢字顯示工效的影響［J］．心理學報，1991（4）：380－386．

［4］THOMAS S，F(xiàn)UAT A，LI Changbao．Traffic sign luminance requirements of nighttime drivers for symbolic signs［C］∥Proceedings of the 83th TRB Annual Meeting，Washington D．C．，2004．

［5］KOCH C，ULLMAN S．Shifts in selective visual attention：towards the underlying neuronal circuitry［J］．Human Neurobiology，1985（4）：219－227．

［6］WALTHER D，KOCH C．Modeling attention to salient proto－objects［J］．Neural Networks，2006，19（9）：1395－1407．

［7］NAJEMNIK J，GEISLER W S．Optimal eye move－ment strategies in visual search［J］．Nature，2005，434（3）：387－391．

［8］ITTI L．Automatic foveation for video compression using a neurobiological model of visual attention［J］．IEEE Trans．on Image Processing，2004，13（10）：1304－1318．

［9］ITTI L，KOCH C，NIEBUR E．A model of saliencybased visual attention for rapid scene analysis［J］．IEEE Trans on Pattern Analysis and Machine Intelligence（S1524－9050），1998，20：1254－1259．

［10］ITTI L，KOCH C．A saliency－based search mechanism for overt and covert shifts of visual attention［J］．Vision Research，2000，40（5）：1489－1506．

［11］BURT P，ADELSON E．The laplacian pyramid as a compact image code［J］．IEEE Trans．On Communications，1983，31：532－540．

［12］MANNAN S，RUDDOCK K H，WOODING D S．Automatic control of saccadic eye movements made in visual inspection of briefly presented 2－D images［J］．Spatial Vision，1995（9）：363－386．