林岱昆，梁偉棠，梁浩文，范 杭，蘇劍邦，朱 彤，許宇滿，王嘉輝，周建英

(中山大學(xué) 物理科學(xué)與工程技術(shù)學(xué)院，廣東 廣州 510275)

基于人臉跟蹤的時(shí)空無縫裸眼3D顯示技術(shù)研究

林岱昆，梁偉棠，梁浩文，范 杭，蘇劍邦，朱 彤，許宇滿，王嘉輝，周建英

(中山大學(xué) 物理科學(xué)與工程技術(shù)學(xué)院，廣東 廣州 510275)

裸眼立體顯示技術(shù)普遍存在視角范圍受限、串?dāng)_嚴(yán)重、甚至存在逆視區(qū)域等問題?；陔p目視覺與人臉跟蹤的方法，根據(jù)人臉的空間坐標(biāo)控制背光方式，在全分辨率裸眼立體顯示的基礎(chǔ)上實(shí)現(xiàn)了視區(qū)空間的無縫覆蓋；并進(jìn)一步采用ROI方法能程序運(yùn)行幀率提升至20 f/s(幀/秒)以上，從而實(shí)現(xiàn)時(shí)間上的無縫切換。實(shí)驗(yàn)證明，基于此技術(shù)所研制的系統(tǒng)能滿足人臉實(shí)時(shí)跟蹤需求，實(shí)現(xiàn)空間與時(shí)間無縫的裸眼3D圖像顯示。

人臉跟蹤；ROI方法；逆視現(xiàn)象；裸眼3D顯示

近年來，立體顯示(3D)技術(shù)及其應(yīng)用隨著3D電影和3D頻道的熱播而重新成為顯示領(lǐng)域科技的研究熱點(diǎn)。憑借不需佩戴輔助式眼鏡即可獲得立體視覺感受的優(yōu)勢，裸眼3D被視為立體顯示未來的主流方向[1-2]?，F(xiàn)在主流的裸眼立體顯示技術(shù)為視障光柵(parallax barrier)與柱透鏡陣列(lenticular lens array)技術(shù)，這二者存在諸如分辨率下降[3]、串?dāng)_率高[4]、視角狹小、視區(qū)交替排布等問題。研究表明，主流的裸眼3D顯示串?dāng)_率大多超過5%[5-6]，這將導(dǎo)致一半以上的觀看者感到視覺上明顯的不舒適。由于視區(qū)交替排布，用戶稍加移動(dòng)，便可能偏移合適的位置，觀看到了錯(cuò)誤的圖像，引起眩暈、惡心[7]，此現(xiàn)象稱為“逆視”，即左、右眼圖像錯(cuò)送至另一只眼睛。為此，科學(xué)家們開展了相關(guān)的研究以克服上述技術(shù)缺陷，例如采用多視點(diǎn)技術(shù)以實(shí)現(xiàn)空間視角的拓展，即通過調(diào)整像素的差值排布方式，增加視點(diǎn)數(shù)量，使觀看者在移動(dòng)過程中觀看到的圖像連續(xù)，但會(huì)引起實(shí)際分辨率的進(jìn)一步降低，且未能抑制串?dāng)_的產(chǎn)生。擴(kuò)展視角還可采用用戶跟蹤技術(shù)，實(shí)時(shí)監(jiān)測人臉、人眼所在的位置，向特定的方向放送3D信號。由于此方式可保持分辨率以及較低的串?dāng)_，可見人臉、人眼跟蹤技術(shù)將成為未來裸眼3D顯示的標(biāo)配技術(shù)之一[8]。

為避免主流裸眼3D技術(shù)存在的問題，本課題組提出了時(shí)空混合控制裸眼立體顯示技術(shù)[9]，可實(shí)現(xiàn)全分辨率裸眼3D顯示，并有效降低串?dāng)_率。但該技術(shù)的視區(qū)仍呈交替分布，同樣存在逆視區(qū)域。為此，本文利用優(yōu)化的人臉跟蹤技術(shù)實(shí)時(shí)獲得用戶所在的準(zhǔn)確位置，并據(jù)此迅速切換左右視區(qū)，從而保證用戶在空間和時(shí)間上無縫地觀看到清晰、優(yōu)質(zhì)的立體圖像。

1 原理與算法

1.1 原理部分

為了消除“逆視”現(xiàn)象，達(dá)到自然流暢的觀看效果，本文分別從空間和時(shí)間兩方面進(jìn)行考慮。

空間無縫：裸眼3D顯示基于視差成像原理，將立體圖像間隔地送到空間不同位置，左右眼圖像的顯示區(qū)域分別稱為左眼視區(qū)和右眼視區(qū)。當(dāng)觀看者左右眼分別處于相應(yīng)視區(qū)時(shí)，即可正常觀看立體圖像，如圖1a所示；如果觀看者發(fā)生橫向移動(dòng)，將導(dǎo)致“逆視”現(xiàn)象，如圖1b所示。因此，觀看者有50%的幾率處于逆視區(qū)域[1]。監(jiān)控雙眼分別所處的位置，并調(diào)整視區(qū)排布形式與之匹配，如圖1c所示，即可實(shí)現(xiàn)空間上的無縫觀看。

圖1 逆視現(xiàn)象示意圖

時(shí)間無縫：前期實(shí)驗(yàn)發(fā)現(xiàn)，由于視區(qū)切換的響應(yīng)速度過慢，當(dāng)人臉移動(dòng)到相鄰視區(qū)時(shí)，系統(tǒng)未能及時(shí)切換左右眼視區(qū)；滯后的視區(qū)切換，將導(dǎo)致觀看者感覺圖像產(chǎn)生“跳變”，影響了3D觀看體驗(yàn)?；贏daboost+Cascade+Haar算法，本文集中研究了采用感興趣區(qū)域(Region Of Interesting， ROI)方法進(jìn)行人臉檢測的實(shí)時(shí)優(yōu)化，以及通過與下位機(jī)進(jìn)行通信控制背光方式，在視覺暫留時(shí)間內(nèi)完成對用戶的跟蹤行為，實(shí)現(xiàn)時(shí)間上的無縫觀看。

由于時(shí)空混合控制裸眼3D顯示系統(tǒng)在最佳觀看距離處的視區(qū)寬度明顯大于瞳孔直徑，不會(huì)出現(xiàn)左右眼同時(shí)處于同一圖像區(qū)域的現(xiàn)象，因此在實(shí)際應(yīng)用中采用人臉檢測已可滿足實(shí)用的要求。人臉檢測的方法有很多[10]，如有膚色區(qū)域分割與人臉驗(yàn)證的方法[11]，基于啟發(fā)式模型的方法[12]，基于統(tǒng)計(jì)模型的方法[13]等。本文采用了基于統(tǒng)計(jì)模型中的Adaboost+Cascade+Haar算法，該算法利用積分圖進(jìn)行相關(guān)計(jì)算，通過分類器級聯(lián)的方法提升效率，在速度與精度的綜合性能上具有優(yōu)異表現(xiàn)，是目前人臉檢測最為成功的算法之一。AdaBoost算法基于Haar矩形特征量化了人臉特征，用于評估人臉和非人臉，訓(xùn)練時(shí)通過調(diào)整每個(gè)樣本對應(yīng)的權(quán)重獲得強(qiáng)分類器。Cascade算法則將上述AdaBoost訓(xùn)練的強(qiáng)分類器進(jìn)行級聯(lián)，形成級聯(lián)分類器。其中，級聯(lián)時(shí)位置越靠后的分類器將具有越強(qiáng)的分類能力。待檢測區(qū)域圖像只有通過所有的節(jié)點(diǎn)分類器才被接受為人臉區(qū)域。

1.2 人臉跟蹤算法

人臉跟蹤算法可分為人臉檢測、人臉定位與跟蹤策略判定。本算法利用兩臺攝像機(jī)同時(shí)分別拍攝兩張不同角度的圖像，通過人臉檢測技術(shù)分別從這兩張圖像中獲取人臉位置，返回其圖像坐標(biāo)；進(jìn)而通過攝像機(jī)之間位置關(guān)系，以及上述的兩個(gè)圖像坐標(biāo)，計(jì)算出人臉的空間坐標(biāo)，從而讓系統(tǒng)實(shí)時(shí)地掌握觀看者的動(dòng)向，向下位機(jī)發(fā)送指令，實(shí)現(xiàn)圖像的匹配放送。具體流程框圖如圖2所示。

圖2 程序流程圖

1.2.1 人臉檢測優(yōu)化

人臉檢測過程當(dāng)中，耗時(shí)最長的環(huán)節(jié)是使用Haar分類器對整個(gè)畫面進(jìn)行遍歷。當(dāng)程序運(yùn)算速度足夠快時(shí)，每兩幀之間人臉位移較小，并不需要遍歷整個(gè)畫面，只須以原檢測到人臉的區(qū)域?yàn)橹行?，擴(kuò)展一定的范圍作為ROI，僅對該區(qū)域進(jìn)行搜尋即可實(shí)現(xiàn)效率與準(zhǔn)確率兼顧的人臉檢測。此ROI方法具體操作如下：在第n幀圖像中檢測到人臉，得到人臉區(qū)域的長Wface和寬Hface；設(shè)定ROI參數(shù)為scale，使長和寬分別擴(kuò)大為

(1)

(2)

式中：WROI，HROI即為ROI區(qū)域的寬和高，從而得到ROI區(qū)域，如圖3所示。處理第n+1幀圖像時(shí)，僅僅在這個(gè)ROI(圖中虛線框區(qū)域)中檢測人臉；若檢測不到人臉，則取消ROI，進(jìn)行全圖檢測，以確保沒有人臉被漏檢。本方法提高檢測幀率的關(guān)鍵在于ROI參數(shù)scale的設(shè)置，后文將通過實(shí)驗(yàn)具體討論ROI參數(shù)scale的設(shè)置。

1.2.2 人臉定位與跟蹤策略判定

根據(jù)兩個(gè)攝像頭拍攝所得的人臉中心圖像坐標(biāo)Ol(xl,yl)和Or(xr,yr)，及攝像頭間幾何位置關(guān)系，可用相似三角形法確定人臉在真實(shí)空間中的三維位置。如圖4所示，以雙攝像頭連線中點(diǎn)為空間坐標(biāo)原點(diǎn)(0，0，0)，并將2幅圖像中對應(yīng)點(diǎn)

圖3 第n+1幀ROI示意圖

的像素坐標(biāo)換算為實(shí)際坐標(biāo)，進(jìn)而可推導(dǎo)出物體的空間坐標(biāo)公式

(3)

(4)

(5)

式中：f為攝像頭鏡頭焦距；T為攝像頭鏡頭光心的水平距離；Wimage為顯示圖像寬度；Himage為顯示圖像高度；(X，Y，Z)為被測物體的空間坐標(biāo)。

圖4 已知特征對應(yīng)點(diǎn)坐標(biāo)示意圖

本系統(tǒng)設(shè)計(jì)最佳觀賞距離為93 cm，在該水平面上規(guī)定5個(gè)可視位置，并將其依次排序編號0～4。在根據(jù)上述定位方法確定了人臉的空間坐標(biāo)之后，算法將判定人臉?biāo)幍奈恢?，并向串口發(fā)送相應(yīng)的信號，控制背光向?qū)?yīng)的視區(qū)，放送正確的立體圖像對。

2 系統(tǒng)的搭建

系統(tǒng)中的人臉跟蹤模組由2個(gè)型號為大恒DH-HV1351UM的USB攝像頭完成拍攝，曝光時(shí)間設(shè)置為10 ms，曝光系數(shù)設(shè)置為mode_0，采集圖像的格式設(shè)置為320×256；處理計(jì)算機(jī)CPU型號為Intel Core(TM)i7，雙核主頻均為2.67 GHz，可用內(nèi)存大小為3 Gbyte。

計(jì)算機(jī)處理圖像后輸出指令傳遞到下位機(jī)，下位機(jī)中的FPGA模塊獲取該信號之后，開啟特定的背光LED，關(guān)閉對應(yīng)其他區(qū)域的LED，從而實(shí)現(xiàn)對特定區(qū)域的圖像輸送。例如：當(dāng)人臉處在2號視區(qū)，相應(yīng)發(fā)送信號“2”至下位機(jī)，從而開啟對應(yīng)視區(qū)2的背光LED燈組。此外，設(shè)定信號“5”為全背光開啟，當(dāng)退出3D觀看模式以及檢測到人臉不在3D觀看區(qū)域內(nèi)時(shí)，程序?qū)⑾蛳挛粰C(jī)發(fā)送“5”。

經(jīng)過整合以上器件，全高清裸眼3D顯示原型機(jī)實(shí)物及相應(yīng)的人臉跟蹤程序界面如圖5所示。

圖5 高清裸眼3D顯示原型機(jī)實(shí)物圖及人臉跟蹤程序界面(截圖)

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本技術(shù)所實(shí)現(xiàn)的視區(qū)在空間上無縫，本文首先進(jìn)行一個(gè)仿真實(shí)驗(yàn)：以視區(qū)劃定區(qū)域的白板為承接屏，以假人頭像作為標(biāo)準(zhǔn)參考物，設(shè)置綠色和紅色圖像分別為左眼和右眼圖像。移動(dòng)假人頭像，使其分別出現(xiàn)在各個(gè)視區(qū)，通過觀察紅綠色光在白板上的投影區(qū)域，即可驗(yàn)證本設(shè)計(jì)對于消除逆視區(qū)域是否切實(shí)有效。如圖6所示，人臉出現(xiàn)在各個(gè)視區(qū)中都可以得到系統(tǒng)準(zhǔn)確的響應(yīng)，證明本技術(shù)有效消除了逆視區(qū)域，保證了空間上的無縫觀看。

圖6 人臉跟蹤有效性實(shí)驗(yàn)圖

在此基礎(chǔ)上，本文為進(jìn)一步實(shí)現(xiàn)時(shí)間上的無縫顯示效果，并通過實(shí)驗(yàn)進(jìn)行檢驗(yàn)。根據(jù)人體運(yùn)動(dòng)速度的先驗(yàn)知識，ROI參數(shù)scale設(shè)定為0.06，0.08，0.01，0.12，0.14，0.16。以同一測試源分別進(jìn)行5 min的測試，該視頻源中人臉在程序的監(jiān)控畫面里以固定的頻率和速度移動(dòng)，檢測得到的數(shù)據(jù)記錄如表1所示。

表1 不同ROI系數(shù)所測得的數(shù)據(jù)對比

從人臉檢測率一欄表明，本程序檢測率穩(wěn)定在98%～99%，可以實(shí)現(xiàn)準(zhǔn)確的人臉檢測。在此基礎(chǔ)上，記優(yōu)化后的分類器耗時(shí)為tclassifier，ROI內(nèi)檢測率為rROI，即在ROI中能準(zhǔn)確檢測到人臉的概率。在圖7a中繪制出分類器耗時(shí)、ROI內(nèi)檢測率與ROI系數(shù)的關(guān)系曲線。為了綜合以上兩個(gè)因素進(jìn)行考慮，本文定義ROI檢測幀率feff為每秒所能正確檢測的幀數(shù)，即

(6)

以feff對優(yōu)化的有效性做評估。feff越大，表明scale取此數(shù)值將獲得更好的優(yōu)化效果。將計(jì)算結(jié)果繪制如圖7b所示。

圖7 ROI系數(shù)選取參考曲線

由圖7可知，ROI檢測幀率隨著ROI系數(shù)增大而增大，當(dāng)ROI系數(shù)為0.14之后，分類器耗時(shí)反而開始增加，而ROI內(nèi)檢測率提高不明顯，導(dǎo)致當(dāng)ROI系數(shù)大于0.14時(shí)，ROI檢測幀率開始下降。因此，本文取定參數(shù)scale為0.14。優(yōu)化前后的分類器耗時(shí)對比如表2所示。

表2 優(yōu)化前后人臉檢測效率對比

長時(shí)間(約30 min)測試結(jié)果表明，在雙攝像頭情況下，系統(tǒng)工作頻率高于23 f/s(幀/秒)，趨向人眼不可分辨的頻率閾值(24 f/s)，人臉檢測正確率高于98%，因而理論上可以實(shí)現(xiàn)圖像的時(shí)間無縫切換。經(jīng)多名被試者觀看后反饋，本系統(tǒng)3D顯示效果生動(dòng)清晰，移動(dòng)時(shí)圖像在空間各位置切換自然流暢，均未出現(xiàn)逆視現(xiàn)象。因此，本技術(shù)能實(shí)現(xiàn)空間和時(shí)間上的無縫裸眼立體顯示。另外，本技術(shù)通過結(jié)合背光設(shè)計(jì)，可實(shí)現(xiàn)多人的實(shí)時(shí)跟蹤顯示3D圖像，可以應(yīng)用于更廣泛和更豐富的裸眼3D顯示平臺。

4 小結(jié)

本文提出了一種基于人臉跟蹤的裸眼立體顯示設(shè)計(jì)，并對其效果進(jìn)行了實(shí)驗(yàn)，結(jié)果表明：本設(shè)計(jì)能準(zhǔn)確識別人臉，幾乎不發(fā)生漏檢；經(jīng)人像仿真測試，在各個(gè)視區(qū)均能準(zhǔn)確跟蹤；程序優(yōu)化后，分類器效率顯著提高，人臉跟蹤算法運(yùn)行速度提高到20 f/s以上。可見，本設(shè)計(jì)能在時(shí)空復(fù)用裸眼3D顯示系統(tǒng)上有效實(shí)現(xiàn)空間和時(shí)間上的無縫裸眼立體顯示。此外，本設(shè)計(jì)也適用在各類裸眼3D顯示系統(tǒng)上。

[1]DODGSON N A.Autostereoscopic 3D displays[J].IEEE Computer Society(S0018-9162), 2005, 38(8)：31-36.

[2]KONRAD J，HALLE M.3-D displays and signal processing[J].IEEE Signal IEEE Signal Processing Magazine,2007, 24(6): 97-111.

[3]BERKEL C V.Image preparation for 3D-LCD[J]. Proceedings of SPIE on Stereoscopic Displays and Virtual Reality Systems VI,1999,3639(5)：84-91.

[4]BARKOWSKY M, CAMPISI P.Crosstalk measurement and mitigation for autostereoscopic displays[C]//Proc.SPIE.[S.l.]：IEEE Press,2010：7526.

[5]JANG J S, JIN F.Three-dimensional integral imaging with large depth of focus by use of real and virtual image fields[J].Opt.Lett.,2003,28(16):1421-1423.

[6]SONG Y W, JAVIDI B.3D object scaling in integral imaging display by varying the spatial ray sampling rate[J].Opt.Exp.,2005,13(9):3242-3251.

[7]張兆楊，安平，張之江.發(fā)展3DTV需解決的技術(shù)及其應(yīng)用趨勢[J].電視技術(shù)，2010，34(6)：4-6.

[8]深圳超多維光電子有限公司.一種立體顯示方法、跟蹤式立體顯示器及圖像處理裝置:中國,101909219A[P].2010-12-08.

[9]WANG J, LIANG H W.High-quality autostereoscopic display with spatial and sequential hybrid control[J].Appl.Opt.,2013, 52(35):8549-8553.

[10]梁路宏，艾海舟.人臉檢測研究綜述[J].計(jì)算機(jī)學(xué)報(bào)，2002,25(5)：449-458.

[11]邢果，戚文芽.彩色空間的膚色分割及其在人臉檢測中的應(yīng)用[J].電視技術(shù)，2006，30(7)：91-93.

[12]曹永輝, 伍瑞卿, 樊豐.灰度圖像人臉檢測算法研究[J].電視技術(shù)，2007，31(11)：84-86.

[13]徐品，童癸.基于AdaBoost算法和人眼定位的動(dòng)態(tài)人臉檢測[J].電視技術(shù)，2011，35(9)：114-117.

林岱昆，碩士生，主研裸眼3D顯示；

梁偉棠，碩士，主研模式識別與程序開發(fā)；

梁浩文，博士生，主研裸眼3D顯示；

范 杭，博士生，主研裸眼3D顯示；

蘇劍邦，碩士生，主研裸眼3D顯示；

朱 彤，本科生；

許宇滿，本科生；

王嘉輝，博士，實(shí)驗(yàn)師，主研裸眼3D顯示；

周建英，博士，教授，博士生導(dǎo)師，主研裸眼3D顯示，超短激光脈沖與超快過程，超快量子光電子學(xué)等。

責(zé)任編輯：許 盈

Spatially and Temporally Seamless Autostereoscopic Display Technology Research Based on Face-tracking

LIN Daikun, LIANG Weitang, LIANG Haowen, FAN Hang, SU Jianbang, ZHU Tong, XU Yuman, WANG Jiahui, ZHOU Jianying

(SchoolofPhysicsandEngineering，SunYat-SenUniversity，Guangzhou510275，China)

Generally, many problems are found in auto-stereoscopic display technology, such as the limitation of visual angle and serious crosstalk, even as the areas with pseudoscope problem.Based on the method of binocular vision and face tracking，on the basis of the full resolution auto-stereoscopic display system, the seamlessness of the visual volume is achieved by controlling the backlight according to spatial coordinates of faces.Further more, the frame rate of the program with ROI method is increased to 20 f/s or more, and thus the seamless switching came true.It is shown that the needs of real-time face tracking can be satisfied and spatially and temporally seamless auto-stereoscopic display can be achieved by experiences.

face tracking; ROI method; pseudoscope; auto-stereoscopic display

國家“973”計(jì)劃項(xiàng)目(2012CB921904)

TP391.4

B

10.16280/j.videoe.2015.05.018

2014-07-17

【本文獻(xiàn)信息】林岱昆，梁偉棠，梁浩文，等.基于人臉跟蹤的時(shí)空無縫裸眼3D顯示技術(shù)研究[J].電視技術(shù),2015，39(5).