多投影顯示系統(tǒng)的幾何校正及邊緣融合技術(shù)研究與實現(xiàn)＊

陶婷婷， 張亞萍

（云南師范大學 信息學院，云南 昆明650500）

1 引 言

多投影顯示系統(tǒng)由于具有大范圍、高分辨的顯示效果，能夠給用戶帶來很強的視覺沉浸式體驗，目前在科學數(shù)據(jù)可視化、工業(yè)設計、展覽、教育等領(lǐng)域有著廣泛的應用.為了產(chǎn)生完整、逼真的顯示效果，必須解決兩個問題：其一，由于各投影儀擺放位置的任意性以及各投影儀本身的內(nèi)部畸變，相鄰投影儀的投影區(qū)域會出現(xiàn)幾何邊界的不對齊現(xiàn)象，因此需要對投影圖像進行幾何校正.其二，在對多個投影圖像進行拼接時，如果投影儀是重疊投影，則投影圖像的重疊部分會產(chǎn)生一條高亮度顯示區(qū)域；如果是非重疊投影，則相鄰投影圖像之間形成一條拼縫，從而影響投影圖像的整體性，因此，需要對相鄰投影邊緣部分進行融合.

早期多投影顯示系統(tǒng)對圖像的幾何校正和邊緣融合是通過手動拼接和購買昂貴的硬件來實現(xiàn)的，這些方法不僅設備成本高昂，且操作維護困難，需要專業(yè)人員才能使用.目前隨著投影顯示技術(shù)的不斷發(fā)展，計算機圖形設備性能的提高，建立基于PC機的多投影顯示系統(tǒng)，并通過軟件對投影圖像進行校正已經(jīng)成為可能.近年來，出現(xiàn)了很多實現(xiàn)多投影顯示系統(tǒng)的幾何校正和邊緣融合方法.如Raskar［1－3］等人使用一個預先校正好的固定的攝像頭對投影儀進行幾何校正；Ashdown［4］等研究了基于投影儀—相機的平面投影；Okatani［5］等對基于投影儀—相機的自動校正方法進行了深入研究，提出并證明了顯示墻與相機及投影儀對應的透視幾何關(guān)系的自動幾何校正方法；Bhasker［6］等針對投影鏡頭的畸變給出了基于有理Bezier曲面網(wǎng)格的修正方法.國內(nèi)，浙江大學的石教英等人［7］提出了基于數(shù)碼相機反饋的幾何校正算法；王修暉［8］等利用特征條替代特征線來獲取映射關(guān)系，提出了一種高精度的平面幾何校正算法，并將此方法推廣到立體平面幕系統(tǒng).

本文提出的多投影顯示系統(tǒng)基于普通PC機和普通投影儀，采用單臺普通數(shù)碼相機獲取各投影校正參數(shù)，進行幾何校正預處理，利用非線性函數(shù)進行相鄰投影邊緣融合實現(xiàn)無縫拼接顯示.方法簡單有效，能快速地完成圖像的幾何校正并有效消除多投影畫面之間的亮條和拼縫.

2 系統(tǒng)組成

如圖1所示（左），本系統(tǒng)由4臺分辨率為1680＊1050的SHARP投影儀、四臺普通的計算機和一部數(shù)碼相機組成.在確保相鄰投影儀投影區(qū)域有一定重疊的情況下，四臺投影儀任意擺放，組成一個2×2的投影陣列.另外，為了使計算過程簡單化，系統(tǒng)需要對數(shù)碼相機的位置有一定的限制，即讓數(shù)碼相機的鏡頭正對投影屏幕，介于四臺投影儀中間，垂直擺放，以保證獲取到的投影圖像不會產(chǎn)生變形.這樣數(shù)碼相機獲取到的圖像就可以直接作為投影屏幕上的圖像，用于計算每臺投影儀的校正參數(shù).系統(tǒng)流程如圖1（右）.

圖1 多投影顯示系統(tǒng)結(jié)構(gòu)圖（左）、軟件校正整體流程（右）Fig.1 Multi－projector display system architecture （left），and the flow chart of software correction（right）

3 幾何校正原理及算法

3.1 幾何校正原理

理想的情況下，只有當投影儀光軸垂直對準平面顯示屏幕的時候，投影儀才能顯示出正常的圖像.當投影儀的投影角度發(fā)生變化或者投影儀本身徑向形變以及屏幕形變的時候，投影的圖像會發(fā)生一定程度的幾何形變.因此，幾何校正的關(guān)鍵是讓每個投影儀投影圖像的一部分，并對圖像進行預畸變，然后再投影到屬于各自的指定區(qū)域中去，從而形成一副幾何上不失真的完整圖像，原理圖如圖2所示.

圖2 幾何校正原理圖Fig.2 Schematic diagram of geometric correction

3.2 幾何校正算法

3.2.1 特征圖像的捕獲和識別

為了獲取投影屏幕上圖像和原始圖像即幀緩存圖像上點集的對應關(guān)系，需要對每臺投影儀分別投影一組特定模式的特征圖像.系統(tǒng)使用一組6×6的白色圓點作為特征圖像，然后使用數(shù)碼相機獲取特征圖像.通過中值濾波、二值化、基于canny的邊緣檢測和基于hough變換的圓心檢測，求取白色圓點點集的中心坐標，再根據(jù)中心坐標的像素值進行排序，建立投影屏幕圖像點集Pi（xp，yp）與幀緩存圖像Wi（xw，yw）之間的一一對應關(guān)系.如圖3所示上面圖像為每臺投影儀分別投影一組特征點圖像，下面圖像為經(jīng)過上述處理后圖像.

圖3 特征點圖像（上）、處理后特征點圖像（下）Fig.3 Feature images （top），and post－processing feature images（down）

3.2.2 有效區(qū)域劃分

為實現(xiàn)最終顯示畫面的完整性，需要精確的獲取多投影儀顯示畫面的最大有效顯示區(qū)域作為多投影顯示校正后的公共投影區(qū)域，如圖4左圖中Q1Q5Q9Q7以及右圖中的藍色區(qū)域為系統(tǒng)最終確定的最大有效顯示區(qū)域.然后根據(jù)圖像處理算法計算出每臺投影儀在整個顯示屏幕全局坐標系中的顯示區(qū)域，因此需要對最大有效區(qū)域進行最佳分割，由于相鄰投影儀投影區(qū)域有重疊，在進行分割的時候，存在兩種分割方法：有重疊和無重疊的劃分，如圖4所示，左邊圖像為無重疊區(qū)域劃分，右邊為有重疊區(qū)域劃分，記有效區(qū)域圖像為Si（xs，ys）.

圖4 有效區(qū)域劃分（左為無重疊區(qū)域劃分、右有重疊區(qū)域劃分）Fig.4 Effective areas division （Non－overlapping area（left），overlap area（right））

3.2.3 投影圖像校正

幾何校正最為關(guān)鍵的步驟就是求出投影變換矩陣，即幀緩存圖像到投影屏幕圖像之間的變換矩陣，根據(jù)其變換矩陣的逆矩陣對幀緩存圖像進行預畸變.由于多投影顯示系統(tǒng)都是基于平面的，所以需要找到一種用來描述平面之間的幾何變換的變換模型.

通常，對于平面到平面的圖像變換，可以用一個3×3的矩陣來描述其變換關(guān)系模型：

其中，（xp，yp）是變換后的坐標，即投影屏幕圖像上點坐標，（xw，yw）是變換前的坐標，即幀緩存圖像上點坐標，M＝ ［m11m12m13m21m22m23m31m32m33］T是需要求得的參數(shù).w和w＇是為了和三維矩陣構(gòu)成齊次處理而引入的齊次坐標，通常取w＝w＇＝1，m33＝1，則公式（1）可改為：

為了使得計算結(jié)果更加精確，選取36組對應點：［xpi，ypi，1］，［xwi，ywi，1］，i＝｛0，1，…n（n＝35）｝，則根據(jù)公式（2）構(gòu)建矩陣B：

記C＝BTB，根據(jù)線性代數(shù)的相關(guān)內(nèi)容，變換矩陣M等于矩陣C的最小特征根對應的特征矢量.

由上可得經(jīng)過投影到投影屏幕上的圖像Pi＝MWi（Wi為幀緩存圖像），則幀緩存預畸變圖像Hi＝M－1Si（Si為有效投影區(qū)域），將預畸變圖像投影到顯示平面上就可以真正的實現(xiàn)幾何校正，如圖5為兩種不同有效區(qū)域劃分投影結(jié)果，相鄰投影儀在幾何上都實現(xiàn)了對齊.

圖5 幾何校正結(jié)果（左為無重疊區(qū)域投影、右為有重疊區(qū)域投影）Fig.5 Geometric correction results（Non－overlap area projection（left），overlap area projection（right））

4 邊緣融合

由幾何校正結(jié)果可以看出，無重疊的劃分算法在多投影顯示系統(tǒng)中并不是最好的，各種誤差會影響最終的顯示效果.如圖5（左），相鄰的投影區(qū)域間會出現(xiàn)拼縫，這種拼縫很難消除，從而影響用戶的視覺需求，另外，如果投影儀或者投影幕出現(xiàn)震動等都會導致縫隙更加明顯.為了消除邊緣上的誤差所帶來的負面影響，增強整個畫面的整體性，將無重疊的劃分修改成帶有重疊的劃分方法.

消除有重疊區(qū)域劃分方法中相鄰投影重疊區(qū)域的高亮度區(qū)域，通常的方法是采用邊緣融合技術(shù)，使得重疊區(qū)域圖像的顏色亮度平滑過渡，從而實現(xiàn)亮度融合.本文采用了基于非線性函數(shù)的融合方法來實現(xiàn)相鄰投影區(qū)域的亮度邊緣融合，即給重疊區(qū)域圖像的RGB分量分別乘以一個融合函數(shù)f（x）來改變該圖像的亮度，融合函數(shù)f（x）如下：

其中，x為像素點在重疊區(qū)的相對位置，p控制曲線的彎曲程度，a是用來調(diào)節(jié)圖片亮度.當a≥0.5時，重疊區(qū)域偏亮，當a≤0.5時，重疊區(qū)域偏暗，因此，綜合考慮取a＝0.5，p＝2.以左上和右上投影重疊區(qū)域為例，分別為重疊區(qū)域某一像素點到重疊區(qū)域左右邊界的距離，如圖6所示.將左上邊投影圖像重疊區(qū)域的RGB分量分別乘以f（x），為了使融合后的圖像重疊部分的像素值仍為1，則右上邊投影圖像重疊區(qū)域的RGB分量分別乘以1－f（x），上下投影重疊區(qū)域邊緣融合的方法也是一樣，實驗結(jié)果如圖7所示.

圖6 非線性融合函數(shù)曲線和融合系數(shù)計算示意圖Fig.6 Nonlinear fusion function curve and fusion coefficient calculation diagram

圖7 邊緣融合結(jié)果Fig.7 Edge blending results

5 結(jié)果分析

圖8（a）是多投影顯示系統(tǒng)，4臺投影儀任意放置，圖8（b）是尚未校正之前的投影圖像，可以看出整個顯示區(qū)域的邊界都很不對齊，有明顯的錯位，相鄰投影儀之間有明顯的亮度區(qū)域，經(jīng)過前面的校正之后，圖8（c）是最終的校正結(jié)果，整個投影圖像沒有明顯的幾何失真，呈現(xiàn)出一幅完整的圖像，兩兩投影之間也沒有明顯高亮度顯示區(qū)域，但是在顏色方面只進行了重疊區(qū)域的邊緣融合校正，而沒有考慮各個投影儀之間由于色彩差異而形成的整個顯示畫面色彩不均一問題，因此，下一步的工作需要考慮對各投影的色彩進行校正.

圖8 系統(tǒng)校正圖Fig.8 Calibration system

6 結(jié) 論

多投影顯示系統(tǒng)通過拼接組合若干臺投影儀為用戶提供高分辨率、超大視域范圍的沉浸式體驗.幾何校正和邊緣融合是系統(tǒng)必須解決的兩個關(guān)鍵技術(shù)問題.本文在前人的研究基礎上，使用普通數(shù)碼相機對多投影顯示系統(tǒng)進行幾何校正，采用非線性融合函數(shù)對相鄰投影圖像進行邊緣融合，實現(xiàn)了多臺投影儀的無縫拼接顯示.該系統(tǒng)布置方便、操作簡單，能夠有效應用于學校、商場的大屏幕展示.

［1］RASKAR R，MS BROWN，R YANG，et al.Multi－projector displays using camera－based registration［C］.Proceedings of IEEE Visualization，San Francisco，USA，1999：161－168.

［2］RASKAR R，WELC G，F(xiàn)UCHS H.Seamless projection overlaps using image warping and intensity blending［C］.Proceedings of the 4th International Conference on Virtual Systems and Multimedia，Gifu，1998：179－188.

［3］RASKAR R，VAN BAAR J，CHAI J X.A low－cost projector mosaic with fast registration［C］.Proceedings of the Fifth International Conference on Computer Vision，Melbourne，Australia，2002：1－6.

［4］ASHDOWN M，F(xiàn)LAGG M，SUKTHANKAR R，et al.A flexible projector－camera system for multi－planar displays［C］.Proceedings of Computer Vision and Pattern Recognition，Washington DC，USA，2004：165－172.

［5］OKATANI T，DEGUCHI K.Auto－calibration of a projector－camera system［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（12）：1845－1855.

［6］BHASKER E，JUANG R，MAJUMDER A.Registration techniques for using imperfect and partially calibrated devices in planar multi—projector displays［J］.IEEE Transactions on Visualization and Computer Graphics，2007，13（6）：1352－1359.

［7］LI C，LIN H，SHI J.Multi－projector tiled display wall calibration with a camera［C］.SPIE－Int.Society of Optical Engineering，San Jose，USA，2005：294－301.

［8］王修暉，楊海波，林海.多投影顯示墻的幾何校正［J］.計算機輔助設計與圖形學學報，2008，20（6）：707－712.