周智勇，丁玉蘭（重慶市勘測(cè)院，重慶 400020）

基于多旋翼無(wú)人機(jī)的空中全景地圖制作研究

周智勇?，丁玉蘭
（重慶市勘測(cè)院，重慶 400020）

全景地圖是近年來(lái)虛擬現(xiàn)實(shí)、計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域中的一個(gè)新的研究和應(yīng)用方向。本文基于多旋翼無(wú)人機(jī)進(jìn)行空中拍攝，獲取多角度影像，利用專業(yè)拼接軟件進(jìn)行全景拼接處理，并開(kāi)發(fā)支持移動(dòng)端的全景漫游系統(tǒng)，實(shí)現(xiàn)拍攝點(diǎn)特定時(shí)間720度全方位全景地圖成果，在城市建設(shè)管理、旅游宣傳、商業(yè)服務(wù)及百姓生活等方面有廣泛的應(yīng)用前景。關(guān)鍵詞：全景地圖；多旋翼無(wú)人機(jī)；全景拼接；全景漫游

1 引 言

三維全景技術(shù)是目前迅速發(fā)展并逐步流行的一個(gè)虛擬現(xiàn)實(shí)分支［1，2］，可廣泛應(yīng)用于網(wǎng)絡(luò)三維業(yè)務(wù)。街景服務(wù)是基于三維全景技術(shù)的服務(wù)，目前國(guó)內(nèi)外已有的街景服務(wù)有谷歌街景、微軟街景、騰訊街景、百度街景等。另外，國(guó)內(nèi)的城市吧、我秀中國(guó)也提供國(guó)內(nèi)部分城市的街景服務(wù)。街景一般是在移動(dòng)采集車上放置5個(gè)或6個(gè)集成好的Gopro相機(jī)，一次成像獲取多個(gè)角度的影像及坐標(biāo)信息，生成采樣點(diǎn)360°的全景影像，但底部紋理一般未進(jìn)行處理。移動(dòng)測(cè)量技術(shù)已不再僅僅是一種測(cè)繪技術(shù)裝備，而是代表了海量地理信息數(shù)據(jù)尤其是實(shí)景地圖數(shù)據(jù)的一種重要的生產(chǎn)手段，更是信息測(cè)繪的一種全新的生產(chǎn)體系［3］，而多旋翼無(wú)人機(jī)則是移動(dòng)測(cè)量技術(shù)的一種延伸，是不可或缺的一種補(bǔ)充。

隨著多旋翼無(wú)人機(jī)的快速發(fā)展，已廣泛應(yīng)用于軍事和民事領(lǐng)域［4，5］。本文利用無(wú)人機(jī)飛到空中，搭載高清單反相機(jī)，選擇更加具有視覺(jué)效果的拍攝點(diǎn)進(jìn)行空中懸停獲取影像，制作全方位全視角實(shí)景地圖，實(shí)現(xiàn)水平360°與垂直360°瀏覽，將觀看者視角從平時(shí)的地面、室內(nèi)移到空中，使觀者有在空中進(jìn)行俯視的真實(shí)沉浸感，并可以與常規(guī)室內(nèi)室外三維全景相結(jié)合，制作天地及室內(nèi)外一體的三維實(shí)景地圖［6］，為用戶提供更全面、更真實(shí)的三維模型效果。

2 多旋翼無(wú)人機(jī)全景拍攝

2.1 拍攝平臺(tái)簡(jiǎn)介

拍攝平臺(tái)一般為四旋翼或八旋翼，主要由飛行平臺(tái)、飛行控制系統(tǒng)、云臺(tái)及相機(jī)等幾部分組成。四旋翼無(wú)人機(jī)體積較小，質(zhì)量約為 3 kg，相機(jī)云臺(tái)為集成式運(yùn)動(dòng)相機(jī)，像素達(dá) 1 200萬(wàn)，起落架可收起，能360°自由拍照。八旋翼無(wú)人機(jī)體積較大，質(zhì)量約為 10 kg，云臺(tái)根據(jù)相機(jī)型號(hào)定制，本文試驗(yàn)中選擇松下GH4微單相機(jī)、12 mm定焦鏡頭及專用定制云臺(tái)，像素達(dá) 1 600萬(wàn)像素，相比四旋翼拍攝平臺(tái)具有更好的穩(wěn)定性、更精確的控制精度和更理想的拍攝效果。

2.2 拍攝技術(shù)路線

圖1　拍攝技術(shù)路線圖

2.3 空中拍攝

一般全景拍攝為降低工作量、提高獲取效率，大都采用魚(yú)眼鏡頭進(jìn)行拍攝，這樣拍攝一個(gè)點(diǎn)位只需要3張全景影像就足夠［7］。為了獲取較高質(zhì)量的全景影像，本文采用微型單反相機(jī)搭載 12 mm定焦鏡頭進(jìn)行影像拍攝，分三圈進(jìn)行拍攝，圈與圈之間間隔30°～45°，圈內(nèi)每間隔30°拍攝一張，每圈拍攝12張，最后拍攝地面兩張，天空則在飛機(jī)落地后拍攝兩張，這樣一個(gè)拍攝點(diǎn)位共拍攝40張左右，既保證了拍攝的影像無(wú)漏洞，又保證了足夠的重疊，便于后期拼接與處理，拍攝原理如圖2所示。

? 收稿日期:2016—01—08

作者簡(jiǎn)介:周智勇（1979—），男，高級(jí)工程師，主要從事攝影測(cè)量與地理信息系統(tǒng)的生產(chǎn)與管理工作。

基金項(xiàng)目：重慶市科技計(jì)劃（cstc2015shmszx40007）

圖2　空中全景航拍示意圖

3 全景影像拼接

3.1 全景影像分類

（1）柱面全景圖

柱面全景圖不包括場(chǎng)景中的頂、底，是以拍攝點(diǎn)為視點(diǎn)，將一組圖像有序的拼接起來(lái)。

（2）球面全景圖

球面全景圖是將影像投影到以觀察者為中心的球面上，根據(jù)觀察者視點(diǎn)的情況展現(xiàn)出相應(yīng)的場(chǎng)景，并且所有的場(chǎng)景都是連續(xù)的，具有360°水平視角和360°垂直視角。球面全景圖與人眼模型最接近的一種全景描述。

（3）立方體全景圖

立方體全景圖同樣是一種全方位的全景圖，與球面全景圖有著相同的視角范圍，在展示時(shí)通過(guò)展示立方體的6個(gè)面來(lái)實(shí)現(xiàn)漫游。立方體全景圖在生成時(shí)，一般通過(guò)球轉(zhuǎn)立方體的方式來(lái)實(shí)現(xiàn)，實(shí)際效果與球形全景類似［2，8］。

3.2 基于PTGui的全景影像拼接

PTGui是目前應(yīng)用較多的一款全景影像拼接軟件，操作簡(jiǎn)單，效果良好。首先按影像順序加載所有空中航拍影像，并進(jìn)行自動(dòng)對(duì)準(zhǔn)。部分影像因建筑天際線不統(tǒng)一、影像畫(huà)面中天空占比較大原因，可能出現(xiàn)相鄰影像控制點(diǎn)無(wú)法自動(dòng)匹配情況，需要人工手動(dòng)找尋同名控制點(diǎn)，再進(jìn)行自動(dòng)匹配更多控制點(diǎn)。

在全景圖編輯器窗口中設(shè)置適合于球面全景圖的等距圓柱投影模式，進(jìn)行影像調(diào)整。需要注意水平視場(chǎng)和垂直視場(chǎng)分別調(diào)整到360°和180°，保證縱橫比為1∶2；調(diào)整移動(dòng)全景圖，使得房屋邊線與參考線對(duì)齊，保證全景圖中房屋是正的，如圖3所示；對(duì)影像相互重疊，冗余較多的個(gè)別影像進(jìn)行刪除；對(duì)部分從房屋中間穿過(guò)的拼接線進(jìn)行調(diào)整，避免出現(xiàn)房屋錯(cuò)位的情況，如圖4所示。

圖3　調(diào)整全景圖中房屋邊線與參考線對(duì)齊

圖4　調(diào)整裁切線避讓房屋

接著利用優(yōu)化器進(jìn)行控制點(diǎn)優(yōu)化，通過(guò)剔除誤差較大的控制點(diǎn)、調(diào)整點(diǎn)位匹配精度、增加更具有紋理特征的控制點(diǎn)等方法，反復(fù)優(yōu)化直到所有控制點(diǎn)的誤差小于3個(gè)像素，保證影像拼接精度及地物過(guò)渡自然。

3.3基于Photoshop的影像修補(bǔ)與調(diào)色

拼接好的影像天空還沒(méi)有修補(bǔ)，首先進(jìn)行天空的修補(bǔ)。利用Photoshop的扭曲工具，將平面的影像轉(zhuǎn)換為極坐標(biāo)模式，這樣天空就成了一個(gè)閉合的區(qū)域，結(jié)合地面上拍攝的天空影像進(jìn)行修補(bǔ)、過(guò)渡，將天空補(bǔ)全，如圖5所示。最后將補(bǔ)好天空的影像從極坐標(biāo)再轉(zhuǎn)換為平面坐標(biāo)模式。

圖5　平面坐標(biāo)轉(zhuǎn)換到極坐標(biāo)下進(jìn)行天空修補(bǔ)

圖6　轉(zhuǎn)出六面體單片進(jìn)行檢查與接邊

再對(duì)補(bǔ)好天空的全景圖影像進(jìn)行色溫、色調(diào)、曝光、對(duì)比度、陰影、亮光、飽和度等一系列參數(shù)的調(diào)整，使得全景圖的清晰度、色彩等達(dá)到較好的效果。最后對(duì)影像輸出六面體單片，便于對(duì)影像的放大仔細(xì)檢查，主要檢查線狀地物是否有錯(cuò)位、移動(dòng)的車輛和行人重影等問(wèn)題，并逐一修改。最后對(duì)全景圖最左和最右的接邊進(jìn)行檢查，可以通過(guò)拼接六面體單片的形式，如圖6所示，也可以將全景圖旋轉(zhuǎn)180°后利用極坐標(biāo)與平面坐標(biāo)的轉(zhuǎn)換實(shí)現(xiàn)。

4 全景漫游集成與發(fā)布

自主開(kāi)發(fā)了功能完善的全景瀏覽軟件，通過(guò)“愛(ài)尚重慶”網(wǎng)站關(guān)聯(lián)全景地圖進(jìn)行發(fā)布，如圖7所示。同時(shí)也支持二維碼、網(wǎng)頁(yè)發(fā)布等形式。

圖7　“愛(ài)尚重慶”網(wǎng)站關(guān)聯(lián)全景地圖

全景瀏覽軟件提供了基本的縮放、全方位旋轉(zhuǎn)等功能，還提供了搜索、列表、關(guān)聯(lián)等多種導(dǎo)覽切換方式，系統(tǒng)界面簡(jiǎn)潔實(shí)用。同時(shí)還提供了魚(yú)眼視圖、正常視圖、小星球等多種視圖模式，如圖8所示。

圖8　系統(tǒng)提供多種視圖模式

5 結(jié) 語(yǔ)

項(xiàng)目基于多旋翼無(wú)人機(jī)進(jìn)行空中懸停拍攝獲取興趣點(diǎn)的全方位影像，經(jīng)過(guò)拼接、調(diào)色處理得到的全景地圖，可以通過(guò)網(wǎng)頁(yè)、手機(jī)APP等多種便捷方式進(jìn)行發(fā)布，較傳統(tǒng)二維地圖、三維地圖具有更好的可視性、更直接的觀感、更逼真的沉浸感，而且空中俯視具有更宏觀的視角，可以更全面了解掌握興趣點(diǎn)的周邊情況，結(jié)合地面全景與室內(nèi)全景，為百姓大眾提供空天地全方位的地圖服務(wù)，可廣泛應(yīng)用于虛擬旅游、虛擬校園、虛擬房產(chǎn)及工程應(yīng)用等方面，具有較大的推廣應(yīng)用價(jià)值。

［1］王延朝.基于 Krpano的三維全景系統(tǒng)的開(kāi)發(fā)和應(yīng)用［D］.上海：華東師范大學(xué)，2015.

［2］張志軍，邱俊武，孫曉瑋等.全景景觀地圖的計(jì)算機(jī)輔助制作［J］.測(cè)繪科學(xué)，2015（9）：125～128.

［3］馬杰.360°全景圖像拼接技術(shù)研究［D］.四川：西南財(cái)經(jīng)大學(xué)，2012.

［4］張欣.多旋翼無(wú)人機(jī)的姿態(tài)與導(dǎo)航信息融合算法研究［D］.北京：中國(guó)科學(xué)院大學(xué)，2015.

［5］楊文征.微型旋翼無(wú)人機(jī)通信系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［D］.北京；北京郵電大學(xué)，2015.

［6］張晨光.重慶推出天地及室內(nèi)外一體實(shí)景地圖［N］.國(guó)家測(cè)繪地理信息局，2015-09-17.

［7］龔琪慧，吳健平，王潔華等.基于全景圖的3維實(shí)景制作及其與GIS集成研究［J］.測(cè)繪與空間地理信息，2012 （6）：33～37.

［8］鄭金鑫.全景虛擬游系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［D］.北京：北京郵電大學(xué)，2010.

Research of Panoramic Maps Based on Multi-rotor UAV

Zhou Zhiyong，Ding Yulan （Chongqing Survey Institute，Chongqing 400020，China）

Panoramic map is a new research and application in the field of virtual reality and computer vision.In this paper，first，use multi-rotor UAV to get images from different attitude angle.And then get the panoramic maps using mosaic software.At last，we developed a panoramic map roaming mobile terminal system，which provided 720-degree map browsing，and can be used in urban management，tourism promotion and business services areas.

panoramic maps；multi-rotor UAV；panorama mosaic；panorama roaming

1672-8262（2016）02-101-04中圖分類號(hào)：P23，P283.49

B