縫合360°全景視頻（下）

初步縫合 Base Stitching

在做完360 0全景視頻素材的時(shí)間軸幀同步之后，就可以正式進(jìn)入縫合了。通常情況，縫合會(huì)分為兩個(gè)階段，階段一是初級(jí)縫合（ Base Stitching）;階段二是精細(xì)縫合（ Advanced Stitching）?，F(xiàn)階段幾乎所有的3600全景視頻縫合軟件、插件（包括Kolor系列、VideoStitich系列和Nuke的插件CaraVR等）都是一個(gè)基于圖片/靜幀的縫合模式，通過縫合好單幀（frame）再同步縫合效果回到視頻（ video）上的縫合。

值得一提的是，階段一的初步縫合，往往是自動(dòng)的，主要依靠軟件的算法。而階段二的精細(xì)縫合，通常都是手動(dòng)的，主要依靠操作人員的經(jīng)驗(yàn)。

關(guān)于全景視頻的初步縫合，基本上都分為三種模式：預(yù)設(shè)縫合、模板縫合和數(shù)據(jù)縫合。

預(yù)設(shè)縫合（ Preset），顧名思義，使用的是軟件預(yù)設(shè)的相機(jī)數(shù)據(jù)來進(jìn)行縫合。場景的預(yù)設(shè)往往有GoPro系列、Entaniya系列和Izugar系列等等。像CaraVR for nuke這款插件的設(shè)置預(yù)設(shè)了更多的全景相機(jī)縫合模板，包括了Jaunt ONE、諾基亞的020等等。

預(yù)設(shè)縫合更多的是一種參考，實(shí)際使用還是必須根據(jù)當(dāng)前案例細(xì)致地調(diào)整，比較每一個(gè)案例的差異性、每一個(gè)場景的空間和景別（前中后景景別）信息會(huì)發(fā)現(xiàn)總是不一樣的，在畫面缺少細(xì)節(jié)無法縫合的時(shí)候，使用預(yù)設(shè)縫合會(huì)有出其不意的效果。

模板縫合（ Tem plate），其原理和預(yù)設(shè)縫合一樣，只是這一次不再是軟件內(nèi)置的預(yù)設(shè)，而是由我們自定義的全景視頻縫合模板。值得注意的是，有且僅有在保證前后兩次拍攝的全景相機(jī)支架序號(hào)、相機(jī)序號(hào)、SD卡序號(hào)以及相機(jī)視頻素材命名完全一致的情況下，才能使用模板縫合。換言之，這兩個(gè)3600全景視頻的場景使用的設(shè)備必須完全一致，才能套用模板。這也是我們一直在強(qiáng)調(diào)的標(biāo)記（ Mask）的重要性。

模板縫合減少了出錯(cuò)的概率，也就減少了縫合時(shí)計(jì)算的時(shí)間，同時(shí)也讓批量縫合成為了可能。值得注意的是，如果要調(diào)用全景場景A的工程作為全景場景B的縫合模板，那么全景場景A的工程文件和原始素材都必須在同一個(gè)文件夾內(nèi)。更確切的說是全景場景A的工程文件和該工程文件所依賴的圖片縫合素材必須在同一個(gè)文件夾內(nèi)。

如圖所示，全景場景A的完整工程文件必須具有包括.kava的AVP工程文件、.pano的APG工程文件、以及全景視頻素材單幀截圖。只有在這個(gè)條件下，全景場景B才能調(diào)用全景場景A的工程文件作為模板縫合。

參數(shù)縫合（ Data）。實(shí)際上，這個(gè)模式更多的是要求制作人員了解其全景相機(jī)。如這臺(tái)相機(jī)是否有魚眼？焦距是多少7當(dāng)制作人員知道一些參數(shù)之后，將參數(shù)反饋給計(jì)算機(jī)，計(jì)算機(jī)和軟件會(huì)根據(jù)現(xiàn)有的信息進(jìn)行畸變、分析和縫合。這個(gè)縫合模式更像鏡頭類型的縫合。

精細(xì)縫合

從縫合的階段一進(jìn)入到階段二的時(shí)候，也就正式進(jìn)入了精細(xì)縫合的階段。精細(xì)縫合往往是對(duì)3600全景圖片進(jìn)行微調(diào)，這將直接決定了最終的縫合畫面效果。這一階段有幾大主要內(nèi)容：

1.調(diào)整縫合控制點(diǎn)

2.調(diào)整水平線

3.調(diào)整曝光

4.調(diào)整主體目標(biāo)

5.設(shè)置融合模式

6.單幀渲染測試

等等。

對(duì)于不同的場景和拍攝內(nèi)容，精細(xì)縫合的內(nèi)容和順序可能是不一樣的。建議先從調(diào)整縫合控制點(diǎn)開始入手。

調(diào)整縫合控制點(diǎn)，指的是手動(dòng)微調(diào)相機(jī)與相機(jī)之間的縫合控制點(diǎn)?？刂泣c(diǎn)往往決定了全景圖片（視頻）的最佳縫合質(zhì)量，也是最直接最直觀影響縫合效果的。檢查畫面之間的控制點(diǎn)是否正確、主體目標(biāo)上的控制點(diǎn)是否正確的匹配等。Kolor系列軟件有相對(duì)比較完善的控制點(diǎn)調(diào)整工具，有點(diǎn)類似于老牌全景圖片縫合軟件PTGui。相反VideoStitch Studio視頻縫合軟件則沒有控制點(diǎn)調(diào)整工具，無法對(duì)3600全景圖片進(jìn)行手動(dòng)微調(diào)。

調(diào)整水平線是一個(gè)相對(duì)簡單的工作，在打開輔助線的情況下可以非?？焖僬{(diào)整全景圖片（視頻）的地平線。值得注意的是這里所講的調(diào)整水平線是針對(duì)室外的水平線調(diào)整，室內(nèi)的水平線調(diào)整則相對(duì)復(fù)雜一點(diǎn)，因?yàn)樵谑覂?nèi)實(shí)際上是看不到水平線的，更準(zhǔn)確來說在室內(nèi)是看不到水平線消失的盡頭的。這個(gè)時(shí)候可以使用KolorAutopano Giga提供的豎直線工具來調(diào)整。

曝光差異的問題一直存在，不管是使用運(yùn)動(dòng)型相機(jī)、單反級(jí)別相機(jī)還是電影級(jí)別相機(jī)一一它們的之間的不同僅僅是曝光差異的多與少。目前幾乎所有的3600全景視頻縫合軟件均提供一鍵自動(dòng)調(diào)整曝光差異的功能。除此之外，Kolor AutopanoGiga則還可以設(shè)置調(diào)整曝光的參照面面，讓全景視頻里的其他鏡頭畫面去匹配所選的參照畫面。

主體目標(biāo)——指的是整個(gè)全景里面的拍攝主體目標(biāo)。通常名勝古跡、人物形象、風(fēng)光建筑等會(huì)是全景里面的拍攝主體，通常能通過一些技巧，在后期縫合里面對(duì)這些拍攝主體進(jìn)行完整的呈現(xiàn)和保留。KolorAutopano Giga提供了一個(gè)遮色版（Mask）工具來完成這個(gè)精細(xì)縫合的任務(wù)。當(dāng)然了，使用這些技巧是建立在其中單個(gè)相機(jī)記錄下完整的主體目標(biāo)的情況下。

做完大部分的精細(xì)縫合調(diào)整工作之后，就可以設(shè)置圖片之間的融合模式，然后渲染單幀的全景圖片進(jìn)行查看。如果沒有問題則可以同步縫合效果回到全景視頻處理做最后的渲染輸出。

【釋義】兩個(gè)“同步”

“同步”一詞本書提及次數(shù)較多，這里特別做詳細(xì)說明。本連載提及的“同步”，實(shí)際上涉及到兩個(gè)完全不一樣的概念。原本均是英文，翻譯過來都是“同步”之意，所以難以甄別。

其中一個(gè)“同步”，指的是幀同步，英文為：frame synchronization，指的是在導(dǎo)入視頻準(zhǔn)備縫合前要做的一項(xiàng)工作。把所有全景視頻素材的時(shí)間軸進(jìn)行幀同步，以優(yōu)化縫合質(zhì)量。主要的幀同步方式有聲音同步、畫面同步和閃光同步。

另一個(gè)“同步”，指的是縫合效果同步，英文為：result matching，指的是在使用Kolor Autopano Video相KolorAutopano Giga的時(shí)候，兩個(gè)軟件的編輯和操作同時(shí)建立在一個(gè)（.pano）的工程文件上，當(dāng)保存Kolor Autopano Giga的縫合效果時(shí)，這個(gè)縫合效果會(huì)同步到KolorAutopano Video里面。

渲染輸出

在做完精細(xì)縫合之后，成功的同步精細(xì)縫合的效果回到視頻縫合軟件，然后是進(jìn)入3600全景視頻縫合的最后一個(gè)環(huán)節(jié)：渲染輸出。和其他傳統(tǒng)的非編后期軟件一樣，設(shè)置好時(shí)間軸上的出入點(diǎn)是非常重要的。而不同于傳統(tǒng)的視頻，往往在錄制全景視頻的前幾分鐘和后幾分鐘時(shí)，工作人員會(huì)進(jìn)行全景相機(jī)開機(jī)、錄制、檢查、同步、停止錄制和關(guān)機(jī)等等，所以需要對(duì)視頻最前面和最后面的部分進(jìn)行裁剪，裁剪的準(zhǔn)則是直到工作人員離場或者在全景里面看不到工作人員即可，這些可以在時(shí)間軸上進(jìn)行檢查。

設(shè)置好要輸出的時(shí)間后，接下來要對(duì)渲染輸出的參數(shù)進(jìn)行設(shè)置。由于360度全景視頻的特殊性，普通的360度全景視頻的分辨率比例比較特殊，是一個(gè)寬高為2：1的比例，而3D的360度全景視頻的分辨率比是1：1或者4：1，且360度全景視頻的分辨率通常比較大，最低都是4K的分辨率，即4096x2048的一個(gè)分辨率。巨大的分辨率會(huì)導(dǎo)致渲染時(shí)間非常久，所以正確的渲染設(shè)置就顯得非常重要，畢竟沒有人愿意在等待半小時(shí)后發(fā)現(xiàn)因?yàn)殇秩緟?shù)設(shè)置錯(cuò)誤而需要重新輸出。

關(guān)于360度全景視頻一些比較重要的渲染參數(shù)有：分辨率、幀率、格式、聲音來源等等。

到底要輸出多大的分辨率7這或許是你在渲染360度全景視頻時(shí)遇到的第一個(gè)問題，也是最重要的問題之一。是標(biāo)準(zhǔn)的廣播級(jí)UHD（ 3840x1920）呢？還是電影級(jí)別的4K（ 4096x2048）7亦或是手機(jī)等移動(dòng)端播放的2K（ 2048x1024）？還是只是單純想輸出個(gè)lk（ 1024x512）的小樣來進(jìn)行預(yù)覽？

需求決定要求，要求決定設(shè)置。謹(jǐn)慎考慮好360度全景視頻的播放載體，選擇正確的分辨率。因?yàn)?K和2K的渲染速度相差可不止2倍。

關(guān)于360度全景視頻的幀率設(shè)置，一般選擇匹配源素材，而且最好不要修改與原視頻素材不一樣的幀率。目前主流縫合軟件支持的最高幀率大都在60fps。

關(guān)于視頻格式，常見都是H.264做解碼，也就是經(jīng)?？吹降腗P4視頻格式。MP4視頻格式還是有一定優(yōu)勢的：體積輕巧，解碼快。另外，大部分的360度全景視頻縫合軟件都支持輸出序列幀和無損AVI格式。

關(guān)于聲音來源，由于目前360度全景聲音的技術(shù)實(shí)現(xiàn)難度高，目前大部分的360度全景視頻均是使用立體聲一一選擇360度全景視頻原素材其中一個(gè)視頻源的聲音源一一來作為最終的聲音源。通常選擇水平方向的聲音源較好。

當(dāng)設(shè)置好所有輸出參數(shù)后，選擇正確的輸出路徑并命名好，接下來就是等待渲染最終的全景視頻了。