基于三維虛擬現(xiàn)實(shí)技術(shù)的圖像重建方法研究

黃桂明 莫字瑛

摘? 要： 由于傳統(tǒng)圖像重建方法獲取到的重建圖像比較模糊，為了提高重建圖像的質(zhì)量，提出基于三維虛擬現(xiàn)實(shí)技術(shù)的圖像重建方法。在三維虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上，根據(jù)相機(jī)的成像原理，計(jì)算相機(jī)光學(xué)部分可以識別的最大距離，通過計(jì)算場景畫面的最小識別距離實(shí)現(xiàn)圖像的降質(zhì)分析;利用三維虛擬現(xiàn)實(shí)技術(shù)訓(xùn)練圖像的檢測樣本，預(yù)測出樣本圖像的像素值，通過公式描述了圖像的提取過程，完成了圖像邊緣信息的提取;最后在三維虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上，構(gòu)建了圖像重建算法，實(shí)現(xiàn)了基于三維虛擬現(xiàn)實(shí)技術(shù)的圖像重建。實(shí)驗(yàn)結(jié)果表明，基于三維虛擬現(xiàn)實(shí)技術(shù)的圖像重建方法得到的重建圖像質(zhì)量較高。

關(guān)鍵詞： 圖像重建; 三維虛擬現(xiàn)實(shí)技術(shù); 圖像降質(zhì)分析; 樣本訓(xùn)練; 像素值預(yù)測; 信息提取

中圖分類號： TN911.73?34; TP391? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼： A? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）17?0064?05

Abstract： The image reconstruction method based on 3D virtual reality technology is proposed to improve the quality of reconstructed image because the image reconstructed by traditional image reconstruction method is fuzzy. On the basis of 3D virtual reality technology， the maximum distance that the optical part of the camera can recognize is calculated according to the imaging principle of camera. The image degradation analysis is realized by calculating the minimum recognition distance of scene image. The detection sample of image is trained with 3D virtual reality technology to predict the pixel value of the sample image. The extraction process of image is described by means of the formula to fulfill the edge information extraction of the image. On the basis of 3D virtual reality technology， an image reconstruction algorithm is established and the image reconstruction is realized. The experimental results show that the quality of the reconstruction image obtained by the image reconstruction method based on 3D virtual reality technology is high.

Keywords： image reconstruction; 3D virtual reality technology; image degradation analysis; sample training; pixel value prediction; information extraction

0? 引? 言

人們生活的三維立體環(huán)境是由三維信息組成的，人類之所以可以感受到三維信息，是因?yàn)槿说囊曈X系統(tǒng)具有感知圖像整體深度的特性。圖像作為三維場景的重要載體，反映了場景中畫面在相機(jī)的成像效果[1]。根據(jù)三維虛擬現(xiàn)實(shí)技術(shù)，人們可以感知到場景畫面的三維立體成像，從而使人們產(chǎn)生一種立體感。在三維虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上，圖像是獲取場景畫面結(jié)構(gòu)的必要信息，在三維虛擬場景重建、三維虛擬現(xiàn)實(shí)等計(jì)算機(jī)視覺的應(yīng)用中起到了非常關(guān)鍵的作用[2]。

在三維虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上，圖像的物理意義決定了它無法通過光學(xué)采集設(shè)備來獲取，一般情況下都是通過計(jì)算機(jī)計(jì)算或者測量的方式得到[3]。采用圖像立體匹配的方法計(jì)算圖像的獲取方式，具有較大的計(jì)算量且復(fù)雜度高，很難將其應(yīng)用到實(shí)際的圖像重建中。數(shù)碼相機(jī)等測量設(shè)備的陸續(xù)出現(xiàn)，為圖像信息獲取提供了更加快速、方便、直接的方式，但是由于圖像重建過程中的物理限制和外界環(huán)境的干擾，相機(jī)在獲取圖像時存在分辨率低、缺失圖像信息等問題，這些問題嚴(yán)重地限制了圖像的應(yīng)用[4]。

基于上述分析，本文采用三維虛擬現(xiàn)實(shí)技術(shù)對圖像的降質(zhì)進(jìn)行分析，通過圖像邊緣的提取、重建得到高質(zhì)量的圖像。

1? 基于三維虛擬現(xiàn)實(shí)技術(shù)的圖像重建方法設(shè)計(jì)

1.1? 基于三維虛擬現(xiàn)實(shí)技術(shù)的圖像降質(zhì)分析

圖像降質(zhì)分析之前先考慮限制圖像分辨率的因素。決定圖像質(zhì)量的因素主要是相機(jī)光學(xué)部分的衍射分辨率和圖像探測器的分辨率，在圖像重建之前進(jìn)行降質(zhì)分析可以提高重建圖像的信噪比，從而提高重建圖像的質(zhì)量。

假設(shè)相機(jī)所觀測到的三維虛擬目標(biāo)都是點(diǎn)光源，兩個點(diǎn)光源進(jìn)入到相機(jī)光學(xué)部分后會形成艾里斑，如果其中一個艾里斑的邊緣零點(diǎn)與另一個艾里斑的中心重合，那么兩個艾里斑之間的間隔就是相機(jī)光學(xué)部分可以識別的最大距離[5]，即：

式中：[l]表示三維虛擬目標(biāo)與相機(jī)之間的距離;[λ]表示光進(jìn)入到相機(jī)的波長;[D]表示光通直徑。

從式（1）中可以看出，光波的波長越長，相機(jī)光學(xué)部分識別到的最大距離就會越大，導(dǎo)致圖像的分辨率降低，達(dá)到圖像降質(zhì)的目的[6]。

作為限制圖像分辨率的另一個重要因素，圖像探測器在識別最小目標(biāo)時也存在極限。場景畫面信息通過相機(jī)的光學(xué)部分，被圖像探測器接收并轉(zhuǎn)化為電信號[7]。假設(shè)圖像探測器觀測到的兩個三維虛擬目標(biāo)仍然是點(diǎn)光源，圖像探測器的像元大小為[d]，只有兩個點(diǎn)光源目標(biāo)存在一定距離，才能被圖像探測器接收，從輸出的圖像中將其分辨出來。

經(jīng)過上述的分析可知，圖像探測器的分辨率會大于場景畫面光學(xué)衍射的分辨率，因此，圖像的降質(zhì)研究通常是從提高圖像探測器的分辨率方向進(jìn)行?；谌S虛擬現(xiàn)實(shí)技術(shù)的圖像重建是通過從圖像中提取先驗(yàn)知識點(diǎn)的方式來復(fù)原圖像的技術(shù)，通過計(jì)算場景畫面的最小識別距離實(shí)現(xiàn)圖像的降質(zhì)分析。

1.2? 提取圖像邊緣信息

圖像的重建要在降質(zhì)的基礎(chǔ)上，修正圖像邊緣點(diǎn)的位置，那么就需要提取圖像的邊緣信息來引導(dǎo)圖像的邊緣修正，從而提高重建圖像的質(zhì)量。傳統(tǒng)的圖像邊緣提取方法是利用圖像的邊緣來確定提取的外框[8]，首先采用某一彩色分量的圖像來提取圖像的邊緣，再將每一個獨(dú)立分量的圖像邊緣結(jié)合，形成一個彩色的圖像邊緣，這種傳統(tǒng)的方法忽略了人眼的視覺感知，導(dǎo)致提取出來的圖像邊緣效果不佳[9]。

本文在三維虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上，提取人眼視覺特性的圖像邊緣，先采用三維虛擬現(xiàn)實(shí)技術(shù)采集固定大小的圖形塊，隨機(jī)選取一個圖像訓(xùn)練樣本，并記錄圖像的結(jié)構(gòu)標(biāo)簽，然后學(xué)習(xí)含有結(jié)構(gòu)標(biāo)簽的區(qū)域特征，來訓(xùn)練檢測圖像，最后利用結(jié)構(gòu)化預(yù)測的方式，得到最終的圖像邊緣提取結(jié)果[10]。

圖像結(jié)構(gòu)訓(xùn)練示意圖如圖1所示。

圖像的邊緣通常都代表著對象的邊界，圖像的邊緣不僅在對象的邊界產(chǎn)生，對象的內(nèi)部也會產(chǎn)生圖像邊緣[11]。需要采用對象的邊界來引導(dǎo)圖像初始化錯誤邊緣的修正過程，因此，得到圖像邊緣后，要結(jié)合圖像在三維虛擬現(xiàn)實(shí)空間提供的距離信息，將存在于圖像內(nèi)部的紋理邊緣去除，保留圖像的邊緣[12]。

具體的做法是對于每一個圖像的邊緣點(diǎn)，判斷以邊緣點(diǎn)為中心，大小為[w×w]的圖像窗口內(nèi)邊緣值的差值，如果邊緣值的差值小于某一特定的閾值，那么就認(rèn)為圖像提取的區(qū)域?yàn)槠交瑓^(qū)域，窗口內(nèi)的邊緣必須要去除;否則圖像提取的區(qū)域就是邊緣區(qū)域。

1.3? 構(gòu)建圖像重建算法

以提高重建圖像的信噪比為目的，先給待重建的圖像賦予一個估計(jì)的初始值，經(jīng)過三維虛擬現(xiàn)實(shí)技術(shù)的迭代重復(fù)過程，直到迭代收斂為止。

與傳統(tǒng)圖像重建算法相比，基于三維虛擬現(xiàn)實(shí)技術(shù)的圖像重建算法具有良好的噪聲抑制能力和截?cái)嗤队皵?shù)據(jù)的能力，其是一種聯(lián)合代數(shù)迭代算法，此算法保留了傳統(tǒng)圖像重建算法的收斂速度，還具有噪聲抑制能力強(qiáng)的優(yōu)勢，在圖像處理中的應(yīng)用是非常廣泛的[13]。

基于三維虛擬現(xiàn)實(shí)技術(shù)的圖像重建算法公式如下：

圖像重建算法流程圖如圖2所示。

圖像重建步驟如下：

步驟1：確定某一投影角度下的投影射線[i]，經(jīng)過待重建圖像的初始值計(jì)算，得到第[i]條投影射線的投影值，即[n=1NainfKn]。

步驟2：根據(jù)投影射線計(jì)算得到的圖像投影值與實(shí)際測量得到的投影值作差[14]，得到一個理論圖像投影值與實(shí)際圖像投影值的誤差[Δi=pi-n=1NainfKn]。

步驟3：將步驟2中的誤差值[Δi]儲存。

步驟4：計(jì)算某一投影角度下的第[i+1]條射線的投影值，重復(fù)上述三個步驟，直到完成所有射線的誤差修正。

步驟5：采用步驟4中得到的誤差值修正重建圖像的像素。

對于其他不確定的投影角度，重復(fù)上述五個步驟，直到所有角度下的圖像都完成重建圖像的校正，完成重建圖像的第[K]次迭代[15]。基于三維虛擬現(xiàn)實(shí)技術(shù)的圖像重建算法的迭代公式如下：

為了提高重建圖像的質(zhì)量，縮短基于三維虛擬現(xiàn)實(shí)技術(shù)的圖像重建算法的圖像重建時間，盡量達(dá)到圖像重建的要求。

綜上所述，在三維虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上，先考慮限制圖像分辨率的因素，根據(jù)相機(jī)的成像原理，計(jì)算相機(jī)光學(xué)部分可以識別的最大距離，由于圖像探測器的分辨率會大于場景畫面光學(xué)衍射的分辨率，通過計(jì)算場景畫面的最小識別距離實(shí)現(xiàn)圖像的降質(zhì)分析;利用三維虛擬現(xiàn)實(shí)技術(shù)訓(xùn)練圖像的檢測樣本，預(yù)測出樣本圖像的像素值，并去除圖像內(nèi)部的紋理邊緣，通過公式描述圖像的提取過程，完成了圖像邊緣信息的提取;最后在三維虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上，構(gòu)建圖像重建算法，實(shí)現(xiàn)了基于三維虛擬現(xiàn)實(shí)技術(shù)的圖像重建。

2? 實(shí)驗(yàn)對比分析

2.1? 實(shí)驗(yàn)圖像采集

為了驗(yàn)證本文設(shè)計(jì)的基于三維虛擬現(xiàn)實(shí)技術(shù)的圖像重建方法可以提高圖像質(zhì)量，必須先采集圖像信息，圖像采集結(jié)果如圖3所示。

2.2? 實(shí)驗(yàn)方法及步驟分析

基于三維虛擬現(xiàn)實(shí)技術(shù)的圖像重建方法經(jīng)過多次迭代后，會獲取到一個最優(yōu)解，在每一次的迭代過程中，圖像重建算法會為每一個圖像節(jié)點(diǎn)計(jì)算一個圖像的最佳深度值，當(dāng)所有的圖像節(jié)點(diǎn)都遍歷完成后，將能量最小的圖像深度值更新給圖像節(jié)點(diǎn)，并作為下一次迭代的初始值。隨著圖像節(jié)點(diǎn)迭代值的不斷收斂，求出來的解就是最優(yōu)解。

實(shí)驗(yàn)的具體操作步驟如下：

步驟1：將待重建的圖像采用三維虛擬現(xiàn)實(shí)技術(shù)初始化。

步驟2：遍歷每一個圖像的像素，并計(jì)算出當(dāng)前圖像的能量。

步驟3：賦予每一個圖像像素一個新的像素值，像素值的取值范圍設(shè)置為0～255，計(jì)算新像素值的能量，如果大于前一個圖像的像素值，就重新選擇;反之，則選擇新的像素值作為當(dāng)前像素。

步驟4：不斷重復(fù)步驟3，直到所有圖像的像素更新完畢，完成一次迭代，再判斷是否達(dá)到了迭代次數(shù)，滿足則結(jié)束，不滿足則重復(fù)步驟2和步驟3。

步驟5：統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果。

2.3? 實(shí)驗(yàn)結(jié)果分析

利用上述的實(shí)驗(yàn)方法及實(shí)驗(yàn)步驟，得到了下列實(shí)驗(yàn)結(jié)果，如圖4所示。

在查閱相關(guān)文獻(xiàn)的基礎(chǔ)上，圖像的信噪比在35～45 dB之間，圖像的質(zhì)量最高。從實(shí)驗(yàn)結(jié)果可以看出，采用傳統(tǒng)圖像重建方法，雖然隨著感光度的升高，重建圖像的信噪比比較穩(wěn)定，但是圖像的信噪比一直在7～23 dB之間震蕩，重建后的圖像質(zhì)量并不高;而采用基于三維虛擬現(xiàn)實(shí)技術(shù)的圖像重建方法，隨著感光度的升高，圖像的信噪比在39～41 dB之間震蕩，只是偶爾會出現(xiàn)信噪比忽高忽低的現(xiàn)象，得到的重建圖像質(zhì)量較高。

2.4? 應(yīng)用性能分析

為了分析本文方法的應(yīng)用性能，采用本文方法、基于非常稀疏隨機(jī)投影的圖像重建方法、基于亞高斯隨機(jī)投影的圖像重建方法實(shí)施對比測試，測試三種方法重建圖像時，圖像像素特征的查全率與查準(zhǔn)率，結(jié)果如圖5，圖6所示。

分析圖5，圖6可知：三種方法重建圖像時，本文方法對圖像像素特征的查全率與查準(zhǔn)率最大值均為0.99，基于非常稀疏隨機(jī)投影的圖像重建方法的查全率與查準(zhǔn)率最大值依次是0.91，0.94;基于亞高斯隨機(jī)投影的圖像重建方法的查全率與查準(zhǔn)率最大值依次是0.78，0.79。經(jīng)對比可知，三種方法對比之下，本文方法重建圖像時，能夠高精度、全面地獲取圖像像素特征實(shí)施重建。

設(shè)定所需重建的圖像存在噪聲，測試三種方法重建具有噪聲的圖像時，重建后圖像的峰值信噪比、標(biāo)準(zhǔn)信噪比，結(jié)果如圖7，圖8所示。

分析可知，本文方法重建圖像的峰值信噪比與標(biāo)準(zhǔn)信噪比均高于基于非常稀疏隨機(jī)投影的圖像重建方法、基于亞高斯隨機(jī)投影的圖像重建方法。表明本文方法對存在噪聲的圖像重建后圖像質(zhì)量最佳。

3? 結(jié)? 語

本文提出了基于三維虛擬現(xiàn)實(shí)技術(shù)的圖像重建方法。實(shí)驗(yàn)結(jié)果表明：基于三維虛擬現(xiàn)實(shí)技術(shù)的圖像重建方法與傳統(tǒng)圖像重建方法相比，重建圖像的質(zhì)量得到了有效提高，且基于差異感光度的環(huán)境中，本文方法對圖像像素特征的查全率與查準(zhǔn)率均高達(dá)0.99，對存在噪聲的圖像實(shí)施重建時，本文方法重建后的圖像峰值信噪比與標(biāo)準(zhǔn)信噪比均高于基于非常稀疏隨機(jī)投影的圖像重建方法、基于亞高斯隨機(jī)投影的圖像重建方法，由此驗(yàn)證了本文方法的應(yīng)用價(jià)值。

參考文獻(xiàn)

[1] 蔡艷，林迅.基于虛擬現(xiàn)實(shí)技術(shù)的激光多普勒圖像三維重建系統(tǒng)設(shè)計(jì)[J].激光雜志，2017，38（8）：122?126.

[2] 王卓.基于視覺傳達(dá)效果的三維圖像虛擬重建[J].現(xiàn)代電子技術(shù)，2019，42（1）：62?64.

[3] 孫正，孫立爽.光聲超聲聯(lián)合圖像重建方法研究進(jìn)展[J].中國醫(yī)學(xué)影像技術(shù)，2019，35（3）：467?470.

[4] 彭靜，冷飛.基于視覺傳達(dá)效果的傳統(tǒng)藝術(shù)圖像重建方法研究[J].現(xiàn)代電子技術(shù)，2017，40（24）：118?120.

[5] 巫乾軍，孫艷豐，趙璐.稀疏表示的深度圖像超分辨率重建研究與仿真[J].計(jì)算機(jī)仿真，2017，34（5）：234?237.

[6] 馬敏，李明，何小芳，等.基于壓縮傳感和自適應(yīng)Lp范數(shù)的ECT圖像重建算法研究[J].機(jī)床與液壓，2018，46（12）：25?31.

[7] 楊建鳴，陸家山，嚴(yán)鵬賀.工程圖的三維重建方法研究[J].機(jī)械設(shè)計(jì)與制造，2017（12）：216?219.

[8] 王江明，余燁，金強(qiáng).多梯度融合的RGBD圖像邊緣檢測[J].電子測量與儀器學(xué)報(bào)，2017，31（3）：436?442.

[9] 吳詩婳，吳一全，周建江.基于NSST和改進(jìn)數(shù)學(xué)形態(tài)學(xué)的遙感圖像目標(biāo)邊緣提取[J].圖學(xué)學(xué)報(bào)，2017，38（4）：523?530.

[10] 顧雨迪，梁久禎，吳秦，等.基于覆蓋分割和活動輪廓模型的圖像邊緣提取算法[J].數(shù)據(jù)采集與處理，2017，32（5）：948?957.

[11] 牛耕.基于激光掃描的殘缺指紋圖像特征提取技術(shù)研究[J].激光雜志，2017，38（11）：109?112.

[12] 陳宇，夏宗基，周雨佳.基于修正稀疏擬牛頓的電容層析成像重建算法[J].系統(tǒng)仿真學(xué)報(bào)，2019，31（5）：819?827.

[13] 龔皓，干彬.基于大數(shù)據(jù)分析技術(shù)的激光三維圖像重構(gòu)研究[J].激光雜志，2019，40（6）：83?87.

[14] 賈婷婷，王濟(jì)浩，鄭雅羽.一種拉普拉斯金字塔結(jié)構(gòu)的團(tuán)網(wǎng)絡(luò)超分辨率圖像重建算法[J].小型微型計(jì)算機(jī)系統(tǒng)，2019，40（8）：1760?1766.

[15] 王旸.超分辨率圖像重建效果優(yōu)化算法研究[J].控制工程，2018，25（5）：740?745.