視覺(jué)傳達(dá)約束下三維圖像虛擬重建

劉哲軍

(天津大學(xué) 建筑學(xué)院， 天津 300072)

視覺(jué)傳達(dá)通過(guò)視覺(jué)媒介的表現(xiàn)方式將設(shè)計(jì)者的作品傳達(dá)給觀眾，能夠體現(xiàn)出作品的時(shí)代特征以及豐富內(nèi)涵，利用視覺(jué)符號(hào)對(duì)各種信息進(jìn)行傳遞，以“觀看”形式實(shí)現(xiàn)交流的目的。通過(guò)視覺(jué)語(yǔ)言實(shí)現(xiàn)內(nèi)容的傳播，可以使不同的地域、性別、年齡、膚色的人，通過(guò)視覺(jué)以及媒介方式完成文化交流、情感溝通以及信息傳達(dá)等，從而跨越彼此間語(yǔ)言不通的障礙，消除語(yǔ)言不同的阻隔，只憑“圖”——圖式、圖法、圖畫、圖案、圖形以及圖像等視覺(jué)共識(shí)得到互動(dòng)以及理解[1]。

三維圖像虛擬重構(gòu)技術(shù)是一種基于方位與光線的三維信息恢復(fù)技術(shù)。作為“圖像與視覺(jué)合一”圖像處理技術(shù)，能夠在獲得觀測(cè)對(duì)象的二維空間信息同時(shí)，將各個(gè)空間像素進(jìn)行色散，從而形成幾十至幾百個(gè)帶寬是10 nm左右波段，進(jìn)而連續(xù)的像素覆蓋，在連續(xù)像素段上對(duì)同一個(gè)目標(biāo)獲取其空間圖像。同時(shí)還可以得到相應(yīng)的三維曲線，直接反應(yīng)出被觀測(cè)物體的三維特征，識(shí)別出各種偽裝目標(biāo)，相比于傳統(tǒng)的相機(jī)或者是成像儀，能夠更加詳細(xì)地對(duì)目標(biāo)進(jìn)行探測(cè)與重構(gòu)[2]。經(jīng)過(guò)重構(gòu)結(jié)束以后，會(huì)生成三維虛擬圖像，利用獲得的圖像數(shù)據(jù)可以區(qū)分與識(shí)別地面物質(zhì)。徐宏根等[3]針對(duì)高光譜圖像的超分辨率重建中光譜保真度的問(wèn)題，在重建方法中耦合光譜保真度函數(shù)，結(jié)合結(jié)構(gòu)自適應(yīng)歸一化卷積方法，提出基于光譜保真約束的歸一化卷積方法，將圖像局部鄰域內(nèi)像素間的光譜相關(guān)性作為約束條件，從而提高重建后超光譜圖像光譜特性的保持程度，該方法具有較好的光譜信息保持度，但圖像邊緣清晰度不理想；楊開(kāi)富[4]設(shè)計(jì)基于虛擬現(xiàn)實(shí)的數(shù)字三維全景超分辨重建系統(tǒng)，利用高斯描述模型定義尺度空間提取二維圖像特征，建立超分辨率網(wǎng)格配準(zhǔn)圖像，建立虛擬的三維全景環(huán)境模型，所設(shè)計(jì)系統(tǒng)的交互性更強(qiáng)，最終生成的數(shù)字三維全景效果更逼真，但是細(xì)節(jié)上存在不清晰的現(xiàn)象。Yin[5]設(shè)計(jì)了一個(gè)基于視覺(jué)傳達(dá)效果的三維圖像虛擬重建系統(tǒng)，并給出了圖像三維重建系統(tǒng)的功能框架圖和硬件結(jié)構(gòu)圖。在對(duì)輸入圖像進(jìn)行中值濾波預(yù)處理后，采用基于圖像序列的三維重建算法對(duì)預(yù)處理后的圖像進(jìn)行三維重建，但是圖像仍存在缺陷。Wu[6]利用虛擬重建技術(shù)，對(duì)三維電影動(dòng)畫圖像采集和特征處理進(jìn)行了研究。

本文提出了一種基于亞像素復(fù)用技術(shù)的時(shí)分復(fù)用方法，以提高集成成像重建圖像的分辨率。利用視覺(jué)傳達(dá)的相關(guān)參數(shù)為約束條件，設(shè)計(jì)三維圖像虛擬重建方法，利用中值濾波對(duì)圖像進(jìn)行預(yù)處理，降低噪聲的非線性信號(hào)，運(yùn)用碰撞理論進(jìn)行三維圖像虛擬重建的可行性分析。

1 視覺(jué)傳達(dá)的三維圖像虛擬重建方法設(shè)計(jì)

在進(jìn)行三維虛擬圖像重構(gòu)前，需要計(jì)算相關(guān)約束條件，本文以視覺(jué)傳達(dá)靈敏度這一關(guān)鍵指標(biāo)，作為約束條件。計(jì)算掃描需要重構(gòu)圖像的數(shù)據(jù)信息為：

(1)

式中：f(x)代表像素的有效性，通常情況下有效性是一個(gè)范圍性的數(shù)值；x、y、z分別代表掃描像素點(diǎn)的三維坐標(biāo)；pk代表某種規(guī)定的特征參數(shù)；DL代表線色散率。

在經(jīng)過(guò)有效的計(jì)算，可以將像素實(shí)現(xiàn)視覺(jué)傳達(dá)約束的參數(shù)分析，而為了簡(jiǎn)化計(jì)算過(guò)程，相關(guān)參數(shù)替換后進(jìn)行轉(zhuǎn)換為：

(2)

式中：x′、y′、z′為存在視約束的三維坐標(biāo)值；E代表數(shù)據(jù)加權(quán)分量，通過(guò)公式轉(zhuǎn)換能夠直接計(jì)算匹配效應(yīng)。

每個(gè)圖像數(shù)據(jù)都存在一個(gè)特定的視覺(jué)表達(dá)約束值。而約束值則表示相應(yīng)的視覺(jué)傳達(dá)屬性特征，具體像素密度系數(shù)為：

(3)

式中：hu代表整合系數(shù)；F(l)代表數(shù)據(jù)密度熵函；Dj代表三維聯(lián)合特征分量；Pu代表?yè)Q階函數(shù)。

為了方便實(shí)現(xiàn)像素定位，選取另一個(gè)視覺(jué)傳達(dá)屬性，完成搭配換算，像素可定位屬性為：

f(u)=Ktln(1+duRu)

(4)

式中：Kt代表靈敏度系數(shù)值；du代表偏導(dǎo)數(shù)。

經(jīng)過(guò)條件限定，能夠?qū)γ總€(gè)存在特定屬性的像素值實(shí)現(xiàn)靈敏度的測(cè)定，經(jīng)過(guò)測(cè)定后能夠?qū)崿F(xiàn)差分計(jì)算，具體靈敏度可測(cè)定參數(shù)為：

(5)

式中：Hu代表非邊緣點(diǎn)數(shù)目；λ代表像素均值；Pt代表總圖像像素點(diǎn)數(shù)目。

圖像每幀的像素值能夠通過(guò)差分算法進(jìn)行計(jì)算。因?yàn)椴罘钟?jì)算可以填充像素，從而保證超光譜圖像的實(shí)質(zhì)效果，填充靈敏度為：

(6)

將式(4)、(5)代入式(6)，經(jīng)過(guò)整理后能夠獲得計(jì)算填充靈敏度為：

(7)

利用填充整理能夠獲得關(guān)于實(shí)際設(shè)計(jì)和區(qū)域像素之間的關(guān)系，調(diào)整式(7)中λ均值能夠?qū)Y(jié)果進(jìn)行調(diào)整。同時(shí)確認(rèn)幀頻位置，定位靈敏度為：

(8)

式中：δ代表采樣率；kj代表幀頻限制因子。

經(jīng)過(guò)邏輯系數(shù)的轉(zhuǎn)換，能夠?qū)崿F(xiàn)調(diào)整，通過(guò)實(shí)際計(jì)算可以獲得綜合靈敏度差分系數(shù)f值為：

f=(f(k1)-f(k2))D

(9)

式中D為幀頻線性分布特征量。

通過(guò)對(duì)式(9)的結(jié)果進(jìn)行坐標(biāo)填充，可以保證每個(gè)坐標(biāo)只有一個(gè)系統(tǒng)估計(jì)值，在數(shù)據(jù)提取過(guò)程中，有效解決數(shù)據(jù)的不穩(wěn)定狀態(tài)或呈現(xiàn)不明顯的因素等問(wèn)題。

1.1 圖像預(yù)處理分析

利用中值濾波對(duì)圖像進(jìn)行預(yù)處理，因?yàn)橹兄禐V波在本質(zhì)上可以有效降低噪聲的非線性信號(hào)，該技術(shù)把數(shù)字圖像或者數(shù)字序列內(nèi)的某一點(diǎn)，通過(guò)與該點(diǎn)距離相對(duì)較近的范圍內(nèi)，各數(shù)值中值進(jìn)行表示。令附近真實(shí)值與像素值二者間的關(guān)系相近，以此采用此方法排除單獨(dú)噪聲點(diǎn)。該項(xiàng)技術(shù)存在去除噪聲快、速率快以及操作簡(jiǎn)單等優(yōu)點(diǎn)，在特定條件下，對(duì)數(shù)字圖像進(jìn)行有效預(yù)處理[6]。

利用中值濾波對(duì)圖像進(jìn)行處理，對(duì)應(yīng)的輸出值為：

(10)

式中：rj代表窗口水平方向；ri代表窗口垂直方向；lm代表幀頻序列索引值；nu代表圖像上的某像素點(diǎn)[7]。

1.2 碰撞匹配重建算法設(shè)計(jì)

在計(jì)算得到視覺(jué)傳達(dá)差異靈敏度約束條件后，運(yùn)用碰撞理論進(jìn)行三維圖像虛擬重建的可行性分析。在運(yùn)用碰撞理論進(jìn)行三維虛擬圖像重建是否成功的判斷前，需要采集得到像素的視覺(jué)靈敏度差異特征分布情況，判斷過(guò)程需要獲取至少3步以上[8]。直接關(guān)系的圖像像素視覺(jué)傳達(dá)特征數(shù)據(jù)，計(jì)算其靈敏度差值，作為碰撞判斷初始值。由于圖像的視覺(jué)傳達(dá)靈敏度差異特性已經(jīng)證明在空間上是獨(dú)立分布的，保證了視覺(jué)傳達(dá)特征存在的差異滿足碰撞條件。因此這種三維像素?cái)?shù)據(jù)會(huì)在空間中，產(chǎn)生區(qū)域碰撞，而碰撞的新區(qū)域可完好的彌補(bǔ)確實(shí)的三維圖像特征，為圖像三維重構(gòu)的一個(gè)有效手段。

碰撞判斷以3個(gè)像素的視覺(jué)傳達(dá)靈敏度差分信息為基礎(chǔ)，形成一個(gè)虛擬三維重構(gòu)區(qū)域。每個(gè)像素的差分信息在二維空間中，由坐標(biāo)軸上的X、Y坐標(biāo)表示，分別是視覺(jué)傳達(dá)特征的靈敏度差分值和灰度值，將圖像三維虛擬重建轉(zhuǎn)化到數(shù)學(xué)的二維空間坐標(biāo)系中。

運(yùn)用上述像素視覺(jué)傳達(dá)特征的靈敏度差分值，進(jìn)行三維圖像虛擬重構(gòu)，以重構(gòu)前后2個(gè)相鄰像素為例，組成2個(gè)三角區(qū)域，設(shè)為ΔAkBkCk和ΔDk+1EkFk，稱為可重構(gòu)的區(qū)域。三角形的頂點(diǎn)表示為三角區(qū)域像素實(shí)際二維坐標(biāo)。設(shè)點(diǎn)Dk是2個(gè)存在視覺(jué)傳達(dá)靈敏度差分的區(qū)域ΔDk+1EkFk的中線交點(diǎn)，其與另一個(gè)差分區(qū)ΔAkBkCk有碰撞點(diǎn)。該碰撞點(diǎn)可作為三維圖像虛擬重構(gòu)的額外補(bǔ)償點(diǎn)，但要保證其所在區(qū)域的灰度坐標(biāo)小于其中頂點(diǎn)坐標(biāo)的最小值，也就是要保證三維虛擬重構(gòu)是正在進(jìn)行的。對(duì)上述過(guò)程進(jìn)行數(shù)學(xué)模型設(shè)計(jì)，可以通過(guò)向量的方式，進(jìn)行是否存在視覺(jué)傳達(dá)差異碰撞點(diǎn)的判斷，判斷方法如下,考慮向量[9]：

(11)

1.3 差異化二維圖像數(shù)據(jù)的碰撞判斷

通過(guò)上面的內(nèi)容，計(jì)算出可重建區(qū)域，并且確認(rèn)三維重建區(qū)域有效后后，就需要進(jìn)一步確定具體的發(fā)生重構(gòu)的三維圖像數(shù)據(jù)含義信息[10]，然后盡可能的進(jìn)行細(xì)化計(jì)算，保證區(qū)域內(nèi)的同步性。在發(fā)生碰撞前，圖像像素特征依舊用二維坐標(biāo)表示。三維重建時(shí)三角區(qū)ΔDk+1EkFk與三角區(qū)ΔAkBkCk所在平面會(huì)存在碰撞點(diǎn)，判斷碰撞點(diǎn)Q的坐標(biāo)值是否是完整的三維圖像虛擬特征，完成碰撞判斷。計(jì)算出的二維像素坐標(biāo)信息，包含著碰撞像素信息和視覺(jué)傳達(dá)約束信息的具體值如圖1所示。

圖1 重構(gòu)區(qū)域的碰撞分析

三維虛擬區(qū)域中，在像素連線過(guò)程中，可用直線方程表示為：

(P-A)·n=0

(12)

式中：P是虛擬區(qū)的任意一個(gè)視覺(jué)像素點(diǎn)的向量，可表示為：

P=xi+yj+zk

(13)

A=xAi+yAj+zAk則是視覺(jué)差異化像素點(diǎn)A的向量表示；n=ai+bj+ck是碰撞區(qū)域法向量表示，因此，可做變換：

a(x-xA)+b(y-yA)+c(z-zA)=0

用碰撞頂點(diǎn)F的二維坐標(biāo)和另一個(gè)碰撞頂點(diǎn)D的二維坐標(biāo)，計(jì)算兩者之間連線的直線方程表達(dá)式[11]：

(14)

得出碰撞點(diǎn)連線的參數(shù)方程：

x=ltQ+xF,y=mtQ+yF

其中：

p=n·F-n·A,s=al+bm+cn。

代入式(14)得[12]：

xQ=ltQ+xF,yQ=mtQ+yF

(15)

得到Q(x,y)坐標(biāo)后，在進(jìn)行三維虛擬圖像重構(gòu)的過(guò)程中，可以通過(guò)以上方法求出的可補(bǔ)償?shù)南袼刈鴺?biāo)信息，判斷該點(diǎn)是否在區(qū)域內(nèi)，進(jìn)行碰撞檢測(cè)，根據(jù)計(jì)算出的碰撞信息，能夠分析出這區(qū)域內(nèi)進(jìn)行三維虛擬重構(gòu)是否符合要求，如果符合要求，將該點(diǎn)作為特征彌補(bǔ)點(diǎn)，進(jìn)行特征彌補(bǔ)，完成三維圖像虛擬重構(gòu)。

2 三維圖像仿真實(shí)驗(yàn)

2.1 實(shí)驗(yàn)環(huán)境

為了驗(yàn)證所提視覺(jué)傳達(dá)約束下三維圖像虛擬重建方法的有效性進(jìn)行測(cè)試，擬定測(cè)試平臺(tái)即Matlab R2019b，在主頻為1的環(huán)境下進(jìn)行仿真測(cè)試。選擇128×128的像素標(biāo)準(zhǔn)圖像，作為圖像背景，通過(guò)圖像降質(zhì)模型，將高分辨率圖像轉(zhuǎn)變成低分辨率圖像。因?yàn)榫哂衅鹗嫉母叻直鎴D像，能夠客觀地對(duì)重建后三維圖像進(jìn)行評(píng)價(jià)。具體采樣的方法如圖2所示。

圖2 圖像的亞采樣方式

通過(guò)圖2可知，把鄰近4個(gè)像素分別抽樣至不同低分辨率成像的網(wǎng)格內(nèi)，利用一幅高分辨圖像采樣獲得低分辨序列圖像。在高斯模糊模型中，采用3×3空間不變的高斯低通濾波器，設(shè)標(biāo)準(zhǔn)離差為1，采樣因子為4，將全部低分辨圖像引入高斯噪聲，使其信噪比滿足35 dB。同時(shí)，需要考慮邊界問(wèn)題以及采用相機(jī)模糊的運(yùn)動(dòng)參數(shù)，將低分辨圖像的序列各幀大小設(shè)置為100×100像素，輸出幀數(shù)設(shè)置為70幀。通過(guò)這種采樣方式，篩選出高分辨圖像，便于對(duì)其進(jìn)行評(píng)價(jià)。

2.2 實(shí)驗(yàn)結(jié)果和分析

2.2.1 圖像清晰度分析

在The MNIST database圖像分類數(shù)據(jù)庫(kù)中隨機(jī)選取1 000個(gè)圖像數(shù)據(jù)。亞采樣方式處理后，將其中800個(gè)圖像數(shù)據(jù)用于訓(xùn)練，200個(gè)圖像數(shù)據(jù)用于測(cè)試。在測(cè)試圖像中隨機(jī)挑選1個(gè)圖像數(shù)據(jù)利用本文方法進(jìn)行三維重建，重建結(jié)果如圖3所示。

圖3 圖像清晰度結(jié)果

通過(guò)圖3可以有效剔除圖像背景不相關(guān)部分，三維重建后的圖像清晰分類偏差處于相對(duì)穩(wěn)定狀態(tài)，清晰度較高，由此證明所提方法的優(yōu)越性。所提方法利用中值濾波對(duì)圖像進(jìn)行預(yù)處理，且中值濾波在本質(zhì)上可以有效降低噪聲的非線性信號(hào)，因此增加了三維重建后圖像的清晰度。

2.2.2 圖像邊緣細(xì)節(jié)分析

在三維圖像虛擬重建過(guò)程中，由于各個(gè)算法的操作過(guò)程不同，導(dǎo)致圖像邊緣細(xì)節(jié)處理結(jié)果有所差異。以下仿真實(shí)驗(yàn)主要對(duì)比3種不同方法的三維圖像重建后的圖像邊緣細(xì)節(jié)，具體仿真結(jié)果如圖4所示。

圖4 圖像邊緣細(xì)節(jié)結(jié)果

通過(guò)圖4可得，相比另外2種方法，本文碰撞匹配重構(gòu)算法的圖像邊緣細(xì)節(jié)處理較好。這是由于利用差異度閾值約束三維重建過(guò)程，降低像素丟失。將本文方法與文獻(xiàn)[3]方法提出的光譜保真歸一化卷積高光譜超分辨率重建方法、文獻(xiàn)[4]提出的基于虛擬現(xiàn)實(shí)的數(shù)字三維全景超分辨重建方法進(jìn)行對(duì)比，分析3種方法處理三維圖像重建后的圖像邊緣細(xì)節(jié)結(jié)果。

2.2.3 圖像重建時(shí)間分析

為了更加全面驗(yàn)證本文方法的優(yōu)越性，以下仿真實(shí)驗(yàn)重點(diǎn)對(duì)比3種不同方法的三維圖像重建時(shí)間，具體仿真結(jié)果如圖5所示。且本文方法的圖像重建時(shí)間最短為4 min，最長(zhǎng)不超過(guò)6 min，其主要原因是所提方法在計(jì)算得到視覺(jué)傳達(dá)差異靈敏度約束條件后，運(yùn)用碰撞理論進(jìn)行三維圖像虛擬重建的可行性分析。

通過(guò)圖5可得，由于本文方法以差異度作為約束條件，可以有效對(duì)圖像進(jìn)行去噪處理，促使三維圖像重建時(shí)間較短，效率明顯高于另外2種方法法，由此表明差異度對(duì)三維圖像虛擬重建具有重要意義。

圖5 圖像重建時(shí)間結(jié)果

3 結(jié)論

1)利用Pilson相似系數(shù)獲取圖像特征關(guān)聯(lián)性，將差異度作為約束條件構(gòu)建離散余弦變換矩陣，得出圖像閾值，根據(jù)閾值結(jié)果優(yōu)化三維空間指示函數(shù)，以此提高三維圖像重建時(shí)間。

2)采用碰撞匹配重構(gòu)算法重構(gòu)圖像特征，根據(jù)視覺(jué)傳達(dá)差異像素碰撞像素間隔，獲取二維圖像序列，以此降低像素丟失，保持圖像穩(wěn)定性狀態(tài)，提升了視覺(jué)傳達(dá)效率。

3)本文方法三維重建圖像清晰度較高，可以復(fù)原原始圖像，圖像邊緣細(xì)節(jié)較好，可以精準(zhǔn)實(shí)現(xiàn)三維圖像虛擬重建，同時(shí)圖像重建時(shí)間保持在5 min內(nèi)，視覺(jué)傳達(dá)效果較好。

由于時(shí)間和研究條件有限，測(cè)試范圍選取不夠?qū)挿?，比如此次研究未將方法的?shù)據(jù)丟包率和降噪效果作為測(cè)試對(duì)象。在此后的測(cè)試上將對(duì)兩者進(jìn)行分析，以此夯實(shí)研究結(jié)果。