改善投影分辨率的疊加圖像方法及其圖像質(zhì)量評價(jià)方法概述

胡俊　劉清源

中圖分類號： TP391.41 文獻(xiàn)標(biāo)識碼： A 文章編號： 2095-2457（2018）04-0026-001

An Overview of Superimposed Image Methods for Improving Projection Resolution and Their

Image Quality Evaluation Methods

HU Jun Liu Qing-yuan

（School of Electronic and Information Engineering，Changchun University of Science and Technology，

Changchun，Jilin 130022）

分辨率是投影儀性能的關(guān)鍵指標(biāo)，提高分辨率是投影儀行業(yè)的重要目標(biāo)之一。與空間光調(diào)制器（SLM）的原始圖像的分辨率比較，投影圖像疊加是有效的提高投影儀分辨率的方法。投影圖像疊加方法可以在多投影系統(tǒng)或者具有光機(jī)系統(tǒng)的單投影系統(tǒng)中使用。兩個或者多個圖像在投影幕布上組成疊加投影圖像，其疊加投影圖像可以用加法函數(shù)的方法來進(jìn)行理論計(jì)算。

在4K高清視頻市場推動下，投影設(shè)備分辨率增強(qiáng)技術(shù)成為當(dāng)下研究的熱點(diǎn)。并不是所有的SLM都可以進(jìn)行4K調(diào)制，所以研究各種各樣的分辨率增強(qiáng)技術(shù)，提高SLM的投影分辨率。疊加圖像的分辨率增強(qiáng)技術(shù)，好比光學(xué)低通濾波器一樣濾除圖像中的高頻分量，增加有效像素的同時也增加了使圖像模糊的偽影，偽影影響了圖像的視覺質(zhì)量和分辨率尺寸。疊加圖像的方法可以使投影圖像具有高分辨率和高質(zhì)量的同時，又增加了偽影。與SLM的微縮方法得到的投影圖像相比較，偽影是一個新的挑戰(zhàn)。

本文介紹不同的疊加圖像方法和探求不同的方法間的圖像質(zhì)量。概述前人在疊加圖像領(lǐng)域所做的工作及相應(yīng)質(zhì)量評估方法。質(zhì)量度量學(xué)相關(guān)章節(jié)說明的是方法論及實(shí)驗(yàn)設(shè)計(jì)，描述了使用不同度量學(xué)和疊加方法所設(shè)計(jì)的實(shí)驗(yàn)方法。

Takahashi等在1995年設(shè)計(jì)四個LCD投影到一個屏上的復(fù)雜投影結(jié)構(gòu)。其優(yōu)點(diǎn)是對LCD像素的因子填充，在這個結(jié)構(gòu)中，兩個像素處于低重疊狀態(tài)。所有投影設(shè)備像素的疊加，其目的是填充其他投影設(shè)備所投出的暗區(qū)域，同時在水平與垂直方向上獲得雙倍的分辨率。在安裝與調(diào)試上，本套設(shè)備需要繁瑣和精細(xì)的裝調(diào)。隨著使用時間的加長，LCD的填充的像素尺寸也變大，凸顯出方法的重大缺陷。Takahashi等使用光學(xué)仿真的方法獲得光學(xué)傳遞函數(shù)（MTF），并作為主要的評估分辨率方法。

Jaynes等設(shè)計(jì)由多個投影儀同時投射到一個屏幕上的系統(tǒng)，通過校準(zhǔn)方式?jīng)Q定每個投影儀所投射出的子像素之間的關(guān)系。校準(zhǔn)的目的是每個投影設(shè)備都是精確的投影圖像，目標(biāo)幀是通過混合的緩沖幀獲得高分辨率的投影圖像。在實(shí)踐過程中，校準(zhǔn)過程是非常精密的，而且要求操作者具有良好的實(shí)踐經(jīng)驗(yàn)，但是校準(zhǔn)過的系統(tǒng)卻容易離焦。Jaynes等通過顯示改進(jìn)后的圖像來說明他們所做工作的有效性。

Allen和Ulichney設(shè)計(jì)一個突破傳統(tǒng)想法的系統(tǒng)——用一個光機(jī)電投影設(shè)備替代原來的思想，在投影面上移動第n空間幀。這種方法稱為“Wobulation”，確保像素的統(tǒng)一移動和疊加。Wobulation實(shí)現(xiàn)在空間光調(diào)制器中的一個像素在投影后具有多個像素位置。Wobulation方法使用一個空間光調(diào)制器展示不同的圖像位置其價(jià)值在于降低時間分辨率來等效于多圖像位置。在Allen和Ulichney的論文中，相同的子幀在兩個不同位置疊加導(dǎo)致結(jié)果圖像有些模糊。作者在視覺上一步一步改善圖像質(zhì)量，但是沒有對投影圖像改善的結(jié)果做定量分析。

Said在2006年提供一種創(chuàng)建子幀的理論框架，解決疊加圖像方法當(dāng)前的局限性，并為疊加圖像方法的推廣奠定理論基礎(chǔ)。雖然Said所獲得的子幀并不是最佳的，但是用數(shù)學(xué)方法來評價(jià)圖像質(zhì)量。其數(shù)學(xué)方法為PSNR和視覺表述評估圖像質(zhì)量。

Damera-Venkata和Chang在2007年提出使用多投影設(shè)備生成疊加圖像的方法。此方法說明大于奈奎斯特采樣頻率的顯示頻率是可以提高投影圖像的分辨率的，但只是在視覺判別上給出定性的說明，而沒有進(jìn)行定量的說明。

Okatani等從Damera-Venkata和Chang基礎(chǔ)上進(jìn)一步進(jìn)行理論研究，揭示了疊加圖像的質(zhì)量隨系統(tǒng)最大亮度的變化而變化。在這個工作中，通過視覺探查判別圖像質(zhì)量，而不是質(zhì)量度量學(xué)。

Sajadi等在2012年介紹圖像增強(qiáng)方法，兩個串聯(lián)的SLM來增強(qiáng)圖像邊緣的銳度，同時也增加分辨率。兩個SLM的光像素分配單元在空間域內(nèi)生成更小的像素。此方法在實(shí)際中是有效的，但是實(shí)驗(yàn)系統(tǒng)只是通過視覺判別來評估圖像質(zhì)量。

Sajadi等在2013年介紹一種低成本的疊加圖像方法，在原始圖像疊加一個經(jīng)過精確移動（下轉(zhuǎn)第45頁）（上接第26頁）的子圖像。此方法與Allen和Ulichney設(shè)計(jì)的Wobulation類似，但是此方法不是時隙圖像，而是圖像自身移動后子圖像與原始圖像的疊加。此方法的圖像空間質(zhì)量雖然不是最滿意的，但是是最有效的。通過SSIM度量學(xué)來表示此方法的圖像質(zhì)量的增加，當(dāng)色彩浮動時使用色差來檢測。Sajadi等人通過計(jì)算移動像素與多個疊加幀的不同組合的直方圖來評估圖像中的保留要素。

Heide等在2014年介紹一種有趣的方法，將圖像投影到SLM上，而不是疊加圖像到投影屏幕上。精確的移動帶有子像素的第二個SLM，減少第二個SLM的光強(qiáng)，而不是增加光強(qiáng)。此方法稱為“乘法疊加”，與之對應(yīng)的是有在每一個子圖像的頂部規(guī)律增加疊加光。通過視覺判別、PSNR、SSIM和MTF分析來證明其顯而易見的優(yōu)越性。

Barshan等在2015年介紹名為“移動疊加”的疊加原理。此方法類似于Allen和Ulichney設(shè)計(jì)的Wobulation方法，但是子圖像的生成是在更精細(xì)的方法中完成的。通過視覺判別和MSSIM度量學(xué)來說明此方法對圖像質(zhì)量的提高。

上述所說明的是在疊加領(lǐng)域中，不同的作者有不同的疊加圖像方法與評估圖像質(zhì)量方法。其共同點(diǎn)是通過不同的圖像表征疊加圖像視覺的優(yōu)勢，但是這是一種缺乏不同算法間客觀對比的方法。接下來介紹與上述方法不同的質(zhì)量度量學(xué)及可能用到的質(zhì)量度量學(xué)。

質(zhì)量度量方法可以分為兩類：基于原始誤差計(jì)算和人類視覺系統(tǒng)（HVS）啟發(fā)度量學(xué)。

基于誤差計(jì)算是基于兩個圖像間誤差量化的數(shù)學(xué)度量。因?yàn)楹唵我锥?、便于使用及低運(yùn)算成本而使其廣泛應(yīng)用。這些度量方法中典型的應(yīng)用是均方差（MSE）和不同版本的信噪比（SNR）。信噪比和峰值信噪比是基于加工過的圖像，其是原始圖像加上中立的噪聲信號。信噪比是平均信號功率與噪聲信號功率的比值，峰值信噪比是峰值信號功率與噪聲信號功率的比值?；谠颊`差計(jì)算具有其自身的局限性，它們往往與主觀質(zhì)量評估沒有很好的相關(guān)性。

為了克服這些弊端，加權(quán)信噪比（WSNR）是以HVS對比敏感函數(shù)來考慮開發(fā)的。WSNR定義為平均加權(quán)信號功率與平均加權(quán)噪聲功率之比。通過對HVS屬性的微小修改的基于誤差的度量，則WSNR是綜合基于原始誤差的計(jì)算和HVS的度量。其他的度量方法，比如PSNRHVS和PSNRHVSM都是使用PSNR法則，基于頻率的修改實(shí)現(xiàn)度量并與HVS的敏感度做對比。

由HVS屬性所衍生出的純HVS，目的是測量HVS的特殊圖像屬性，與SSIM度量法比在光強(qiáng)、對比度和圖像結(jié)構(gòu)上敏感，在兩個圖像間測量其相似度。全部或者部分考慮HVS的方法促進(jìn)如下幾種質(zhì)量度量的方法，比如多尺度SSIM（MSSSIM）、ESSIM、SRSIM、FSIM、DCTex、VIF和VSNR。

本文對改善投影分辨率的疊加圖像方法及其圖像質(zhì)量評價(jià)方法進(jìn)行概述，總結(jié)能夠提高投影分辨率的不同疊加圖像方法，并概述了不同方法所對應(yīng)的圖像質(zhì)量評價(jià)方法。