基于尺度金字塔標(biāo)定的攝屏圖像重構(gòu)算法

陳申渭 馬漢杰 馮杰 許佳立

摘要：為使數(shù)碼相機(jī)直接拍攝電子顯示屏獲得更清晰的攝屏圖像，提出一種基于液晶點(diǎn)物理結(jié)構(gòu)與原始像素點(diǎn)映射的空間重構(gòu)算法。該算法通過改進(jìn)的尺度金字塔標(biāo)定采樣的液晶結(jié)構(gòu)特征，并利用基于區(qū)域關(guān)系的向量?jī)?nèi)積插值算法恢復(fù)顏色通道。算法將圖像重構(gòu)至原始尺寸，在保留原始圖像信息的同時(shí)過濾高頻噪聲，避免縮放產(chǎn)生摩爾紋和鏡頭畸變。實(shí)驗(yàn)表明，與傳統(tǒng)圖像分割算法相比，基于尺度金字塔標(biāo)定的攝屏圖像特征算法運(yùn)行時(shí)間更短，樣本提取特征準(zhǔn)確度達(dá)到99.99%。其重構(gòu)圖像與原始圖像的直方圖相似度達(dá)到85%，遠(yuǎn)高于攝屏圖像與原始圖像36%的相似度，同時(shí)消除了鏡頭畸變與縮放類摩爾紋。

關(guān)鍵詞：圖像金字塔;圖像濾波;圖像重構(gòu)

DOI： 10. 11907/rjdk.191806

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP317.4

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1672-7800（2020）004-0234-04

0 引言

數(shù)碼相機(jī)通過（光）電荷耦合器件CCD/COMS感光矩陣接收光學(xué)鏡頭傳遞的影像，替代原有膠片相機(jī)的感光膠片位置，使圖像數(shù)字化得到長(zhǎng)足發(fā)展[1]。隨著科技進(jìn)步，數(shù)碼相機(jī)取代了傳統(tǒng)膠卷相機(jī)的壟斷地位，并搭載智能手機(jī)，成為信息化時(shí)代標(biāo)志性產(chǎn)品之一[2]。同時(shí)，顯示技術(shù)快速發(fā)展，LCD（ Liquid Crystal Display）液晶顯示屏取代CRT顯示器（陰極射線顯像管）成為主流，作為主要電子輸出設(shè)備應(yīng)用廣泛，開創(chuàng)了顯示領(lǐng)域新時(shí)代。無論是主流的LCD、LED（Light Emitting Diode，發(fā)光二極管）液晶技術(shù)，還是新興的DLP（Digital Light Processing）激光投影顯示技術(shù)，均通過一個(gè)或多個(gè)微小的單元格組成像素，通過矩陣排布組成完整屏幕畫面。該特性被定義為屏幕分辨率，屏幕分辨率直接反映屏幕精密度[3]。相較于快速發(fā)展的數(shù)碼相機(jī)像素，主流計(jì)算機(jī)顯示器屏幕分辨率仍停留在原來規(guī)格上[4]。

在日常生活中，用戶常直接利用數(shù)碼相機(jī)拍攝液晶屏幕畫面，獲取并傳遞屏幕畫面文字信息，尤其是被封裝的設(shè)備無法通過正常數(shù)據(jù)傳輸?shù)姆绞将@得屏幕信息時(shí)，往往通過數(shù)碼相機(jī)拍攝電子屏幕捕捉信息，該方法極大程度上便利了信息存儲(chǔ)與交流[5]。但數(shù)碼相機(jī)和電子屏幕的物理特性使攝屏圖像在場(chǎng)景拍攝時(shí)過采樣顯示器液晶結(jié)構(gòu)，在屏幕輸出時(shí)又由于圖像過大而進(jìn)行下采樣，因此造成諸如相機(jī)標(biāo)定、空間轉(zhuǎn)化、摩爾紋、不同終端設(shè)備的圖像縮放等不可避免的問題[6-7]。

在數(shù)碼相機(jī)采樣與電子圖像成像過程中，圖像信號(hào)頻率與采樣頻率失調(diào)引起的圖像失真現(xiàn)象引起了學(xué)者關(guān)注[8-9]。研究發(fā)現(xiàn)可通過光學(xué)處理幕去除LED顯示屏摩爾紋，即在LED顯示屏表面疊加一層光學(xué)處理幕，該幕由特定比例的特殊吸光材料與表面微珠透鏡涂層組成，通過光學(xué)處理幕放大顯示離散的LED發(fā)光點(diǎn)，改善LED顯示屏表面物理結(jié)構(gòu)，使LED顯示屏由點(diǎn)發(fā)光轉(zhuǎn)換成面發(fā)光，最終在光學(xué)處理幕表面形成連續(xù)的高清晰圖像，消除摩爾紋[10]。

摩爾紋是由于不同物體之間發(fā)生波的干涉現(xiàn)象產(chǎn)生的，而波在干涉時(shí)受到頻率、振幅和方向等因素影響。因此可通過改變拍攝對(duì)象與感光元器件的空間頻率、振幅、距離和方向消除摩爾紋[11-12]。然而在數(shù)碼攝像上簡(jiǎn)單地改變相機(jī)角度、相機(jī)位置、焦點(diǎn)、鏡頭焦長(zhǎng)已不足以面面俱到，同時(shí)違背了產(chǎn)品智能化的設(shè)計(jì)理念。

本文針對(duì)攝屏圖像的重構(gòu)算法與傳統(tǒng)圖像插值及超分辨率重構(gòu)的不同，提出基于尺度金字塔標(biāo)定的攝屏圖像重構(gòu)算法。該算法針對(duì)攝屏圖像的獨(dú)特性質(zhì)，一方面通過先驗(yàn)的液晶屏幕物理結(jié)構(gòu)，在濾波算法基礎(chǔ)上通過尺度金字塔提取圖像特征信號(hào)模型，進(jìn)而完成空間重構(gòu)[13-14];另一方面通過對(duì)相機(jī)采樣的先驗(yàn)知識(shí)，利用改進(jìn)的插值算法，有效抑制物理結(jié)構(gòu)帶來的噪聲干擾，獲得色調(diào)還原度與細(xì)節(jié)保存較好的重構(gòu)圖像[15]。同時(shí)重構(gòu)圖像還可克服鏡頭畸變[16]和拍攝角度傾斜引起的相機(jī)標(biāo)定問題[17]。算法通過圖像直方圖相似度，可清晰、準(zhǔn)確地判別出重構(gòu)圖像的空間結(jié)構(gòu)，并使顏色接近于被采樣圖像[18-19]。

1 攝屏圖像形成與還原

攝屏圖像的形成過程復(fù)雜，被采樣的攝屏圖像具體形成過程如圖1所示。首先原始圖像信息作為數(shù)字信號(hào)存儲(chǔ)于電子存儲(chǔ)設(shè)備中，通過顯示設(shè)備轉(zhuǎn)換為光信號(hào)輸出;然后在世界坐標(biāo)系中轉(zhuǎn)換為光信號(hào)，使原始圖像信息與環(huán)境信息相交融，之后在轉(zhuǎn)化至相機(jī)坐標(biāo)系的過程中，又受相機(jī)采樣分辨率、光學(xué)效應(yīng)、白平衡等相機(jī)成像因素影響進(jìn)一步失真;最終再轉(zhuǎn)換為數(shù)字信號(hào)存儲(chǔ)于數(shù)碼相機(jī)內(nèi)存中，形成本文描述的攝屏圖像[20]。

通過拍攝屏幕獲取的目標(biāo)信息實(shí)際并不是攝屏圖像，而是在顯示設(shè)備輸出時(shí)的原始圖像。然而經(jīng)過圖1所示的復(fù)雜過程后，攝屏圖像與原始圖像已有顯著差異。首先是圖像尺寸和數(shù)據(jù)大小，目前主流的智能手機(jī)攝像頭已達(dá)到千萬像素，而主流的顯示攝屏依舊停留在1920*1080左右，當(dāng)僅對(duì)屏幕的一部分進(jìn)行采樣時(shí)，其尺寸差異進(jìn)一步拉大，往往一張?jiān)谟?jì)算機(jī)內(nèi)存中幾KB壓縮格式的原始圖像經(jīng)過攝屏操作后，得到幾十MB大小的位圖格式的攝屏圖像;其次是圖像結(jié)構(gòu)發(fā)生變化，相機(jī)采樣的實(shí)質(zhì)并非原始圖像，而是承載原始圖像光信號(hào)的液晶點(diǎn)矩陣，這使相機(jī)過采樣液晶點(diǎn)物理結(jié)構(gòu)信息，這些結(jié)構(gòu)形成了周期性高頻信號(hào)并在縮放過程中造成摩爾紋現(xiàn)象;最后受屏幕模式、相機(jī)模式、環(huán)境光等多種復(fù)雜因素的影響，使攝屏圖像與原始圖像之間的顏色產(chǎn)生極大失真。

本文設(shè)計(jì)思路是通過解決空間結(jié)構(gòu)還原與顏色通道還原兩方面的問題，使攝屏圖像重構(gòu)還原接近原始圖像水平。算法流程如圖2所示。

2 算法實(shí)現(xiàn)

2.1 攝屏圖像與原始圖像的空間映射

通過改進(jìn)尺度金字塔提取兩個(gè)方向的圖像高頻信號(hào)特征，利用兩個(gè)方向上的映射重組建立信號(hào)模型，在重構(gòu)圖像的具體過程中，先重構(gòu)圖像空間矩陣，再恢復(fù)像素值插值。

在圖像空間重構(gòu)過程中，需計(jì)算從大小為m×m的原圖像g到大小為nxn的目標(biāo)圖像h的空間非線性映射φ。引人大小為mxn的過度圖像t，將映射φ拆解為從g到t的豎直方向映射φ1與從t到h的水平方向映射φ2。

h=φ（g）=φ2（t）=φ2（φ1（g））

（1）

通過內(nèi)積操作，自適應(yīng)地增大高灰度值采樣點(diǎn)的權(quán)重，合理規(guī)避液晶點(diǎn)間隙帶來的顏色質(zhì)量干擾，同時(shí)削弱圖像分割引起空間映射的誤差。實(shí)際算法實(shí)現(xiàn)時(shí)，內(nèi)積法計(jì)算前不需要先驗(yàn)區(qū)域的長(zhǎng)度T，可大幅降低算法時(shí)間復(fù)雜度。

2.2 基于尺度金字塔的特征標(biāo)定

如圖4所示，本文改進(jìn)的尺度金字塔不同于傳統(tǒng)圖像金字塔。算法保持一個(gè)方向尺度不變的情況下，構(gòu)建分辨率逐級(jí)降低的兩個(gè)圖像合集，通過低通濾波盡可能削弱相切方向的高頻信號(hào)干擾，從而將攝屏圖像的網(wǎng)狀特征信號(hào)分離成兩個(gè)相切方向的特征信號(hào)，構(gòu)建液晶點(diǎn)區(qū)域與像素點(diǎn)的空間映射關(guān)系。

如圖5所示，在攝屏圖像偏轉(zhuǎn)角度允許的范圍內(nèi)，盡量壓縮圖像，通過圖像金字塔低通濾波算子削弱噪聲，以提取連續(xù)穩(wěn)定的圖像特征;然后，將特征信號(hào)模型恢復(fù)至原圖大小，獲得兩個(gè)相切方向的高頻信號(hào)模型，進(jìn)而完成空間映射的計(jì)算。

受限制于特征條紋的偏轉(zhuǎn)角度限定，理論最優(yōu)狀態(tài)是圖像中特征條紋最大偏轉(zhuǎn)角度為45°，否則將由于過度下采樣造成待提取特征信號(hào)缺失。本文算法通過在圖像高頻信號(hào)的周期領(lǐng)域內(nèi)取灰度極小值點(diǎn)，從而標(biāo)定液晶點(diǎn)間隙對(duì)應(yīng)的高頻特征信號(hào)。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)以50張分辨率為3 024*3 024且對(duì)應(yīng)原始圖像為525*525的攝屏圖像作為樣本集，其最大偏轉(zhuǎn)角度控制在10°以內(nèi)。如圖6所示，攝屏圖像通過本文重構(gòu)算法還原至原始圖像尺度，并消除了高頻噪聲干擾，直方圖相似度達(dá)到85%左右，遠(yuǎn)高于攝屏圖像和原始圖像36%的直方圖相似度與傳統(tǒng)縮放算法和原始圖像40%的直方圖相似度。如表1所示，實(shí)驗(yàn)利用各級(jí)尺度金字塔提取圖像特征，圖像收縮尺度越大，則過濾噪聲信號(hào)越明顯、識(shí)別度越精確，重構(gòu)圖像與原始圖像的直方圖相似度越高;但當(dāng)過度收縮時(shí)，由于單一尺度收縮圖像使偏轉(zhuǎn)角度被過度放大，造成有效信號(hào)丟失。

4 結(jié)語(yǔ)

本文通過重構(gòu)攝屏圖像，使其尺寸和空間結(jié)構(gòu)達(dá)到原始圖像水平，不僅可解決攝屏類圖像分辨率過大的問題，同時(shí)基于空間映射的顏色通道插值恢復(fù)算法抑制了液晶點(diǎn)物理結(jié)構(gòu)帶來的噪聲干擾，消除了過采樣液晶點(diǎn)間隙形成的高頻周期信號(hào)，從而避免了縮放后產(chǎn)生摩爾紋的問題。此外，圖像空間映射過程中對(duì)液晶點(diǎn)單元的標(biāo)定使重構(gòu)圖像嚴(yán)格按照顯示屏像素點(diǎn)逐行逐列排布，解決了圖像拍攝角度傾斜、相機(jī)鏡頭光學(xué)畸變等圖像偏轉(zhuǎn)問題。

數(shù)碼相機(jī)與電子顯示屏的技術(shù)突破，通過拍攝屏幕獲取信息的方法愈加常見。本文算法將攝屏圖像重構(gòu)為實(shí)際需求的原始尺度圖像畫面，更貼近用戶實(shí)際需求，對(duì)封裝的電子顯示設(shè)備（如柜臺(tái)機(jī)、廣告屏）更具有現(xiàn)實(shí)意義與實(shí)用價(jià)值。

參考文獻(xiàn)：

[1] 賈志科，崔慧娟，唐昆.彩色數(shù)字照相機(jī)的設(shè)計(jì)[J].電視技術(shù)，2000（ 11）：15-17.

[2] 侯雨石，陳永飛，何玉青，等.數(shù)碼相機(jī)原理與系統(tǒng)設(shè)計(jì)研究[J].光學(xué)技術(shù)，2002（5）：452-454+458.

[3] 李繼軍，聶曉夢(mèng)，甄威，等.顯示技術(shù)比較及新進(jìn)展[J].液晶與顯示，2018，33（1）：74-84.

[4] ALONG.超清晰體驗(yàn)-2K分辨率手機(jī)導(dǎo)購(gòu)[J].電腦知識(shí)與技術(shù)·經(jīng)驗(yàn)技巧.2017（2）：75-77.

[5] 牛春梅.朋友圈的“屏攝”，別再覺得美了[N].北京日?qǐng)?bào)，2019-05-10（ 011）.

[6] 劉芳蕾.基于圖像分解的紋理圖像摩爾紋消除方法[D].天津：天津大學(xué)，2017.

[7] 向祖權(quán).大尺寸LCD圖像引擎的關(guān)鍵算法與前端設(shè)計(jì)[D].武漢：華中科技大學(xué)，2008.

[8] 陳凡.數(shù)字放映機(jī)使用維護(hù)小知識(shí)——數(shù)字放映出現(xiàn)“摩爾紋”怎么辦[J].現(xiàn)代電影技術(shù)，2016（7）：52.

[9]

SCHOBERL M， SCHNURRER W， OBERDOORSTER A. et al. Di-mensioning of optical biref ringent anti-alias filters for digital cameras[C]. Hong Kong： 2010 17th IEEE International Conference on ImageProcessing，2010.

[10] 栗小斌.LED顯示屏摩爾紋的消除方法[J]。演藝科技，2013（8）：44-47.

[11]佘波，王文彬，張婷婷.無人機(jī)航拍鏡頭中摩爾紋產(chǎn)生的原因及解決方法[J].影視制作，2017，23（2）：42-45.

[12]傅慶健.電視演播室攝像的摩爾紋現(xiàn)象探究[J].影視制作，2014，20（ 7）：34-37.

[13] 周全，張榮，尹東.基于高斯金字塔的遙感云圖多尺度特征提取[J].遙感技術(shù)與應(yīng)用，2010，25（5）：604-608.

[14] 蘇衡，周杰，張志浩，超分辨率圖像重建方法綜述[J].自動(dòng)化學(xué)報(bào)，2013， 39（8）：1202-1213.

[15]鐘寶江，陸志芳，季家歡.圖像插值技術(shù)綜述[J].數(shù)據(jù)采集與處理，2016，31（6）：1083-1096.

[16]張敏，金龍旭，李國(guó)寧，等.基于直線特征的攝像機(jī)鏡頭畸變標(biāo)定方法[J].光學(xué)學(xué)報(bào)，2015，36（6）：185-193.

[17]譚曉波.攝像機(jī)標(biāo)定及相關(guān)技術(shù)研究[D].長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué)，2004.

[18]李大鵬，禹晶，肖創(chuàng)柏.圖像去霧的無參考客觀質(zhì)量評(píng)測(cè)方法[J].中國(guó)圖象圖形學(xué)報(bào)，2011，16（9）：1753-1757.

[19] 汪啟偉.圖像直方圖特征及其應(yīng)用研究[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2014.

[20] 李郁.關(guān)于數(shù)碼相機(jī)圖像傳感器的工作原理[J].高等繼續(xù)教育學(xué)報(bào)，2002，15（5）：20-23.

（責(zé)任編輯：江艷）

作者簡(jiǎn)介：陳申渭（1994-），男，浙江理工大學(xué)信息學(xué)院碩士研究生，研究方向?yàn)橛?jì)算機(jī)視覺、圖像處理;馬漢杰（1982-），男，博士，浙江理工大學(xué)信息學(xué)院副教授、碩士生導(dǎo)師，研究方向?yàn)橛?jì)算機(jī)視覺、多媒體傳輸。本文通訊作者：馬漢杰。