畸變圖像的目標區(qū)域自動提取及校正算法研究

江磊 張仁杰

摘 要：研究畸變圖像處理的方法較多，這些方法提高了算法可靠性、完善了算法可行性，但如何提取畸變圖像的有用信息進行再校正的理論和方法卻不多。為此提出一個新的算法，結合Hough變換和透視變換，在畸變圖像中自動選取有用的目標圖像區(qū)域并提取出來，最后通過透視變換將其進行圖像校正與還原。MATLAB仿真實驗結果表明，該方法精度高、容錯性高、穩(wěn)定性好，可廣泛應用到模式識別等領域。

關鍵詞：Hough變換;透視變換;目標圖像;圖像校正;模式識別

DOI：10. 11907/rjdk. 181675

中圖分類號：TP312文獻標識碼：A文章編號：1672-7800（2019）001-0099-05

Abstract： The research on the algorithms of perspective distortion is increasing， which not only improves the reliability of the algorithms， but also improves the feasibility of the experiment. However， there are not many researches on how to extract the useful information of a distorted image. In this paper， a new algorithm is proposed to combine Hough transform and perspective transform. A useful target image region can be automatically selected and extracted from the distorted image， and the image is corrected and restored by perspective transformation. MATLAB simulation results show that this method has high precision， high fault tolerance and good stability， and can be widely used in pattern recognition.

0 引言

目前對透視投影產生畸變現(xiàn)象的圖像校正研究方法主要分為角度檢測法、控制點變換法和射影幾何法3大類[1-3]。在圖像處理過程中，由于受限于鏡頭的精度、成像系統(tǒng)的非線性以及在獲取圖像拍攝過程中所采用的角度和距離等因素，獲得的圖像都存在透視畸變。介炫惠[4]在進行透視變換時使用開源圖像庫 OpenCV，根據(jù)攝像機參數(shù)直接由程序計算得到變換矩陣。金美玉[5]則使用 DSP進行透視變換計算，但實時性問題導致不能得到完整的透視變換圖像。李建華[6]在處理二維條碼運算時，其 VLSI 實現(xiàn)中包括有透視變換功能，存儲機制使用的是片外 sram，在片上使用 sram 控制器進行訪問。史忠科[7]等設計的透視變換FPGA實現(xiàn)方案采用外部的ram存儲圖像。這些透視變換研究均是作用于整個畸變圖像，在實際應用中往往需要提取畸變圖像中的有用信息，再進一步校正得到其正視圖，這樣不僅有利于邊緣檢測和輪廓提取等操作，還有利于直觀解讀所需要的圖像信息，所以畸變圖像校正受到關注。盡管畸變圖像研究方法日趨成熟，但自動對畸變圖像中的有用信息進行提取并校正的方法并不多。

基于上述原因，本文提出一種改進的圖像校正方法。該方法可實現(xiàn)對畸變圖像中有用的目標區(qū)域自動提取并裁剪，然后將提取后的圖像通過Hough變換[8]及透視變換進行處理，使處理后的圖像以正視圖形式呈現(xiàn)。MATLAB仿真實驗表明，本文提出的算法成功率較高，可以較好地完成對畸變圖像目標區(qū)域的校正與還原。

1 理論基礎

1.1 Huogh變換理論

Hough變換是識別幾何形狀的基本方法之一，應用十分廣泛。Hough變換主要用于從圖像中分離出具有某種相同特征的幾何形狀。相比于其它方法，檢測直線和圓可更好地減少噪聲干擾，經典的Hough變換一般用來從黑白圖像中檢測直線（線段）。

Hough變換的基本原理是利用點與線之間的對偶性，將原始圖像空間給定的曲線通過該形狀的數(shù)學表達形式變換為參數(shù)空間的一個點，這樣就將原始圖像給定的曲線檢測問題轉化為參數(shù)空間峰值檢測問題[9-11]，也就是把檢測整體特性轉化為檢測局部特性。因此，本文可直觀地看到Hough變換檢測出的直線。作為一個特征提取技術，利用一種投票算法達到檢測特有形狀物體的目的。

根據(jù)直線的數(shù)學表達式可知，任意一條直線在圖像的二維空間可由兩個變量表示，設在笛卡爾坐標系中參數(shù)斜率為m，截距為b，則該直線可由參數(shù)斜率和截距（m，b）表示。同理，在極坐標系中，設定參數(shù)極徑為s，極角為θ，則該直線可由參數(shù)極徑和極角（S， θ）表示，如圖1所示。

對于任意一點（x0，y0），可定義為所有通過這個點的直線表達式為式（3），同理，這也表示每一對（Sθ，θ）代表一條通過點（x0，y0）的直線。通過分析可知，一條直線能夠通過在平面θ-S尋找交于一點的曲線數(shù)量進行檢測，而越多曲線交于一點則表示該交點代表的直線由更多的點組成。設置直線上點的閾值定義和計算多少條曲線交于一點則認為檢測到了一條直線，這就是Hough變換實現(xiàn)的功能。利用Hough變換可追蹤圖像中每個點所對應曲線之間的交點。如果通過Hough變換發(fā)現(xiàn)交于一點的曲線數(shù)量超過了閾值，則可確定這個交點所表示的參數(shù)（sθ，θ）在原圖像上為一條直線。

Hough變換的運算過程與其它確定直線的方法相比較為簡單，對參數(shù)的依賴性較小。由于利用了圖像的全局特征，在變換過程中考慮了像素和局部邊緣方向的關系，所以得到的邊緣方向準確度較高，受噪聲和邊界的影響較小。

1.2 透視變換理論

當人在玻璃窗內向玻璃窗外觀察建筑物時，會有無數(shù)條視線與玻璃窗相交，如果把各交點連接起來則成為透視圖，這種現(xiàn)象稱為透視投影。透視投影標準模型如圖2所示。

假設觀察者站于E點觀察，所觀察的視平面P垂直于Z軸，如圖2所示，該視平面的四邊分別與X軸和Y軸平行，通常取近截面P′為視平面，觀察者通過可視區(qū)域將視線從近截面P′投影到遠截面P，得到所需的透視圖。

透視變換：將圖片投影到一個新的視平面也稱作投影映射。由于觀察者的觀察角度和成像面是固定的，根據(jù)物體轉動等一系列變換，視線經過近截面投影到遠截面時會產生一定的夾角，即產生透視畸變，這樣會投影出一個新的矩形，如圖3所示。

2 自動確定目標區(qū)域算法流程

本文的重點是實現(xiàn)畸變圖像中目標區(qū)域的自動提取及剪裁。通過輸入圖像對其分別進行預處理、求最大外接矩形、形態(tài)學操作，從而找到目標區(qū)域框架，進一步對其進行Hough變換[14]。通過Hough變換找到目標區(qū)域邊框所在直線，求出其頂點，確定目標區(qū)域所在位置。算法流程如圖4所示。

2.1 圖像預處理

圖像預處理是將每一個圖像分撿出來然后交給圖像識別模塊進行識別。由于各種環(huán)境中的噪聲以及圖像在傳輸和接收過程中產生的噪聲會降低圖像質量，為得到更清晰的圖像就要對圖像進行預處理等操作[15]。

圖像預處理目的是消除圖像中多余的無關信息，恢復和保留有用信息，增強對有用信息的可檢測性和最大限度地簡化數(shù)據(jù)，從而達到改進特征提取、圖像分割、匹配和識別可靠性的目的。本文以圖5為例進行實驗和分析。

2.2 求最大外接矩形

求最大外接矩形操作見圖8。若任意物體邊界已知，用其外接矩形尺寸刻畫它的長寬是最簡便的方法。通過計算得到反映物體形狀及特征的主軸方向上的長度和與其垂直方向上的寬度，這樣的外接矩形即物體的最小外接矩形。

圖9 （a）顯示對每個連通域建立的最小外接矩形，圖9（b）顯示保留最大外接矩形，圖9（c）表示剪裁之后選出的最大外接矩形，即目標區(qū)域。通過實驗結果可以得出最終選出的目標區(qū)域圖像，已基本排除了背景上無關信息長線條的干擾。

2.3 形態(tài)學操作與目標區(qū)域框架

通過邊緣檢測得到的目標區(qū)域邊框會有許多斷點，為了將斷點連接上，本文提出對整張圖像進行形態(tài)學操作膨脹處理。該操作的作用是將與物體接觸的所有背景點合并到物體中，使目標區(qū)域增大，填補目標區(qū)域空洞。之后對圖像進行橋接，橋接完后即得到一個封閉的框。接下來對這個封閉框進行填充，使目標區(qū)域更加明顯地凸顯出來。圖10為該形態(tài)學操作流程。

由圖11可知，圖11（a）、圖11（b）、圖11（c）分別表示圖像經過膨脹、橋接及填充后的效果，從圖11（c）可看出除目標區(qū)域外還有一些干擾的小區(qū)域信息也被填充，此時只需保留圖像中被填充區(qū)域最大的部分（目標區(qū)域）即可，這樣就排除了其它干擾信息的存在。

進行二值圖像的邊緣檢測可得到圖12。

2.4 Hough變換操作與找頂點操作

對原始彩色圖像處理[19-20]后得到本文實驗所需的目標區(qū)域邊框，對該目標區(qū)域邊框進行Hough變換操作。Hough變換的核心就是公式（3），X、Y是原xoy平面的橫縱坐標，如圖1所示。對于xoy空間上處于同一直線上的每一點坐標x、y，對應的S（θ）都滿足上述公式。因此，如果換算到SOθ空間，在xoy空間內同一條直線上的每一點在SOθ空間都將變?yōu)橹本€且相交于同一點，此時在該點相交的次數(shù)越多代表原xoy空間直線越長。通過實驗對圖10中的目標區(qū)域邊框進行Hough變換操作，得出結果如圖13所示。

利用Hough變換確定邊框所在直線如圖13中灰色區(qū)域所示。找到4條直線，由于[C24]= 6即得出6個交點，通過排除坐標為負值的點并計算出離原點最近的4個點，按照4個點的橫縱坐標大小，即可判斷左上、左下、右上和右下4個點，至此成功找到目標區(qū)域的4個頂點。透視變換可將一個傾斜矩形轉變?yōu)橐粋€不傾斜矩形，通過原四邊形的頂點和新矩形的頂點之間的矩陣變換關系，根據(jù)公式（4）和公式（5）將這個變換矩陣作用到全局圖像，這樣目標區(qū)域通過矩陣變換被校正為一個正視圖，如圖14所示。再一一將原來圖像中每個像素點所對應的圖像信息還原到校正后的圖像中去，就完成了對目標區(qū)域圖像內容的提取以及校正。

3 試驗結果與分析

為保證實驗可靠性及算法可行性，本文選擇邊緣較為清晰的樣本進行大量實驗并進行成功率統(tǒng)計。借助MATLAB軟件進行仿真分析，仿真條件為Intel I7四核CPU，2.6GHz， 16GB ROM， 1TB硬盤，Win10系統(tǒng)筆記本電腦。通過對不同場景下的各種畸變圖像進行實驗和對比分析，證明該算法可行穩(wěn)定。實驗過程中也發(fā)現(xiàn)些許不足，如算法中所涉及的Hough變換計算量大、精確度較低，后續(xù)研究會著重在這兩個方面進行優(yōu)化和提高。對100張樣本圖像進行算法實驗和分析，實驗成功率為87%。采用本文算法以圖5示例圖像得出最終結果如圖15所示。由實驗結果可知該算法有效地去除了背景等無關信息，能將有用信息自動提取并加以校正。

4 結語

針對畸形圖像進行目標區(qū)域自動提取和校正等問題，本文給出了一個可行性較高的算法方案。在此算法基礎上可更好地運用Hough變換以及透視變換，達到自動提取目標區(qū)域、排除無關信息并對目標區(qū)域進行校正的目的。Hough變換充分體現(xiàn)了其從檢測整體特征到檢測局部特征的特點，以及像素和邊緣方向性的關系，從而很好地抑制了噪聲，不僅保證了邊緣信息的質量，還有效提高了算法效率。利用透視變換可將圖片投影到一個新的視平面，通過投影映射盡可能地還原出畸形圖像的信息內容。本文設計的算法實現(xiàn)了對畸形圖像目標區(qū)域的自動提取與剪裁，減少了手動輸入圖像位置信息的時間成本，提高了精確性，有一定研究及實用價值。

參考文獻：

[1] 李立鋼，劉波，尤紅建，等. 星載遙感影像幾何精校正算法分析比較[J]. 光子學報，2006，35（7）：1028-1034.

[2] 辛舟，龔俊. 空間復合角構成傾斜面加工角度的變換[J]. 機械設計與制造，2003（5）：97-98.

[3] 何援軍. 透視和透視投影變換—論圖形變換和投影的若干問題之三[J]. 計算機輔助設計與圖形學學報，2005，17（4）：734-739.

[4] 介炫惠. 道路交通標線的檢測算法研究[D]. 長沙：中南大學，2012.

[5] 金美玉. 基于反透視變換的圖像分割方法的研究與軟件實現(xiàn)[D]. 保定：華北電力大學，2007.

[6] 李建華. 二維條碼圖像處理算法及其VLSI設計研究[D]. 成都：電子科技大學，2013.

[7] 史忠科，王闖，賀瑩. 基于FPGA的逆透視變換方法[J]. 計算機測量與控制，2016（8）：152-157.

[8] 冠瑋，平西建，程娟. 基于改Hough變換的文本圖像傾斜矯正方法[J]. 計算機應用，2007，27（7）：1813-1816.

[9] RAFSANJANI M K， VARZANEH Z A. Edge Detection in Digital Images Using Ant Colony Optimization[J].? Computer Science Journal of Moldova， 2015， 23（3）： 343-360.

[10] 李敏. 高分辨率合成孔徑雷達圖像高速公路檢測法 [J].? 計算機應用， 2011， 31（7）： 1825-1828.

[11] 高翔，梁志偉，徐國政. 基于Hough空間的移動機器人全局定位算法[J]. 電子測量與儀器學報， 2012， 26（6）： 484-490.

[12] GUAN LING.Front Matter Multimedia Image and Video Processing[M]. Boca Raton;CRC Press LLC，2001.

[13] EKALP A M.Digital Video Processing[M]. 第2版. 北京：清華大學出版社，1998：165-166.

[14] 陳國棟. Hough變換改進算法研究[D]. 哈爾濱：哈爾濱工業(yè)大學，2007：9 -19.

[15] RAFAEL C，GONZALEZ，RICHARD E. Digital Image Processing[M]. 北京：電子工業(yè)出版社， 2011.

[16] 易玲. 基于分級的快速霍夫變換直線檢測[J]. 微計算機信息，2007，11（1）：206-208.

[17] 孫豐榮，劉積仁. 快速霍夫變換算法[J]. 計算機學報，2001，24（10）：1104-1109.

[18] 月芳，張云峰，劉揚，等. 基于相位編組的Hough變換提取海天線算法[J]. 液晶與顯示，2010，25（6）：901-908.

[19] BCHER T， CURIO C， EDELBRUNNER J， et al. Image processing and behavior planning for intelligent vehicles[J].? IEEE Transaction on Industrial Electronics， 2003， 50（1）： 62-75

[20] YAN H P， WANG Z Y， GUO S. A method for 2D bar code recognition by using rectangle features to allocate vertexes[J]. Lecture Notes in Computer Science， 2006（5）：99-107.

（責任編輯：杜能鋼）