楊 羽,賀超廣,涂 圓,趙杰鋒,周曉萍,唐立軍
基于熱成像的滲漏源檢測
楊 羽1,2,賀超廣1,2,涂 圓1,2,趙杰鋒1,2,周曉萍1,2,唐立軍1,2
(1. 長沙理工大學(xué) 物理與電子科學(xué)學(xué)院,湖南 長沙 410114;2. 近地空間電磁環(huán)境監(jiān)測與建模湖南省普通高校重點實驗室,湖南 長沙 410114)
針對屋面滲漏源難以檢測的問題,研究了基于滲漏區(qū)域紅外圖像特征的灰度分段映射圖像增強(qiáng)方法,提出了一種基于樣板矩陣的圖像快速識別技術(shù),設(shè)計了一個屋面全自動滲漏源檢測系統(tǒng)。在5m×3m屋面設(shè)置滲漏源形成多個滲漏區(qū)域,采用Mecanum輪小車搭載該系統(tǒng)對滲漏源進(jìn)行檢測,結(jié)果表明,該系統(tǒng)可以在89s之內(nèi)完成檢測工作,總測試150個次滲漏點,漏測12個次滲漏點,識別準(zhǔn)確率大于90%。該技術(shù)檢測效率高、操作簡單,配合相應(yīng)載體可用于各類不明滲水源檢測。
紅外熱成像;滲漏源檢測;圖像識別;灰度分段
實現(xiàn)屋面滲漏追蹤的技術(shù)關(guān)鍵點是實現(xiàn)對滲漏源的識別。現(xiàn)在主要依靠人工檢測,檢測效率低下,有時在滲漏源附近沒有明顯水域出現(xiàn),很難找到滲漏源位置,對于復(fù)雜墻面往往要通過人工采取破壞性的方法查找滲水源,工程量大、效果不佳,造成的浪費極大,有些承重構(gòu)架甚至無法通過人工找到滲水源。目前國內(nèi)外還沒有發(fā)現(xiàn)直接用于房屋滲水的專用檢測裝置,相關(guān)的檢測方法效率不高、檢測準(zhǔn)確率低。本文利用紅外熱成像對地面滲水源頭進(jìn)行追蹤檢測,探索灰度分段映射圖像增強(qiáng)方法和基于樣板矩陣的圖像快速識別技術(shù),研究滲漏源紅外自動快速檢測方法,為屋面滲漏源檢測提供有效的技術(shù)支持。
滲漏源的識別是基于滲漏源附近水溫存在差異這一物理特性。熱水的滲漏問題較簡單,這里主要研究冷水滲漏識別。一般滲水源的溫度會比環(huán)境溫度要低,由此可以依據(jù)紅外圖像的信息對滲漏源進(jìn)行識別,但由于溫差不大,需要先通過灰度分段映射擴(kuò)大其滲漏圖像邊緣,再進(jìn)行二值化處理得到滲漏邊緣圖像,最后再利用圖像快速識別技術(shù)對處理后的圖像進(jìn)行快速識別。
紅外熱像儀鏡頭所拍攝獲得的紅外圖像難以區(qū)分滲漏區(qū)域,必須對圖像中滲漏區(qū)域邊緣部分進(jìn)行放大。如果對插值放大得到的原始灰度圖直接輸出,圖像的對比度低,成像圖片的視覺效果較差[1]。人類的視覺特性是非線性和各向異性的。人眼傾向聚焦于變化的灰度域,并且對圖像平滑段中的噪聲比對特定段中的噪聲更敏感,所以當(dāng)增強(qiáng)圖像時,使圖像的部分特定段中對比度增加,而在平滑段中減弱[2]。這里采用灰度分段線性映射,其圖像增強(qiáng)的原理如下。
灰度分段線性映射圖如圖1所示,設(shè)變量為圖像原始灰度最小值(初值為105),縱軸為灰度轉(zhuǎn)換結(jié)果,橫軸為原始灰度,為不定值(根據(jù)實際應(yīng)用環(huán)境決定值的大小)。通過增強(qiáng)圖像中各部分間的反差,即具體通過增強(qiáng)圖像中某兩個灰度值間的動態(tài)范圍來實現(xiàn),在圖1中,經(jīng)過灰度分段線性映射的變換過程,原圖中灰度值在0~和(+)~255間的動態(tài)范圍增加了,而原圖中灰度值在~(+)間的動態(tài)范圍減小了(,分別表示圖像中最小灰度值和最大灰度值),從而使得整個范圍內(nèi)的對比度得到增強(qiáng)。
圖1 灰度分段線性映射
在~(+)這一段顯示綠色,低于顯示藍(lán)色,高于(+)顯示紅色,是顯示綠色溫度在灰度圖里的寬度,灰度分段線性映射的計算公式如下式(1):
圖像灰度分段映射是根據(jù)原始灰度圖像中的每個像素灰度值,按照特定的映射規(guī)則,將其轉(zhuǎn)換成另外的一個灰度值,從而達(dá)到增強(qiáng)圖像視覺效果的目的。而分段線性灰度變換可以擴(kuò)展圖像上有用信息的灰度范圍并增加對比度,而相應(yīng)噪聲的灰度范圍最終會壓縮到較小的區(qū)域。相較于其他類似算法,本文中將算法與嵌入式系統(tǒng)結(jié)合,進(jìn)行了創(chuàng)新和改進(jìn)。利用芯片對圖像進(jìn)行一個預(yù)處理,通過、動態(tài)變化來改變灰度分段映射的放大區(qū)間,以提高算法對圖像的泛化處理能力。
這里可以使用此種映射方法,映射函數(shù)的變換曲線將原始圖像根據(jù)像素灰度值分成3部分,在每部分中,變換后的像素灰度值都保持原來的次序,但都進(jìn)行了擴(kuò)展以此來提高對比度,這樣,對應(yīng)的3部分灰度的像素間梯度都會增加,即將低溫部分和高溫部分所占的比例擴(kuò)大,縮小中間溫度所占的灰度比例,從而有效地提高成像結(jié)果的視覺效果和圖像識別處理效果。
經(jīng)過灰度分段映射處理后的圖像還需要對滲漏區(qū)域進(jìn)行提取。本文通過對比紅外成像中溫度異常區(qū)域的溫度和環(huán)境溫度進(jìn)行異常區(qū)域的篩選。
滲漏區(qū)域提取的方法。根據(jù)載體外置的溫度傳感器提取并保存正常的環(huán)境溫度,在整個圖像范圍內(nèi)進(jìn)行比較。如果存在異常溫度區(qū)域,則對圖像進(jìn)行二值化處理,得到異常溫度區(qū)域的邊緣圖像。
圖像的識別一般采用霍夫變換來實現(xiàn),但霍夫變換占用內(nèi)存較多、計算復(fù)雜且不容易識別到類圓形。目前應(yīng)用較多的圖像識別方法,計算都較為復(fù)雜,不適用于快速識別的場景。對于快速圖像識別的難題,本文提出了基于樣板矩陣的圖像快速識別技術(shù)。
樣板矩陣是由樣板圖像的圖像數(shù)據(jù)組成的,樣板圖像的每個像素點對應(yīng)矩陣中同位置的數(shù)據(jù)。如圖2為直線樣板所呈現(xiàn)的數(shù)據(jù)矩陣,圖3為滲漏區(qū)域紅外圖像。
圖2 樣板矩陣和樣板圖像
圖3 滲漏區(qū)域紅外圖像
考慮到溫度異常區(qū)域有其他干擾因素,例如屋面下埋藏的其他管道。將經(jīng)過二值化處理后的圖像與樣板矩陣比對,如果異常區(qū)域邊緣呈現(xiàn)非滲漏區(qū)域的邊緣圖像,則認(rèn)定為此異常區(qū)域非滲漏區(qū)域,反之則認(rèn)定為滲漏區(qū)域。
滲漏區(qū)域圖像識別的方法。存儲若干有關(guān)的滲漏區(qū)域圖像邊緣的樣板矩陣,將二值化處理后的異常溫度區(qū)域圖像分成若干個小塊和多個樣板圖像進(jìn)行比對,如果多個子區(qū)域與樣板圖像存在高度相同,則認(rèn)定此區(qū)域不為滲漏區(qū)域。操作步驟如圖4。
設(shè)為異常溫度區(qū)域的數(shù)據(jù)矩陣,1,2, …,為樣板矩陣,為識別系數(shù)。將異常溫度區(qū)域的數(shù)據(jù)矩陣和樣板矩陣相對應(yīng)的數(shù)值相乘累加得到。
圖4 圖像識別處理流程
如果值超過識別系數(shù),則說明異常溫度區(qū)域邊緣呈直線,不為滲漏區(qū)域。如果所有小區(qū)塊的值都小于值,則說明異常溫度區(qū)域為滲漏區(qū)域。的取值與數(shù)據(jù)矩陣的數(shù)值和圖像對比的識別寬容度相關(guān),需根據(jù)具體情況進(jìn)行設(shè)定。
如果利用SRC(Sparse Representation-based Classification)的方法,SVM(Support Vector Machine)的方法,基于HOG(Histogram of Oriented Gridients)特征的方法以及基于深度特征學(xué)習(xí)的方法[3],圖像識別率會有大幅度的提升,但計算性價比相較于本文方法較低,而此方法與霍夫變換等基礎(chǔ)的圖像識別手段相比有效地提升了效率且識別精準(zhǔn)度也有了提升。
實現(xiàn)滲漏源循跡有兩個必要條件:一是確定滲漏的方向;二是設(shè)計載體行進(jìn)的軌跡。
根據(jù)滲漏源的擴(kuò)散規(guī)則,滲漏源至擴(kuò)散邊緣的溫度是逐漸升高的,由此可以確定滲漏區(qū)域的擴(kuò)散方向。只需要保持紅外圖像的中心位于擴(kuò)散區(qū)域的中心,且方向與擴(kuò)散方向相反,則可以讓運動裝置沿著擴(kuò)散痕跡追蹤到擴(kuò)散源頭。
一般的循跡算法需要額外的攝像頭做輔助觀察或者需要較為復(fù)雜的處理方法才能實現(xiàn)。本方法只需要保證圖像中心點一直在滲漏區(qū)域內(nèi),且中心點的溫度與周圍溫度存在溫度梯度差,就可以實現(xiàn)追蹤功能,且計算量極低,處理速度快。
為了提高探測效率和記錄滲漏源坐標(biāo),本文仿照掃地機(jī)器人設(shè)計了一種高效的行走線路規(guī)劃。在進(jìn)行搜尋之前先進(jìn)行坐標(biāo)系的建立,精確記錄載體運動數(shù)據(jù),建立軌跡地圖,避免重復(fù)路徑、記錄滲漏源坐標(biāo)。具體搜尋軌跡大致如圖5。
圖5 搜尋軌跡
利用optris PI640紅外熱像儀傳感器陣列測溫傳感器、RZ/A2M芯片、Mecanum輪載體小車搭建了一個滲漏源自動追蹤平臺。通過藍(lán)牙和按鍵來實現(xiàn)對整個系統(tǒng)的控制,可以實現(xiàn)自動滲漏源追蹤、保存圖片等功能。
利用RZ/A2M芯片對紅外傳感器接收到的信息進(jìn)行處理,芯片通過usb接口接受紅外傳感器信息,通過串口傳輸運動指令給載體,實現(xiàn)其滲漏源自動追蹤功能。
如圖6所示,通過藍(lán)牙和按鍵來實現(xiàn)對整個系統(tǒng)的控制,實現(xiàn)全自動的滲漏源追蹤。使用串口來實現(xiàn)各個芯片和載體之間通信,實現(xiàn)對載體的運動控制。
如圖7所示,系統(tǒng)在進(jìn)行紅外鏡頭初始化后,接收到紅外鏡頭的紅外圖像數(shù)據(jù),先初步構(gòu)建一個地圖以提高搜尋效率。通過灰度分段映射和圖像識別技術(shù)對紅外圖像進(jìn)行處理,判斷是否存在滲漏區(qū)域。如果存在滲漏區(qū)域,則在滲漏區(qū)域中尋找滲漏源,找到滲漏源后,系統(tǒng)會記錄滲漏源所在坐標(biāo)。如果不存在滲漏區(qū)域,則系統(tǒng)繼續(xù)進(jìn)行尋找滲漏區(qū)域。如果系統(tǒng)完成全部區(qū)域的檢測,則會停止運行在算法上避開傳統(tǒng)圖像識別的難題,根據(jù)實際問題用特殊的算法對圖像中的部分信息進(jìn)行識別,大幅提高了處理效率。地圖的構(gòu)建提升了載體運動的效率和檢測速度。
圖6 硬件系統(tǒng)組成結(jié)構(gòu)圖
圖7 系統(tǒng)軟件流程
用不同算法對同一幅圖像進(jìn)行處理,保證變量的唯一性,比較各個算法的結(jié)果。測試平臺為筆記本電腦Windows 10 企業(yè)版20H2、i7-10870H、matlabR2018a。
4.1.1 圖像增強(qiáng)算法仿真結(jié)果
將本文的圖像插值算法與最鄰近插值、雙三次插值對比,分析各算法結(jié)果。
表1是各種插值算法對于紅外成像方面處理的峰值信噪比。
表1 各種圖像增強(qiáng)算法的峰值信噪比及其平均值
峰值信噪比是對于圖像質(zhì)量優(yōu)劣的重要評判標(biāo)準(zhǔn),峰值信噪比越高代表圖像的質(zhì)量越好,越低代表圖像質(zhì)量越差[4],實驗測得的各算法的峰值信噪比平均值如表2。
表2 各種圖像增強(qiáng)算法的峰值信噪比平均值
由表2不難看出本文設(shè)計的插值算法是常見插值算法中對紅外圖像處理效果最好的一種,圖像增強(qiáng)算法的峰值信噪比的平均值比常規(guī)最佳值大1.6%。
4.1.2 圖像算法處理順序仿真結(jié)果
算法對圖像處理的先后順序也會對最后的成像結(jié)果產(chǎn)生影響[5]。將灰度插值和偽彩色處理兩種算法對圖像的先后處理順序進(jìn)行了分析,了解最佳的算法順序,測試結(jié)果如表3。
由表3可知,先灰度插值放大后偽彩色處理的信噪比大。仿真測試的圖像如圖8,先灰度插值放大后偽彩色處理得到的圖像更清晰。
4.1.3 紅外圖像識別仿真結(jié)果
將本文紅外圖像識別算法與傳統(tǒng)算法以及目前較為先進(jìn)的多角度紅外圖像識別算法做對比。
表3 算法處理先后順序的區(qū)分差異
圖8 算法處理不同順序結(jié)果對比圖
由表4可知,本文無論是與傳統(tǒng)霍夫變換相比還是與現(xiàn)在最新的多角度紅外圖像目標(biāo)識別相比,處理速度上都有著較大的優(yōu)勢,識別準(zhǔn)確率也有著一定的優(yōu)勢。即使使用優(yōu)化后的霍夫變換(基于投影法的Hough變換)[6],處理速度依然比不過本文所提出的快速識別算法。
表4 不同算法處理紅外識別問題的時間
本文建立了一個5m×3m的屋面模擬滲漏區(qū)域,此區(qū)域內(nèi)存在一個或多個滲漏區(qū)域。在地面覆蓋一層木板來模擬實際屋面情況,在木板下分別設(shè)置1~3個固定出水源來模擬未知滲漏源,分別進(jìn)行25次搜尋測試,記錄對每個滲漏源的搜索結(jié)果。
4.2.1 系統(tǒng)載體設(shè)計
利用Mecanum輪小車模擬搭載檢測系統(tǒng)的載體,實物圖和結(jié)構(gòu)分析圖分別見圖9和圖10,通過對Mecanum輪結(jié)構(gòu)的分析,在平面內(nèi)運動時輪子有3個自由度,基于輪子特點通過4個輪子的組合,實現(xiàn)平面內(nèi)全方位移動,實現(xiàn)檢測系統(tǒng)的運動。
實現(xiàn)滲漏源的準(zhǔn)確追蹤需要精確且靈活的運動裝置,這里使用Mecanum輪式小車來充當(dāng)運動載體。輪式移動機(jī)器人被認(rèn)為是一種在水平面上具有線性和角度運動的規(guī)劃器機(jī)構(gòu)[7],而Mecanum可以通過電機(jī)控制每個輪子的運動分量來實現(xiàn)360°的無死角運動。
圖9 Mecanum輪實物圖
圖10 具體運動分量
4.2.2 系統(tǒng)與載體的協(xié)同方法
紅外圖像經(jīng)過處理后,將圖像處理后的識別結(jié)果經(jīng)過分析,向載體發(fā)出控制信號通過控制每個Mecanum輪的運動分量來控制小車運動。具體控制方程如下:
式中:為小車整體的合成速度;1、2、3、4為小車四輪的對應(yīng)速度;為系數(shù)和實際情況有關(guān);W為小車轉(zhuǎn)動的角速度。
4.2.3 系統(tǒng)測試結(jié)果
對不同位置的模擬滲漏源進(jìn)行多次測試,得到表5、6、7測試結(jié)果。源1、源2、源3分別代表滲漏源1、滲漏源2、滲漏源3。
由表5、6、7可知(√和×分別表示滲漏源檢測成功與失?。?jīng)過75次測試,整個系統(tǒng)總檢測150個次滲漏源,僅出現(xiàn)12個次滲漏源漏測現(xiàn)象,檢測總成功率為92%,最長檢測時間為89s。單滲漏源情況平均耗時為69.2s、成功率為92%,雙滲漏源平均耗時為73.16s、成功率為90%,3個滲漏源平均耗時為74.28s、成功率為93.3%,探測時間和成功率基本無差別,滲漏源數(shù)量對探測耗時和探測成功率的影響極小,說明系統(tǒng)可以有效檢測滲漏源。整個檢測過程中,藍(lán)牙和功能鍵均能正常工作,有效控制系統(tǒng)的運行。
表6 系統(tǒng)測試結(jié)果-2個滲漏源
表7 系統(tǒng)測試結(jié)果-3個滲漏源
針對屋面漏水滲水源查找困難問題,采用紅外識別的方法,研究了基于樣板矩陣的圖像識別技術(shù)和基于滲漏區(qū)域紅外圖像特征的灰度分段映射圖像增強(qiáng)方法,設(shè)計了一個屋面全自動滲漏源檢測系統(tǒng),該技術(shù)能夠?qū)Φ孛鏉B水情況進(jìn)行精準(zhǔn)查源、應(yīng)用范圍廣,非接觸式、大面積檢測、高效穩(wěn)定,降低滲漏檢測的成本,下一步研究中加入HOG等深度學(xué)習(xí)相關(guān)算法,通過結(jié)合具體環(huán)境訓(xùn)練出針對的灰度轉(zhuǎn)換函數(shù)以及滲漏識別參數(shù),對成像效果進(jìn)行機(jī)器評分,在不同環(huán)境下切換對應(yīng)訓(xùn)練后的算法,實現(xiàn)最好性能。以Mecanum輪小車為載體,對模擬滲漏區(qū)域進(jìn)行檢測,檢測準(zhǔn)確率大于90%,檢測時間最長為89s。選用不同的載體,該系統(tǒng)可以應(yīng)用于各類不明滲水源的檢測。
[1] LIU Dunnan, HOU Rui, LI Qiang, et al. Research on fuzzy enhancement algorithms for infrared image recognition quality of power internet of things equipment based on membership function[J]., 2019, 62(1): 359-367.
[2] ZHENG Zhaoping, ZENG Hansheng, DING Cuijiao, et al. Summary on the infrared thermal imaging temperature measurement technology and its application[J]., 2003, 25(1): 96-98.
[3] 趙璐, 熊森. 多視角紅外圖像目標(biāo)識別方法[J]. 紅外與激光工程, 2021, 50(11): 403-408.
ZHAO Lu, XIONG Sen. Multi-view infrared image target recognition method[J]., 2021, 50(11): 403-408.
[4] BAI Honggang, JIN Yingji. Application of infrared technology in military[J]., 2008(6): 5-7.
[5] 蔡毅, 王嶺雪. 紅外成像技術(shù)中的9個問題[J]. 紅外技術(shù), 2013, 35(11): 671-682.
CAI Yi, WANG Lingxue. Nine problems in infrared imaging technology [J]., 2013, 35(11): 671-682.
[6] 楊凱斌, 吳定祥, 龔金成, 等. 圓環(huán)陶瓷檢測算法研究[J]. 中國陶瓷, 2017, 53(3): 39-44.
YANG Kaibin, WU Dingxiang, GONG Jincheng, et al. Research on detection algorithm of ring ceramics [J]., 2017, 53(3): 39-44.
[7] Alwan Hassan M, Volkov A N, Shbani A. Solution of inverse and forward kinematics problems for mobile robot with six mecanum wheels[C]//, 2021, 1094(1): 012071.
Leakage Source Detection Based on Thermal Imaging
YANG Yu1,2,HE Chaoguang1,2,TU Yuan1,2,ZHAO Jiefeng1,2,ZHOU Xiaoping1,2,TANG Lijun1,2
(1.,,410114,;2.,410114,)
To address the difficulty in detecting the source of roof leakage, an image enhancement method that uses the infrared image features of the leakage area was studied using gray segmentation mapping. Rapid image recognition technology based on a template matrix was proposed, and an automatic roof leakage source detection system was designed. Leakage sources were set on a 5m× 3m roof to form multiple leakage areas. A mecanum wheeled trolley was used to support the system while detecting these sources. The results showed that the system could complete detection within 89s, with a total of 150 leakage points tested and 12 leakage points missed, and the identification accuracy was greater than 90%. This technology has high detection efficiency and simple operation and can be used to detect all types of unknown water seepage sources with the corresponding carrier.
infrared thermal imaging, leakage source detection, image recognition, gray-scale segmentation
TN219
A
1001-8891(2022)07-0750-07
2021-05-26;
2021-08-06.
楊羽(1999-),男,本科生,研究方向信號檢測與處理研究。
周曉萍(1973-),女,講師,研究方向信號檢測與處理。E-mail:zhouxiaoping1000@126.com。
唐立軍(1963-),男,教授,博士生導(dǎo)師,研究方向為信號檢測與處理研究。E-mail:tanglj@csust.edu.cn。
國家級大學(xué)生創(chuàng)業(yè)實踐項目(S201910536003S);湖南省重點研發(fā)計劃項目(2018GK2054)。