基于生物啟發(fā)神經(jīng)網(wǎng)絡(luò)的水下壩面表觀裂縫檢測路徑規(guī)劃算法

馬建業(yè)，鄭東健,2,3，孫建偉

(1.河海大學水利水電學院, 江蘇 南京 210098；2.河海大學水資源高效利用與工程安全國家工程研究中心, 江蘇 南京 210098；3.河海大學水文水資源與水利工程科學國家重點實驗室, 江蘇 南京 210098；4.南京市江寧區(qū)趙村水庫管理所，江蘇 南京 211155)

由于荷載作用、溫度變化、體積收縮、不均勻沉降等原因，混凝土壩體、混凝土面板等大體積混凝土結(jié)構(gòu)普遍存在開裂現(xiàn)象。裂縫會破壞結(jié)構(gòu)的整體性，引發(fā)滲漏問題，影響結(jié)構(gòu)的整體強度和穩(wěn)定性，是水工結(jié)構(gòu)運行過程中無法避免的安全隱患，需要進行防治和及時處理。

裂縫檢測是裂縫處理的基礎(chǔ)性工作，水工混凝土結(jié)構(gòu)裂縫檢測方法主要分為人工探視法、破損檢測法和無損檢測法3類，其中人工探視法雖然局限于裂縫表觀特征的檢測，但因其具有簡便直觀、易于操作的優(yōu)點，仍然是實際過程中使用最為廣泛的方法[1]。傳統(tǒng)的人工探視法受主觀影響很大，檢測工作費時費力，在水下等復雜環(huán)境條件下，局限性更為突出。自治水下機器人(autonomous underwater robot,AUV)和機器視覺作為新興的探視手段，已經(jīng)逐漸成為水下表觀裂縫檢測的重要手段[2]。由于水下環(huán)境復雜，條件有限，目前的研究重點是提高基于圖像處理的裂縫識別準確度[3-5]和水下機器人的系統(tǒng)設(shè)計[6]。

檢測系統(tǒng)和檢測結(jié)果的可靠性十分重要。但是，由于條件的限制，對于尺寸較大的長裂縫的整體圖像不易一次性獲取，每次能獲取的信息通常是只是被分割的局部信息，不利于后期的圖像處理和資料分析。表觀裂縫的整體信息對于分析其對結(jié)構(gòu)的影響程度十分重要，對于長裂縫圖像的拼接目前已有相關(guān)的研究成果[7-8]，在裂縫圖像拼接過程中，無論是基于特征檢測，還是基于空間拓撲關(guān)系的拼接算法，參與計算的圖像均是連續(xù)獲取的相鄰兩幅圖像。故局部圖像信息的連續(xù)性對于長裂縫圖像的拼接尤為重要。如何開展AUV檢測工作的路徑規(guī)劃，在連續(xù)獲取長裂縫局部圖像信息的同時保證對檢測對象的全覆蓋具有一定的研究價值。

路徑規(guī)劃主要包含兩種方式：點到點(point-to-point，PTP)規(guī)劃和全覆蓋路徑(complete coverage path，CCP)規(guī)劃。PTP規(guī)劃的主體思想是避障，其運行路徑最短且平滑，目前成熟且應(yīng)用廣泛的算法有A*算法，D*算法等[9]。CCP規(guī)劃的主體思想是在PTP規(guī)劃的基礎(chǔ)上，力求完全覆蓋目標區(qū)域。Choset[10]提出可將CCP規(guī)劃分為環(huán)境因素已知的離線式和環(huán)境因素未知或部分未知的在線式。根據(jù)地圖建模方式的區(qū)別，CCP規(guī)劃又可分為單元分解法、線掃分割法、柵格法、四叉樹法等，其中柵格法建模方式因其方便、簡潔、直觀且便于維護，目前應(yīng)用較為廣泛。柵格法建模方式中的牛耕法，或稱往復式路徑(back and forth path,BFP)法是經(jīng)典的CCP規(guī)劃算法，其他經(jīng)典算法有隨機碰撞法、內(nèi)外螺旋法等。CCP規(guī)劃算法已經(jīng)廣泛應(yīng)用于軍事、工農(nóng)業(yè)和民用等方面[11]。

Glasius生物啟發(fā)神經(jīng)網(wǎng)絡(luò)(Glasius bio-inspired neural networks,GBNN)作為人工智能的重要內(nèi)容，被廣泛應(yīng)用于移動機器人路徑規(guī)劃中。Luo等[12]將其與柵格法實時并行實現(xiàn)，并應(yīng)用到掃地機器人的路徑規(guī)劃中。之后眾多學者在機器人的連續(xù)轉(zhuǎn)向控制、不確定動態(tài)環(huán)境的有效避障、降低重復率等方面開展了大量研究[11]?；贕BNN的柵格法路徑規(guī)劃算法得到了不斷的完善和發(fā)展，成為在不確定動態(tài)環(huán)境中實時性表現(xiàn)較好的CCP算法。

目前將基于GBNN的柵格法路徑規(guī)劃算法應(yīng)用到AUV檢測表觀裂縫方面的研究還比較少，且在水下壩面表觀裂縫檢測工作中，CCP算法除需要滿足基本要求之外，還應(yīng)盡量保證長裂縫圖像獲取的連續(xù)性，以便獲取長度范圍跨度較大的長裂縫的整體信息。同時，與傳統(tǒng)CCP問題不同，水下壩面可以簡化為無障礙物的裂縫信息未知的二維空間。由于工作要求和工作環(huán)境的特殊性，需要對水下AUV壩面表觀裂縫檢測的CCP規(guī)劃算法進行單獨討論。本文基于GBNN設(shè)計了一種用于水下壩面表觀裂縫檢測的在線式柵格法CCP規(guī)劃算法，旨在為AUV利用機器視覺檢測水下壩面裂縫提供一種路徑規(guī)劃的思路和方法。

1 算法設(shè)計

由于水下壩面形狀規(guī)則簡單且部分環(huán)境信息(裂縫信息)未知，柵格法是較為合適的建模和規(guī)劃算法。而基于GBNN的柵格法[13]具有較低的運算復雜程度和較快的路徑規(guī)劃速度，且柵格、坐標及神經(jīng)元三者存在對應(yīng)關(guān)系，有助于裂縫信息的定位。

1.1 GBNN基本原理

GBNN算法[14]是一種基于神經(jīng)元活性傳遞的離散網(wǎng)格模型：將離散的柵格定義為神經(jīng)元，賦予每個神經(jīng)元活性值，神經(jīng)元之間按照一定的連通規(guī)則構(gòu)成神經(jīng)網(wǎng)絡(luò)(圖1)，活性值在神經(jīng)網(wǎng)絡(luò)中按照一定的傳遞規(guī)則進行傳遞，通過迭代計算獲得整個柵格地圖中每個柵格的活性值，并應(yīng)用于之后的路徑規(guī)劃策略。其數(shù)學模型如下：

圖1 神經(jīng)元連接結(jié)構(gòu)

(1)

式中：Ai,t為神經(jīng)元i在時刻t的活性值；wij為神經(jīng)元i和神經(jīng)元j之間的連接系數(shù)，反映周邊神經(jīng)元向當前神經(jīng)元i傳遞活性的權(quán)重；f為轉(zhuǎn)換函數(shù)，其作用是將活性值轉(zhuǎn)換到(0,1]內(nèi)，從而保證GBNN算法的收斂性；ci為神經(jīng)元i的第一狀態(tài)激勵值，將GBNN算法中的狀態(tài)定義為第一狀態(tài)，以區(qū)別于之后的路徑?jīng)Q策中的第二狀態(tài)。模型其他參數(shù)的取值方式可參考文獻[15]。

當所有神經(jīng)元的活性值均在(0,1]內(nèi)時，表示所有神經(jīng)元均已被覆蓋，路徑規(guī)劃算法停止迭代。需要說明的是，GBNN算法原理中所敘述的神經(jīng)元與之后水下壩面表觀裂縫檢測路徑規(guī)劃算法中所敘述的柵格本質(zhì)上是一樣的。

1.2 水下壩面表觀裂縫檢測路徑規(guī)劃算法

受相機視場范圍限制，在水下壩面裂縫檢測工作中，無法通過一次拍攝獲取長度尺寸較大的裂縫的全貌，需要對長裂縫連續(xù)采集多幅局部圖像進行拼接。本文設(shè)計了一種基于裂縫走向的CCP決策算法，旨在連續(xù)地、有組織地獲取長裂縫圖像，在保證對檢測對象全覆蓋的同時，完整地、連續(xù)地獲取長裂縫圖像，為之后的圖像拼接工作提供保障。圖2是算法流程圖，其中虛線框內(nèi)的流程是本算法的關(guān)鍵步驟，也是本文算法設(shè)計和研究的重點內(nèi)容。

圖2 算法流程

圖像前處理是路徑規(guī)劃的基礎(chǔ)性工作。圖像的前處理工作除保證裂縫圖像清晰易辨識外，還需包含：圖像二值化、圖像膨脹、圖像腐蝕、細化(骨骼化)、“骨刺”去除和端點識別。圖3結(jié)合一個算例的處理過程對圖像前處理工作的各個步驟進行了具體說明，其中混凝土表面裂縫圖片來源于開源數(shù)據(jù)庫[16]。圖3僅代表一個柵格范圍內(nèi)的圖像信息，并不代表整條裂縫圖像。

圖3 圖像的前處理

如圖3所示，為區(qū)分裂縫和背景，需要對圖像進行二值化。先膨脹后腐蝕相當于形態(tài)學閉操作，可以對裂縫內(nèi)部缺失的小對象進行填充，使其成為一個完整的圖像。細化又稱骨骼化，經(jīng)過細化處理的圖像，高亮部分會逐漸收縮，在保持原來形狀的前提下，對高亮部分進行層層剝離，直至迭代到穩(wěn)定狀態(tài)后，保留的只是高亮對象的中軸線。每個像素點P有8個鄰域，細化處理后保留的像素點應(yīng)滿足每個像素點的8個鄰域中，值為1的像素點個數(shù)不超過兩個。膨脹、腐蝕和細化是基本的圖像形態(tài)學操作，其原理可參看圖像形態(tài)學的相關(guān)書籍[17]?！肮谴獭比コ龑嶋H上是對對象端點的刪除，以達到刪除小對象的目的，其刪除的像素點滿足以下條件：像素點本身值為1，且像素點的8個鄰域中有且只有一個1。端點識別是“骨刺”去除的反操作，其保留的像素點是“骨刺”去除步驟中刪除的點。需要說明的是，“骨刺”去除刪除的不僅是小對象，同時也會對圖像主體對象(裂縫)產(chǎn)生影響，使得圖像主體對象端點不斷內(nèi)移，長度逐漸縮短。故應(yīng)根據(jù)實際目標圖像，對“骨刺”去除步驟的迭代步數(shù)進行合理控制。

對圖像的前處理工作完成后，得到只包含對象端點的圖像矩陣，需要用維數(shù)與之相同的標識矩陣與圖像矩陣對應(yīng)的元素進行逐一相乘操作，對裂縫對象的走向進行標識，用于確定下一次掃描柵格的位置。標識矩陣除維數(shù)需要和圖像矩陣保持一致外，其內(nèi)部數(shù)據(jù)結(jié)構(gòu)也需要滿足一定的要求。如圖4所示，其內(nèi)部數(shù)據(jù)大致分為3個大區(qū)：核心區(qū)、邊線區(qū)和角線區(qū)。其結(jié)構(gòu)類似于8連通鏈碼[18]，但具體取值上與之有所不同，其中核心區(qū)相當于鏈碼的中心像素點，值為0，核心區(qū)的存在只是為了使矩陣維度與圖像矩陣一致，不具備標識意義。邊線區(qū)和角線區(qū)各自包含4個分區(qū)共同組成8連通鏈碼的8個不同角度的連通方向，其作用是對裂縫走向進行標識，邊線區(qū)的4個分區(qū)數(shù)值分別取10、20、30和40，角線區(qū)的4個分區(qū)數(shù)值分別取11、21、31和41。需要說明的是，邊線區(qū)和角線區(qū)的具體取值并不需要做嚴格限制，只要這些數(shù)值可以代表并計算出8個不同角度的連通方向即可。

圖4 標識矩陣結(jié)構(gòu)

如式(2)所示，理想情況下，邊線區(qū)和角線區(qū)的范圍只需占據(jù)標識矩陣M的最外圍一層，但如前所述，在前處理工作中，涉及濾波去除噪點等小對象的操作，會導致本應(yīng)在圖像矩陣邊緣的端點向內(nèi)部移動，如果用類似于式(2)的標識矩陣處理，對標識起到具體作用的邊線區(qū)和角線區(qū)會錯過端點，導致標識失敗。

(2)

為保證標識矩陣能夠“擊中”端點，需要適度擴大邊線區(qū)和角線區(qū)，如式(3)所示。但也不能過大，過大可能導致在前處理工作中未被有效處理的噪點等小對象的端點加入計算，擾亂標識結(jié)果。標識矩陣各區(qū)域的大小需要根據(jù)目標本身和前處理結(jié)果具體選定：邊線區(qū)和角線區(qū)的最小“尺寸”應(yīng)由圖3端點識別結(jié)果中處于“內(nèi)層”的端點所處的位置決定。

(3)

根據(jù)標識矩陣M對處理后的圖像矩陣進行處理，如式(4)所示，具體的方式是將標識矩陣M和經(jīng)過前處理的圖像矩陣I的對應(yīng)元素相乘，得到新的走向矩陣Z。

Z=MI

(4)

理想情況下，由于經(jīng)過前處理的圖像矩陣中只含有裂縫對象端點，故Z中只有兩個值非零。但也不排除一個柵格中不含裂縫或含有多條裂縫，這時Z中元素就可能全為0或有多于兩個的非零二位數(shù)。無論哪種情況，矩陣Z一定是一個稀疏矩陣。如式(5)所示，利用矩陣Z中的非零值計算裂縫走向的等效角度γ，每個非零值均對應(yīng)一個角度。

(5)

式中：z為矩陣Z中的非零元素；?z」表示對元素z向下取整。

假設(shè)正在處理的柵格在整個地圖中的位置是(m,n)，則根據(jù)γ可以求出其指向的柵格位置索引γ′，如表1所示。

表1 裂縫走向等效角度與柵格位置索引

根據(jù)標識結(jié)果柵格位置索引γ′，賦予被標識的柵格活性增益值gij為1，其余位置的柵格活性增益值gij為0。

如式(6)所示，根據(jù)目標鄰域各個柵格的GBNN算法計算的活性值A(chǔ)ij，第二狀態(tài)值sij和活性增益值gij計算目標鄰域各柵格的最終活性值pij，并從中選取活性最大的作為下一個目標柵格。

pij=Aij+sijgij

(6)

各柵格的第二狀態(tài)值的初始值為1，并按照以下規(guī)則進行更新：

(7)

(8)

單獨設(shè)置第二狀態(tài)變量和利用上述更新規(guī)則更新第二狀態(tài)是出于以下原因而考慮的：如圖5所示，包含裂縫的目標柵格圖像若不是位于裂縫首尾或整體柵格地圖邊緣處，經(jīng)上述方法處理后，理論上至少存在兩個指向柵格，若一個目標柵格中存在多條裂縫或交叉裂縫，則會有更多的指向。只能選擇其中一個作為下一個目標柵格，但兩個指向方向上的圖像均屬于同一裂縫。第二狀態(tài)只有在此柵格所指示的柵格都被覆蓋之后才為0，否則為1。此時，有多個指向的柵格相當于一個連接點，將被重復掃描，重復掃描的次數(shù)不少于其不同的指向個數(shù)。此步操作可以將各個指向方向上的裂縫圖像連接，避免長裂縫被分割，有助于保證長裂縫的完整度。同時，由于第二狀態(tài)與GBNN算法中的第一狀態(tài)是分別賦值和更新的，故可以避免影響GBNN算法的收斂性。

圖5 含有多個指向的柵格

綜上所述，本文設(shè)計的水下表觀裂縫檢測路徑(apparent fracture detection path,AFDP)算法的基本表達式為

(9)

2 仿真試驗與分析

為驗證AFDP算法的可行性，進行了仿真試驗。在試驗圖像對象選取方面，由于研究重點不是圖像處理以及對裂縫的識別，而是路徑規(guī)劃，故從開源數(shù)據(jù)庫[19]選取某水電站溢洪閘門門槽的兩幅較為清晰的水上裂縫圖像和一幅較為模糊的水下裂縫圖片進行仿真試驗。

將選取的混凝土表面裂縫圖像作為處理目標(圖6)，模擬長裂縫的整體圖像，將其進行柵格化處理，每個柵格代表攝像機一次能獲取的圖像范圍。整體圖像和柵格為標準的正方形，邊長為300像素，每個柵格的邊長為50像素。

圖6 長裂縫圖像的柵格網(wǎng)絡(luò)

選取算法對長裂縫的掃描路徑與長裂縫整體圖像在柵格中的位置之間的連續(xù)度FB為評價指標。FB越接近100%表示連續(xù)度越高。FB表達式如下：

(10)

式中：B為長裂縫掃描路徑斷點個數(shù)；T為長裂縫所占總柵格數(shù)。

圖7是對掃描路徑中斷點的定義和解釋，其中，上方虛線框中的綠色掃描路徑中包含一個斷點。但與之相似的下方虛線框中的綠色掃描路徑是有連接點的情況，不屬于斷點。

圖7 對路徑中斷點的定義和解釋

除連續(xù)度外，還需關(guān)注覆蓋率FH和重復率FR兩個指標：

(11)

(12)

式中：H為已覆蓋的柵格數(shù)；R為重復覆蓋的柵格數(shù)；T′為總柵格數(shù)。

在對比試驗算法選取方面，由于BFP算法[11]是CCP問題中最為經(jīng)典且應(yīng)用廣泛的路徑規(guī)劃方式，且基于GBNN的柵格法路徑規(guī)劃方式若不考慮裂縫走向?qū)⑼嘶癁锽FP算法，故選取BFP算法與本文設(shè)計的AFDP算法對3幅長裂縫圖像進行處理后進行結(jié)果對比。

分別對圖像進行柵格化處理后，對得到的柵格網(wǎng)絡(luò)進行路徑規(guī)劃。其中算例1是較為簡單的單條裂縫，不涉及有連接點的情況，算例2是較為復雜的交叉裂縫，會涉及有連接點的情況。算例3是較為模糊的水下裂縫圖像。試驗結(jié)果如圖8～13和表2所示。

圖8 AFDP算法對算例1的處理結(jié)果

圖9 BFP算法對算例1的處理結(jié)果

圖10 AFDP算法對算例2的處理結(jié)果

圖11 BFP算法對算例2的處理結(jié)果

圖12 AFDP算法對算例3的處理結(jié)果

圖13 BFP算法對算例3的處理結(jié)果

表2 仿真試驗結(jié)果

據(jù)仿真試驗結(jié)果所示，AFDP算法雖“犧牲”了一定的重復率，但能在保證對檢測對象完全覆蓋的前提下，對長裂縫圖像進行完全連續(xù)的掃描，連續(xù)度較BFP算法所規(guī)劃的路徑有較大的提升。

3 結(jié) 語

本文基于GBNN基本原理設(shè)計了一種自治水下機器人的AFDP算法。算法對裂縫走向進行標識，并計算出其指向的柵格，并將指向結(jié)果通過活性增益的方式應(yīng)用到路徑?jīng)Q策中。仿真試驗結(jié)果證實了AFDP算法能夠在保證對檢測對象全覆蓋的前提下，提高對長裂縫掃描的連續(xù)度。AFDP算法有望應(yīng)用于自治水下機器人水下壩面表觀裂縫檢測工作中，提高長裂縫局部圖像信息獲取的連續(xù)性，對后期長裂縫局部圖像的拼接工作提供幫助和支持，以掌握長裂縫的整體信息。