關(guān)鍵詞：液壓支架；丟架視覺檢測(cè)；視頻圖像語義分割；支架號(hào)識(shí)別；多尺度特征信息提取

中圖分類號(hào)：TD355 文獻(xiàn)標(biāo)志碼：A

0引言

近年來煤炭領(lǐng)域致力于應(yīng)用人工智能技術(shù)解決智能化開采存在的難題[1-3]。液壓支架是保障工作面穩(wěn)定和安全生產(chǎn)的重要設(shè)備，一方面，液壓支架用于支撐和控制工作面頂板 [4-5]，為工作人員和采煤機(jī)械設(shè)備提供安全的作業(yè)空間；另一方面，液壓支架的穩(wěn)定推進(jìn)是保證“三直”作業(yè)標(biāo)準(zhǔn)的重要前提。但受采場(chǎng)地質(zhì)條件變化、泵站液壓動(dòng)力波動(dòng)及自動(dòng)跟機(jī)系統(tǒng)判斷誤差等復(fù)雜因素影響，液壓支架在自動(dòng)跟機(jī)移架過程中會(huì)出現(xiàn)部分支架丟架的異常狀況[6]。人工監(jiān)測(cè)丟架和手動(dòng)補(bǔ)架移架嚴(yán)重影響工作面自動(dòng)跟機(jī)效率[7]。因此，應(yīng)用智能化技術(shù)實(shí)時(shí)感知液壓支架丟架狀態(tài)成為解決這一問題新的研究方向。

目前對(duì)于液壓支架丟架狀態(tài)智能感知及動(dòng)作控制主要通過傳感器等硬件裝置獲取液壓支架狀態(tài)信息，并基于感知信息實(shí)現(xiàn)液壓支架丟架狀態(tài)監(jiān)測(cè)及動(dòng)作控制[8-9]。文獻(xiàn)[10]基于多傳感器信息融合技術(shù)實(shí)現(xiàn)液壓支架狀態(tài)監(jiān)測(cè)，該方法通過多傳感器組合管理模塊，對(duì)液壓支架工作參數(shù)和狀態(tài)等信息進(jìn)行采集，并通過決策式分析技術(shù)對(duì)數(shù)據(jù)進(jìn)行處理，構(gòu)建工作狀態(tài)特征模型，實(shí)現(xiàn)工作面液壓支架位移量自動(dòng)監(jiān)測(cè)，通過比較不同液壓支架位移量獲取液壓支架狀態(tài)。文獻(xiàn)[11]基于多傳感器構(gòu)建液壓支架底座的笛卡爾坐標(biāo)系，再根據(jù)行程傳感器獲得不同液壓支架間的位置關(guān)系，進(jìn)而判斷工作面液壓支架丟架狀態(tài)，并根據(jù)獲取的液壓支架推移距離差距實(shí)現(xiàn)液壓支架自動(dòng)調(diào)整。文獻(xiàn)[12]提出了一種工作面自動(dòng)調(diào)直裝置和方法，該方法在任意相鄰2 個(gè)液壓支架之間安裝彈性桿，彈性桿與液壓支架之間設(shè)有角度傳感器，通過角度傳感器顯示角度可實(shí)現(xiàn)液壓支架丟架異常狀態(tài)自動(dòng)檢測(cè)。文獻(xiàn)[13]提出了一種基于機(jī)器人的工作面液壓支架直線度檢測(cè)裝置及方法。在首架及尾架底座上安裝固定參考基準(zhǔn)激光發(fā)射裝置和機(jī)器人檢測(cè)裝置，機(jī)器人順序行走并依次獲取不同液壓支架至機(jī)器人的激光雷達(dá)信息，對(duì)捕獲的距離信息進(jìn)行比較，實(shí)現(xiàn)液壓支架丟架狀態(tài)監(jiān)測(cè)。上述基于不同傳感器實(shí)現(xiàn)程序自動(dòng)化監(jiān)測(cè)液壓支架丟架狀態(tài)的方法，皆具有較高的監(jiān)測(cè)精度，但在實(shí)際工程應(yīng)用過程中，接觸式傳感器等裝置容易被損壞，且隨著使用時(shí)間增加，傳感器誤差會(huì)逐漸增大，需對(duì)傳感器進(jìn)行調(diào)整更換；基于傳感器進(jìn)行信息采集對(duì)傳輸設(shè)備要求較高，當(dāng)數(shù)據(jù)傳輸發(fā)生異常時(shí)，無法收集可靠的工作面液壓支架行程信息。綜上，通過傳感器對(duì)液壓支架進(jìn)行實(shí)時(shí)丟架狀態(tài)監(jiān)測(cè)的穩(wěn)定性和可靠性較差[14-15]。

為了提高自動(dòng)跟機(jī)移架過程中的丟架檢測(cè)效率，本文提出了一種工作面液壓支架丟架視覺自動(dòng)檢測(cè)方法。首先利用YOLOv8 語義分割網(wǎng)絡(luò)對(duì)實(shí)時(shí)獲取的工作面監(jiān)控視頻圖像進(jìn)行目標(biāo)區(qū)域提取與劃分，通過充分學(xué)習(xí)工作面圖像內(nèi)部特征，獲取工作面液壓支架底座、推桿等關(guān)鍵目標(biāo)定位和邊緣信息，對(duì)定位和邊緣信息進(jìn)行分析，實(shí)現(xiàn)工作面監(jiān)控視頻支架號(hào)自動(dòng)識(shí)別；然后自動(dòng)獲取表征液壓支架狀態(tài)的局部圖像，基于改進(jìn)的ResNet50 多層級(jí)殘差網(wǎng)絡(luò)對(duì)獲取的局部圖像進(jìn)行多尺度特征信息提取并融合，再將多尺度特征映射至液壓支架狀態(tài)類別空間，分別得到2 種液壓支架狀態(tài)的預(yù)測(cè)概率，基于最大概率自動(dòng)識(shí)別出液壓支架狀態(tài)，結(jié)合支架號(hào)感知結(jié)果，實(shí)現(xiàn)工作面液壓支架丟架狀態(tài)視覺自動(dòng)檢測(cè)；最后開展工作面液壓支架丟架狀態(tài)視覺自動(dòng)檢測(cè)實(shí)驗(yàn)。

1液壓支架丟架狀態(tài)視覺自動(dòng)檢測(cè)系統(tǒng)框架

工作面液壓支架丟架狀態(tài)視覺自動(dòng)檢測(cè)系統(tǒng)框架如圖1 所示。首先利用深度學(xué)習(xí)語義分割模型對(duì)實(shí)時(shí)獲取的工作面監(jiān)控視頻圖像進(jìn)行工作面目標(biāo)區(qū)域（主要包括液壓支架底座、推桿、線纜槽、刮板運(yùn)輸機(jī)、浮煤和煤壁等）劃分，同時(shí)獲取不同目標(biāo)區(qū)域的定位信息和輪廓信息；其次提取液壓支架底座和推桿等目標(biāo)的定位和邊緣信息并進(jìn)行分析，結(jié)合當(dāng)前監(jiān)控?cái)z像儀IP，獲取監(jiān)控視頻中的支架號(hào)信息；然后根據(jù)提取出的液壓支架底座和推桿的相對(duì)位置關(guān)系，確認(rèn)相鄰液壓支架最小底座局部圖像，以縮小分析范圍，減少其余因素對(duì)檢測(cè)結(jié)果的干擾，基于分類卷積神經(jīng)網(wǎng)絡(luò)對(duì)獲取的局部圖像進(jìn)行特征提取，并識(shí)別出液壓支架狀態(tài)；最后結(jié)合支架號(hào)信息，實(shí)現(xiàn)工作面液壓支架丟架狀態(tài)視覺自動(dòng)檢測(cè)。

2工作面液壓支架丟架狀態(tài)視覺自動(dòng)檢測(cè)關(guān)鍵技術(shù)

2.1工作面監(jiān)控視頻圖像語義分割

利用語義分割網(wǎng)絡(luò)實(shí)現(xiàn)工作面液壓支架底座、推桿等目標(biāo)區(qū)域分割，有助于排除其他區(qū)域?qū)ぷ髅嬉簤褐Ъ軄G架狀態(tài)自動(dòng)檢測(cè)的干擾。常用的語義分割網(wǎng)絡(luò)包括Mask R?CNN 網(wǎng)絡(luò)[16]、U?Net 網(wǎng)絡(luò)[17]、SegNet 網(wǎng)絡(luò)[18]、DeepLab 網(wǎng)絡(luò)[19]、Mask2former 網(wǎng)絡(luò)[20]和YOLO 系列網(wǎng)絡(luò)[21]等。YOLO 系列網(wǎng)絡(luò)具有很強(qiáng)的靈活性，能夠適應(yīng)各數(shù)據(jù)集和場(chǎng)景應(yīng)用需求，具有較強(qiáng)魯棒性和可遷移性；同時(shí)該網(wǎng)絡(luò)框架采用端到端的訓(xùn)練模式，分割處理速度快、效率高，滿足工程化實(shí)際應(yīng)用需求。因此采用YOLOv8 語義分割網(wǎng)絡(luò)實(shí)現(xiàn)工作面目標(biāo)區(qū)域自動(dòng)提取，分割網(wǎng)絡(luò)主要包括骨干網(wǎng)絡(luò)、Anchor?Free 檢測(cè)頭和損失函數(shù)等，如圖2 所示，其中k 為卷積核大?。?s 為卷積步長(zhǎng)； q 為填充方式； n 為Darknet Bottleneck 層處理次數(shù)。分割骨干網(wǎng)絡(luò)在DarkNet53 網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行優(yōu)化，加入空間金字塔池化模塊，在不同尺度上進(jìn)行池化，以適應(yīng)不同大小物體提取和檢測(cè)，同時(shí)融合各層級(jí)特征，獲得更準(zhǔn)確的圖像特征信息；使用3 個(gè)檢測(cè)頭分別對(duì)大中小3 種尺寸的物體進(jìn)行識(shí)別，通過檢測(cè)框和類別預(yù)測(cè)來避免不同任務(wù)互相干擾，提高各子任務(wù)訓(xùn)練性能。

在訓(xùn)練過程中，通過不斷調(diào)整模型參數(shù)來最小化損失函數(shù)，從而提高工作面語義分割模型對(duì)不同目標(biāo)區(qū)域的識(shí)別能力。

2.2支架號(hào)自動(dòng)識(shí)別

通過非接觸視覺感知的工作面支架號(hào)自動(dòng)識(shí)別技術(shù)，能夠?yàn)閬G架狀態(tài)自動(dòng)檢測(cè)提供準(zhǔn)確的支架號(hào)信息，便于后續(xù)基于丟架狀態(tài)信息實(shí)現(xiàn)液壓支架自動(dòng)補(bǔ)架調(diào)整。支架號(hào)自動(dòng)識(shí)別算法如圖3 所示。首先，基于工作面監(jiān)控視頻圖像語義分割技術(shù)提取出液壓支架線纜槽和推桿各子目標(biāo)區(qū)域，并獲取各目標(biāo)的定位信息和輪廓邊緣信息，為支架號(hào)自動(dòng)識(shí)別奠定基礎(chǔ)。其次，對(duì)提取出的各液壓支架推桿區(qū)域的定位信息進(jìn)行分析，根據(jù)圖像中各推桿與監(jiān)控?cái)z像儀之間的視覺距離，完成各推桿的定位排序，并確認(rèn)監(jiān)控視頻中的液壓支架數(shù)目。通過該監(jiān)控視頻IP 獲取該監(jiān)控?cái)z像儀安裝所在的支架號(hào)，進(jìn)而根據(jù)上述位置關(guān)系和各推桿的定位排序，實(shí)現(xiàn)工作面監(jiān)控視頻圖像中支架號(hào)自動(dòng)識(shí)別。然后，根據(jù)語義分割網(wǎng)絡(luò)提取出的各液壓支架推桿和線纜槽的輪廓信息，確認(rèn)出各推桿最靠近線纜槽邊緣處的位置，即液壓支架推桿前端位置。最后，可視化顯示支架號(hào)信息。

2.3液壓支架丟架狀態(tài)識(shí)別

在工作面自動(dòng)化生產(chǎn)過程中，采煤機(jī)完成當(dāng)前割煤進(jìn)程后，系統(tǒng)會(huì)按照事先設(shè)定好的控制邏輯進(jìn)行移架。理想情況下，當(dāng)液壓支架完成移架動(dòng)作后，相鄰液壓支架底座邊緣線基本共線，然而受復(fù)雜地質(zhì)條件、設(shè)備狀況及控制系統(tǒng)控制精度影響，移架后可能出現(xiàn)相鄰液壓支架底座邊緣線不共線的情況，即丟架異常狀態(tài)。因此移架后相鄰液壓支架底座局部圖像是判斷液壓支架丟架狀態(tài)的重要依據(jù)。

通過工作面監(jiān)控視頻圖像語義分割網(wǎng)絡(luò)提取視頻圖像中液壓支架底座和推桿的定位信息和邊緣輪廓信息。根據(jù)各液壓支架底座與監(jiān)控?cái)z像儀的視覺距離，依次提取出相鄰2 個(gè)液壓支架底座并分析底座與推桿間的相對(duì)位置關(guān)系，進(jìn)而判斷監(jiān)控視頻圖像中2 個(gè)相鄰底座是否屬于同一液壓支架或?yàn)橄噜徱簤褐Ъ?。? 個(gè)底座屬于相鄰液壓支架，則根據(jù)語義分割網(wǎng)絡(luò)獲取的定位信息，提取出2 個(gè)相鄰液壓支架的最小底座局部圖像。通過分類卷積神經(jīng)網(wǎng)絡(luò)對(duì)獲取的液壓支架底座局部圖像進(jìn)行特征提取，實(shí)現(xiàn)液壓支架丟架異常狀態(tài)自動(dòng)判別。

常用的分類卷積神經(jīng)網(wǎng)絡(luò)包括AlexNet 分類網(wǎng)絡(luò)[22]、VGGNet 分類網(wǎng)絡(luò)[23]、GoogleNet 分類網(wǎng)絡(luò)[24]和ResNet 殘差卷積神經(jīng)網(wǎng)絡(luò)[25]等。AlexNet 采用多GPU 并行計(jì)算的方式，通過一系列卷積、池化和全連接層提取圖像中的深層特征，但對(duì)于復(fù)雜學(xué)習(xí)任務(wù)表現(xiàn)不佳。VGGNet 使用多個(gè)較小卷積核的卷積層代替較大卷積核的卷積層，以提高網(wǎng)絡(luò)的擬合能力，但參數(shù)量較大，計(jì)算資源消耗較高。GoogleNet采用不同尺度的卷積核進(jìn)行特征提取， 并通過1×1 的卷積核進(jìn)行降維和映射處理，有效減少了模型參數(shù)，但該網(wǎng)絡(luò)對(duì)新任務(wù)適應(yīng)性較低。ResNet 殘差卷積神經(jīng)網(wǎng)絡(luò)一方面引入殘差學(xué)習(xí)，殘差塊中的跳躍連接允許梯度直接回流到更淺的特征層，有效解決了訓(xùn)練過程中可能存在的梯度消失問題，保證模型穩(wěn)定訓(xùn)練；另一方面使用全局平均池化層，將每個(gè)特征圖中所有像素的平均值作為該特征圖的輸出，提高了模型的泛化性能，因此，ResNet 網(wǎng)絡(luò)在解決梯度消失問題和提高模型性能等方面具有突出優(yōu)勢(shì)。

由于工作面環(huán)境復(fù)雜，監(jiān)控視頻圖像存在較多干擾，對(duì)其進(jìn)行充分特征提取需要模型具有較強(qiáng)的訓(xùn)練能力和魯棒性能，為此采用改進(jìn)ResNet50 網(wǎng)絡(luò)結(jié)構(gòu)，在ResNet50 網(wǎng)絡(luò)結(jié)構(gòu)加入特征融合模塊，融合多個(gè)層級(jí)的特征信息，使得該模型具有更多的上下文特征信息和細(xì)節(jié)表征能力， 具體網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示，其中C 為通道數(shù)，t 為Identity Block 模塊重復(fù)次數(shù)，ResNet50 網(wǎng)絡(luò)中包含多個(gè)殘差塊（Identity Block 層），每個(gè)殘差塊內(nèi)部有多個(gè)卷積層和殘差連接，不同尺度的殘差結(jié)構(gòu)包含不同層級(jí)的特征信息。改進(jìn)ResNet50 液壓支架丟架狀態(tài)識(shí)別網(wǎng)絡(luò)在多個(gè)殘差塊后加入卷積層和雙線性插值層，將低分辨率特征圖像生成高分辨率特征圖像，便于將表征不同尺度的4個(gè)特征圖進(jìn)行融合，融合后的特征既包含了圖像的局部細(xì)節(jié)，也包含了全局上下文信息。最后將融合后的特征映射到類別數(shù)量的維度上，獲取各個(gè)類別的概率分布，最終實(shí)現(xiàn)融合多尺度特征信息的液壓支架丟架狀態(tài)自動(dòng)判斷。

由于從工作面監(jiān)控視頻提取的液壓支架局部圖像尺寸并不統(tǒng)一，在輸入網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練前需將局部圖像縮放至256×256，并將訓(xùn)練集數(shù)據(jù)隨機(jī)裁剪至224×224，驗(yàn)證集數(shù)據(jù)中心裁剪至224×224，保證輸入數(shù)據(jù)的一致性。再通過多種圖像數(shù)據(jù)增強(qiáng)方式增加訓(xùn)練數(shù)據(jù)的多樣性，以提高模型的學(xué)習(xí)能力。網(wǎng)絡(luò)訓(xùn)練采用的損失函數(shù)為二元交叉熵?fù)p失函數(shù)，網(wǎng)絡(luò)輸出2 類，標(biāo)簽為0 或1，0 代表液壓支架不存在丟架情況，即正常移架狀態(tài)，1 代表液壓支架存在丟架異常。通過計(jì)算模型預(yù)測(cè)的概率分布與真實(shí)標(biāo)簽的概率分布之間的差異，利用反向傳播算法逐步優(yōu)化網(wǎng)絡(luò)參數(shù)和權(quán)重，模型預(yù)測(cè)的類別會(huì)逐漸接近真實(shí)標(biāo)簽，即改進(jìn)ResNet50 液壓支架丟架狀態(tài)識(shí)別模型性能不斷提升。

3工作面液壓支架丟架狀態(tài)視覺自動(dòng)檢測(cè)實(shí)驗(yàn)

3.1實(shí)驗(yàn)硬件設(shè)備

實(shí)驗(yàn)所用平臺(tái)詳細(xì)配置：操作系統(tǒng)為Ubuntu20.04；服務(wù)器顯卡為NVIDIA GeForce RTX4090；CPU，Intel（R）Xeon（R） Gold 6258R 2.7 GHz；內(nèi)存為32 GiB；訓(xùn)練框架為PyTorch1.10，CUDA，版本11.4。

3.2工作面監(jiān)控視頻圖像語義分割實(shí)驗(yàn)

人工標(biāo)注工作面圖像1150張，標(biāo)注目標(biāo)區(qū)域包括液壓支架底座、推桿、線纜槽、刮板輸送機(jī)、浮煤和煤壁。隨機(jī)對(duì)帶有輪廓標(biāo)簽的語義分割數(shù)據(jù)集進(jìn)行劃分，訓(xùn)練集數(shù)據(jù)為920張，測(cè)試集數(shù)據(jù)為230張。利用訓(xùn)練數(shù)據(jù)集訓(xùn)練YOLOv8 語義分割模型，在訓(xùn)練過程中逐步調(diào)整模型內(nèi)部參數(shù)，使其能夠充分識(shí)別工作面全場(chǎng)景監(jiān)控圖像內(nèi)部特征?；隍?yàn)證集數(shù)據(jù)準(zhǔn)確地評(píng)估模型性能，以驗(yàn)證訓(xùn)練模型對(duì)于工作面多目標(biāo)輪廓自動(dòng)提取效果。

用YOLOv8語義分割網(wǎng)絡(luò)進(jìn)行工作面監(jiān)控視頻語義分割任務(wù)，輸入圖像尺寸為640×640；使用SGD優(yōu)化器，動(dòng)量參數(shù)為0.9，權(quán)重衰減因子為0.001；批處理大小為64；訓(xùn)練迭代次數(shù)為100；初始學(xué)習(xí)率為0.01，學(xué)習(xí)率按照指數(shù)衰減方式下降。模型訓(xùn)練過程中學(xué)習(xí)曲線變化情況如圖5 所示，將各結(jié)果曲線進(jìn)行平滑，得到訓(xùn)練集和驗(yàn)證集各損失函數(shù)和性能指標(biāo)的平滑變化曲線?？煽闯鲭S著迭代次數(shù)的增加，YOLOv8 語義分割網(wǎng)絡(luò)訓(xùn)練集和驗(yàn)證集各損失函數(shù)逐漸減小，并趨于穩(wěn)定，實(shí)現(xiàn)了該分割模型收斂，且在訓(xùn)練過程中，驗(yàn)證集邊界框和分割掩碼的預(yù)測(cè)準(zhǔn)確率和召回率也逐步調(diào)高，說明該模型逐步深化對(duì)監(jiān)控視頻圖像特征的理解，不僅在訓(xùn)練集數(shù)據(jù)上有較好表現(xiàn)，在未經(jīng)過學(xué)習(xí)的驗(yàn)證集上也具有較好的泛化能力。

為了驗(yàn)證YOLOv8 語義分割網(wǎng)絡(luò)模型的分割性能，利用測(cè)試集進(jìn)行驗(yàn)證評(píng)估，采用mAP50 作為語義分割模型評(píng)價(jià)指標(biāo)。mAP50 表示在50% 交并比閾值下多個(gè)類別的平均分割精度，該參數(shù)是衡量模型預(yù)測(cè)出的分割區(qū)域與真實(shí)分割區(qū)域之間重疊程度的重要指標(biāo)?；赮OLOv8 語義分割網(wǎng)絡(luò)模型對(duì)工作面各目標(biāo)區(qū)域分割精度見表1，可看出每一類工作面目標(biāo)區(qū)域圖像分割的 mAP50 均高于95%，說明YOLOv8 語義分割模型能夠準(zhǔn)確識(shí)別并分割目標(biāo)區(qū)域，實(shí)現(xiàn)煤礦井下工作面結(jié)構(gòu)化語義場(chǎng)景構(gòu)建。工作面目標(biāo)區(qū)域劃分結(jié)果如圖6 所示，可看出6 類目標(biāo)區(qū)域都可清楚顯示，實(shí)現(xiàn)了像素級(jí)別的區(qū)域劃分，滿足工作面目標(biāo)區(qū)域動(dòng)態(tài)感知與輪廓識(shí)別要求。

將YOLOv8 語義分割網(wǎng)絡(luò)模型與Mask2former網(wǎng)絡(luò)[21]模型和Mask R?CNN 網(wǎng)絡(luò)[17]模型進(jìn)行比較，結(jié)果見表2?？煽闯鯵OLOv8 語義分割模型各區(qū)域平均分割精度明顯高于其他分割網(wǎng)絡(luò)模型，更適合應(yīng)用于工作面目標(biāo)區(qū)域語義分割。

3.3支架號(hào)自動(dòng)識(shí)別實(shí)驗(yàn)

為驗(yàn)證視頻圖像中支架號(hào)自動(dòng)識(shí)別算法的有效性，首先，利用訓(xùn)練得到的工作面語義分割網(wǎng)絡(luò)對(duì)收集的1 150 張工作面監(jiān)控視頻圖像進(jìn)行目標(biāo)區(qū)域劃分，獲取液壓支架推桿等區(qū)域的定位信息和邊緣輪廓信息。然后，確認(rèn)當(dāng)前攝像儀所在液壓支架的支架號(hào)，通過支架號(hào)自動(dòng)識(shí)別算法，自動(dòng)獲取各圖像中支架號(hào)信息，并可視化顯示于監(jiān)控視頻圖像，識(shí)別結(jié)果如圖7 所示?？煽闯稣_識(shí)別出支架號(hào)的圖像數(shù)目為1 136 張，未能正確識(shí)別的圖像數(shù)目為14 張，準(zhǔn)確率為98.78%，說明該算法能夠準(zhǔn)確實(shí)現(xiàn)基于視覺的支架號(hào)自動(dòng)識(shí)別，有效為工作面液壓支架丟架狀態(tài)視覺自動(dòng)檢測(cè)提供支架號(hào)信息。

3.4丟架狀態(tài)識(shí)別實(shí)驗(yàn)

為實(shí)現(xiàn)工作面液壓支架丟架狀態(tài)視覺自動(dòng)檢測(cè)，使丟架識(shí)別模型充分提取全工作面液壓支架狀態(tài)特性，基于訓(xùn)練得到的工作面語義分割模型對(duì)補(bǔ)充收集的監(jiān)控視頻圖像進(jìn)行目標(biāo)區(qū)域劃分，并利用液壓支架底座局部圖像提取算法，自動(dòng)獲得液壓支架局部圖像，共2877張，構(gòu)建工作面丟架狀態(tài)識(shí)別模型樣本庫，局部圖像像素尺寸大小介于114×114和466×466之間。每個(gè)樣本均手工添加對(duì)應(yīng)的真實(shí)液壓支架狀態(tài)標(biāo)簽，包括正常狀態(tài)和丟架異常狀態(tài)2 類，其中液壓支架處于丟架異常狀態(tài)的圖像為1412張，液壓支架正常狀態(tài)的圖像為1 465 張。對(duì)上述數(shù)據(jù)按照3∶1隨機(jī)劃分為訓(xùn)練集和測(cè)試集，其中訓(xùn)練集液壓支架局部圖像樣本共有2 158 張，測(cè)試集共有719張。適當(dāng)增加樣本庫訓(xùn)練集比例，有助于模型訓(xùn)練過程中充分學(xué)習(xí)不同工作面環(huán)境下液壓支架局部圖像特征信息，便于增強(qiáng)模型的魯棒性和適應(yīng)性。訓(xùn)練集中液壓支架處于丟架狀態(tài)的局部圖像為1059張，液壓支架正常狀態(tài)的局部圖像為1 099 張，2 類訓(xùn)練數(shù)據(jù)比例接近于1∶1，以確保模型在訓(xùn)練過程中對(duì)所有類別都給予足夠的關(guān)注，從而提高整體的分類性能。

改進(jìn)ResNet50 液壓支架丟架狀態(tài)識(shí)別網(wǎng)絡(luò)模型訓(xùn)練參數(shù)：輸入圖像尺寸為224×224；訓(xùn)練迭代次數(shù)為40 次；初始學(xué)習(xí)率為0.01，學(xué)習(xí)率下降采用分段常數(shù)衰減，每迭代25 次，學(xué)習(xí)率下降為之前學(xué)習(xí)率的1/10；使用SGD優(yōu)化器，動(dòng)量參數(shù)為0.9，權(quán)重衰減因子為0.001。

改進(jìn)ResNet50 液壓支架丟架狀態(tài)識(shí)別網(wǎng)絡(luò)模型和ResNet50[26]網(wǎng)絡(luò)模型訓(xùn)練過程中學(xué)習(xí)曲線變化情況如圖8 所示?？煽闯? 個(gè)模型的損失函數(shù)隨迭代次數(shù)增加而逐漸下降并趨于穩(wěn)定，表明2 個(gè)模型在訓(xùn)練過程中已找到一個(gè)相對(duì)較好的模型參數(shù)，能夠表征圖像中液壓支架狀態(tài)信息。

基于測(cè)試集完成液壓支架丟架狀態(tài)識(shí)別模型性能驗(yàn)證，改進(jìn)前后液壓支架狀態(tài)識(shí)別結(jié)果如圖9 和表3 所示，可看出改進(jìn)ResNet50 液壓支架丟架狀態(tài)識(shí)別網(wǎng)絡(luò)模型準(zhǔn)確率和召回率較ResNet50 模型分別提高了6.54%， 6.57%，說明改進(jìn)ResNet50 液壓支架丟架狀態(tài)識(shí)別網(wǎng)絡(luò)模型能夠準(zhǔn)確實(shí)現(xiàn)移架后工作面液壓支架狀態(tài)識(shí)別，有效減少了誤檢和漏檢的情況，且單幀圖像處理時(shí)間為36 ms，滿足現(xiàn)場(chǎng)工程化應(yīng)用的實(shí)時(shí)性和準(zhǔn)確性要求。

將工作面液壓支架丟架狀態(tài)識(shí)別結(jié)果和液壓支架支架號(hào)信息可視化顯示于原始監(jiān)控視頻圖像幀，實(shí)現(xiàn)工作面液壓支架丟架狀態(tài)視覺自動(dòng)檢測(cè)。將該算法集成應(yīng)用于采煤工作面AI 視頻監(jiān)控系統(tǒng)，AI 視頻監(jiān)控系統(tǒng)獲取的實(shí)時(shí)移架后工作面液壓支架丟架狀態(tài)自動(dòng)檢測(cè)結(jié)果如圖10 所示?？煽闯龌诠ぷ髅嬉簤褐Ъ軄G架狀態(tài)視覺自動(dòng)檢測(cè)方法可以準(zhǔn)確判斷液壓支架移架后是否存在丟架異常，結(jié)合自動(dòng)識(shí)別出的支架號(hào)信息，有效實(shí)現(xiàn)了液壓支架丟架異常自動(dòng)檢測(cè)。

4結(jié)論

1） 采用YOLOv8 語義分割網(wǎng)絡(luò)實(shí)現(xiàn)工作面目標(biāo)區(qū)域識(shí)別與劃分，獲取關(guān)鍵目標(biāo)的定位和邊緣信息，各目標(biāo)區(qū)域的分割精度均高于0.95，滿足工作面場(chǎng)景結(jié)構(gòu)化構(gòu)建需求。

2） 基于語義分割算法獲取工作面液壓支架底座、推桿等關(guān)鍵目標(biāo)定位和邊緣信息，實(shí)現(xiàn)工作面監(jiān)控視頻支架號(hào)自動(dòng)識(shí)別，識(shí)別準(zhǔn)確率為98.78%，為工作面液壓支架丟架狀態(tài)視覺自動(dòng)檢測(cè)提供準(zhǔn)確的支架號(hào)信息。

3） 通過分析液壓支架底座和推桿的相對(duì)位置關(guān)系，提取待檢測(cè)相鄰液壓支架底座的局部圖像。利用改進(jìn)ResNet50 液壓支架丟架狀態(tài)識(shí)別網(wǎng)絡(luò)模型對(duì)局部圖像進(jìn)行多尺度特征提取并融合。將融合的多尺度特征信息自動(dòng)映射至液壓支架狀態(tài)識(shí)別所需的類別空間，獲得2 種液壓支架狀態(tài)預(yù)測(cè)概率，進(jìn)而判斷移架后是否存在丟架情況。工作面液壓支架丟架狀態(tài)視覺自動(dòng)檢測(cè)方法平均檢測(cè)準(zhǔn)確率達(dá)99.17%，單幀圖像處理時(shí)間達(dá)到36 ms，滿足采煤工作面AI視頻監(jiān)控系統(tǒng)處理丟架狀態(tài)的實(shí)時(shí)性與可靠性需求。