鄒帥 鐘方偉
關(guān)鍵詞:Triple-Gan;視覺;平臺
0 引言
隨著電網(wǎng)設(shè)備規(guī)模大幅增長,新設(shè)備處于不穩(wěn)定期,老舊設(shè)備基數(shù)大、隱患多,發(fā)生設(shè)備事故的風險依然存在。人身安全事故未能杜絕,業(yè)務(wù)外包和勞務(wù)分包比例不斷擴大,作業(yè)人員素質(zhì)整體偏低,安全管控能力與建設(shè)發(fā)展的強度不適應(yīng)。生產(chǎn)任務(wù)與一線作業(yè)人員不足,生產(chǎn)承載力不足、業(yè)務(wù)空心化和員工技能退化等問題日益凸顯。亟須通過自動化、數(shù)字化、智能化技術(shù)手段,聚焦基層、緊盯現(xiàn)場,著力抓好防觸電、防感應(yīng)電和防誤操作等安全管理,提升運檢質(zhì)效。本文通過應(yīng)用Triple-Gan 網(wǎng)絡(luò)模型、YOLOv5s 加速技術(shù)、視覺技術(shù)、云計算等技術(shù),通過場景識別的逐步下沉,實現(xiàn)對一些較為復雜的違章行為進行精確識別,不僅減輕網(wǎng)絡(luò)帶寬和后端服務(wù)器計算壓力,同時也提高了現(xiàn)場違章識別的同步性和實時性。
1 研究意義
針對當前電網(wǎng)規(guī)模的日益劇增,各類技改、大修、停電、不停電、帶電作業(yè)、異常處理現(xiàn)場較多而復雜,一線運維人員與現(xiàn)場安全管控精益化管理要求不匹配等矛盾日益凸顯的現(xiàn)狀。基于Triple-Gan 網(wǎng)絡(luò)模型、深度視覺、行為識別、便攜式終端圖像采集報警、邊緣計算終端加速處理等技術(shù)應(yīng)用,形成“便攜式終端-分析平臺-邊緣計算終端”的分布式信息采集、處理及可視化展示的研發(fā)及場景應(yīng)用。通過“三位一體”的協(xié)同模式,實現(xiàn)對生產(chǎn)現(xiàn)場作業(yè)安全風險識別并有效進行管控,支撐現(xiàn)場作業(yè)本質(zhì)安全水平的有提升,促進規(guī)范作業(yè)流程,有效形成違章預(yù)警及報警的雙重應(yīng)用,杜絕違章行為的發(fā)生,強化作業(yè)過程管控,保障人身安全可控在控能控制的目標,解決現(xiàn)場作業(yè)實際問題。同時,實現(xiàn)檢修作業(yè)、運維操作、帶電作業(yè)等現(xiàn)場可視化全覆蓋,結(jié)合計劃任務(wù)和兩條工單,實時進行“1 對N”作業(yè)現(xiàn)場質(zhì)量和進度督察,對作業(yè)關(guān)鍵點進行管控,通過云網(wǎng)融合、業(yè)務(wù)管控與視覺技術(shù)的融通共享,實現(xiàn)作業(yè)的全程“身臨現(xiàn)場”可視感知,達到“現(xiàn)場行為工作票”的目的。
2 技術(shù)路線
2.1 面向YOLOv5s 的DCNN 優(yōu)化算法應(yīng)用
基于ASIC 的可壓縮、基于小樣本學習且可移植的DCNN 模型,應(yīng)用YOLOv5s計算策略,將DCNN 算法經(jīng)過卷積層濾波計算和池化層采樣后,生成新的卷積層,繼續(xù)交替進行,經(jīng)過若干層計算后,最終通過連接層輸出特征提取結(jié)果,進行作業(yè)現(xiàn)場的圖像信息的直接監(jiān)控和分析,判斷作業(yè)現(xiàn)場人員行為風險因素;同時,通過將基礎(chǔ)數(shù)據(jù)進行二次挖掘,建立違章數(shù)據(jù)模型庫,判斷現(xiàn)場安全生產(chǎn)工作的潛在影響和風險。
2.2 基于視覺技術(shù)的作業(yè)計劃任務(wù)聯(lián)動應(yīng)用
通過實時抽取從PMS2.0 同步工作票、操作票、巡視任務(wù)等信息到智能視覺平臺,根據(jù)不同任務(wù)的類型形成相應(yīng)的工作任務(wù)單,根據(jù)工作任務(wù)受理的班組對任務(wù)進行班組下發(fā),通過計劃任務(wù)管理服務(wù),對日計劃和兩票工單進行統(tǒng)一管理,加強現(xiàn)場作業(yè)的安全管控。
2.3 基于云計算的圖像智能分析識別應(yīng)用
融合云資源及公司系統(tǒng)內(nèi)部專用網(wǎng)絡(luò),形成“云- 管-邊-場-端”網(wǎng)絡(luò)架構(gòu)。系統(tǒng)通過安全接入平臺接入生產(chǎn)內(nèi)網(wǎng),將視頻數(shù)據(jù)、物聯(lián)網(wǎng)卡數(shù)據(jù)與工作任務(wù)數(shù)據(jù)自動關(guān)聯(lián),直接實現(xiàn)移動終端任務(wù)創(chuàng)建、任務(wù)下發(fā)、視頻上傳、視頻違章查糾等功能。
2.4 數(shù)字化全過程分析管控應(yīng)用
通過視覺平臺應(yīng)用,規(guī)范現(xiàn)場作業(yè),形成現(xiàn)場作業(yè)標準化,形成數(shù)據(jù)采集評價流程,建成數(shù)字化監(jiān)管的技術(shù)路線,實現(xiàn)現(xiàn)場作業(yè)管控制趨向成熟化。利用數(shù)據(jù)分析技術(shù),統(tǒng)計違章分布的類型、班組、人員制定相應(yīng)的培訓策略,糾正違章行為,完成現(xiàn)場作業(yè)痕跡、追溯技術(shù)支撐。
3 設(shè)計思路
利用人工智能、邊緣計算、云計算等技術(shù),通過現(xiàn)場布置布控球、相關(guān)人員佩戴單兵安全帽、遠程無人機實現(xiàn)作業(yè)現(xiàn)場安全監(jiān)察、違章識別,在前端移動智能終端設(shè)備實現(xiàn)邊緣計算-違章行為檢測,即在終端設(shè)備上加入邊緣計算模塊對作業(yè)人員違章行為進行自動、及時的識別,同時在現(xiàn)場安裝聲光報警等警示設(shè)備、消息推送等方式及時提醒作業(yè)人員的違章行為,從而實現(xiàn)智能化的作業(yè)現(xiàn)場違章行為檢測,對人員行為違章、安全文明作業(yè)措施未落實等進行及時報警和現(xiàn)場監(jiān)督管控。
3.1 平臺設(shè)計
總體設(shè)計包括物理層和虛擬化層、云服務(wù)層及云組件,為提供平臺硬件資源基礎(chǔ)管理,基于硬件來構(gòu)建池化的虛擬資源,包括服務(wù)器虛擬化、存儲虛擬化、網(wǎng)絡(luò)虛擬化和監(jiān)控/運維系統(tǒng)等[1]。并向管理員/用戶提供云平臺服務(wù),包括云主機服務(wù)、網(wǎng)頁交互、API接口、監(jiān)控系統(tǒng)、彈性網(wǎng)絡(luò)、VPN隧道、賬戶管理、計費模塊、負載均衡和端口轉(zhuǎn)發(fā)等服務(wù)。
3.2 系統(tǒng)架構(gòu)設(shè)計
通過“云、管、邊、端” 技術(shù)架構(gòu)實現(xiàn)生產(chǎn)現(xiàn)場的實時監(jiān)督管控及生產(chǎn)過程行為的歷史追溯管理。利用工作記錄儀、移動布控球等設(shè)備對作業(yè)現(xiàn)場的圖像、音頻、定位、業(yè)務(wù)處理等進行實時采集和回傳。通過虛擬無線專網(wǎng)VPN建立通信通道?;谠凭W(wǎng)融合技術(shù)建立專網(wǎng)和內(nèi)網(wǎng)可視化監(jiān)控云平臺,通過安全接入平臺實現(xiàn)數(shù)據(jù)交互?;赑MS2.0兩票和計劃任務(wù),通過視頻專網(wǎng)進行遠程實時監(jiān)督,實時點檢以及現(xiàn)場喊停等應(yīng)用,通過信息內(nèi)網(wǎng)進行歷史數(shù)據(jù)回放、違章標記、自查互查等應(yīng)用。
3.3 平臺網(wǎng)絡(luò)設(shè)計
建設(shè)基于電網(wǎng)網(wǎng)絡(luò)信息安全要求,內(nèi)外與專網(wǎng)的信息交互通過安全接入平臺實現(xiàn),前端采用4G現(xiàn)場工作記錄儀,通過虛擬無線網(wǎng)絡(luò),在專網(wǎng)視頻監(jiān)察系統(tǒng)查看實時現(xiàn)場工作視頻,同時將歷史錄像數(shù)據(jù)在前置服務(wù)器加密后通過安全接入平臺傳輸至信息內(nèi)外,實現(xiàn)錄像數(shù)據(jù)與PMS任務(wù)數(shù)據(jù)的相互關(guān)聯(lián)。
生產(chǎn)作業(yè)可視化監(jiān)控平臺采用兩級分布式部署模式,通過虛擬無線專網(wǎng)接入工作記錄儀和安全接入平臺進行數(shù)據(jù)交互,形成“云-管-邊-場-端”架構(gòu),基于云網(wǎng)融合技術(shù)和標準化接口實現(xiàn)終端的多樣性接入和平臺的能力共享。
3.4 終端FPGA 設(shè)計
通過各個硬件模塊輸入輸出的相互連接,結(jié)合FPGA 所提供的流水結(jié)構(gòu),將CNN算法進行匹配,充分利用算法網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)部的并行性,在提高運算速度。將現(xiàn)場作業(yè)可視化圖像數(shù)據(jù)是以數(shù)據(jù)流的方式進行輸入,在每個時鐘周期內(nèi)傳入一個圖像的像素點,基于28×28個時鐘周期,完成對單幅圖像的運算。在CPU端,讀取輸入的訓練數(shù)據(jù)圖像集,對輸入圖像做歸一化預(yù)處理之后,通過PCIE總線傳輸給Dataflow Engine,通過CNN將參數(shù)w和參數(shù)b是在CPU中進行初始化,通過 PCIE 傳輸?shù)?DataflowEngine 的 Fast Memory中,實現(xiàn)2個卷積層和1個softmax全連接層加快卷積運算取參數(shù)過程,數(shù)據(jù)通過Dataflow Engine,生成圖像分類,并將結(jié)果推送至CPU。
3.5 安全接入設(shè)計
1) 安全接入平臺應(yīng)部署在信息內(nèi)網(wǎng)和專網(wǎng)之間,采用類VPN技術(shù)和數(shù)據(jù)隔離技術(shù)實現(xiàn)數(shù)據(jù)的安全接入。工作記錄儀采用虛擬無線專網(wǎng)通過防火墻接入專網(wǎng)前置服務(wù)器,前置服務(wù)器安裝安全接入通信組件和國密PCIE加密卡連接安全接入平臺,接入信息內(nèi)網(wǎng)(如圖4所示)。
2) 業(yè)務(wù)安全接入體系由四部分組成:工作記錄儀、前置服務(wù)器、安全接入平臺和信息內(nèi)網(wǎng)。其中工作記錄儀采用虛擬專網(wǎng)技術(shù)在GPRS APN/WCDMA VPDN上建立的虛擬隧道,前置服務(wù)器是經(jīng)過安全加
3) 業(yè)務(wù)安全接入總體架構(gòu)分為安全接入終端層、安全傳輸通道層、安全接入平臺層和業(yè)務(wù)訪問層四層,由安全接入終端、安全傳輸通道、安全接入平臺和PKI證書服務(wù)系統(tǒng)組成。
4) 業(yè)務(wù)安全接入防護體系從接入終端、網(wǎng)絡(luò)環(huán)境、邊界和應(yīng)用四個層次進行安全防護,體現(xiàn)層層遞進、縱深防御的設(shè)計思想。通過四層的安全防護模式,實現(xiàn)了對業(yè)務(wù)過程中數(shù)據(jù)交互的全面安全防護,保證了電力信息內(nèi)網(wǎng)的安全。
4 技術(shù)架構(gòu)
4.1 流程設(shè)計
平臺由PMS2.0定時同步的任務(wù)數(shù)據(jù)發(fā)起,通過安全接入平臺將任務(wù)數(shù)據(jù)下發(fā),在視頻專網(wǎng)中進行視頻實時查看,工作任務(wù)結(jié)束后工作記錄儀自動通過虛擬無線專網(wǎng)將視頻歷史數(shù)據(jù)回傳至信息內(nèi)外,并與PMS2.0中的任務(wù)自動關(guān)聯(lián)。
4.2 智能分析設(shè)計
通過執(zhí)法儀拍攝的視頻進行分析,提取其中的目標信息,完成對視頻的結(jié)構(gòu)化描述。本文圍繞對人的安全管理,利用智能分析算法[2]檢測五類目標,首先要檢測視頻中是否有人出現(xiàn),并能檢測到每個人在視頻中的位置,在此基礎(chǔ)上,在單個人的特定區(qū)域內(nèi)檢測其他屬性目標。通過五類屬性目標要進行檢查,分別是安全帽、袖章、絕緣手套、工作服和兩票。這五類目標并不一定同時出現(xiàn)在某個人身上,而是根據(jù)具體的任務(wù),在人身上檢測某個屬性目標,以判定是否符合任務(wù)規(guī)范。
針對以上目標,實現(xiàn)多路視頻的實時監(jiān)控,系統(tǒng)能保持高并發(fā)性和反應(yīng)敏捷性;系統(tǒng)對工作任務(wù)進行靈活分解和配置,完成對執(zhí)法視頻的語義分析;對于存量視頻,可以進行后期分析,濃縮視頻內(nèi)容,形成視頻摘要,方便對視頻進行事件檢索。根據(jù)任務(wù)要求,選目定標要素,分析視頻中是否檢測到了目標要素,也即在返回的視頻中要先檢測到人,再在人的身上檢測是否戴有安全設(shè)備,如果視頻中以一定比例檢測到了這些目標要素,則認為這個視頻符合任務(wù)規(guī)范。
5 功能設(shè)計
系統(tǒng)分為專網(wǎng)及內(nèi)網(wǎng)運行環(huán)境,實現(xiàn)實時視頻監(jiān)控、語音對講、設(shè)備管理、人員管理、定位管理、視音頻預(yù)覽及通信指揮、違章識別等主要功能。
5.1 實時視頻監(jiān)控
通過無線接入網(wǎng)絡(luò),方便地實現(xiàn)視頻傳輸。采用高效的H264、H265視頻編解碼技術(shù),支持1080P高清視頻上傳,靈活的網(wǎng)絡(luò)自適應(yīng)調(diào)整技術(shù)、可靠的網(wǎng)絡(luò)傳輸糾錯,在有限帶寬下保障視頻數(shù)據(jù)的流暢傳輸。
5.2 語音對講
支持雙向的音頻功能,通過配置聲音采集和輸出設(shè)備,實現(xiàn)監(jiān)控點與平臺之間的雙向語音,同時支持雙向語音的錄制,實現(xiàn)全過程的音視頻記錄。
5.3 設(shè)備管理
平臺的設(shè)備管理包括可以遠程實時查看移動現(xiàn)場工作記錄儀的工作狀態(tài),包括電池電量、存儲信息、錄像狀態(tài)等,同時可以遠程控制所有安全生產(chǎn)人員的移動現(xiàn)場工作記錄儀開啟或停止錄像。
5.4 人員管理、定位管理
移動現(xiàn)場工作記錄儀設(shè)備定位管理,可實時接收定位數(shù)據(jù),并在地圖上展現(xiàn)出來,方便調(diào)度員觀看、調(diào)度。
5.5 視音頻預(yù)覽及通信指揮
通過地圖界面或設(shè)備列表資源,可以遠程調(diào)用現(xiàn)場工作記錄儀拍攝的圖像畫面,能夠?qū)崟r回傳現(xiàn)場視音頻畫面,達到對現(xiàn)場情況的把控。
5.6 違章識別
通過視頻實時識別違章作業(yè),并進行截圖,將違章視頻進行統(tǒng)一資源管理,聯(lián)動工作票信息,記錄違章時間、人員、類型等信息。查詢歸檔的違章記錄。違章記錄的詳細內(nèi)容包括:票號、任務(wù)類型、風險等級、工作班組、工作負責人、任務(wù)內(nèi)容、違章時間、違章類型、發(fā)現(xiàn)類型、違章內(nèi)容、違章圖片、播放視頻的操作??梢园凑詹块T、票號、違章類型、任務(wù)類型、風險等級、發(fā)現(xiàn)類型、負責人、違章內(nèi)容、開始時間、結(jié)束時間設(shè)置查詢條件進行查詢。
6 關(guān)鍵技術(shù)
6.1 面向Triple-Gan 網(wǎng)絡(luò)模型的視覺聚類算法
基于大量的生產(chǎn)現(xiàn)場作業(yè)圖像數(shù)據(jù),將一定數(shù)量的訓練樣本訓練生成器,以達到學習到真實樣本的分布的目標,實現(xiàn)自我生成訓練樣本,使判斷器可以學習到真實樣本和生成樣本的數(shù)據(jù)特征。一是構(gòu)建改進后的半監(jiān)督圖像分類模型,包括生成器、判斷器和一組子判斷器,一組子判斷器包括若干個子判斷器;二是訓練改進后的半監(jiān)督圖像分類模型[3];三是將待分類的圖像輸入至訓練好的、改進后的半監(jiān)督圖像分類模型,得到圖像分類結(jié)果,形成現(xiàn)場作業(yè)違章智能識別場景的樣本學習訓練的有效應(yīng)用,提高平臺整體識別分析效率和準確率。
6.2 基于終端AI 處理的DCNN 網(wǎng)絡(luò)模型YOLOv5s加速策略
本成果針對目標檢測算法圖像預(yù)處理、損失函數(shù)的算法優(yōu)化,并在終端處理器內(nèi)部署時采取特定的量化算法來減少參數(shù)和數(shù)據(jù)帶寬,完成YOLOv5s的邊緣計算的優(yōu)化和處理。利用圖像數(shù)據(jù)的余弦退火,Mo? saic數(shù)據(jù)增強、自適應(yīng)錨框計算和圖片縮放[4],平滑濾波等方法實現(xiàn)異構(gòu)加速,實現(xiàn)終端有效的進行圖像處理、裁剪、量化、壓縮、加速處理,將Focus結(jié)構(gòu)主干網(wǎng)絡(luò)實現(xiàn)相交尺度衡量計算,并利用邊界框中心點距離信息進行邊界框?qū)捀弑鹊某叨扔嬎?,縮小現(xiàn)場作業(yè)違章預(yù)警數(shù)據(jù)的框差,提高預(yù)警準確性。
6.3 基于對數(shù)域內(nèi)快速卷積計算模型的應(yīng)用
通過對生產(chǎn)現(xiàn)場作業(yè)采集的圖像的特征大小以及卷積核大小進行計算,根據(jù)對數(shù)運算性質(zhì),建立存儲圖像特征的空間平面模型。根據(jù)卷積核大小,建立卷積核空間平面模型[5]。再將卷積核與生產(chǎn)現(xiàn)場作業(yè)圖像特征中的元變換到對數(shù)域中,即從整數(shù)到對數(shù),將對應(yīng)元做相加處理,將相加結(jié)果轉(zhuǎn)換到整數(shù)域,即從對數(shù)到整數(shù),最終將所得計算結(jié)果載入空平面模型,計算出基于卷積核的圖像特征圖,產(chǎn)生更加清晰、真實的現(xiàn)場作業(yè)目標檢測樣本,并有效降低圖像處理內(nèi)存空間,加快了計算速度,節(jié)約了訓練時間,解決在復雜作業(yè)場景下的學習訓練性能匱乏而造成的圖像識別率較低的問題,提高了現(xiàn)場作業(yè)圖像數(shù)據(jù)智能分析效率和準確率。
7 結(jié)束語
本文針對基于Triple-Gan模型視覺平臺進行綜合闡述,通過深度視覺、便攜式終端圖像采集報警、邊緣計算終端加速處理的“三位一體”的協(xié)同模式,構(gòu)建了生產(chǎn)作業(yè)現(xiàn)場安全態(tài)勢管控的“大整合、高共享、流程化”的信息采集、管理、共享平臺,解決了傳統(tǒng)的監(jiān)控方式下電網(wǎng)施工質(zhì)量控制與安全管理人力耗費大、質(zhì)量控制容易出現(xiàn)偏差和遺漏等問題。同時,為現(xiàn)場作業(yè)標準化檢查提供了數(shù)據(jù)依據(jù)及安全責任分析的數(shù)據(jù)佐證,也為現(xiàn)場作業(yè)人員安全違章事件提供預(yù)警提示,有效地支撐現(xiàn)場違章作業(yè)的行為、設(shè)備及作業(yè)標識的智能化識別。