基于工業(yè)元宇宙的綜采工作面虛實(shí)融合運(yùn)行模式初步探索

謝嘉成，鄭子盈，王學(xué)文，孟 浩，劉曙光，李素華

（1.太原理工大學(xué) 機(jī)械與運(yùn)載工程學(xué)院,山西 太原 030024；2.煤礦綜采裝備山西省重點(diǎn)實(shí)驗(yàn)室,山西 太原 030024；3.智能采礦裝備技術(shù)全國重點(diǎn)實(shí)驗(yàn)室,山西 太原 030032）

0 引言

近年來，隨著新一代信息技術(shù)與傳統(tǒng)煤炭開采業(yè)的深度融合[1]，以及煤炭安全高效清潔開采的迫切需求，發(fā)展智能化采煤技術(shù)是必由之路[2]。與制造、汽車、船舶、建筑地面場(chǎng)景相比[3]，智能煤炭場(chǎng)景顯然技術(shù)挑戰(zhàn)更高[4]。例如：近年來煤礦綜采工作面在裝備智能感知、決策和控制等方面建設(shè)效果明顯，實(shí)現(xiàn)了地質(zhì)條件較好情況下的初步智能化[5]，但對(duì)于地質(zhì)條件復(fù)雜多變、設(shè)備工作環(huán)境惡劣的情況，各智能化子系統(tǒng)存在信息孤島、安全監(jiān)控保障手段不匹配等問題，與深度智能化要求還有一定的差距[6]。

智能化的基礎(chǔ)是數(shù)字化[7]，智采工作面的建設(shè)基礎(chǔ)包括先進(jìn)可靠智能化水平高的開采裝備、數(shù)字化信息感知元件、可靠帶寬高時(shí)延低的信息傳輸模式、信息存儲(chǔ)與云端協(xié)同計(jì)算平臺(tái)、控制系統(tǒng)的最優(yōu)決策、數(shù)字化呈現(xiàn)、決策以及反向控制等[8-9]。單純?cè)谖锢韺用孢M(jìn)行智采工作面建設(shè)存在著信息孤島、不能適應(yīng)復(fù)雜工況、AI 與物理系統(tǒng)較難深入融合等諸多問題。隨著數(shù)字孿生(Digital Twin,DT)等技術(shù)的引入[10-11]，在物理維度與信息維度、物理實(shí)體與虛擬孿生體相互協(xié)同形成虛實(shí)融合的運(yùn)行模式越來越關(guān)鍵[12]。通過物理系統(tǒng)的實(shí)時(shí)信息采集，構(gòu)建信息空間中實(shí)時(shí)物理世界的虛擬孿生體，對(duì)物理世界未來行為進(jìn)行預(yù)測(cè)進(jìn)而決策優(yōu)化出最優(yōu)策略，最終反控物理設(shè)備運(yùn)行[13]已成為當(dāng)下研究熱點(diǎn)。

數(shù)字孿生重在構(gòu)建與物理世界完全一致的虛擬孿生體[14]，而工業(yè)元宇宙（IM,Industrial Metaverse）是以數(shù)字孿生為基礎(chǔ)的更為廣泛的未來生產(chǎn)運(yùn)行模式[15-16]，通過XRAIIoT云計(jì)算區(qū)塊鏈數(shù)字孿生等技術(shù)實(shí)現(xiàn)人、機(jī)、物、系統(tǒng)等的無縫連接，提升對(duì)綜采工作面的監(jiān)測(cè)能力、決策能力以及反向控制能力，是工業(yè)乃至產(chǎn)業(yè)數(shù)字化、智能化發(fā)展的全新階段。智采工作面未來也將必然發(fā)展到工業(yè)元宇宙階段[17-18]。

工業(yè)元宇宙內(nèi)涵包括虛擬現(xiàn)實(shí)-數(shù)字孿生-信息物理系統(tǒng)-工業(yè)元宇宙等方面[19-20]，涉及到綜采工作面的監(jiān)測(cè)、決策以及控制。

在實(shí)現(xiàn)智能化的難度上，數(shù)字化綜采工作面與數(shù)字化工廠具有很大差異。①從兩者的運(yùn)行環(huán)境來看，數(shù)字化工廠環(huán)境固定簡單，由建造者決定，易通過視頻圖像和點(diǎn)云等非接觸式和普通的傾角和GPS等接觸式信息進(jìn)行協(xié)同采集、傳輸與驅(qū)動(dòng)虛擬監(jiān)控，便于以全局視角透明化監(jiān)測(cè)整體運(yùn)行；然而對(duì)于綜采工作面來說，煤層賦存條件復(fù)雜，裝備運(yùn)行環(huán)境惡劣封閉且處在不斷遷移過程中，傳感器布置較困難且種類受限，受電磁干擾影響，傳輸不穩(wěn)定，同時(shí)透明地質(zhì)保障技術(shù)當(dāng)前仍難以支撐透明化開采環(huán)境的實(shí)時(shí)監(jiān)測(cè)，做到實(shí)時(shí)精準(zhǔn)呈現(xiàn)難度大。②在決策方面，數(shù)字化工廠根據(jù)加工產(chǎn)品的狀態(tài)，以及所要達(dá)到的標(biāo)準(zhǔn)，使用智能調(diào)度軟件對(duì)生產(chǎn)線整體、各加工和輔助作業(yè)設(shè)備進(jìn)行全局配置與規(guī)劃，能夠達(dá)到理論最優(yōu)，提高生產(chǎn)效率；而對(duì)于綜采工作面，裝備連接關(guān)系復(fù)雜，“破-采-裝-運(yùn)-支”等工作和“調(diào)高-調(diào)直-水平推進(jìn)”等主線任務(wù)深度耦合，在存在一定程度的信息孤島和導(dǎo)航地圖不透明的條件下，顯著增加了各設(shè)備動(dòng)作決策的難度。③在反向控制方面，數(shù)字化工廠可以依托資源計(jì)劃管理(Enterprise Resource Planning,ERP)、產(chǎn)品生命周期管理(Product Lifecycle Management,PLM)、制造執(zhí)行系統(tǒng)(Manufacturing Execution System,MES)等多個(gè)智能保障系統(tǒng)來管理設(shè)備，并實(shí)時(shí)檢測(cè)預(yù)規(guī)劃與在線運(yùn)行的差異，可實(shí)時(shí)做出精準(zhǔn)全局調(diào)控；而在綜采工作面內(nèi)，各種智能化管控平臺(tái)，尚未做到實(shí)時(shí)性高且精細(xì)化的全局態(tài)勢(shì)分析與管理，不同裝備間缺乏統(tǒng)一的通訊標(biāo)準(zhǔn)，任務(wù)環(huán)境復(fù)雜且部分控制執(zhí)行元件（如開關(guān)閥驅(qū)動(dòng)的推移油缸等）不能實(shí)現(xiàn)精準(zhǔn)控制，這都增加了反向控制的難度。

當(dāng)前綜采工作面的智能化還面臨著如下挑戰(zhàn)：①僅利用數(shù)字孿生難以實(shí)現(xiàn)綜采工作面的決策與反向控制，這就需要將綜采工作面與工業(yè)元宇宙相融合。②在綜采工作面內(nèi)實(shí)現(xiàn)工業(yè)元宇宙所需要的技術(shù)不夠明確。③人在綜采工作面中有著不可或缺的作用，人機(jī)協(xié)同技術(shù)在綜采工作面的應(yīng)用還未成熟。

筆者通過梳理綜采數(shù)字孿生與工業(yè)元宇宙的發(fā)展脈絡(luò)，理清兩者間的特點(diǎn)與關(guān)系，提出綜采工作面工業(yè)元宇宙的構(gòu)想和實(shí)現(xiàn)這一構(gòu)想的關(guān)鍵技術(shù)，為構(gòu)建具備人機(jī)融合能力的，能完成決策與反向控制的綜采工作面工業(yè)元宇宙系統(tǒng)奠定基礎(chǔ)。

1 綜采+“元宇宙”和“數(shù)字孿生”的發(fā)展脈絡(luò)及其內(nèi)涵特征

1.1 發(fā)展脈絡(luò)

在智能化發(fā)展的需求下，虛實(shí)融合歷程階段可分為4 個(gè)階段。

1）1.0 階段：虛擬仿真主要是應(yīng)用于培訓(xùn)和教學(xué)。主要目的就是讓操作人員了解井下綜采工作面，掌握設(shè)備操作技能等。雖然利用的信息較少，但可以仿真展示或者可視化井下開采的較真實(shí)過程[21]。

2）2.0 階段：在1.0 基礎(chǔ)上加入離線真實(shí)運(yùn)行的數(shù)據(jù)，復(fù)現(xiàn)出真實(shí)綜采工作面運(yùn)行工況。這一階段虛擬場(chǎng)景與真實(shí)工作面在時(shí)間維度是不統(tǒng)一的，但仿真效率得到了提高。此外可以基于“人-機(jī)-環(huán)-法”等信息，對(duì)整個(gè)物理綜采工作面進(jìn)行無縫的、多樣化的、參數(shù)化的虛擬規(guī)劃，且能夠和真實(shí)控制系統(tǒng)連接到一起，進(jìn)行真實(shí)控制系統(tǒng)的半實(shí)物虛擬仿真與調(diào)試[22]。

3）3.0 階段：2.0 由于時(shí)間尺度不一致，不能進(jìn)行在線分析。因此，在2.0 基礎(chǔ)上，3.0 通過實(shí)時(shí)信息驅(qū)動(dòng)虛擬場(chǎng)景，追求虛擬場(chǎng)景與真實(shí)系統(tǒng)的同步運(yùn)行，操作人員根據(jù)準(zhǔn)確重構(gòu)的虛擬場(chǎng)景信息進(jìn)行遠(yuǎn)程的人工干預(yù)[23]。

4）4.0 階段：在實(shí)時(shí)虛擬重構(gòu)的基礎(chǔ)上，構(gòu)建出能進(jìn)行預(yù)測(cè)、決策、分析的綜采平行系統(tǒng)，對(duì)未來規(guī)劃與可行路徑仿真，并與當(dāng)前時(shí)刻進(jìn)行實(shí)時(shí)狀態(tài)綁定。決策出仿真過程中的最優(yōu)策略，同時(shí)與實(shí)際控制系統(tǒng)連接，打通雙向閉環(huán)的信息通道，再把最優(yōu)策略轉(zhuǎn)換成控制指令，返回給物理工作面的控制系統(tǒng)，使其按照最優(yōu)策略來運(yùn)行[24]。

1.2 各層次的內(nèi)涵分析

數(shù)字孿生DT 的基礎(chǔ)是虛擬現(xiàn)實(shí)(Virtual Reality,VR)和增強(qiáng)現(xiàn)實(shí)(Augmented Reality,AR)，DT 又能夠延伸出平行系統(tǒng)(Parallel System,PS)，加上控制能力后可變成信息物理系統(tǒng)(Cyber Physical System,CPS)，最終都為工業(yè)元宇宙IM 打下基礎(chǔ)。

VR、AR、DT、PS、CPS 和IM 六種技術(shù)的發(fā)展脈絡(luò)如圖1 所示：從物理和信息兩個(gè)維度，對(duì)VR、AR、DT、PS、CPS 和IM 各系統(tǒng)具備的基本特征進(jìn)行剖析[25-26]，發(fā)現(xiàn)虛實(shí)融合內(nèi)涵由低到高的基本特征包括：①展示與離線模擬；②監(jiān)測(cè)與輔助操作；③在線模擬與預(yù)演；④預(yù)測(cè)與決策；⑤反向控制；⑥人機(jī)融合與管理；通過虛實(shí)融合內(nèi)涵由低到高的六大基本特征的支持，從物理維度到數(shù)字孿生再到工業(yè)元宇宙，信息空間的成分逐漸增加，就誕生了實(shí)無窮到虛無窮的不斷演變。對(duì)于工業(yè)系統(tǒng)來說，最終都是通過信息系統(tǒng)的無限試錯(cuò)、推演、模擬與運(yùn)算，最終服務(wù)于物理系統(tǒng)，為其安全高效運(yùn)行提供支撐。

圖1 發(fā)展與演化脈絡(luò)Fig.1 Development and evolution

虛實(shí)融合內(nèi)涵由低到高的基本特征：

1）展示與離線模擬：通過虛擬建模以及在信息空間中的各種仿真來展示運(yùn)行狀態(tài)，在此過程中由于沒有接入相關(guān)的數(shù)據(jù)，虛擬場(chǎng)景構(gòu)建的可信度取決于相關(guān)的建模水平以及對(duì)物理過程機(jī)理的掌握。主要功能是培訓(xùn)教學(xué)、產(chǎn)品的展示、科普等。

2）監(jiān)測(cè)與輔助操作：在1）的基礎(chǔ)上，接入實(shí)時(shí)運(yùn)行數(shù)據(jù)，驅(qū)動(dòng)虛擬場(chǎng)景同步運(yùn)行，以實(shí)現(xiàn)虛實(shí)同步監(jiān)測(cè)的運(yùn)行方式，在生產(chǎn)過程中把實(shí)時(shí)信息適當(dāng)顯示出來，指導(dǎo)實(shí)際生產(chǎn)過程。在這一階段的功能主要是物理過程實(shí)時(shí)運(yùn)行狀態(tài)的虛擬可視化，且將時(shí)空信息進(jìn)行深度融合；要保證虛擬監(jiān)測(cè)是無延遲地、準(zhǔn)確地與物理場(chǎng)景保持高度同步。在這個(gè)層面內(nèi)，人能通過虛擬場(chǎng)景對(duì)綜采工作面進(jìn)行觀測(cè)，但對(duì)裝備的操作決策和控制只能由人來做。

3）在線模擬與預(yù)演：在數(shù)據(jù)驅(qū)動(dòng)構(gòu)造的虛擬場(chǎng)景基礎(chǔ)上，通過虛擬引擎復(fù)制出基于實(shí)時(shí)數(shù)據(jù)的虛擬運(yùn)行狀態(tài)，對(duì)未來運(yùn)行狀態(tài)進(jìn)行全流程模擬。利用深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等方法，對(duì)所有可行路徑上進(jìn)行全模擬與實(shí)時(shí)更新與顯示，給人提供充分的決策依據(jù)。

4）預(yù)測(cè)與決策：在模擬的基礎(chǔ)上，對(duì)各種模擬結(jié)果進(jìn)行評(píng)價(jià)，決策出系統(tǒng)最優(yōu)運(yùn)行路徑。在此基礎(chǔ)上，進(jìn)行相關(guān)的預(yù)測(cè)，根據(jù)預(yù)測(cè)結(jié)果，結(jié)合實(shí)時(shí)虛擬監(jiān)測(cè)場(chǎng)景，人通過控制按鈕遠(yuǎn)程控制設(shè)備做出相關(guān)動(dòng)作。

5）反向控制：將4）決策出的最優(yōu)結(jié)果與設(shè)備的物理控制系統(tǒng)進(jìn)行全流程信息交互，實(shí)現(xiàn)物理與虛擬的無縫銜接。系統(tǒng)可以自動(dòng)將虛擬控制指令轉(zhuǎn)變?yōu)檎鎸?shí)的物理控制指令，真實(shí)的物理控制指令直接控制相關(guān)設(shè)備做出相應(yīng)的動(dòng)作。

6）人機(jī)融合與管理：通過井上井下的各類人員，包括工作面一線巡檢人員、集控中心操作員、各個(gè)關(guān)鍵崗位監(jiān)控員、地面調(diào)度中心人員，佩帶可穿戴式設(shè)備、頭盔、眼鏡等各種人機(jī)交互設(shè)備，進(jìn)入到信息世界中，在一個(gè)統(tǒng)一的工作場(chǎng)景中進(jìn)行虛擬會(huì)議，虛擬互動(dòng)，虛擬評(píng)價(jià)，從而真正實(shí)現(xiàn)整個(gè)礦井的時(shí)空一致與互聯(lián)。在此層面內(nèi)，虛擬人負(fù)責(zé)整個(gè)工作面的運(yùn)行管理，人只需要對(duì)虛擬人監(jiān)督即可。

其中，圖1 中的實(shí)線的含義是強(qiáng)包含，虛線的含義是弱包含或者部分包含?？梢钥闯鯠T 包含兩條實(shí)線1）和2）和兩條虛線3）和4），說明數(shù)字孿生至少應(yīng)達(dá)到數(shù)據(jù)驅(qū)動(dòng)的虛擬監(jiān)測(cè)與輔助協(xié)同，在此基礎(chǔ)上，可以將DT 延伸出來在線模擬與預(yù)演和預(yù)測(cè)與決策，信息系統(tǒng)中決策出來最優(yōu)策略，用于指導(dǎo)實(shí)際的物理生產(chǎn)過程。但需要注意的是，這里所說的決策與控制不需要對(duì)信息傳輸路徑或者自動(dòng)化程度有所判斷，可以是人工手動(dòng)操作，也可以是程序智能控制，但最終要利用虛擬高可信度模擬的結(jié)果指導(dǎo)操作人員。如果這里變成自動(dòng)連接控制系統(tǒng)的反向控制物理設(shè)備，就由數(shù)字孿生DT 過渡到了信息物理系統(tǒng)CPS 階段。而CPS 再加上6）人機(jī)融合與管理，使信息系統(tǒng)朝著虛無窮邁進(jìn)，就變成了IM，更加強(qiáng)調(diào)人機(jī)融合，這也是一些學(xué)者探討的工業(yè)5.0 的相關(guān)概念：不再一味地追求黑燈工廠，而是更加注重以人為本，融入了以人為核心的概念，更加重視管理。在綜采工作面內(nèi)，工作環(huán)境復(fù)雜，加上先驗(yàn)信息缺失，導(dǎo)致了人在綜采工作面內(nèi)有著不可或缺的作用。人機(jī)融合與管理能幫助人更好地了解到井下實(shí)時(shí)的狀況以及裝備運(yùn)行狀態(tài)，對(duì)各種情況做出及時(shí)、正確的處理，更好地發(fā)揮人的主觀能動(dòng)性。

1.3 “工業(yè)元宇宙”和“數(shù)字孿生”驅(qū)動(dòng)的工作面對(duì)比

數(shù)字孿生綜采工作面[23]是現(xiàn)實(shí)世界物理元素的復(fù)制、延伸和增強(qiáng)，是物理元素和規(guī)律在虛擬空間的投影，是形成“完全同步”的“克隆工作面”。在這里，物理和信息系統(tǒng)構(gòu)成成分是基本對(duì)等的。

工業(yè)元宇宙驅(qū)動(dòng)的綜采工作面在數(shù)字孿生刻畫的“克隆工作面”基礎(chǔ)上，平行出多個(gè)系統(tǒng)，以真實(shí)或假想的邏輯對(duì)虛擬系統(tǒng)進(jìn)行刻畫與運(yùn)作，強(qiáng)調(diào)虛擬場(chǎng)景的各種預(yù)測(cè)、模擬、控制、評(píng)價(jià)和交互。此時(shí)，盡管虛擬系統(tǒng)的成分已遠(yuǎn)多于物理系統(tǒng)，但對(duì)于工業(yè)場(chǎng)景來說，虛擬系統(tǒng)的運(yùn)營也是為了物理世界的工業(yè)服務(wù)。

數(shù)字孿生是物理世界和虛擬世界處于對(duì)等的關(guān)系，而工業(yè)元宇宙則是兩者處于不對(duì)等的關(guān)系。數(shù)字孿生是對(duì)工業(yè)生產(chǎn)過程中的仿真建模工具的高度總結(jié)，可以清晰重現(xiàn)綜采工作面的場(chǎng)景與各裝備的運(yùn)行狀態(tài)，實(shí)現(xiàn)監(jiān)測(cè)與模擬。工業(yè)元宇宙則是布局縱深更大，要超越現(xiàn)實(shí)，不僅要做到監(jiān)測(cè)、控制，更要實(shí)現(xiàn)人、機(jī)、物、環(huán)境的有效管理，使人在虛擬空間內(nèi)也能了解工作面的各種信息，在虛擬世界內(nèi)完成對(duì)綜采工作面的監(jiān)測(cè)決策以及控制。利用人機(jī)協(xié)作技術(shù)增強(qiáng)人的感知，決策與控制能力，為更好地處理與解決綜采運(yùn)行問題提供思路與方法，也為智能化工作面提供了可能性。

2 工業(yè)元宇宙驅(qū)動(dòng)的智采工作面構(gòu)想

基于虛實(shí)融合內(nèi)涵由低到高的6 個(gè)基本特征，工業(yè)元宇宙驅(qū)動(dòng)的智采工作面系統(tǒng)框架如圖2 所示，由下到上分別是：

圖2 工業(yè)元宇宙驅(qū)動(dòng)的工作面系統(tǒng)框架Fig.2 Industrial metaverse driven working face system framework

第1 層：物理層：對(duì)應(yīng)物理的綜采生產(chǎn)系統(tǒng)，目前智能化綜采設(shè)備在單機(jī)裝備、多機(jī)協(xié)同與環(huán)境感知上的各層次智能化水平都不斷進(jìn)步，取得了良好的效果；

第2 層：實(shí)時(shí)映射層：物理系統(tǒng)與元宇宙系統(tǒng)的接口：在煤礦井下4G 已經(jīng)推廣使用，5G 已在井下試點(diǎn)，各種設(shè)備感知與控制信息都可接入網(wǎng)絡(luò)，實(shí)時(shí)映射到數(shù)字空間。

第3 層：數(shù)字建模層：既包括“形似”又包括“內(nèi)在機(jī)理”的一致性，導(dǎo)入到虛擬引擎中，對(duì)其行為進(jìn)行刻畫和編譯，構(gòu)建“高保真”的數(shù)字孿生模型，可以進(jìn)行高仿真度的展示與離線仿真。

第4 層：信息監(jiān)控層：實(shí)時(shí)運(yùn)行數(shù)據(jù)驅(qū)動(dòng)的虛擬重構(gòu)，實(shí)現(xiàn)物理模型與虛擬模型的雙向映射，能動(dòng)態(tài)、實(shí)時(shí)地管理產(chǎn)品的技術(shù)狀態(tài)。

第5 層：跟蹤分析層：在虛擬重構(gòu)場(chǎng)景中復(fù)制一個(gè)出來，在虛擬空間中運(yùn)用大數(shù)據(jù)分析技術(shù)進(jìn)行仿真、測(cè)試、預(yù)測(cè)與評(píng)估，對(duì)物理世界的未來狀態(tài)進(jìn)行預(yù)測(cè)與優(yōu)化。

第6 層：模擬自治層：具有分布式、去中心、自組織的特征。提供沉浸式的數(shù)字模擬、環(huán)境和事件的開發(fā)和操作，用戶和企業(yè)可以在其中探索和參與各種各樣的體驗(yàn)，并從事生產(chǎn)活動(dòng)。

第7 層：應(yīng)用互動(dòng)層：用于數(shù)字化生產(chǎn)。決策出來的最優(yōu)指令反向由虛向?qū)嵖刂七\(yùn)行工況；人機(jī)協(xié)同改變工業(yè)運(yùn)行方式，提高企業(yè)管理運(yùn)營的效率。

第1 層是處于物理系統(tǒng)內(nèi)的，第2 層是物理系統(tǒng)與元宇宙系統(tǒng)的接口，第3 層對(duì)應(yīng)展示與離線模擬的基本特征，第4 層對(duì)應(yīng)監(jiān)測(cè)與輔助操作的基本特征，第5 層對(duì)應(yīng)在線模擬與預(yù)演的基本特征，第6層對(duì)應(yīng)預(yù)測(cè)與決策的基本特征，第7 層對(duì)應(yīng)反向控制、人機(jī)融合與管理的基本特征。

工業(yè)元宇宙驅(qū)動(dòng)的智采工作面系統(tǒng)所具備的能力包括：

1）由實(shí)到虛精準(zhǔn)的復(fù)制映射能力（DT）：主要包括展示與離線模擬和監(jiān)測(cè)與輔助操作的能力，涉及時(shí)間和空間維度，具有精準(zhǔn)復(fù)制，以及時(shí)間快、延遲低的數(shù)據(jù)驅(qū)動(dòng)特點(diǎn)；先驗(yàn)信息嚴(yán)重缺失的綜采工作面生產(chǎn)系統(tǒng)虛擬運(yùn)維方法常受到數(shù)據(jù)質(zhì)量與數(shù)量的影響，難以適應(yīng)實(shí)際運(yùn)行場(chǎng)景。為了保證綜采工作面生產(chǎn)系統(tǒng)運(yùn)行的完整性，在數(shù)據(jù)驅(qū)動(dòng)模型基礎(chǔ)上，可引入知識(shí)驅(qū)動(dòng)方法建立約束條件，避免異常驅(qū)動(dòng)現(xiàn)象的發(fā)生，增強(qiáng)經(jīng)驗(yàn)?zāi)Ｐ偷倪m應(yīng)性，實(shí)現(xiàn)混合驅(qū)動(dòng)模式下的綜采工作面虛擬重構(gòu)。

智能化綜采工作面的實(shí)時(shí)虛擬監(jiān)測(cè)涉及到兩部分[23]。一部分是高可信度煤層裝備聯(lián)合虛擬仿真，另一部分是協(xié)同規(guī)劃和實(shí)時(shí)可靠信息的獲取與虛實(shí)融合通道的建立。虛擬仿真即實(shí)現(xiàn)對(duì)真實(shí)開采環(huán)境的虛擬環(huán)境下的精準(zhǔn)映射。在建立裝備與煤層三維模型的條件下，通過添加物理引擎和各結(jié)構(gòu)間約束關(guān)系建立靜態(tài)工作面模型。基于真實(shí)開采數(shù)據(jù)，利用已有的裝備運(yùn)行信息對(duì)其他裝備的位姿進(jìn)行反演，進(jìn)而實(shí)現(xiàn)對(duì)與之相關(guān)的煤層頂?shù)组_采環(huán)境三維重構(gòu)。隨著采煤工作的不斷進(jìn)行，綜采工作面場(chǎng)景也在不斷地變化著，這就要求在虛擬場(chǎng)景內(nèi)實(shí)現(xiàn)對(duì)綜采裝備動(dòng)作的控制以及煤層的動(dòng)態(tài)更新，根據(jù)裝備的運(yùn)行數(shù)據(jù)，利用深度學(xué)習(xí)算法進(jìn)行未來開采運(yùn)行信息的預(yù)測(cè)以實(shí)現(xiàn)未來開采環(huán)境的預(yù)重構(gòu)。

信息的獲取離不開傳感器，根據(jù)綜采裝備在開采過程中的特點(diǎn)建立信息傳感系統(tǒng)，對(duì)于監(jiān)測(cè)盲區(qū)采用裝備之間的空間位置關(guān)系進(jìn)行推算，如依靠采煤機(jī)機(jī)身上的傳感器數(shù)據(jù)反演獲得刮板輸送機(jī)的實(shí)時(shí)三維形態(tài)，再通過實(shí)時(shí)通信手段將數(shù)據(jù)實(shí)時(shí)傳到上位機(jī)。數(shù)據(jù)的實(shí)時(shí)交互則是靠上位機(jī)軟件與Unity 3D 通過數(shù)據(jù)庫來實(shí)現(xiàn)的。最后一步則是處理所獲得的數(shù)據(jù)，并驅(qū)動(dòng)虛擬裝備運(yùn)行，進(jìn)行實(shí)時(shí)場(chǎng)景呈現(xiàn)。近年來，基于數(shù)字孿生的綜采工作面虛擬監(jiān)控高可信度虛擬模型構(gòu)建、雙向信息通道與交互接口、實(shí)時(shí)運(yùn)行數(shù)據(jù)驅(qū)動(dòng)虛實(shí)同步運(yùn)行等關(guān)鍵技術(shù)已基本突破，接下來可進(jìn)一步融入透明地質(zhì)保障相關(guān)數(shù)據(jù)，并依托5G 網(wǎng)絡(luò)高速傳輸，實(shí)現(xiàn)整體工作面裝備與煤層運(yùn)行的全要素高精度實(shí)時(shí)呈現(xiàn)。

2）虛擬迭代的推理預(yù)測(cè)決策能力（DT+）：主要包括在線模擬與預(yù)演和預(yù)測(cè)與決策的能力，在虛擬鏡像的基礎(chǔ)上，將深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等智能算法與裝備運(yùn)行機(jī)理融合，對(duì)實(shí)際裝備運(yùn)行過程以及開采環(huán)境進(jìn)行演化、推演?；诰C采工作面的歷史開采信息，提取裝備運(yùn)行的運(yùn)動(dòng)規(guī)律以及裝備關(guān)鍵結(jié)構(gòu)件運(yùn)行特性與開采環(huán)境變化之間的關(guān)系，對(duì)未來開采過程進(jìn)行預(yù)測(cè)并為開采工藝的靈活調(diào)整提供指導(dǎo)；基于深度強(qiáng)化學(xué)習(xí)對(duì)虛擬開采裝備智能體的協(xié)同運(yùn)行進(jìn)行決策，保證虛擬綜采裝備在不確定開采環(huán)境下具有穩(wěn)定的開采策略支持。基于空間運(yùn)動(dòng)學(xué)與LSTM 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)融合的刮板輸送機(jī)調(diào)直方法就是利用在線模擬與預(yù)演和預(yù)測(cè)與決策的能力[27]。根據(jù)空間運(yùn)動(dòng)學(xué)和LSTM 神經(jīng)網(wǎng)絡(luò)建立預(yù)測(cè)模型，在研究刮板輸送機(jī)調(diào)直時(shí)，通過在虛擬煤層空間內(nèi)對(duì)裝備的動(dòng)作進(jìn)行預(yù)演，對(duì)比分析數(shù)據(jù)，得出軌跡修正模型。在綜采工作面的虛擬場(chǎng)景中，根據(jù)已有監(jiān)測(cè)信息對(duì)液壓支架的實(shí)際位姿進(jìn)行分析，對(duì)有異常位姿的液壓支架決策出調(diào)架所需要的動(dòng)作，完成虛擬場(chǎng)景內(nèi)的調(diào)架[28]。這一方面已經(jīng)開始研究，但是受限于傳感信息數(shù)量、精度、人工智能算法可靠性等方面問題，仍需進(jìn)一步聯(lián)合攻關(guān)突破其關(guān)鍵技術(shù)。

3）由虛到實(shí)的復(fù)制控制能力（CPS）：推演完成后，應(yīng)對(duì)決策出的最優(yōu)值進(jìn)行判定，綜合人和計(jì)算機(jī)的智慧進(jìn)行控制，使人從操作者變?yōu)楸O(jiān)控者、管理者。綜采工作面數(shù)字孿生系統(tǒng)的虛實(shí)交互包括物理綜采系統(tǒng)運(yùn)行狀態(tài)在虛擬環(huán)境下的實(shí)時(shí)映射，以及虛擬綜采場(chǎng)景仿真結(jié)果對(duì)物理系統(tǒng)運(yùn)行的實(shí)時(shí)控制。在對(duì)綜采系統(tǒng)進(jìn)行虛擬仿真基礎(chǔ)上，通過虛實(shí)雙向數(shù)據(jù)通道將仿真結(jié)果信息實(shí)時(shí)反向傳遞至物理空間，可以實(shí)現(xiàn)數(shù)字模型對(duì)物理裝備及系統(tǒng)實(shí)際運(yùn)行狀態(tài)動(dòng)態(tài)調(diào)控。利用AR 技術(shù)可實(shí)現(xiàn)數(shù)字孿生工作面的反向控制，一方面是AR 設(shè)備具有與工作面設(shè)備交互的功能，從而能操縱綜采裝備，另一方面是物理裝備能獲得AR 設(shè)備上傳的數(shù)據(jù)，從而驅(qū)動(dòng)物理綜采裝備與數(shù)字綜采裝備同步運(yùn)動(dòng)，實(shí)現(xiàn)反向控制。對(duì)于綜采工作面的現(xiàn)場(chǎng)工作人員來說，基于頭戴式增強(qiáng)現(xiàn)實(shí)設(shè)備與腦機(jī)接口設(shè)備可以實(shí)現(xiàn)手勢(shì)、語音、凝視、BCI（Brain-Computer Interface，腦機(jī)接口）四種交互模態(tài)。在常規(guī)狀態(tài)下，現(xiàn)場(chǎng)工作人員優(yōu)先使用手勢(shì)識(shí)別完成所需的交互。當(dāng)現(xiàn)場(chǎng)工作人員雙手被占用時(shí)，采用凝視與語音相結(jié)合的方式作為備用交互策略，使用凝視射線選取操作對(duì)象，再使用語音指令確認(rèn)操作，從而降低誤操作的概率。在工業(yè)現(xiàn)場(chǎng)出現(xiàn)突發(fā)狀況，來不及通過其他交互模態(tài)做出操作時(shí)，采用BCI 系統(tǒng)對(duì)現(xiàn)場(chǎng)工作人員本能的腦電信號(hào)做出分析并執(zhí)行相應(yīng)的命令。對(duì)于遠(yuǎn)程專家來說，通過鼠標(biāo)與鍵盤進(jìn)行交互，方便快捷地為現(xiàn)場(chǎng)工作人員提供指導(dǎo)。目前，對(duì)利用AR 設(shè)備進(jìn)行控制已有一定的研究，但是還存在延遲時(shí)間與傳輸精度方面的問題，還需要進(jìn)一步提高。

4）虛擬與現(xiàn)實(shí)的人機(jī)無縫協(xié)作能力（IM）：主要包括人機(jī)融合與管理能力和AR 協(xié)同技術(shù)、機(jī)器人協(xié)同技術(shù)、虛擬人協(xié)同技術(shù)，形成以人為主的工業(yè)元宇宙系統(tǒng)，完成精益化管理。在綜采工作面運(yùn)行中，人的作用在很多場(chǎng)景中不可或缺。

3 人機(jī)融合驅(qū)動(dòng)的工作面IM 運(yùn)行模式

隨著綜采工作面裝備智能化水平的提高，“機(jī)-機(jī)”之間的交互能力也隨之提升，人機(jī)融合驅(qū)動(dòng)的工業(yè)元宇宙能獲得綜采工作面運(yùn)行數(shù)據(jù)，而后利用人機(jī)交互技術(shù)，提升人的感知、決策、控制能力，進(jìn)而提升工作面效率。人機(jī)交互技術(shù)是基于虛實(shí)融合方法實(shí)現(xiàn)的，人機(jī)融合與虛實(shí)融合是不可分割、相互交融的。下面對(duì)人機(jī)融合驅(qū)動(dòng)的工作面IM 運(yùn)行模式進(jìn)行具體介紹。

3.1 人機(jī)協(xié)同的本質(zhì)和協(xié)同方式

對(duì)于綜采工作面來說，盡管智能化技術(shù)的發(fā)展使作業(yè)人員越來越少，但必須由操作人員完成智能系統(tǒng)無法完成的操作。智能化開采工作面系統(tǒng)的構(gòu)建不是追求絕對(duì)的無人場(chǎng)景，而是追求人機(jī)融合，融入人的經(jīng)驗(yàn)和智慧。

工業(yè)元宇宙和工業(yè)數(shù)字孿生主要區(qū)別在于是否有虛擬工人參與生產(chǎn)過程。工業(yè)數(shù)字孿生追求無人車間、黑燈工廠，讓所有設(shè)備自動(dòng)化運(yùn)行。但在復(fù)雜的煤礦井下，大部分生產(chǎn)還是需要有人參與，IM 必須將虛擬人深度參與到綜采工作面的運(yùn)行管理中。當(dāng)前的方式有3 種：①現(xiàn)場(chǎng)工人跟后臺(tái)專家通過XR眼鏡遠(yuǎn)程交互，即 “XR+”人機(jī)協(xié)同；②高智能化的巡檢機(jī)器人參與現(xiàn)場(chǎng)過程，即機(jī)器人驅(qū)動(dòng)的人機(jī)協(xié)同；③對(duì)高技能人才復(fù)刻數(shù)字人并在信息空間中從事操作活動(dòng)，即“虛擬人”驅(qū)動(dòng)的人機(jī)協(xié)同。

3.2 “XR+”人機(jī)協(xié)同

“XR+”人機(jī)協(xié)同是巡檢工跟集控工或后臺(tái)專家通過XR 眼鏡協(xié)作平臺(tái)交流，這種協(xié)作交流基于AR眼鏡的遠(yuǎn)程協(xié)助功能，如圖3 所示。巡檢工佩戴AR眼鏡，在巡檢過程中與集控工進(jìn)行協(xié)調(diào)，集控工可以以巡檢工的視角觀察工作面運(yùn)行情況，而AR 通過與后臺(tái)VR 系統(tǒng)相連接，把VR 計(jì)算的結(jié)果呈現(xiàn)在AR眼鏡中，讓多人進(jìn)行協(xié)同評(píng)審，完成最優(yōu)決策與操作。利用AR 技術(shù)可以實(shí)現(xiàn)多終端AR 同地?zé)o縫協(xié)作與多終端遠(yuǎn)程AR 視頻會(huì)議。AR 移動(dòng)/頭戴終端可與VR 技術(shù)相融合，對(duì)綜采設(shè)備進(jìn)行位姿測(cè)量，同時(shí)，AR 設(shè)備還可對(duì)數(shù)字綜采裝備進(jìn)行操縱[26]。

圖3 AR 眼鏡的遠(yuǎn)程協(xié)助功能Fig.3 Remote assistance function of AR glasses

3.3 機(jī)器人驅(qū)動(dòng)的人機(jī)協(xié)同

隨著機(jī)器人技術(shù)的發(fā)展，井下巡檢機(jī)器人技術(shù)也得到了快速發(fā)展。軌道式巡檢機(jī)器人能利用自身搭載的傳感元件等采集裝備信息和視頻信息等傳回后臺(tái)，使人能獲得綜采工作面運(yùn)行數(shù)據(jù)。但其軌道在液壓支架或者刮板輸送機(jī)上，由于工作面底板起伏，機(jī)器人運(yùn)行柔性大，運(yùn)行定位具有不確定性，無法將采集回來的點(diǎn)云、視頻等數(shù)據(jù)進(jìn)行合并補(bǔ)償，巡檢效率不高。而刮板輸送機(jī)電纜槽的相關(guān)軌道，剛性運(yùn)行容易卡頓，不能較好適應(yīng)隨機(jī)性的起伏變化，相關(guān)感知傳感器直接暴露在危險(xiǎn)區(qū)域，容易被落下來的煤砸壞。

巡檢機(jī)器人最大的功能是智能感知，并不具備反向控制能力，這與機(jī)器人的“自主感知、自主決策與自主控制”思路背道而馳。因此，需開發(fā)自動(dòng)行走在工作面的機(jī)器人，可以深入到危險(xiǎn)的狹窄的環(huán)境中代替巡檢人員的實(shí)際巡檢工作。

與軌道式巡檢機(jī)器人相比，行走式巡檢機(jī)器人具有以下特點(diǎn)：①在感知方面，其上搭載有三維激光雷達(dá)，氣體檢測(cè)儀，深度相機(jī)等元件，獲取視覺、氣體含量、三維點(diǎn)云等信息，并可以利用自身的靈活性到達(dá)更多位置，獲取較為全面的信息。②在自主決策方面，能夠利用感知到的信息在虛擬系統(tǒng)內(nèi)重現(xiàn)物理工作面的運(yùn)行情況，并檢測(cè)異常，利用算法決策出行走路徑與行走步態(tài)。③在控制方面，行走式巡檢機(jī)器人可以根據(jù)操作人員的指令對(duì)綜采工作面裝備做出部分簡單控制。巡檢機(jī)器人的結(jié)構(gòu)功能如圖4所示。

圖4 機(jī)器人結(jié)構(gòu)與功能Fig.4 Structure and function of robot

3.4 “虛擬人”驅(qū)動(dòng)的人機(jī)協(xié)同

在智能化和數(shù)字化程度高的數(shù)字孿生綜采工作面，將人的意志、能力、標(biāo)準(zhǔn)的操作、應(yīng)急能力等進(jìn)行全面復(fù)刻，構(gòu)建虛擬人在信息維度中操控虛擬設(shè)備以最優(yōu)運(yùn)行方式去運(yùn)行，再在物理層面按照信息空間最優(yōu)運(yùn)行的方式進(jìn)行操作。多個(gè)虛擬人分別對(duì)應(yīng)不同操作員崗位并完成相關(guān)各崗位任務(wù)，真實(shí)操作員監(jiān)督這些虛擬人完成相關(guān)工作。虛擬人模型的構(gòu)建需要依據(jù)各個(gè)礦工的體態(tài)以及身體參數(shù)：首先獲取人體骨骼點(diǎn)數(shù)據(jù)，形成參數(shù)化模型，然后進(jìn)行外觀烘焙、添加貼圖等，最后對(duì)模型進(jìn)行運(yùn)動(dòng)學(xué)解析，提取各關(guān)節(jié)數(shù)學(xué)模型，并通過kinect 體感設(shè)備，實(shí)現(xiàn)模型動(dòng)態(tài)化。

虛擬人存在于虛擬系統(tǒng)中，按照所執(zhí)行的功能不同可以分為虛擬巡檢人員、虛擬支架工、虛擬采煤機(jī)工和虛擬集控操作人員。如圖5 所示。在綜采工作面精確監(jiān)測(cè)前提下，對(duì)虛擬人添加各種算法與AI，使其感知虛擬綜采工作面環(huán)境，行走于虛擬綜采工作面中，并具有感知、識(shí)別工作面異常狀態(tài)的功能，即擁有人的意志、能力、標(biāo)準(zhǔn)的操作、各種應(yīng)對(duì)危險(xiǎn)的應(yīng)急能力。在虛擬監(jiān)測(cè)系統(tǒng)將綜采工作面信息同步到虛擬場(chǎng)景時(shí)，虛擬人就可以感知到物理裝備的運(yùn)行狀態(tài)，并進(jìn)行判斷與決策，進(jìn)而調(diào)整綜采工作面的運(yùn)行。而此時(shí)，人就可以通過遠(yuǎn)程監(jiān)督虛擬人的工作來實(shí)現(xiàn)對(duì)綜采工作面監(jiān)控。

圖5 虛擬人模型構(gòu)建與運(yùn)行Fig.5 Model construction and operation of virtual human

3.5 人機(jī)協(xié)同帶來管理的提升和社會(huì)CPSS 系統(tǒng)

人機(jī)協(xié)同技術(shù)，應(yīng)該是AR 協(xié)作到人與機(jī)器人協(xié)同再到人與虛擬協(xié)同的發(fā)展，工作面虛實(shí)融合程度逐步升高。在5G 通訊、云平臺(tái)、統(tǒng)一的軟硬件接口等關(guān)鍵技術(shù)不斷突破，且在井下逐步工業(yè)應(yīng)用的前提下，若能實(shí)現(xiàn)AR 眼鏡的防爆功能，AR 協(xié)作可以在近幾年逐步實(shí)現(xiàn)；而人與機(jī)器人協(xié)同技術(shù)還距離較遠(yuǎn)，應(yīng)加大研發(fā)力度。在實(shí)現(xiàn)具有反向控制功能的綜采工作面數(shù)字孿生+系統(tǒng)后，就可以進(jìn)入到人與虛擬人協(xié)同的狀態(tài)中。綜采工作面數(shù)字孿生中的監(jiān)測(cè)是一比一的復(fù)刻、是實(shí)時(shí)精準(zhǔn)的虛擬重構(gòu)，控制則是經(jīng)過推理以后的反向控制。而管理更多的是涉及到管理人員。由于具備了社會(huì)屬性，所以形成了社會(huì)物理信息系統(tǒng)（CPSS，Cyber Physical Social Systems），如圖6 所示。

圖6 人機(jī)協(xié)同帶來的提升Fig.6 Enhancement by man-machine coordination

人與機(jī)器的區(qū)別是，一方面，在復(fù)雜的井下環(huán)境工作，很多問題需要操作人員直接控制運(yùn)行，而機(jī)器只具備低層級(jí)的AI，只能完成復(fù)雜程度不高的工作。而另一方面來說，身體狀態(tài)、情緒、精神等各方面均會(huì)對(duì)身處煤礦井下的操作人員帶來不確定性因素，導(dǎo)致操作失誤甚至安全問題。因此可以訓(xùn)練虛擬人，避免這些心理和生理問題。

在增強(qiáng)操作人員情感方面，基于工業(yè)元宇宙的社交屬性，創(chuàng)造一個(gè)平行世界，操作人員與其家庭成員身處異地但共同進(jìn)入這個(gè)虛擬世界，感受近距離的陪伴，進(jìn)而提升其幸福指數(shù)和工作效率，同時(shí)也會(huì)增加企業(yè)歸屬感。

操作人員也可攜帶體感交互、腦機(jī)接口設(shè)備等隨時(shí)獲得身體健康數(shù)據(jù)，更好地為工作服務(wù)。管理員可以讓處在不同空間人員的協(xié)同運(yùn)行管理，如建立涵蓋地面和井下的VR/AR 交互系統(tǒng)，添加可穿戴設(shè)備把操作人員或者是巡檢人員數(shù)據(jù)接入到虛擬設(shè)備上進(jìn)行整體的模擬和預(yù)測(cè)，把他們的觸覺延伸到井下進(jìn)行虛擬會(huì)議，實(shí)現(xiàn)井下人員和地面的無縫虛擬會(huì)議。

4 工業(yè)元宇宙的初步認(rèn)識(shí)

工業(yè)元宇宙的前提是由實(shí)到虛精準(zhǔn)的復(fù)制映射能力、虛擬迭代的推理預(yù)測(cè)決策能力、由虛到實(shí)的復(fù)制控制能力。目前，虛擬監(jiān)測(cè)的能力較強(qiáng)，虛擬決策和虛擬控制的能力還有待加強(qiáng)。與數(shù)字孿生系統(tǒng)相比，工業(yè)元宇宙系統(tǒng)在數(shù)字孿生完成監(jiān)測(cè)的基礎(chǔ)上，可以實(shí)現(xiàn)人、虛擬人、機(jī)器人和綜采裝備在虛實(shí)世界的相互交互，在時(shí)間和空間的維度上對(duì)綜采工作面運(yùn)行情況進(jìn)行重構(gòu)和延伸，獲得綜采工作面過去、現(xiàn)在和未來的運(yùn)行信息，全面提高人對(duì)工作面的感知，決策與控制能力。

液壓支架是綜采工作面的重要支護(hù)裝備，但當(dāng)前液壓支架的智能化程度較低。因此，本文以液壓支架為例，利用實(shí)驗(yàn)室的綜采成套試驗(yàn)系統(tǒng)從監(jiān)測(cè)、決策和控制方面對(duì)液壓支架數(shù)字孿生到工業(yè)元宇宙的過渡階段進(jìn)行試驗(yàn)。

4.1 基于工業(yè)元宇宙的液壓支架調(diào)架系統(tǒng)

按照工業(yè)元宇宙七層架構(gòu)，可具體實(shí)施為在三種人機(jī)交互模式的支撐下，由③建模與場(chǎng)景子系統(tǒng)、④虛擬監(jiān)測(cè)子系統(tǒng)、⑤云服務(wù)子系統(tǒng)、⑥虛擬決策子系統(tǒng)和⑦虛擬控制子系統(tǒng)，通過②虛實(shí)交互接口，共同完成對(duì)①物理樣機(jī)系統(tǒng)中液壓支架異常行為的智能分析、決策與調(diào)架，整體結(jié)構(gòu)如圖7 所示。

圖7 液壓支架的工業(yè)元宇宙系統(tǒng)Fig.7 Industrial metaverse system of hydraulic support

其中，①物理系統(tǒng)包括煤層底板模型、支運(yùn)裝備、控制元件和監(jiān)測(cè)元件。通過②虛實(shí)交互接口，③建模與場(chǎng)景子系統(tǒng)以支架和煤層數(shù)據(jù)為基礎(chǔ)，構(gòu)建高保真虛擬模型。④虛擬監(jiān)測(cè)子系統(tǒng)內(nèi)添加了位姿重構(gòu)腳本、位姿描述腳本、監(jiān)測(cè)面板、控制面板和串行通訊接口，能根據(jù)傳感信息對(duì)虛擬空間內(nèi)的模型進(jìn)行位姿重構(gòu)，顯示液壓支架的位姿參數(shù)，并分析判斷異常位姿，具體實(shí)施由實(shí)到虛精準(zhǔn)的復(fù)制映射能力。⑥虛擬決策子系統(tǒng)包括工況模擬腳本、調(diào)架決策腳本、仿真控制腳本、工作空間繪制器LineTools，能同步虛擬監(jiān)測(cè)子系統(tǒng)場(chǎng)景中支架位姿信息，在⑤云服務(wù)子系統(tǒng)的支持下，生成最優(yōu)決策調(diào)架指令控制虛擬調(diào)架，對(duì)應(yīng)的是虛擬迭代的推理預(yù)測(cè)決策能力。⑦虛擬控制子系統(tǒng)能同步虛擬監(jiān)測(cè)子系統(tǒng)的調(diào)架指令，并通過串行通訊接口向?qū)嵨镏Ъ芟掳l(fā)控制指令，實(shí)現(xiàn)動(dòng)作控制，體現(xiàn)的是由虛到實(shí)的復(fù)制控制能力。

系統(tǒng)中的AR 遠(yuǎn)程協(xié)作技術(shù)是一種人機(jī)交互技術(shù)，通過AR 交互設(shè)備使得不同地點(diǎn)的操作人員實(shí)現(xiàn)遠(yuǎn)程協(xié)作。巡檢機(jī)器人巡檢于物理綜采工作面中，能將物理系統(tǒng)監(jiān)測(cè)數(shù)據(jù)傳回虛擬系統(tǒng)中，實(shí)現(xiàn)人、機(jī)器人與綜采工作面的虛實(shí)結(jié)合。虛擬人存在于虛擬系統(tǒng)中，依靠自身的AI 算法對(duì)液壓支架狀態(tài)進(jìn)行判斷、決策與控制，這三種人機(jī)協(xié)作技術(shù)對(duì)應(yīng)了虛擬與現(xiàn)實(shí)的人機(jī)無縫協(xié)作能力。

4.2 系統(tǒng)“感知-決策-控制”通道測(cè)試

通過虛擬監(jiān)測(cè)子系統(tǒng)、虛擬決策子系統(tǒng)和虛擬控制子系統(tǒng)對(duì)物理系統(tǒng)進(jìn)行虛擬監(jiān)測(cè)測(cè)試和反向控制測(cè)試。各傳感數(shù)據(jù)通過信息集成通過串口傳輸給上位機(jī)，經(jīng)過數(shù)據(jù)解析和處理轉(zhuǎn)化為可形成虛擬監(jiān)測(cè)場(chǎng)景，隨后決策子系統(tǒng)進(jìn)行自主虛擬決策，形成控制指令，并通過計(jì)算機(jī)串口對(duì)指令進(jìn)行解析并下發(fā)給對(duì)應(yīng)的物理樣機(jī)從機(jī)，最終控制執(zhí)行元件實(shí)現(xiàn)對(duì)應(yīng)動(dòng)作。

結(jié)果表明：虛擬監(jiān)測(cè)系統(tǒng)實(shí)現(xiàn)對(duì)物理樣機(jī)的實(shí)時(shí)位姿監(jiān)測(cè)，從傳感數(shù)據(jù)打包到上位機(jī)接受時(shí)間延遲在0.15 s 內(nèi)；虛擬決策子系統(tǒng)中虛擬調(diào)架過程與物理樣機(jī)調(diào)架過程相似度高，決策可在0.2 s 內(nèi)算出最優(yōu)指令；虛擬控制子系統(tǒng)能使液壓支架實(shí)物實(shí)時(shí)響應(yīng)虛擬環(huán)境給出的狀態(tài)控制命令，時(shí)間延遲在0.1 s內(nèi)。因此，虛實(shí)雙向數(shù)據(jù)交互能夠滿足實(shí)時(shí)性要求。體現(xiàn)了由實(shí)到虛精準(zhǔn)的復(fù)制映射能力、虛擬迭代的推理預(yù)測(cè)決策能力和由虛到實(shí)的復(fù)制控制能力。

4.3 AR 遠(yuǎn)程協(xié)作測(cè)試

工業(yè)元宇宙系統(tǒng)中AR 遠(yuǎn)程協(xié)作技術(shù)的使用可以滿足在開采中工作面巡檢工和集控工協(xié)作的需求。兩類工作人員工作位置不同，可以獲取到的信息也不同。以液壓支架調(diào)架過程為例，當(dāng)集控工想獲取調(diào)架支架的更多信息時(shí)，可以通過AR 設(shè)備與巡檢工遠(yuǎn)程協(xié)作，進(jìn)行近距離的溝通，更有利于決策的準(zhǔn)確性。同時(shí)，利用AR 設(shè)備還可以使現(xiàn)場(chǎng)人員具備用手勢(shì)，語音等可以反向控制液壓支架動(dòng)作的能力。利用實(shí)驗(yàn)室中的煤礦綜采成套試驗(yàn)系統(tǒng)對(duì)基于AR 遠(yuǎn)程協(xié)作技術(shù)進(jìn)行測(cè)試。

測(cè)試者A 模擬實(shí)際煤炭開采場(chǎng)景中的集控工，使用PC 端的綜采工作面虛擬監(jiān)控系統(tǒng)進(jìn)行監(jiān)控。測(cè)試者B 位于煤礦綜采成套試驗(yàn)系統(tǒng)中的不同區(qū)域，模擬現(xiàn)場(chǎng)巡檢工，佩戴HoloLens2 進(jìn)行巡檢。當(dāng)測(cè)試者A 想獲取某一位置支架的現(xiàn)場(chǎng)調(diào)架情況時(shí)，或者人員B 想獲取來自專家的指導(dǎo)時(shí)，可以將兩終端通過信令服務(wù)器建立對(duì)等連接，任一方點(diǎn)擊對(duì)方用戶名進(jìn)行視頻通話呼叫。通話過程中，測(cè)試者B 佩戴HoloLens2，頭部朝向液壓支架，測(cè)試者A 能接收由HoloLens2 傳回的視頻畫面，過程如圖3 所示。在監(jiān)測(cè)方面，集控工測(cè)試者A 利用AR 設(shè)備獲得工作面信息；在決策方面，巡檢工B 獲得了集控工測(cè)試者A 的決策信息。

測(cè)試結(jié)果表明，工業(yè)元宇宙系統(tǒng)中的AR 遠(yuǎn)程協(xié)作技術(shù)能使集控工獲得高度的真實(shí)性與沉浸感，增強(qiáng)對(duì)綜采工作面細(xì)節(jié)的感知，總體把握工作面整體運(yùn)行情況。與身處現(xiàn)場(chǎng)的巡檢工進(jìn)行遠(yuǎn)程協(xié)作，將集控工全局與巡檢工局部視角信息融合，進(jìn)而協(xié)同決策與控制調(diào)架。經(jīng)過測(cè)試AR 協(xié)作方式較巡檢工單人手動(dòng)調(diào)架質(zhì)量和效率提升近30%。

4.4 機(jī)器人巡檢測(cè)試

選擇能夠行走于綜采工作面內(nèi)并觸發(fā)液壓支架電液控按鈕的六足機(jī)器人進(jìn)行機(jī)器人巡檢實(shí)驗(yàn)測(cè)試。該機(jī)器人具有路徑規(guī)劃與步態(tài)規(guī)劃系統(tǒng)，機(jī)身上搭載著三維雷達(dá)，氣體監(jiān)測(cè)儀，深度相機(jī)等傳感器來完成對(duì)物理工作面的監(jiān)測(cè)。同時(shí)，在工業(yè)元宇宙系統(tǒng)內(nèi)有著巡檢機(jī)器人與虛擬系統(tǒng)的雙向交互通道，來完成虛擬監(jiān)測(cè)與控制。利用實(shí)驗(yàn)室的煤礦綜采成套試驗(yàn)系統(tǒng)對(duì)機(jī)器人進(jìn)行測(cè)試，如圖8 所示。

圖8 巡檢機(jī)器人Fig.8 Inspection robot

在實(shí)驗(yàn)室環(huán)境下，先確定物理空間與虛擬空間統(tǒng)一的坐標(biāo)基準(zhǔn)，然后巡檢機(jī)器人開始行走于綜采工作面中，利用傳感器獲得監(jiān)測(cè)信息，利用三維雷達(dá)來獲取點(diǎn)云分析信息，將分析結(jié)果呈現(xiàn)到虛擬系統(tǒng)中。當(dāng)監(jiān)測(cè)到異常，機(jī)器人需要觸發(fā)某臺(tái)液壓支架電液控上的按鈕時(shí)，機(jī)器人根據(jù)環(huán)境分析步態(tài)，利用算法來規(guī)劃路徑，進(jìn)行操作。測(cè)試結(jié)果表明，巡檢機(jī)器人能對(duì)液壓支架的狀態(tài)進(jìn)行監(jiān)測(cè)，虛擬系統(tǒng)可基于監(jiān)測(cè)結(jié)果對(duì)巡檢機(jī)器人的動(dòng)作與行走路線進(jìn)行決策，并控制巡檢機(jī)器人運(yùn)動(dòng)來控制支架的動(dòng)作?？纱嫜矙z工進(jìn)入工作面巡檢，提高了整體安全效率。但當(dāng)前巡檢機(jī)器人智能化程度還相對(duì)較低，僅可完成巡檢人員操作的50%的功能。隨著機(jī)器人動(dòng)作、傳感、控制等各功能模塊的改進(jìn)和優(yōu)化，加之通過多臺(tái)機(jī)器人協(xié)同運(yùn)行的方式，預(yù)期效率還能進(jìn)一步提升，發(fā)展?jié)摿^大。

4.5 虛擬人測(cè)試

虛擬人運(yùn)行于工業(yè)元宇宙的虛擬系統(tǒng)中，以AI和算法為支撐，在虛擬監(jiān)測(cè)準(zhǔn)確的前提下，根據(jù)監(jiān)測(cè)結(jié)果進(jìn)行虛擬決策與虛擬控制。目前，在做到虛擬人礦工與物理人的同步動(dòng)作，并通過體感交互的方式完成對(duì)操縱設(shè)備的操縱基礎(chǔ)上，可同步完成物理人各操作動(dòng)作的人體骨骼信息采集，通過建立骨骼動(dòng)作數(shù)據(jù)集，訓(xùn)練AI 識(shí)別模型，完成預(yù)判操作人員的操作意圖，傳達(dá)給虛擬人完成部分決策工作。同時(shí)將虛擬決策子系統(tǒng)中提取到的調(diào)架知識(shí)賦給虛擬人，可進(jìn)一步支持虛擬人做出較好的調(diào)架決策。利用實(shí)驗(yàn)室的煤礦綜采成套試驗(yàn)系統(tǒng)對(duì)虛擬人進(jìn)行測(cè)試，如圖9 所示。

圖9 虛擬人測(cè)試Fig.9 Virtual human experiment

首先完成定制化虛擬礦工三維模型的構(gòu)建，將Azure Kinect 體感交互設(shè)備擺正位置，實(shí)時(shí)捕捉骨骼信息到上位機(jī)，驅(qū)動(dòng)虛擬人同步運(yùn)行，并將位置與動(dòng)作映射到綜采工作面虛擬場(chǎng)景中。被試者站于距離攝像頭約1.5 m 的位置，自由動(dòng)作，虛擬系統(tǒng)中的虛擬人完成與物理人同步動(dòng)作，運(yùn)行正常，進(jìn)而實(shí)現(xiàn)虛實(shí)同步映射功能。模擬集控工和巡檢工通過手勢(shì)動(dòng)作控制虛擬人在虛擬場(chǎng)景中漫游監(jiān)測(cè)，對(duì)液壓支架進(jìn)行遠(yuǎn)程干預(yù)的升柱、降柱操作，并在集控中心內(nèi)通過屏幕界面得到現(xiàn)場(chǎng)情況反饋其實(shí)驗(yàn)過程。

測(cè)試結(jié)果表明，物理人可同步控制虛擬人完成相關(guān)調(diào)架動(dòng)作，此種調(diào)架質(zhì)量可以達(dá)到巡檢工現(xiàn)場(chǎng)手動(dòng)操作效率的62%。將虛擬決策子系統(tǒng)中提取到的調(diào)架知識(shí)賦給虛擬人，可進(jìn)一步支持虛擬人做出較好的調(diào)架行為，此種方式調(diào)架質(zhì)量可上升到巡檢工現(xiàn)場(chǎng)手動(dòng)操作效率的75%。隨著AI 模型和虛擬人相關(guān)技術(shù)的不斷突破，預(yù)計(jì)相關(guān)調(diào)架效率也可進(jìn)一步提升。

4.6 討 論

綜采工作面液壓支架操作方法涉及到多個(gè)維度，現(xiàn)通過支架調(diào)架操作對(duì)這些方法進(jìn)行對(duì)比分析，見表1。

表1 工業(yè)元宇宙與數(shù)字孿生研究方法對(duì)比Table 1 Comparison of research methods between industrial meta universe and digital twin

1）人工調(diào)架是操作人員直接在工作面觀察并結(jié)合自身經(jīng)驗(yàn)，對(duì)液壓支架進(jìn)行決策控制。

2）基于虛擬監(jiān)測(cè)場(chǎng)景，巡檢人員可以先通過虛擬場(chǎng)景對(duì)整體綜采工作面有一個(gè)了解，然后到達(dá)需要操作的地方進(jìn)行操控，減少了巡檢的工作量。

3）由虛擬系統(tǒng)做決策的液壓支架控制系統(tǒng)具有虛擬監(jiān)測(cè)功能、虛擬決策功能、虛擬控制功能。液壓支架調(diào)架過程是通過在虛擬決策系統(tǒng)中計(jì)算出最優(yōu)方案，再加上人對(duì)決策系統(tǒng)反映出的調(diào)架結(jié)果進(jìn)行驗(yàn)證，最后由虛擬控制系統(tǒng)控制液壓支架調(diào)架。這種方法的調(diào)架結(jié)果主要依托于計(jì)算機(jī)的計(jì)算，人也可以在虛擬系統(tǒng)中觀測(cè)到調(diào)架結(jié)果，在必要的時(shí)候進(jìn)行干預(yù)，實(shí)現(xiàn)了對(duì)調(diào)架動(dòng)作的“雙保險(xiǎn)”，即綜合人和計(jì)算機(jī)判斷。

4）AR 遠(yuǎn)程協(xié)作技術(shù)的應(yīng)用，使集控工能夠與現(xiàn)場(chǎng)巡檢工進(jìn)行遠(yuǎn)程交流，并能使集控工近距離地觀察到現(xiàn)場(chǎng)的工作情況，也能使巡檢工獲得來自遠(yuǎn)程的指導(dǎo)。在液壓支架調(diào)架的過程中，決策結(jié)果由虛擬決策系統(tǒng)給出，集控工可以在看到虛擬系統(tǒng)中的調(diào)架結(jié)果，同時(shí)也可以通過AR 遠(yuǎn)程與現(xiàn)場(chǎng)操作人員進(jìn)行協(xié)作，近距離觀察綜采工作面液壓支架的調(diào)架過程，實(shí)現(xiàn)了綜合現(xiàn)場(chǎng)圖像，集控工巡檢工兩工種和計(jì)算機(jī)的判斷的“三保險(xiǎn)”。

5）巡檢機(jī)器人在綜采工作面內(nèi)主要是實(shí)現(xiàn)對(duì)工作面監(jiān)測(cè)和一些簡單的操作。巡檢機(jī)器人在綜采工作面的使用可以代替現(xiàn)場(chǎng)工作人員的一些工作，從而提高現(xiàn)場(chǎng)工作人員的安全性。

6）虛擬人主要是運(yùn)用AI 技術(shù)，使虛擬人能有人的意志、能力、標(biāo)準(zhǔn)的操作、各種應(yīng)對(duì)危險(xiǎn)的應(yīng)急能力。虛擬人存在于虛擬系統(tǒng)中，行走于虛擬場(chǎng)景中，能對(duì)虛擬系統(tǒng)內(nèi)的變化自主做出決策。而人只需要對(duì)虛擬人進(jìn)行監(jiān)控即可。

從物理層面到數(shù)字孿生層面再到工業(yè)元宇宙層面，不斷提高了綜采工作面工作的可靠性，提高了人對(duì)工作面的感知與控制，為智能化工作面提供了基礎(chǔ)，為人更好更安全的工作提供了可能性。

5 結(jié)論

1）對(duì)虛實(shí)融合的綜采工作面進(jìn)行深入研究，探索從數(shù)字孿生到工業(yè)元宇宙的過渡路徑，提出了工業(yè)元宇宙驅(qū)動(dòng)的綜采工作面構(gòu)想。在工業(yè)元宇宙中，信息空間能夠進(jìn)行更多的運(yùn)算、迭代與優(yōu)化，為物理過程提供更完善的指導(dǎo)與支撐；為了實(shí)現(xiàn)數(shù)字孿生到工業(yè)元宇宙的過渡，應(yīng)按照四大能力循序漸進(jìn)，依次突破所涉及的關(guān)鍵技術(shù)。

2）人機(jī)協(xié)同技術(shù)是實(shí)現(xiàn)綜采工作面工業(yè)元宇宙的關(guān)鍵，是工業(yè)元宇宙具備由實(shí)到虛精準(zhǔn)的復(fù)制映射能力、虛擬迭代的推理預(yù)測(cè)決策能力、由虛到實(shí)的復(fù)制控制能力到虛擬與現(xiàn)實(shí)的人機(jī)無縫協(xié)作能力的基礎(chǔ)。對(duì)“XR+”人機(jī)協(xié)同、機(jī)器人驅(qū)動(dòng)的人機(jī)協(xié)同等技術(shù)進(jìn)行探索，為綜采工作面人機(jī)協(xié)同提供思路，有助于形成人機(jī)融合驅(qū)動(dòng)的綜采工作面運(yùn)行模式。

3）基于工業(yè)元宇宙驅(qū)動(dòng)的工作面系統(tǒng)框架與綜采工作面人機(jī)協(xié)同模式的探索。認(rèn)為人機(jī)融合驅(qū)動(dòng)的工作面AR 遠(yuǎn)程協(xié)作技術(shù)提高人對(duì)工作面的感知，可提高工作效率與準(zhǔn)確性；巡檢機(jī)器人技術(shù)提高人的安全性；虛擬人技術(shù)減少人的工作量，解放勞動(dòng)力，更好的滿足人的需求。借助工業(yè)元宇宙理念，融合現(xiàn)有的虛擬監(jiān)測(cè)技術(shù)、虛擬決策技術(shù)與虛擬控制技術(shù)構(gòu)建綜采工作面智能化系統(tǒng)。