新型人機交互技術在指控系統(tǒng)的應用*

高 昱

（錦州醫(yī)科大學公共基礎學院，遼寧 錦州 121001）

0 引言

隨著傳感技術、機器視覺、計算機圖形學等技術的逐步發(fā)展，人機交互技術也在不斷革新。以語音識別、體感交互、虛擬現(xiàn)實、腦機接口、情感識別等為代表的新型人機交互技術正逐漸從研究走向應用。與此同時，人工智能技術的蓬勃發(fā)展使人機融合協(xié)同交互成為可能。面向自然化、高效化、智能化的新型人機交互技術已成為人機交互領域的研究熱點。

人機交互是指揮控制系統(tǒng)功能實現(xiàn)的重要依托。隨著信息化和智能化技術的不斷發(fā)展，戰(zhàn)場的信息來源顯著增長，戰(zhàn)場態(tài)勢瞬息萬變，作戰(zhàn)的反應時間急劇壓縮［1］。指揮控制系統(tǒng)單位時間需要承擔的人機交互任務也在大幅增加，指控系統(tǒng)人機交互方式能否與操作人員的認知能力相適應，將直接影響指揮作戰(zhàn)過程的高效性和可靠性。

完整的人機交互流程包含信息的輸入、處理和輸出3 個環(huán)節(jié)。當前指控系統(tǒng)的人機交互模式還依賴于以“指點”和“按鍵”為主的串行、精確式、單通道的操控方式，這種交互方式不僅不夠自然，而且交互通道利用不平衡，易導致生理疲勞和精神壓力，影響指揮控制的效率和可靠性［2］。此外，海量的戰(zhàn)場態(tài)勢信息無法進行高效的輸出表達，信息之間的關聯(lián)規(guī)則沒有被深度挖掘，信息的顯示手段不夠智能化，系統(tǒng)無法根據(jù)操作人員的實時需求自適應地呈現(xiàn)輔助決策信息。指控系統(tǒng)中操作人員對于態(tài)勢信息的分析、篩選、計算和判斷造成的認知負擔較重，制約其主觀能動性的發(fā)揮，導致指揮決策效率較低。因此，如何利用上述新型人機交互技術，通過擴展信息的顯示維度增強信息感知的高效性，通過多種交互通道的優(yōu)勢互補提高交互方式的自然性，通過人工智能輔助決策促進人機交互的智能性，并基于多源信號實時監(jiān)測操作人員的生理和心理負荷，從而確保指揮控制過程的可靠性，已成為未來指揮控制系統(tǒng)人機交互研究的重要方向［3］。

1 現(xiàn)狀分析

1.1 指控系統(tǒng)人機交互研究現(xiàn)狀

基于沉浸式人機交互技術，美國海軍全息虛擬指揮中心正在開發(fā)一種利用混合現(xiàn)實技術的全息虛擬指揮控制系統(tǒng)［4］。通過該系統(tǒng)，指揮人員可以最大限度地利用戰(zhàn)場態(tài)勢信息，與周圍的作戰(zhàn)單元進行快速信息共享，并通過觸覺和視覺傳感器完成對艦艇的控制，甚至可進行類似全息化的指揮操作，該系統(tǒng)預計將在2025 年投入作戰(zhàn)使用。美國海軍實驗室資助開發(fā)的三維戰(zhàn)場可視化指控系統(tǒng)（Dragon 系統(tǒng)）已在演習與實戰(zhàn)中得到檢驗與應用，該系統(tǒng)可以在72 h 內，提供90 km×90 km 范圍的數(shù)字地形數(shù)據(jù)和5 級（1 m）特征數(shù)據(jù)和圖像特征，能夠快速將復雜戰(zhàn)場態(tài)勢可視化，使指揮人員能靈活使用二維或者動態(tài)三維顯示系統(tǒng)，更迅速有效地進行戰(zhàn)場決策，保持態(tài)勢的認知優(yōu)勢［5］。英國宇航公司在2017 年英國國際防務裝備展上展出其研制的AR 系統(tǒng)，該系統(tǒng)結合了最新的顯示技術，追蹤技術和傳感技術，可以通過自由空間追蹤技術向用戶顯示指引、目標信息、任務信息和傳感信息等。

目前，語音、手勢、眼動等新型人機交互技術已逐漸應用于各類指控平臺，并表現(xiàn)出高效性和自然性等優(yōu)勢。美軍未來指揮所（CPoF）發(fā)布的技術研究報告提出：“人-系統(tǒng)交互技術”是其研究的重點領域，其中涵蓋態(tài)勢可視化、多通道人機交互、上下文感知和意圖推理等技術，并指出語音和手勢將成為指揮人員與CPoF 可視化環(huán)境進行交互的主要方式［6］。歐洲很多軍事研究機構的研究內容包含點擊和按鍵之外的語音、手勢、視線等輸入通道，使用戶能利用多個通道，以自然、并行、協(xié)作的方式進行高效交互。美軍F-35 戰(zhàn)機在最新的設計中取消了座艙的平視顯示器，采用頭盔顯示器基于眼動追蹤自適應地為飛行員顯示目標信息、關鍵飛行數(shù)據(jù)等信息，并且可以通過視線進行眼控交互操作［7］?？▋然仿〈髮W在DARPA 的資助下，對語音識別、手寫識別、手勢識別等多通道人機交互技術和自然用戶界面進行了深入研究，開發(fā)了基于Java 的多通道交互工具箱（MMI）［8］。國防科技大學提出了一種面向軍交圖像類情報研討的多通道交互系統(tǒng)——MTIDS，將多通道交互技術運用于指揮空間中，降低指揮人員的認知負擔，提高戰(zhàn)斗中指揮人員作出決策的效率［9］。東南大學陳慧娟基于視覺、聽覺、觸覺對多通道人機交互的組合模式、應用環(huán)境、局限性進行了歸納，根據(jù)飛機駕駛任務特點建立了駕駛艙多通道人機交互設計改良原則［10］。

在智能化人機交互方面，美國國防部高級研究計劃局（DARPA）先后開展了多個軍事人工智能項目。例如，2007 年啟動了“深綠”未來作戰(zhàn)指揮系統(tǒng)項目［11］，目的是通過在系統(tǒng)中添加平行仿真提高指揮人員的決策效率。主要功能是在指揮決策過程中，基于實時戰(zhàn)場態(tài)勢數(shù)據(jù)，通過系統(tǒng)多次仿真模擬，推演出不同決策方案可能產(chǎn)生的結果，并能夠基于戰(zhàn)場態(tài)勢數(shù)據(jù)預測敵方可能的作戰(zhàn)意圖，輔助指揮人員作出正確決策，并生成行動方案，縮短制定和調整作戰(zhàn)計劃的時間。雖然由于技術的局限性，“深綠”并未取得預期成效，但其指控系統(tǒng)的智能化發(fā)展提供了解決思路。2010 年啟動了“心靈之眼”（Mind’s Eye）項目，基于機器視覺智能技術，能夠對觀察區(qū)域內活動的信息進行感知和認知，并理解視覺場景中的動作和行為，提前對時敏目標和高威脅目標進行分析，生成情境態(tài)勢的完整描述。2011 年啟動了“洞察”（Insight）項目，該項目基于自主學習算法和數(shù)據(jù)虛擬化技術，旨在將海量無序的情報源信息整合成綜合作戰(zhàn)態(tài)勢圖，開發(fā)人機協(xié)作的統(tǒng)一用戶界面來支持作戰(zhàn)指揮的高效決策。2016年啟動了指揮官虛擬參謀（CVS）項目，該項目只要基于認知計算和人工智能等技術，深度挖掘海量數(shù)據(jù)源及復雜戰(zhàn)場態(tài)勢，提供主動建議、高級分析及自然人機交互功能，為指揮人員生成戰(zhàn)術決策過程中從規(guī)劃、準備、執(zhí)行到行動回顧全過程的決策支持。2018 年設立的“人工智能科學和開放世界新奇學習”（SAIL-ON）項目［12］，旨在推進第三代人工智能技術的開發(fā)，解決機器和人類“認知”方式的基本差異，促進人機融合，使指揮系統(tǒng)成為“解決問題的合作伙伴”，在網(wǎng)絡安全、數(shù)據(jù)及圖像分析、無人機群操作中起到增強人類能力的作用。

1.2 指控系統(tǒng)人機交互應用現(xiàn)狀

目前國內的指揮控制系統(tǒng)主要是面向信息化作戰(zhàn)需求，系統(tǒng)之間通過“以網(wǎng)絡為中心”的扁平化組網(wǎng)模式，實現(xiàn)了多源情報的聚合入網(wǎng)，確保了作戰(zhàn)單元之間的互聯(lián)互通，解決了“信息孤島”弊端，達到了戰(zhàn)場信息共享的目標［13］。同時，隨著信息技術的更新發(fā)展，針對陸、海、空、天、電、網(wǎng)等多維空間的各類戰(zhàn)場監(jiān)視手段、無線傳感網(wǎng)絡、物聯(lián)網(wǎng)設備、高速計算機都將產(chǎn)生海量信息。網(wǎng)絡連通性和信息獲取能力的提升，造成了指揮控制系統(tǒng)戰(zhàn)場態(tài)勢數(shù)據(jù)的爆發(fā)式增長，這在一定程度上提升了系統(tǒng)的信息優(yōu)勢，但是，當前指控系統(tǒng)的信息優(yōu)勢并沒有完全轉化為決策和行動優(yōu)勢，海量的信息甚至會增加操作人員的認知和決策負擔。面向指控系統(tǒng)未來作戰(zhàn)需求，本文認為當前的指控系統(tǒng)人機交互局限性主要表現(xiàn)在以下4 方面。

1.2.1 信息感知維度仍需擴展

當前指揮控制系統(tǒng)主要采用傳統(tǒng)的二維顯示模式，許多態(tài)勢信息被降維，顯示信息不完整、不直觀、易重疊，并且存在不能疊加顯示干擾態(tài)勢等缺陷。而作戰(zhàn)決策過程中的態(tài)勢信息需要指揮人員的深度挖掘，顯然這種顯示方式限制了指揮人員的決策潛能。因此，未來的指揮控制系統(tǒng)中可以考慮采用虛擬現(xiàn)實（VR）、增強現(xiàn)實（AR）、混合現(xiàn)實（MR）等沉浸式顯示方式，擴展態(tài)勢信息顯示的維度，有利于指揮人員主觀能動性的發(fā)揮。

1.2.2 交互通道利用有待平衡

當前指揮控制系統(tǒng)的人機交互是與圖形用戶界面（GUI）相適應的串行、精確式、單通道的操控方式，整個交互流程“認知-反應”時間較長。并且交互輸出信息幾乎完全由視覺通道感知，交互輸入均由雙手操作，感官通道利用極不平衡，不能充分利用用戶的認知資源，易造成操作流程的紊亂，導致生理上的疲勞及精神壓力，從而嚴重影響指揮決策效率。語音識別、視線追蹤、手勢識別等技術的成熟催生了自然人機交互界面（NUI），將這些并行、非精確、多通道的交互方式應用于未來的指揮控制系統(tǒng)，能夠有效提高作戰(zhàn)指揮的效率。

1.2.3 人機協(xié)同互補不夠智能

當前指揮控制系統(tǒng)主要負責將戰(zhàn)爭信息轉化為一定格式的數(shù)據(jù)呈現(xiàn)給指揮人員，指揮人員則根據(jù)自身知識經(jīng)驗進行決策，二者是相對獨立的。系統(tǒng)信息的顯示模式不夠高效，信息之間的內在聯(lián)系缺乏深度挖掘，系統(tǒng)無法根據(jù)指揮人員的實時需求智能分發(fā)所需信息，系統(tǒng)幾乎沒有對于指揮人員的輔助決策，指揮人員在讀取、篩選、分析和計算繁雜的戰(zhàn)場信息時面臨的認知負荷比較重。顯然，當前指揮控制系統(tǒng)沒有充分利用機器智能去協(xié)助指揮人員處理和優(yōu)化戰(zhàn)場數(shù)據(jù)，因此，未來的指揮控制系統(tǒng)應當充分利用AI 技術發(fā)揮機器智能的優(yōu)勢，從而有效緩解指揮人員在決策負擔。

1.2.4 情感狀態(tài)監(jiān)測亟需增添

未來的指揮控制系統(tǒng)將會面臨高負荷人機交互任務。操作人員將會在很短的時間內獲取、篩選和分析大量的數(shù)據(jù)，并要求迅速進行判斷和決策。以防空反導作戰(zhàn)為例，指控系統(tǒng)人機交互要求攔截、引導、跟蹤等多個席位的操作人員協(xié)同完成對空襲目標速度、高度、航跡等空情信息的分析，并迅速判斷作戰(zhàn)目標的威脅程度，然后完成參數(shù)檢查并執(zhí)行跟蹤和攻擊等復雜操控指令，其人機交互任務強度大，對時間要求極為苛刻［14］。指控系統(tǒng)高強度的人機交互任務容易產(chǎn)生較高的生理和心理負荷，從而給指控任務帶來安全隱患。當前指控系統(tǒng)的狀態(tài)監(jiān)測主要是針對系統(tǒng)，對于“人的因素”缺乏考慮。作為人機系統(tǒng)的組成部分，人的情感狀態(tài)也應當被指控系統(tǒng)所識別理解，在監(jiān)測到生理或心理處于高負荷狀態(tài)時及時給予提醒和輔助，從而減少操作人員因情感失控帶來的安全隱患。

2 未來指揮控制系統(tǒng)人機交互發(fā)展方向

2.1 沉浸式人機交互

沉浸式人機交互的典型技術包括虛擬現(xiàn)實（VR）、增強現(xiàn)實（AR）、混合現(xiàn)實（MR）。其中VR 是利用計算機模擬出虛擬的三維空間，用戶通過沉浸式頭戴設備，獲得視覺、聽覺、觸覺等感知反饋，在虛擬的空間中用戶能夠獲得接近真實的三維體驗。指揮控制系統(tǒng)中的空情態(tài)勢、裝備狀態(tài)等信息通過VR 模式能夠獲得最為直觀和真實的顯示效果。

AR 是直接通過計算機將顯示信息疊加到現(xiàn)實場景，它是對真實世界更多維度的擴展和增強，能夠基于特殊標識或場景理解，并根據(jù)用戶的實時需求自動將相關信息疊加呈現(xiàn)到用戶眼前。當前指揮控制系統(tǒng)中的屏幕式二維顯示模式，同時顯示多層信息時存在重疊遮擋問題，指揮人員只能根據(jù)需求手動切換數(shù)據(jù)圖層獲取所需信息。在二維屏顯的基礎上，利用AR 技術可以將多層數(shù)據(jù)同時疊加在真實的三維場景中，指揮人員只需切換視角或改變自自身位置即可看到不同圖層信息。

AR 是把虛擬的信息疊加到真實場景，MR 則是把真實的場景混合疊加到虛擬世界中。MR 的實現(xiàn)首先需要使用深度攝像機掃描真實場景進行三維重建，然后將生成的三維模型混合疊加到實時呈現(xiàn)的虛擬世界中。MR 不僅具備AR 多層數(shù)據(jù)實時呈現(xiàn)的優(yōu)點，而且還能將混合后的虛實場景實時呈現(xiàn)給多用戶，實現(xiàn)信息的快速共享。

基于沉浸式人機交互技術，未來指揮控制系統(tǒng)在戰(zhàn)場態(tài)勢呈現(xiàn)方面，可以構建出“全息影像沙盤模型”，裝備的實體模型和實時狀態(tài)通過三維形式直觀呈現(xiàn)；空情信息和電磁態(tài)勢通過虛實疊加，多層數(shù)據(jù)同步充分展示；作戰(zhàn)人員能夠最大限度地利用戰(zhàn)場態(tài)勢信息并與其他指揮人員實時共享，從而大大提高作戰(zhàn)指揮中的態(tài)勢感知效率。沉浸式的戰(zhàn)場態(tài)勢信息也可以很方便地在指揮所進行二次加工，然后按需定制分發(fā)給遠方作戰(zhàn)單元，遠方作戰(zhàn)人員只需通過特制眼鏡即可獲得可視化的態(tài)勢信息，為其作戰(zhàn)行動提供便捷的信息支援。

2.2 多通道人機交互

多通道交互（Multi-Modal Interaction，MMI）技術遵從“以人為中心”的原則，基于語音識別、視線追蹤、肢體語言和腦機接口等新興交互技術，充分利用人的多種感覺、運動通道，以并行、非精確方式與計算機進行交互［15］。

語音識別目前已較為成熟，利用語音進行指令輸入和信息接收（如語音播報文電內容）能夠很好地降低指揮作戰(zhàn)人員的手眼負擔。語音識別技術還涉及“語音糾偏”（方言轉換為普通話）和“語音<—>文字”互轉換，這能夠很好解決語言通信中的方言困惑和噪聲干擾等問題。隨著AI 技術的發(fā)展，語音識別將更為智能，未來的指揮控制系統(tǒng)中甚至可以利用“聲紋特征”對指揮作戰(zhàn)人員的身份進行安全認證，從而有效防止敵方信息欺詐。

視線追蹤是通過傳感器捕捉瞳孔、角膜特征信息，進而映射計算出用戶的交互意圖。視覺通道具有直接、自然和雙向的優(yōu)勢，利用視點進行命令傳遞能夠獲得最為直接高效的交互效率。作為“心靈的窗口”，視覺信息能夠很好地反應人的心理活動，指揮控制系統(tǒng)能夠基于視覺特征對指揮作戰(zhàn)人員的交互意圖和認知狀態(tài)進行精確推理，從而自適應地提供所需信息和其他交互幫助，減少其手動搜索和切換的操作負擔。

肢體語言是人類最自然的行為，利用人的肢體動作進行交互，同樣體現(xiàn)了“以人為中心”的交互理念，是適應指揮人員與指揮控制系統(tǒng)間的一種新的自然人機交互技術［16］。肢體語言中的手勢識別已在一些娛樂場景中得以應用，在未來的指揮控制系統(tǒng)中，肢體語言交互可以無縫融合到沉浸式顯示環(huán)境中，利用手勢對疊加的顯示圖層進行隱顯、縮放、移動等操作，能夠有效提高交互操作的便捷性。

指揮控制系統(tǒng)中多通道融合交互，能夠多維提取操作人員交互意圖，利用各通道優(yōu)勢互補，不僅能夠彌補單通道識別準確率和交互效率不高的問題，還能平衡感官通道之間的使用負擔。通過多通道并行、非精確的自然交互方式，可以大大減輕操作人員的認知負擔，使其能夠投入更多注意力到指揮決策中。

2.3 人機融合智能交互

面對未來戰(zhàn)爭的快速、復雜、多變與其龐大的數(shù)據(jù)量，單純依靠指揮人員進行讀取、分析、并作出決策已不再現(xiàn)實，人機協(xié)同交互是必然趨勢。

指揮決策是人機交互的目的，基于未來戰(zhàn)爭的特征及AI 技術的局限性，指揮控制系統(tǒng)的發(fā)展方向應當是人機協(xié)同、優(yōu)勢互補。人擅長歸納、推理、決策、指揮等藝術性要求高的活動，具有主動性、思想性、創(chuàng)造性，但人的生理和心理狀態(tài)易受環(huán)境影響。機器則擅長搜索、存儲、計算、優(yōu)化等技術性要求高的活動，具有精準性、快速性、重復性。并且相對于人類，機器能夠突破生理機能、消除認知偏差、提供最優(yōu)方案。目前的人機協(xié)同僅是物理域的融合，機器承擔數(shù)據(jù)的定量分析功能，人主導定性的決策功能，二者的融合程度不夠深，即“形合而神不合”。未來的指揮控制系統(tǒng)應當向人機深度融合轉變，更要強調人、機共同認知和決策，實現(xiàn)人定性、判斷、決策與機器定量、分析、學習等行為在決策層面的深度融合，逐步形成人機協(xié)同深度融合的指揮決策體系。

人機協(xié)同深度融合的指揮決策應體現(xiàn)在3 方面。在信息輸入端，人機融合智能不單獨依據(jù)機器獲取的客觀數(shù)據(jù)或是人感知到的主觀信息，而是將二者有機融合起來，再結合人和系統(tǒng)的先驗知識，生成全新的輸入信息；在信息處理階段，也是智能產(chǎn)生的重要階段，將人的認知優(yōu)勢與機器的計算優(yōu)勢融合起來，當人與機的決策出現(xiàn)不一致時，應當建立包括“容忍、信任、匹配、調度、切換、說服、接受”等沖突消解的協(xié)調準則，從而形成一種新的智能求解模式；在決策輸出端，將人在決策中具備的價值效應疊加到機器迭代的算法之中與之匹配，從而產(chǎn)生有機化與概率化相互調節(jié)的優(yōu)化判斷。通過人機融合決策的不斷適應，人會對慣性常識行為進行有意識的思考，而機器也會從人在不同條件下的決策中學習價值權重的區(qū)別。人機之間的理解將會由單向性變?yōu)殡p向性，人的主動性將與機器的被動性深度融合，從而實現(xiàn)1+1>2 的效果。

2.4 情感計算

情感計算就是賦予計算機系統(tǒng)識別、理解和表達人的情感狀態(tài)的能力，使系統(tǒng)更智能化和人性化。情感計算的研究主要集中在識別人的諸如“喜悅、恐懼、傷心、生氣、厭惡”等情緒狀態(tài)［10］。針對指控系統(tǒng)人機交互實際，操作人員工作中的情感狀態(tài)可以總結為：“正常狀態(tài)”、“過度興奮狀態(tài)”“生理疲勞狀態(tài)”、“心理緊張狀態(tài)”和“應激狀態(tài)”，顯然，后4種情緒狀態(tài)都難以保證可靠的人機交互過程。并且不同情感狀態(tài)需要的應對措施也是不同的，因此，準確識別和理解操作人員的情感計算對于指控系統(tǒng)人機交互過程的可靠性至關重要。

指控系統(tǒng)人機交互過程操作人員的情感狀態(tài)識別可基于行為數(shù)據(jù)和生理信號。研究表明，人的行為數(shù)據(jù)（如聲音信號、面部表情、眼動特征）和生理數(shù)據(jù)（如心率、血壓、皮膚電、血氧飽和度、腦電信號）能夠表征人的情感狀態(tài)。考慮到人的行為數(shù)據(jù)可能受到主觀因素的干擾，基于生理數(shù)據(jù)的情感計算更具有客觀性。特別是近些年來，腦機接口技術的發(fā)展使得人機交互中的情感識別越來越成為可能?；谀X電信號的情感計算，首先需要在特定的場景下誘發(fā)人的情感反應（如長時間的視覺搜索行為誘發(fā)人的疲勞狀態(tài)），同時采集實時腦電信號，然后從腦電信號中提取特殊頻段的腦電波（如α 波、β波、γ 波、θ 波）作為特征參數(shù)，并利用機器學習算法（如SVM 分類器）訓練和預測不同腦電信號對應的情感反應。

雖然腦電信號被認為是最有可能實現(xiàn)情感計算的生理數(shù)據(jù)，但由于目前腦電信號的采集比較復雜，且腦電信號易受場景和其他信號的干擾，因此，在指控系統(tǒng)中僅僅通過腦電信號去監(jiān)測操作人員的情感狀態(tài)是有難度的。未來，隨著傳感技術和機器學習算法的進一步發(fā)展，基于行為數(shù)據(jù)和多種生理數(shù)據(jù)結合的情感計算可能成為現(xiàn)實。對于指控系統(tǒng)人機交互過程，行為數(shù)據(jù)和生理數(shù)據(jù)的采集不能干擾操作人員的正常任務，而應當是在合適的時機以最恰當?shù)姆绞浇o予操作人員提醒和輔助。

3 結論

未來，在加速指揮控制系統(tǒng)智能化發(fā)展的同時，應當重視指揮控制系統(tǒng)人機交互方式的變革?；谛滦妥匀蝗藱C交互技術，未來的指揮控制系統(tǒng)應當具備多維沉浸式的戰(zhàn)場態(tài)勢顯示模式；支持融合語音、面部表情、視線、手勢、生理信號等多種交互方式；能夠實時監(jiān)測指揮人員的生理及心理狀態(tài)，并根據(jù)特定場景自動切換適宜的交互通道組合。在提升交互效率和可靠性的基礎上，通過人機協(xié)同深度融合決策，最大限度地為操作人員減輕認知負擔，從而為作戰(zhàn)指揮和控制提供技術保障。