鄭遠/ZHENG Yuan，王鳳玉/WANG Fengyu，許文俊/XU Wenjun

（ 北京郵電大學，中國 北京100876）

從20世紀80年代后期1G的誕生到如今5G商業(yè)化進程的穩(wěn)步展開，移動通信經(jīng)歷了近半個世紀的高速發(fā)展。得益于高峰值速率、低傳輸時延與高連接密度，5G 系統(tǒng)支持包含虛擬/增強現(xiàn)實、智能駕駛、智慧城市等在內(nèi)的多樣化垂直應(yīng)用[1]。隨著全球新一輪科技與產(chǎn)業(yè)革命的加速發(fā)展,信息通信技術(shù)將進一步重構(gòu)人與人、人與物、物與物之間的復雜聯(lián)系，為工業(yè)、醫(yī)療、交通、教育、金融、娛樂、零售等千行百業(yè)帶來革新。當前通信系統(tǒng)主要基于香農(nóng)信息論研究設(shè)計。從1G 到5G，通信系統(tǒng)雖然在業(yè)務(wù)形式、服務(wù)對象、網(wǎng)絡(luò)架構(gòu)和承載資源等方面進行了技術(shù)變革，但都依賴于增加信息傳輸?shù)奈锢砭S度、通過技術(shù)堆疊處理來逼近香農(nóng)信息論極限。

隨著通信系統(tǒng)與各垂直行業(yè)領(lǐng)域的緊密結(jié)合，面向個人、行業(yè)等用戶的智能需求將被進一步挖掘，這對通信系統(tǒng)準確傳遞信息含義提出更高要求。而以香農(nóng)信息論為基礎(chǔ)的傳統(tǒng)通信系統(tǒng)并不關(guān)注信息中承載的含義，只關(guān)注每個傳輸比特的正確接收。這導致不必要的通信資源耗費，難以滿足未來通信持續(xù)發(fā)展的需求。語義通信通過交叉融合人工智能與通信技術(shù)，深度挖掘信息本身的語義維度，引入語義層次的信息，關(guān)注傳輸信息內(nèi)容而非編碼符號，更加滿足未來通信需求。通過充分利用語義層面信息的高度抽象、智能簡約等特性，語義通信將變革經(jīng)典香農(nóng)信息論框架，有望突破經(jīng)典通信系統(tǒng)的傳輸瓶頸，形成智能化的新型通信體系[2]。

當前，語義通信尚處于研究初期，構(gòu)建統(tǒng)一的、具有泛化價值的性能評估體系對語義通信的發(fā)展至關(guān)重要。本文圍繞評估體系在語義通信系統(tǒng)設(shè)計實現(xiàn)中的作用展開探討，并在分析現(xiàn)有通信系統(tǒng)評估指標的基礎(chǔ)上提出具有泛化性的語義通信評估體系，為語義通信的發(fā)展奠定基礎(chǔ)。

1 語義通信性能評估體系需求

當前，語義通信尚處于研究初期，語義通信理論在代表性的人-機、機-機等智能交互場景中快速發(fā)展，關(guān)鍵性成果不斷涌現(xiàn)，系統(tǒng)性能增益更加顯著。然而，由于缺乏統(tǒng)一且具有泛化價值的性能評估體系，語義通信研究成果的可理解性有所欠缺，成果間的橫向?qū)Ρ入y以實現(xiàn)。

一般而言，準確性與時效性是評價通信系統(tǒng)性能的兩個重要指標。現(xiàn)有語義通信相關(guān)研究所采用的評估體系主要由傳統(tǒng)通信系統(tǒng)評估體系演化而來，或由下游語義任務(wù)評估體系遷移而來。對于由傳統(tǒng)通信系統(tǒng)評估體系演化而來的情況，相應(yīng)的準確性評估指標常采用誤比特率，時效性評估指標常采用比特傳輸速率。這類評估指標的問題在于無法有效反映通信收發(fā)端語義信息傳遞的能力。對于由下游語義任務(wù)評估體系遷移而來的情況，由于系統(tǒng)模型多采用通信模塊與下游語義任務(wù)模塊組合確定結(jié)構(gòu)、端到端訓練固定參數(shù)的方式，這類評估指標具有與通信任務(wù)場景、信息模態(tài)高度關(guān)聯(lián)的特征。如面向語義重建的語義通信系統(tǒng)普遍采用原始信息與重建信息的誤差函數(shù)作為準確性度量，采用壓縮比的函數(shù)作為時效性度量；而面向文本翻譯、圖像分割等語義任務(wù)的語義通信系統(tǒng)則普遍將模型輸出與監(jiān)督標簽的差異作為準確性度量。

上述各評估指標的定義不同，取值范圍存在顯著差異，導致諸多研究的系統(tǒng)模型之間無法橫向貫通。即使針對相同評估指標，由于信道、干擾、信源語義特征等差異性存在，不同場景下的語義傳輸方案也無法進行有效對比。統(tǒng)一且具泛化價值的語義通信評估體系，從整體視角對通信系統(tǒng)性能進行直觀的評估，不僅能驗證系統(tǒng)的合理性，還可以為系統(tǒng)的優(yōu)化改進提供參考，進而為系統(tǒng)演進提供方向。語義通信評估體系相關(guān)研究亟待開展，以便為語義通信的穩(wěn)步發(fā)展夯實基礎(chǔ)。

2 現(xiàn)有語義通信性能評估指標

語義通信性能評估指標與具體通信任務(wù)場景、信息模態(tài)高度關(guān)聯(lián)。其中，信息重建任務(wù)廣泛出現(xiàn)在以人類作為最終接收用戶的應(yīng)用場景中，如音視頻通話、多媒體文件云備份等，該類任務(wù)要求在收端將信息恢復至發(fā)端信息模態(tài)，并盡量保證信息的準確，性能評估指標基于發(fā)送信息與重建信息的差異進行定義；非信息重建任務(wù)多出現(xiàn)于人-機、機-機交互場景中，如智能駕駛、工業(yè)物聯(lián)網(wǎng)等，該類任務(wù)要求所發(fā)信息的關(guān)鍵內(nèi)容能夠被理解和應(yīng)用，性能評估指標基于所輸出信息與相應(yīng)監(jiān)督標簽之間的差異定義。對于信息模態(tài)而言，人類針對文本、圖像/視頻、語音等模態(tài)信息采用不同的重點捕捉方式，各模態(tài)信息的失真無法簡單通過歐氏距離等方式統(tǒng)一度量。各模態(tài)信息所衍生的后續(xù)任務(wù)存在很大差異，文本情感分析、智能問答、圖像分割、語音識別等任務(wù)均需要定義各自的性能評估指標。

基于重建任務(wù)與其他代表性人工智能任務(wù)（例如文本分類、圖像目標檢測、語音識別）的劃分，本節(jié)對文本、圖像/視頻、語音3種常見模態(tài)信息傳輸模型的性能評估指標進行分析總結(jié)，為后續(xù)構(gòu)建統(tǒng)一、具有泛化性的語義通信性能評估體系奠定基礎(chǔ)。

2.1 面向重建任務(wù)的評估指標

2.1.1 文本信息重建

文本信息重建的現(xiàn)有常用衡量指標主要為雙語替換評測分數(shù)[3]（BLEU），該指標最初被用于文本翻譯的質(zhì)量評估。BLEU基于加權(quán)n元模型（n ?gram）精確度進行定義，其具體形式為：

其 中 ， pn表 示 n ?gram 精 確 度 ， Countclip(n ?gram)、 Count(n ?gram')分別表示n 長詞組在原始文本X 與重建文本X?中的出現(xiàn)次數(shù)。BLEU 的物理意義是衡量重建文本的所有n長詞組中同時出現(xiàn)在原始文本中的數(shù)量占比。盡管作為最為常用的文本信息重建衡量指標，BLEU仍無法實現(xiàn)對于詞匯語義的理解[4]，存在未考慮到詞匯語料的召回率[5]等不足。

2.1.2 圖像/視頻信息重建

現(xiàn)有圖像/視頻信息重建的常用衡量指標包括峰值信噪比（PSNR）與多尺度結(jié)構(gòu)相似性[6]（MS ?SSIM）。PSNR 定義為均方誤差（MSE）的對數(shù)函數(shù)。對于動態(tài)范圍N 的圖像/視頻幀，PSNR計算如下：

MS ?SSIM將人眼生理特性納入考慮：人眼在衡量兩幅圖的相似性時，對于兩幅圖的局部結(jié)構(gòu)差異更為敏感。故一方面，MS ?SSIM 的運算基于一定尺寸的圖像塊；另一方面，MS ?SSIM 通過分別定義亮度、對比度、結(jié)構(gòu)對比函數(shù)，將3 類信息拆分，賦予它們不同的權(quán)重并獨立進行對比。相較于PSNR，MS ?SSIM的評估結(jié)果更符合人眼感知。MS ?SSIM的計算方式為：

其中，降采樣次數(shù)M、亮度權(quán)重αM、對比度權(quán)重βJ、結(jié)構(gòu)對比權(quán)重γJ為超參數(shù)，其常用取值為：M = 5, β1= γ1=0.044 8, β2= γ2= 0.285 6, β3= γ3= 0.300 1, β4= γ4=0.236 3, α5=β5= γ5= 0.133 3。XM、分別為原圖及重構(gòu)圖像/視頻幀的M級降采樣結(jié)果。

C1=(k1N)2、C2=(k2N)2、C3= C2/2 為固定參數(shù)，用于防止除法運算問題的產(chǎn)生。N為圖像/視頻幀的動態(tài)范圍，k1= 0.01、k2= 0.03為經(jīng)驗取值。

近年的相關(guān)工作[8-9]多采用PSNR與MS ?SSIM指標并行的方式。此外，文獻[8]還采用了對數(shù)形式的MS ?SSIM 指標，以應(yīng)對MS ?SSIM取值范圍過小的問題。

2.1.3 語音信息重建

語音信息重建的現(xiàn)有衡量指標包括語音質(zhì)量感知評估[10]（PESQ）與短時客觀可懂度[11]（STOI）等。早期語音質(zhì)量衡量主要通過主觀打分方式獲得平均意見值（MOS）。PESQ是用于模擬MOS打分的音頻質(zhì)量評價算法，其定義為：

其中，dSYM與dASYM分別為算法求得的語音信息對稱與非對稱干擾，反映重建模型的預(yù)測精度和概括能力。PESQ是對重建語音信號可理解程度的衡量，側(cè)重人的主觀感受，在早期的無線通信系統(tǒng)中廣泛使用。

同樣被廣泛使用的指標還包括STOI。STOI 是對重建語音信息失真程度的客觀度量，其取值與基于人工智能的語音識別等下游任務(wù)性能相關(guān)。具體而言，首先定義?(k,m)為第m 幀語音信號的第k 個離散傅里葉變換（DFT）波瓣，計算第m幀語音信號的第j個1/3倍頻程范數(shù)Xj(m)。

其中，k1(j)、k2(j)為定義的取值邊界。同理，可定義重建語音信號的相應(yīng)范數(shù)Yj(m)，計算Yj(m) 的歸一化形式

2.2 面向其他人工智能任務(wù)的評估指標

2.2.1 文本分類

文本分類是自然語言處理領(lǐng)域的典型任務(wù)，其目的在于通過人工智能為文本信息按照一定的標準進行標記，可細分為情感分析、主題分類、問答任務(wù)、意圖識別等多種應(yīng)用場景。以單標簽二分類的情感分析任務(wù)為例，現(xiàn)有評價指標主要為分類準確率與F 分數(shù)[13]（F ?score），具體計算邏輯如下：

按照各樣本的分類結(jié)果與真實標簽，可將各樣本的分類結(jié)果分為真陽性（TP）、真陰性（TN）、假陽性（FP）、假陰性（FN），如表1 混淆矩陣所示。在此基礎(chǔ)上，準確率定義為經(jīng)模型正確分類的樣本占總樣本的比例，是對任務(wù)性能最簡單直觀的度量。在實際應(yīng)用場景中，F(xiàn)N與FP的代價可能是不同的，準確率指標無法對其進行細化評估，而F分數(shù)彌補了這方面的不足。

2.2.2 圖像目標檢測

圖像目標檢測的目的在于通過人工智能判斷出圖像中物體的類別與相應(yīng)位置。圖像目標檢測任務(wù)的現(xiàn)有評價指標主要為平均精確度均值（mAP），其定義為各類目標查準率（P）-查全率（R）曲線下方面積的均值。

▼表1 二分類任務(wù)混淆矩陣

具體而言，首先，根據(jù)目標檢測結(jié)果Bp的置信度，以及Bp與真實結(jié)果Bgt的重合程度（可用兩者的交并比IoU 度量，，可將檢測結(jié)果分為如表2 混淆矩陣所示的TP、TN、FP、FN；其次，由檢測順序中TP、FP數(shù)量的累加情況計算查準率與查全率的累加值：

然后，對于各類目標樣本，以查全率為橫坐標，以查準率為縱坐標，繪制P-R曲線并計算精確度均值（AP）；最后，由AP 加權(quán)平均可得mAP，即分別為目標類別數(shù)量與該類別樣本數(shù)量。

目前，基于上述定義的mAP 指標在現(xiàn)有工作[16]中已被廣泛使用。值得注意的是，在如圖像檢索等實例級圖像任務(wù)中，存在另一種基于整圖匹配結(jié)果定義的mAP 指標（已應(yīng)用在文獻[17]的端到端車輛重識別系統(tǒng)中）。兩者的運算邏輯一致，僅在混淆矩陣定義上存在差異。

2.2.3 語音識別

語音識別的目的在于通過人工智能實現(xiàn)語音信息到文本信息的模態(tài)轉(zhuǎn)換過程。語音識別任務(wù)的現(xiàn)有評價指標主要為準確率ACCURACY。準確率可基于字錯誤率（WER）定義，即：

▼表2 目標檢測任務(wù)混淆矩陣

整體而言，語義通信評價指標存在以下問題：

1）現(xiàn)有評價指標普遍從具體的重建任務(wù)/人工智能任務(wù)直接遷移而來，側(cè)重于反映任務(wù)完成的準確性維度，忽視了時效性維度。語義通信系統(tǒng)追求的是在有限帶寬資源消耗與時延下的任務(wù)完成準確性，而非不計成本地逼近準確性上限。

2）不同任務(wù)場景/模態(tài)信息下的評估指標不互通，性能評估結(jié)果不易理解。在語義通信過程中，受通信意圖變化的影響，系統(tǒng)的評估指標會不斷發(fā)生變化，造成通信質(zhì)量評估混亂。

3）各評價指標的取值范圍、量綱不一致，給性能的橫向?qū)Ρ葞砝щy。如上文中所提到的PESQ、PSNR指標與文本分類和語音識別準確率指標存在明顯差異。這種差異主要表現(xiàn)在取值范圍與物理意義方面。

綜上所述，對于語義通信系統(tǒng)的評價指標，一方面，應(yīng)在選取應(yīng)用任務(wù)導向的準確性指標的同時，引入時效性指標以進行制約；另一方面，應(yīng)篩選物理意義相似的指標以組成指標集合，并設(shè)計指標的標準化邏輯統(tǒng)一取值范圍，使在不同任務(wù)場景下構(gòu)建的語義通信系統(tǒng)之間能夠進行橫向性能對比。對于包含不同通信意圖的語義通信系統(tǒng)，它們的具體實現(xiàn)需要與場景、應(yīng)用緊密結(jié)合。從整體視角進行直接的性能評估，有助于系統(tǒng)之間橫向貫通，促進系統(tǒng)的迭代演進。

3 語義通信性能評估新角度

為解決現(xiàn)有語義通信性能評估指標存在的問題，我們提出語義通信效率指標Esc與語義通信效用指標Usc，并以語義圖像重建與語音重建任務(wù)為例，搭建端到端語義通信仿真系統(tǒng)，基于所提指標對仿真系統(tǒng)性能進行評估。

3.1 新評估指標定義

其中，γ表示給定的通信資源條件，包含信噪比（SNR）與帶 寬 等 參 數(shù) ； ACC ∈{g(BLEU,MS ?SSIM,TOP ?n ACCURACY,mAP,…)}、TIM ∈{ f(計算時延,傳輸時延,端到端時延,…) }分別為語義任務(wù)相關(guān)的準確性與時效性評價指標，g(?)與f(?)分別為相應(yīng)的變換函數(shù)；ACCmin與ACCth分別為特定語義任務(wù)的準確性下界與優(yōu)化邊界，TIMth為特定語義任務(wù)時效性優(yōu)化邊界。這里，超越邊界的準確性或時效性指標的取值不存在或不具備進一步優(yōu)化的需求。

標準化操作旨在規(guī)范不同評估指標的取值尺度，剔除語義任務(wù)難易度差異對語義通信系統(tǒng)性能評估產(chǎn)生的影響。進一步地，基于上述標準化指標，我們定義語義通信效率指標Esc：

語義通信效率指標Esc∈[0, 1]旨在衡量通信系統(tǒng)在給定通信資源下、在單位時間開銷內(nèi)的任務(wù)完成準確性。當通信系統(tǒng)的準確性指標增大或時效性指標減小時，Esc會增大，即Esc越接近1，系統(tǒng)的語義通信效率越高。

語義通信效用指標Usc為：

其中，λ表示加權(quán)因子，用于權(quán)衡準確性需求和時效性需求的比重。語義通信效用指標Usc∈[0, 1]旨在衡量通信系統(tǒng)在給定通信資源下，對于任務(wù)性能上限的接近程度。當系統(tǒng)側(cè)重于任務(wù)完成準確性或時效性時，Usc的前項或后項會增大，但另一項會相應(yīng)減小。Usc越接近1，系統(tǒng)在準確性與時效性兩方面的綜合效用表現(xiàn)越高。

3.2 新性能指標分析與評估

本文首先以圖像重建任務(wù)為例，選取車聯(lián)網(wǎng)領(lǐng)域的傳感器擴展應(yīng)用作為具體驗證場景，基于上述評估指標進行仿真分析。傳感器擴展應(yīng)用要求車輛、行人、交通設(shè)施等通信節(jié)點之間能夠?qū)崿F(xiàn)傳感器所采集的圖像/視頻信息的實時交互，對數(shù)據(jù)傳輸?shù)臏蚀_性、時效性均有較高要求。

針對上述應(yīng)用場景，準確性指標ACC 轉(zhuǎn)換為對數(shù)形式MS ?SSIM，時效性指標TIM 為傳輸時延，變換函數(shù)g(?)與f(?)均選取恒等函數(shù)，即：

根據(jù)第3代合作伙伴計劃（3GPP）制定的《5G NR Rel-16 V2X車聯(lián)網(wǎng)標準》，準確性邊界、時效性邊界與通信參數(shù)如表3所示。

▼表3 通信模型仿真參數(shù)

進一步地，我們搭建包含圖像壓縮重建、信道編碼與調(diào)制模塊在內(nèi)的端到端通信仿真模型，基于選定指標進行驗證。圖像壓縮重建模塊基于文獻[19]的網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)，并分別采用ImageNet數(shù)據(jù)集、Cityscapes數(shù)據(jù)集進行訓練和驗證。圖像壓縮重建模塊在訓練過程中采用了4組不同的率失真參數(shù)α ={256, 512, 1 024, 2 048}。采用更高的α 參數(shù)訓練的模型會更傾向于降低圖像壓縮比以換取更高的重建質(zhì)量。模型采用低密度奇偶校驗碼（LDPC）進行信道編碼，并根據(jù)信噪比條件將LDPC 碼率控制在1/5～8/9 之間。調(diào)制方式采用二進制相移鍵控（BPSK）。

圖1 給出了語義通信效率Esc與通信系統(tǒng)信噪比的關(guān)系曲線。隨著信噪比的上升，包含不同參數(shù)的語義任務(wù)模型均表現(xiàn)出更高的語義通信效率。此外，采用高α參數(shù)訓練的模型對信噪比的變化更為敏感，在低信噪比條件下表現(xiàn)出明顯的性能劣化，同時在高信噪比條件下具有更高的性能上限。這是由于此類模型在低信噪比條件下產(chǎn)生了過多的編碼開銷以保護信息不被噪聲破壞，從而無法滿足任務(wù)的時效性需求；在高信噪比條件下，通信所需的編碼冗余顯著減少。此類模型能夠在時效性不超出閾值的前提下，實現(xiàn)更高的任務(wù)準確性。

▲圖1 圖像重建任務(wù)語義通信效率Esc與信噪比的關(guān)系曲線

圖2給出了λ = 5條件下語義通信效用Usc與通信系統(tǒng)信噪比的關(guān)系曲線?？紤]到實際語義任務(wù)場景中存在對準確性或時效性更為側(cè)重的情況，參數(shù)λ使效用指標更為真實地反映語義任務(wù)需求。本部分以準確性需求導向的任務(wù)為例。隨著信噪比的上升，4組模型的語義通信效用均表現(xiàn)出與直覺吻合的上升趨勢。即使在低信噪比條件下，高α參數(shù)模型表現(xiàn)出較高的準確性與較低的時效性，其語義通信效率劣于低α參數(shù)模型。但由于任務(wù)對于準確性需求的側(cè)重，高α參數(shù)模型具有更高的語義通信效用。圖3與表4分別展示了典型圖像經(jīng)語義圖像重構(gòu)模型仿真?zhèn)鬏敽蟮目梢暬Y(jié)果與具體性能參數(shù)。高α參數(shù)模型表現(xiàn)為更出色的圖像重建質(zhì)量（紅綠燈的色彩更準確，建筑物、地磚的細節(jié)更清晰）與更高的圖像傳輸時延開銷，在較好的信道條件下，其傳輸時延未超出閾值，故高α參數(shù)模型具有更高的語義通信效率與語義通信效用。

▲圖2 圖像重建任務(wù)語義通信效用Usc與信噪比的關(guān)系曲線（λ = 5）

▲圖3 通信模型可視化結(jié)果

▼表4 通信模型性能參數(shù)

接著我們以語音信息重建任務(wù)為例，構(gòu)建應(yīng)用自適應(yīng)多速率寬帶（AMR ?WB）語音編碼的高清語音通信模型，并基于上述評估指標進行仿真分析。準確性指標ACC轉(zhuǎn)換為寬帶語音質(zhì)量感知評估（WB ?PESQ），時效性指標TIM 為傳輸時延，變換函數(shù)g(?)與f(?)均選取恒等函數(shù)，即：

同時，準確性邊界、時效性邊界與通信參數(shù)如表3所示。

本文采用日本電報電話公司（NTT）寬帶語音數(shù)據(jù)集[20]的美式英語子集進行驗證，同時為AMR ?WB編碼設(shè)定4組不同的速率參數(shù)α ={12.65,15.85,19.85,23.85 (kbit/s)}。采用更高碼率的模型會更傾向于降低壓縮比以獲得更高的重建質(zhì)量。模型同樣采用LDPC 信道編碼與BPSK 調(diào)制方式，并根據(jù)信噪比條件將LDPC的碼率控制在1/5～8/9之間。

圖4給出了λ = 1/5條件下語義通信效率Esc與效用Usc隨通信系統(tǒng)信噪比的變化趨勢曲線。與面向圖像重建任務(wù)的語義通信系統(tǒng)相似，隨著信噪比的上升，效率與效用指標均表現(xiàn)出上升趨勢。同時，在語義效用Usc方面，低速率編碼方案具有更顯著的優(yōu)勢，能夠反映出系統(tǒng)對時效性需求的側(cè)重。在上述面向圖像與語音重建任務(wù)的通信模型仿真中，除帶寬之外的通信參數(shù)都是一致的。語義通信效率指標與效用指標的評估結(jié)果表現(xiàn)出統(tǒng)一性，為兩者的橫向性能對比提供指導。帶寬參數(shù)的設(shè)定與信息模態(tài)相關(guān)，它所產(chǎn)生的影響可通過對變換函數(shù)進一步設(shè)計來消除。

▲圖4 語音重建任務(wù)語義通信效率Esc與效用Usc隨信噪比的關(guān)系曲線（λ = 1/5）

4 結(jié)束語

通過融合人工智能與通信技術(shù)，充分利用語義層面信息的高度抽象、智能簡約等特性，語義通信有望形成突破經(jīng)典通信系統(tǒng)傳輸瓶頸的智能新型通信體系。由于語義通信尚處于研究初期，統(tǒng)一且具泛化價值的性能評估體系的缺失，阻礙了關(guān)鍵性成果間的橫向貫通與對比。本文通過分析語義通信評估痛點，提出語義通信效率指標Esc與語義通信效用指標Usc。該指標具有更好的泛用性，且為不同任務(wù)場景、模態(tài)信息下的語義通信模型的橫向性能對比提供指導，進而促進語義通信的快速發(fā)展。