張松軼 李飛 李勇

摘要：介紹了寬帶集群在行業(yè)專網(wǎng)中的應(yīng)用發(fā)展情況，分析了寬帶集群異地容災(zāi)的應(yīng)用需求及實(shí)際工程中需要解決的技術(shù)問題，提出了寬帶集群雙中心異地容災(zāi)的系統(tǒng)總體設(shè)計(jì)方案，描述了方案中的關(guān)鍵技術(shù)及具體實(shí)現(xiàn)方案并進(jìn)行了測(cè)試。測(cè)試結(jié)果表明，寬帶集群異地容災(zāi)應(yīng)用方案在傳輸穩(wěn)定性、延遲性、丟包率及中心間切換性能上均能表現(xiàn)出較好的性能，驗(yàn)證了設(shè)計(jì)方案的可行性。

關(guān)鍵詞：寬帶集群；異地容災(zāi)；主備冗余；接口冗余

中圖分類號(hào)：TP393文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1008-1739（2019）05-66-4

0引言

近年來，隨著通信技術(shù)的高速發(fā)展，專網(wǎng)系統(tǒng)的寬帶化已經(jīng)成為趨勢(shì)。作為無線專網(wǎng)通信的主要組成部分，數(shù)字集群通信向?qū)拵Щ葸M(jìn)也勢(shì)在必行。我國從2014年開始制定的“基于LTE技術(shù)的寬帶集群通信（B-TrunC）系統(tǒng)”系列標(biāo)準(zhǔn)是國際上首個(gè)支持語音組呼、視頻組呼及多媒體集群調(diào)度等集群業(yè)務(wù)的寬帶集群通信標(biāo)準(zhǔn)[1]。近年來，寬帶集群產(chǎn)業(yè)得到了很大的發(fā)展，技術(shù)及產(chǎn)業(yè)鏈日趨成熟，也被越來越多的行業(yè)專網(wǎng)用戶所接受和采用[2]。與此同時(shí)，在寬帶集群網(wǎng)絡(luò)中，行業(yè)用戶對(duì)于除了傳統(tǒng)語音業(yè)務(wù)外的視頻業(yè)務(wù)、高速數(shù)據(jù)業(yè)務(wù)以及組網(wǎng)能力、安全性和可靠性等要求也越來越高。雙中心寬帶集群組網(wǎng)并實(shí)現(xiàn)異地容災(zāi)應(yīng)用就是針對(duì)這些要求，實(shí)現(xiàn)更靈活可靠的寬帶集群組網(wǎng)，保障網(wǎng)絡(luò)整體高可靠性和高可用性的技術(shù)方案，對(duì)于提升寬帶集群規(guī)模組網(wǎng)能力、改善用戶使用體驗(yàn)具有很大意義。

1寬帶集群及需求分析

1.1 B-TrunC寬帶集群

在集群通信向著系統(tǒng)IP化、數(shù)據(jù)寬帶化、終端多?；蜆I(yè)務(wù)多樣化方向發(fā)展的過程中，行業(yè)用戶在利用集群通信系統(tǒng)進(jìn)行指揮調(diào)度時(shí)，不僅要“聽得到”，還要“看得見、看得清”，這就需要集群系統(tǒng)能夠支持語音、數(shù)據(jù)、圖像和視頻等多種業(yè)務(wù)的不同傳輸速率，我國自主知識(shí)產(chǎn)權(quán)的B-TrunC寬帶集群通信標(biāo)準(zhǔn)無疑滿足了上述要求。B-TrunC寬帶集群采用LTE技術(shù)作為技術(shù)基礎(chǔ)，統(tǒng)一了集群相關(guān)技術(shù)體制和標(biāo)準(zhǔn)，拓寬了傳統(tǒng)窄帶語音的業(yè)務(wù)范疇[3]。

B-TrunC寬帶集群的主要技術(shù)優(yōu)勢(shì)有：

①業(yè)務(wù)功能豐富：除傳統(tǒng)語音、短數(shù)據(jù)等傳統(tǒng)集群業(yè)務(wù)外，還支持視頻單呼、組呼、推送和回傳等多媒體業(yè)務(wù)，同時(shí)可以支持較強(qiáng)的數(shù)據(jù)業(yè)務(wù)和定位業(yè)務(wù)，這是寬帶集群得到快速發(fā)展的最大優(yōu)勢(shì)；②低時(shí)延：扁平網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)元節(jié)點(diǎn)少，數(shù)據(jù)傳輸時(shí)延≤10 ms、單呼建立時(shí)間≤480 ms，組呼建立時(shí)間≤280 ms，話權(quán)建立時(shí)間≤180 ms，連接態(tài)切換時(shí)延≤80 ms；③高數(shù)據(jù)傳輸速率：在20 MHz工作帶寬下能夠提供最高下行100 Mbps，上行50 Mbps的峰值速率；④擁有完善的鑒權(quán)機(jī)制：支持集群組呼空口加密、端到端加密和完整性保護(hù)，能夠較好地滿足行業(yè)專網(wǎng)對(duì)于安全性的要求；⑤高速移動(dòng)性：采用頻偏補(bǔ)償機(jī)制，有效地克服多普勒效應(yīng)，支持350 km/h的高速移動(dòng)性，這一優(yōu)勢(shì)在軌道交通等對(duì)移動(dòng)性有較高要求的行業(yè)中體現(xiàn)得比較明顯[4]。

典型的B-TrunC寬帶集群系統(tǒng)架構(gòu)如圖1所示。

1.2寬帶集群異地容災(zāi)需求分析

在城市軌道交通、機(jī)場(chǎng)或能源等領(lǐng)域，寬帶集群系統(tǒng)常用于生產(chǎn)調(diào)度人員（列車控制中心、地勤調(diào)度中心等）與移動(dòng)用戶（列車司機(jī)、地勤人員和生產(chǎn)作業(yè)人員）之間進(jìn)行語音指揮、生產(chǎn)數(shù)據(jù)傳輸或多媒體調(diào)度，為保證安全生產(chǎn)、提高生產(chǎn)效率和管理水平，改善生產(chǎn)服務(wù)質(zhì)量提供重要保證[5-6]。在此情況下，實(shí)現(xiàn)系統(tǒng)的雙中心異地容災(zāi)，保障不同生產(chǎn)業(yè)務(wù)的通信暢通，保證整個(gè)寬帶集群系統(tǒng)的安全可靠性就尤為重要。業(yè)務(wù)對(duì)于寬帶集群異地容災(zāi)業(yè)務(wù)指標(biāo)要求如表1所示。

2需要解決的問題

寬帶集群異地容災(zāi)應(yīng)用設(shè)計(jì)需要解決如下幾個(gè)技術(shù)問題。

①系統(tǒng)整體冗余設(shè)計(jì)：由于寬帶集群系統(tǒng)中還經(jīng)常承載其他生產(chǎn)業(yè)務(wù)，為了保障系統(tǒng)應(yīng)用的高可靠性，除系統(tǒng)采用異地容災(zāi)設(shè)計(jì)外，還需在系統(tǒng)控制中心、鏈路等多個(gè)方面采用設(shè)備熱冗余乃至A/B網(wǎng)整體冗余設(shè)計(jì)[7]；

②雙中心間的實(shí)時(shí)數(shù)據(jù)同步：異地容災(zāi)部署需要保證2個(gè)異地中心之間數(shù)據(jù)同步的實(shí)時(shí)性，保證單中心故障不會(huì)造成整個(gè)系統(tǒng)的數(shù)據(jù)紊亂，從而導(dǎo)致系統(tǒng)不可用，此問題是容災(zāi)系統(tǒng)設(shè)計(jì)的關(guān)鍵問題；

③系統(tǒng)高可用性設(shè)計(jì)：考慮到控制中心整體切換的影響面和操作便利性，系統(tǒng)設(shè)計(jì)還需設(shè)計(jì)防止系統(tǒng)單點(diǎn)故障導(dǎo)致控制中心切換的機(jī)制。

3總體設(shè)計(jì)

寬帶集群雙中心異地容災(zāi)設(shè)計(jì)采用雙交換控制中心配置，分別在不同地點(diǎn)進(jìn)行部署，供電、傳輸和環(huán)境等系統(tǒng)均獨(dú)立配置，避免出現(xiàn)互相影響情況，實(shí)現(xiàn)異地容災(zāi)需求。雙中心異地容災(zāi)系統(tǒng)原理框圖如圖2所示。

2個(gè)獨(dú)立的集群中心控制器（集群核心網(wǎng)）以互為鏡像的主備方式工作，2個(gè)控制中心及系統(tǒng)內(nèi)全部基站通過傳輸網(wǎng)絡(luò)實(shí)現(xiàn)互聯(lián)互通。當(dāng)主用控制中心發(fā)生嚴(yán)重故障退出服務(wù)時(shí)，全線基站可以切到另一個(gè)控制中心，無線基站通過這2條冗余鏈路分別連接中心，實(shí)現(xiàn)異地容災(zāi)。2套控制中心之間存在3條傳輸鏈路：1條鏈路負(fù)責(zé)主備控制中心之間的數(shù)據(jù)冗余；另2條鏈路負(fù)責(zé)主備控制中心及系統(tǒng)基站的傳輸冗余到主備控制中心。

4關(guān)鍵技術(shù)

寬帶集群的雙中心異地容災(zāi)應(yīng)用中關(guān)鍵技術(shù)包括：

（1）中心設(shè)備冗余設(shè)計(jì)

異地容災(zāi)主要借助HA高可用多節(jié)點(diǎn)群集中間件來實(shí)現(xiàn)，HA中間件可實(shí)現(xiàn)靜態(tài)配置及動(dòng)態(tài)呼叫數(shù)據(jù)的雙向同步，并能實(shí)現(xiàn)不同節(jié)點(diǎn)間狀態(tài)裁決及切換控制等功能。

主用控制中心與備用控制中心的集群中心控制器（集群核心網(wǎng)）實(shí)現(xiàn)了設(shè)備級(jí)冗余，2套設(shè)備同時(shí)運(yùn)行，互為備份。集群控制器內(nèi)部的雙處理板間實(shí)現(xiàn)板卡級(jí)冗余，當(dāng)單處理板故障時(shí)，另一塊處理板可以實(shí)時(shí)接替工作，動(dòng)態(tài)業(yè)務(wù)數(shù)據(jù)雙向?qū)崟r(shí)同步。

當(dāng)主用控制中心的集群控制器2塊處理板均發(fā)生故障后，HA中間件可立即感知到，這時(shí)，在備用控制中心的集群控制器會(huì)根據(jù)同步過來的動(dòng)態(tài)數(shù)據(jù)建立資源并接管業(yè)務(wù)；系統(tǒng)內(nèi)的各個(gè)基站將根據(jù)鏈路狀態(tài)探測(cè)，將業(yè)務(wù)倒切到另外一個(gè)中心的集群控制器上，反之亦然。

集群控制器與控制中心核心交換機(jī)之間采用交叉連接冗余。而主備控制中心之間容災(zāi)鏈路中斷時(shí)，只會(huì)影響主備控制中心之間的容災(zāi)通信，由于主備用控制中心的調(diào)度臺(tái)、服務(wù)器等業(yè)務(wù)終端設(shè)備是冗余配置的，并不會(huì)影響主用控制中心的調(diào)度業(yè)務(wù)，不會(huì)導(dǎo)致控制中心切換。當(dāng)容災(zāi)冗余鏈路恢復(fù)后，這些設(shè)備的業(yè)務(wù)能夠自動(dòng)恢復(fù)。

（2）集群基站的雙歸屬

系統(tǒng)基站通過S1-Flex機(jī)制同時(shí)與主用、備用控制中心的集群控制器建立連接，S1-Flex允許一個(gè)基站連接到多個(gè)集群核心網(wǎng)中MME/SGW池，從而實(shí)現(xiàn)集群基站業(yè)務(wù)連接的雙歸屬。

此外各個(gè)基站到主備控制中心的通信傳輸鏈路采用雙環(huán)網(wǎng)方式。當(dāng)一個(gè)傳輸環(huán)網(wǎng)出現(xiàn)故障時(shí)，業(yè)務(wù)能夠切換到另外一個(gè)傳輸環(huán)網(wǎng)上?；揪哂?個(gè)網(wǎng)絡(luò)端口，當(dāng)基站出現(xiàn)主用網(wǎng)口故障，僅該基站會(huì)切換傳輸通道，不會(huì)影響該基站業(yè)務(wù)，也不會(huì)引起控制中心倒切。

（3）主備中心的數(shù)據(jù)同步設(shè)計(jì)

集群控制器的內(nèi)部軟件分為DSS數(shù)據(jù)同步模塊、HA高可用性模塊及APP應(yīng)用軟件模塊3部分，各部分的主要功能用處如下：

①DSS模塊，所有DSS會(huì)以軟件集群的形式工作，其內(nèi)部通過協(xié)議實(shí)現(xiàn)數(shù)據(jù)的強(qiáng)一致性，DSS通過提供數(shù)據(jù)node的形式實(shí)現(xiàn)數(shù)據(jù)同步；②HA中間件模塊，系統(tǒng)中只有一個(gè)HA處于主用狀態(tài)，其他全部備用，通過HA來進(jìn)行狀態(tài)裁決；③APP模塊，為寬帶集群系統(tǒng)的核心控制軟件，包括：eMME，eHSS，TCF，xGW等核心網(wǎng)功能。

軟件在數(shù)據(jù)處理過程中的數(shù)據(jù)同步設(shè)計(jì)如圖3所示。

①主用控制中心的APP開始冗余數(shù)據(jù)，將發(fā)送冗余請(qǐng)求到HA，HA將向DSS的數(shù)據(jù)槽中寫數(shù)據(jù)。隨后DSS開始進(jìn)行數(shù)據(jù)同步，數(shù)據(jù)槽中的數(shù)據(jù)將會(huì)刷新到所有中心集群控制器的DSS中。

②備用控制中心的DSS將會(huì)通知HA數(shù)據(jù)槽中有數(shù)據(jù)刷新，HA隨后會(huì)從中讀取數(shù)據(jù)，將冗余數(shù)據(jù)發(fā)送給對(duì)應(yīng)的APP。

③APP將開始恢復(fù)冗余數(shù)據(jù)，隨后向HA發(fā)送冗余成功的指示，HA反饋冗余數(shù)據(jù)結(jié)果。

④主用控制中心的DSS將獲取此次冗余數(shù)據(jù)并成功告知HA。

5實(shí)驗(yàn)結(jié)果

為了驗(yàn)證寬帶集群雙中心異地容災(zāi)整體設(shè)計(jì)方案是否合理可行，通過模擬某城市軌道交通項(xiàng)目部分應(yīng)用場(chǎng)景，使用TD-LTE寬帶集群產(chǎn)品搭建了測(cè)試環(huán)境，進(jìn)行性能測(cè)試。測(cè)試設(shè)備如表2所示，1套寬帶集群系統(tǒng)主要包含了2套集群核心網(wǎng)、核心/容災(zāi)交換機(jī)共3套、5個(gè)基站、調(diào)度臺(tái)1臺(tái)和LTE集群終端10臺(tái)。

測(cè)試環(huán)境拓?fù)淙鐖D4所示。在這個(gè)測(cè)試環(huán)境中，模擬主備用控制中心通過容災(zāi)交換機(jī)互聯(lián)，打通冗余數(shù)據(jù)鏈路，實(shí)現(xiàn)核心網(wǎng)數(shù)據(jù)的冗余。主備用控制中心的接入層為核心交換機(jī)并實(shí)現(xiàn)交換機(jī)互聯(lián)，實(shí)現(xiàn)基站到主備用控制中心的雙鏈路連接。

系統(tǒng)測(cè)試包括業(yè)務(wù)建立時(shí)延性能測(cè)試和系統(tǒng)切換時(shí)延性能測(cè)試2部分。其中，業(yè)務(wù)實(shí)驗(yàn)性能測(cè)試參考B-TrunC標(biāo)準(zhǔn)，選取單呼建立、組呼建立和話權(quán)申請(qǐng)3個(gè)指標(biāo)進(jìn)行測(cè)試，驗(yàn)證在該組網(wǎng)條件下系統(tǒng)業(yè)務(wù)性能情況。系統(tǒng)切換時(shí)延性能測(cè)試通過設(shè)備斷電方式模擬設(shè)備異常故障，記錄在異常故障情況下系統(tǒng)倒切時(shí)延情況。

6測(cè)試結(jié)果

經(jīng)過在測(cè)試環(huán)境中的多次性能測(cè)試，整理結(jié)果記錄如表3、表4所示。

通過以上測(cè)試數(shù)據(jù)可以看到，系統(tǒng)測(cè)試滿足B-TrunC系統(tǒng)關(guān)于業(yè)務(wù)建立時(shí)延的性能要求。通過對(duì)丟包率的統(tǒng)計(jì)，能夠反映傳輸過程對(duì)音視頻數(shù)據(jù)的影響，通常情況下音頻丟包率在4%以內(nèi)，視頻丟包率在2%以內(nèi)，對(duì)音視頻的效果沒有明顯的影響。通過以上測(cè)試數(shù)據(jù)表明，集群語音和視頻業(yè)務(wù)數(shù)據(jù)通過LTE承載進(jìn)行傳輸，可靠性較好，保障了音視頻業(yè)務(wù)的效果。系統(tǒng)倒切時(shí)延性能測(cè)試如表5所示。

通過以上測(cè)試數(shù)據(jù)可以看到，當(dāng)系統(tǒng)設(shè)備異地容災(zāi)切換后，系統(tǒng)會(huì)有短暫業(yè)務(wù)恢復(fù)時(shí)延，這是由于為防止系統(tǒng)產(chǎn)生乒乓切換問題，系統(tǒng)故障檢測(cè)需要一定時(shí)間；在系統(tǒng)切換完成后，需要重新建立連接和恢復(fù)業(yè)務(wù)的過程。業(yè)務(wù)恢復(fù)時(shí)延受故障產(chǎn)生時(shí)間點(diǎn)和檢測(cè)周期的影響會(huì)有所不同。特定情況下通過網(wǎng)管設(shè)備進(jìn)行的主動(dòng)切換，切換時(shí)間較故障倒切時(shí)間更短，滿足快速恢復(fù)業(yè)務(wù)要求。

在實(shí)際測(cè)試結(jié)果中可以看到采用異地容災(zāi)設(shè)計(jì)方案的寬帶集群系統(tǒng)在數(shù)據(jù)傳輸穩(wěn)定性、并發(fā)性、延遲性以及丟包率等性能指標(biāo)及中心間切換性能上均表現(xiàn)出較好的性能，驗(yàn)證了設(shè)計(jì)方案的可行性。實(shí)際應(yīng)用中，可以通過對(duì)部分檢測(cè)及互鎖機(jī)制的改進(jìn)對(duì)系統(tǒng)性能做進(jìn)一步的優(yōu)化。

7結(jié)束語

隨著寬帶集群在行業(yè)專網(wǎng)應(yīng)用中的快速發(fā)展，行業(yè)專網(wǎng)用戶對(duì)于系統(tǒng)高可靠及高可用性要求日益提升。通過分析寬帶集群異地容災(zāi)的需求，提出了雙中心異地容災(zāi)的總體方案，對(duì)方案中的關(guān)鍵技術(shù)進(jìn)行了闡述，并通過搭建模擬環(huán)境進(jìn)行測(cè)試和驗(yàn)證。為寬帶集群異地容災(zāi)的工程實(shí)現(xiàn)提供了依據(jù)。為了適應(yīng)不同的應(yīng)用場(chǎng)景和需要，需要不斷進(jìn)行功能的擴(kuò)充和優(yōu)化，故而對(duì)于寬帶集群異地容災(zāi)技術(shù)的研究還需要進(jìn)一步地深入。

參考文獻(xiàn)

[1]張靜.TD-LTE寬帶數(shù)字集群通信系統(tǒng)研究[J].中國無線電， 2017（6）：36-38.

[2]王侖.LTE寬帶集群專網(wǎng)的行業(yè)應(yīng)用[J].移動(dòng)通信，2014，38（1）：54-55.

[3]馮海亮，施玉海，劉海濤，等.基于TD-LTE數(shù)字集群的寬帶無線專網(wǎng)架構(gòu)及關(guān)鍵技術(shù)研究[J].廣播電視信息，2015（6）： 61-63.

[4]張東瑞，孫小婷.LTE寬帶集群的系統(tǒng)架構(gòu)及業(yè)務(wù)分析[J].數(shù)字技術(shù)與應(yīng)用，2013（7）：22-23.

[5]馬彥波，蔣國華.基于TD-LTE的信號(hào)與集群承載研究[J].計(jì)算機(jī)與網(wǎng)絡(luò)，2018，44（13）：64-67.

[6]張婧.TD-LTE寬帶集群技術(shù)在城市軌道交通中的應(yīng)用[J].電子科技，2016，29（7）：120-123.

[7]戴克平，韓志永.基于TD-LTE技術(shù)的車地?zé)o線通信系統(tǒng)設(shè)計(jì)[J].無線電通信技術(shù)，2015，41（6）：6-9，31.