郭江濤，沈 佳，劉 昆，鄒岳林

(國網(wǎng)新疆電力有限公司信息通信公司,新疆 烏魯木齊 830001)

0 引 言

隨著國家電網(wǎng)公司致力于建設(shè)結(jié)構(gòu)合理、技術(shù)先進、靈活可靠、經(jīng)濟高效的現(xiàn)代配電網(wǎng)，配電自動化網(wǎng)絡(luò)覆蓋范圍越來越廣，配電終端接入數(shù)量不斷增多，給配電業(yè)務(wù)信息的安全性和業(yè)務(wù)的連續(xù)性帶來了新的巨大風(fēng)險[1]。配電終端采用網(wǎng)絡(luò)通信技術(shù)實現(xiàn)數(shù)據(jù)傳輸，能夠?qū)崟r將外部數(shù)據(jù)傳入電力企業(yè)的內(nèi)網(wǎng)主站。配電安全交互網(wǎng)關(guān)是配電終端與配電主站之間的安全接入層的核心組成部分，它為整個內(nèi)部網(wǎng)絡(luò)提供保護，保障配電自動化主站系統(tǒng)安全，在安全接入的基礎(chǔ)上實現(xiàn)配電主站與配電終端大規(guī)模數(shù)據(jù)交換是當(dāng)前發(fā)展的迫切需要[2]。

本文針對配電終端在通信與管理方面存在的安全問題，為解決原有配電安全接入網(wǎng)關(guān)報文處理低效的問題，設(shè)計實現(xiàn)數(shù)據(jù)面開發(fā)工具集(Data Plane Development Kit， DPDK)技術(shù)應(yīng)用在網(wǎng)關(guān)中的方案，構(gòu)建配電安全交互網(wǎng)關(guān)的網(wǎng)絡(luò)通信處理模型，實現(xiàn)快速處理大量配電終端安全接入業(yè)務(wù)；設(shè)計實現(xiàn)基于TCP透明代理技術(shù)的配電安全通信解決方案，在不影響現(xiàn)有的主站和終端的正常業(yè)務(wù)情況下，實現(xiàn)對現(xiàn)有配電自動化系統(tǒng)無感知安全改造，有效地降低了安全改造成本，達到快速實施的目的和效果。最后，對配電安全交互網(wǎng)關(guān)進行了性能測試。測試結(jié)果表明，本文實現(xiàn)的配電安全交互網(wǎng)關(guān)的系統(tǒng)安全性、吞吐量、包轉(zhuǎn)發(fā)率、轉(zhuǎn)發(fā)時延等性能均具有明顯提升。

1 相關(guān)研究

1.1 配電安全交互網(wǎng)關(guān)

針對電力系統(tǒng)的信息安全問題，我國相繼頒布了《配電二次系統(tǒng)安全防護方案》、[2011]168號文件《關(guān)于加強配電網(wǎng)系統(tǒng)安全防護工作的通知》等，明確提出由于配網(wǎng)系統(tǒng)位于生產(chǎn)控制I區(qū)，因此必須做好安全防護工作。最新頒布的[2017]6號文《國網(wǎng)運檢部關(guān)于做好“十三五”配電自動化建設(shè)應(yīng)用工作的通知》中的附件2《配電自動化系統(tǒng)網(wǎng)絡(luò)安全防護方案》對配電自動化信息安全防護作出了標(biāo)準(zhǔn)化的規(guī)范和方案[3]。

配電自動化系統(tǒng)網(wǎng)絡(luò)安全防護方案的重要網(wǎng)絡(luò)設(shè)備配電專用安全接入網(wǎng)關(guān)，采用串行方式部署在生產(chǎn)控制大區(qū)的安全接入?yún)^(qū)，串聯(lián)在安全接入?yún)^(qū)的采集服務(wù)器和配電終端之間，采用國產(chǎn)商用非對稱密碼算法與終端進行雙向身份認證，身份認證通過后，才允許采集服務(wù)器與終端進行信息交互，對于非法終端或未完成身份認證的終端，禁止與采集服務(wù)器建立連接[2]。配電專用安全接入網(wǎng)關(guān)在配電安全防護方案中的典型應(yīng)用如圖1所示。

圖1 配電專用安全接入網(wǎng)關(guān)典型應(yīng)用

1.2 數(shù)據(jù)包捕獲技術(shù)

隨著配電自動化網(wǎng)絡(luò)覆蓋范圍越來越廣，配電終端接入規(guī)模不斷擴大，配電業(yè)務(wù)報文轉(zhuǎn)發(fā)越來越頻繁，主站對響應(yīng)時間的要求越來越高，目前配電安全接入網(wǎng)關(guān)吞吐量、包轉(zhuǎn)發(fā)率、時延等性能較差，需要進一步提升配電安全接入網(wǎng)關(guān)的業(yè)務(wù)報文轉(zhuǎn)發(fā)性能，保證配電業(yè)務(wù)信息的安全性和業(yè)務(wù)的連續(xù)性。

目前網(wǎng)關(guān)加速的研究主要圍繞功能優(yōu)化展開，包括網(wǎng)關(guān)架構(gòu)的改進、加密效率的提升和安全協(xié)議的改進等。

針對網(wǎng)關(guān)架構(gòu)的改進，一方面偏向使用硬件，例如GPU或FPGA等輔助CPU進行處理，另一方面偏向使用軟件，繞開內(nèi)核和內(nèi)核協(xié)議棧收發(fā)報文，使用高性能報文收發(fā)平臺和用戶態(tài)協(xié)議棧加速報文處理[3]。偏向硬件的框架需要借助于GPU或FPGA，出現(xiàn)問題不容易調(diào)試，靈活性較差，應(yīng)用并不廣泛[4]。在偏向軟件的框架中，認可度較高且應(yīng)用較廣的是DPDK、netmap和PF_RING ZC。在這3種框架中，PF_RING ZC和DPDK的性能高于netmap。DPDK遵守Open Source BSD許可證，而PF_RING ZC使用EULA License，需要為每個端口或MAC地址申請一個許可證，應(yīng)用沒有DPDK廣泛[5]。所以本文提出的配電安全交互網(wǎng)關(guān)基于DPDK框架進行設(shè)計與實現(xiàn)。

2 配電安全交互網(wǎng)關(guān)報文處理機制的設(shè)計與實現(xiàn)

2.1 使用DPDK套件接收和發(fā)送報文

配電安全交互網(wǎng)關(guān)報文處理機制實現(xiàn)基于DPDK二層收發(fā)包的功能，作為核心功能提供二層報文數(shù)據(jù)給其他模塊進行解析處理。實現(xiàn)了session功能，使得業(yè)務(wù)可以記錄過往數(shù)據(jù)包的轉(zhuǎn)發(fā)行為，以及記錄TCP連接狀態(tài)，供其它模塊使用。

配電安全交互網(wǎng)關(guān)報文收發(fā)流程圖如圖2所示。

圖2 配電安全交互網(wǎng)關(guān)報文收發(fā)流程圖

DPDK是一套數(shù)據(jù)平面開發(fā)工具集，為Intel Architecture (IA)處理器架構(gòu)下用戶空間高效的數(shù)據(jù)包處理提供庫函數(shù)和驅(qū)動的支持，它不同于Linux系統(tǒng)以通用性設(shè)計為目的，而是專注于網(wǎng)絡(luò)應(yīng)用中數(shù)據(jù)包的高性能處理[6]。具體體現(xiàn)在DPDK應(yīng)用程序是運行在用戶空間上利用自身提供的數(shù)據(jù)平面庫來收發(fā)數(shù)據(jù)包，繞過了Linux內(nèi)核協(xié)議棧對數(shù)據(jù)包處理過程，可以極大提高數(shù)據(jù)處理性能和吞吐量，提高數(shù)據(jù)平面應(yīng)用程序的工作效率。因此，DPDK具有高性能、用戶態(tài)開發(fā)、死后易重啟等優(yōu)點。

DPDK使用了輪詢(polling)而不是中斷來處理數(shù)據(jù)包。在收到數(shù)據(jù)包時，經(jīng)DPDK重載的網(wǎng)卡驅(qū)動不會通過中斷通知CPU，而是直接將數(shù)據(jù)包存入內(nèi)存，交付應(yīng)用層軟件通過DPDK提供的接口來直接處理，這樣節(jié)省了大量的CPU中斷時間和內(nèi)存拷貝時間[7]。

通過相關(guān)智能基礎(chǔ)設(shè)施的安裝，實現(xiàn)軌道實時信息的反饋與管理。這些信息實時的反饋到鐵路管理部門以及列車的駕駛?cè)藛T，對于可能存在的風(fēng)險與故障可實現(xiàn)有效的規(guī)避。這相比于傳統(tǒng)的鐵路檢查工作而言，不僅準(zhǔn)確性更高，同時效率優(yōu)勢也十分顯著。

DPDK主要有以下3個核心模塊：

1)網(wǎng)絡(luò)層模塊。

DPDK對從內(nèi)核層到用戶層的網(wǎng)絡(luò)流程相對傳統(tǒng)網(wǎng)絡(luò)模塊進行了特殊處理，如圖3所示，DPDK攔截中斷后，不觸發(fā)后續(xù)中斷流程，并繞過協(xié)議棧，通過UIO(Userspace I/O)技術(shù)將網(wǎng)卡收到的報文拷貝到應(yīng)用層處理，報文不再經(jīng)過內(nèi)核協(xié)議棧，從而減少了操作系統(tǒng)內(nèi)核的開銷，消除了IO吞吐瓶頸。DPDK的報文包全部在用戶控件使用內(nèi)存池管理，內(nèi)核控件與用戶空間的內(nèi)存交互不用進行拷貝，只做控制權(quán)轉(zhuǎn)移，因此避免了內(nèi)核態(tài)和用戶態(tài)的報文拷貝以及用戶態(tài)下的軟件崩潰，保證了系統(tǒng)的穩(wěn)定性并提高了報文的轉(zhuǎn)發(fā)效率。

圖3 DPDK與傳統(tǒng)網(wǎng)絡(luò)流程對比圖

2)內(nèi)存管理模塊。

圖4 hugepage內(nèi)存管理機制

DPDK采用hugepage內(nèi)存管理機制，Linux在內(nèi)存管理中采用受保護的虛擬地址模式，在代碼中地址分為3類:邏輯地址、線性地址和物理地址[8]。程序使用具體內(nèi)存，邏輯地址映射轉(zhuǎn)化為線性地址通過分段機制，線性地址映射轉(zhuǎn)化為物理地址通過分頁機制，在實際實現(xiàn)過程中，將線性地址映射轉(zhuǎn)化為物理地址時，需要從內(nèi)存中讀取至少4次頁目錄表和頁表，為了加快內(nèi)核讀取速度，CPU在硬件上對頁表做了緩存，就是轉(zhuǎn)換檢測緩存區(qū)(Translation Lookaside Buffer， TLB)。線性地址先從TLB獲取高速緩存內(nèi)存，如果不存在就從內(nèi)存表獲取，如果有直接的映射，直接從內(nèi)存讀取，沒有則產(chǎn)生缺頁中斷，重新分配物理內(nèi)存，或者從硬盤上將swap讀取。具體圖示如圖4所示。

普通頁大小是每個4 kB，如果是4 kB頁的尋址如圖5所示，使用物理內(nèi)存時需要多級查找才能找到對應(yīng)的內(nèi)存4 kB的頁表是Linux針對一般情況得出的合適大小，然而對于特殊應(yīng)用可以通過擴大頁表面積提高內(nèi)存使用效率。

圖5 尋址圖

DPDK使用hugepage的思想就是讓程序盡量獨占內(nèi)存防止內(nèi)存換出，擴大頁表提高hash命中率，通過hugepage技術(shù)擴大了該使用的頁表大小，設(shè)定為更適合高頻內(nèi)存使用程序的狀態(tài)，獲得了以下3點優(yōu)勢。

①無需交換。也就是不存在頁面由于內(nèi)存空間不足而存在換入換出的問題。

③降低page table查詢負載。

3)內(nèi)核管理模塊。

每個核屬性包括邏輯核id、硬核id、非統(tǒng)一內(nèi)存訪問架構(gòu)(Non Uniform Memory Access Architecture，NUMA)節(jié)點id。DPDK會根據(jù)系統(tǒng)默認狀態(tài)生成一一綁定的映射表，用戶可以根據(jù)需求更改映射表，后續(xù)DPDK框架會根據(jù)該映射表進行核綁定。服務(wù)器啟動時選取一個邏輯核做主核，然后啟動其他核做從核，所有線程都根據(jù)c映射表做核綁定，控制核主要完成PCI、內(nèi)存、日志等系統(tǒng)的初始化，從核啟動后等待主核初始化完畢后掛載業(yè)務(wù)處理入口，從核運行業(yè)務(wù)代碼。內(nèi)核管理模塊如圖6所示。[9]

圖6 內(nèi)核管理模塊

多線程在構(gòu)建服務(wù)器時常常要處理競爭問題，DPDK提供了支持多個線程操作的無鎖循環(huán)隊列來規(guī)避沖突，交換數(shù)據(jù)。數(shù)據(jù)包等需要大量重復(fù)使用的結(jié)構(gòu)可以相互隔離，線程持有獨立的可用內(nèi)存池。[10]

如圖7所示，大部分程序交互時是在傳輸層及以上，但DPDK從二層切入，在構(gòu)建集群需要大規(guī)模轉(zhuǎn)發(fā)數(shù)據(jù)時可以使用三層轉(zhuǎn)發(fā)，這樣將使數(shù)據(jù)包轉(zhuǎn)發(fā)降低1層協(xié)議棧的開銷。

圖7 程序交互圖

2.2 使用TCP透明代理維護報文的收發(fā)

由于配電安全交互網(wǎng)關(guān)部署及兼容性考慮的特殊性決定，隧道協(xié)商以及加密方式只能是借用原有兩端的TCP連接進行。連接數(shù)據(jù)交互時序如圖8所示。

圖8 連接數(shù)據(jù)交互圖

在城區(qū)配電網(wǎng)通常配電主站(station)的前置數(shù)據(jù)采集服務(wù)器(FEP)與配電遠方終端(RTU)通過EPON網(wǎng)絡(luò)通信，主站通過光端機(OLT)接入EPON網(wǎng)絡(luò)，通過光網(wǎng)絡(luò)單元(ONU)連接RTU[11]。包括3個組件:

1)安全接入網(wǎng)關(guān)(SAG):負責(zé)執(zhí)行主站安全策略，對終端提供安全接入;

2)終端安全模塊(TSM):負責(zé)執(zhí)行終端安全策略，對終端提供網(wǎng)絡(luò)通信安全防護；

3)安全監(jiān)控平臺(SMP):負責(zé)配電安全策略管理，對配電安全接入網(wǎng)關(guān)和配電終端安全態(tài)勢進行監(jiān)控管理。

為了避免原有系統(tǒng)改造且滿足部署便捷的需求，SAG與TSM均采用無IP地址、串接部署方式。SAG與TSM基于FEP與RTU建立的TCP連接，采用數(shù)據(jù)包截獲與TCP重組技術(shù)實現(xiàn)透明代理通信。

在FEP與RTU建立TCP連接后，一方面，SAG和TSM截獲FEP與RTU的通信報文，利用TCP報文重組技術(shù)對報文進行明文/密文轉(zhuǎn)換；另一方面，SAG和TSM之間基于FEP與RTU的IP地址和TCP連接構(gòu)建新的TCP報文，用于隧道建立/維護、對TSM監(jiān)控管理等通信。由于需要在FEP與RTU已建立的TCP連接上插入管控報文，需要在SAG和TSM中對雙向TCP連接的序列號與確認號進行維護[12]：

1)在SAG中維護一個雙向序列號表(BST)為每一個TSMi設(shè)備的TCP連接建立一個四元組記錄：{SEQ_F，ACK_F，SEQ_T，ACK_T}，SEQ_F和ACK_F記錄SAG與FEP之間通信的TCP序列號和確認號，SEQ_T和ACK_T記錄SAG與TSMi之間的通信的TCP序列號和確認號。

2)在TSM中維護一個雙向序列號表(BST)為每一個SAG設(shè)備的TCP連接建立一個四元組記錄：{SEQ_S，ACK_S，SEQ_R，ACK_R}，SEQ_S和ACK_S記錄TSM和SAG之間通信的TCP序列號和確認號，SEQ_R和ACK_R記錄TSM與RTU之間的通信的TCP序列號和確認號。

如圖9所示，以SAG通信為例，每次收到FEP的TCP包更新SEQ_F和ACK_F，以此作為向FEP發(fā)包時序列號與確認號。每次收TSM的TCP包時更新SEQ_T和ACK_T,向TSM轉(zhuǎn)發(fā)業(yè)務(wù)數(shù)據(jù)包或監(jiān)控數(shù)據(jù)包時以此為序列號和確認號。在此基礎(chǔ)上，SAG與TSM之間實現(xiàn)安全通信與監(jiān)控管理，對FEP與RTU實現(xiàn)透明通信。

圖9 基于BST的數(shù)據(jù)通信

配電安全網(wǎng)關(guān)作為TCP連接的中間透明代理，負責(zé)對鏈路上IEC104的數(shù)據(jù)進行加解密，并且在該鏈路上進行隧道協(xié)商，在TCP的3次握手建立連接時獲取到兩端TCP的SEQ以及ACK號，并在連接成功后主動進行隧道協(xié)商，因為協(xié)商請求數(shù)據(jù)由本地安全網(wǎng)關(guān)發(fā)出并不是客戶端行為，因此對于協(xié)商應(yīng)答也不會轉(zhuǎn)發(fā)給客戶端，而是直接由網(wǎng)關(guān)進行處理[13]。當(dāng)協(xié)商成功之后對于客戶端發(fā)送的數(shù)據(jù)則會進行加密轉(zhuǎn)發(fā)，隧道的協(xié)商過程以及加密過程對于客戶端來說是不可見的，并且由于這些數(shù)據(jù)的插入與修改使得客戶端發(fā)出的數(shù)據(jù)包的SEQ與ACK無法在安全網(wǎng)關(guān)與服務(wù)器間進行使用，同理服務(wù)器端發(fā)給客戶端的報文的SEQ與ACK也無法在客戶端與安全網(wǎng)關(guān)側(cè)正常使用，因此對于經(jīng)過安全網(wǎng)關(guān)的數(shù)據(jù)包都需要進行TCP的SEQ與ACK的重新映射計算，并且對于安全網(wǎng)關(guān)自己發(fā)送的協(xié)商以及后續(xù)的探測等報文也需要維護TCP的重傳以及確認機制，而對于這些功能及數(shù)據(jù)維護則均是由TCP代理模塊進行完成[14]。

3 性能測試

為了檢驗研究實現(xiàn)的配電安全交互網(wǎng)關(guān)的報文處理機制是否能夠達到預(yù)期的性能，模擬真實環(huán)境對配電安全交互網(wǎng)關(guān)的報文處理機制進行性能測試。本文測試主要從并發(fā)連接數(shù)、吞吐量、轉(zhuǎn)發(fā)延遲等幾個性能指標(biāo)進行測試分析。

3.1 測試環(huán)境

配電網(wǎng)安全交互網(wǎng)關(guān)運行在配置為單顆Intel志強處理器的服務(wù)器上，同時使用IXIA400T網(wǎng)絡(luò)測試儀。服務(wù)器硬件參數(shù)如表1所示。

表1 服務(wù)器硬件參數(shù)

配置信息系統(tǒng)規(guī)格CPUIntel(R) Xeom CPU E3-123V3@3.40 GHz內(nèi)存16 GB硬盤1 TB HDD操作系統(tǒng)CentOS6.6_ x64

IXIA400T網(wǎng)絡(luò)測試儀使用不同的測試模塊可以完成10/100 以太網(wǎng)、G-bit以太網(wǎng)、USB以及POS、路由等網(wǎng)絡(luò)性能的測試和分析。該儀表具有4個插槽能夠同時支持4塊不同類型的測試模塊，4個測試端口都集成了Linux內(nèi)核、TCP/IP協(xié)議棧和RISC CPUT，最高支持每秒建立30萬TCP連接。[15]通過同時分布式運行多端口測試處理，可以實現(xiàn)對待測試設(shè)備進行全方位的流量狀態(tài)測試和分析。

3.2 測試方法和結(jié)果分析

網(wǎng)絡(luò)測試儀模擬大量配電終端實現(xiàn)并發(fā)接入，網(wǎng)絡(luò)測試儀的實現(xiàn)腳本為新建一個連接，發(fā)送一個32 Byte的報文并對比發(fā)送報文和接收到的報文是否相同，然后關(guān)閉連接。測試拓撲如圖10所示。

圖10 測試拓撲圖

網(wǎng)絡(luò)測試儀發(fā)出的數(shù)據(jù)經(jīng)由配電安全交互網(wǎng)關(guān)轉(zhuǎn)發(fā)給模擬配電主站系統(tǒng)，通過模擬配電主站系統(tǒng)上高速的echo-server服務(wù)實現(xiàn)數(shù)據(jù)的無差異回流，安全接入系統(tǒng)將回流數(shù)據(jù)返回給網(wǎng)絡(luò)測試儀，從而得出測試結(jié)果。

圖11 并發(fā)測試圖

圖11是配電安全交互網(wǎng)關(guān)在承受20萬條并發(fā)連接請求情況下的處理時間，可以看到配電安全交互網(wǎng)關(guān)在25 s之內(nèi)就完成了所有的業(yè)務(wù)請求并且每秒能處理的并發(fā)量能高達2萬條。

而網(wǎng)絡(luò)測試儀監(jiān)測到的數(shù)據(jù)發(fā)送和接收速率都比較平穩(wěn)，說明配電安全交互網(wǎng)關(guān)的轉(zhuǎn)發(fā)比較穩(wěn)定，如圖12所示。

圖12 網(wǎng)絡(luò)測試儀接收、發(fā)送速率對比圖

測試結(jié)果分析如表2所示。由測試結(jié)果可以看出，通過并發(fā)連接數(shù)、吞吐量、轉(zhuǎn)發(fā)延遲、新建連接數(shù)、丟包率對報文處理能力進行分析，基于DPDK技術(shù)和TCP透明代理技術(shù)的配電安全接入網(wǎng)關(guān)報文處理能力以及性能優(yōu)勢很明顯，滿負載的情況時也不會出現(xiàn)丟包現(xiàn)象。DPDK技術(shù)和TCP透明代理很好地提升了配電安全接入網(wǎng)關(guān)的報文處理能力以及整體性能。

表2 測試結(jié)果

測試項名稱簡單描述預(yù)期結(jié)果實際結(jié)果并發(fā)連接數(shù)模擬大量配電終端和配電主站連接配電安全交互網(wǎng)關(guān)發(fā)送數(shù)據(jù)流,觀察最大連接數(shù)并發(fā)連接數(shù)大于100000條并發(fā)連接數(shù)為300000條吞吐量向配電安全交互網(wǎng)關(guān)發(fā)送各種數(shù)據(jù),計算處理速度吞吐量為900 Mbit/s吞吐量為900 Mbit/s轉(zhuǎn)發(fā)延遲計算數(shù)據(jù)流入流出時間間隔數(shù)據(jù)轉(zhuǎn)發(fā)延遲小于10 us1024長度報文的轉(zhuǎn)發(fā)延遲為6.88 us新建連接數(shù)模擬大量配電終端和配電主站連接配電安全交互網(wǎng)關(guān)發(fā)送數(shù)據(jù)流,觀察新建連接數(shù)每秒新建連接數(shù)大于3000條每秒新建連接數(shù)為5000條丟包率測試配電安全交互網(wǎng)關(guān)滿負載時的報文丟棄率報文丟棄率小于千分之一報文丟包率為0

4 結(jié)束語

配電安全交互網(wǎng)關(guān)是配電網(wǎng)信息安全建設(shè)的重要網(wǎng)絡(luò)設(shè)備。本文從配電安全網(wǎng)關(guān)報文處理機制的設(shè)計與實現(xiàn)出發(fā)，將配電安全網(wǎng)關(guān)的報文的收發(fā)和轉(zhuǎn)發(fā)維護處理報文的方案進行了設(shè)計與實現(xiàn)，最后進行了測試驗證。本文設(shè)計的報文處理機制高效地實現(xiàn)了配電安全網(wǎng)關(guān)的報文處理轉(zhuǎn)發(fā)功能，提升了配電安全交互網(wǎng)關(guān)的整體性能。在不影響配電安全交互網(wǎng)關(guān)安全防護能力和性能的前提下，降低裝置成本，滿足大規(guī)模推廣的要求是下一步要進行的研究工作。