井 雅,李 群,陳 亭,張海闊
(1.中國互聯(lián)網(wǎng)絡(luò)信息中心,北京100190;2.國網(wǎng)北京市電力公司電力科學(xué)研究院,北京100075;3.北京計(jì)算機(jī)技術(shù)及應(yīng)用研究所,北京100854;4.中國互聯(lián)網(wǎng)絡(luò)信息中心,北京100190)
隨著通信技術(shù)和計(jì)算機(jī)技術(shù)的高速發(fā)展,通信網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大、結(jié)構(gòu)愈發(fā)復(fù)雜,很多專業(yè)的網(wǎng)絡(luò)管理系統(tǒng)(以下簡稱 “網(wǎng)管系統(tǒng)”,即NMS)采用不同技術(shù)和協(xié)議,整個(gè)網(wǎng)絡(luò)的管理節(jié)點(diǎn)分散、操作界面各異。為了最大限度利用通信網(wǎng)絡(luò)資源[1],協(xié)調(diào)、分配基站使用的衛(wèi)星頻率、帶寬等資源,實(shí)時(shí)監(jiān)控、調(diào)整全網(wǎng)運(yùn)行狀態(tài),提示、報(bào)警系統(tǒng)任何環(huán)節(jié)出現(xiàn)的故障、異常等情況,提高網(wǎng)絡(luò)的運(yùn)行質(zhì)量和效率,本文就實(shí)現(xiàn)大規(guī)模異構(gòu)通信網(wǎng)絡(luò)管理信息系統(tǒng)軟件進(jìn)行了具體闡述。
網(wǎng)管系統(tǒng)在運(yùn)行環(huán)境中,與所在的局域網(wǎng)和網(wǎng)控單元作數(shù)據(jù)交互。網(wǎng)控單元與局域網(wǎng)交互,向前向處理子系統(tǒng)傳輸數(shù)據(jù),同時(shí)也跟IP路由和防火墻作數(shù)據(jù)交換。網(wǎng)管系統(tǒng)所在的局域網(wǎng)主要包含中頻設(shè)備 (與局域網(wǎng)交互)、前向處理子系統(tǒng)、回傳處理子系統(tǒng)、時(shí)間頻率基準(zhǔn)器。其中前向處理子系統(tǒng)包含DVB-S調(diào)制器、MPEG 復(fù)用器、NCR/SI生成器、IP封裝機(jī)等模塊,并向中頻設(shè)備發(fā)送數(shù)據(jù),向局域網(wǎng)外部傳達(dá)網(wǎng)管指令。
NMS[3]與主站其它設(shè)備的交互都是通過局域網(wǎng)的方式,運(yùn)行網(wǎng)管系統(tǒng)的服務(wù)器和組成主站的所有服務(wù)器連接在同一個(gè)局域網(wǎng)中,網(wǎng)管系統(tǒng)與這些設(shè)備之間的交互都遵循TCP/IP協(xié)議通過局域網(wǎng)方式連接[3]。
NMS與小站及小站側(cè)的用戶信息交互則需要通過衛(wèi)星鏈路來完成,一方面,NMS將網(wǎng)管指令通過前向鏈路發(fā)送給小站,小站接收后在相應(yīng)的設(shè)備或終端用戶處執(zhí)行;另一方面,小站將本身的設(shè)備信息或終端用戶的信息通過回傳鏈路返回,經(jīng)過回傳處理子系統(tǒng)接入主站內(nèi)部的局域網(wǎng),再轉(zhuǎn)發(fā)給NMS服務(wù)器。
NMS功能設(shè)計(jì),是為了實(shí)現(xiàn)對網(wǎng)絡(luò)鏈路進(jìn)行參數(shù)配置,對網(wǎng)絡(luò)設(shè)備進(jìn)行監(jiān)控和管理。在功能劃分上,設(shè)計(jì)的模塊主要包括:主站配置、空中接口、服務(wù)管理、網(wǎng)絡(luò)管理、告警管理、性能管理、系統(tǒng)管理和日志管理。
設(shè)備管理模塊由設(shè)備管理視圖、網(wǎng)控服務(wù)器、設(shè)備配置向?qū)?、路由器、性能加速器、Qos服務(wù)器、IP 封裝機(jī)、DVB調(diào)制器、下變頻器組成??罩薪杩谀K由空中接口視圖、頻帶配置、頻帶組件配置、TXmode、TS流配置、超幀配置、Area配置、Segment配置組成。服務(wù)管理模塊由服務(wù)管理視圖、SPRL SLA 配置、小站組配置、SGFL SLA配置、前向鏈路Qos 配置、回傳鏈路Qos 配置、回傳Queue過濾、小區(qū)軟件版本配置組成。網(wǎng)絡(luò)管理模塊由網(wǎng)絡(luò)管理視圖、小站管理、小站Tralffic Queue、前向鏈路路由管理、VLAN 視圖、地址空間、ISP 端網(wǎng)絡(luò)、IP 地址范圍配置、PID 范圍配置組成。操作管理模塊由操作管理視圖、小站監(jiān)控、小站組監(jiān)控組成。告警管理模塊由告警管理視圖、主站設(shè)備活動告警、小站設(shè)備活動告警、主站設(shè)備歷史告警、小站設(shè)備歷史告警、告警標(biāo)準(zhǔn)化、相關(guān)性分析、告警通知、告警級別組成。性能管理由性能管理視圖、主戰(zhàn)性能監(jiān)視、小站性能監(jiān)視、任務(wù)配置、性能指標(biāo)、配置參數(shù)組成。
本系統(tǒng)中共有4個(gè)功能模塊用以實(shí)現(xiàn)網(wǎng)絡(luò)基礎(chǔ)設(shè)備的配置。首先配置設(shè)備管理模塊,包含網(wǎng)控配置、路由配置、PEP配置、Qos配置、IPE 配置、調(diào)制器配置、下變頻器配置。二是空中接口模塊,包含頻帶配置、頻帶組件激活、超幀定義、TS流定義。三是服務(wù)管理模塊,包含前向鏈路帶寬管理,回傳鏈路帶寬管理,小站組配置,前向鏈路Qos配置,SGFL SLA 配置,回傳鏈路Qos 配置,回傳Queue配置。四是網(wǎng)絡(luò)管理模塊,包含小站管理,小站Traffic Queue配置,前向鏈路路由管理,TSP端網(wǎng)絡(luò)配置,地址空間管理,IP地址范圍配置,PID 范圍配置。
為了完成NMS 的業(yè)務(wù)需求,本系統(tǒng)設(shè)計(jì)為4 個(gè)子系統(tǒng),各個(gè)子系統(tǒng)之間的數(shù)據(jù)交換關(guān)系、所包含的構(gòu)件如圖1所示。
圖1 各個(gè)子系統(tǒng)中邏輯組件以及相互關(guān)系
其中應(yīng)用子系統(tǒng)是一個(gè)Web應(yīng)用程序,負(fù)責(zé)和用戶進(jìn)行交互;其它的3個(gè)子系統(tǒng)負(fù)責(zé)監(jiān)控[4]、采集[5]以及設(shè)備配置[6]等后臺任務(wù)。
3個(gè)子系統(tǒng)都是獨(dú)立運(yùn)行的程序,可以部署在一臺、多臺服務(wù)器上,其中采集可以部署多套,通過設(shè)定他們的采集范圍,可以自動完成各自的采集任務(wù)。
4個(gè)子系統(tǒng)的實(shí)現(xiàn)視圖如圖2所示。
圖2 子系統(tǒng)實(shí)現(xiàn)視圖
采集監(jiān)控子系統(tǒng)、Trap監(jiān)聽子系統(tǒng)、配置命令服務(wù)子系統(tǒng)是3個(gè)以后臺服務(wù)形式存在的子系統(tǒng),在功能上統(tǒng)歸為服務(wù)子系統(tǒng)。因此系統(tǒng)總體邏輯結(jié)構(gòu)可以用圖3來表示。
Trap監(jiān)聽子系統(tǒng)通過監(jiān)聽Trap,分析事件,反應(yīng)系統(tǒng)的實(shí)際運(yùn)行狀態(tài);
采集監(jiān)控子系統(tǒng)通過主動采集系統(tǒng)性能數(shù)據(jù),實(shí)現(xiàn)對系統(tǒng)性能的監(jiān)控;
Trap監(jiān)聽子系統(tǒng)和采集監(jiān)控子系統(tǒng)一起為應(yīng)用子系統(tǒng)提供數(shù)據(jù),應(yīng)用子系統(tǒng)將這些數(shù)據(jù)展示給用戶。
配置命令服務(wù)子系統(tǒng)是完成配置命令的一個(gè)服務(wù)通道,在他的幫助下,用戶在應(yīng)用子系統(tǒng)提交的設(shè)備參數(shù)以及配置命令,可以提交到設(shè)備上,完成設(shè)備配置任務(wù)。
下面對各個(gè)子系統(tǒng)進(jìn)行詳細(xì)說明。
應(yīng)用子系統(tǒng)是網(wǎng)絡(luò)管理人員與網(wǎng)管軟件進(jìn)行交互的界面。主要通過它來進(jìn)行系統(tǒng)數(shù)據(jù)的錄入、監(jiān)控?cái)?shù)據(jù)的查詢等等。處理流程如圖4所示。
網(wǎng)絡(luò)管理人員可以通過應(yīng)用子系統(tǒng)執(zhí)行所有的網(wǎng)絡(luò)管理功能。
應(yīng)用子系統(tǒng)的層次分解和設(shè)計(jì)構(gòu)件之間的關(guān)系如圖5所示。
采集子系統(tǒng)主要使用SNMP等協(xié)議,在網(wǎng)絡(luò)中向衛(wèi)星小站、Router、NCC等網(wǎng)絡(luò)單元發(fā)送采集指令,獲取、分析指令結(jié)果,從而最終得出網(wǎng)絡(luò)單元的狀態(tài)信息。
系統(tǒng)將采集過來的數(shù)據(jù)分類處理、存儲,并根據(jù)系統(tǒng)閾值設(shè)置,決定是否報(bào)警等等。采集子系統(tǒng)處理流程如圖6所示。
采集監(jiān)控子系統(tǒng)專門負(fù)責(zé)主動對系統(tǒng)中各個(gè)網(wǎng)絡(luò)設(shè)備進(jìn)行狀態(tài)采集。采集子系統(tǒng)需要采集諸如路由器、NCC 等主站設(shè)備,同時(shí)需要采集數(shù)量眾多的小站設(shè)備。為了最大限度降低系統(tǒng)不同任務(wù)之間的耦合、提高效率,采集監(jiān)控子系統(tǒng)作為獨(dú)立的程序運(yùn)行,通過自動任務(wù)分配,通過讀取系統(tǒng)配置參數(shù),自動完成數(shù)據(jù)采集任務(wù)。
采集監(jiān)控子系統(tǒng)的模塊連接如圖7所示。
3.2.1 主要處理算法
(1)被采集設(shè)備列表數(shù)據(jù):被采集設(shè)備列表信息在初始化時(shí),需要查詢數(shù)據(jù)庫。
(2)采集任務(wù)裝載:定時(shí)獲取數(shù)據(jù)庫配置的采集任務(wù),裝載并執(zhí)行。
(3)采集子任務(wù)分配:采集子任務(wù)分配采用同步隊(duì)列的方式緩存。需要采集的任務(wù)按照周期,一次性插入到任務(wù)隊(duì)列中緩存。線程調(diào)度模塊將根據(jù)任務(wù)經(jīng)驗(yàn)完成時(shí)間,設(shè)定線程數(shù) (這個(gè)線程數(shù)遠(yuǎn)遠(yuǎn)小于緩存在隊(duì)列中待處理的任務(wù)數(shù)),逐步完成采集任務(wù)。
(4)采集數(shù)據(jù)第一次緩存[7]:采集任務(wù)在獲取數(shù)據(jù)后,并不急于處理,而是將采集到的對象緩存到同步處理隊(duì)列中。采集任務(wù)只負(fù)責(zé)通訊的部分 (UDP 包的收發(fā)),從而使采集任務(wù)分配和線程調(diào)度更簡單、調(diào)度也更合理。
(5)采集數(shù)據(jù)內(nèi)存數(shù)據(jù)庫入庫:采集數(shù)據(jù)隊(duì)列中的數(shù)據(jù),由固定數(shù)目的采集數(shù)據(jù)處理線程在同步處理,將采集數(shù)據(jù)對象解析、存儲到內(nèi)存數(shù)據(jù)庫。
(6)數(shù)據(jù)同步處理:內(nèi)存數(shù)據(jù)庫中的數(shù)據(jù)實(shí)際上將大部分活動數(shù)據(jù)放到內(nèi)存中,而將另外部分?jǐn)?shù)據(jù)存儲到文件中。因此,在系統(tǒng)Demo測試中,內(nèi)存數(shù)據(jù)庫文件可以達(dá)到10G(理論上,可以達(dá)到1T),但是內(nèi)存數(shù)據(jù)并發(fā)處理線程在設(shè)置到1000時(shí),系統(tǒng)頻繁提示內(nèi)存數(shù)據(jù)庫連接失敗。因此,此部分?jǐn)?shù)據(jù)處理要將線程設(shè)定在經(jīng)驗(yàn)上允許的范圍內(nèi)。
圖3 系統(tǒng)功能模型
圖4 應(yīng)用子系統(tǒng)處理流程
圖5 應(yīng)用子系統(tǒng)邏輯視圖
3.2.2 大量小站任務(wù)分配方法
在指定的周期內(nèi),使用更多的線程,會使整體上任務(wù)更快的完成,但是會造成更大的帶寬。
針對固定數(shù)目的采集目標(biāo)來說,采集任務(wù)要盡可能的在在周期內(nèi)平均分布[8],這樣可以達(dá)到理想的目標(biāo):
IP=Tm*Nm/Tl;
(1)IP–理想線程數(shù);
圖6 采集子系統(tǒng)處理流程
圖7 采集監(jiān)控子系統(tǒng)邏輯視圖
(2)TmP–當(dāng)前平均任務(wù)執(zhí)行時(shí)間;
(3)Nm–剩余任務(wù)數(shù);
(4)Tl–剩余時(shí)間。因此,采用線程調(diào)度和動態(tài)調(diào)整的方式不斷對線程數(shù)進(jìn)行調(diào)整,是線程盡可能的在整個(gè)周期內(nèi)平均分布。
3.2.3 周期保護(hù)方法
所謂周期保護(hù),就是指保證在周期內(nèi)能完成指定的任務(wù)。因此在計(jì)算的時(shí)候,需要使用周期保護(hù)時(shí)間,即:
T=Ti-TP;
(1)T–實(shí)際周期;
(2)Ti–理想周期;
(3)TP–周期保護(hù)時(shí)間。
系統(tǒng)動態(tài)調(diào)整的目標(biāo)是實(shí)際周期。這樣在一定的時(shí)間范圍內(nèi),任務(wù)在實(shí)際周期邊界上動態(tài)吻合。
3.2.4 數(shù)據(jù)緩存和數(shù)據(jù)處理取到的數(shù)據(jù),首先放置到內(nèi)存數(shù)據(jù)庫中。數(shù)據(jù)同步任務(wù)使用固定的頻率將數(shù)據(jù)同步到物理數(shù)據(jù)庫中。
監(jiān)聽子系統(tǒng)監(jiān)聽系統(tǒng)中的TRAP信息[6],對TRAP信息進(jìn)行分析處理,保存到告警信息庫中。
Trap信息監(jiān)聽子系統(tǒng)負(fù)責(zé)網(wǎng)絡(luò)內(nèi)Trap信息的采集和處理。在接受到Trap信息后首先根據(jù)過濾規(guī)則判斷是否處理,對于需要處理的Trap信息系統(tǒng)解析并進(jìn)行狀態(tài)或者告警分析。
Trap監(jiān)聽子系統(tǒng)的模塊連接如圖8所示。
圖8 Trap監(jiān)聽子系統(tǒng)模塊邏輯視圖
主要處理過程如下:
(1)Trap偵聽,接收來自各網(wǎng)元設(shè)備的原始數(shù)據(jù)trap類型的PDU 數(shù)據(jù);
(2)對采集到的原始PDU 信息進(jìn)行解析,并將其封裝為Java對象,放置到TRAP隊(duì)列中,多個(gè)線程同時(shí)處理;
(3)從隊(duì)列中獲取封裝的PDU 對象,匹配告警規(guī)則,構(gòu)造完整的trap告警事件;
(4)拼裝的告警事件SQL,裝入內(nèi)存數(shù)據(jù)庫;
(5)獲取內(nèi)存數(shù)據(jù)庫的告警事件SQL,并將其同步到物理數(shù)據(jù)庫告警事件表中;
(6)獲取物理數(shù)據(jù)庫中告警事件信息進(jìn)行計(jì)數(shù)和配對操作,完成告警事件到活動告警的轉(zhuǎn)化;
(7)啟動告警事件清除線程,定時(shí)完成清除操作。
配置命令子系統(tǒng)監(jiān)聽設(shè)備配置命令隊(duì)列,當(dāng)接收到新的配置命令,系統(tǒng)分析命令格式、獲取設(shè)備相關(guān)配置參數(shù),使用相應(yīng)的協(xié)議配置到設(shè)備中。配置命令子系統(tǒng)的模塊連接如圖9所示。
配置命令監(jiān)聽子系統(tǒng)負(fù)責(zé)設(shè)備配置命令的接收和處理。配置命令子系統(tǒng)監(jiān)聽配置命令隊(duì)列,在接收到應(yīng)用子系統(tǒng)發(fā)來的設(shè)備配置命令后,首先根據(jù)數(shù)據(jù)庫中配置對命令進(jìn)行分析,判斷是否需要處理,對于需要處理的配置命令系統(tǒng)解析并通過相應(yīng)的設(shè)備配置適配器完成最終的配置工作。
圖9 配置命令子系統(tǒng)處理流程
配置命令監(jiān)聽子系統(tǒng)的模塊連接如圖10所示。
圖10 配置命令監(jiān)聽子系統(tǒng)邏輯視圖
部署視圖的結(jié)構(gòu)包括各個(gè)物理節(jié)點(diǎn)的硬、軟件配置,網(wǎng)絡(luò)邏輯的拓?fù)浣Y(jié)構(gòu),節(jié)點(diǎn)交互與通訊等;同時(shí)還表達(dá)了進(jìn)程視圖中的各個(gè)進(jìn)程具體分配到物理節(jié)點(diǎn)的映射關(guān)系。
用戶客戶端:用戶客戶端為普通pc機(jī)或筆記本,要求客戶端的瀏覽器為IE6.0或以上,或者Firefox2.0或以上。
Web服務(wù)器:操作系統(tǒng)為Windows Server系列/Linux。Web服務(wù)器上部署的是NMS應(yīng)用程序,該應(yīng)用程序運(yùn)行在Tomcat5或Tomcat5 以上,或者Jboss4 及以上,要求jre的版本為1.5或1.5以上的環(huán)境下。
數(shù)據(jù)庫服務(wù)器:Oracle9i。
應(yīng)用服務(wù)器:操作系統(tǒng)為Windows Server系列/Linux。主要部署設(shè)備配置服務(wù)和監(jiān)控子系統(tǒng),要求jre的版本為1.5或1.5以上。
采集服務(wù)器:操作系統(tǒng)為Windows Server系列/Linux。主要部署采集子系統(tǒng),要求jre的版本為1.5或1.5以上。
本研究結(jié)果是通信網(wǎng)絡(luò)管理的工程應(yīng)用,重點(diǎn)介紹了系統(tǒng)的體系結(jié)構(gòu)、邏輯視圖和功能模塊分解,并給出了部署方法。重點(diǎn)對采集系統(tǒng)的處理算法,任務(wù)分配和周期保護(hù)算法進(jìn)行了說明。實(shí)踐證明,本系統(tǒng)是快速、智能、可靠、易用的實(shí)踐成果,有效提升到端端網(wǎng)絡(luò)管理能力和通信網(wǎng)絡(luò)運(yùn)行質(zhì)量。下一步,將繼續(xù)研發(fā)應(yīng)急NMS,增加安全風(fēng)險(xiǎn)評估[8]功能,以保障在自然災(zāi)害、突發(fā)事件頻繁發(fā)生的情況下通信系統(tǒng)的穩(wěn)定運(yùn)行[10]。
[1]CHEN Jingyang.Key techniques of end-to-end network management system [D].Wuhan:Wuhan Institute of Posts and Telecommunications Science,2014:1-75 (in Chinese).[陳競陽.端到端網(wǎng)管系統(tǒng)關(guān)鍵技術(shù)研究 [D].武漢:武漢郵電科學(xué)研究院,2014:1-75.]
[2]AN Fengdong.Small and medium-sized VSAT satellite communications network administrator protocol research [D].Xi’an:Xi’an University of Science and Technology,2013:1-80 (in Chinese).[安豐東.中小型VSAT 衛(wèi)星通信網(wǎng)網(wǎng)管協(xié)議研究[D].西安:西安科技大學(xué),2013:1-80.]
[3]XU Ning.Design and implementation of mobile communication network performance management system [D].Jinan:Shandong University,2014:1-82(in Chinese).[許寧.移動通信網(wǎng)絡(luò)性能管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].濟(jì)南:山東大學(xué),2014:1-82.]
[4]WANG Qian.Research and development of wireless communication network equipment performance monitoring system [D].Xi’an:Xi’an University of Electronic Science and Technology,2012:1-77(in Chinese).[王倩.無線通信網(wǎng)絡(luò)設(shè)備性能監(jiān)控系統(tǒng)的研究與開發(fā)[D].西安:西安電子科技大學(xué),2012:1-77.]
[5]LIANG Wenbo.Research and design of centralized WLAN extended network management system [D].Beijing:Beijing Jiaotong Universery,2013:1-79 (in Chinese). [梁文波.集中式WLAN 中可擴(kuò)展網(wǎng)絡(luò)管理系統(tǒng)的研究與設(shè)計(jì) [D].北京:北京交通大學(xué),2013:1-79.]
[6]ZHOU Haifeng.Design implementation of ultrashort wave network management system configuration and parameters regulation subsystem [D].Harbin:Harbin Institute of Technolog,2012:1-79 (in Chinese). [周海峰.超短波網(wǎng)管系統(tǒng)網(wǎng)絡(luò)參數(shù)配置與監(jiān)管子系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn) [D].哈爾濱:哈爾濱工業(yè)大學(xué),2012:1-79.]
[7]WANG Xuliang.Research and application of huge amounts of data caching algorithm and design patterns [D].Hangzhou:Zhejiang Universery,2013:1-57 (in Chinese).[王旭良.海量數(shù)據(jù)緩存算法與設(shè)計(jì)模式的研究及應(yīng)用 [D].杭州:浙江大學(xué),2013:1-57.]
[8]XIAO Xin,ZHANG Hesheng,YANG Jun,et al.A method of traffic information collection sensor network task allocation[J].Chinese Journal of Scientific Instrument,2012,33 (11):2529-2534 (in Chinese).[肖欣,張和生,楊軍,等.一種交通信息采集傳感器網(wǎng)絡(luò)任務(wù)分配方法 [J].儀器儀表學(xué)報(bào),2012,33 (11):2529-2534.]
[9]ZHANG Min.Research of electric power communication network administrator system security risk assessment algorithm[D].Baoding:North China Electric Power University,2014:1-68 (in Chinese).[張敏.電力通信網(wǎng)網(wǎng)管系統(tǒng)安全風(fēng)險(xiǎn)評估算法研究 [D].保定:華北電力大學(xué),2014:1-68.]
[10]LI Kaipeng.Design and implementation of emergency communications network management system [D].Beijing:Beijing University of Posts and Telecommunications,2014:1-77 (in Chinese). [李凱鵬.應(yīng)急通信網(wǎng)絡(luò)管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].北京:北京郵電大學(xué),2014:1-77.]