• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      一種高可用負(fù)載均衡網(wǎng)絡(luò)數(shù)據(jù)采集處理的方法及系統(tǒng)

      2020-08-13 06:01:42
      廣東通信技術(shù) 2020年7期
      關(guān)鍵詞:處理單元端口狀態(tài)

      1 引言

      隨著傳感器技術(shù)、計(jì)算機(jī)技術(shù)、互聯(lián)網(wǎng)技術(shù)等的飛速發(fā)展,依托對(duì)網(wǎng)絡(luò)數(shù)據(jù)的采集處理,網(wǎng)絡(luò)應(yīng)用發(fā)展迅猛,極大地提高了社會(huì)生產(chǎn)效率,改善了民眾社會(huì)生活水平,與此同時(shí)帶來(lái)了爆炸式增長(zhǎng)的網(wǎng)絡(luò)流量,這對(duì)網(wǎng)絡(luò)數(shù)據(jù)采集處理的性能和穩(wěn)定性提出了極高的要求[1]。

      目前,針對(duì)實(shí)際業(yè)務(wù)與應(yīng)用需要,需要對(duì)網(wǎng)絡(luò)數(shù)據(jù)包進(jìn)行采集處理,主流的網(wǎng)絡(luò)數(shù)據(jù)采集和處理系統(tǒng)主要包括:匯聚交換設(shè)備、采集處理單元、組網(wǎng)交換機(jī)等,根據(jù)應(yīng)用和業(yè)務(wù)需要對(duì)網(wǎng)絡(luò)數(shù)據(jù)包進(jìn)行采集處理[2]?,F(xiàn)有的網(wǎng)絡(luò)數(shù)據(jù)采集處理系統(tǒng)中,匯聚交換設(shè)備依據(jù)LAN端口的電氣狀態(tài),判斷采集處理單元的端口和鏈路是否正常[3,4]。若端口狀態(tài)和鏈路都正常的情況下,因匯聚交換設(shè)備未知的硬件故障導(dǎo)致LAN端口通信中斷,或采集處理單元出現(xiàn)異常時(shí),這將導(dǎo)致匯聚交換設(shè)備無(wú)法正常判斷,數(shù)據(jù)的繼續(xù)傳輸會(huì)造成丟失或網(wǎng)絡(luò)中斷,嚴(yán)重影響網(wǎng)絡(luò)的安全和穩(wěn)定[5]。

      綜上所述,需要研究一種高可用負(fù)載均衡網(wǎng)絡(luò)數(shù)據(jù)采集處理的方法,能夠監(jiān)測(cè)網(wǎng)絡(luò)數(shù)據(jù)采集處理系統(tǒng)軟硬件的運(yùn)行狀態(tài),準(zhǔn)確快速地判斷軟硬件故障,能準(zhǔn)實(shí)時(shí)地將故障端口、單元對(duì)應(yīng)的數(shù)據(jù)均分到其他正常運(yùn)行的數(shù)據(jù)采集處理單元,保障系統(tǒng)運(yùn)行正常、網(wǎng)絡(luò)通信穩(wěn)定,真正實(shí)現(xiàn)高可用的負(fù)載均衡網(wǎng)絡(luò)數(shù)據(jù)采集處理系統(tǒng),具有重要的意義。

      2 高可用負(fù)載均衡網(wǎng)絡(luò)數(shù)據(jù)采集處理系統(tǒng)

      高可用負(fù)載均衡網(wǎng)絡(luò)數(shù)據(jù)采集處理系統(tǒng)由匯聚交換設(shè)備、采集處理單元、組網(wǎng)交換機(jī)等組成,系統(tǒng)拓?fù)淙鐖D1所示,各部分描述如下:

      圖1 高可用負(fù)載均衡網(wǎng)絡(luò)數(shù)據(jù)采集處理系統(tǒng)拓?fù)鋱D

      (1)外部網(wǎng)絡(luò)設(shè)備:通過(guò)鏈路與匯聚交換設(shè)備的WAN端口相連,能夠進(jìn)行雙向通信;

      (2)匯聚交換設(shè)備:按負(fù)載均衡策略把流量均衡地從LAN端口組輸出;

      (3)采集處理單元:根據(jù)LAN端口的總數(shù),按平均分配的原則,與匯聚交換設(shè)備的LAN端口對(duì)接,每個(gè)采集處理單元可以接入一條或多條鏈路;根據(jù)應(yīng)用和業(yè)務(wù)需要對(duì)輸入的數(shù)據(jù)進(jìn)行采集、分析、處理、轉(zhuǎn)發(fā)等。

      (4)轉(zhuǎn)發(fā)的數(shù)據(jù)流向:由LAN端口輸入到匯聚交換設(shè)備,經(jīng)匯聚交換設(shè)備把數(shù)據(jù)從對(duì)應(yīng)的WAN端口輸出;

      (5)通信方式:匯聚交換設(shè)備、采集處理單元的管理通信網(wǎng)口連接到組網(wǎng)交換機(jī),相互進(jìn)行通信。

      2.1 高可用負(fù)載均衡網(wǎng)絡(luò)數(shù)據(jù)采集處理系統(tǒng)的方案設(shè)計(jì)

      對(duì)系統(tǒng)整體架構(gòu)拆分分析,系統(tǒng)整體架構(gòu)如圖2所示,各部分的邏輯描述如下:

      圖2 高可用負(fù)載均衡網(wǎng)絡(luò)數(shù)據(jù)采集處理系統(tǒng)的整體架構(gòu)

      (1)為每個(gè)采集處理單元分配一個(gè)按數(shù)字遞增的唯一主機(jī)ID,從1開(kāi)始。同時(shí)配置在線采集處理單元的總數(shù)、對(duì)應(yīng)的LAN端口號(hào)等信息,這些信息記錄到配置文件;

      (2)每個(gè)采集處理單元除了部署網(wǎng)絡(luò)數(shù)據(jù)包采集、處理的相關(guān)功能模塊外,還需部署系統(tǒng)監(jiān)控模塊,分為主控狀態(tài)和備用狀態(tài);

      (3)各采集處理單元的系統(tǒng)監(jiān)控模塊按如下規(guī)則確定主控、備用狀態(tài):所有當(dāng)前正常運(yùn)行的采集處理單元中,主機(jī)ID最小的系統(tǒng)監(jiān)控模塊為主控狀態(tài),其他采集處理單元中的系統(tǒng)監(jiān)控模塊為備用狀態(tài);

      隨著互聯(lián)網(wǎng)信息技術(shù)和社會(huì)經(jīng)濟(jì)的快速發(fā)展,人們獲取信息的方式和媒介信息傳播的生態(tài)環(huán)境發(fā)生了巨大變革。在信息傳播格局深刻變化的新時(shí)代,網(wǎng)絡(luò)媒介信息宣傳工作必須跟上時(shí)代發(fā)展的步伐,著力打造行業(yè)特色信息傳播平臺(tái),通過(guò)多種媒介語(yǔ)言講好文化故事。網(wǎng)絡(luò)編輯只有主動(dòng)適應(yīng)新形勢(shì),把握新機(jī)遇,將新技術(shù)、新手段運(yùn)用于媒介信息宣傳工作的創(chuàng)新實(shí)踐中,才能為優(yōu)化信息傳播工作提供更便捷、更實(shí)用、更有效的載體。

      (5)主系統(tǒng)監(jiān)控模塊的功能有:監(jiān)控其他采集處理單元的心跳情況,當(dāng)某個(gè)采集處理單元的心跳發(fā)生超時(shí),關(guān)閉故障對(duì)應(yīng)的LAN端口,把數(shù)據(jù)負(fù)載均衡地分配到其他正常運(yùn)行的采集處理單元,如圖3所示;

      (6)備系統(tǒng)監(jiān)控模塊的功能有:監(jiān)控其他采集處理單元的心跳情況,當(dāng)發(fā)現(xiàn)某個(gè)采集處理單元的心跳發(fā)生超時(shí),判斷自身主機(jī)ID是否為當(dāng)前在線正常運(yùn)行采集處理單元中最小的,如果不是,則不需處理,否則將自身狀態(tài)切換為主控狀態(tài),關(guān)閉故障對(duì)應(yīng)的LAN端口,把數(shù)據(jù)負(fù)載均衡地分配到其他正常運(yùn)行的采集處理單元,如圖4所示。

      2.2 高可用負(fù)載均衡網(wǎng)絡(luò)數(shù)據(jù)采集處理系統(tǒng)的方案邏輯

      針對(duì)系統(tǒng)的采集處理過(guò)程,通過(guò)主控、備用兩種通信方式的結(jié)合,具有了雙重保障,可實(shí)現(xiàn)高效和可靠的故障判斷,避免誤判,各部分設(shè)定的邏輯描述如下:

      (1)當(dāng)主系統(tǒng)監(jiān)控模塊所在的采集處理單元出現(xiàn)故障時(shí),則由其他正常運(yùn)行采集處理單元中主機(jī)ID最小的系統(tǒng)監(jiān)控模塊接替為主控狀態(tài),邏輯描述如圖3所示;

      圖3 主系統(tǒng)監(jiān)控模塊異常處理邏輯描述圖

      (2)當(dāng)原主系統(tǒng)監(jiān)控模塊所在的采集處理單元恢復(fù)正常時(shí),由于其主機(jī)ID是當(dāng)前最小的,所以重新成為主系統(tǒng)監(jiān)控模塊,而之前接替為主系統(tǒng)監(jiān)控模塊判斷到有主機(jī)ID更小的采集處理單元激活,則退出主控狀態(tài),切換為備用狀態(tài),邏輯描述如圖4所示;

      (3)采集處理單元通過(guò)LAN端口發(fā)送心跳消息(包含自身主機(jī)ID信息),由匯聚交換設(shè)備廣播到其他采集處理單元,每個(gè)采集處理單元根據(jù)其他采集處理單元的心跳情況,從而確定它們的運(yùn)行狀態(tài);

      (4)采集處理單元還能通過(guò)組網(wǎng)交換機(jī)這條通信途徑相互通信,用于主系統(tǒng)監(jiān)控模塊確認(rèn)采集處理單元的故障情況(某臺(tái)采集處理單元的心跳超時(shí)),立刻通過(guò)組網(wǎng)交換機(jī)向疑似故障采集處理單元的系統(tǒng)監(jiān)控模塊發(fā)送異常確認(rèn)請(qǐng)求消息,如果收到確認(rèn)回復(fù)消息或響應(yīng)超時(shí),則判定其出現(xiàn)故障。

      圖4 主系統(tǒng)監(jiān)控模塊恢復(fù)正常邏輯描述圖

      2.3 負(fù)載均衡策略

      2.4 高可用策略

      按照主從方式配置:主機(jī)工作,備機(jī)處于監(jiān)控準(zhǔn)備狀況;當(dāng)主機(jī)宕機(jī)時(shí),備機(jī)接管主機(jī)的一切工作,待主機(jī)恢復(fù)正常后,按使用者的設(shè)定以自動(dòng)或手動(dòng)方式將服務(wù)切換到主機(jī)上運(yùn)行,數(shù)據(jù)的一致性通過(guò)共享存儲(chǔ)系統(tǒng)解決。

      高可用策略能夠在匯聚交換設(shè)備LAN端口、鏈路、采集處理單元端口出現(xiàn)故障、采集處理單元掉電的情況下保證數(shù)據(jù)不丟失、網(wǎng)絡(luò)不中斷;同時(shí)也能保證匯聚交換設(shè)備因監(jiān)測(cè)不到的硬件故障導(dǎo)致LAN端口通信中斷,或者采集處理單元在操作系統(tǒng)死機(jī)、采集處理軟件出現(xiàn)故障、采集處理單元在線更新升級(jí)時(shí),達(dá)到數(shù)據(jù)不丟失、業(yè)務(wù)不中斷、網(wǎng)絡(luò)無(wú)感知的效果。

      2.5 整體方案流程

      整體方案流程如圖5所示,詳細(xì)的處理流程描述如下:

      (1)采集處理單元啟動(dòng)完成后,采集處理模塊按定義的時(shí)間間隔(每5毫秒)從LAN端口發(fā)送心跳消息,心跳消息包含自身的主機(jī)ID信息,由匯聚交換設(shè)備廣播到其他采集處理單元。采集處理模塊發(fā)送心跳的同時(shí)把時(shí)間戳記錄到共享內(nèi)存,精確到毫秒。

      (2)當(dāng)采集處理單元在采集數(shù)據(jù)時(shí),收到其他采集處理單元發(fā)送的心跳消息后,把該主機(jī)ID和心跳時(shí)間戳記錄到共享內(nèi)存,精確到毫秒。

      (3)每個(gè)采集處理單元的系統(tǒng)監(jiān)控模塊每5 ms讀取一次共享內(nèi)存,檢查自身及其他采集處理單元的心跳消息時(shí)間戳,如果自身的心跳時(shí)間戳超過(guò)15 ms沒(méi)有更新,說(shuō)明采集處理模塊連續(xù)缺少3個(gè)心跳消息,可確認(rèn)其出現(xiàn)異常,在收到其他采集處理單元發(fā)送過(guò)來(lái)的異常確認(rèn)請(qǐng)求消息時(shí)回復(fù)確認(rèn)消息;如果其他采集處理單元的心跳時(shí)間戳超過(guò)15 ms沒(méi)有更新,說(shuō)明該采集處理單元連續(xù)缺少3個(gè)心跳消息,已經(jīng)出現(xiàn)異常,不能正常發(fā)送心跳消息。

      (4)主控狀態(tài)的系統(tǒng)監(jiān)控模塊監(jiān)測(cè)到其他采集處理單元出現(xiàn)異常后,立刻通過(guò)組網(wǎng)交換機(jī)的通信途徑向異常單元的系統(tǒng)監(jiān)控模塊發(fā)送異常確認(rèn)請(qǐng)求消息,如果收到確認(rèn)回復(fù)或響應(yīng)超時(shí),則判定該單元異常,把匯聚交換設(shè)備對(duì)應(yīng)的LAN端口設(shè)置為不可用狀態(tài),流量不再向其分流;如果收到采集處理單元正常運(yùn)行的回復(fù)消息,則認(rèn)為是匯聚分流設(shè)備的原因?qū)е拢骺叵到y(tǒng)監(jiān)控模塊不需操作,由另外的匯聚交換設(shè)備的保護(hù)機(jī)制實(shí)施保護(hù)措施。

      (5)如果備用狀態(tài)的系統(tǒng)監(jiān)控模塊檢測(cè)到其他備用狀態(tài)的采集處理單元心跳超時(shí),由于自身主機(jī)ID非當(dāng)前最小,所以不需進(jìn)行任何操作。

      (6)如果備用狀態(tài)的系統(tǒng)監(jiān)控模塊檢測(cè)到主控狀態(tài)的采集處理單元心跳超時(shí),則判斷自身主機(jī)ID是否僅次于主控采集處理單元,如果是,則將自己切換成主控狀態(tài),同時(shí)通過(guò)組網(wǎng)交換機(jī)的通信途徑向原主控采集處理單元的系統(tǒng)監(jiān)控模塊發(fā)送異常確認(rèn)請(qǐng)求消息,如果收到確認(rèn)回復(fù)或響應(yīng)超時(shí),則判定該單元異常,把匯聚交換設(shè)備對(duì)應(yīng)的LAN端口設(shè)置為不可用狀態(tài),流量不再向其分流,如果收到原主控采集處理單元正常運(yùn)行的回復(fù)消息,則認(rèn)為是匯聚分流設(shè)備的原因?qū)е?,不需進(jìn)行任何操作,由另外的匯聚交換設(shè)備的保護(hù)機(jī)制實(shí)施保護(hù)措施。

      圖5 高可用負(fù)載均衡網(wǎng)絡(luò)數(shù)據(jù)采集處理系統(tǒng)的方案處理流程圖

      3 結(jié)論

      本文所提的高可用負(fù)載均衡網(wǎng)絡(luò)數(shù)據(jù)采集處理的方法及系統(tǒng),采用簡(jiǎn)潔的通信協(xié)議,嚴(yán)謹(jǐn)?shù)目刂七壿?,在不增加硬件成本的情況下能夠監(jiān)測(cè)軟硬件的運(yùn)行狀態(tài),當(dāng)系統(tǒng)出現(xiàn)軟硬件故障時(shí)能準(zhǔn)確、快速地判斷故障,特別適用在綜合門(mén)戶(hù)系統(tǒng)、電子政務(wù)系統(tǒng)、綜合管理系統(tǒng)等需要大量網(wǎng)絡(luò)數(shù)據(jù)采集及處理的場(chǎng)景中應(yīng)用。

      猜你喜歡
      處理單元端口狀態(tài)
      不同生物鏈組合對(duì)黃河下游地區(qū)引黃水庫(kù)富營(yíng)養(yǎng)化及藻類(lèi)控制
      城市污水處理廠設(shè)備能耗及影響因素分析研究
      科技資訊(2021年10期)2021-07-28 04:04:53
      長(zhǎng)填齡滲濾液MBR+NF組合工藝各處理單元的DOM化學(xué)多樣性
      一種端口故障的解決方案
      狀態(tài)聯(lián)想
      生命的另一種狀態(tài)
      端口阻塞與優(yōu)先級(jí)
      電動(dòng)汽車(chē)主控制器雙機(jī)熱備的設(shè)計(jì)
      熱圖
      家庭百事通(2016年3期)2016-03-14 08:07:17
      堅(jiān)持是成功前的狀態(tài)
      山東青年(2016年3期)2016-02-28 14:25:52
      老河口市| 巨野县| 德兴市| 安塞县| 乌拉特后旗| 茌平县| 白沙| 潮安县| 湘潭县| 共和县| 南康市| 武功县| 休宁县| 上犹县| 泊头市| 阿拉尔市| 南投市| 白山市| 鄂托克旗| 宣城市| 贺州市| 古交市| 永顺县| 游戏| 宝坻区| 泾阳县| 阿拉尔市| 平塘县| 南昌县| 武陟县| 疏勒县| 保靖县| 绵竹市| 宁城县| 海宁市| 合阳县| 宁蒗| 沅江市| 扎兰屯市| 抚顺市| 陆丰市|