• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看

      ?

      關(guān)于提高城市軌道交通清分中心處理能力的設(shè)計(jì)研究

      2012-04-01 04:05:11朱嘉斌
      城市軌道交通研究 2012年3期
      關(guān)鍵詞:批處理分中心數(shù)據(jù)處理

      朱嘉斌

      (蘇州軌道交通有限公司建設(shè)分公司,215006,蘇州∥工程師)

      城市軌道交通清分中心是實(shí)現(xiàn)軌道交通網(wǎng)絡(luò)化、提高服務(wù)水平的重要基礎(chǔ)。它具有連接各個(gè)線路售檢票系統(tǒng),處理線網(wǎng)內(nèi)所有交易數(shù)據(jù)的功能。隨著城市軌道交通線路的增多,提高清分中心數(shù)據(jù)處理能力的需求越益迫切。

      本文從清分中心系統(tǒng)性能的設(shè)計(jì)需求分析出發(fā),分別對(duì)清分中心的軟件、硬件、數(shù)據(jù)庫(kù)3個(gè)方面進(jìn)行設(shè)計(jì),以整體提升系統(tǒng)的數(shù)據(jù)處理和線路接入能力。

      1 清分中心系統(tǒng)處理性能的設(shè)計(jì)要求

      為能滿足城市軌道交通實(shí)際客流交易數(shù)據(jù)的處理要求,又能夠合理部署、減小過(guò)高配置帶來(lái)的資源浪費(fèi),以降低投資,各個(gè)城市應(yīng)根據(jù)自身軌道交通的預(yù)測(cè)客流,對(duì)清分中心系統(tǒng)的軟硬件進(jìn)行針對(duì)性設(shè)計(jì)。本文以一般性城市遠(yuǎn)期處理需求為例,按每日處理300萬(wàn)人次的客流數(shù)據(jù)(750萬(wàn)筆交易數(shù)據(jù))、2h內(nèi)完成清算批處理、在4h內(nèi)完成累計(jì)2天的最大客流量的交易數(shù)據(jù)清算等幾項(xiàng)重要指標(biāo),對(duì)系統(tǒng)軟件、硬件和數(shù)據(jù)庫(kù)進(jìn)行針對(duì)性的設(shè)計(jì)研究。

      2 硬件設(shè)備的設(shè)計(jì)

      2.1 服務(wù)器選型

      根據(jù)關(guān)鍵性能要求,即2h完成750萬(wàn)筆交易數(shù)據(jù)(300萬(wàn)人次客流)清分、4h內(nèi)完成累計(jì)2天的交易數(shù)據(jù)清算,進(jìn)行分析、配置相應(yīng)硬件設(shè)備。按經(jīng)驗(yàn),每筆實(shí)際清分交易相當(dāng)于2筆標(biāo)準(zhǔn)TPCC(整體性能計(jì)算單位)交易的處理量。

      滿足2h內(nèi)完成對(duì)最大次數(shù)交易量處理的清分系統(tǒng)主機(jī)性能要求為:

      (750萬(wàn)筆交易數(shù)據(jù)×2)/(2×60min)=125 000 TPCC/min

      滿足4h內(nèi)完成累計(jì)2天的交易數(shù)據(jù)清算處理的清分系統(tǒng)主機(jī)性能要求為:

      (750萬(wàn)筆交易數(shù)據(jù)×2×2)/(4×60min)=125 000TPCC/min

      另外,系統(tǒng)還將預(yù)留70%的處理余量,因此選擇相應(yīng)服務(wù)器設(shè)備需達(dá)到125 000TPCC/min的要求。

      2.2 硬件資源分配

      對(duì)清分計(jì)算機(jī)主機(jī)資源進(jìn)行合理的應(yīng)用分配,以期達(dá)到負(fù)載均衡、充分發(fā)揮2臺(tái)服務(wù)器的處理能力。

      為了預(yù)防單點(diǎn)故障,需要有配置互為備份的2臺(tái)主機(jī)。為了充分利用硬件資源,使用2臺(tái)主機(jī)同時(shí)參與應(yīng)用處理。在系統(tǒng)繁忙時(shí),可能出現(xiàn)因負(fù)載不均衡導(dǎo)致的系統(tǒng)阻塞和顛簸。為了避免這種情況發(fā)生,隨時(shí)檢測(cè)資源的忙閑狀況,將任務(wù)交給相對(duì)空閑的主機(jī)去做,以均衡負(fù)載,達(dá)到最優(yōu)化的處理性能。

      2.3 硬件的擴(kuò)展性設(shè)計(jì)

      考慮后期數(shù)據(jù)處理需求的增長(zhǎng),清分中心系統(tǒng)只需通過(guò)對(duì)硬件設(shè)備的擴(kuò)充,即達(dá)到所需要的性能指標(biāo)處理要求。為保證清分中心系統(tǒng)的可擴(kuò)展性和處理能力,清分中心系統(tǒng)使用了多機(jī)處理方式,以便于實(shí)現(xiàn)對(duì)分布于不同主機(jī)上的同類子系統(tǒng)、進(jìn)程的監(jiān)控。這樣既能從業(yè)務(wù)系統(tǒng)的高度,又能從具體主機(jī)上的某個(gè)進(jìn)程的深度來(lái)完成具體的管理任務(wù),并可實(shí)現(xiàn)擴(kuò)展相應(yīng)硬件提高處理能力的目標(biāo)。

      3 軟件系統(tǒng)的設(shè)計(jì)

      3.1 優(yōu)先級(jí)設(shè)計(jì)

      清分中心系統(tǒng)按業(yè)務(wù)的實(shí)時(shí)性要求,進(jìn)行區(qū)分優(yōu)先級(jí)的業(yè)務(wù)處理。

      對(duì)于實(shí)時(shí)性要求高的數(shù)據(jù)處理,如事件(狀態(tài))、命令、模式切換、參數(shù)同步等,賦予較高的處理優(yōu)先級(jí);而對(duì)于實(shí)時(shí)性要求低的數(shù)據(jù)處理,如交易數(shù)據(jù)上傳、寄存器數(shù)據(jù)上傳等,賦予較低的處理優(yōu)先級(jí)。

      后臺(tái)應(yīng)用服務(wù)處理進(jìn)程在其任務(wù)隊(duì)列中取出優(yōu)先級(jí)最高的任務(wù)進(jìn)行處理。優(yōu)先級(jí)高的任務(wù)總是能被很快地優(yōu)先處理掉,而不會(huì)被大量的優(yōu)先級(jí)低的任務(wù)所阻塞。這樣,就不會(huì)發(fā)生因通信故障恢復(fù)后產(chǎn)生的大量交易數(shù)據(jù)上傳阻塞而導(dǎo)致命令、查詢等得不到及時(shí)響應(yīng)的情況,以滿足快速的響應(yīng)要求。

      3.2 并行處理

      啟動(dòng)多組應(yīng)用,采用并行數(shù)據(jù)處理技術(shù)以提高應(yīng)用處理能力。

      在一項(xiàng)任務(wù)的處理過(guò)程中,主機(jī)內(nèi)部各種硬件資源的使用率是不同的,而每種任務(wù)的硬件資源使用方式又各不相同。所以,同時(shí)進(jìn)行多項(xiàng)任務(wù)處理,可以充分發(fā)揮硬件的處理能力,從而增加數(shù)據(jù)處理的吞吐量。

      3.3 緩存技術(shù)應(yīng)用與設(shè)計(jì)

      大量使用內(nèi)存數(shù)據(jù)表和緩存,減少對(duì)硬盤的訪問(wèn)量,可以提升交易的處理速度。

      內(nèi)存中處理的速度往往比硬盤訪問(wèn)快一個(gè)數(shù)量級(jí)以上,因此將頻繁使用的數(shù)據(jù)強(qiáng)制放在內(nèi)存中,比每次用時(shí)都要從硬盤中讀出來(lái)要高效得多。在操作系統(tǒng)和數(shù)據(jù)庫(kù)層面,有很多內(nèi)存緩存的設(shè)計(jì)。在應(yīng)用層面,強(qiáng)制某些常用的數(shù)據(jù)表放在內(nèi)存中,以達(dá)到高效的處理效果。

      3.4 多批次的批處理

      為了提高硬件使用效率,采用每日分多批次進(jìn)行交易批處理的方式,充分利用在白天運(yùn)營(yíng)時(shí)的處理能力,而不是將所有批處理都放在晚上運(yùn)營(yíng)結(jié)束后進(jìn)行。這樣的設(shè)計(jì)在國(guó)內(nèi)軌道交通票務(wù)清分應(yīng)急系統(tǒng)中,曾經(jīng)可以達(dá)到在日終1h內(nèi)處理最大1 630萬(wàn)人次客流/日(4 000萬(wàn)筆交易/日),完全可以滿足一般地鐵清分系統(tǒng)的要求。

      清分中心系統(tǒng)在軟件結(jié)構(gòu)、存儲(chǔ)空間設(shè)計(jì)等方面,能夠保證在2倍的時(shí)間里,處理2倍的交易量。

      3.5 斷點(diǎn)續(xù)做

      在清分中心系統(tǒng)運(yùn)行初期,可能會(huì)因某些異常數(shù)據(jù)導(dǎo)致批處理異常中斷。若每次異常中斷后都要重做,將會(huì)花費(fèi)大量時(shí)間。由于晚間停運(yùn)時(shí)間有限,如果直到第二天早晨仍不能完成日終批處理,將會(huì)產(chǎn)生較大影響。為了避免該類情況發(fā)生,可以對(duì)日終批處理過(guò)程設(shè)計(jì)斷點(diǎn)續(xù)做功能,使得成功完成的每個(gè)步驟(或若干筆交易)保存,當(dāng)發(fā)生異常中斷后,可在人工干預(yù)、排除異常數(shù)據(jù)后,在斷點(diǎn)開始重做,避免了每次都從頭重做的問(wèn)題。上述的斷點(diǎn)續(xù)做的特性,也保證了清分中心系統(tǒng)能在2倍的時(shí)間里,處理2倍的交易量。

      4 數(shù)據(jù)庫(kù)方面的設(shè)計(jì)

      從軟件實(shí)現(xiàn)角度分析,制約性能的瓶頸主要是在對(duì)數(shù)據(jù)庫(kù)的頻繁讀寫上。針對(duì)這一問(wèn)題,采取以下3種方案提升性能。

      1)應(yīng)用數(shù)據(jù)庫(kù)分區(qū)技術(shù),充分利用物理硬盤的并行性能,提高數(shù)據(jù)庫(kù)服務(wù)器性能。

      2)對(duì)數(shù)據(jù)庫(kù)系統(tǒng)的配置進(jìn)行優(yōu)化,使得數(shù)據(jù)庫(kù)的索引、關(guān)鍵表等能存放在內(nèi)存中,從而加快系統(tǒng)處理的速度。

      3)建立高效的索引,在應(yīng)用設(shè)計(jì)方面通過(guò)盡量減少不必要的表操作等措施來(lái)提高處理效率。

      以上優(yōu)化設(shè)計(jì)經(jīng)過(guò)在模擬平臺(tái)上的反復(fù)測(cè)試驗(yàn)證表明,可以有效提升城市軌道交通清分中心系統(tǒng)的數(shù)據(jù)處理能力。清分中心系統(tǒng)性能的提升可為今后復(fù)雜線網(wǎng)的正常運(yùn)營(yíng)提供可靠的保證。

      [1]黎江.軌道交通自動(dòng)售檢票系統(tǒng)RAMS設(shè)計(jì)[J].都市快軌交通,2008,21(2):83.

      [2]楊甲,羅欽,徐瑞華.網(wǎng)絡(luò)化運(yùn)營(yíng)條件下城市軌道交通票務(wù)清分方法研究[J].城市軌道交通研究,2009(5):22.

      [3]王富章,李平.關(guān)于網(wǎng)絡(luò)化AFC系統(tǒng)整合方案的研究[J].現(xiàn)代城市軌道交通,2005(5):15.

      [4]高朝暉,張寧,夏德傳.軌道交通清結(jié)算系統(tǒng)的分析與設(shè)計(jì)[J].交通運(yùn)輸工程與信息學(xué)報(bào),2008,6(2):31.

      [5]牛新奇,潘蔭榮.軌道交通系統(tǒng)中清分算法的研究[J].計(jì)算機(jī)時(shí)代,2005(2):17.

      [6]韓宇峰,張嘉玲.實(shí)時(shí)信息技術(shù)在地鐵清分系統(tǒng)中的研究與實(shí)現(xiàn)[J].城市軌道交通研究,2010(1):31.

      猜你喜歡
      批處理分中心數(shù)據(jù)處理
      浙江大學(xué)基礎(chǔ)醫(yī)學(xué)實(shí)驗(yàn)教學(xué)中心機(jī)能分中心
      浙江大學(xué)基礎(chǔ)醫(yī)學(xué)實(shí)驗(yàn)教學(xué)中心機(jī)能分中心
      認(rèn)知診斷缺失數(shù)據(jù)處理方法的比較:零替換、多重插補(bǔ)與極大似然估計(jì)法*
      ILWT-EEMD數(shù)據(jù)處理的ELM滾動(dòng)軸承故障診斷
      高速公路監(jiān)控分中心網(wǎng)絡(luò)配置探析
      基于希爾伯特- 黃變換的去噪法在外測(cè)數(shù)據(jù)處理中的應(yīng)用
      各地分中心 海選現(xiàn)場(chǎng)
      基于PSD-BPA的暫態(tài)穩(wěn)定控制批處理計(jì)算方法的實(shí)現(xiàn)
      基于POS AV610與PPP的車輛導(dǎo)航數(shù)據(jù)處理
      批處理天地.文件分類超輕松
      崇信县| 长沙市| 永丰县| 冷水江市| 河曲县| 云霄县| 江陵县| 兴文县| 雷州市| 江陵县| 柏乡县| 化德县| 郁南县| 璧山县| 虞城县| 崇左市| 兴文县| 吐鲁番市| 北辰区| 中方县| 阜城县| 桂阳县| 惠安县| 高阳县| 密云县| 图们市| 华亭县| 旺苍县| 广汉市| 张家港市| 丹阳市| 禄劝| 通化县| 肇州县| 衡阳市| 沁阳市| 锦州市| 新蔡县| 灌南县| 海林市| 秦安县|