城市軌道交通票務(wù)清分性能優(yōu)化方案研究

方 暉 景 亮

（寧波軌道交通集團有限公司，315010，寧波∥第一作者，工程師）

城市軌道交通票務(wù)清分性能優(yōu)化方案研究

方 暉 景 亮

（寧波軌道交通集團有限公司，315010，寧波∥第一作者，工程師）

在分析現(xiàn)行軌道交通票務(wù)清分處理流程的基礎(chǔ)上，提出了多批次并發(fā)清分和多機并行批量清分的性能優(yōu)化建議方案。多批次并發(fā)清分不采用傳統(tǒng)的順序處理清分方式，將大量的待清分數(shù)據(jù)作批次分割后并發(fā)處理。多機并行批量清分則在解決并行沖突的基礎(chǔ)上多機并行處理，從而提高系統(tǒng)整體性能。

城市軌道交通；票務(wù)清分；優(yōu)化方案

First-author’s addressNingbo Rail Transit Group Co.，Ltd.，315010，Ningbo，China

1 研究目的

城市軌道交通清分中心承擔路網(wǎng)內(nèi)一票換乘票務(wù)的清分清算功能。清分系統(tǒng)根據(jù)一票換乘清分規(guī)則為各線路提供費率表，實現(xiàn)車票管理、票務(wù)管理、帳務(wù)管理及換乘清分規(guī)則的生成和發(fā)布；并依據(jù)全路網(wǎng)內(nèi)的基礎(chǔ)數(shù)據(jù)，實現(xiàn)各線路的帳務(wù)結(jié)算、車票調(diào)配，以及路網(wǎng)客流和運營模式等情況的監(jiān)控。此外，清分系統(tǒng)作為城市軌道交通網(wǎng)絡(luò)對外服務(wù)的唯一出口，進行公共交通卡在城市軌道交通網(wǎng)中使用時的資金清算；同時還負責向外部系統(tǒng)提供客流在不同時間斷面、不同路網(wǎng)區(qū)域內(nèi)的準確有效的數(shù)據(jù)統(tǒng)計信息［1］。因此，清分中心是城市軌道交通實現(xiàn)線網(wǎng)內(nèi)各線路之間聯(lián)網(wǎng)運行的重要機構(gòu)，其系統(tǒng)性能的高低對運營有直接影響。

目前，國內(nèi)如北京、上海等大城市，隨著其軌道交通路網(wǎng)規(guī)模的不斷擴大，日均客流也在快速增長，這就要求提高清分中心系統(tǒng)性能，以滿足大客流下的實時清分要求。如何在不增加設(shè)備投資的情況下進行系統(tǒng)優(yōu)化，是城市軌道交通清分中心需要考慮的問題。

2 清分處理流程

一個具有高擴展性的系統(tǒng)總是具有相當數(shù)量的參數(shù)，為了減少I/O開銷，提高效率，應(yīng)用系統(tǒng)應(yīng)大量采用參數(shù)表內(nèi)存化設(shè)計，并盡量多地將相關(guān)常用參數(shù)加載進內(nèi)存，從而最大限度地減少數(shù)據(jù)庫訪問的次數(shù)，降低慢速磁盤I/O的訪問量，提高處理性能。由于各種參數(shù)（包括不同的清分規(guī)則）可能會頻繁地發(fā)生變化，因此，為最大限度地保持內(nèi)存中參數(shù)與數(shù)據(jù)表中參數(shù)的一致性，流程調(diào)度模塊需要在履行每次調(diào)度任務(wù)前，將相關(guān)參數(shù)數(shù)據(jù)由數(shù)據(jù)表同步至共享內(nèi)存，以供其他模塊使用。

為了保證系統(tǒng)的穩(wěn)定性及可靠性，在每個清分流程執(zhí)行之前，需要由流程調(diào)度模塊對相關(guān)中間數(shù)據(jù)表進行數(shù)據(jù)清理，以保證清分中間結(jié)果數(shù)據(jù)的“純潔性”。清理的方法原則上采用整表清除的方法。為能實施整表清除，需要在設(shè)置中間表時進行相關(guān)的異常考慮。此外，該模塊還負責修改相關(guān)批次的控制狀態(tài)信息。清分處理流程如圖1所示。

圖1 清分處理流程

具體流程描述如下：

（1）數(shù)據(jù)初始化——完成共享內(nèi)存及部分應(yīng)用參數(shù)（如清分規(guī)則、車站信息等）的初始化工作。

（2）接收服務(wù)請求——異步方式接收管理控制臺批處理命令。

（3）清分預(yù)處理——對不同的服務(wù)請求執(zhí)行不同的預(yù)處理。包括了對共享內(nèi)存進行參數(shù)裝載的動作及相關(guān)控制信息的修改。由于相關(guān)參數(shù)信息可能已經(jīng)更改，因此對共享內(nèi)存進行參數(shù)裝載時需進行相關(guān)的控制，以避免由于同時裝載而導致的共享內(nèi)存中參數(shù)混亂。此外，在處理過程中還須清理相關(guān)異常數(shù)據(jù)。

本文應(yīng)用交叉熵蝙蝠算法來分別實現(xiàn)Merton跳-擴散期權(quán)定價模型、Heston期權(quán)定價模型和Bates期權(quán)定價模型的參數(shù)估計,模擬數(shù)據(jù)和市場數(shù)據(jù)的估計結(jié)果都表明用交叉熵蝙蝠算法來求解期權(quán)定價模型參數(shù)估計問題是可行的和有效的,能夠用該方法來對期權(quán)定價模型參數(shù)進行較為精確和快速的估計,從而對市場進行較為精準的預(yù)測和推斷。

（4）確定控制步驟——根據(jù)發(fā)送的不同批處理命令，確定對應(yīng)的執(zhí)行方案。

（5）讀取控制步驟——按照清分優(yōu)先級進行排序，根據(jù)清分日期讀取控制步驟。

（6）同步/異步發(fā)送——由于執(zhí)行步驟具有下一步驟是否等待上一步驟執(zhí)行完畢的特性，故需要確定發(fā)送方式為同步發(fā)送或異步發(fā)送，同步需要等待，異步則不需等待。

（7）清分后處理——進行適當?shù)膬?nèi)存參數(shù)、數(shù)據(jù)庫資源處理。

由于該流程是按順序處理接收到的車站線路交易數(shù)據(jù)的，因此在非高峰時段或總體客流量不大的情況下，系統(tǒng)能實時處理接收到的交易數(shù)據(jù)，但在運營高峰時段，特別是總體客流量很大的情況下，可能會使清分中心堆積大量的待清分數(shù)據(jù)，從而導致客流統(tǒng)計延時、實時斷面客流失真等問題。

3 清分優(yōu)化建議方案

為處理高峰時段產(chǎn)生的大數(shù)據(jù)量，在清分批處理過程中引入批次的概念。即由主控程序?qū)⒋宸謹?shù)據(jù)分割為若干個批次（分割粒度可通過參數(shù)配置），每個批次可包含不同時段的數(shù)據(jù)。

批處理過程可分成3個步驟：①待清分處理數(shù)據(jù)批次號分割；②多進程清分批處理；③每天一次的日期切換和日終批處理。優(yōu)化后的清分處理流程在預(yù)處理后、清分處理前加入清分批次號分配步驟。

在前處理成功后，由總控進程完成待清分處理數(shù)據(jù)的批次號分割工作，后續(xù)清分處理按批次號多進程并發(fā)完成。優(yōu)化后的清分處理流程如圖2所示。

3.1 多批次并發(fā)清分

在單機模式下，通過多進程的方式并發(fā)運行多個清分進程（每日實際運行的清分進程數(shù)可以由軌道交通清分中心的技術(shù)人員進行人工設(shè)置），每個清分進程獲取不同批次的待清分數(shù)據(jù)進行清分處理。批次清分策略實際上可認為是處理流程上的“流水線化”。即各批次的處理由于由批次號進行控制，因此是可以重疊的。這一并行流水線方案使得清分處理負載基本上均勻分布在整個清分處理期，消除了系統(tǒng)突發(fā)處理壓力可能造成的運行穩(wěn)定性隱患。

采用多批次清分的另一優(yōu)勢是：由于每日交易量非常大，當由于某些原因?qū)е虑宸痔幚碇袛鄷r，可以從中斷處的批次開始恢復(fù)；如果確認由于某批次出現(xiàn)數(shù)據(jù)錯誤（通常人工操作有造成這一錯誤的可能性），則只需要對該批次數(shù)據(jù)進行單獨處理。多批次并發(fā)清分需要采用以下技術(shù)。

圖2 優(yōu)化后清分處理流程

（1）并發(fā)技術(shù)。通過一定的分區(qū)規(guī)則，將清分數(shù)據(jù)劃分成不同的邏輯分區(qū)，在清分過程中啟動多個清分進程，一個清分進程一次只處理一個邏輯分區(qū)，每個清分進程每次處理的記錄個數(shù)根據(jù)邏輯分區(qū)來確定。清分進程劃分為多個可最大限度地利用CPU資源，邏輯分區(qū)的劃分可最大限度提高I/O性能。清分進程的數(shù)量、分區(qū)塊大小的調(diào)整需通過試驗來確定最佳組合。清分流程每個步驟進程的并發(fā)個數(shù)可進行合理配置。

（2）多機擴展冗余許可?？紤]到多機橫向擴展的可能，多批次并發(fā)清分必須通過技術(shù)手段保證各清分批次數(shù)據(jù)的相對獨立，各清分批次無時間上的依賴關(guān)系，從而使不同批次清分進程可以在不同的機器上并發(fā)運行。

（3）流程控制技術(shù)。由于系統(tǒng)中每日需要針對不同類型的交易數(shù)據(jù)（經(jīng)清分預(yù)處理分類）進行多個批次的清分，而每種交易數(shù)據(jù)類型及其清分批次需要進行的動作或流程又基本類似，因此，可通過對流程中各個動作的抽象，將流程通過不同動作組合形成的表描述出來，然后由調(diào)度服務(wù)根據(jù)流程表進行不同動作的調(diào)度，進而完成不同清分場次所需的清分功能。

（4）數(shù)據(jù)邏輯分塊。前述數(shù)據(jù)分批技術(shù)僅解決了日終處理的壓力，而要進一步減少每次清分處理的時間，則還要對數(shù)據(jù)進行進一步細分。即將大數(shù)據(jù)按照一定業(yè)務(wù)條件進行邏輯分區(qū)，形成若干個小的數(shù)據(jù)群集，從而有效地形成數(shù)據(jù)足夠細致、處理足夠快捷的數(shù)據(jù)流水線處理方式的數(shù)據(jù)基礎(chǔ)。

（5）容錯處理。由于在各個批次的清分過程中可能會出現(xiàn)各種不同的異常情況，因此，在清分出錯的情況下，系統(tǒng)應(yīng)提供重新進行批次清分的功能。系統(tǒng)提供的容錯策略為：

·按步驟重新清分。若某一步驟有誤，不需要重新進行整個批次清分流程，只要重新從某步驟開始即可。例如發(fā)生文件生成出錯時，只需要在修正程序或配置表后，重做文件生成步驟，以縮短批次清分所需要的時間。

·重新進行批次清分。若必須重新進行整個批次清分流程時，提供重新進行批次清分的手段。

·多機進行批次清分。當推遲清分造成時間延誤或需要重做批次清分時，可同時在多個應(yīng)用服務(wù)器上執(zhí)行不同批次的清分流程，以保證在日終時，按時完成當天所有批次的清分、清算。

·單筆數(shù)據(jù)異常。清分過程中出現(xiàn)異常時，如果是因單筆交易出現(xiàn)的偶然性錯誤，系統(tǒng)將該筆交易記錄為例外文件，并剔除出清分過程，以保證當日其他交易清分的順利完成。即單筆的異常并不影響整個清分流程的完成。

3.2 多機并行批量清分

當單機負載達到80%以上時，系統(tǒng)可采用多機方式并行處理。優(yōu)化后的清分處理流程在應(yīng)用層充分考慮了多機并行擴展的可能，在應(yīng)用層不會產(chǎn)生并行沖突。在系統(tǒng)部署與數(shù)據(jù)庫技術(shù)上，可以采用以下技術(shù)來提高多機并行的處理性能。

（1）系統(tǒng)以RAC（Real Application cluster，真正應(yīng)用集群）方式部署運行。為保證多臺主機同時并行存取磁盤數(shù)據(jù)，數(shù)據(jù)庫系統(tǒng)必須以共享方式運行，應(yīng)用系統(tǒng)也必須部署在多臺主機上。

（2）數(shù)據(jù)庫索引技術(shù)。充分利用數(shù)據(jù)庫索引技術(shù)，在相關(guān)數(shù)據(jù)表上建立適當B+樹索引。這能有效避免大數(shù)據(jù)量的全表掃描，減少數(shù)據(jù)訪問時間，進而提高數(shù)據(jù)訪問的性能。

3.3 優(yōu)化后的性能指標

通過多批次并發(fā)清分優(yōu)化后，單機處理性能可達到在運營日結(jié)束后的1 h內(nèi)完成對600萬人次客流所產(chǎn)生交易數(shù)據(jù)的處理，并可在2 h內(nèi)完成累計2 d的交易數(shù)據(jù)清算。交易量估計和性能衡量考慮以下兩方面要素：每個客流數(shù)據(jù)按進出站共兩筆交易計算；按經(jīng)驗每筆實際清分交易相當于3筆標準交易的處理量。

4 結(jié)語

采用將待處理數(shù)據(jù)批次分割的方式優(yōu)化清分處理流程后，不但可實現(xiàn)單機多批次并發(fā)清分，還可實現(xiàn)多機并行批量清分，大大縮短了系統(tǒng)清分交易處理時間。

［1］ 閻彬.城市軌道交通自動售檢票系統(tǒng)研析［J］.鐵路通信信號工程，2004（2）：32.

［2］ 于鑫，王富章.城市軌道交通自動售檢票系統(tǒng)研析［J］.鐵路計算機應(yīng)用，2005（6）：4.

［3］ 朱嘉斌.關(guān)于提高城市軌道交通清分中心處理能力的設(shè)計研究［J］.城市軌道交通研究，2012（3）：69.

On Optimum Scheme of Metro Fare Clearing

Fang Hui，Jing Liang

The current process of metro fare clearing is analyzed，on this basis a multi-batch or multi-machine optimum scheme is proposed，which will not adopt the normal way of dealing with data sequentially，but use plural processes at the same time after generating many batch numbers.This new scheme that uses many machines to deal with the data at the same time could enhance the metro fare clearing performance based on the solution to concurrent parallel conflicts.

urban rail transit；fare clearing；optimum scheme

F 530.68：U 293.22

2013-05-17）