高能物理大數(shù)據(jù)挑戰(zhàn)與海量事例特征索引技術(shù)研究

程耀東 張瀟 王培建 查禮 侯迪 齊勇 馬燦

為了研究宇宙起源、天體演化、物質(zhì)結(jié)構(gòu)組成等科學(xué)問題，人類建造了許多大科學(xué)設(shè)施，包括歐洲大型強(qiáng)子對(duì)撞機(jī)（large hadron collider，LHC）、北京正負(fù)電子對(duì)撞機(jī)（Beijing electron-positron collider，BEPC）、大亞灣中微子實(shí)驗(yàn)、江門中微子實(shí)驗(yàn)（Jiangmen underground neutrino observatory，JUNO）、高海拔宇宙線實(shí)驗(yàn)（large high altitude airshower observatory，LHAASO）等。隨著實(shí)驗(yàn)裝置規(guī)模不斷擴(kuò)大和精度的提高，產(chǎn)生了越來越多的數(shù)據(jù)，比如LHC在線數(shù)據(jù)率高達(dá)每秒1 PB，需要長期保存和處理的數(shù)據(jù)達(dá)到每年50 PB。當(dāng)前，高能物理領(lǐng)域總體累積的數(shù)據(jù)已經(jīng)接近1000 PB，并且還在不斷增加，全球有近萬名物理學(xué)家利用這些數(shù)據(jù)進(jìn)行物理研究。這樣大的數(shù)據(jù)量需要超大規(guī)模的存儲(chǔ)、計(jì)算及網(wǎng)絡(luò)資源，大量的計(jì)算任務(wù)需要由所有高能物理合作單位共同承擔(dān)。物理學(xué)家把分布于全世界的存儲(chǔ)、計(jì)算資源整合到一起，形成一個(gè)超高性能的通用計(jì)算基礎(chǔ)設(shè)施——WLCG（worldwide LHC computing grid）網(wǎng)格，提供大量的計(jì)算和存儲(chǔ)資源，用于數(shù)據(jù)的處理、模擬和分析。

高能物理數(shù)據(jù)處理過程包括數(shù)據(jù)篩選、數(shù)據(jù)重建、物理模擬以及分析等。目前，高能物理的實(shí)驗(yàn)數(shù)據(jù)以文件為單位進(jìn)行管理，每個(gè)文件包含了若干個(gè)事例。事例是基本的數(shù)據(jù)單元，指一次粒子對(duì)撞或者一次粒子間的基本相互作用產(chǎn)生的數(shù)據(jù)，包含了條件參數(shù)以及相關(guān)的物理量，比如光子數(shù)、帶電徑跡數(shù)、電子數(shù)等，一個(gè)大型高能物理實(shí)驗(yàn)可以產(chǎn)生數(shù)十億甚至萬億級(jí)別數(shù)量的事例。另一方面，由于高能物理實(shí)驗(yàn)裝置的規(guī)模及數(shù)據(jù)量巨大，通常一家單位難以處理全部的數(shù)據(jù)，數(shù)據(jù)由分布在全球的高能物理單位合作完成。這種分布式的、以文件為基礎(chǔ)的存儲(chǔ)方式，大大簡化了數(shù)據(jù)管理的復(fù)雜度，在很長一段時(shí)間內(nèi)促進(jìn)了高能物理領(lǐng)域的發(fā)展。

然而，隨著實(shí)驗(yàn)數(shù)據(jù)的飛速增長以及新技術(shù)的出現(xiàn)，這種傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和處理方式也暴露出越來越多的弊端。首先，文件形式的數(shù)據(jù)雖然存儲(chǔ)方便，但不利于數(shù)據(jù)的檢索。而數(shù)據(jù)檢索在高能物理的數(shù)據(jù)處理中占很大比重。因此，以文件為基礎(chǔ)的存儲(chǔ)，大大降低了數(shù)據(jù)處理的效率。其次，數(shù)據(jù)處理程序只能運(yùn)行在存儲(chǔ)數(shù)據(jù)的站點(diǎn)，所以需要提前將數(shù)據(jù)以文件的方式傳輸?shù)街付ǖ恼军c(diǎn)。這種方式難以實(shí)現(xiàn)計(jì)算資源的靈活調(diào)度，而文件傳輸?shù)侥繕?biāo)站點(diǎn)后只有其中少部分被使用，造成帶寬的浪費(fèi)。因此，提高數(shù)據(jù)處理效率和資源利用率是高能物理軟件領(lǐng)域亟待解決的一個(gè)重要問題。

提高現(xiàn)有系統(tǒng)的處理效率并不是一個(gè)簡單的任務(wù)，存在諸多挑戰(zhàn)：1）文件格式的存儲(chǔ)方式未提供有效的屬性查詢功能，致使事例檢索效率非常低下。當(dāng)物理學(xué)家檢索事例時(shí)，關(guān)心的屬性只有少數(shù)幾個(gè)，關(guān)心的事例也通常少于原始數(shù)據(jù)的1/100，甚至1/1000000。但針對(duì)文件進(jìn)行檢索，需要訪問某一范圍內(nèi)的所有文件，并讀取每個(gè)事例的所有屬性值。大量的I/O操作都是無用的。2）分站點(diǎn)存儲(chǔ)空間不足且網(wǎng)絡(luò)傳輸速度有限，這給計(jì)算任務(wù)在分站點(diǎn)運(yùn)行提出挑戰(zhàn)。由于分站點(diǎn)的規(guī)模往往遠(yuǎn)小于主站點(diǎn)，無法存儲(chǔ)所有數(shù)據(jù)的完整拷貝，需要在計(jì)算時(shí)再臨時(shí)復(fù)制數(shù)據(jù)到分站點(diǎn)。由于網(wǎng)絡(luò)傳輸速度和數(shù)據(jù)量之間的矛盾，實(shí)時(shí)復(fù)制數(shù)據(jù)會(huì)造成很大的延遲以及文件系統(tǒng)的開銷，甚至系統(tǒng)宕機(jī)。3）數(shù)據(jù)格式在存儲(chǔ)和處理上具有不一致性。數(shù)據(jù)存儲(chǔ)的方式是文件，而數(shù)據(jù)處理的單位是事例，系統(tǒng)需要大量的轉(zhuǎn)化操作，造成極大的開銷。4）已有系統(tǒng)極為復(fù)雜，新的處理方式難以兼容。高能物理領(lǐng)域針對(duì)每一個(gè)實(shí)驗(yàn)裝置都會(huì)開發(fā)各自的離線數(shù)據(jù)處理軟件系統(tǒng)，長期以來形成了獨(dú)立的體系，系統(tǒng)的優(yōu)化不能對(duì)這些應(yīng)用軟件造成太大的影響。

本文研究一個(gè)重要的問題：如何提高高能物理數(shù)據(jù)管理系統(tǒng)的效率。為了應(yīng)對(duì)以上挑戰(zhàn)，本文設(shè)計(jì)了面向事例的數(shù)據(jù)管理系統(tǒng)，有效解決事例數(shù)據(jù)處理效率低以及分站點(diǎn)資源利用率低的問題。首先設(shè)計(jì)了一個(gè)基于NoSQL數(shù)據(jù)庫的事例索引系統(tǒng)。通過事例數(shù)據(jù)特征抽取，選取物理學(xué)家最感興趣的屬性作為索引，存儲(chǔ)在數(shù)據(jù)庫中，并采用倒排索引技術(shù)，提高事例數(shù)據(jù)檢索的效率。接著，針對(duì)事例數(shù)據(jù)進(jìn)行緩存優(yōu)化，減少數(shù)據(jù)轉(zhuǎn)化和存儲(chǔ)開銷。然后，提出事例級(jí)跨域傳輸方案，降低分站點(diǎn)處理數(shù)據(jù)的延遲。作者在一個(gè)小型的原型系統(tǒng)上實(shí)現(xiàn)了事例索引并進(jìn)行了試驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，事例級(jí)的索引技術(shù)能夠顯著提高事例數(shù)據(jù)的檢索效率。

本文首先介紹高能物理的數(shù)據(jù)處理流程以及面向事例管理的相關(guān)工作，然后重點(diǎn)介紹面向事例的科學(xué)數(shù)據(jù)管理系統(tǒng)設(shè)計(jì)，最后給出系統(tǒng)驗(yàn)證與分析結(jié)果，分析性能提升的原因。

1 相關(guān)背景

1.1 高能物理數(shù)據(jù)處理流程

高能物理實(shí)驗(yàn)主要有3個(gè)要素，分別是粒子源、用以觀察和記錄各種高能粒子的相關(guān)信息的探測器以及用于獲取和處理這些信息的電子學(xué)系統(tǒng)。探測器電子學(xué)系統(tǒng)的結(jié)構(gòu)比較復(fù)雜，有時(shí)甚至需要計(jì)算機(jī)程序來控制，因此制造的技術(shù)難點(diǎn)也相對(duì)較高。高能物理數(shù)據(jù)處理過程的過程主要包括數(shù)據(jù)篩選、重建、分析和模擬等部分。

粒子在加速器中經(jīng)高速對(duì)撞后產(chǎn)生的信息會(huì)被傳感器捕獲，交由在線系統(tǒng)進(jìn)行篩選，之后傳送到離線系統(tǒng)中，以文件的形式保存在磁盤系統(tǒng)中，并在磁帶庫中進(jìn)行永久保存，同時(shí)在隨機(jī)讀寫存儲(chǔ)系統(tǒng)中進(jìn)行緩存，這些數(shù)據(jù)叫做原始數(shù)據(jù)（Raw Data），由事例（Event）組成。之后這些原始數(shù)據(jù)會(huì)借助對(duì)撞和取數(shù)時(shí)的參數(shù)進(jìn)行重建，并被賦予真實(shí)的物理意義。重建之后的數(shù)據(jù)保存為ROOT格式的DST文件，由于軟件升級(jí)等原因，重建的過程可能進(jìn)行多次。不同條件下產(chǎn)生的重建數(shù)據(jù)被標(biāo)記為不同的版本以便區(qū)分，如655、664等。最后，物理學(xué)家利用數(shù)據(jù)分析框架對(duì)重建后的數(shù)據(jù)做深入的分析，并生成用于繪制圖表的結(jié)果ROOT 文件。在數(shù)據(jù)分析階段，不同的物理學(xué)家會(huì)根據(jù)自己的需要或建立的模型設(shè)計(jì)并實(shí)現(xiàn)一組數(shù)據(jù)分析/篩選算法，算法通常由頂點(diǎn)擬合、徑跡篩選、4C擬合、5C擬合等多個(gè)部分構(gòu)成。數(shù)據(jù)分析過程往往涉及大量的數(shù)據(jù)讀取工作，但最終滿足條件的事例數(shù)通常僅占整體數(shù)據(jù)量的1‰左右，之后高能物理學(xué)家還會(huì)對(duì)這些挑選出來的數(shù)據(jù)做進(jìn)一步的分析和計(jì)算。有時(shí)物理學(xué)家為驗(yàn)證分析結(jié)果正確與否，還要使用蒙特卡羅模擬軟件產(chǎn)生與原始數(shù)據(jù)規(guī)模相當(dāng)?shù)哪M數(shù)據(jù)，之后對(duì)這些數(shù)據(jù)進(jìn)行重建，最后再對(duì)重建后的數(shù)據(jù)進(jìn)行相同的分析，用以與之前的分析結(jié)果進(jìn)行比對(duì)。

當(dāng)前，高能物理實(shí)驗(yàn)以文件為單位進(jìn)行數(shù)據(jù)管理與計(jì)算。由于事例之間的無關(guān)性和獨(dú)立性，高能物理往往把一系列的事例組成一個(gè)文件，多個(gè)文件可以在多個(gè)機(jī)器上同時(shí)處理，而不需要相互通信。因此，高能物理計(jì)算的特點(diǎn)是高吞吐率的數(shù)據(jù)并發(fā)?；谶@些特點(diǎn)，目前高能物理領(lǐng)域普遍采用集群計(jì)算系統(tǒng)以及計(jì)算和存儲(chǔ)分離的模式。

海量的高能物理實(shí)驗(yàn)數(shù)據(jù)存儲(chǔ)在I/O服務(wù)器中，計(jì)算節(jié)點(diǎn)通過高速網(wǎng)絡(luò)從I/O服務(wù)器中獲取數(shù)據(jù)。多個(gè)I/O服務(wù)器通過分布式存儲(chǔ)系統(tǒng)來管理，比如Lustre、GPFS、EOS等。計(jì)算節(jié)點(diǎn)通過批處理作業(yè)系統(tǒng)來管理，比如HTCondor、LSF、PBS等。

1.2 面向事例管理的相關(guān)工作

為了能夠快速得到物理學(xué)者感興趣的數(shù)據(jù)集，最初的方案是把索引信息存儲(chǔ)到高能物理領(lǐng)域中常用的ROOT文件格式中，稱為索引文件。實(shí)際上，真正的事例數(shù)據(jù)仍然存儲(chǔ)在數(shù)據(jù)文件中。這樣，物理學(xué)家在進(jìn)行研究時(shí)，先讀取索引文件，篩選出感興趣的事例ID，最終通過事例ID在數(shù)據(jù)文件中提取感興趣的事例。中國科學(xué)院高能物理研究所的劉北江從事例數(shù)據(jù)中抽取一系列的特征量（稱為TAG），存儲(chǔ)在單獨(dú)的ROOT文件中，形成索引文件。用戶篩選時(shí)首先在該索引文件中查找，減少遍歷數(shù)據(jù)文件的次數(shù)，應(yīng)用于北京譜儀BESIII的實(shí)驗(yàn)中。澳大利亞墨爾本大學(xué)的Bloomfield等人將特定篩選條件選取的事例位置信息存儲(chǔ)在ROOT文件中，應(yīng)用到日本的BELLE2實(shí)驗(yàn)中。這樣，用戶在做分析時(shí)直接免去預(yù)篩選過程，但是這種方法只能適用于固定模式的篩選，無法滿足用戶個(gè)性化的需求。

采用文件存儲(chǔ)索引的方式在管理、共享和訪問性能方面難以滿足更大規(guī)模的實(shí)驗(yàn)數(shù)據(jù)，因此在有些大型高能物理實(shí)驗(yàn)中采用關(guān)系型數(shù)據(jù)庫來存儲(chǔ)事例索引。物理學(xué)者在進(jìn)行事例篩選時(shí)，通過數(shù)據(jù)庫查詢語句獲得符合條件的事例ID，最后再從原始數(shù)據(jù)文件中提取出事例。比如，歐洲核子中心CERN的Goosens以及美國阿貢國家實(shí)驗(yàn)室的Cranshaw等人采用Oracle數(shù)據(jù)庫存儲(chǔ)ATLAS實(shí)驗(yàn)（超環(huán)面儀器）的索引信息，通過水平分區(qū)、縱向分區(qū)等數(shù)據(jù)庫優(yōu)化等技術(shù)手段實(shí)現(xiàn)了10億級(jí)別的事例索引TAGDB。

隨著事例數(shù)量不斷增加，近年來有很多研究人員提出采用NoSQL來存儲(chǔ)索引信息。西班牙的Sánchez等人采用HBase構(gòu)建了ATLAS實(shí)驗(yàn)（超環(huán)面儀器）事例索引數(shù)據(jù)庫EventIndex。中國科學(xué)院高能物理研究所的孫功星等人提出將事例數(shù)據(jù)存儲(chǔ)在HBase中并建立特征事例索引，以加快數(shù)據(jù)分析過程。

值得指出的是，21世紀(jì)初曾經(jīng)一段時(shí)間，有相關(guān)人員提出將高能物理全部的實(shí)驗(yàn)數(shù)據(jù)存儲(chǔ)到面向?qū)ο蟮臄?shù)據(jù)庫中，比如美國斯坦福直線加速器中心SLAC的Becla將BaBar的實(shí)驗(yàn)數(shù)據(jù)完全存入到Objectivity/DB中。歐洲核子中心CERN的Düllmann提出將LHC的海量數(shù)據(jù)存儲(chǔ)到Objectivity/DB中。但是，這些方案最終沒有成功實(shí)施，目前高能物理的數(shù)據(jù)存儲(chǔ)仍然采用文件管理的方式。

從以上的分析可以看出，完全將事例數(shù)據(jù)存儲(chǔ)到關(guān)系型、面向?qū)ο蠡蛘逳oSQL中的方案，在高能物理領(lǐng)域還沒有得到廣泛的應(yīng)用。將數(shù)據(jù)文件存儲(chǔ)與特征索引結(jié)合起來是一個(gè)可行的方案，但是目前的工作都是針對(duì)某個(gè)實(shí)驗(yàn)或者解決具體問題開展，缺乏通用、可擴(kuò)展和全面的解決方案及系統(tǒng)。

2 面向事例的科學(xué)數(shù)據(jù)管理系統(tǒng)設(shè)計(jì)

結(jié)合高能物理海量數(shù)據(jù)管理需求和研究現(xiàn)狀，本文采用ROOT文件存儲(chǔ)和NoSQL事例特征索引融合的管理架構(gòu)，提出一個(gè)通用、可擴(kuò)展的方案，設(shè)計(jì)面向事例的科學(xué)數(shù)據(jù)管理系統(tǒng)，實(shí)現(xiàn)高能物理海量數(shù)據(jù)的高效管理、快速處理以及遠(yuǎn)程訪問等。

該系統(tǒng)主要包括4個(gè)部分：事例特征抽取、事例索引數(shù)據(jù)庫、面向事例的緩存、面向事例的傳輸。在傳統(tǒng)的高能物理計(jì)算環(huán)境中，高能物理數(shù)據(jù)處理軟件，比如BOSS（BESIII Offline Software System），SNiPER （Software for Noncollider Physics Experiments），LodeStar（LHAASO Offline Data Processing Software Framework）等，直接訪問實(shí)驗(yàn)數(shù)據(jù)的存儲(chǔ)系統(tǒng)，比如Lustre，GPFS，EOS等分布式文件系統(tǒng)。在本文的設(shè)計(jì)中，面向事例的科學(xué)數(shù)據(jù)管理系統(tǒng)位于高能物理數(shù)據(jù)處理軟件與實(shí)驗(yàn)數(shù)據(jù)存儲(chǔ)系統(tǒng)之間，提供事例級(jí)的海量數(shù)據(jù)管理。同時(shí)，數(shù)據(jù)處理軟件仍然可以使用原有的方式，直接訪問數(shù)據(jù)存儲(chǔ)系統(tǒng)，從而保證了系統(tǒng)的兼容性。

采用面向事例的科學(xué)數(shù)據(jù)管理系統(tǒng)以后，事例特征抽取模塊會(huì)掃描實(shí)驗(yàn)數(shù)據(jù)存儲(chǔ)系統(tǒng)，從中抽取出物理學(xué)家過濾事例的特征量，并保存到事例索引數(shù)據(jù)庫中。事例特征數(shù)據(jù)庫記錄了事例的特征屬性以及事例的存儲(chǔ)位置和偏移量，并且將特征屬性值編碼至NoSQL數(shù)據(jù)庫的主鍵中，同時(shí)提供事例查詢接口。高能物理數(shù)據(jù)處理軟件在做分析時(shí)，首先通過篩選條件查詢事例索引數(shù)據(jù)庫，得到感興趣的事例集合。接著，調(diào)用事例緩存的接口。如果該事例已經(jīng)在緩存系統(tǒng)中，就會(huì)直接給數(shù)據(jù)處理軟件返回該事例數(shù)據(jù)。如果數(shù)據(jù)處理軟件運(yùn)行在遠(yuǎn)程站點(diǎn)，當(dāng)需要某個(gè)事例時(shí)，系統(tǒng)還會(huì)觸發(fā)面向事例的傳輸系統(tǒng)將事例數(shù)據(jù)從網(wǎng)絡(luò)上實(shí)時(shí)傳輸給數(shù)據(jù)處理軟件。

2.1 事例特征抽取

由于原有物理數(shù)據(jù)被封裝在ROOT等高能物理處理框架的數(shù)據(jù)對(duì)象中，數(shù)據(jù)在相關(guān)物理軟件外對(duì)用戶是不可見。所以為了能夠快速查找相關(guān)物理事例，需要預(yù)先提取事例粒度的相關(guān)特征數(shù)據(jù)，以供后續(xù)的查找。

事例特征抽取模塊負(fù)責(zé)識(shí)別不同實(shí)驗(yàn)、不同格式的數(shù)據(jù)文件，并從中抽取出對(duì)于數(shù)據(jù)處理有意義的特征變量，比如BESIII（北京譜儀）實(shí)驗(yàn)中，包含了運(yùn)行號(hào)、事例號(hào)、總徑跡數(shù)、總帶電徑跡數(shù)、總不帶電徑跡數(shù)、好的光子數(shù)、好的正負(fù)帶點(diǎn)徑跡數(shù)、好的正負(fù)介子數(shù)、好的正負(fù)k-介子數(shù)、好的正負(fù)質(zhì)子數(shù)、可見光能量定義等16個(gè)特征屬性。識(shí)別出這些特征屬性后，事例抽取模塊根據(jù)用戶定義，將其中的特征存儲(chǔ)到事例索引數(shù)據(jù)庫中。

事例特征抽取模塊基于ROOT框架實(shí)現(xiàn)，與具體的實(shí)驗(yàn)無關(guān)。為了保證系統(tǒng)的通用性，該模塊定義了一個(gè)規(guī)范的接口。每個(gè)高能物理實(shí)驗(yàn)通過配置接口定義文件即可實(shí)現(xiàn)相應(yīng)的事例特征抽取功能，可以指定需要將哪些特征屬性存儲(chǔ)到事例特征數(shù)據(jù)庫中。高能物理中存在多種不同的文件格式，該模塊會(huì)分類識(shí)別，主要包括AOD（Analysis Object Data），重建數(shù)據(jù)摘要信息，用于物理分析）；ESD（Event Summary Object），全部的重建輸出數(shù)據(jù)；EVNT（蒙特卡羅模擬產(chǎn)生的事例）；RDO（Raw Data Objects），原始數(shù)據(jù)及其產(chǎn)生原始數(shù)據(jù)的條件信息。一般情況下，不需要對(duì)原始數(shù)據(jù)Raw Data建立索引。原始數(shù)據(jù)是探測器產(chǎn)生的字節(jié)流，其中的事例信息可以從重建后的AOD或者ESD中獲得。

2.2 事例索引數(shù)據(jù)庫及查詢條件歸并

在提取了物理事件級(jí)別的特征后，我們還要能夠有效地組織并索引千億甚至萬億級(jí)別的事例數(shù)據(jù)，達(dá)到能夠在現(xiàn)有文件中快速提出物理事例集合的目的。

高能物理實(shí)驗(yàn)中的事例數(shù)量龐大，單個(gè)大型實(shí)驗(yàn)可以達(dá)到百億甚至萬億級(jí)別。事例的屬性從幾十到幾百個(gè)不等。高能物理數(shù)據(jù)處理并發(fā)訪問量非常高，大型集群和網(wǎng)格計(jì)算的并發(fā)任務(wù)量可達(dá)到十萬級(jí)別。這要求事例索引數(shù)據(jù)庫具有非常好的可擴(kuò)展性和性能?；谝陨系男枨螅鞠到y(tǒng)采用基于HBase集群來構(gòu)建是索引數(shù)據(jù)庫。

首先，由于HBase中主鍵的構(gòu)建采用了按字典序排序的索引結(jié)構(gòu)，并且通常緩存在內(nèi)存中，因而具備很好的查詢效率。所以我們在HBase中將前一步中提取到的事例界別的屬性名及其具體值編碼到了HBase的Rowkey中，以支持使用在主鍵上進(jìn)行二分查找。此外，利用提取后的事件特征數(shù)據(jù)進(jìn)行查詢條件的歸并，滿足相同查詢條件的事例集合會(huì)被歸并到HBase的一條記錄中，可以使得滿足同一條件的所有事例信息可以在一次查詢中返回。

2.3 面向事例的緩存

物理學(xué)者感興趣的數(shù)據(jù)集通常會(huì)呈現(xiàn)出一定的訪問模式。為了能夠減少重復(fù)查詢中消耗的I/O資源，系統(tǒng)需要將現(xiàn)有的查詢熱區(qū)緩存起來。

一次高能物理數(shù)據(jù)分析過程中，僅僅對(duì)某些稀有事例感興趣，而這些稀有事例分布在不同的ROOT文件中。所以，物理分析過程中，僅僅讀取文件的一小部分?jǐn)?shù)據(jù)，針對(duì)文件的預(yù)讀和緩存等存儲(chǔ)系統(tǒng)優(yōu)化方法難以發(fā)揮作用。中國科學(xué)院高能物理研究所對(duì)BESIII實(shí)驗(yàn)數(shù)據(jù)分析過程的文件訪問模式分析發(fā)現(xiàn)，大部分的文件讀連續(xù)請(qǐng)求的大小分布在256 KB～4 MB之間，每兩個(gè)連續(xù)請(qǐng)求之間都有offset，65%的offset絕對(duì)值分布在1～4 MB之間，也就是說文件的讀訪問方式為大記錄塊的跳讀。如果打開文件系統(tǒng)的預(yù)讀選項(xiàng)，會(huì)讀取大量無效數(shù)據(jù)，導(dǎo)致性能急劇下降。

為此，本系統(tǒng)引入了面向事例的緩存。系統(tǒng)記錄事例數(shù)據(jù)的訪問頻次，將高訪頻度的事例數(shù)據(jù)緩存到SSD以及內(nèi)存中，從而減少索引和事例數(shù)據(jù)文件之間的I/O開銷。面向事例的緩存模塊檢測到需要緩存的事例后，將該事例進(jìn)行序列化存儲(chǔ)。當(dāng)數(shù)據(jù)處理軟件調(diào)用接口獲取事例時(shí)，面向事例的緩存模塊再將存儲(chǔ)在SSD及內(nèi)存的事例進(jìn)行反序列化，以ROOT的對(duì)象直接返回，而不需要再從底層存儲(chǔ)系統(tǒng)中讀出。

2.4 面向事例的數(shù)據(jù)傳輸

高能物理領(lǐng)域廣泛采用分布式計(jì)算，將計(jì)算任務(wù)分布到全球合作站點(diǎn)上運(yùn)行。歐洲大型強(qiáng)子對(duì)撞機(jī)產(chǎn)生海量數(shù)據(jù)便是由WLCG（Worldwide LHC Computing Grid）負(fù)責(zé)存儲(chǔ)和處理的。WLCG采用了三級(jí)站點(diǎn)的網(wǎng)格形式，主要分為Tier0，Tier1和Tier2。Tier0主要負(fù)責(zé)獲取并保存對(duì)撞機(jī)產(chǎn)生的原始數(shù)據(jù)，同將其發(fā)送給多個(gè)Tier1站點(diǎn)作為副本進(jìn)行保存；Tier1主要負(fù)責(zé)對(duì)原始數(shù)據(jù)進(jìn)行重建以及一些后續(xù)的處理工作；Tier2主要負(fù)責(zé)產(chǎn)生模擬數(shù)據(jù)和物理分析等工作。在WLCG的Tier結(jié)構(gòu)中，數(shù)據(jù)并不是完全復(fù)制到所有的站點(diǎn)中，因此計(jì)算任務(wù)會(huì)被調(diào)度到存儲(chǔ)數(shù)據(jù)的地方。如果某個(gè)站點(diǎn)需要分析感興趣的數(shù)據(jù)，需要提前進(jìn)行數(shù)據(jù)訂閱，將數(shù)據(jù)預(yù)先傳輸?shù)街付ǖ恼军c(diǎn)。CMS（緊湊μ子線圈）實(shí)驗(yàn)使用PhEDEx系統(tǒng)實(shí)現(xiàn)WLCG站點(diǎn)之間傳輸數(shù)據(jù)。

不同于WLCG預(yù)先傳輸文件，面向事例的數(shù)據(jù)傳輸系統(tǒng)僅傳輸物理分析程序所感興趣的事例，所需數(shù)據(jù)量大幅降低，隨著網(wǎng)絡(luò)帶寬不斷提升，將可以支持計(jì)算任務(wù)實(shí)時(shí)傳輸數(shù)據(jù)。

數(shù)據(jù)傳輸系統(tǒng)由數(shù)據(jù)傳輸服務(wù)器和數(shù)據(jù)傳輸客戶端2部分構(gòu)成，分別運(yùn)行在2個(gè)不同的站點(diǎn)。運(yùn)行在遠(yuǎn)程站點(diǎn)的高能物理數(shù)據(jù)處理軟件在做物理分析時(shí)不用考慮數(shù)據(jù)是否在本地站點(diǎn)，它可以通過ROOT框架或者本地文件系統(tǒng)接口來訪問所需要的事例數(shù)據(jù)。首先，數(shù)據(jù)處理軟件調(diào)用時(shí)事例索引數(shù)據(jù)庫獲得事例索引信息，然后通過數(shù)據(jù)傳輸客戶端向數(shù)據(jù)傳輸服務(wù)器發(fā)送事例請(qǐng)求。數(shù)據(jù)傳輸服務(wù)器從數(shù)據(jù)存儲(chǔ)系統(tǒng)或者事例緩存中將事例數(shù)據(jù)序列化傳輸?shù)娇蛻舳?，然后客戶端再將事例反序列化以ROOT對(duì)象的方式返回給數(shù)據(jù)處理軟件。如果數(shù)據(jù)處理軟件以文件系統(tǒng)接口調(diào)用，數(shù)據(jù)傳輸系統(tǒng)僅傳輸所需要的數(shù)據(jù)塊，以減少傳輸量。為了提升數(shù)據(jù)訪問性能，在數(shù)據(jù)傳輸客戶端也設(shè)置了基于事例和數(shù)據(jù)塊的緩存系統(tǒng)。數(shù)據(jù)傳輸基于HTTP協(xié)議，支持分塊、多流及斷點(diǎn)續(xù)傳等功能。

3 系統(tǒng)驗(yàn)證與分析

3.1 實(shí)驗(yàn)條件

本文在Hadoop 2.6.2平臺(tái)上建立了驗(yàn)證系統(tǒng)，采用4臺(tái)服務(wù)器構(gòu)建Hadoop集群，其中1臺(tái)主節(jié)點(diǎn)，3臺(tái)數(shù)據(jù)節(jié)點(diǎn)。硬件選用曙光A620服務(wù)器，每臺(tái)服務(wù)器配備2顆AMD Operon 6320服務(wù)器、64 GB內(nèi)存、1塊1 TB 7200RPM SAS硬盤。節(jié)點(diǎn)之間采用千兆以太網(wǎng)互聯(lián)，操作系統(tǒng)為Ubuntu 14.04。

實(shí)驗(yàn)過程中選用了北京譜儀BESIII的真實(shí)運(yùn)行數(shù)據(jù)，共包含384個(gè)DST文件、1400萬個(gè)事例?；谝陨蠑?shù)據(jù)我們構(gòu)建了事例索引數(shù)據(jù)庫。事例索引中包含7個(gè)特征量，即：entry（事例文件內(nèi)編號(hào)），runNo（運(yùn)行號(hào)），eventID（事例實(shí)驗(yàn)全局編號(hào)），totalCharged（總的帶電粒子數(shù)），totalNeutral（總的中性粒子數(shù)），totalTrks（總的徑跡數(shù)），以及原始的DST文件名。

3.2 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證事例索引數(shù)據(jù)庫的有效性，實(shí)驗(yàn)開展了如下工作：1）模擬用戶查詢；2）關(guān)系型數(shù)據(jù)庫查詢效率；3）對(duì)比未歸并查詢條件與經(jīng)過查詢條件歸并的HBase查詢效率；4）驗(yàn)證在不同試驗(yàn)中條件歸并效果。

1）模擬用戶查詢。

實(shí)驗(yàn)中，首先指定RunNo，然后再選擇屬性值，模擬用戶真實(shí)的事例查詢模式，并使用蒙特卡洛方法隨機(jī)數(shù)產(chǎn)生查詢條件，用于模擬用戶的查詢。在測試的數(shù)據(jù)中，所有DST的文件中共包含了1400萬個(gè)事例，查詢返回理論上限為1400萬條。實(shí)驗(yàn)中產(chǎn)生了1000條模擬查詢條件，其中在1400萬事例數(shù)據(jù)中有效的單值查詢的條件和對(duì)應(yīng)事例數(shù)量的累計(jì)分布，有77%的查詢返回低于1萬條數(shù)據(jù)（少于千萬分之一）。這說明了事例篩選是有效的，可以大大降低用戶遍歷原始數(shù)據(jù)文件的開銷。

2）關(guān)系型數(shù)據(jù)庫查詢效率。

關(guān)系型數(shù)據(jù)支持多個(gè)索引，能夠靈活支持結(jié)構(gòu)化數(shù)據(jù)查詢，因此也是構(gòu)建事例特征索引數(shù)據(jù)庫的一個(gè)選項(xiàng)。本實(shí)驗(yàn)將事例索引存放到MySQL數(shù)據(jù)庫中，做1000次模擬查詢，查詢時(shí)間大部分集中在200～500 ms之間。

3）HBase查詢效率。

上面的實(shí)驗(yàn)中對(duì)MySQL的各個(gè)字段都增加了索引。對(duì)比傳統(tǒng)RDBMS的實(shí)驗(yàn)結(jié)果，查詢時(shí)間有了一定的降低，但是查詢效率提升并不明顯。此外，如果直接采用未優(yōu)化的HBase，由于Schema固定，難以支持靈活的半結(jié)構(gòu)化數(shù)據(jù)查詢，而且對(duì)于新增加的數(shù)據(jù)，需要更新相關(guān)的索引，對(duì)于大規(guī)模的應(yīng)用及后期擴(kuò)展仍然存在問題。

實(shí)驗(yàn)中采用了流式處理的HBase以及新的Schema，歸并了查詢條件以及對(duì)應(yīng)的事件結(jié)果。實(shí)驗(yàn)結(jié)果顯示線性擴(kuò)展性較好。而且，由于支持半結(jié)構(gòu)化數(shù)據(jù)，也不用更新相關(guān)索引，容納條目數(shù)多。對(duì)于查詢優(yōu)化，雖然不支持在重建或者模擬時(shí)直接加入數(shù)據(jù)，但是對(duì)于性能的提升極為明顯。在實(shí)際應(yīng)用中可以與重建或者模擬程序接口，實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)化增加與索引構(gòu)建。

4）條件歸并效果。

查詢條件的歸并對(duì)于性能帶來了很大的提升，主要原因是條件歸并使得HBase中的條目數(shù)量大大降低。整體范圍內(nèi)看，物理實(shí)驗(yàn)的1400萬個(gè)事例數(shù)據(jù)，由于一個(gè)屬性需要切分成為單獨(dú)的一個(gè)條目，所以在未歸并查詢條件前在HBase中共有4200萬條。進(jìn)行查詢條件歸并后，僅剩5564條。

其中，按照查詢條件進(jìn)行歸并壓縮的壓縮率根據(jù)實(shí)驗(yàn)的不同而不同，平均能夠到達(dá)2486，中位數(shù)為2402，75%的實(shí)驗(yàn)用例能夠保證壓縮率在1049以上。

4 結(jié)論

針對(duì)高能物理海量數(shù)據(jù)以及萬億級(jí)事例管理帶來的挑戰(zhàn)，本文在現(xiàn)有數(shù)據(jù)管理的基礎(chǔ)上，提出采用基于文件存儲(chǔ)和NoSQL事例特征索引融合的管理架構(gòu)，設(shè)計(jì)一套面向事例的科學(xué)數(shù)據(jù)管理系統(tǒng)，與原有的文件級(jí)管理方式相比，可以實(shí)現(xiàn)高效的事例索引、篩選與快速處理，提高數(shù)據(jù)分析的效率。同時(shí)，由于具備面向事例的細(xì)化管理，可以克服原有數(shù)據(jù)訪問局部性差的問題，實(shí)現(xiàn)事例級(jí)的緩存，提高數(shù)據(jù)I/O性能。基于事例特征索引數(shù)據(jù)庫和面向事例的數(shù)據(jù)傳輸系統(tǒng)，可以支持計(jì)算任務(wù)實(shí)時(shí)訪問遠(yuǎn)程站點(diǎn)數(shù)據(jù)，而不需要預(yù)先將所有文件傳輸?shù)侥繕?biāo)站點(diǎn)，使得分布式計(jì)算調(diào)度更加靈活，有利于提高資源利用率。驗(yàn)證系統(tǒng)選用了真實(shí)的1400萬高能物理實(shí)驗(yàn)事例數(shù)據(jù)和相關(guān)特征變量，實(shí)驗(yàn)結(jié)果說明基于特征查詢和篩選具有可行性，經(jīng)過查詢優(yōu)化的HBase系統(tǒng)具有非常好的查詢性能和可擴(kuò)展性。下一步工作，我們將針對(duì)更多的高能物理實(shí)驗(yàn)和更多的事例特征變量，開展大規(guī)模的研究和測試，最終實(shí)現(xiàn)萬億級(jí)別的事例索引和快速查詢，提高數(shù)據(jù)處理效率，更好地支撐高能物理領(lǐng)域的科學(xué)發(fā)現(xiàn)活動(dòng)?！?/p>