劉尚銘，曹 平，李 超，汪曉虎

（1.中國科學技術大學 核探測與核電子學國家重點實驗室，安徽 合肥 230026；2.中國科學技術大學 近代物理系，安徽 合肥 230026）

0 引言

核與粒子物理主要研究原子核內部及以下層次的微觀結構，為研究粒子間相互作用，人們通過數量龐大的探測器陣列和電子學設備對實驗物理現象進行觀測[1?2]。物理實驗采用觸發(fā)判選機制來濾除實驗本底與探測器噪聲，通過觸發(fā)系統(tǒng)的設計從前端原始信息中篩選出有效物理事例，從而降低后端數據傳輸與緩存壓力。

核與粒子物理實驗中的觸發(fā)判選技術主要有模擬硬件觸發(fā)、無硬件觸發(fā)、數字硬件觸發(fā)三種方式。早期實驗的觸發(fā)系統(tǒng)因技術限制，通常使用模擬硬件觸發(fā)方式提取前端信號特征參量并進行觸發(fā)判選，如中國原子能院GTAF 譜儀[3]，這些觸發(fā)系統(tǒng)大多專用且固定，具有一定死時間，無法適應物理實驗高事例率的發(fā)展需要。隨著數據傳輸處理能力的快速提高，壓縮重物質實驗[4]、反質子湮滅實驗[5]、大型高海拔宇宙線觀測站[6]等實驗開始采用無硬件觸發(fā)的數據讀出方法，將前端所有數據傳輸至后端，由后端高性能計算單元進行觸發(fā)判選，但對所有數據不加區(qū)分的讀出給讀出系統(tǒng)與數據獲取系統(tǒng)帶來了更大的設計壓力與資源消耗。近年來在某些實驗上，如反角白光中子源GTAF-II 譜儀[7]、江門中微子實驗[8]，逐漸開展了基于FPGA 實時硬件的全數字化硬件觸發(fā)技術研究，充分利用FPGA 并行處理能力強和實時性高的優(yōu)點，對原始數據進行實時的觸發(fā)判選與數據篩選。

物理實驗中的觸發(fā)判選一般根據有效物理事例與本底噪聲的特點，設置相應的判選條件。擊中多重數（Hit multiplicity，NHit）是一種常用的判選依據，在反角白光中子源GTAF-II 譜儀、大型高海拔宇宙線觀測站、江門中微子實驗、暗物質探測[9]等實驗中被廣泛應用。觸發(fā)系統(tǒng)需要接收匯聚前端所有原始數據，并從中快速統(tǒng)計NHit 信息，從而完成全局觸發(fā)判選。在高事例率情況下，基于數字硬件方式的NHit 觸發(fā)相比于無硬件觸發(fā)方式具有更好實時性，同時可以有效降低實驗成本資源開銷，而數字硬件觸發(fā)方式需要依托具體硬件電路的實現，才能完成實際的觸發(fā)判選。

針對核與粒子物理實驗中的數字NHit 觸發(fā)處理需求，本文設計了一種高性能數字觸發(fā)判選電路。該電路支持多個通道的光纖數據傳輸與千兆網絡通信，使用大容量高速DDR4 緩存與高性能FPGA 支持高速數據緩存與實時硬件數字觸發(fā)處理。該電路靈活可擴展，可應用在不同的物理實驗場景中，通過多塊該電路組合可實現靈活的觸發(fā)處理；同時具有一定兼容性，可作為機箱標準插卡并入某些物理實驗電子學系統(tǒng)。通過對數字觸發(fā)硬件電路的數據傳輸與緩存接口的測試，結果表明數字硬件電路可以實現與多個硬件間的光纖數據傳輸，以及與上位機間的千兆網絡通信，同時支持高帶寬的DDR4 數據緩存，滿足電路設計需求。

1 數字觸發(fā)方案

在核與粒子物理實驗中，基于光纖的數據傳輸是一種高效的遠距離數據傳輸方式，被廣泛應用在各個物理實驗中。數字觸發(fā)判選電路可通過光纖與前端電子學硬件相連，通過多個光纖鏈路匯聚前端原始數據，同時在內部通過高速大容量緩存將其緩存在本地等待后續(xù)觸發(fā)處理；在硬件上使用高性能FPGA 運行實時的NHit觸發(fā)算法，通過分析原始數據的時間信息得到NHit 統(tǒng)計結果并進行全局觸發(fā)判選；在得到觸發(fā)結果后，數字觸發(fā)判選電路挑選讀出本地緩存中的有效物理事例數據，并通過千兆網絡發(fā)送給后級數據獲取系統(tǒng)，其觸發(fā)處理架構如圖1（a）所示。

由于物理實驗通道數眾多，在某些多通道高事例率的物理實驗中，單塊數字觸發(fā)判選電路難以實現對所有前端數據的匯聚、讀出以及觸發(fā)處理。該情況下可根據物理實驗的前端通道數、原始事例率、有效事例數據率等具體情況，使用多塊數字觸發(fā)判選單元電路進行級聯擴展，從而實現靈活的觸發(fā)處理操作，圖1（b）展示了多塊數字觸發(fā)判選電路擴展的應用方式。

圖1 數字觸發(fā)判選電路

數字觸發(fā)判選電路具備多通道光纖數據傳輸與千兆網絡通信、大容量高帶寬數據緩存、實時數據處理與觸發(fā)判選能力，該電路實現不依賴具體的機箱平臺，出于兼容性考慮，將數字觸發(fā)判選電路設計成標準的MTCA 機箱插卡[10]，實際使用時可作為單獨的電子學模塊獨立運行，也可兼容某些物理實驗的電子學系統(tǒng)，可插到MTCA 機箱內實現與其他插卡的數據交互，從而大大增強數字觸發(fā)判選電路的靈活性與可擴展性。此外，本方法也不完全依賴于光纖技術，當前端原始數據率不高情況下，也可利用電纜技術進行數據的傳輸收集。

由于光纖數據傳輸需使用較多數量的SFP+模塊，因用戶插卡面板空間限制，數字觸發(fā)判選電路實際上由一個負責數據傳輸與處理的主處理模塊與一個IO 擴展模塊組成，其電路結構框圖如圖2 所示。在主處理模塊上使用1 顆高性能FPGA 芯片負責數據傳輸與實時處理，多顆DDR4 芯片用作大容量高速數據緩存，同時主處理模塊與IO 擴展模塊上布有多個SFP+模塊用于多個通道的光纖數據傳輸與千兆網絡通信，數字觸發(fā)判選電路實物如圖3 所示。

圖2 數字觸發(fā)判選電路框圖

圖3 數字觸發(fā)判選電路實物圖

數字觸發(fā)判選電路基于光纖來進行高速串行數據通信，使用SFP+光模塊進行光電轉換，并將電信號連接到FPGA 的高速串行收發(fā)器上，通過FPGA 邏輯配置可以使各個高速串行收發(fā)器工作在不同的高速串行數據通信協議下，例如Aurora、SRIO、PCIe 等協議[11?13]。

在千兆網絡通信上數字觸發(fā)判選電路使用SiTCP 技術[14]，SiTCP 是為高能物理實驗而開發(fā)的一種網絡通信技術，搭建了一種可在FPGA 芯片上運行的硬件網絡通信處理單元，具有低資源消耗、低功耗等優(yōu)勢。從網絡協議層級上來看，SiTCP 用硬件實現了MAC 層及以上層級，可將FPGA 的高速串行收發(fā)器用作網絡通信的PHY層，數字觸發(fā)判選電路將以太網SFP 模塊插到該路的SFP+通道上，即可將該路SFP+通道用于千兆網絡數據傳輸。

2 數字觸發(fā)判選電路設計

2.1 主處理模塊

主處理模塊的具體電路結構框圖如圖4 所示，可以看到主處理模塊主要由FPGA、DDR4、時鐘、電源、SFP+接口電路、背板接口電路幾部分組成。

到目前為止，對沈從文小說的原型研究主要集中在“少女形象”“水”“湘西世界”這三個方面，還有少數研究成果涉及沈從文小說中其他事物的原型研究。

圖4 主處理模塊電路結構框圖

2.1.1 FPGA 與DDR4 芯 片

為了支持高速數據傳輸與緩存，主處理模塊上使用一顆Xilinx Kintex UltraScale 系列XCKU060 型號的FPGA 芯片，該芯片具有28 個可達16 Gb/s 傳輸速率的高速串行收發(fā)器（GTH），支持最高傳輸速率達2 400 Mb/s 的DDR4 緩存芯片連接。DDR4 芯片使用Micron公司的MT40A512M16LY-083 產品，單個芯片數據總線位寬為16 bit，該內存顆粒的存儲容量為8 Gb，最大時鐘頻率為1.6 GHz。在本數字觸發(fā)判選電路中，為了實現高速數據緩存，使用4 片DDR4 芯片合并了數據總線位寬，將數據傳輸總線寬度擴展為64 位，數據緩存速率理論最高可達153.6 Gb/s。

2.1.2 時鐘方案

主處理模塊的時鐘方案如圖5 所示，使用了兩顆時鐘扇出芯片，CLK BUF1 選擇接收本地晶振的156.25 MHz 時鐘，或者是CLK BUF2 扇出的時鐘信號，同時將輸入時鐘扇出多路，輸出時鐘作為FPGA 多個GT bank以及DDR 接口的參考時鐘。CLK BUF2 接收本地的高品質10 MHz 時鐘信號，以及背板送過來的TCLKA 與TCLKC 時鐘，選通其中一路并扇出給FPGA、IO 擴展模塊以及CLK BUF1。同時FPGA 芯片接收IO 擴展模塊通過硬公制連接器送過來的時鐘，并輸出兩路時鐘信號作為TCLKB 與TLKD 時鐘送給機箱背板。通過以上的時鐘電路設計可以實現靈活的時鐘分配方案。

圖5 主處理模塊的時鐘方案

2.1.3 電源方案

圖6 主處理模塊的電源方案

2.1.4 SFP+接口電路

數字觸發(fā)判選電路使用SFP+模塊來實現光纖鏈路數據傳輸與網絡通信，在主處理模塊上載有5 路SFP+連接器插座與對應的屏蔽罩，將不同功能以及傳輸速率的商用SFP+光纖收發(fā)器安裝到板卡上，即可實現不同功能與速率的高速串行數據通信。光纖鏈路的高速串行數據傳輸使用最高傳輸速率為8.5 Gb/s 的FTLF8528P3 BCV 光纖收發(fā)器；而千兆網絡通信使用FCLF8521P2 BTL 型號以太網SFP 模塊，該模塊使用RJ45 接口，通過尋常網線即可連接到其他網絡設備上。

2.1.5 背板接口電路

主處理模塊基于兼容性考慮，保留了MTCA 機箱平臺的背板總線連接，以便實現更靈活的數據傳輸與處理功能。機箱背板共有20 個Port，每個Port 都有一收一發(fā)兩對高速差分線，不同Port 可用于實現不同功能。主處理模塊卡將12 個GTH 連到了Port0～11 上面，其中Port0、1 分別連接到兩塊交換卡上，可實現千兆網絡通信；Port2、3 可用于相鄰槽位插卡間的數據通信；Port4～7與Port8～11 分別與交換卡1、2 相連，可實現×4 鏈路的PCIe 或者SRIO 總線通信。

2.2 IO 擴展模塊設計

IO 擴展模塊電路結構如圖7 所示，IO 擴展模塊使用MPS 公司的MPM3630GQV-Z 型號DC-DC 直流降壓芯片，將主處理模塊通過硬公制連接器提供的12 V 電源轉為3.3 V，供8 路SFP+模塊使用；板上有8 路SFP+模塊與2 路156.25 MHz 頻率的本地晶振，通過硬公制連接器將相應信號送至主處理模塊上的FPGA 以實現光纖鏈路數據通信。

圖7 IO 擴展模塊電路結構框圖

3 硬件電路測試

為驗證數字觸發(fā)判選電路的實測性能是否符合設計時的指標，在實驗室環(huán)境下對電路邏輯的數據傳輸與緩存接口進行相應測試。

3.1 高速串行數據傳輸測試

為驗證高速串行數據傳輸的穩(wěn)定性，對高速串行收發(fā)器進行誤碼率測試[15]，在FPGA 邏輯里例化Xilinx 提供的專用于高速串行收發(fā)器誤碼率測試的IBERT IP 核，通過IBERT 工具得到誤碼率與眼圖測試結果。測試時相鄰兩對收發(fā)器互相通過光纖傳輸數據，IBERT IP 核產生PRBS-7 偽隨機碼對傳輸鏈路進行測試，現場照片如圖8 所示。經過約10 小時的測試得到如圖9 所示的誤碼率測試結果，光纖鏈路傳輸了約3.79×1014bit 大小的數據量，通道誤碼數為0，在99%的置信度下小于2.645×10-15。其中一條鏈路眼圖測試結果如圖10 所示，眼圖睜開范圍較大，具有較好信號完整性。

圖8 現場測試照片

圖9 IBERT 測試誤碼率結果

圖10 IBERT 測試眼圖

3.2 SiTCP 上行網絡通信測速

SiTCP 使用TCP 連接實現硬件電路與上位機之間的數據通信，硬件內邏輯持續(xù)通過SiTCP 上傳數據。在上位機編寫測速程序測試其上行網速，上位機作為客戶端與數字觸發(fā)判選電路建立TCP 連接，持續(xù)接收數字觸發(fā)判選電路上傳的數據，并對其上行網絡數據通信速率進行測試。實測的網絡通信速率如圖11 所示，上行的平均網絡通信速率最高可達949.3 Mb/s左右。

圖11 SiTCP 上行網絡傳輸測速

3.3 DDR4 數據讀寫測試

為驗證DDR4 芯片的高速數據緩存是否能夠正常工作，編寫了數據緩存接口的測試邏輯，例化了Xilinx 提供的AXI4 總線接口的DDR4 MIG IP 核[16]，DDR 傳輸速率設定為2 000 MT/s，理論傳輸帶寬為128 Gb/s。測試邏輯持續(xù)產生數據遞增碼，并通過AXI4 接口依次向DDR 地址單元中寫入數據，隨后再讀出數據檢測是否符合預期，通過多次操作驗證DDR 緩存接口功能正確性，并記錄運行時間與寫入讀出的數據量進行讀寫測速。

某次寫入讀出過程的邏輯波形如圖12所示，寫入讀出功能正常，讀出數據與寫入數據完全一致。在經過128 次對DDR所有地址單元的寫入讀出循環(huán)操作后得到如圖13所示的測速結果，共完成了4 096 Gb 數據量的DDR 數據讀寫操作，寫入讀出分別消耗了10 463 976 791、9 996 418 958 個時鐘周期，在整個測試過程中寫入與讀出值完全一致，數據讀寫無誤，DDR寫入讀出速度如表1所示。

表1 DDR4 實測寫入與讀出速度

圖12 DDR4 讀寫測速波形

圖13 DDR4 讀寫操作消耗時鐘周期計數

4 結論

針對核與粒子物理實驗中的數字NHit 觸發(fā)判選需求，本文設計實現了一種高性能數字觸發(fā)判選電路，可支持多通道的光纖數據傳輸與千兆網絡通信、高速大容量數據存儲以及實時FPGA 數字觸發(fā)處理。在實驗室條件下進行了數據傳輸與緩存接口測試，測試結果表明板卡可實現8.125 Gb/s 光纖鏈路的高速串行數據傳輸速率，SiTCP 上行網絡傳輸速率達949.3 Mb/s，DDR 數據讀寫速率可達102.6 Gb/s，滿足電路設計需求。該硬件電路具有較強的擴展性與靈活性，可通過多個該模塊的擴展，靈活應用在各個物理實驗中。本文在完成硬件電路的設計實現以及數據傳輸與緩存接口的性能測試工作基礎上，后續(xù)將結合數字NHit 觸發(fā)算法，完成數字觸發(fā)判選電路的完整邏輯設計工作，并進行多個模塊擴展的系統(tǒng)級別綜合調試驗證。