許烈華

(中國西南電子技術(shù)研究所, 成都610036)

1 引 言

基于傳統(tǒng)分級共享式并行總線的處理平臺(如CPCI、VME 等平臺),總線時鐘頻率和總線接口寬度決定了處理平臺的基本性能,為盡可能提高性能,器件廠家推出了一系列的改進(jìn),如提高總線時鐘頻率、拓寬總線接口寬度等。比如PCI 總線速度從33 MHz提高到66 MHz,總線寬度從32 bit變成64 bit。雖然這些改進(jìn)對性能有一定的改善,但是能力有限,且任意節(jié)點間不能自由通信,導(dǎo)致系統(tǒng)設(shè)計不夠靈活。正因為此,基于共享式并行總線的處理平臺的發(fā)展已受到瓶頸限制,達(dá)到了其極限性能。但是隨著通信帶寬的越來越寬、雷達(dá)和圖像處理分辨率的越來越高以及對實時處理性能的需求,對處理平臺的性能提出了更高的要求,需要更高的總線傳輸帶寬、更強(qiáng)的運算能力和更靈活的數(shù)據(jù)交互能力[1]。

針對這種應(yīng)用需求,本文提出了一種新的處理平臺解決方案,重點對該處理平臺的總體構(gòu)架、背板、拓?fù)渚W(wǎng)絡(luò)和處理模塊進(jìn)行了詳細(xì)的分析設(shè)計,給出了處理平臺的總線傳輸帶寬指標(biāo)。

2 openVPX 發(fā)展歷程

1987 年出現(xiàn)的VME32 總線帶寬達(dá)到40 Mbit/s,為不斷提高帶寬,VME 進(jìn)行了一系列的改進(jìn),比如后來的VME64、VME2eSST 和VXS,帶寬分別提到了80 Mbit/s、320 Mbit/s和3 Gbit/s。在2007 年加入到ANSI 的VPX,采用串行RapidIO 總線,進(jìn)一步增加了帶寬,同時集成了更多的IO 和擴(kuò)展了格式布局。VPXREDI 主要對VPX 的結(jié)構(gòu)和制冷等方面進(jìn)行規(guī)定,解決性能大幅提高的同時帶來的功耗增加和可靠性降低等問題。

但是在VPX 的推廣使用過程中,發(fā)現(xiàn)各個廠商的模塊與背板的通用性較差,同時VPX 在初期還留有VME 的某些痕跡,比如VITA46.1 專門對VME 進(jìn)行了定義,再者VPX 自身也缺乏足夠的背板互連規(guī)范來支持最大化應(yīng)用自身的優(yōu)勢。為解決這些問題,2010 年VITA(VME 國際貿(mào)易協(xié)會組織)成員在VPX 的基礎(chǔ)上制定了openVPX 標(biāo)準(zhǔn)。openVPX 仍然采用VPX 的機(jī)械尺寸、制冷方式、供電方式和通信協(xié)議,但它對當(dāng)前VPX 市場進(jìn)行了通用化的統(tǒng)一規(guī)定,它定義了節(jié)點、背板和模塊等三大類的標(biāo)準(zhǔn)架構(gòu),每一類里面詳細(xì)描述了各種應(yīng)用模型。另外,在openVPX 中,完全摒棄了VME 的痕跡,在帶寬方面進(jìn)一步提高,單通道速率達(dá)6.25 Gbit/s,同時改變了VPX 中單一交換的網(wǎng)絡(luò)結(jié)構(gòu),采用了多交換的網(wǎng)絡(luò)結(jié)構(gòu)[2]。圖1 展示了openVPX 的發(fā)展歷程。

圖1 openVPX 發(fā)展歷程Fig.1 History of openVPX

3 處理平臺硬件設(shè)計

3.1 總體設(shè)計

筆者在某工程應(yīng)用中遇到的如下需求:

(1)16 通道采樣,實時數(shù)據(jù)總傳輸率42 Gbit/s;

(2)同時形成8 個數(shù)字波束的運算能力;

(3)具備數(shù)據(jù)記錄、回放及DA 轉(zhuǎn)換的功能。

根據(jù)這一需求,經(jīng)過大量論證和反復(fù)方案比較,最終選取了基于openVPX 標(biāo)準(zhǔn)的處理平臺方案。該處理平臺主要完成16 通道的中頻信號采樣、數(shù)字波束預(yù)合成、合成、校正及數(shù)據(jù)記錄等功能,處理平臺的組成框圖如圖2 所示。其中,主控模塊完成處理平臺的初始化、交換網(wǎng)絡(luò)動態(tài)管理、狀態(tài)監(jiān)測和對外接口;AD 模塊共2 個,每個完成8 通道的模擬信號的采樣以及數(shù)據(jù)的預(yù)處理;處理模塊共3 個,各種算法在其上實現(xiàn),一個完成左邊8 路信號的預(yù)合成,另一個完成右邊8 路信號的預(yù)合成,在第三個處理模塊上完成和、差數(shù)字波束合成及校正的運算;存儲模塊完成數(shù)據(jù)的固態(tài)存儲,以便于事后分析;DA 模塊實現(xiàn)數(shù)字信號到模擬信號的轉(zhuǎn)換,產(chǎn)生校正信號;交換模塊為在同一數(shù)據(jù)網(wǎng)絡(luò)上的各種模塊提供數(shù)據(jù)交換,根據(jù)路由表信息完成不同模塊間的數(shù)據(jù)通信。

圖2 處理平臺組成框圖Fig.2 Composition diagram of processing platform

模塊間數(shù)據(jù)通信采用串行RapidIO 總線[3]。本方案中使用RapidIO Level Ⅱ協(xié)議, 單通道速率6.25 Gbit/s。本來RapidIO 只支持點對點的通信方式,但是處理平臺中有交換模塊,且交換模塊為全交換結(jié)構(gòu),則可實現(xiàn)任意節(jié)點間多點對多點的通信。比如,處理平臺中,可實現(xiàn)AD 模塊與處理模塊間的通信,在同一時刻,也能實現(xiàn)存儲模塊與DA 模塊間的通信,前后兩組間的通信完全獨立同時進(jìn)行。通過重新配置交換模塊的路由表信息,不需要改變?nèi)魏斡布?很容易實現(xiàn)把從AD 模塊與處理模塊間的通信切換到AD 模塊與存儲模塊間的通信。圖3 為處理平臺的RapidIO 網(wǎng)絡(luò)示意圖。

圖3 RapidIO 網(wǎng)絡(luò)示意圖Fig.3 Diagram of RapidIO network

同樣,處理模塊內(nèi)部也采用串行RapidIO 交換結(jié)構(gòu),模塊內(nèi)不同的運算單元(比如DSP 或FPGA)掛在同一RapidIO 網(wǎng)絡(luò)上,任意運算單元可實現(xiàn)多點對多點的通信。采用這種架構(gòu)明顯的優(yōu)點在于:系統(tǒng)對各運算單元的忙閑情況動態(tài)監(jiān)測,根據(jù)監(jiān)測情況,動態(tài)分配路由表,從而改變數(shù)據(jù)流的方向,最終實現(xiàn)動態(tài)分配運算單元的功能,使各運算單元的忙閑相對平衡。通過動態(tài)監(jiān)測與分配,很容易實現(xiàn)并行處理,達(dá)到提高系統(tǒng)處理能力和效率的目的。

3.2 背板及拓?fù)渚W(wǎng)絡(luò)

處理平臺采用openVPX 中定義的標(biāo)準(zhǔn)背板形式,背板拓?fù)錁?biāo)準(zhǔn)為BKP6-CEN10-11.2.4-3。背板中共定義了5 個層,分別是擴(kuò)展層、數(shù)據(jù)層、控制層、管理層和電源層[2]。擴(kuò)展層為相鄰槽位間數(shù)據(jù)傳輸,數(shù)據(jù)層分為兩種,一種是與交換槽位的連接,另一種是相鄰槽位間的連接?？刂茖又慌c交換槽位有連接。管理層定義了兩對差分線,每個槽位的差分線物理上連在一起。電源層用于給各模塊供電。

在該處理平臺中,擴(kuò)展層設(shè)計為相鄰槽位間FPGA 的高速收發(fā)器(GTX)的數(shù)據(jù)傳輸,GTX 通道數(shù)為8 個,每通道速率5 Gbit/s。數(shù)據(jù)層設(shè)計為3 個4×的串行RapidIO 接口,每通道速率6.25 Gbit/s,與交換槽位2 個接口,相鄰槽位間1 個接口。控制層設(shè)計為2 個1×的串行RapidIO 接口,每通道速率為1.25 Gbit/s。管理層設(shè)計為低速控制和監(jiān)視總線用的CAN 總線。圖4 為處理平臺中高速數(shù)據(jù)通道的拓?fù)渚W(wǎng)絡(luò)圖,圖中4 個交換芯片位于交換模塊上,交換模塊標(biāo)準(zhǔn)為SLT6-SWH-20U19F-10.4.1。VPX1 為主控模塊,VPX2、9 為存儲模塊,VPX3、8 為AD 模塊,VPX4、5、7 為處理模塊,VPX10 為DA 模塊。

圖4 數(shù)據(jù)通道拓?fù)渚W(wǎng)絡(luò)圖Fig.4 Network topology of data channel

該處理平臺采用雙星型網(wǎng)絡(luò)拓?fù)?。雙星型網(wǎng)絡(luò)拓?fù)溆袃蓚€優(yōu)點,一是解決單個交換芯片端口數(shù)量不夠問題,二是提高了網(wǎng)絡(luò)的可靠性,當(dāng)一個網(wǎng)絡(luò)出現(xiàn)問題時,另一網(wǎng)絡(luò)可以作為備份。圖4 中上半部分為數(shù)據(jù)層的拓?fù)?采用4×的RapidIO 接口,每個節(jié)點模塊分別有一個接口與交換芯片1 和2 相連。下半部分為控制層的拓?fù)?采用1×的RapidIO 接口,每個節(jié)點模塊分別有一個接口與交換芯片3 和4 相連。另外,相鄰模塊間,還有一個4×的RapidIO接口和8 通道的GTX 接口。

3.3 處理模塊設(shè)計

處理模塊為處理平臺中的重要模塊,模塊符合openVPX 中的SLT6-PAY-4F1Q2U2T -10.2.1 標(biāo)準(zhǔn)。處理模塊原理框圖如圖5 所示。

圖5 處理模塊框圖Fig.5 Block diagram of processing module

模塊主要由高性能的DSP 和FPGA 器件、交換芯片和DDR3 存儲器構(gòu)成, DSP 選用TI 公司的C6678 芯片,FPGA 選用Xilinx 公司virtex6 系列的SX315T,交換芯片選用IDT 公司的CPS1848 芯片,連接器采用tyco 公司VPX RT2 連接器。模塊內(nèi)部及對外均采用RapidIO 接口,單通道6.25 Gbit/s。模塊支持通過RapidIO 網(wǎng)絡(luò)動態(tài)加載程序。

3.4 信號完整性設(shè)計與測試

在本方案中, 板內(nèi)及板間的傳輸速率為6.25 Gbit/s,信號的上升時間在1 ns以內(nèi),信號完整性問題,諸如串?dāng)_、阻抗匹配、EMI、抖動等不容忽視。在本設(shè)計中,主要從高速印制板設(shè)計和高速信號測試等方面來分析與解決信號完整性問題。

在印制板設(shè)計方面,采用安捷倫的ADS 仿真工具,對高速傳輸線、關(guān)鍵器件、關(guān)鍵接插件等進(jìn)行仿真和建模。通過前仿真解決走線的阻抗連續(xù)性、過孔效應(yīng)、走線間耦合等問題。在電路板已經(jīng)制作后,根據(jù)測試結(jié)果,對電路板進(jìn)行建模并后仿真,進(jìn)而分析測試結(jié)果,指導(dǎo)電路板改進(jìn)。

在高速信號測試方面,采用高性能的數(shù)字示波器、邏輯分析儀、誤碼率分析儀等對實際的信號進(jìn)行測試分析,包括波形參數(shù)測量、眼圖/抖動測量、一致性測量、協(xié)議分析和誤碼率測量等。通過測試,一方面檢測系統(tǒng)是否滿足規(guī)范和設(shè)計要求;另一方面在測試過程中,為每個器件的預(yù)加重、去加重、預(yù)均衡、均衡等參數(shù)的最佳選擇提供依據(jù)。

4 性能分析

處理平臺的性能主要從兩方面進(jìn)行分析,一是傳輸帶寬的計算,二是運算能力的分析。傳輸帶寬的計算分兩種情況,一種是任意模塊間,另一種是相鄰模塊間,如表1 和表2 所示。RapidIO 為8B/10B 編碼,因此編碼效率為0.8,且RapidIO 基于包傳輸方式,除去包頭開銷,有效載荷數(shù)據(jù)效率只有0.9 左右[3]。

表1 任意模塊間傳輸帶寬Table1 Bandwidth between any module

表2 相鄰模塊間傳輸帶寬Table2 Bandwidth between adjacent module

由表得知, 任意模塊間的傳輸帶寬為37.8 Gbit/s,相鄰模塊間的傳輸帶寬為84.6 Gbit/s?；诠蚕硎讲⑿锌偩€的處理平臺的帶寬約為4 Gbit/s,相比之下,帶寬有數(shù)量級的提升,顯著提高了處理平臺的傳輸帶寬。

在運算能力方面,處理平臺采用高性能的DSP和FPGA 芯片, 運算能力大大提高。FPGA 采用40 nm技術(shù)的virtex6 系列的SX315T,相比65 nm技術(shù)的virtex5 系列的SX95T,在邏輯資源、接口支持的速度、系統(tǒng)運行速度等方面都有較大的提升,同時功耗有所降低。

5 結(jié) 論

本文在openVPX 標(biāo)準(zhǔn)體系下,構(gòu)建了一種新型的高性能處理平臺,平臺采用高速串行RapidIO 總線作為模塊之間和模塊內(nèi)節(jié)點間的高速數(shù)據(jù)通道,采用雙星型的交換網(wǎng)絡(luò)結(jié)構(gòu),既能保證高的傳輸帶寬,又具有高的可靠性,通過軟件動態(tài)改變路由,從而改變數(shù)據(jù)流路徑,可大大提高系統(tǒng)設(shè)計的靈活性。處理平臺的總體架構(gòu)與模塊接口定義滿足openVPX 標(biāo)準(zhǔn),具有較強(qiáng)的通用性,可應(yīng)用于總線帶寬和實時性要求高的寬帶通信、對抗、雷達(dá)或圖像處理等領(lǐng)域。

[1] 楊小牛, 樓才義,徐建良.軟件無線電技術(shù)與應(yīng)用[M] .北京:北京理工大學(xué)出版社, 2010:251-252.

YANG Xiao-niu,LOU Cai-yi,XU Jian-liang.Software Defined Radio Technology and Application[M] .Beijing:Beijing Institute of Technology Press, 2010:251-252.(in Chinese)

[2] ANSI/VITA65-2010,Open VPX System Specification[ S] .

[3] Sam Fuller.Rapid IO 嵌入式系統(tǒng)互連[M] .王勇, 譯.北京:電子工業(yè)出版社,2006:202-255.

Sam Fuller.RapidIO:The Embedded system Interconnect[M] .Translated by WANG Yong.Beijing:Publishing House of Electronics Industry, 2006:202-255.(in Chinese)