夏云飛，張麗，楊堃，李沛杰，許立明

（1.天津市濱海新區(qū)信息技術(shù)創(chuàng)新中心，天津 300457；2.國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心，河南 鄭州 450002）

1 引言

隨著新型網(wǎng)絡(luò)技術(shù)的發(fā)展，網(wǎng)絡(luò)應(yīng)用已經(jīng)從早期非實時業(yè)務(wù)，發(fā)展到目前以文本、圖像、語音、視頻綜合內(nèi)容承載為主，并呈現(xiàn)出終端類型多元化、接入方式多元化、設(shè)備形態(tài)多元化、業(yè)務(wù)場景多元化等趨勢[1]。基于開放架構(gòu)的軟件定義網(wǎng)絡(luò)（SDN，software defined network）[2-3]，更加強(qiáng)調(diào)系統(tǒng)的多標(biāo)準(zhǔn)、多協(xié)議、高魯棒、高效能等特性。面對以上需求，現(xiàn)有網(wǎng)絡(luò)中的交換節(jié)點(diǎn)接口標(biāo)準(zhǔn)單一固定，難以滿足接入方式與設(shè)備形態(tài)多元化的趨勢[4]。通過調(diào)研，國內(nèi)外還沒有能滿足多種高速串行通信協(xié)議的控制器，無論是國內(nèi)領(lǐng)先的天河二號超算中心，還是國外領(lǐng)先的Intel極光數(shù)據(jù)中心，內(nèi)部都是通過集成PCI-E或光纖等單一協(xié)議接口來支撐數(shù)據(jù)通信網(wǎng)絡(luò)，因此一個支持多種接口規(guī)范的交換器件十分必要。

現(xiàn)有數(shù)據(jù)中心中被廣泛使用的高速協(xié)議為：以太網(wǎng)Ethernet 10GBASE-KR（簡稱Ethernet）、Serial RapidIO（簡稱SRIO）以及Fiber Channel（簡稱FC）。Ethernet協(xié)議適用于數(shù)據(jù)中心間的遠(yuǎn)距傳輸與網(wǎng)絡(luò)拓?fù)洌現(xiàn)C協(xié)議大多作為數(shù)據(jù)中心內(nèi)部的高速存儲訪問接口，而SRIO協(xié)議則大多作為嵌入式系統(tǒng)中拓展高性能DSP或GPU所使用的協(xié)議接口，3種協(xié)議的應(yīng)用場景、傳輸方式以及兼容頻點(diǎn)各不相同。而數(shù)據(jù)中心正以多協(xié)議接口設(shè)備作為多形態(tài)組網(wǎng)的解決方案，但造成系統(tǒng)體積與能耗驟升[5]。隨著高性能計算平臺對系統(tǒng)架構(gòu)可重構(gòu)需求的增加，單純固化集成多種單一協(xié)議的方案不利于構(gòu)建高性能可重構(gòu)互聯(lián)網(wǎng)絡(luò)[6]。

本文對上述3種高性能串行協(xié)議功能進(jìn)行了分析與歸一化整合，并利用軟件定義與可編程硬件技術(shù)實現(xiàn)了一種基于軟件定義的高性能多協(xié)議控制器架構(gòu)，最終利用40 nm工藝實現(xiàn)支持多協(xié)議SerDes電路樣片配合可編程電路構(gòu)建了驗證系統(tǒng)。

2 多協(xié)議控制器架構(gòu)說明

Ethernet、SRIO以及FC這3種高速串行協(xié)議控制器的基本結(jié)構(gòu)，均包含3部分電路：物理傳輸子層（PMA，physical media access）電路、物理編碼子層（PCS，physical coding sub-layer）電路以及介質(zhì)訪問控制器（MAC，media access control）電路，其結(jié)構(gòu)如圖1所示。

圖1 高速串行協(xié)議控制器結(jié)構(gòu)Figure 1 The architecture of high-speed serial protocol controller

PMA電路主要完成數(shù)據(jù)的串/并轉(zhuǎn)換，進(jìn)而實現(xiàn)高速物理傳輸[7]，本文所設(shè)計的多協(xié)議控制器中的PMA電路根據(jù)3種協(xié)議的物理規(guī)范、通道綁定與頻點(diǎn)等需求，采用軟件定義互聯(lián)思想設(shè)計多協(xié)議高速串行收發(fā)器電路。

PCS電路主要完成數(shù)據(jù)編解碼、通道綁定、位寬轉(zhuǎn)換等功能。本文提取3種協(xié)議在PCS子層功能實現(xiàn)中的公共算粒，并將各個協(xié)議私有算粒歸一為可配置邏輯，最終實現(xiàn)多協(xié)議PCS子層電路。

各協(xié)議MAC電路主要負(fù)責(zé)數(shù)據(jù)包流量控制功能，不會對數(shù)據(jù)包進(jìn)行幀解析。而3種協(xié)議在流量控制與校驗重傳處理上差異較大，私有算粒比重高，無法通過復(fù)用重構(gòu)進(jìn)行歸一化。因此，對MAC硬件可重構(gòu)電路，通過動態(tài)加載不同的電路結(jié)構(gòu)，實現(xiàn)多協(xié)議異構(gòu)。

多協(xié)議控制器架構(gòu)如圖2所示，其基本工作流程如下。

1)控制器上電，主控根據(jù)上層應(yīng)用，經(jīng)配置總線接口通過SPI接口加載MAC硬件可重構(gòu)電路配置，實現(xiàn)對應(yīng)協(xié)議控制器MAC邏輯。

2)MAC電路配置加載完畢后，內(nèi)部主控通過配置接口，對PMA與PCS電路進(jìn)行相應(yīng)模式配置，內(nèi)部主控監(jiān)測反饋信息以及鏈路狀態(tài)。

3)上層應(yīng)用通過配置接口輪詢確認(rèn)反饋信息與鏈路狀態(tài)無誤后，開始數(shù)據(jù)傳輸。

所有工作流程均通過內(nèi)部主控完成軟件定義硬件結(jié)構(gòu)配置，內(nèi)部主控通過內(nèi)嵌的一個輕量化MCU實現(xiàn)，用于驗證軟件定義功能。整個協(xié)議控制器的工作模式，都可以通過軟件定義的形式進(jìn)行靈活切換，從而滿足系統(tǒng)不同應(yīng)用場景下的異構(gòu)需求。

圖2 多協(xié)議控制器架構(gòu)Figure 2 The architecture of multi-protocol controller

3 多協(xié)議控制器架構(gòu)設(shè)計

3.1 可重構(gòu)多協(xié)議MAC

多協(xié)議控制器架構(gòu)主要應(yīng)用于數(shù)據(jù)中心軟件定義互聯(lián)的交換設(shè)備或芯片中，因此本文多協(xié)議控制器MAC電路并不解析數(shù)據(jù)包，而是實現(xiàn)數(shù)據(jù)鏈路層功能。而每種協(xié)議MAC電路具體功能各不相同，對于FC協(xié)議而言，MAC層處理包括協(xié)議數(shù)據(jù)鏈路層和交換適配層[8]，而其中FC協(xié)議的交換適配層是FC的特化處理算粒（簡稱FC-AE-ASM控制器），無法與其他協(xié)議兼容；以太網(wǎng)MAC電路除必要的流控功能外，其特殊設(shè)計的數(shù)據(jù)校驗與重傳機(jī)制[9]都是差異化較大的處理；SRIO協(xié)議MAC層采用基于信用的流控處理，而且具備SRIO維護(hù)包管理層功能[10]，處理復(fù)雜且無法與以上兩種協(xié)議MAC處理兼容。

因此，多協(xié)議控制器MAC電路很難采用歸一公共算粒的設(shè)計方法，并且由于存在不同通道綁定形式下的多種協(xié)議應(yīng)用，單純并行堆疊不同的MAC電路，勢必帶來龐大的冗余設(shè)計，而且無法適應(yīng)軟件定義互聯(lián)的靈活多變的應(yīng)用形態(tài)。綜上，多協(xié)議控制器的MAC電路采用基于軟件定義的硬件可重構(gòu)電路進(jìn)行實現(xiàn)。

針對3種協(xié)議控制器使用電路綜合工具進(jìn)行實現(xiàn)，并根據(jù)綜合結(jié)果統(tǒng)計3種協(xié)議MAC部分的邏輯資源，如表1所示。

表1 3種協(xié)議以及多協(xié)議MAC電路資源統(tǒng)計Table 1 Resource statistics of 3 protocols and multi-protocol MAC circuit

根據(jù)以上各電路的資源數(shù)據(jù)，為了最大限度地復(fù)用PCS與PMA電路，從而確定可編程電路的資源要求，可以同時放下4個以太網(wǎng)或FC協(xié)議的MAC電路。

然而，SRIO協(xié)議控制器MAC電路規(guī)模龐大，如果以SRIO資源為依據(jù)來確定可編程電路資源，會造成較大的資源冗余。所以，對SRIO協(xié)議MAC電路進(jìn)行功能拆分，將SRIO協(xié)議中接口處理部分統(tǒng)一在FC與以太網(wǎng)可重構(gòu)電路結(jié)構(gòu)中實現(xiàn)，其他功能單獨(dú)使用專用電路實現(xiàn)。這樣既滿足FC或以太網(wǎng)協(xié)議4個1x通道工作，又支持SRIO協(xié)議的功能需求，可以最大限度地完全利用PMA電路的4個Lane通道資源。

3.2 軟件定義多協(xié)議PCS電路

本文中的協(xié)議控制器支持3種不同協(xié)議，如果根據(jù)協(xié)議種類設(shè)計多個完全獨(dú)立PCS電路，雖解決了多協(xié)議的PCS電路需求，但由于電路設(shè)計復(fù)用度低，導(dǎo)致電路本身面積與功耗開銷增加，從而直接影響系統(tǒng)的體積、重量、功耗等指標(biāo)。

通過對比SRIO協(xié)議、FC協(xié)議以及Ethernet協(xié)議對PCS子層的定義，提取4種協(xié)議對PCS子層的功能需求。多協(xié)議PCS要求支持包括編解碼功能、加擾功能、變速箱功能、極性控制、位序控制、PRBS生成、Comma檢測、Headers檢測、時鐘補(bǔ)償、通道綁定、PRBS檢測等。

提取3種協(xié)議在PCS子層中的公共算粒作為通用邏輯，并把差異化私有算粒做成可配置邏輯，從而實現(xiàn)多協(xié)議通用的PCS電路設(shè)計。PCS電路通過軟件配置模式的不同，可以動態(tài)支持SRIO協(xié)議、FC協(xié)議以及Ethernet協(xié)議規(guī)范數(shù)據(jù)的正確傳輸。同時支持與SRIO Controller動態(tài)捆綁模式的特殊需求，軟件定義多協(xié)議PCS電路如圖3所示。

編碼擾碼、解碼解擾邏輯以及彈性Buffer邏輯都能隨配置模式的改變而進(jìn)行動態(tài)切換；彈性Buffer通過與通道綁定狀態(tài)機(jī)配合能夠完成SRIO協(xié)議需要的通道動態(tài)綁定功能。同時，通過配置模式選擇是否使用彈性Buffer。上層軟件定義可以通過配置寄存器實現(xiàn)多協(xié)議PCS子層工作模式動態(tài)切換。

圖3 軟件定義多協(xié)議PCS電路Figure 3 The circuits of software defines multi-protocol PCS

3.3 多協(xié)議PMA電路

多協(xié)議PMA電路是軟件定義互聯(lián)芯片的關(guān)鍵，是多協(xié)議互聯(lián)的物理層基礎(chǔ)，通過分析3種協(xié)議的特性可知，其各自物理層的功能結(jié)構(gòu)差異不大。可以通過較為簡單的歸一化設(shè)計，實現(xiàn)同時滿足3種協(xié)議的PMA電路，表2為不同協(xié)議需實現(xiàn)的功能列表。

由表2分析可知，3種協(xié)議在PMA層的設(shè)計功能基本一致，其主要功能是將數(shù)據(jù)由并行轉(zhuǎn)化為高速串行信號并發(fā)送至信道上（包括其逆過程），同時可以將高速的串行數(shù)據(jù)從信道上接收并轉(zhuǎn)化為并行信號供上層使用，其電路系統(tǒng)如圖4所示。

圖4 多協(xié)議SerDes設(shè)計架構(gòu)Figure 4 Multi-protocol SerDes design architecture

PMA電路按照功能子模塊的方式進(jìn)行設(shè)計，功能模塊之間的數(shù)據(jù)與控制關(guān)系如圖4所示。由于3種協(xié)議對PMA電路的功能要求基本一致，因此將功能相似的部分設(shè)計為通用邏輯，電路按照4個Lane一組進(jìn)行設(shè)計，主要由3部分組成：收發(fā)主通道、時鐘處理模塊、配置管理及復(fù)位模塊。

接收器：包括阻抗校正電路、均衡器（連續(xù)時間線性均衡CTLE和判決反饋均衡DFE）、時鐘數(shù)據(jù)恢復(fù)電路和邏輯（CDR）、相位差值器、并行數(shù)據(jù)位寬可配置的串并轉(zhuǎn)換電路、PRBS檢測、內(nèi)建接收通路環(huán)回等。主要根據(jù)輸入數(shù)據(jù)來調(diào)整時鐘，保證對數(shù)據(jù)的正確采樣，同時將串行數(shù)據(jù)轉(zhuǎn)化為并行數(shù)據(jù)。

發(fā)送器：包括并串轉(zhuǎn)換電路、輸出驅(qū)動器、預(yù)加重控制電路、邊沿控制電路、阻抗校正電路、PRBS校驗生成、內(nèi)建發(fā)送通路環(huán)回以及數(shù)據(jù)位寬可配置的并串轉(zhuǎn)換電路等，完成由并行到串行數(shù)據(jù)的轉(zhuǎn)化和驅(qū)動。

時鐘管理：差分驅(qū)動模塊，主要包括4個Lane共用的鎖相環(huán)電路QPLL以及各Lane使用的鎖相環(huán)電路CPLL、時鐘選擇、分頻電路等。該模塊可以根據(jù)軟件配置，為PMA中的SerDes提供3種協(xié)議各自頻點(diǎn)需求的時鐘。

配置管理：主要包括配置總線管理模塊、寄存器管理模塊，負(fù)責(zé)對數(shù)據(jù)路徑選擇、時鐘頻率、數(shù)據(jù)位寬以及子模塊工作模式實現(xiàn)軟件配置控制。

整個PMA電路通過軟件定義可配置電路，可以實現(xiàn)針對不同協(xié)議、不同頻點(diǎn)的結(jié)構(gòu)切換，從而達(dá)到軟件定義的協(xié)議異構(gòu)功能。

4 原型實現(xiàn)與測試分析

4.1 系統(tǒng)搭建

基于本文架構(gòu)設(shè)計的控制器電路，在40 nm工藝節(jié)點(diǎn)下進(jìn)行MPW流片。測試芯片中包括可編程電路與ASIC電路，PMA電路中的4通道SerDes電路，設(shè)計可以不經(jīng)過PCS電路的測試接口，直接進(jìn)行單獨(dú)數(shù)據(jù)測試。圖5為多協(xié)議控制器測試芯片布局。

圖5 多協(xié)議控制器測試芯片布局Figure 5 The floorplan of the multi-protocol controller

圍繞測試芯片，本文構(gòu)造了一個多協(xié)議原型驗證平臺。驗證平臺主要由測試芯片驗證板與端點(diǎn)設(shè)備（第三方標(biāo)準(zhǔn)測試儀或FPGA端點(diǎn)設(shè)備），原型驗證平臺架構(gòu)如圖6所示。

4.2 電氣特性測試

高速協(xié)議在進(jìn)行具體的協(xié)議端點(diǎn)設(shè)備測試前，需要先確認(rèn)PMA電路模擬SerDes電路的功能與性能。因此，首先使用高速示波器對SerDes進(jìn)行測試，確認(rèn)模擬電路無誤后，再展開協(xié)議功能測試。圖7～圖9為針對FC、SRIO以及以太網(wǎng)等協(xié)議需要的最高頻點(diǎn)下的眼圖測試結(jié)果，其中橫坐標(biāo)代表測試時間周期，縱坐標(biāo)代表輸出信號電壓幅值。

圖6 原型驗證平臺架構(gòu)Figure 6 The diagram of prototype verification platform

圖7 1x通道8.5G頻點(diǎn)TX眼圖Figure 7 The eye diagram of 1x 8.5Gbit/s TX Channel

圖8 4x通道10.3125G頻點(diǎn)TX眼圖Figure 8 The eye diagram of 4x 10.3125 Gbit/s TX Channel

圖9 1x通道10.3125G頻點(diǎn)TX眼圖Figure 9 The eye diagram of 1x 10.3125 Gbit/s TX Channel

由測試結(jié)果可知，輸出發(fā)送信號均符合相關(guān)協(xié)議要求，信號隨機(jī)輸出抖動RJRMS參數(shù)在1.81～1.95皮秒。同時在以上測試中，不同協(xié)議頻點(diǎn)使用軟件配置，實現(xiàn)動態(tài)切換測試。

SerDes功能性能確認(rèn)后，分別對3種協(xié)議進(jìn)行端點(diǎn)設(shè)備通信測試。以太網(wǎng)與FC協(xié)議均采用同第三方標(biāo)準(zhǔn)協(xié)議分析儀進(jìn)行數(shù)據(jù)流量測試，并通過測試儀的上位機(jī)調(diào)試軟件確認(rèn)鏈路狀態(tài)與數(shù)據(jù)包校驗結(jié)果。SRIO協(xié)議測試使用Xilinx FPGA開發(fā)板作為測試端點(diǎn)設(shè)備，端點(diǎn)設(shè)備實現(xiàn)對應(yīng)頻點(diǎn)速率的標(biāo)準(zhǔn)SRIO協(xié)議IP控制器，最終通過讀取端點(diǎn)設(shè)備數(shù)據(jù)校驗結(jié)果確認(rèn)數(shù)據(jù)通路完整性。

4.3 協(xié)議一致性測試

4.3.1 以太網(wǎng)協(xié)議測試結(jié)果

軟件配置控制器為以太網(wǎng)協(xié)議工作模式（包含MAC可編程電路的加載配置）。完成協(xié)議控制初始化后，對以太網(wǎng)協(xié)議分析儀配置數(shù)據(jù)接收/發(fā)送為標(biāo)準(zhǔn)Ethernet格式，數(shù)據(jù)率為10.312 5 Gbit/s，數(shù)據(jù)包格式配置如圖10所示。

圖10 Ethernet協(xié)議分析儀數(shù)據(jù)包格式配置Figure 10 The package format configuration of ETH protocol analyzer

完成配置后啟動協(xié)議分析儀發(fā)送數(shù)據(jù)包，確認(rèn)發(fā)送與接收端流量與速率，測試結(jié)果如圖11所示。

圖11 Ethernet協(xié)議分析儀流量測試結(jié)果Figure 11 Test result of Ethernet protocol analyzer traffic

4.3.2 FC協(xié)議測試結(jié)果

與以太網(wǎng)測試類似，首先軟件配置控制器切換為FC協(xié)議工作模式，再對FC協(xié)議分析儀進(jìn)行配置，設(shè)置數(shù)據(jù)率為8.5 Gbit/s，測試模式為端點(diǎn)設(shè)備與測試設(shè)備互發(fā)通信，鏈路與數(shù)據(jù)測試結(jié)果如圖12所示。

測試同時4個FC通道在8.5 Gbit/s數(shù)據(jù)率下，發(fā)送與接收端數(shù)據(jù)傳輸情況。由結(jié)果可知鏈路建立穩(wěn)定，無失鎖與誤碼現(xiàn)象，滿足FC協(xié)議通信要求。

4.3.3 SRIO協(xié)議測試結(jié)果

SRIO協(xié)議測試中的端點(diǎn)使用另一塊FPGA平臺，利用FPGA端點(diǎn)設(shè)備中的Chip scope配合FPGA EDA工具實時抓取數(shù)據(jù)，以確認(rèn)測試數(shù)據(jù)結(jié)果。

測試方法是端點(diǎn)設(shè)備發(fā)送給多協(xié)議控制器后，多協(xié)議控制器將接收到的數(shù)據(jù)發(fā)回給端點(diǎn)設(shè)備確認(rèn)結(jié)果。測試中配置端口設(shè)備與測試端頻點(diǎn)速率均為10.312 5 Gbit/s，在確認(rèn)鏈路鎖定成功后，啟動端點(diǎn)設(shè)備數(shù)據(jù)通信并實時抓取數(shù)據(jù)。

經(jīng)測試，確認(rèn)SRIO協(xié)議在10.312 5 Gbit/s速率下，在1 h連續(xù)通信測試中誤碼率為10?14，滿足RapidIO協(xié)議誤碼率低于10?12的要求。測試結(jié)果如圖13所示。

在以上的所有協(xié)議通信測試中，均是通過軟件配置實現(xiàn)工作模式、通道數(shù)量以及速率頻點(diǎn)切換的，確認(rèn)本文所設(shè)計的基于軟件定義多協(xié)議控制器的功能與性能滿足預(yù)期。

圖12 FC協(xié)議分析儀測試結(jié)果Figure12 Test result of FC protocol analyzer

圖13 SRIO協(xié)議數(shù)據(jù)通信端點(diǎn)設(shè)備抓取測試結(jié)果Figure 13 Test result of SRIO protocol data communication endpoint device chip-cope

4.4 協(xié)議形態(tài)測試

3種協(xié)議MAC電路應(yīng)用形態(tài)總結(jié)為如下5種場景。

1)實現(xiàn)單一協(xié)議控制器，即實現(xiàn)4/3/2/1個以太網(wǎng)控制器MAC邏輯，或者實現(xiàn)4/3/2/1個FC控制器的MAC邏輯。

2)實現(xiàn)4個混合協(xié)議控制器，即實現(xiàn)m個以太網(wǎng)控制器MAC邏輯，并且實現(xiàn)4-m個FC控制器的MAC邏輯。

3)實現(xiàn)3個混合協(xié)議控制器，即實現(xiàn)m個以太網(wǎng)控制器MAC邏輯，并且實現(xiàn)3-m個FC控制器的MAC邏輯。

4)實現(xiàn)2個混合協(xié)議控制器，即實現(xiàn)1個以太網(wǎng)控制器MAC邏輯和實現(xiàn)1個FC控制器的MAC邏輯。

5)實現(xiàn)單一協(xié)議SRIO控制器。

多協(xié)議控制器對外設(shè)計有專門SPI加載總線，用于不同形態(tài)電路配置加載。可重構(gòu)電路的應(yīng)用形態(tài)決定了可支持應(yīng)用場景的多樣性。如上所述，考慮上述5種應(yīng)用場景，可支持的電路數(shù)據(jù)計算如下。

對應(yīng)的MAC電路可實現(xiàn)81種不同的軟件定義可重構(gòu)控制器形態(tài)。經(jīng)過使用原型環(huán)境分別加載以上81種軟件定義控制器，各種應(yīng)用形式均通過4.2節(jié)與4.3節(jié)的電氣特性與協(xié)議一致性測試，符合支持多協(xié)議控制器多形態(tài)應(yīng)用設(shè)計預(yù)期。

5 結(jié)束語

本文設(shè)計的基于軟件定義的多協(xié)議控制器，支持FC、以太網(wǎng)以及SRIO這3種高速串行協(xié)議標(biāo)準(zhǔn)，并具備通過軟件定義切換不同協(xié)議工作模式的功能。為今后擬態(tài)計算平臺高異構(gòu)性需求系統(tǒng)的數(shù)據(jù)互聯(lián)，提供適合的解決方案。同時，構(gòu)建的原型驗證的測試結(jié)果表明，本文提出的基于軟件定義的多協(xié)議控制器可以滿足Fiber Channel、Ethernet以及SRIO協(xié)議的要求，滿足設(shè)計預(yù)期。