龍芯處理器服務(wù)器芯片組的適配與實(shí)現(xiàn)

鄭臣明，姚宣霞?，周 芳，鄭雪峰，楊曉君，戴 榮

1) 北京科技大學(xué)計(jì)算機(jī)與通信工程學(xué)院，北京 100083 2) 海光信息技術(shù)股份有限公司，北京 100193 3) 中科曙光信息產(chǎn)業(yè)成都有限公司，成都 610213

集成電路是國家信息產(chǎn)業(yè)發(fā)展的核心領(lǐng)域，而CPU（中央處理器）則是集成電路中的核心元器件.目前國家對信息安全有著迫切的要求，如果沒有CPU的國產(chǎn)化與自主化，國家安全將無從談起[1?2].龍芯CPU、飛騰CPU、申威CPU是目前被國家認(rèn)可的、應(yīng)用領(lǐng)域比較廣的三款自主可控CPU[3?5].“龍芯”處理器是龍芯中科技術(shù)有限公司自主研發(fā)的通用CPU.“飛騰”處理器是飛騰信息技術(shù)有限公司開發(fā)的飛騰系列高性能通用CPU.“申威”處理器由國家高性能集成電路（上海）設(shè)計(jì)中心自主研發(fā)，具體由江南計(jì)算所研制實(shí)施.上述處理器都得到了國家“863”、國家科技重大專項(xiàng)“核高基”（核心電子器件、高端通用芯片及基礎(chǔ)軟件產(chǎn)品）等項(xiàng)目[6]的支持，在黨政、關(guān)鍵基礎(chǔ)設(shè)施、高性能計(jì)算等領(lǐng)域已得到了大量的應(yīng)用，從應(yīng)用的結(jié)果來看，飛騰[7?8]、申威[9?10]、龍芯[11]性能表現(xiàn)不錯(cuò)，可以勝任目前絕大部分應(yīng)用[12].

這三款CPU性能不錯(cuò)，如以申威CPU研發(fā)的神威·太湖之光超級(jí)計(jì)算機(jī)在2021年中國高性能計(jì)算機(jī)（HPC）TOP100排行榜中位列第 2 名[13]，但存在一個(gè)較大的短板，即缺乏與其配套的高性能芯片組，特別是在服務(wù)器領(lǐng)域，雖有強(qiáng)大的大腦，但無強(qiáng)壯的軀干和四肢，嚴(yán)重地限制了CPU高性能的發(fā)揮、應(yīng)用領(lǐng)域的拓展和產(chǎn)業(yè)化進(jìn)程.在服務(wù)器產(chǎn)品上，飛騰和申威CPU采用PLX公司的PCIE（Peripheral component interconnect express） 交換芯片作為北橋，例如飛騰的騰云S2500 CPU推薦的參考設(shè)計(jì)采用型號(hào)為PEX8764的PCIE交換芯片，申威的1621 CPU推薦的參考設(shè)計(jì)采用型號(hào)為PEX8748的PCIE交換芯片，利用這些PCIE交換芯片轉(zhuǎn)換出更多的PCIE總線，再外接具有PCIE接口的SAS（Serial attached SCSI，其 中SCSI:Small computer system interface） /SATA（Serial advanced technology attachment）控制器 (例如 Marvell公司的88SE9215)生成硬盤接口；再外接具有PCIE接口的顯卡芯片產(chǎn)生顯示器接口等.此種芯片組的方案是迫不得已的拼湊方案，缺點(diǎn)是為了得到所要的 IO（Input output）接口而需要通過多級(jí)串聯(lián)不同種類芯片的方式來實(shí)現(xiàn)，穩(wěn)定性和兼容性很差，信號(hào)延遲增大，性能變差.

與龍芯CPU相配套的芯片組，最初有PCI(Peripheral component interconnect)接口橋片方案[14]，但PCI總線速度太低，已逐漸被淘汰，然后有龍芯2H方案[15]，但龍芯2H橋片性能太弱，只有4 對PCIE信號(hào)線和2個(gè)SATA接口，而且龍芯2H其實(shí)是一款嵌入式CPU，在龍芯CPU無橋片可用的情況下把它作為橋片是不得已而為之.在2017年底，龍芯中科技術(shù)有限公司又推出了龍芯7A1000橋片[16]作為龍芯處理器的配套芯片組.龍芯7A1000橋片通過 HT（Hyper transport）總線接口與龍芯 CPU相連，接口包括32個(gè)PCIE2.0通道、3個(gè)SATA2.0通道、6個(gè)USB（Universal serial bus）2.0 接口，可以滿足桌面領(lǐng)域?qū)O接口的應(yīng)用需求.但龍芯7A1000橋片在IO數(shù)量、RAS（Reliability可靠性、Availability可用性、Serviceability可維護(hù)性）和IOMMU（Input/output memory management unit,輸入輸出內(nèi)存管理單元）等方面的不足難以滿足服務(wù)器芯片組的苛刻要求.

本文針對龍芯CPU的特點(diǎn)，基于目前市場上現(xiàn)有的芯片組，篩選適配出一套高性能的芯片組來滿足龍芯CPU在服務(wù)器級(jí)別上應(yīng)用.由于所要篩選的芯片組不是專為龍芯CPU設(shè)計(jì)的，所以在龍芯CPU和芯片組適配嫁接過程中，需要解決在物理信號(hào)定義、上下電時(shí)序、信號(hào)協(xié)議、BIOS（Basic input output system）層等方面的差異.本文為此設(shè)計(jì)了一套篩選芯片組的架構(gòu)，提供CPU和芯片組兩者之間在物理信號(hào)連接、上下電時(shí)序、規(guī)避信號(hào)協(xié)議差異方面的設(shè)計(jì)方法，增加調(diào)試的靈活性和信號(hào)裕度，能夠簡單、反復(fù)地調(diào)整參數(shù)和設(shè)計(jì)，求證芯片組的可用性和兼容性，為龍芯CPU很便捷地找到服務(wù)器級(jí)別的芯片組.

本文的主要內(nèi)容如下:

（1）基于目前市場上現(xiàn)有的芯片組，提出了一種為龍芯CPU篩選適配芯片組的架構(gòu)，此架構(gòu)同樣適用于其他缺少配套芯片組的國產(chǎn)CPU.

（2）提出了一種CPU和芯片組兩者之間在物理信號(hào)連接、規(guī)避信號(hào)協(xié)議差異方面的設(shè)計(jì)方法，為在適配過程中暫時(shí)不知如何處理的物理信號(hào)找到正確的連接方法或者處理方式.

（3）提供了一種靈活調(diào)試主板上下電時(shí)序的方法，在不修改硬件的條件下，可以隨意調(diào)整CPU、芯片組、電源之間的時(shí)序，直到找到正確的上下電時(shí)序?yàn)橹梗?jié)省了大量研發(fā)時(shí)間和成本.

（4）為龍芯CPU找到了一組高性能的服務(wù)器級(jí)別的芯片組，改變了一直采用低性能、嵌入式/桌面級(jí)芯片組充當(dāng)服務(wù)器芯片組的局面，更好地發(fā)揮龍芯CPU性能，拓寬龍芯CPU的應(yīng)用領(lǐng)域，進(jìn)一步促進(jìn)龍芯CPU生態(tài)環(huán)境的發(fā)展.

1 龍芯 CPU 和芯片組適配的架構(gòu)設(shè)計(jì)

CPU和芯片組適配的常規(guī)方法[17?18]是做一塊主板把兩者直接連接起來進(jìn)行調(diào)試，但這種調(diào)試方法存在明顯的缺點(diǎn).在適配不成功時(shí)很難判斷是由于芯片組和CPU兩者之間的不兼容引起的，或者本來兩者兼容只是沒有正確連接處理引起的，還是由于CPU或芯片組的缺陷引起的，原因不容易定位.即使原因定位了，由于主板不能修改，特別是由CPU或芯片組的設(shè)計(jì)缺陷造成的適配成功，在不可更改硬件的情況下不得不重新設(shè)計(jì)主板、修改CPU或者芯片組的設(shè)計(jì)，浪費(fèi)了大量時(shí)間和成本.

在芯片研發(fā)設(shè)計(jì)中，為了降低研發(fā)風(fēng)險(xiǎn)，縮短研發(fā)周期，避免多次流片產(chǎn)生的高額成本，通常都會(huì)在芯片流片加工之前進(jìn)行充分的仿真模擬.目前常用的仿真模擬方法有三種，基于軟件仿真模擬驗(yàn)證的傳統(tǒng)方法[19]，基于硬件仿真加速器的仿真模擬驗(yàn)證方法[20]，以及基于現(xiàn)場可編程門陣列（FPGA）的原型驗(yàn)證方法[21].基于軟件仿真模擬驗(yàn)證的傳統(tǒng)方法，靈活性強(qiáng)，使用簡單，但隨著邏輯單元規(guī)模的增大模擬驗(yàn)證速度下降明顯，一般只能達(dá)到幾十赫茲(Hz)，與現(xiàn)在達(dá)到上吉赫茲(GHz)系統(tǒng)相差甚遠(yuǎn)，并且軟件模擬仿真與真實(shí)的物理環(huán)境有差距，存在許多難于發(fā)現(xiàn)的問題.基于硬件仿真加速器的仿真模擬驗(yàn)證方法，運(yùn)行速度能達(dá)到幾兆赫茲(MHz)，其運(yùn)行速度比基于軟件仿真模擬驗(yàn)證的傳統(tǒng)方法提升了上千倍，但仍然達(dá)不到上吉赫茲的要求，并且此方法專用性強(qiáng)，維護(hù)成本高[22?24].基于FPGA的原型驗(yàn)證方法相對于其他兩種方法，F(xiàn)PGA的運(yùn)行速度可以達(dá)到百兆級(jí)別，而且邏輯資源、IO資源比較豐富，能夠更加真實(shí)地模擬真實(shí)芯片的行為，一旦系統(tǒng)模擬成功，可以采用硬件拷貝(Hardcopy)方式直接快速地固化為ASIC(Application specific integrated circuit)芯 片.FPGA具有非常靈活的在線編程特點(diǎn)[25?26]，在不改變硬件的情況下能夠反復(fù)地修改代碼改變硬件行為[27?28]，能模擬出目前常見的IO接口和復(fù)雜的總線[29?31]、能靈活地變換不同時(shí)鐘頻率、能調(diào)節(jié)改變信號(hào)的電平，并內(nèi)含在線邏輯分析儀功能[32].本文利用FPGA這些優(yōu)勢，在龍芯處理器和芯片組之間串聯(lián)一顆FPGA芯片，每組芯片組通過FPGA芯片后再和龍芯處理器相連，如圖1所示，這樣可以在一塊主板上實(shí)現(xiàn)多組芯片組和龍芯處理器的適配，既增加了適配成功的幾率又節(jié)省了成本.

圖1 龍芯 CPU 和芯片組之間的適配架構(gòu)Fig.1 Adaptation architecture between Loongson CPU and chipsets

基于FPGA的原型驗(yàn)證方法，傳統(tǒng)的使用方法是只模擬驗(yàn)證單一架構(gòu)/單一功能，如果模擬多架構(gòu)/多功能需要使用多塊FPGA互聯(lián)來實(shí)現(xiàn).本文對其進(jìn)行了改進(jìn)，在FPGA內(nèi)部模擬劃分了三個(gè)不同的功能模塊，利用一塊FPGA芯片來實(shí)現(xiàn)，并且通過設(shè)計(jì)帶寬匹配模塊(Bandwidth matching module)實(shí)現(xiàn)不同頻率、不同帶寬總線的自協(xié)商、自適應(yīng)，內(nèi)嵌邏輯分析儀(Logic analyzer)可以做到實(shí)時(shí)調(diào)試分析，加快研發(fā)調(diào)試進(jìn)度.

FPGA內(nèi)部分為三個(gè)功能域：HT總線[33?34]處理域、重要暫不確定控制信號(hào)線處理域和CPLD（Complex programmable logic device）功能域，如圖2所示.

圖2 FPGA 內(nèi)部總體架構(gòu)圖Fig.2 Overall architecture of the FPGA

HT總線處理域用于處理龍芯CPU和芯片組之間HT總線的適配.通過采用第三方或者按照HT總線協(xié)議自行編寫HT總線的IP核，在FPGA上實(shí)例化HT總線接口，用來分別連接龍芯CPU和芯片組的HT總線.由于FPGA的運(yùn)行速度一般在幾百兆赫茲，而HT總線頻率可達(dá)上吉赫茲，所以在FPGA內(nèi)設(shè)計(jì)協(xié)議轉(zhuǎn)化模塊(Protocol converting module)把HT總線的高速串行信號(hào)線轉(zhuǎn)化為較為低速的并行內(nèi)部總線，然后連接到交叉開關(guān)總線(Crossbar bus)上.交叉開關(guān)總線可以通過軟件控制選擇切換任意一組芯片組和龍芯CPU建立HT總線互聯(lián)，實(shí)現(xiàn)在一塊主板上能同時(shí)調(diào)試適配多款芯片組，十分靈活.由于芯片組和龍芯CPU有可能存在HT總線差異，例如有的是HT 2.0總線協(xié)議（最高工作頻率可達(dá) 1.4 GHz），或者HT 3.0 總線協(xié)議（最高工作頻率可達(dá) 2.6 GHz），需要在FPGA內(nèi)部設(shè)計(jì)一個(gè)帶寬匹配模塊，自動(dòng)協(xié)商解決兩者之間帶寬差異問題.

龍芯CPU有一些獨(dú)屬于自己的信號(hào)線，在即將要適配的芯片組里也有一些特殊的信號(hào)線，由于芯片組不是專門為龍芯CPU配套而設(shè)計(jì)的，在未適配成功前，有些信號(hào)是不知道如何連接或者處理的.本文把這些信號(hào)線命名為“重要暫不確定控制信號(hào)線”，將其全部引入FPGA內(nèi)部設(shè)置的“重要暫不確定控制信號(hào)線處理域”，借助于FPGA靈活編程的特性，可以在FPGA內(nèi)部把兩者的信號(hào)連接起來，或者單獨(dú)地做上拉、下拉、懸空等處理.通過反復(fù)地實(shí)驗(yàn)和調(diào)試，總能找出“重要暫不確定控制信號(hào)線”的處理方式，給出到底能否兼容的結(jié)論.

龍芯CPU和芯片組都有自己的上下電控制時(shí)序，彼此之間怎樣配合也是未知的.上下電時(shí)序信號(hào)主要包括三部分：CPU上下電控制信號(hào)，芯片組上下電控制信號(hào)、電源模塊上下電控制信號(hào).這三部分信號(hào)都需要引入FPGA內(nèi)部設(shè)置CPLD功能域.在主板設(shè)計(jì)中，常采用CPLD芯片來控制整個(gè)主板的上下電時(shí)序，本文采用在FPGA內(nèi)部分離出一部分邏輯資源實(shí)現(xiàn)一個(gè)CPLD功能域，依靠CPLD來調(diào)整三部分的上下電時(shí)序來達(dá)到CPU和芯片組協(xié)調(diào)工作的目的.通過反復(fù)地實(shí)驗(yàn)和調(diào)試，找出相互配合工作的最佳時(shí)序或者給出無法兼容的結(jié)論.

在龍芯CPU和芯片組適配的過程中，通過本架構(gòu)可以實(shí)現(xiàn)如下功能或優(yōu)點(diǎn)：

（1）一塊主板可以適配多款芯片組（同一時(shí)間只能實(shí)現(xiàn)一款芯片組和CPU互聯(lián)），不用再為每種芯片組單獨(dú)研發(fā)一種主板，節(jié)省了研發(fā)不同主板的時(shí)間和成本.

（2）通過FPGA的隔離，能有效地屏蔽CPU和芯片組在HT總線方面的差異，例如協(xié)議版本的不同、信號(hào)線差異，甚至HT設(shè)計(jì)的缺陷.通過FPGA補(bǔ)償龍芯CPU和芯片組的HT總線差異或缺陷，使兩者無縫地連接起來，而不會(huì)因?yàn)镠T總線的差異使適配過程半途而廢，所以此架構(gòu)具有很大的靈活性，節(jié)省了時(shí)間和成本.

（3）無論龍芯CPU還是芯片組在未適配成功前，那些無法確定怎樣連接或者處理的信號(hào)線通過FPGA可以實(shí)現(xiàn)任意連接或處理，增加了調(diào)試的手段，當(dāng)找出確定的處理方式后，可指導(dǎo)下一版龍芯CPU、芯片組或者主板的改進(jìn).

（4）CPU和芯片組兩者的上下電時(shí)序配合通過FPGA編程來靈活的調(diào)節(jié)時(shí)序和時(shí)間間隔，可以實(shí)現(xiàn)任意的組合嘗試，增強(qiáng)了調(diào)試的靈活性.

2 龍芯 CPU 和芯片組適配的實(shí)現(xiàn)過程

2.1 芯片組的選擇

根據(jù)龍芯CPU的特點(diǎn)，在理論上推斷目前市場上有如下的芯片組可與龍芯CPU進(jìn)行適配實(shí)驗(yàn)：

（1）矽統(tǒng)科技(SiS)公司的芯片組，北橋芯片型號(hào)SiS761GX，南橋芯片型號(hào)SiS968；

（2）英偉達(dá)（NVIDIA）公司的芯片組，型號(hào)MCP68；

（3）AMD公司的芯片組，北橋芯片型號(hào)M690T，南橋芯片型號(hào)SB600；

（4）AMD公司的芯片組，北橋芯片型號(hào)RS780E，南橋芯片型號(hào)SB710；

（5）AMD公司的芯片組，北橋芯片型號(hào)SR5690，南橋芯片型號(hào)SP5100.

龍芯CPU和即將要適配的芯片組按照圖1的架構(gòu)設(shè)計(jì)一塊主板試驗(yàn)品，龍芯CPU采用子板的方式與芯片組主板互聯(lián)，試驗(yàn)品實(shí)物圖如圖3所示.主板上包含了如上五種芯片組和FPGA，并把PCIE、USB、GPIO（General purpose input/output）、控制線等信號(hào)線引入到相應(yīng)的連接器上.

圖3 包含 FPGA 和各種芯片組的主板Fig.3 Motherboard sample containing the FPGA various chipsets

FPGA 采用 Intel Stratix 10 GX 2800 系列（簡稱GX 2800），具體型號(hào)為 1SG280HU2F50E2LG.FPGA選型主要從“可編程IO單元”和“可編程邏輯單元”兩個(gè)方面考慮.在可編程IO單元方面，龍芯CPU和五種芯片組共有6組HT總線，其中芯片組1和芯片組2的HT總線速率最高為1 GHz，龍芯CPU和芯片組3、芯片組4、芯片組5的HT總線速率最高為2.6 GHz，每個(gè)HT總線有20對差分信號(hào)線，所以FPGA需要提供40對可達(dá)1 GHz高速串行信號(hào)線和80對可達(dá)2.6 GHz高速串行信號(hào)線.因?yàn)?GX 2800 具有 576 對可達(dá) 1.6 GHz高速串行總線和96對可達(dá)17.4 GHz高速串行總線，所以滿足本設(shè)計(jì)要求.另外GX 2800可提供1160個(gè)其他類型的IO針腳，足以滿足本設(shè)計(jì)的要求.在可編程邏輯單元方面，每種芯片組的HT總線和協(xié)議轉(zhuǎn)換模塊大約需要9萬個(gè)可編程邏輯單元，龍芯CPU和五種芯片組大約共需54萬個(gè)；交叉開關(guān)總線和帶寬匹配模塊大約需要12萬個(gè)可編程邏輯單元；重要暫不確定控制信號(hào)線處理域大約需要4000個(gè)可編程邏輯單元；CPLD功能域大約需要3000個(gè)可編程邏輯單元，所以共需大約67萬個(gè)可編程邏輯單元.GX 2800具有93.3萬個(gè)可編程邏輯單元，本設(shè)計(jì)資源利用率大約在72%，所以完全滿足本設(shè)計(jì)的資源需求.

2.2 信號(hào)線的設(shè)計(jì)處理

2.2.1 HT 總線的設(shè)計(jì)處理

標(biāo)準(zhǔn)的HT總線協(xié)議包括三類信號(hào)線：連接信號(hào)線(數(shù)據(jù)、地址、控制和時(shí)鐘)（表1）、復(fù)位和初始化信號(hào)線（表2）和電源管理信號(hào)線（表3）.

表1 HT 總線的連接信號(hào)線Table 1 Hyper transport bus link signals

表2 HT 總線的復(fù)位/初始化信號(hào)線Table 2 Reset/Initialization signals of the HT bus

表3 HT 總線的電源管理信號(hào)線Table 3 Power management signals

對于連接信號(hào)線，龍芯CPU和上面所提到的芯片組(或北橋)都有16對接收差分信號(hào)線，16對發(fā)送差分信號(hào)線；2對接收信號(hào)時(shí)鐘差分對，2對發(fā)送信號(hào)時(shí)鐘差分對；2對接收控制信號(hào)差分對，2對發(fā)送控制信號(hào)差分對.兩者的HT總線連接信號(hào)線都直接引入FPGA內(nèi)部的HT總線域進(jìn)行處理，需要注意的是不同型號(hào)的龍芯CPU和所選擇的芯片組遵循HT協(xié)議版本不同，有的是HT2.0協(xié)議,有的是HT3.0協(xié)議，即使都支持HT3.0協(xié)議，也存在 1.8、2.0、2.4、2.6 GHz四種頻率等級(jí)，所以在適配的過程中需要采用帶寬匹配模塊進(jìn)行調(diào)整.

在實(shí)際的適配中，利用FPGA內(nèi)部設(shè)置的交叉開關(guān)只需連接龍芯CPU和所要適配芯片組的HT總線，而斷開其他芯片組連接.HT總線調(diào)試采取頻率、通道數(shù)從低到高逐步增加的步進(jìn)調(diào)節(jié)方法.HT 可支持 2、4、8和16 位（bit）四種通道模式，HT協(xié)議的最低工作頻率可低至200 MHz，HT2.0協(xié)議支持最高頻率為1.4 GHz，HT3.0協(xié)議支持的最高頻率為 2.6 GHz.

HT調(diào)試流程如圖4所示，在HT調(diào)試過程中，先固定工作頻率，從最低的2位通道數(shù)進(jìn)行調(diào)試，如果適配成功，就依次增加通道數(shù)繼續(xù)調(diào)試，即按照2位、4位、8位、16位順序調(diào)試.如果適配不成功，就利用FPGA內(nèi)部的邏輯分析儀采樣信號(hào)進(jìn)行分析，修正補(bǔ)償相應(yīng)的信號(hào)線后，再重新進(jìn)行適配.HT總線頻率調(diào)試順序依次為200、400和800 MHz，一直到芯片工作最高頻率（Fmax）.

圖4 HT 總線調(diào)試流程Fig.4 Flow of the HT bus debug

通過如上HT總線的適配，可以確定信號(hào)的正確連接方式或者處理方法，能夠定量地找出CPU和芯片組的 HT總線在主板 PCB（Printed circuit board）設(shè)計(jì)中信號(hào)線的最佳分組方式、長度限制、線寬限制、相鄰信號(hào)線的間距限制，能夠找出兩者之間HT總線的最佳工作頻率甚至下一版芯片設(shè)計(jì)中需要修改的錯(cuò)誤或者改進(jìn)之處.

利用如上的HT調(diào)試流程分別對如上五種芯片組進(jìn)行調(diào)試，結(jié)果表明，第一種和第三種芯片組可以調(diào)試成功的最高頻率是800 MHz，第二種芯片組在達(dá)到HT總線400 MHz時(shí)出現(xiàn)不穩(wěn)定的現(xiàn)象，第四種和第五種可以達(dá)到2.0 GHz HT總線頻率.第四種芯片組，即 RS780E + SB710 組合，PCIE 總線有22對信號(hào)線，不支持服務(wù)器領(lǐng)域要求的RAS特性，但成本低，所以非常適合作為龍芯的桌面芯片組.第五種芯片組 SR5690 + SP5100，擁有42 對PCIE信號(hào)線、14個(gè)USB接口，具有強(qiáng)大的IO能力，并支持RAS特性，所以可以得出在服務(wù)器領(lǐng)域與龍芯CPU適配成功的最高端、最適合的芯片組為 SR5690 + SP5100.在本文后面的其他章節(jié)中，在闡述芯片組適配與實(shí)現(xiàn)的通用原理和方法后，為了文章的簡潔，主要以 SR5690 + SP5100芯片組進(jìn)行闡述.

2.2.2 重要暫不確定控制信號(hào)線的設(shè)計(jì)處理

龍芯CPU的HT總線由于其獨(dú)特的設(shè)計(jì)比標(biāo)準(zhǔn)的HT總線協(xié)議多出了一些額外的、特殊的信號(hào)，所以在硬件層和協(xié)議層需要正確地處理這些特殊信號(hào).既不能影響龍芯CPU自身正常工作，又能和芯片組無縫的兼容，這是一個(gè)比較關(guān)鍵的技術(shù)點(diǎn).在標(biāo)準(zhǔn)的HT總線協(xié)議中，信號(hào)PWROK、RESET#、LDTSTOP#、LDTREQ#（表2和表3）只有一組，而龍芯HT 總線接口信號(hào)有兩組，一組是HT_HI_POWEROK、HT_HI_RSTn、HT_HI_LDT_STOPn、HT_HI_LDT_REQn，另一組是HT_LO_POWEROK，HT_LO_RSTn、HT_LO_LDT_STOPn、HT_LO_LDT_REQn.龍芯CPU和芯片組還有其他各自特殊的信號(hào)線，無法直接確定兩者之間的對應(yīng)關(guān)系.以上這些重要暫不確定控制信號(hào)線都引入FPGA，如圖1和圖2所示.

這些信號(hào)如何處理，怎樣和北橋、南橋互連在未適配成功前是不清楚的，但可以依靠FPGA在其內(nèi)部靈活地處理，例如連接、斷開或者采用某種終端方式來反復(fù)地實(shí)驗(yàn)調(diào)試，直到找到某種確定的處理方式或者結(jié)論為止.經(jīng)過本文的實(shí)驗(yàn)，對于適配成功的芯片組SR5690 + SP5100和龍芯CPU在HT總線上可以找到如下正確的連接方式，如圖5所示.

圖5 HT重要暫不確定控制信號(hào)線經(jīng)適配證明后找到的正確連接方式Fig.5 Appropriate connection of the important but temporarily indeterminate HT signals after effective adaptation

2.2.3 上下電控制信號(hào)線的設(shè)計(jì)處理

在無法得知龍芯CPU和芯片組的上下電時(shí)序如何配合的情況下，需要把CPU上下電控制信號(hào)、芯片組的上下電控制信號(hào)、電源模塊的控制信號(hào)線都引入FPGA.這些信號(hào)線主要包括：（1）龍芯CPU的系統(tǒng)復(fù)位信號(hào)線SYSRESETN，PCI總線的復(fù)位信號(hào)線PCI_RESETN；（2）南橋的上電完成信號(hào)線PWR_GOOD，北橋的上電完成信號(hào)線NB_PWRGD；（3）各個(gè)供電模塊的上電使能信號(hào)線和電源完成信號(hào)線PWRGOOD；（4）龍芯CPU的GPIO配置信號(hào)線，內(nèi)存時(shí)鐘頻率的設(shè)置信號(hào)線，HT總線時(shí)鐘頻率的設(shè)置信號(hào)線等.

用FPGA使能或者關(guān)閉電源模塊的使能信號(hào)、龍芯CPU和芯片組的電源完成信號(hào)、復(fù)位信號(hào)線，并調(diào)整各個(gè)電源控制信號(hào)的先后順序和時(shí)間間隔進(jìn)行反復(fù)實(shí)驗(yàn)，一直嘗試到得到確定的答案為止，或者能找到最佳的電源時(shí)序適配方案，或者證明兩者無法兼容.

芯片組 SR5690 + SP5100 是本文適配成功的芯片組，圖6是為其找到的已經(jīng)驗(yàn)證成功的上下電時(shí)序，包含的信號(hào)有正 5 V standby 電源+5VSB，正 3.3 V standby電源+3.3V_DUAL，F(xiàn)PGA的開機(jī)信號(hào)線FPGA_SB_RSMRST#，南橋的上電信號(hào)線SB_PWRON，系統(tǒng)喚醒信號(hào)線 SLP_S3#_R，12 V供電信號(hào)線 12V_SLP_S3#，ATX（Advanced technology extended）電源上電正常指示信號(hào)線ATX_PWRGD，北橋 1.8 V電源 NB_1V8，CPU的 1.2 V 電源 CPU_NB_SB_1.2V，北橋 1.1 V 電源 NB_1V1，CPU 的 1.1 V電源 CPU0/1_VCCINT_1V1，CPU內(nèi)存的 1.5 V電源CPU0/1_1.5V_LS3_DDR3，系統(tǒng)上電正常指示信號(hào)線SYS_PWRGD，北橋上電正常指示信號(hào)線NB_PWRGD，F(xiàn)PGA的復(fù)位信號(hào)線 FPGA_KBRST_L，龍芯HT總線上電正常指示信號(hào)線LS3_HT1_LO_POWEROK，南橋復(fù)位信號(hào)線SB_A-RST_L，南橋PCI總線復(fù)位信號(hào)線SB_PCI_RST_SR_L，系統(tǒng)復(fù)位信號(hào)線SYSTEM_RST，以及CPU HT的復(fù)位信號(hào)線CPU_LDT_RST.為了進(jìn)一步驗(yàn)證上下電時(shí)序的正確性和可靠性，采用兩種方法進(jìn)行驗(yàn)證.

圖6 經(jīng)適配證明后找到的正確電源時(shí)序Fig.6 Correct power sequence after effective adaptation

在 ACPI（Advanced configuration and power interface）規(guī)范中規(guī)定了計(jì)算機(jī)系統(tǒng)的7種狀態(tài)：G3（Mechanical off，即徹底切斷所有電源，包括外置電源），S0（工作狀態(tài)，即所有設(shè)備都運(yùn)行），S1（CPU關(guān)閉工作狀態(tài)，其他的部件仍然正常工作），S2（CPU停止工作狀態(tài)，其他的部件仍然正常工作），S3（除了內(nèi)存外的部件都停止工作），S4（內(nèi)存數(shù)據(jù)寫入硬盤后所有部件都停止工作狀態(tài)）和S5（關(guān)機(jī)狀態(tài)，只有standby電源存在）.對于服務(wù)器系統(tǒng)來說，其中必然經(jīng)歷三種狀態(tài)，即G3、S5、S0.鑒于此，龍芯 CPU 和芯片組 SR5690 + SP5100組成的服務(wù)器系統(tǒng)從啟動(dòng)到運(yùn)行過程中，通過調(diào)試工具在G3、S5和S0狀態(tài)讀取龍芯CPU和芯片組的寄存器值，和產(chǎn)品文檔中標(biāo)準(zhǔn)值進(jìn)行對比從而驗(yàn)證上下電時(shí)序的正確性.測試表明，圖6設(shè)計(jì)的上下電時(shí)序是正確的.

另一種方法是采用服務(wù)器產(chǎn)品化過程中常用的電源循環(huán)壓力測試方法：AC Power on/off cycle test和DC Power on/off cycle test.AC Power on/off cycle test，是交流電循環(huán)上下電測試，從G3到S0再到G3再到S0不間斷循環(huán)1000次，如順利完成則表明系統(tǒng)設(shè)計(jì)的正確性和可靠性.DC Power on/off cycle test，是直流電循環(huán)上下電測試，從S0到S5再到S0再到S5不間斷循環(huán)1000次，如順利完成則表明系統(tǒng)設(shè)計(jì)的正確性和可靠性.壓力測試表明，圖6所示的上下電時(shí)序順利完成了1000次循環(huán)壓力測試，達(dá)到了產(chǎn)品化的目標(biāo).

2.3 龍芯服務(wù)器產(chǎn)品的設(shè)計(jì)

當(dāng)找到能夠正確適配龍芯CPU的芯片組后，在實(shí)際的龍芯服務(wù)器產(chǎn)品設(shè)計(jì)中，去掉中間FPGA，按照適配好的規(guī)則直接把龍芯CPU和適配成功的芯片組連接起來.

在適配過程中已經(jīng)總結(jié)出物理信號(hào)線的正確連接或者處理方式、正確的上下電時(shí)序、最佳的HT工作頻率、確定的PCB布線規(guī)則（如線長、線寬、線距）和信號(hào)完整性的正確處理方式等設(shè)計(jì)要點(diǎn).在龍芯服務(wù)器產(chǎn)品設(shè)計(jì)中只需遵循已總結(jié)出的這些設(shè)計(jì)要點(diǎn)按照常規(guī)主板設(shè)計(jì)的方法進(jìn)行設(shè)計(jì)就可以了.

圖7是根據(jù)以上總結(jié)得出的設(shè)計(jì)規(guī)則去掉FPGA后設(shè)計(jì)的龍芯服務(wù)器主板實(shí)物圖.此龍芯服務(wù)器主板采用龍芯雙路SMP（Symmetrical multiprocessing）架構(gòu)設(shè)計(jì)，芯片組是 SR5690 + SP5100，已經(jīng)實(shí)現(xiàn)了產(chǎn)品化，穩(wěn)定性好，性能高.

圖7 SR5690+SP5100 龍芯雙路服務(wù)器產(chǎn)品主板Fig.7 Loongson two-way SMP motherboard product using SR5690 + SP5100 chipsets

3 討論

本文設(shè)計(jì)的篩選芯片組的架構(gòu)和方法具有很強(qiáng)的通用性，不但從如上五種芯片組中篩選出服務(wù)器級(jí)別的 SR5690 + SP5100 芯片組，能夠完全適配龍芯CPU，而且利用此架構(gòu)和方法在其他的研究項(xiàng)目中也成功篩選出多種適用于龍芯CPU的桌面級(jí)別芯片組和服務(wù)器級(jí)別芯片組，對于桌面級(jí)別芯片組，例如北橋芯片型號(hào)有RX781、RS785G、RD790，南橋芯片型號(hào)有SB700；對于服務(wù)器級(jí)別芯片組，例如北橋芯片型號(hào)有SR5650、SR5670，南橋芯片型號(hào)有SB750.對于這些已經(jīng)成功篩選出的芯片組，用戶可以根據(jù)其功能、性能、成本等綜合因素選擇高性價(jià)比的芯片組來使用，極大地拓寬了龍芯CPU的使用領(lǐng)域，促進(jìn)了龍芯的產(chǎn)業(yè)化.

SR5690 + SP5100芯片組功能豐富、性能強(qiáng)大，完全可以作為龍芯CPU服務(wù)器級(jí)別的芯片組使用，其和目前龍芯中科技術(shù)有限公司推出的龍芯7A1000橋片在規(guī)格參數(shù)上的對比如表4所示.

表4 芯片組規(guī)格對比Table 4 Comparison of different chipset specifications

高IO帶寬、支持IO虛擬化的IOMMU功能和支持RAS功能是目前服務(wù)器所應(yīng)具備的基本要求.從這三種芯片組規(guī)格的對比來看，芯片組SR5690 + SP5100的IO帶寬特別是 PCIE數(shù)量遠(yuǎn)大于龍芯7A1000橋片，SATA和USB數(shù)量也遠(yuǎn)大于龍芯7A1000橋片，而且還支持IOMMU和RAS功能.所以，芯片組 SR5690 + SP5100 在規(guī)格參數(shù)上完全可以作為龍芯CPU的服務(wù)器芯片組.

在性能方面，本文設(shè)計(jì)的 SR5690 + SP5100 雙路龍芯3B4000服務(wù)器與市場上已有的雙路龍芯3B4000 + 7A1000 服務(wù)器進(jìn)行了實(shí)際測試對比.兩種服務(wù)器都采用相同的硬件配置，即兩路龍芯3B4000 CPU（主頻 1.8 GHz，4 核），4 條紫光國芯 16 GB DDR4 內(nèi)存（型號(hào)：SCC16GP02H1F1C-26V），4 塊東芝 2 TB的 SATA硬盤（型號(hào) MG04ACA200N），網(wǎng)卡采用Intel I350千兆網(wǎng)卡.采用國際上公認(rèn)的benchmark程序進(jìn)行測試，用 SPEC CPU 2006測試了CPU計(jì)算性能，單核整型性能(int_speed_base)、多核整型性能(int_rate_base)、單核浮點(diǎn)性能(fp_speed_base)和多核浮點(diǎn)性能(fp_rate_base)，如表5所示；用IOzone V4.3.0測試了SATA硬盤性能，512 Byte讀寫性能和1 MB讀寫性能，如表6所示；用Netperf V2.7.0 測試了網(wǎng)絡(luò)性能，TCP(Transmission control protocol)吞吐率、TCP 傳輸速度、UDP(User datagram protocol)吞吐率和UDP傳輸速度，如表7所示.從性能對比的數(shù)據(jù)來看，采用SR5690 +SP5100作為龍芯3B4000配套的芯片組可以較大幅度地提高龍芯CPU的性能，特別是IO方面性能，可以提高到10%以上.

表5 SPEC CPU2006 性能對比Table 5 Analysis of SPEC CPU2006 performance

表6 IOZone 性能對比Table 6 Analysis of IOzone performance

表7 Netperf性能對比Table 7 Analysis of Netperf performance

4 結(jié)論

本文為龍芯CPU設(shè)計(jì)了一種篩選芯片組的架構(gòu)，給出了龍芯CPU和芯片組之間適配的方法，并設(shè)計(jì)了篩選用的容納多套芯片組的主板，對篩選出的芯片組進(jìn)行了產(chǎn)品化，測試了真實(shí)的運(yùn)行性能.

本文篩選出的芯片組 SR5690 + SP5100 無論在 PCIE、SATA、USB、IOMMU和RAS等參數(shù)方面，還是在實(shí)際運(yùn)行性能上都高于目前龍芯CPU所用的芯片組，所以非常適合作為龍芯CPU在服務(wù)器領(lǐng)域的芯片組，有力地開拓了龍芯CPU更多的適用領(lǐng)域.