胡春雷，畢佳佳，方 杰

(1.合肥工業(yè)大學(xué) 計算機(jī)與信息學(xué)院,安徽 合肥 230009;2.安徽職業(yè)技術(shù)學(xué)院 信息工程學(xué)院,安徽 合肥 230011)

隨著芯片制造工藝進(jìn)入深亞米時代，芯片上晶體管的集成度急劇增加，單個芯片上可集成幾十個甚至上百個知識產(chǎn)權(quán)(Intelligent Property，IP)核，基于傳統(tǒng)總線通信架構(gòu)的片上系統(tǒng)(System-on-Chip，SoC)將面臨全局時鐘同步困難、通信效率、可擴(kuò)展性等問題，從而IP核之間的通信問題成為學(xué)術(shù)界研究的熱點[1]。為了解決以上問題，片上網(wǎng)絡(luò)(Network-on-Chip，NoC)作為一種全新的IP核互連架構(gòu)被提了出來[2]。NoC因具有更小的功耗開銷、良好的擴(kuò)展性和更高的通信吞吐量，被用于解決復(fù)雜SoC的核間通信問題。

隨著單平面NoC和2D NoC中IP核數(shù)量的增加，NoC和2D NoC出現(xiàn)了物理連線過長和信號延遲等問題。而三維集成電路制造工藝的出現(xiàn)，極大地縮短了IP核間的通信鏈路長度。將二維片上網(wǎng)絡(luò)架構(gòu)與三維集成電路工藝有效結(jié)合而產(chǎn)生的三維片上網(wǎng)絡(luò)(Three Dimension Network-on-Chip，3D NoC)，以其優(yōu)良的通信性能、良好的可擴(kuò)展性等優(yōu)勢被認(rèn)為是納米工藝下最有前途的多核SoC通信架構(gòu)[3-4]。

3D NoC結(jié)構(gòu)如圖1所示，由IP核、路由器、水平鏈路、垂直鏈路、資源網(wǎng)絡(luò)接口(Resource Network Interface，RNI)5部分組成。3D NoC是在2D NoC基礎(chǔ)上進(jìn)行垂直方向的擴(kuò)展，這種通信架構(gòu)大大減小了IP核間的平均跳數(shù)，有效提高了片內(nèi)通信的效率。

圖1 3D NoC結(jié)構(gòu)圖Fig.1 The structure diagram of 3D NoC

在三維芯片制造工藝中，通常使用硅通孔(Through-Silicon-Via，TSV)技術(shù)進(jìn)行層間互連，即將多個晶片在垂直方向堆疊，有效地縮短IP核間的連線長度，在減少通信時延的同時還可以大大降低通信功耗，很好地滿足多核SoC系統(tǒng)對通信效率的要求。但是隨著芯片特征尺寸的不斷縮小，集成電路密度的急劇增加以及層間互聯(lián)技術(shù)TSV的引入，芯片的可靠性受到一定的影響[5-6]。一方面，受芯片制造工藝水平的限制，芯片在生產(chǎn)過程中將存在更多缺陷；另一方面，芯片在使用過程中，可能受電子遷移、電路老化、電介質(zhì)擊穿等的影響，導(dǎo)致芯片出現(xiàn)故障。

除了納米工藝下芯片所固有的可靠性問題，3D NoC還存在自身特有的可靠性問題：(1)受芯片制造工藝水平的限制，在TSV制造過程中產(chǎn)生的空隙、位移、表面氧化以及TSV綁定襯墊偏離標(biāo)定位置等所引起的未對準(zhǔn)問題都將帶來隨機(jī)開放性故障，從而導(dǎo)致用于芯片層間互連的TSV存在良品率不高的問題；(2)隨著芯片綁定層數(shù)以及TSV數(shù)目的不斷增加，芯片綁定的成品率將急劇下降[7-8]；(3)三維芯片所固有的散熱問題將加劇芯片出現(xiàn)瞬時故障和永久故障[8]。

3D NoC通信架構(gòu)主要由資源網(wǎng)絡(luò)接口、路由器、水平鏈路、垂直鏈路4部分組成，負(fù)責(zé)芯片中眾多IP核之間的數(shù)據(jù)通信。3D NoC通信架構(gòu)出現(xiàn)故障，將嚴(yán)重影響片內(nèi)核間的通信性能，甚至導(dǎo)致整個系統(tǒng)癱瘓。3D NoC通信架構(gòu)的容錯成為學(xué)術(shù)界研究的熱點。

1 國內(nèi)外研究現(xiàn)狀

文獻(xiàn)[7]針對復(fù)雜3D NoC中自適應(yīng)路由算法存在容錯機(jī)制不完善與性能較差的問題，提出了一種轉(zhuǎn)向均衡的容錯路由算法。該算法將XY、XZ和YZ分為奇偶平面，在行與列上設(shè)定不同的禁止轉(zhuǎn)向；設(shè)計更為均衡的轉(zhuǎn)向模型，并根據(jù)內(nèi)部鏈路故障分類設(shè)計故障模型；最后設(shè)計了全平面一跳預(yù)先感知策略的容錯路由算法，提高了網(wǎng)絡(luò)的通信性能與容錯能力。針對3D NoC垂直鏈路故障，文獻(xiàn)[9]提出了垂直鏈路容錯方案。針對鏈路中部分TSV硬件故障導(dǎo)致整個鏈路不可用的問題，利用歐米伽網(wǎng)絡(luò)對故障鏈路中的無故障TSV進(jìn)行重構(gòu)配置，將故障鏈路數(shù)據(jù)進(jìn)行分片傳輸。此方法雖然能夠在垂直鏈路出現(xiàn)部分TSV硬件故障情況下仍然可以進(jìn)行數(shù)據(jù)傳輸，但數(shù)據(jù)傳輸效率明顯降低。文獻(xiàn)[10]針對3D NoC中路由器的交叉開關(guān)和輸入端口故障，提出了一種容錯型路由器。通過對傳統(tǒng)3D NoC路由器進(jìn)行加固設(shè)計，增加旁路總線實現(xiàn)對交叉開關(guān)的容錯；增加冗余輸入端口實現(xiàn)對輸入端口的容錯。在輸入端口沒故障的情況下，還可以充分利用冗余端口解決網(wǎng)絡(luò)擁塞問題。文獻(xiàn)[11]利用3D NoC路徑多樣性的特點，提出了一種擁塞感知的容錯路由算法。該算法能夠指導(dǎo)數(shù)據(jù)包繞過故障節(jié)點或在故障TSV時能夠根據(jù)擁塞情況選擇合適的路徑進(jìn)行數(shù)據(jù)傳輸，即容錯的同時還能保持能效較優(yōu)。

綜合上述相關(guān)文獻(xiàn)，可知針對3D NoC通信架構(gòu)容錯研究，主要分為兩個方面：一是對通信架構(gòu)中的垂直鏈路、水平鏈路、路由器等重要組件采用冗余設(shè)計或者旁路設(shè)計進(jìn)行加固設(shè)計，使得這些組件出現(xiàn)故障時，能夠利用冗余部件或者旁路機(jī)制來屏蔽故障點，從而保證數(shù)據(jù)包的正常傳輸；二是設(shè)計相應(yīng)的容錯路由算法，當(dāng)采用一定的容錯檢查機(jī)制檢測到3D NoC通信架構(gòu)中的組件(如路由器、垂直鏈路、水平鏈路等)出現(xiàn)故障時，指導(dǎo)數(shù)據(jù)包繞過故障節(jié)點或故障鏈路，從而進(jìn)行容錯。

以上容錯機(jī)制只考慮路由器出現(xiàn)故障時，讓原本通過該路由器傳輸?shù)臄?shù)據(jù)包靈活地改變路徑，從而繞過故障路由器進(jìn)行有效傳輸，忽略了與故障路由器相連的IP核，導(dǎo)致這種IP核成為無法與外界通信的孤立的IP核。針對這一情況，本文提出了基于雙端口RNI的3D NoC通信架構(gòu)設(shè)計，即將每一個IP核都與Y維上相鄰的兩個路由器連接，當(dāng)兩個路由器都可用的情況下，可以根據(jù)源、目的節(jié)點的位置選擇較短的路徑進(jìn)行數(shù)據(jù)傳輸，在IP核通信任務(wù)繁重時，可以在與之相連的兩個路由器間進(jìn)行通信流量的負(fù)載均衡；當(dāng)只有一個路由器可用時，仍然可以通過它保持與其他IP核的有效通信。

2 基于雙端口RNI的三維片上網(wǎng)絡(luò)通信架構(gòu)

2.1 雙端口RNI的3D NoC通信架構(gòu)介紹

為了便于路由器和IP核的定位，采用三維直角坐標(biāo)系來表示?；陔p端口RNI的3D NoC三維結(jié)構(gòu)如圖2所示。圖2中路由器的右上角采用三元組(x，y，z)標(biāo)注它在坐標(biāo)系中的地址，其中x、y、z分別代表該路由器在三維坐標(biāo)系中X、Y、Z維的坐標(biāo)值，如地址(1，2，3)代表該路由器在X、Y、Z維上對應(yīng)的坐標(biāo)值分別為1、2、3，即表示處于第3層上X坐標(biāo)為1、Y坐標(biāo)為2的路由器。

圖2 基于雙端口RNI的3D NoC結(jié)構(gòu)圖Fig.2 The 3D NoC structure based on dual port RNI

在每一個二維Mesh結(jié)構(gòu)的平面上，采用雙端口RNI來完成IP核與路由器的連接。使用傳統(tǒng)RNI和使用雙端口RNI進(jìn)行IP核與路由器互聯(lián)的結(jié)構(gòu)如圖3所示。圖3左邊為基于傳統(tǒng)RNI的IP核與路由器的連接，每個IP核通過RNI連接到一個路由器上；右邊為基于雙端口RNI的IP核與路由器的連接，每個IP核通過雙端口RNI分別連接至Y維上相鄰的兩個路由器上，實現(xiàn)了對IP核的加固。

圖3 傳統(tǒng)RNI與雙端口RNI IP核與路由器連接圖Fig.3 The traditional RNI and dual port RNI connection diagram between IP core and router

2.2 雙端口RNI的設(shè)計

傳統(tǒng)RNI接口只有一對輸入輸出接口，主要由輸入接口、輸出接口、輸入緩存、輸出緩存、編碼器、解碼器、發(fā)送控制邏輯和接收控制邏輯等模塊組成。本文設(shè)計的雙端口RNI是在傳統(tǒng)RNI基礎(chǔ)上添加了一對輸入輸出端口，增加了輸入/輸出端口仲裁控制、數(shù)據(jù)分配器、多路選擇器和相應(yīng)的控制邏輯單元，如圖4所示。圖4中的數(shù)據(jù)分配器用于輸出端口的選擇；多路選擇器用于輸入端口的選擇；輸出端口仲裁控制邏輯能夠根據(jù)目的IP核的位置及所連接的2個路由器的故障狀態(tài)完成數(shù)據(jù)包輸出端口的選擇。為了提高與IP核通信的效率，還增加輸入緩存和輸出緩存的旁路機(jī)制設(shè)計。當(dāng)通信網(wǎng)絡(luò)不擁塞時，IP核產(chǎn)生的數(shù)據(jù)通過輸出緩存旁路機(jī)制跳過輸出緩存直接進(jìn)行輸出數(shù)據(jù)微片的編碼，加快了數(shù)據(jù)注入通信網(wǎng)絡(luò)的速度；當(dāng)通信網(wǎng)絡(luò)擁塞時，借助輸出緩存對待發(fā)送的數(shù)據(jù)進(jìn)行排隊暫存，指導(dǎo)數(shù)據(jù)微片依序注入網(wǎng)絡(luò)。

2.3 數(shù)據(jù)報文的格式

本文采用普遍使用的蟲孔路由機(jī)制，一個數(shù)據(jù)包被分成3種類型的微片，分別是頭微片、數(shù)據(jù)微片和尾微片。數(shù)據(jù)包格式如圖5所示，使用2位用作微片類型標(biāo)志，分別以01代表頭微片、00代表數(shù)據(jù)微片、10代表尾微片。頭微片中帶有地址信息，用于數(shù)據(jù)包的路由，其目的地址、備用地址和源地址各占9位，每個地址的9位中均含有X維坐標(biāo)值3位、Y維坐標(biāo)值3位和Z維坐標(biāo)值3位，用于定位路由器的位置。頭微片中目的地址和備用地址用于指明目標(biāo)IP核所連接的2個路由器的地址，源地址用于指明數(shù)據(jù)包從哪個路由器發(fā)出。頭微片中的IP核標(biāo)志位字段用于指明路由器上的哪個IP核，該字段占3位，前2位分別用于指明目的IP核在目的地址和備用目的地址路由器上的位置，最后一位用于指明源IP核在源地址路由器上的位置。假設(shè)源地址為(x，y，z)，當(dāng)源地址對應(yīng)的IP核標(biāo)志位值為“0”時，代表IP核處于路由器(x，y，z)和路由器(x，y-1，z)之間；

圖4 雙端口RNI結(jié)構(gòu)圖Fig.4 The structure diagram of dual port RNI

圖5 數(shù)據(jù)包格式Fig.5 The data packet format

如果為“1”，則代表IP核處于路由器(x，y，z)和路由器(x，y+1，z)之間。

2.4 雙端口RNI的工作過程

當(dāng)采用內(nèi)建自測試方法測試到路由器出現(xiàn)硬件故障時，路由器通過狀態(tài)信號線將故障狀態(tài)信息發(fā)送給雙端口RNI；雙端口RNI的輸出仲裁邏輯會根據(jù)故障信息和目的IP核的位置對輸出端口進(jìn)行選擇，而與通信雙方IP核所處的平面(Z平面)沒有關(guān)系。

現(xiàn)以同一平面上2個IP核的通信過程來介紹雙端口RNI的工作過程。假設(shè)源IP核連接的2個路由器地址分別為R1(x1，y1，z1)和R2(x1，y1+1，z1)，目標(biāo)IP核連接的2個路由器地址分別為R3(x2，y2，z1)和R4(x2，y2+1，z1)，如果源IP核所連接的2個路由器中有一個出現(xiàn)故障，則選擇無故障的路由器發(fā)送數(shù)據(jù)。當(dāng)源IP核所連接的2個路由器都無故障，此時如果y1=y2，則根據(jù)R1、R2的通信繁忙程度選擇當(dāng)前通信任務(wù)量小的路由器作為發(fā)送路由器，從目標(biāo)IP核所連接的兩個路由器中選擇與發(fā)送路由器y坐標(biāo)值相同的路由器作為接收路由器，另外一個路由器作為備用路由器；如果y2>y1時，如圖6a所示，源IP核對應(yīng)的RNI會通過上端口選擇R2來發(fā)送數(shù)據(jù)包，并且選擇R3作為此次通信中目的IP核的接收路由器，R4作為備用目的路由器，同時在數(shù)據(jù)包頭微片中將IP核標(biāo)志位設(shè)置為“100”，其中第一位“1”代表目標(biāo)IP核處于目標(biāo)地址對應(yīng)路由器的上方，第二位“0”表示目標(biāo)IP核處于備用目標(biāo)地址對應(yīng)路由器的下方，第三位“0”表示源IP核處于源地址對應(yīng)路由器的下方；如果y2

3 實驗分析

為了評估本文提出的基于雙端口RNI 3D NoC(簡稱DPRNI 3D NoC)的通信架構(gòu)的實施效果，分別對DPRNI 3D NoC和傳統(tǒng)3D Mesh NoC兩種通信架構(gòu)進(jìn)行可靠性分析和通信性能的模擬。系統(tǒng)可靠性和性能的提升必然要犧牲額外硬件開銷，為此，對DPRNI 3D NoC通信架構(gòu)的硬件開銷情況進(jìn)行了分析。

a IP1發(fā)送數(shù)據(jù)包至IP12 b IP9發(fā)送數(shù)據(jù)包至IP4圖6 發(fā)送數(shù)據(jù)的IP核與接收數(shù)據(jù)的IP核的2種不同的位置關(guān)系Fig.6 Two different positional relationships between the IP core transmitting data and the IP core receiving data

3.1 可靠性分析

路由器的可靠性可以定義為該路由器能夠正常工作的概率，通常由路由器的錯誤率決定，可以用R來表示。單位時間內(nèi)路由器發(fā)生故障的次數(shù)稱為路由器的錯誤率，用λ表示。路由器的錯誤率與可靠性服從公式(1)所示的負(fù)指數(shù)分布[12]。

R=e-λt

(1)

式中：R為路由器的可靠性；λ為路由器的錯誤率，次/a；t代表路由器的工作時間，a。

在傳統(tǒng)的3D Mesh NoC通信架構(gòu)中，每個路由器連接一個IP核，IP核正常通信的可靠性取決于所連接路由器的可靠性。在DPRNI 3D NoC中，每個IP核都連接至2個路由器，只有當(dāng)所連接的2個路由器同時出現(xiàn)故障時該IP核才無法正常通信。因此這種通信架構(gòu)中單個IP核的可靠性RD可以使用公式(2)計算得出。

RD=1-(1-R)2

(2)

上述兩個公式可以分別對傳統(tǒng)3D Mesh NoC和DPRNI 3D NoC中IP核的通信可靠性進(jìn)行量化，然后再進(jìn)一步地對2種架構(gòu)的系統(tǒng)通信可靠性進(jìn)行評估。

假設(shè)傳統(tǒng)3D Mesh NoC 與DPRNI 3D NoC中IP核的數(shù)目都為n×n×n，3D NoC系統(tǒng)的通信可靠性則是n3個IP核都正常通信的可能性。3D NoC系統(tǒng)的通信可靠性Rs可以通過公式(3)計算得出。

Rs=RDn×n×n

(3)

分別對3×3×3、4×4×3、4×4×4結(jié)構(gòu)的3D Mesh NoC及具有相同IP核數(shù)目的DPRNI 3D NoC進(jìn)行系統(tǒng)可靠性計算。參照文獻(xiàn)[13]，將錯誤率λ設(shè)為0.003 15次/a，2種架構(gòu)在27核、48核、64核的情況下系統(tǒng)通信可靠性如圖7所示。

圖7 不同核數(shù)的3D Mesh與DPRNI 3D NoC的系統(tǒng)可靠性比較Fig.7 System reliability comparison between 3D mesh and DPRNI 3D NoC with different cores

由圖7可以看出，3×3×3、4×4×3、4×4×4的3D Mesh NoC在第1年使用時的系統(tǒng)可靠性分別為0.92、0.87、0.83；工作到第10年時，它們的系統(tǒng)通信可靠性分別降低至0.43、0.22、0.13。顯然，傳統(tǒng)的3D Mesh NoC系統(tǒng)的整體通信可靠性不僅隨著IP核數(shù)目的增加而降低，而且還會隨著芯片工作年限的不斷增加而急劇下降。與此形成鮮明對比的是，3×3×3、4×4×3、4×4×4的DPRNI 3D NoC在第1年使用時的系統(tǒng)可靠性分別為0.97、0.95、0.94；工作到第10年時，它們的系統(tǒng)通信可靠性保持不變，仍然是0.97、0.95、0.94。顯然，本文提出的DPRNI 3D NoC通信架構(gòu)具有更好的通信可靠性和穩(wěn)定性。

3.2 容錯性能分析

容錯性能評價指標(biāo)主要有故障率、數(shù)據(jù)包時延和平均時延3個指標(biāo)。其中故障率是指故障鏈路與故障路由器數(shù)目占所有路由器和鏈路總數(shù)的百分比；數(shù)據(jù)包時延是指一個數(shù)據(jù)包從它的首部進(jìn)入網(wǎng)絡(luò)開始，到該數(shù)據(jù)包的尾部離開網(wǎng)絡(luò)所使用的時間；平均時延是指網(wǎng)絡(luò)中傳輸?shù)乃袛?shù)據(jù)包的時延平均值，是衡量網(wǎng)絡(luò)通信傳輸性能的重要指標(biāo)。

使用Booksim 2.0模擬器對4×4×4的3D Mesh NoC和DPRNI 3D NoC的容錯性能進(jìn)行模擬試驗。模擬時，這2種通信架構(gòu)的通信方式均采用均勻隨機(jī)模式，路由算法都是動態(tài)自適應(yīng)容錯路由算法，數(shù)據(jù)包注入率均為0.06，2種架構(gòu)經(jīng)模擬試驗得到數(shù)據(jù)包平均時延隨故障率的變化情況，如圖8所示。

從圖8可以發(fā)現(xiàn)，與傳統(tǒng)的3D Mesh NoC通信架構(gòu)相比，本文提出的DPRNI 3D NoC通信架構(gòu)在不同故障率下都具有較低的數(shù)據(jù)包通信時延；隨著故障率的不斷增加，這種優(yōu)勢更加明顯。DPRNI 3D NoC架構(gòu)中每個IP核都連接了2個路由器，在故障率較低的情況下，可以充分利用路徑的豐富性，有效縮短IP核間的通信路徑長度，具有較低的數(shù)據(jù)包平均時延；隨著故障率的增加，傳統(tǒng)3D Mesh NoC架構(gòu)中故障路由器所連接的IP核會存在丟包現(xiàn)象，而本文提出的DPRNI 3D NoC通信架構(gòu)可以有效避免這種情況的發(fā)生。因此，本文提出的DPRNI 3D NoC通信架構(gòu)，其數(shù)據(jù)包的平均時延要優(yōu)越于傳統(tǒng)的3D Mesh NoC架構(gòu)。

圖8 不同故障率下數(shù)據(jù)包平均時延比較Fig.8 Comparison of average packet delay under different failure rates

3.3 硬件開銷分析

與傳統(tǒng)的3D Mesh NoC架構(gòu)相比，本文提出的DPRNI 3D NoC架構(gòu)在每一個平面增加了一行路由器，即相對于3×3×3、4×4×3、4×4×4的3D Mesh NoC，與之具有相同IP核數(shù)量和布局的DPRNI 3D NoC架構(gòu)分別多用了9、12、16個冗余路由器。通過計算冗余路由器占對應(yīng)的3D Mesh架構(gòu)中路由器總數(shù)的比率可以衡量DPRNI 3D NoC架構(gòu)的硬件開銷，如表1所示。

表1 不同規(guī)模DPRNI 3D NoC 冗余路由器的開銷比Table 1 The overhead ratio of redundant routers base DPRNI 3D NoC of different sizes

由表1可知：與傳統(tǒng)的3D Mesh架構(gòu)相比，27核、28核、64核的DPRNI 3D NoC硬件開銷分別為33%、25%、25%；隨著n值的不斷增大(網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大)，在n×n×n的3D NoC中，冗余路由器數(shù)目占與之對應(yīng)的3D Mesh NoC中路由器總數(shù)的比率不斷下降((1/n)×100%)。因此，隨著3D NoC系統(tǒng)規(guī)模的不斷擴(kuò)大，為提高片上系統(tǒng)IP核通信可靠性而為之增加的硬件開銷將不斷下降。

4 總結(jié)

針對3D NoC通信架構(gòu)中IP核連接單個路由器可能存在的單點故障問題，設(shè)計了一種雙端口的資源網(wǎng)絡(luò)接口，即在傳統(tǒng)的3D Mesh結(jié)構(gòu)基礎(chǔ)上，將IP核通過雙端口RNI分別連接在Y維上相鄰的2個路由器上，從而得到一種新的3D NoC通信架構(gòu)——DPRNI 3D NoC。實驗結(jié)果表明，與傳統(tǒng)的3D Mesh NoC通信架構(gòu)相比，DPRNI 3D NoC通信架構(gòu)具有更好的通信性能和較好的可靠性；而且為了提高這種可靠性和通信性能而花費的硬件開銷也在可以接受的范圍內(nèi)，并且隨著DPRNI 3D NoC規(guī)模的不斷擴(kuò)大，這種開銷占比越來越小。