楊海峰

(中國(guó)西南電子技術(shù)研究所，成都 610036)

?

基于Nand Flash的星載綜合數(shù)據(jù)固態(tài)記錄系統(tǒng)*

楊海峰*

(中國(guó)西南電子技術(shù)研究所，成都 610036)

在星載平臺(tái)資源受限條件下，采用以FPGA+CPU為控制核心、Nand Flash為固態(tài)存儲(chǔ)陣列的系統(tǒng)架構(gòu)，實(shí)現(xiàn)了高速、大容量、高可靠的數(shù)據(jù)記錄。針對(duì)傳統(tǒng)雙Plane操作與并行擴(kuò)展對(duì)存儲(chǔ)速度提升有限、芯片使用較多的問題，采用4級(jí)流水線方式控制Flash陣列。為解決標(biāo)準(zhǔn)傳輸協(xié)議傳輸效率低的問題，設(shè)計(jì)了一種自定義高速串行傳輸協(xié)議。為減緩空間輻射環(huán)境對(duì)存儲(chǔ)數(shù)據(jù)的影響，采用了三模冗余、配置回讀與部分重構(gòu)等容錯(cuò)機(jī)制。對(duì)所提出系統(tǒng)進(jìn)行的實(shí)驗(yàn)驗(yàn)證結(jié)果表明，該星載記錄系統(tǒng)存儲(chǔ)容量達(dá)36 Tbit，記錄與回放速度分別達(dá)到16 Gbit/s與8 Gbit/s，傳輸誤碼率為10-12，傳輸包效率為96.7%，可作為通用存儲(chǔ)系統(tǒng)以滿足航天應(yīng)用需求。

衛(wèi)星有效載荷；固態(tài)記錄系統(tǒng)；Nand Flash存儲(chǔ)器；現(xiàn)場(chǎng)可編程門陣列;三模冗余

1 引 言

星載存儲(chǔ)系統(tǒng)是航天飛行平臺(tái)電子系統(tǒng)的重要組成部分，隨著深空探測(cè)及載人航天等任務(wù)的大力發(fā)展，飛行器往往需要同時(shí)執(zhí)行多種任務(wù)，探測(cè)任務(wù)的數(shù)據(jù)來源與復(fù)雜度增加，各類任務(wù)對(duì)星載存儲(chǔ)系統(tǒng)的存儲(chǔ)容量、存儲(chǔ)管理、數(shù)據(jù)記錄速率、數(shù)據(jù)回放速率、適應(yīng)惡劣的空間環(huán)境的能力提出了更高的要求。同時(shí)，我國(guó)國(guó)土資源有限，難以在海外設(shè)置大量的地面接收站，更多依靠衛(wèi)星過境時(shí)再將數(shù)據(jù)回放的方式，這樣迫切需要一種可復(fù)用、擴(kuò)展性強(qiáng)、容量大、存取速度快的星載數(shù)據(jù)存儲(chǔ)設(shè)備。

美國(guó)國(guó)家航空航天局(National Aeronautics and Space Administration,NASA)與歐洲航天局(European Space Agency,ESA)等國(guó)外研究機(jī)構(gòu)對(duì)星載固態(tài)存儲(chǔ)設(shè)備開展了大量研究與實(shí)際應(yīng)用，大多針對(duì)特定數(shù)據(jù)類型進(jìn)行定制化設(shè)計(jì)，基本設(shè)計(jì)思想以單板甚至單處理芯片為核心，圍繞單一數(shù)據(jù)類型進(jìn)行設(shè)計(jì)，接口速度與芯片性能受限[1-4]。從航天任務(wù)的實(shí)際應(yīng)用需求出發(fā)，目前國(guó)內(nèi)外星載存儲(chǔ)設(shè)備主要有以下一些問題：一是多元數(shù)據(jù)的綜合化存儲(chǔ)管理能力有待加強(qiáng)[5-7]；二是采用并行擴(kuò)展與雙Plane讀寫技術(shù)，存儲(chǔ)容量與速率提升較為困難[8]；三是外部接口采用并行總線，硬件管腳占用較多，數(shù)據(jù)記錄與回放速率較低[9]；四是空間環(huán)境防護(hù)措施較為單一[10-11]。

為解決以上問題，本文以FPGA+CPU為中央控制核心，采用Nand型Flash為存儲(chǔ)介質(zhì)，并引入多元數(shù)據(jù)綜合化存儲(chǔ)體系、自定義高速串行傳輸協(xié)議，針對(duì)空間環(huán)境的特點(diǎn)設(shè)計(jì)了三模冗余、配置回讀與部分重構(gòu)機(jī)制等關(guān)鍵技術(shù)，在滿足系統(tǒng)設(shè)計(jì)指標(biāo)要求的前提下降低Flash芯片數(shù)量，解決星載設(shè)備中的大容量數(shù)據(jù)存儲(chǔ)問題，完成數(shù)據(jù)的高速海量存儲(chǔ)。

2 在軌數(shù)據(jù)存儲(chǔ)需求分析

本固態(tài)記錄系統(tǒng)主要為對(duì)地觀測(cè)、測(cè)控、通信等載荷任務(wù)數(shù)據(jù)的大容量、高可靠存儲(chǔ)提供支撐。各類載荷的數(shù)據(jù)種類眾多，數(shù)據(jù)形式、保存周期、關(guān)鍵性各不相同。按對(duì)系統(tǒng)運(yùn)行的影響及關(guān)鍵程度，劃分為關(guān)鍵數(shù)據(jù)和普通數(shù)據(jù)兩類數(shù)據(jù)。關(guān)鍵數(shù)據(jù)主要包含系統(tǒng)任務(wù)資源調(diào)度的參數(shù)文件、硬件配置文件、任務(wù)功能運(yùn)行的信息庫(kù)、功能應(yīng)用執(zhí)行的程序執(zhí)行體等，需要長(zhǎng)期、可靠的存儲(chǔ)；普通數(shù)據(jù)主要包括狀態(tài)監(jiān)測(cè)數(shù)據(jù)和任務(wù)執(zhí)行過程中產(chǎn)生的原始數(shù)據(jù)、載荷數(shù)據(jù)等兩大類型，不會(huì)對(duì)系統(tǒng)運(yùn)行造成影響，在任務(wù)前將根據(jù)存儲(chǔ)資源需求進(jìn)行清理。

在所有任務(wù)中，對(duì)地觀測(cè)任務(wù)數(shù)據(jù)量最大。在分辨率為3 m時(shí)，對(duì)地觀測(cè)任務(wù)的最高數(shù)據(jù)速率約為8.2 Gbit/s。若每軌對(duì)地觀測(cè)任務(wù)開機(jī)10 min，按照平均工作時(shí)間計(jì)算，將產(chǎn)生約11.5 Tbit數(shù)據(jù)。

考慮數(shù)據(jù)可存儲(chǔ)兩天，同時(shí)考慮30%存儲(chǔ)余量，則普通數(shù)據(jù)總存儲(chǔ)需求為30 Tbit。關(guān)鍵數(shù)據(jù)存儲(chǔ)主要考慮數(shù)據(jù)的可靠性，為防止輻照或其他原因?qū)?shù)據(jù)造成損壞而影響系統(tǒng)運(yùn)行或任務(wù)執(zhí)行，采用三模冗余(Triple Modular Redundancy,TMR)設(shè)計(jì)(即3塊數(shù)據(jù)存儲(chǔ)模塊同時(shí)存儲(chǔ)同樣的數(shù)據(jù)，讀出時(shí)進(jìn)行判決輸出)。本系統(tǒng)關(guān)鍵數(shù)據(jù)的存儲(chǔ)容量要求30 Gbit以上，由于TMR設(shè)計(jì)，則每塊數(shù)據(jù)存儲(chǔ)模塊的關(guān)鍵數(shù)據(jù)存儲(chǔ)容量要求至少100 Gbit?？紤]2倍的存儲(chǔ)容量裕度和30%的降額損失(生命末期與壞塊產(chǎn)生等影響)，則每塊數(shù)據(jù)存儲(chǔ)模塊的關(guān)鍵數(shù)據(jù)存儲(chǔ)容量需求接近300 Gbit。

根據(jù)對(duì)有效載荷系統(tǒng)和任務(wù)過程數(shù)據(jù)需求的分析以及衛(wèi)星總體的技術(shù)要求，主要指標(biāo)梳理如下：

(1)總存儲(chǔ)容量≥32 Tbit(含一個(gè)冷備份模塊)，存儲(chǔ)介質(zhì)選用高集成度、低成本的Nand Flash存儲(chǔ)器；

(2)記錄速率≥16 Gbit/s(雙通道備份)，回放速率≥8 Gbit/s，在進(jìn)行數(shù)據(jù)存儲(chǔ)時(shí)可以同時(shí)進(jìn)行數(shù)據(jù)輸出；

(3)數(shù)據(jù)記錄傳輸?shù)恼`碼率≤10-12。

3 綜合數(shù)據(jù)固態(tài)記錄系統(tǒng)設(shè)計(jì)

3.1 系統(tǒng)總體架構(gòu)設(shè)計(jì)

3.1.1 系統(tǒng)架構(gòu)與模塊設(shè)計(jì)

目前主流的星載記錄系統(tǒng)有3種架構(gòu)，即FPGA+DSP+存儲(chǔ)陣列、FPGA+存儲(chǔ)陣列、FPGA+CPU+存儲(chǔ)陣列[12]。第一種架構(gòu)在FPGA內(nèi)實(shí)現(xiàn)存儲(chǔ)陣列控制器設(shè)計(jì)，并可提供豐富的互連接口，DSP對(duì)于信號(hào)處理算法實(shí)現(xiàn)較強(qiáng)，但對(duì)系統(tǒng)的控制能力較弱；第二種架構(gòu)無處理器的參與，對(duì)大容量存儲(chǔ)系統(tǒng)的文件管理等操作需全硬件實(shí)現(xiàn)，設(shè)計(jì)難度大、通用性較差；第三種架構(gòu)中，F(xiàn)PGA提供豐富靈活的接口，CPU可對(duì)系統(tǒng)提供操作系統(tǒng)支持，降低文件管理與開發(fā)難度，可便于星務(wù)管理系統(tǒng)的統(tǒng)一調(diào)度，因而本系統(tǒng)采用FPGA+CPU+存儲(chǔ)陣列的架構(gòu)。

記錄系統(tǒng)由8個(gè)模塊組成，包括2塊高速接口模塊、2塊主控模塊、4塊Nand Flash存儲(chǔ)模塊，所有模塊均采用CPU+FPGA架構(gòu)，CPU用于支持文件系統(tǒng)及接口控制等功能，F(xiàn)PGA便于硬件擴(kuò)展與重構(gòu)，模塊符合VITA 78 SpaceVPX 6U空間標(biāo)準(zhǔn)規(guī)范，各模塊互連架構(gòu)如圖1所示。

圖1 綜合數(shù)據(jù)固態(tài)記錄系統(tǒng)總體組成圖

在備份關(guān)系上，高速接口模塊與主控模塊采用1∶1雙冗余備份設(shè)計(jì)；4塊Nand Flash存儲(chǔ)模塊包含3塊硬件冗余模塊與1塊備份模塊，各模塊的接口與硬件組成關(guān)系完全相同，以提高系統(tǒng)可靠性，總?cè)萘繛?6 Tbit。在互連關(guān)系上，高速接口模塊與4塊Nand Flash存儲(chǔ)模塊采用FPGA中內(nèi)置的高速串行收發(fā)器GTP互連，并通過自定義高速串行傳輸協(xié)議進(jìn)行數(shù)據(jù)的記錄與回放。高速接口模塊對(duì)外部載荷設(shè)備提供多路高速光纖SRIO接口，并支持SRIO交換架構(gòu)，可與衛(wèi)星平臺(tái)其他載荷通過SRIO交換網(wǎng)絡(luò)互連，提升系統(tǒng)互連的靈活性。高速接口模塊與Nand Flash存儲(chǔ)模塊通過千兆以太網(wǎng)接口與主控模塊互連，傳輸?shù)退儆涗洈?shù)據(jù)。高速接口模塊與存儲(chǔ)模塊均通過兩路互為備份的CAN總線與主控模塊進(jìn)行監(jiān)控與健康管理等數(shù)據(jù)的交互，并在其控制下進(jìn)行協(xié)同工作，完成數(shù)據(jù)的記錄與回放功能。各模塊的初始配置信息預(yù)置在Nand Flash存儲(chǔ)模塊的關(guān)鍵數(shù)據(jù)存儲(chǔ)區(qū)，在系統(tǒng)發(fā)生軟故障時(shí)，可通過在軌維護(hù)模式對(duì)系統(tǒng)進(jìn)行軟件恢復(fù)。

主控模塊負(fù)責(zé)千兆網(wǎng)接口收發(fā)與綜合數(shù)據(jù)固態(tài)記錄系統(tǒng)的故障監(jiān)控以及存儲(chǔ)信息和目錄信息管理。對(duì)外通過千兆以太網(wǎng)接口與其他設(shè)備進(jìn)行數(shù)據(jù)交互，完成數(shù)據(jù)轉(zhuǎn)存、通信以及配置文件的遠(yuǎn)程更新等功能，通過6路SelectMAP總線，對(duì)其他模塊的FPGA進(jìn)行回讀檢測(cè)和重配置。

高速接口模塊具有3路4×光纖RapidIO高速串行接口，每路高速串行接口的數(shù)據(jù)傳輸速率為3.125 Gbit/s，主要完成光纖RapidIO高速接口數(shù)據(jù)的接收、緩存及分發(fā)，實(shí)現(xiàn)對(duì)外部載荷互連和對(duì)Nand Flash存儲(chǔ)模塊的數(shù)據(jù)傳輸。

Nand Flash存儲(chǔ)模塊由兩組Flash陣列與相應(yīng)的控制器組成。共分為兩組 Nand Flash芯片，組內(nèi)共用片選線，即全部并行連接，組外共用控制線，但不共用片選線，兩組數(shù)據(jù)線以復(fù)用方式連接。每組陣列包含12片512 Gbit Nand Flash，則每塊存儲(chǔ)板的存儲(chǔ)容量為12 Tbit，滿足存儲(chǔ)需求。關(guān)鍵數(shù)據(jù)存儲(chǔ)空間是從12 Tbit容量中劃分出300 Gbit存儲(chǔ)容量。關(guān)鍵數(shù)據(jù)容量較小，且要求的速率不高，因此對(duì)關(guān)鍵數(shù)據(jù)采用更低Block容量的管理方式，以提高存儲(chǔ)空間管理的精度，增加存儲(chǔ)容量的利用率。

3.1.2 核心器件選型

FPGA、CPU、Flash存儲(chǔ)陣列與緩存為本系統(tǒng)的核心元器件，其選型應(yīng)考慮到空間環(huán)境的特點(diǎn)、實(shí)現(xiàn)系統(tǒng)指標(biāo)所需的功能資源以及衛(wèi)星平臺(tái)機(jī)電熱資源受限的共同約束。由于記錄系統(tǒng)的規(guī)模較大，應(yīng)在滿足以上約束的條件下考慮元器件統(tǒng)型，以便于型號(hào)管理與元器件統(tǒng)型，盡量降低成本，具備經(jīng)濟(jì)可行性。

系統(tǒng)環(huán)境所使用的電子器件耐受電離輻射劑量能力依據(jù)載荷總體要求、飛行器軌道特性與文獻(xiàn)[13]中的劑量深度曲線確定，計(jì)算出本系統(tǒng)關(guān)鍵元器件耐總劑量效應(yīng)不低于15 krad(Si)。

各模塊中的CPU主要為固態(tài)記錄系統(tǒng)提供操作系統(tǒng)支持，同時(shí)為綜合化的文件管理提供基礎(chǔ)支撐，該類服務(wù)對(duì)CPU資源占用較低。基于操作系統(tǒng)和CPU對(duì)國(guó)產(chǎn)化的需求，考慮到傳統(tǒng)宇航級(jí)CPU在性能與接口數(shù)量、種類上的限制，本系統(tǒng)選用龍芯3A CPU，通過增加殼體屏蔽厚度與器件升篩以適應(yīng)空間環(huán)境。

各模塊中功能資源使用最大的是FPGA資源，經(jīng)實(shí)際設(shè)計(jì)綜合后，每個(gè)高速接口模塊包含2個(gè)4×RapidIO控制器、2個(gè)DDR2控制器、2個(gè)4×自定義協(xié)議高速串行接口控制器；每個(gè)主控模塊包含2個(gè)Flash控制器、1路2×自定義協(xié)議高速串行接口控制器、1路4×自定義協(xié)議高速串行接口控制器。星載應(yīng)用中多使用反熔絲或Flash型FPGA，以避免空間中的各種高強(qiáng)度輻射以及單粒子效應(yīng)帶來的影響，但反熔絲型FPGA僅能一次燒寫，對(duì)調(diào)試測(cè)試等工作要求過高，且不能實(shí)現(xiàn)功能重構(gòu)與系統(tǒng)擴(kuò)展。Flash型與反熔絲型FPGA的邏輯資源受限，高速接口較少，市面可獲得的型號(hào)無法滿足本系統(tǒng)的要求。綜合考慮，本系統(tǒng)選用型號(hào)為Virtex-5QV-XQR5VFX130的FPGA，其性能滿足本系統(tǒng)要求。

根據(jù)前文所述，本系統(tǒng)將數(shù)據(jù)區(qū)劃分為關(guān)鍵數(shù)據(jù)區(qū)與普通數(shù)據(jù)區(qū)。關(guān)鍵數(shù)據(jù)區(qū)Flash芯片采用3D-PLUS公司的具有抗輻照加固的3DFN128G08VS8308。普通數(shù)據(jù)區(qū)容量較大，若全部采用宇航級(jí)Flash芯片經(jīng)濟(jì)成本難以承受，且宇航級(jí)Flash芯片體積較大，無法將大量芯片在一塊6U模塊上布局，而將商用貨架器件升篩加固在經(jīng)濟(jì)性和實(shí)現(xiàn)性上都是一條可行路線，因此采用Micron公司的MT29F512G08CUCABH3。選用3D-PLUS公司的非揮發(fā)性的磁性隨機(jī)存儲(chǔ)器(Magnetic Random Access Memory，MRAM)芯片3DMR4M08VS4428存儲(chǔ)文件信息表與壞塊信息等小文件。

3.2 數(shù)據(jù)存儲(chǔ)流水線優(yōu)化設(shè)計(jì)

就本系統(tǒng)而言，存儲(chǔ)速度不低于16 Gbit/s，通過雙Plane與并行處理后單芯片寫入數(shù)據(jù)率約為368 Mbit/s，則至少需要42片F(xiàn)lash芯片并行才可達(dá)到要求。但是，42片F(xiàn)lash的容量為21.5 Tbit，遠(yuǎn)超單模塊8 Tbit的需求，這就增加了設(shè)計(jì)成本，不利于星上集成。因此，需在以上操作下增加流水線優(yōu)化技術(shù)，以提高存儲(chǔ)速率。

根據(jù)Flash芯片的操作特點(diǎn)，充分利用芯片內(nèi)部編程時(shí)間進(jìn)行流水設(shè)計(jì)，可以大幅度提高數(shù)據(jù)的寫入速度，即對(duì)一組Flash 芯片編程，不能進(jìn)行其他操作時(shí)，可對(duì)另外一組芯片進(jìn)行操作，原理如圖2所示。通過查閱器件參數(shù)手冊(cè)，每片F(xiàn)lash芯片包含4個(gè)Target，流水級(jí)數(shù)最高可達(dá)8級(jí)，當(dāng)采用雙Plane 操作時(shí)，本系統(tǒng)寫入速度為(并聯(lián)芯片數(shù)流水線級(jí)數(shù)頁(yè)大小頁(yè)個(gè)數(shù))/(加載時(shí)間+寫入編程時(shí)間)=(24×4×8 640×2)Byte/(90+1 300)μs=19 Gbit/s。通過以上分析，本系統(tǒng)單塊存儲(chǔ)模塊最終采用24片Nand型Flash芯片，容量為12 Tbit，理論最高寫入速度達(dá)到19 Gbit/s，3塊主份存儲(chǔ)模塊容量達(dá)36 Tbit。由此可見，本系統(tǒng)采用4級(jí)流水操作控制Flash陣列時(shí)，相對(duì)于僅采用并行操作技術(shù)，節(jié)約了43%的芯片數(shù)量，且大大提高了寫入速度，完全滿足本系統(tǒng)的技術(shù)指標(biāo)。

3.3 數(shù)據(jù)存儲(chǔ)高速傳輸設(shè)計(jì)

接口模塊從外部SRIO接口輸入的數(shù)據(jù)經(jīng)轉(zhuǎn)換后，通過GTP接口送入存儲(chǔ)模塊的GTP接口中。目前數(shù)據(jù)記錄系統(tǒng)中常用的數(shù)據(jù)傳輸協(xié)議為SRIO或PCIE，其打包效率分別為92%～94%與82%(有效數(shù)據(jù)256 Byte下)，在待傳輸數(shù)據(jù)較大時(shí)，兩種標(biāo)準(zhǔn)協(xié)議將帶來較大的延遲與傳輸效率降低，使星上記錄系統(tǒng)可有效記錄時(shí)間降低。因此，需設(shè)計(jì)一種低開銷、可將任意傳感器輸入數(shù)據(jù)打包的自定義幀格式，以提升系統(tǒng)效率。

為保證來自天線孔徑、圖像傳感器等數(shù)據(jù)源的數(shù)據(jù)能在統(tǒng)一格式下進(jìn)行記錄，對(duì)數(shù)據(jù)接口的格式編寫了自定義協(xié)議。自定義協(xié)議形式如圖3所示，由幀與包為單位組成。經(jīng)計(jì)算，自定義協(xié)議的包效率(即數(shù)據(jù)位與包長(zhǎng)之比)=504 Byte/521 Byte≈96.7%。

圖3 自定義數(shù)據(jù)幀格式

3.4 抗單粒子效應(yīng)與備份切換設(shè)計(jì)

3.4.1 關(guān)鍵數(shù)據(jù)TMR與電路級(jí)抗單粒子設(shè)計(jì)

對(duì)于關(guān)鍵數(shù)據(jù)，為防止輻照等原因?qū)?shù)據(jù)造成損壞而影響系統(tǒng)運(yùn)行或任務(wù)執(zhí)行，采用硬件TMR。在3個(gè)Nand Flash存儲(chǔ)模塊中劃分出同樣大小的空間作為可靠存儲(chǔ)區(qū)，在文件寫的過程中，主控模塊同時(shí)對(duì)3個(gè)存儲(chǔ)模塊進(jìn)行寫操作，保存3份以增加可靠性；在回放過程中，主控模塊對(duì)3個(gè)存儲(chǔ)模塊可靠存儲(chǔ)空間的數(shù)據(jù)進(jìn)行判決輸出，根據(jù)判決結(jié)果，將出錯(cuò)的信息經(jīng)過糾正后重新寫回。系統(tǒng)采用EDAC故障檢測(cè)點(diǎn)+ECC糾錯(cuò)編碼和動(dòng)態(tài)周期刷新3種手段綜合應(yīng)對(duì)單粒子翻轉(zhuǎn)效應(yīng)，并將3種方法對(duì)應(yīng)的FPGA電路進(jìn)行模塊化設(shè)計(jì)，形成標(biāo)準(zhǔn)單元，如圖4所示。其工作原理如下：

(1)主控模塊通過SelectMAP接口對(duì)各模塊FPGA進(jìn)行配置信息回讀檢測(cè)或周期重刷新；

(2)MCU對(duì)關(guān)鍵器件的電流、電壓信息進(jìn)行檢測(cè)，若發(fā)現(xiàn)電流異常則對(duì)相應(yīng)模塊復(fù)位，若異常情況嚴(yán)重則斷電，以防閂鎖，并進(jìn)行自恢復(fù)控制；

(3)FPGA內(nèi)部設(shè)置軟件EDAC故障檢測(cè)點(diǎn)、ECC糾錯(cuò)編碼，實(shí)時(shí)監(jiān)測(cè)FPGA內(nèi)部運(yùn)行狀態(tài)，發(fā)現(xiàn)嚴(yán)重錯(cuò)誤則對(duì)系統(tǒng)進(jìn)行復(fù)位操作。

圖4 抗單粒子翻轉(zhuǎn)關(guān)鍵電路結(jié)構(gòu)圖

3.4.2 備份切換設(shè)計(jì)

本記錄系統(tǒng)可靠性增強(qiáng)的冗余技術(shù)主要指在空間環(huán)境下記錄系統(tǒng)模塊內(nèi)的器件發(fā)生不可恢復(fù)的故障(即功能失效)時(shí)，則進(jìn)行相應(yīng)的故障恢復(fù)策略?？梢钥偨Y(jié)為兩類：模塊發(fā)生部件級(jí)故障時(shí)，則通過模塊內(nèi)的冗余措施(如接口冗余)或降額保證正常工作；模塊整體失效時(shí)，將導(dǎo)致記錄系統(tǒng)不能工作，則切換到備份模塊工作。

以高速接口模塊為例，記錄系統(tǒng)工作時(shí)，高速接口模塊內(nèi)部控制模塊實(shí)時(shí)檢測(cè)故障，檢測(cè)光纖接口、DDR2、GTP串行總線、RapidIO接口通信是否正常，且電源供電也能夠?qū)崟r(shí)檢測(cè)。若發(fā)生故障，則通過CAN總線將故障上報(bào)給高速接口模塊。高速接口模塊發(fā)送命令，關(guān)斷接口板電源，啟動(dòng)備份高速接口模塊的供電電源。然后在存儲(chǔ)主控模塊的控制下，對(duì)所有工作的板卡進(jìn)行重新復(fù)位。切換流程如圖 5所示。

圖5 故障切換流程示意圖

區(qū)別于其他模塊的切換，主控模塊的切換會(huì)導(dǎo)致存儲(chǔ)數(shù)據(jù)的目錄信息丟失，從而導(dǎo)致之前存儲(chǔ)的內(nèi)容全部丟失。因此，主控模塊及其備份板的目錄信息需要及時(shí)進(jìn)行同步更新，保證切換后目錄信息仍然存在。所有存儲(chǔ)任務(wù)的信息均存儲(chǔ)于主控模塊的MRAM存儲(chǔ)器中，為保證主控模塊與備份主控板中存儲(chǔ)的目錄信息同步，采用實(shí)時(shí)同步刷新的方式。當(dāng)主控模塊工作時(shí)，備份的主控模塊CPU和MRAM也處于工作狀態(tài)。當(dāng)存儲(chǔ)任務(wù)結(jié)束后，將任務(wù)信息存儲(chǔ)于主控模塊，同時(shí)通過CAN總線將信息傳輸?shù)絺浞葜骺啬K，更新備份主控模塊的MRAM，從而保證主控模塊工作切換時(shí)存儲(chǔ)任務(wù)的目錄信息不會(huì)丟失。

4 系統(tǒng)驗(yàn)證與分析

為驗(yàn)證本系統(tǒng)的基本性能，建立了測(cè)試平臺(tái)，其實(shí)物圖如圖6所示。對(duì)記錄系統(tǒng)進(jìn)行了記錄與回放的傳輸誤碼率測(cè)試；對(duì)關(guān)鍵數(shù)據(jù)進(jìn)行了TMR備份存儲(chǔ)與故障注入動(dòng)態(tài)重構(gòu)的測(cè)試。測(cè)試條件如下：PC機(jī)操作系統(tǒng)為Windows 7 64 bit，CPU為Intel(R) Core(TM) I7-3770K@3.4 GHz，內(nèi)存為32 GB，Vivado HLx版本為2015.4，示波器型號(hào)為L(zhǎng)ecroy(R) SDA 813Zi。被測(cè)系統(tǒng)由存儲(chǔ)設(shè)備、遠(yuǎn)控測(cè)試軟件組成，遠(yuǎn)控測(cè)試軟件部署于測(cè)試機(jī)(PC機(jī)，含RapidIO仿真節(jié)點(diǎn)卡，通過PCI-E接口與CPU進(jìn)行通信)，通過千兆網(wǎng)與RapidIO交換設(shè)備分別與固態(tài)記錄設(shè)備互連。測(cè)試系統(tǒng)組成如圖7所示。

圖6 星載綜合數(shù)據(jù)固態(tài)記錄系統(tǒng)原理樣機(jī)實(shí)物

圖7 測(cè)試系統(tǒng)組成框圖示結(jié)構(gòu)圖

通過修改配置內(nèi)容的方式來模擬單粒子翻轉(zhuǎn)效應(yīng)，結(jié)果如圖8所示。圖8中示波器通道1觀測(cè)的是TMR中存儲(chǔ)模塊1的備份數(shù)據(jù)輸出，通道2觀測(cè)的是TMR中存儲(chǔ)模塊2的備份數(shù)據(jù)輸出，通道3觀測(cè)的是TMR中存儲(chǔ)模塊3的備份數(shù)據(jù)輸出，通道4觀測(cè)的是經(jīng)過TMR判決與動(dòng)態(tài)重構(gòu)后判決器的數(shù)據(jù)輸出。圖8(a)內(nèi)為系統(tǒng)正常運(yùn)行時(shí)輸出的波形，圖8(b)為關(guān)鍵數(shù)據(jù)區(qū)發(fā)生錯(cuò)誤時(shí)(通道1輸出異常)，經(jīng)過TMR與故障重構(gòu)后的數(shù)據(jù)輸出波形。對(duì)比圖8(a)與(b)中通道4的波形可以看出，當(dāng)單個(gè)冗余設(shè)計(jì)故障時(shí)，啟動(dòng)配置控制器對(duì)數(shù)據(jù)錯(cuò)誤對(duì)應(yīng)的動(dòng)態(tài)區(qū)域進(jìn)行重配置，最終輸出正確的結(jié)果。

圖8 使用配置回讀動(dòng)態(tài)重構(gòu)與TMR的測(cè)試結(jié)果

通過PC機(jī)以太網(wǎng)接口向綜合數(shù)據(jù)固態(tài)記錄系統(tǒng)發(fā)送數(shù)據(jù)記錄指令，將Nand Flash存儲(chǔ)模塊寫滿，隨后斷電后再上電，將數(shù)據(jù)讀出，以驗(yàn)證記錄與回放數(shù)據(jù)的正確性、速度與誤碼率。經(jīng)過48 h拷機(jī)測(cè)試，結(jié)果表明，記錄與同時(shí)回放速度分別達(dá)到16 Gbit/s與8 Gbit/s，具體性能如表1所示。由圖9的眼圖與誤碼率浴盆曲線可以看出，記錄系統(tǒng)自定義協(xié)議高速傳輸誤碼率為10-12。由表2可知，傳輸速度可穩(wěn)定在約16 Gbit/s；包開銷較低，包效率約為96.7%，性能超過目前常用的RapidIO(92%～94%)總線以及PCIE(82%)總線的包效率，達(dá)到系統(tǒng)使用要求。

(a)眼圖

(b)浴盆曲線

數(shù)據(jù)量/Gbit記錄時(shí)間/ms記錄速率/(Gbit·s-1)回放時(shí)間/ms回放速率/(Gbit·s-1)0．531．415．9262．87．961．062．315．97125．37．982．0125．116．00249．78．013．0187．416．01374．58．01

5 結(jié) 論

本文重點(diǎn)針對(duì)衛(wèi)星存儲(chǔ)設(shè)備的整體設(shè)計(jì)，改變了傳統(tǒng)星載存儲(chǔ)系統(tǒng)以各個(gè)獨(dú)立模塊為基本單元構(gòu)建系統(tǒng)設(shè)計(jì)的方法與思路，采用多元數(shù)據(jù)綜合化存儲(chǔ)體系，設(shè)計(jì)了一種星載綜合化海量數(shù)據(jù)存儲(chǔ)系統(tǒng)，存儲(chǔ)容量達(dá)到36 Tbit，記錄與同時(shí)回放速度分別達(dá)到16 Gbit/s與8 Gbit/s，傳輸誤碼率為10-12。本系統(tǒng)具有如下特點(diǎn)：

(1)引入4級(jí)流水線方式控制Flash陣列，有效提升了存儲(chǔ)速度，節(jié)省了芯片使用數(shù)量；

(2)在統(tǒng)一的自定義協(xié)議控制下，可將圖像傳感器、微波孔徑與載荷數(shù)據(jù)源進(jìn)行傳輸與存儲(chǔ)，提高了數(shù)據(jù)傳輸效率與標(biāo)準(zhǔn)化程度；

(3)采用了三模冗余、配置回讀與部分重構(gòu)和EDAC數(shù)據(jù)糾錯(cuò)等容錯(cuò)機(jī)制，通過綜合化設(shè)計(jì)的主控模塊對(duì)系統(tǒng)內(nèi)各模塊實(shí)現(xiàn)健康管理與故障恢復(fù)功能，減緩空間輻射環(huán)境對(duì)存儲(chǔ)數(shù)據(jù)的影響。

與Sentinel-2衛(wèi)星上存儲(chǔ)系統(tǒng)MMFU相比，存儲(chǔ)器容量提升了5.33倍，記錄與回放速度分別提升了96.3%與14.3倍,包效率與傳統(tǒng)的SRIO及PCIE協(xié)議相比分別提升了4.7%與14.7%，可以作為通用存儲(chǔ)系統(tǒng)以滿足航天應(yīng)用需求。

[1] 宋琪，李?yuàn)?，朱巖. 針對(duì)Flash存儲(chǔ)特性的航天器大容量固態(tài)存儲(chǔ)技術(shù)[J].電子設(shè)計(jì)工程,2015,23(4):169-175. SONG Qi,LI Shan,ZHU Yan. Key technologies of Flash-based solid state recorder for aerospace applications[J].Electronic Design Engineering,2015,23(4):169-175.(in Chinese)

[2] 張峰. 基于Nand flash陣列的高速存儲(chǔ)技術(shù)[J].電訊技術(shù)，2013,53(1):68-71. ZHANG Feng. High-speed large-capacity recording based on Nand flash arrays[J].Telecommunication Engineering,2013,53(1):68-71.(in Chinese)

[3] 張峰，吳欽章，任國(guó)強(qiáng). 基于SATA的高速CCD存儲(chǔ)方案設(shè)計(jì)[J].半導(dǎo)體光電,2010，31(5):782-786. ZHANG Feng,WU Qinzhang,REN Guoqiang.A high-speed method of CCD image data storage system based on SATA[J].Semiconductor Optoelectronics,2010,31(5):45-48.(in Chinese)

[4] 王燁，張峰，李燕斌. SATA高速存儲(chǔ)的FPGA實(shí)現(xiàn)[J].電訊技術(shù)，2012,52(11):1801-1804. WANG Ye,ZHANG Feng,LI Yanbin. A high-speed recording system of SATA based on FPGA[J].Telecommunication Engineering,2012,52(11):1801-1804.(in Chinese)

[5] 宮婧,王文君.大數(shù)據(jù)存儲(chǔ)中的容錯(cuò)關(guān)鍵技術(shù)綜述[J].南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版)，2014，34(4):20-25. GONG Jing,WANG Wenjun. Fault tolerance technology for big data storage[J].Journal of Nanjing University of Posts and Telecommunications(Natural Science Edition),2014,34(4):20-25.(in Chinese)

[6] JIANG G Z,HAN B,GAO Y B,et al.Review of 40-year earth observation with Landsat series and prospects of LDCM[J].Journal of Remote Sensing,2013,17(5): 1033-1048.

[7] ARVIDSON T,GOWARD S,GASCH J,et al.Landsat-7 long term acquisition plan: development and validation[J].Photogrammetric Engineering and Remote Sensing,2006,72(10): 1137-1146.

[8] SASADA T,ICHIKAWA S,SHIRAKURA M. Mass data recorder with ultra-high-density stacked memory for spacecraft[C]//Proceedings of 2005 IEEE Aerospace Conference.Big Sky,MT,USA:IEEE,2005:1-8.

[9] SHIMADA M. JAXA earth observation programs digest[J].IEEE Geoscience and Remote Sensing Magazine,2014,2(2):47-52.

[10] DURNA M,URHAN H,TURHAN O,et al.A new generation on-board computer and solid state data recorder suitable for spacewire platforms[C]//Proceedings of 2007 3rd International Conference on Recent Advances in Space Technologies.Istanbul,Turkey:IEEE,2007:429-432.

[11] STAEHLE M,CASSEL M,LONSDORFER U,et al.Sentinel-2 MMFU: the first European mass memory system based on NAND-Flash storage technology[C]//Proceedings of 2011 Data System in Aerospace(DASIA 2011).Albuguerque,USA:ASTRIUM,2011：90-94.

[12] 陳斌，沈衛(wèi)華，朱巖，等. 嫦娥二號(hào)衛(wèi)星大容量存儲(chǔ)器設(shè)計(jì)[J].航天器工程,2011,20(5):99-104. CHEN Bin,SHEN Weihua,ZHU Yan,et al.Design of solid state recorder for Chang'e-2 orbiter[J].Spacecraft Engineering,2011,20(5):99-104.(in Chinese)

[13] BLANSETT E L,KALB J L,THAYER G E,et al.Sandia-Xilinx Virtex FPGA SEU experiment on the international space station[J].Accident;analysis and prevention,2010,44(1):97-103.

A Comprehensive Data Solid State Recorder Based onNand Flash Memory for Spacecrafts

YANG Haifeng,CHAI Lin,HU Jianping

(Southwest China Institute of Electronic Technology，Chengdu 610036,China)

In order to realize the high-speed,large capacity,high reliability data recording system under the condition of the limited resources of satellite platform,the FPGA+CPU is chosen as the core control unit,and the system uses the Nand Flash as solid state memory chips. To address the problem that the traditional dual plane operation and parallel expansion have limited storage speed and more chips,the 4-stage pipeline is introduced to control the Flash array. To solve the low data transmission efficiency of standard transmission protocol,a user-defined high-speed serial transmission protocol is designed. To reduce the influence of the space environment on the data storage,such tolorance mechanisms as triple modular redundancy(TMR),configuration read back and partial reconstruction are introduced. Test of a prototype demonstrates that the storage capacity is up to 36 Tbit,recording and playback speeds reach 16 Gbit/s and 8 Gbit/s,respectively,and the error rate is 10-12,the transmission packet efficiency is 96.7%. This comprehensive data solid state recorder can be adopted as a universal storage system to meet the demand for aerospace applications.

satellite payload;solid state recording system;Nand Flash memory;field-programmable gate array(FPGA);triple modular redundancy(TMR)

10.3969/j.issn.1001-893x.2017.06.017

楊海峰，柴霖，胡建平.基于Nand Flash的星載綜合數(shù)據(jù)固態(tài)記錄系統(tǒng)[J].電訊技術(shù)，2017,57(6):716-723.[YANG Haifeng,CHAI Lin,HU Jianping.A comprehensive data solid state recorder based on Nand Flash memory for spacecrafts[J].Telecommunication Engineering,2017,57(6):716-723.]

2016-11-22；

2017-04-06 Received date:2016-11-22；Revised date：2017-04-06

中國(guó)西南電子技術(shù)研究所技術(shù)創(chuàng)新基金項(xiàng)目(H15017)

TN802

A

1001-893X(2017)06-0716-08

楊海峰(1985—)，男，四川成都人，2008年于西南交通大學(xué)獲通信工程專業(yè)工學(xué)學(xué)士學(xué)位，2014年于中國(guó)科學(xué)院光電技術(shù)研究所獲工學(xué)博士學(xué)位，現(xiàn)為工程師，主要研究方向?yàn)楹教炱饔行лd荷總體技術(shù)、航天綜合化電子系統(tǒng)、大規(guī)模相控陣、微波光子系統(tǒng)及測(cè)控通信系統(tǒng)總體技術(shù)等。

Email:haifeng_ioe@163.com

*通信作者：haifeng_ioe@163.com Corresponding author：haifeng_ioe@163.com，柴 霖，胡建平