黃　力，吳頌濤，陳惠梅，徐力恒

(1.廣州珠江數(shù)碼集團(tuán)有限公司，廣東　廣州　510010；2.廣東廣播電視臺(tái)，廣東　廣州　510066)

?

一種革命性的存儲(chǔ)技術(shù)

黃力1，吳頌濤1，陳惠梅2，徐力恒1

(1.廣州珠江數(shù)碼集團(tuán)有限公司，廣東廣州510010；2.廣東廣播電視臺(tái)，廣東廣州510066)

摘要:PCIe固態(tài)存儲(chǔ)是當(dāng)今存儲(chǔ)系統(tǒng)的新寵兒，相比其他接口的固態(tài)硬盤(pán)具有更高級(jí)的連接接口和成熟的內(nèi)存管理技術(shù)，其采用可靠的協(xié)議體系架構(gòu)，支持設(shè)備層面的協(xié)議錯(cuò)誤檢測(cè)、校正、報(bào)告和熱插拔/熱替換、可擴(kuò)展的帶寬/頻率、先進(jìn)的功耗管理、地址映射系統(tǒng)、垃圾回收和耐久性管理和虛擬通道的功能，實(shí)現(xiàn)了高性能的數(shù)據(jù)服務(wù)。相比其他接口固態(tài)硬盤(pán)，在數(shù)據(jù)帶寬、延遲、可擴(kuò)展和可靠性、總體擁有成本方面都有顯著優(yōu)勢(shì)。從存儲(chǔ)和使用模式的發(fā)展描述了影響存儲(chǔ)使用性能的關(guān)鍵因數(shù)，并介紹了PCIe固態(tài)存儲(chǔ)技術(shù)和使用場(chǎng)景，提高存儲(chǔ)系統(tǒng)的使用效能。

關(guān)鍵詞:固態(tài)存儲(chǔ)；機(jī)械硬盤(pán)；RAID

時(shí)代的發(fā)展科技的進(jìn)步造就了今天多姿多彩的社會(huì)文化，而人們對(duì)信息的保留從書(shū)本到電器元件存儲(chǔ)發(fā)生了巨大的變化。自二進(jìn)制為計(jì)算機(jī)的基本工作原理后，存儲(chǔ)技術(shù)經(jīng)歷了物理存儲(chǔ)到電能存儲(chǔ)。

紙帶穿孔式存儲(chǔ)，早期的計(jì)算機(jī)是通過(guò)一卷卷的紙帶進(jìn)行保存信息，該工作的原理起源于織布機(jī)，是紙帶像織布一樣在不同的間隔上穿孔，形成0和1的信號(hào)編織成計(jì)算機(jī)的動(dòng)作指令，形成了磁帶記錄、光介質(zhì)存儲(chǔ)和電能式存儲(chǔ)等。

時(shí)代的發(fā)展在云計(jì)算的大潮下，存儲(chǔ)作用越來(lái)越重要，而作為存儲(chǔ)陣列中的單個(gè)存儲(chǔ)模塊硬盤(pán)來(lái)說(shuō)，其性能水平、穩(wěn)定性和I/O和組建陣列的靈活擴(kuò)建方面也變得尤為重要。隨著固態(tài)硬盤(pán)在市場(chǎng)上的涌入，傳統(tǒng)機(jī)械硬盤(pán)在組建陣列帶來(lái)的性能提升方面越來(lái)越顯得力不從心。PCIe固態(tài)硬盤(pán)相比其他接口的固態(tài)盤(pán)，穩(wěn)定性和I/O、組建陣列技術(shù)，更為高級(jí)連接的接口和成熟的內(nèi)存管理技術(shù)，漸漸成為今后存儲(chǔ)技術(shù)的主流。

1存儲(chǔ)的使用

目前使用存儲(chǔ)分別是DAS、SAN和NAS三種使用架構(gòu)[1]。DAS(DirectAttachedStorage)存儲(chǔ)是直接把存儲(chǔ)系統(tǒng)連到應(yīng)用的服務(wù)器中，通常DAS直連式存儲(chǔ)與服務(wù)器主機(jī)之間的連接通道通常采用SCSI或FC連接，DAS存儲(chǔ)工作時(shí)更多地依賴(lài)服務(wù)器主機(jī)操作系統(tǒng)進(jìn)行數(shù)據(jù)的調(diào)度和存儲(chǔ)維護(hù)管理。DAS的優(yōu)點(diǎn)是結(jié)構(gòu)簡(jiǎn)單，但該結(jié)構(gòu)難以存儲(chǔ)陣列容量的擴(kuò)展，適合單機(jī)或由一臺(tái)服務(wù)器擴(kuò)展為多臺(tái)服務(wù)器組成的群集工作。NAS(NetworkAttachedStorage)存儲(chǔ)是是基于標(biāo)準(zhǔn)的TCP/IP網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，連接到網(wǎng)絡(luò)計(jì)算機(jī)上。NAS是文件級(jí)的存儲(chǔ)方法，最大的優(yōu)點(diǎn)是在整個(gè)網(wǎng)絡(luò)中的設(shè)備通過(guò)分配的IP地址管理，訪(fǎng)問(wèn)的客戶(hù)機(jī)器能直接對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行訪(fǎng)問(wèn)，中間不需要設(shè)備相連。SAN(StorageAreaNetwork)存儲(chǔ)區(qū)域網(wǎng)絡(luò)，是一個(gè)集中式管理的高速存儲(chǔ)網(wǎng)絡(luò)，通過(guò)光纖通道交換機(jī)連接存儲(chǔ)陣列和服務(wù)器主機(jī)，最后成為一個(gè)專(zhuān)用的存儲(chǔ)網(wǎng)絡(luò)。SAN提供了一種與現(xiàn)有LAN連接的簡(jiǎn)易方法，并且通過(guò)同一物理通道支持廣泛使用的SCSI和IP協(xié)議，但這種LAN的連接與TCP/IP協(xié)議的交換機(jī)不能兼容是專(zhuān)用的一個(gè)網(wǎng)絡(luò)。圖1示出了在讀使用架構(gòu)。

上述的三種架構(gòu)在國(guó)內(nèi)電視臺(tái)和網(wǎng)絡(luò)公司都有廣泛的應(yīng)用，DAS架構(gòu)適合前端對(duì)用戶(hù)端VOD視頻推流，SAN和NAS架構(gòu)適合電視臺(tái)內(nèi)部節(jié)目制作和各部門(mén)之間的節(jié)目互傳。

歸納三大存儲(chǔ)架構(gòu)的影響系統(tǒng)性能的分別是網(wǎng)絡(luò)輸出帶寬、控制器總線(xiàn)、傳輸總線(xiàn)和存儲(chǔ)磁盤(pán)IO。按目前技術(shù)前三項(xiàng)的節(jié)點(diǎn)都能通過(guò)更換提高性能，但存儲(chǔ)可以提升的空間是有限的，主要的原因在HDD(HardDiskDrive)硬盤(pán)的讀寫(xiě)IOPS(Input/OutputOperationsPerSecond，每秒進(jìn)行讀寫(xiě)(I/O)操作的次數(shù))，傳輸帶寬，以及延時(shí)是衡量存儲(chǔ)器訪(fǎng)問(wèn)性能的重要指標(biāo)[2]，由于機(jī)械旋轉(zhuǎn)的工作方式是導(dǎo)致性能IOPS不可能再提高的關(guān)鍵原因，所以目前的機(jī)械硬盤(pán)已經(jīng)是到達(dá)了技術(shù)的頂峰。

近年來(lái)一種非機(jī)械式SSD(SolidStateDrives)固態(tài)硬盤(pán)的出現(xiàn)為突破了IOPS性能瓶頸，隨著SSD技術(shù)的成熟，SSD開(kāi)始大規(guī)模地被存儲(chǔ)中心所采用。為了兼容已有的存儲(chǔ)架構(gòu)，很多SSD采用了與HDD相同的接口，如SAS(SerialAttachedSCSI)或者FC(FiberChannel)，并在物理形式上與HDD相似，如2.5in或3.5in。采用傳統(tǒng)硬盤(pán)接口的SSD直接在現(xiàn)有的系統(tǒng)中取代HDD可以在一定的程度上緩解存儲(chǔ)系統(tǒng)的瓶頸，改善系統(tǒng)效能。普通的SSD采用模擬HDD的方式在兼容性上有一定的優(yōu)勢(shì)，但在性能上有非常大的限制：

1)復(fù)雜的數(shù)據(jù)鏈路導(dǎo)致高IO延遲；

2)SSD性能受嵌入式CPU限制；

3)冗余的IO調(diào)度。

在實(shí)際的使用中SSD理想的狀態(tài)也是500Mbit/s的傳輸帶寬，圖2和圖3示出了固態(tài)盤(pán)使用的瓶頸。

尤其是在應(yīng)用了存儲(chǔ)區(qū)域網(wǎng)(SAN)后，由于在訪(fǎng)問(wèn)存儲(chǔ)介質(zhì)中所需經(jīng)過(guò)的多道協(xié)議和場(chǎng)景轉(zhuǎn)換，導(dǎo)致延遲損失更加嚴(yán)重，并不能在最大程度上發(fā)揮閃存的性能。

2PCIe固態(tài)存儲(chǔ)

PCIe固態(tài)存儲(chǔ)卡，如圖4描述了PCIe固態(tài)存儲(chǔ)卡系統(tǒng)架構(gòu)[3]，PCIe固態(tài)存儲(chǔ)卡采用了PCIe總線(xiàn)接入，通過(guò)卡上的主控制器直接訪(fǎng)問(wèn)Flash進(jìn)行讀寫(xiě)操作，這樣的設(shè)計(jì)有兩大亮點(diǎn)。第一，充分利用主機(jī)CPU強(qiáng)大的處理能力對(duì)固態(tài)存儲(chǔ)卡的Flash直接讀寫(xiě)。第二，繞開(kāi)了傳統(tǒng)的SCSISATA/SAS存儲(chǔ)協(xié)議對(duì)SSD的協(xié)議轉(zhuǎn)換及RAID控制器，網(wǎng)絡(luò)協(xié)議轉(zhuǎn)換等系統(tǒng)開(kāi)銷(xiāo)，數(shù)據(jù)的存儲(chǔ)讀寫(xiě)延遲得到大大的削減。使得PCIe固態(tài)存儲(chǔ)卡能充分發(fā)揮主機(jī)的CPU性能，F(xiàn)lash的快速讀寫(xiě)性能可以得到最大程度的利用，并最終提升應(yīng)用軟件對(duì)獲得數(shù)據(jù)的響應(yīng)速度。該設(shè)計(jì)能使得PCIeSSD卡讀延遲在Flash固有的延時(shí)基礎(chǔ)上只增加15μs，寫(xiě)延遲更低至10μs以?xún)?nèi)的讀寫(xiě)速度，這樣的性能嵌入式系統(tǒng)的SSD是無(wú)法做到。

PCIe固態(tài)存儲(chǔ)充分利用閃存的優(yōu)點(diǎn)特性并彌補(bǔ)其不足，對(duì)于存儲(chǔ)在閃存中的數(shù)據(jù)采用了多種安全設(shè)計(jì)方案確保數(shù)據(jù)的安全性和持久可恢復(fù)性。除了普遍使用的企業(yè)級(jí)糾錯(cuò)，數(shù)據(jù)隨機(jī)化，動(dòng)態(tài)磨損均衡等措施，還使用了FlashRAID，端到端校驗(yàn)和和完善的突發(fā)斷電保護(hù)機(jī)制以及過(guò)熱保護(hù)機(jī)制，提供了高容錯(cuò)數(shù)據(jù)恢復(fù)機(jī)制和嚴(yán)格的數(shù)據(jù)完整正確性校驗(yàn)，對(duì)比其他的存儲(chǔ)具備以下優(yōu)點(diǎn)：

1)卓越的IO性能：PCIe閃存卡每秒鐘近50萬(wàn)次隨機(jī)讀寫(xiě)操作。讀寫(xiě)延遲為微秒級(jí)。而傳統(tǒng)中高端存儲(chǔ)陣列每秒十萬(wàn)次隨機(jī)讀寫(xiě)操作。讀寫(xiě)延遲為毫秒級(jí)，因此在關(guān)鍵的系統(tǒng)應(yīng)用中使用PCIe閃存卡能大幅度減低系統(tǒng)響應(yīng)時(shí)間。

2)高可靠性設(shè)計(jì)：40bit/1kbyte的糾錯(cuò)(ECC)性能充分保證存儲(chǔ)在閃存上數(shù)據(jù)的完整性。動(dòng)態(tài)RAID技術(shù)，以確保在閃存的物理塊甚至于整個(gè)NAND芯片失效的情況下，數(shù)據(jù)仍然能夠安全讀出和恢復(fù)。

3)突發(fā)斷電保護(hù)：存儲(chǔ)卡利用內(nèi)置的掉電保護(hù)機(jī)制將用戶(hù)數(shù)據(jù)安全的寫(xiě)入閃存中，確保用戶(hù)數(shù)據(jù)不被丟失。通常掉電回復(fù)時(shí)間可以控制在2min內(nèi)。

4)超強(qiáng)耐用性：設(shè)計(jì)中利用了自適應(yīng)信號(hào)處理技術(shù)及高效能的閃存管理算法，數(shù)據(jù)總寫(xiě)入量高達(dá)PetaByte級(jí)別。

5)簡(jiǎn)單管理維護(hù)：優(yōu)異性能集中在一塊半長(zhǎng)半高的PCIe卡。與傳統(tǒng)的中高端磁盤(pán)陣列相對(duì)，不用占用專(zhuān)門(mén)服務(wù)器機(jī)架，閃存卡直接插入服務(wù)器中任何一個(gè)空的PCIe插槽即可，也無(wú)需額外的復(fù)雜配置管理，支持Windows和Linux現(xiàn)有的應(yīng)用程序和體系架構(gòu)無(wú)需任何改動(dòng)即可直接使用PCIe存儲(chǔ)卡，輕松獲得上十倍至百倍的性能提升。

6)超低功耗：PCIe存儲(chǔ)卡工作功耗穩(wěn)定約在15W，最大功耗不超過(guò)25W。

固態(tài)存儲(chǔ)和存儲(chǔ)陣列的性能對(duì)比見(jiàn)表1。

PCIe固態(tài)存儲(chǔ)的應(yīng)用場(chǎng)景非常靈活，大致可以分為以下四大模式：

1)主存儲(chǔ)模式，PCIe存儲(chǔ)卡采用的是標(biāo)準(zhǔn)設(shè)備接口，提供高達(dá)50萬(wàn)IOPS每秒(4kbyte)。相對(duì)于傳統(tǒng)的HDD/SSD陣列有十倍至百倍的提高。而且數(shù)據(jù)延遲由數(shù)十毫秒至數(shù)百毫秒量級(jí)降至微秒量級(jí)。在容量方面，PCIe卡提供高達(dá)3.2Tbyte數(shù)量級(jí)的存儲(chǔ)容量，還可以通過(guò)軟件RAID將多塊卡綁定以提供更高的容量和吞吐性能。該模式最適合繁復(fù)地訪(fǎng)問(wèn)本地文件并提供高的IOPS業(yè)務(wù)，如視頻播放、視頻的點(diǎn)播和視頻編輯的業(yè)務(wù)。

2)數(shù)據(jù)分區(qū)模式，如數(shù)據(jù)庫(kù)的規(guī)模較大，一種更經(jīng)濟(jì)的使用方法是將常用的數(shù)據(jù)如TempDB，索引，日志及常用表等放在PCIe存儲(chǔ)卡上以加速訪(fǎng)問(wèn)，對(duì)一些不常訪(fǎng)問(wèn)的數(shù)據(jù)仍放在傳統(tǒng)陣列上以滿(mǎn)足容量需求。

3)緩存模式，PCIe存儲(chǔ)卡可以作為緩存與后端陣列組成集成的混合存儲(chǔ)方案。采用FlashCache軟件，常用熱點(diǎn)數(shù)據(jù)被存儲(chǔ)在PCIeSSD存儲(chǔ)卡中，從而可以大幅度增加數(shù)據(jù)訪(fǎng)問(wèn)速度，降低后端存儲(chǔ)的負(fù)荷。

4)分層模式，如果應(yīng)用的冷熱數(shù)據(jù)轉(zhuǎn)換速度較慢，可以使用較簡(jiǎn)單的自動(dòng)分層技術(shù)實(shí)現(xiàn)混合存儲(chǔ)，以較低的代價(jià)達(dá)到緩存模式的便利程度。

表1存儲(chǔ)陣列與PCIe固態(tài)存儲(chǔ)性能對(duì)比

3應(yīng)用測(cè)試

PCIe固態(tài)存儲(chǔ)卡在互動(dòng)電視平臺(tái)中VOD的應(yīng)用，傳統(tǒng)的VOD點(diǎn)播平臺(tái)是通過(guò)VOD服務(wù)是把存儲(chǔ)中心的數(shù)據(jù)推流到客戶(hù)端，服務(wù)器在推送數(shù)據(jù)流過(guò)程中必然會(huì)產(chǎn)生大量IOPS，由于VOD邊緣服務(wù)器在使用過(guò)程中既承擔(dān)推送數(shù)據(jù)業(yè)務(wù)，同時(shí)也接收來(lái)自上一級(jí)服務(wù)器的寫(xiě)入數(shù)據(jù)，VOD服務(wù)器工作時(shí)是處于同時(shí)讀和寫(xiě)的工作狀態(tài)。本次測(cè)試主要是使用主存儲(chǔ)模式，把VOD視頻數(shù)據(jù)全部放置到PCIe閃存存儲(chǔ)卡中替換原來(lái)的存儲(chǔ)陣列。

在具體使用過(guò)程，得出的數(shù)據(jù)見(jiàn)表2。

表2PCIe主存儲(chǔ)模式測(cè)試結(jié)果

由此可見(jiàn)，在現(xiàn)有的業(yè)務(wù)高峰期，通過(guò)PCIe閃存可以提供高600Mbit/s的數(shù)據(jù)傳輸率，由于閃存卡可以高達(dá)2.4Gbit/s的數(shù)據(jù)傳輸率，目前閃存卡的空閑率還有66%以上，沒(méi)有完全發(fā)揮閃存卡的使用效率。在以往存儲(chǔ)陣列中磁盤(pán)使用的數(shù)據(jù)總帶寬110Mbit/s已經(jīng)是使用的極限，CPU的利用率在5%以下，數(shù)據(jù)充分說(shuō)明了在存儲(chǔ)整列中磁盤(pán)的傳輸帶寬是整個(gè)存儲(chǔ)性能的瓶頸。通過(guò)了PCIe固態(tài)存儲(chǔ)卡的改造后，CPU的使用率大大地得到了提高，同時(shí)傳輸?shù)膸捯搏@取了很大的提高。

4總結(jié)

基于高容錯(cuò)的硬件和軟件混合一體架構(gòu)，PCIe固態(tài)存儲(chǔ)卡通過(guò)高可靠的數(shù)據(jù)硬件讀寫(xiě)通道和具有多重保護(hù)機(jī)制的軟件棧設(shè)計(jì)充分地發(fā)揮Flash的讀寫(xiě)性能潛力，把數(shù)據(jù)存儲(chǔ)的性能提升到了一個(gè)全新的高度。PCIe固態(tài)存儲(chǔ)卡直接通過(guò)CPU的PCIe總線(xiàn)提供給數(shù)據(jù)庫(kù)應(yīng)用高達(dá)3Gbit/s的隨機(jī)數(shù)據(jù)訪(fǎng)問(wèn)帶寬和低至數(shù)十微秒的讀寫(xiě)延遲，大幅度提高多核CPU的利用率，從本質(zhì)上加速應(yīng)用的處理和響應(yīng)速度。無(wú)論是什么業(yè)務(wù)系統(tǒng)，PCIe固態(tài)存儲(chǔ)卡將大幅度提升系統(tǒng)性能密度，加速應(yīng)用速度和降低系統(tǒng)響應(yīng)時(shí)間，針對(duì)數(shù)據(jù)可靠性，例如，一張3.2Tbyte的PCIe固態(tài)存儲(chǔ)卡提供高達(dá)近20Pbyte的總數(shù)據(jù)寫(xiě)入容量。在正常使用環(huán)境下每天24h容納多達(dá)16Tbyte的寫(xiě)入數(shù)據(jù)可持續(xù)3年。多重保護(hù)和智能預(yù)判有助于消除和縮減宕機(jī)時(shí)間，延長(zhǎng)系統(tǒng)壽命，并同時(shí)減低系統(tǒng)運(yùn)行開(kāi)銷(xiāo)(OPEX)和總擁有成本(TCO)。

參考文獻(xiàn)：

[1]鄭文靜，李明強(qiáng)，舒繼武.Flash存儲(chǔ)技術(shù)[J].計(jì)算機(jī)研究與發(fā)展， 2010, 47(4):716-726.

[2]熬青云.存儲(chǔ)技術(shù)原理分析[M].北京：電子工業(yè)出版社，2011.

[3]丁祥武，余文兵，劉國(guó)華.VPM：列存儲(chǔ)系統(tǒng)中基于帶值路徑的物化技術(shù)[J].計(jì)算機(jī)研究與發(fā)展，2012,49(10)：2086-2094.

黃力，高級(jí)工程師，從事多年的廣播電視行業(yè)，擁有豐富的廣播電視網(wǎng)絡(luò)傳輸技術(shù)和管理經(jīng)驗(yàn)；

吳頌濤，碩士工程師，從事多年的廣播電視行業(yè)，擁有豐富的廣播電視網(wǎng)絡(luò)傳輸技術(shù)、計(jì)算機(jī)軟件設(shè)計(jì)和項(xiàng)目管理經(jīng)驗(yàn)，主要研究廣播電視技術(shù)中的計(jì)算機(jī)技術(shù)應(yīng)用；

陳惠梅，女，編輯，現(xiàn)服務(wù)于廣東廣播電視臺(tái)。

責(zé)任編輯：閆雯雯

Revolutionarystoragetechnology

HUANGLi1，WUSongtao1，CHENHuimei2，XULiheng1

(1.Guang Zhou Zhu Jiang Media Group,Guangzhou 510010,China;2.Guangdong Radio and TV Station,Guangzhou 510066,China)

Keywords:SSD;harddisk;RAID

Abstract:PCIesolidstatediskisahotspotinstoragesystempresently,whichhassuperiorconnectioninterfaceandmaturememorymanagementtechnologycomparedwithsolidstatedisksusingotherinterface.PCIeadoptsreliableprotocolarchitectureandimplementsfunctionscontainingsupportofprotocolerrordetection,correctionandhotplugorhotreplacementatinfrastructurelevel,extensiblebandwidthorfrequency,advancedpowerconsumption,addressmappingsystem,garbagecollection,durabilitymanagementaswellasvirtualpath,andthushigh-performancedataservicesisprovided.Comparedwithsolidstatedisksusingotherinterface.PCIepossessesnotablepreponderanceintermsofdatabandwidth,delay,extensibilityandreliability.Keyfactorsaffectingthestorageperformancethroughdevelopmentofstorageandoperationpatternaredescribed.Furthermore,PCIesolid-statedisktechnology,usagescenarioandenhancementofstoragesystem’sapplicationperformanceareintroduced.

中圖分類(lèi)號(hào)：TN915；G202

文獻(xiàn)標(biāo)志碼：A

DOI：10.16280/j.videoe.2016.01.029

作者簡(jiǎn)介：

收稿日期：2015-04-10

文獻(xiàn)引用格式：黃力，吳頌濤，陳惠梅，等.一種革命性的存儲(chǔ)技術(shù)[J].電視技術(shù)，2016,40(1)：145-149.HUANGL，WUST，CHENHM,etal.Revolutionarystoragetechnology[J].Videoengineering,2016,40(1)：145-149.