付 江,程永新
(中國電子科技集團公司第三十研究所,四川 成都 610041)
基于天基信息基礎(chǔ)設(shè)施的數(shù)據(jù)容災設(shè)想*
付 江,程永新
(中國電子科技集團公司第三十研究所,四川 成都 610041)
介紹天基信息技術(shù)、天地一體化網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)容災技術(shù)的發(fā)展現(xiàn)狀,論述基于天基信息基礎(chǔ)設(shè)施的數(shù)據(jù)容災方案的可行性,提出了基于Hadoop的HDFS分布式文件管理機制構(gòu)建數(shù)據(jù)容災框架,并給出了通用的容災策略。同時,提出采用云存儲解決天基信息基礎(chǔ)設(shè)施資源受限的問題,通過高速星地鏈路解決數(shù)據(jù)同步復制問題,利用天基熱備份控制節(jié)點解決在重大自然災害時數(shù)據(jù)服務不間斷提供問題。
數(shù)據(jù)容災;天基信息基礎(chǔ)設(shè)施;云存儲;HDFS
隨著信息時代的來臨,作為信息載體的數(shù)據(jù),以指數(shù)方式增長。信息系統(tǒng)中的關(guān)鍵數(shù)據(jù),大到人類的發(fā)明創(chuàng)造﹑國家的法律制度,小到企業(yè)的財務報表﹑個人的家庭照片,都已成為非常重要的資產(chǎn)和財富。數(shù)據(jù)的丟失,將會給國家﹑企業(yè)和個人帶來巨大的損失。
信息系統(tǒng)中數(shù)據(jù)的丟失包括數(shù)據(jù)不能被訪問﹑數(shù)據(jù)不完整和數(shù)據(jù)消失。數(shù)據(jù)容災是解決信息系統(tǒng)中數(shù)據(jù)丟失的最直接﹑最有效的方法。
數(shù)據(jù)容災是在異地建立和維護一個備份數(shù)據(jù)中心,利用地理分散性保證數(shù)據(jù)對于災難事件的抵御能力。災難大致可用分為自然災害﹑設(shè)備故障﹑操作失誤和病毒入侵。目前,容災方案對設(shè)備故障﹑操作失誤﹑病毒入侵等災難都可以很好地應付,但隨著全球環(huán)境的惡化,卻難以應對日漸頻繁的地震﹑火災﹑海嘯﹑龍卷風等自然災難。
將備份數(shù)據(jù)中心搬到太空中,是解決自然災害造成數(shù)據(jù)丟失的一種根本解決方案。太空環(huán)境比地面環(huán)境具有更高的物理安全性。太空中沒有地球表面常見的地震﹑海嘯﹑龍卷風等自然災害,其主要的物理安全威脅來自天體的碰撞。但是,太空的空間大,天體互相碰撞的概率相對較小,且各天體按照軌道周期規(guī)律運行,即使碰撞也可提前預測,提前規(guī)避。所以,太空環(huán)境比地面環(huán)境更適合做備份中心。
隨著衛(wèi)星通信技術(shù)的日趨成熟,天基信息基礎(chǔ)設(shè)施逐步完善,天地一體化網(wǎng)絡(luò)逐步形成,基于天基信息基礎(chǔ)設(shè)施的容災方案的可行性逐漸增強。隨著人們對數(shù)據(jù)安全的日益重視,數(shù)據(jù)容災技術(shù)也呈現(xiàn)出百花齊放的盛況。
1.1 天基信息基礎(chǔ)設(shè)施
天基信息基礎(chǔ)設(shè)施由天基通信網(wǎng)絡(luò)設(shè)施和天基信息服務設(shè)施組成。
1.1.1 天基通信網(wǎng)絡(luò)
1957年10月第一顆人造衛(wèi)星升空,標志著人類空間探索和開發(fā)利用的起始。90年代以前的應用衛(wèi)星,主要側(cè)重于研究靠單顆衛(wèi)星來發(fā)揮作用;90年代以來,微電子和微機械技術(shù)發(fā)展所引發(fā)的小衛(wèi)星熱,為星座系統(tǒng)的發(fā)展注入新的活力。小衛(wèi)星星座概念的出現(xiàn),使多顆衛(wèi)星組成星座或編隊工作,發(fā)揮了比單顆衛(wèi)星更多的作用。隨著航天系統(tǒng)種類的不斷增加,產(chǎn)品品種和系統(tǒng)功能的日臻完善,衛(wèi)星系統(tǒng)之間自成體系,條塊分割的局面逐漸形成。衛(wèi)星各分系統(tǒng)功能越來越強,使得總體投資快速增長而衛(wèi)星總體資源分布不合理。在這種背景下,天基通信網(wǎng)絡(luò)孕育而生。天基通信網(wǎng)絡(luò)是指不同軌道﹑不同種類﹑不同性能的衛(wèi)星﹑星座和相應的天基設(shè)施,通過星際鏈路構(gòu)成的一體化綜合網(wǎng)絡(luò)。該網(wǎng)絡(luò)是多種衛(wèi)星網(wǎng)絡(luò)系統(tǒng)的綜合,具有自主運行和管理能力以及智能化的信息貯存﹑處理和分發(fā)能力。
從計算機網(wǎng)絡(luò)理論和地面網(wǎng)絡(luò)的發(fā)展現(xiàn)狀看來,地面網(wǎng)絡(luò)基本的結(jié)構(gòu)形態(tài)有兩種:對等網(wǎng)和主干-接入網(wǎng)。對等網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)是對稱的,各個網(wǎng)絡(luò)節(jié)點的功能是對等的;主干-接入網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)不對稱,各個網(wǎng)絡(luò)節(jié)點通過接入網(wǎng)實現(xiàn)信息的聚合。從衛(wèi)星網(wǎng)絡(luò)的發(fā)展歷程來看,天基通信網(wǎng)絡(luò)也存在對等網(wǎng)和主干-接入網(wǎng)兩種架構(gòu)。因此,天基通信網(wǎng)絡(luò)是對等網(wǎng)與主干-接入網(wǎng)絡(luò)共存的異構(gòu)網(wǎng)絡(luò)[1-2],如圖1所示。
圖1 天基通信網(wǎng)絡(luò)
天基通信網(wǎng)絡(luò)由天基骨干網(wǎng)﹑天基接入網(wǎng)及各類天基用戶組成。天基骨干網(wǎng)由高軌衛(wèi)星通過激光﹑微波等高速鏈路組網(wǎng)而成。天基接入網(wǎng)由各類中低軌衛(wèi)星星座群組成,天基接入網(wǎng)通過激光鏈路接入天基骨干網(wǎng)。天基用戶包括車載﹑機載﹑艦載各型用戶端,通過微波鏈路接入天基接入網(wǎng)。
1.1.2 天基信息服務
天基信息服務設(shè)施由各類載荷組成,包括衛(wèi)星﹑宇宙飛船﹑空間站等各類航天器上的存儲﹑計算等載荷。這些載荷為各類天基應用服務提供支撐平臺。
1.1.3 基于云計算的天基信息基礎(chǔ)設(shè)施
不管是天基通信網(wǎng)絡(luò)設(shè)施,還是天基信息服務設(shè)施,都受空間資源有限的約束,如軌道有限﹑頻率范圍有限﹑載荷功率有限﹑載荷物理尺寸有限等,導致其不能更好地發(fā)揮信息基礎(chǔ)設(shè)施的支撐作用。因此,專家們提出了在天基信息基礎(chǔ)設(shè)施中采用資源虛擬化技術(shù),以最大限度地綜合利用有限的空間資源來滿足對網(wǎng)絡(luò)信息的需求。
建立基于云計算的天基信息基礎(chǔ)設(shè)施,是目前公認的最好方法,其架構(gòu)如圖2所示?;谠朴嬎愕奶旎畔⒒A(chǔ)設(shè)施包括三層:基礎(chǔ)設(shè)施層﹑虛擬化層和資源管理層[3]。基礎(chǔ)設(shè)施層包括天基骨干網(wǎng)﹑天基接入網(wǎng)以及各類航天器上的信息載荷。虛擬化層利用虛擬化技術(shù),將基礎(chǔ)設(shè)施層的各類設(shè)施抽象成存儲資源﹑計算資源﹑軌位資源﹑頻率資源﹑天線資源等,形成統(tǒng)一的資源池,供管理者調(diào)用。資源管理層包括資源管理和資源調(diào)度,對下管理維護資源池,對上則根據(jù)用戶需求按照策略對資源進行合理化調(diào)度,從而為上層應用提供支撐。
圖2 基于云計算的天基信息基礎(chǔ)設(shè)施
1.2 天地一體化網(wǎng)絡(luò)
為了方便在地球上的人們更好地獲取和利用太空資源,也為了更好地利用天基信息基礎(chǔ)設(shè)施,專家們提出了天地一體化網(wǎng)絡(luò)。根據(jù)我國地理環(huán)境的特點,天地一體化網(wǎng)絡(luò)是以天基骨干網(wǎng)和地基骨干網(wǎng)作為支撐的雙骨干網(wǎng),如圖3所示。地面站利用星地高速鏈路與天基骨干網(wǎng)相連,地面站利用光纖等通道接入骨干路由器,與地面骨干網(wǎng)相連。
1.3 數(shù)據(jù)容災技術(shù)
數(shù)據(jù)容災技術(shù)主要包括三個關(guān)鍵技術(shù):數(shù)據(jù)備份技術(shù)﹑數(shù)據(jù)復制技術(shù)和災難檢測技術(shù)。
1.3.1 數(shù)據(jù)備份技術(shù)
數(shù)據(jù)備份是把數(shù)據(jù)從存儲系統(tǒng)備份到其他介質(zhì)的過程。隨著網(wǎng)絡(luò)的發(fā)展,備份技術(shù)己經(jīng)從主機備份﹑網(wǎng)絡(luò)備份發(fā)展到專有的存儲網(wǎng)絡(luò)備份?;诖鎯ο到y(tǒng)的備份是指數(shù)據(jù)流通過存儲系統(tǒng)之間傳遞,與主機無關(guān),優(yōu)勢是不占用主機資源。
1.3.2 數(shù)據(jù)復制技術(shù)
數(shù)據(jù)復制是將存儲系統(tǒng)的數(shù)據(jù)通過網(wǎng)絡(luò)復制到其他的一個或多個備份存儲系統(tǒng)中,當災難發(fā)生后再進行數(shù)據(jù)還原,以保證存儲系統(tǒng)的數(shù)據(jù)安全。數(shù)據(jù)復制技術(shù)可分成同步數(shù)據(jù)復制技術(shù)和異步數(shù)據(jù)復制技術(shù)。同步數(shù)據(jù)復制是指在異地建立一套與本地數(shù)據(jù)實時同步的異地數(shù)據(jù)。這種方式可能做到數(shù)據(jù)的零丟失,但對系統(tǒng)的性能影響很大。異步數(shù)據(jù)復制技術(shù)則是將本地存儲系統(tǒng)中的數(shù)據(jù)在后臺異步地復制到備份系統(tǒng)中。這種方式會有少量數(shù)據(jù)丟失,但對存儲系統(tǒng)的性能影響較小。
1.3.3 災難檢測技術(shù)
災難檢測是指由災難導致存儲系統(tǒng)異常時的自動檢測。災難檢測技術(shù)一般采用心跳技術(shù)。心跳技術(shù)就是在應用系統(tǒng)和檢測系統(tǒng)之間每隔一段時間產(chǎn)生一個心跳信號,能夠檢測到該信號,表明系統(tǒng)是正常狀態(tài),否則是非正常狀態(tài)。目前,流行的Hadoop分布式文件系統(tǒng)HDFS,采用基于網(wǎng)絡(luò)拷貝的備份技術(shù)﹑基于數(shù)據(jù)塊的異步復制技術(shù)﹑基于心跳的災難檢測技術(shù)[4],是一種解決云存儲的數(shù)據(jù)容災機制。
基于天基信息基礎(chǔ)設(shè)施的數(shù)據(jù)容災是采用天基信息基礎(chǔ)設(shè)施作為數(shù)據(jù)存儲的基礎(chǔ),采用天地一體網(wǎng)絡(luò)設(shè)施作為數(shù)據(jù)備份的通道。
天基信息基礎(chǔ)設(shè)施采用云架構(gòu),那么數(shù)據(jù)存儲設(shè)施也是基于云架構(gòu)?;谠萍軜?gòu)的數(shù)據(jù)存儲能提供彈性的用戶存儲空間,利用云計算自身的分布式和多機冗余方式,提供數(shù)據(jù)存儲的可靠性。對于容災保護這種高峰資源需求遠高于日常資源需求的業(yè)務,云存儲的靈活性具有無法比擬的成本優(yōu)勢。
天地一體化網(wǎng)絡(luò)在地基網(wǎng)絡(luò)與天基網(wǎng)絡(luò)之間采用多條高速的天地鏈路,為容災系統(tǒng)中的數(shù)據(jù)備份傳輸提供了高速可靠的通道。
基于云存儲的備份機制,核心是分布式文件系統(tǒng)。目前,主要的分布式文件系統(tǒng)是Google公司的GFS(Google文件系統(tǒng))和Hadoop團隊開發(fā)的開源系統(tǒng)HDFS(Hadoop分布式文件系統(tǒng))。HDFS因為是開源項目,近幾年被越來越多的知名廠商采用,技術(shù)機制也日臻完善。
基于以上介紹,數(shù)據(jù)容災框架如圖4所示,它利用天地一體化網(wǎng)絡(luò),采用HDFS機制實現(xiàn)云容災。該方案具有高效率﹑高可靠﹑強擴展﹑低成本的特點。
圖4 數(shù)據(jù)容災框架
數(shù)據(jù)采用文件的方式進行管理。文件管理采用主從式架構(gòu),由名叫NameNode的控制節(jié)點和名叫DataNode的數(shù)據(jù)節(jié)點組成??刂乒?jié)點維護著整個文件系統(tǒng)的命名空間,將文件系統(tǒng)的元數(shù)據(jù)保存在內(nèi)存中,管理﹑控制文件的相關(guān)操作。數(shù)據(jù)節(jié)點存放實際數(shù)據(jù),同時具備計算能力,可以管理自身攜帶的存儲資源。文件是分塊存儲的,一個文件被劃分成一個或多個數(shù)據(jù)塊。這些數(shù)據(jù)塊被分散存儲在不同的數(shù)據(jù)節(jié)點上,每個數(shù)據(jù)塊都可以通過數(shù)據(jù)節(jié)點之間的互相復制而具有多個備份。其中,數(shù)據(jù)節(jié)點需要定期與控制節(jié)點通信,以便控制節(jié)點知曉自身的工作狀態(tài)??刂乒?jié)點向數(shù)據(jù)節(jié)點發(fā)送控制指令,實現(xiàn)對文件數(shù)據(jù)塊的創(chuàng)建﹑復制﹑刪除等操作。
當數(shù)據(jù)用戶端訪問文件時,首先將包含該文件名字的訪問請求發(fā)送給控制節(jié)點,然后控制節(jié)點將存儲該文件所有數(shù)據(jù)塊的數(shù)據(jù)節(jié)點地址信息反饋給用戶端,進而用戶端直接和相應的數(shù)據(jù)節(jié)點建立連接,并進行具體的文件讀寫操作。
本方案中,在地面云中建立一個NameNode節(jié)點和多個DataNode節(jié)點,同時在天基云中建立地面NameNode節(jié)點的一個鏡像以及多個DataNode節(jié)點作為地面DataNode節(jié)點的數(shù)據(jù)備份存儲節(jié)點。天基云中的NameNode是一個輔助控制節(jié)點,僅當?shù)孛嬖浦械腘ameNode失效后,才啟動其管理任務。
地面云中NameNode的元數(shù)據(jù)變動時,會及時通過星地鏈路,將變動信息備份到天基云中的NameNode。天基云中的NameNode通過星地鏈路,利用心跳信號,定期與地面NameNode通信,以便及時發(fā)現(xiàn)地面云NameNode的工作狀態(tài),準備隨時接管其文件管理任務。
地面云中的DataNode根據(jù)容災策略,將數(shù)據(jù)塊的變動信息利用星地高速鏈路備份到天基云中的DataNode。
在容災框架設(shè)計好以后,必要制定合理的容災策略,才能完成整個容災方案,為容災系統(tǒng)更好地發(fā)揮效能提供支持。
容災策略主要是DataNode的選擇問題,包括DataNode副本數(shù)量的選擇﹑DataNode遠端節(jié)點的選擇。對于不同安全等級的數(shù)據(jù),其選擇的DataNode策略不一樣。對于安全性要求較高的數(shù)據(jù),其中一個副本須選擇在天基網(wǎng)絡(luò)中的一個DataNode節(jié)點。
通常情況下,副本系數(shù)是3,存放策略是將一個副本存放在本地機架節(jié)點上,還有一個副本存放在同一個機架的另一個節(jié)點上,最后一個副本則存放在天基網(wǎng)絡(luò)的節(jié)點上。這種策略下,副本并不是均勻分布在不同的機架上:1/3的副本在一個節(jié)點上,2/3的副本在一個機架上。這樣減少了機架間的數(shù)據(jù)傳輸,提高了寫操作的效率。與此同時,因為數(shù)據(jù)塊只存放在兩個不同的機架上,最終也就減少了讀取數(shù)據(jù)時需要的網(wǎng)絡(luò)傳輸總帶寬。此外,機架的錯誤要遠遠小于節(jié)點的錯誤,所以這種策略不會影響數(shù)據(jù)的可靠性和可用性。
數(shù)據(jù)容災策略的DadaNode的網(wǎng)絡(luò)拓撲,如圖5所示。每一個數(shù)據(jù)塊有三個副本,其中兩個放在地面網(wǎng)絡(luò)中同一交換機下的兩個DataNode中,第三個副本即遠端節(jié)點,放在天基骨干網(wǎng)中的DataNode中。
圖5 DataNode網(wǎng)絡(luò)拓撲
一個好的容災方案應具備以下條件:用于容災的數(shù)據(jù)存放地點和原數(shù)據(jù)存放地點不在同一自然災害帶上;容災系統(tǒng)通過有效的數(shù)據(jù)復制策略,能夠?qū)崿F(xiàn)容災數(shù)據(jù)與本地數(shù)據(jù)的同步;災難發(fā)生時,容災系統(tǒng)應該保證盡可能少地丟失數(shù)據(jù)及保證數(shù)據(jù)的一致性。而本文提出的采用HDFS機制,基于天基云存儲的數(shù)據(jù)容災方案滿足上述要求。當然,本方案只是一個初步方案,對于數(shù)據(jù)文件大小的劃分﹑副本的動態(tài)調(diào)整等還需要進一步細化。此外,對于不同安全級別的數(shù)據(jù)應該采用不同的數(shù)據(jù)容災策略,這也是下一步需要完善的地方。
[1] 閔士權(quán).我國天基綜合信息網(wǎng)構(gòu)想[J].航天器工程,2013,22(05):1-14.
M IN Shi-Quan.An Idea of China’s Space-based In tegrated In formation Network[J].Spacec raft Engineering,2013,22(05):1-14.
[2] 黃惠明,常呈武.天地一體化天基骨干網(wǎng)體系架構(gòu)研究[C].北京:天地一體化信息網(wǎng)絡(luò)第二次高峰論壇,2015:120-133.
HUANG Hui-ming,CHANG Cheng-wu.Architecture Research on Space-based Backbone Network of Space_ Ground Intergrated Networks[C].BeiJing:Proceedings of the 2nd Summ it of Integrated Space_Ground Network,2015:120-133.
[3] 許方敏,陳高嶺,姚海鵬等.空間信息網(wǎng)絡(luò)資源虛擬化技術(shù)[C].北京:天地一體化信息網(wǎng)絡(luò)第二次高峰論壇,2015:472-479.
XU Fang-m in,Chen Gao-ling,YAO Hai-peng,et al.Virtualization Technology of Space-based Information Network Resource[C].BeiJing:Proceedings of the 2nd Summ it of Integrated Space_Ground Network,2015:472-479.
[4] 李冰.云計算環(huán)境下動態(tài)資源管理關(guān)鍵技術(shù)研究[D].北京:北京郵電大學,2012.
LI Bing.The Rresearch of Dynamic Resource Management Key Technologies in Cloud Computing[D].Beijing:Beijing University of Posts and Telecommunications,2012.
Data Disaster Recovery based on Space-based Information Infrastructure
FU Jiang, CHENG Yong-xin
(No.30 Institute of CETC, Chengdu Sichuan 610041, China)
The present situation and development of space-based information technology, integrated spaceground network technology and data disaster recovery technology is described, and a scheme for data disaster recovery and a common strategy based on HDFS also given. And cloud storage is proposed to solve the problem of limited space resource, high-speed space-ground data link to solve the problem of date synchronous replication, and Namenode replication in the space-based infrastructure to solve the problem of uninterrupted date service when the major natural disaster occurs.
data disaster recovery; space-based information infrastructure; cloud storage; HDFS
TP302.8;V19
A
1002-0802(2016)-11-1503-06
10.3969/j.issn.1002-0802.2016.11.017
付 江(1973—),女,碩士,高級工程師,主要研究方向為信息安全;
程永新(1980—),男,碩士,工程師,主要研究方向為信息安全。
2016-07-09;
2016-10-08 Received date:2016-07-09;Revised date:2016-10-08