中國(guó)新聞社圖片信息庫(kù)數(shù)字化網(wǎng)絡(luò)存儲(chǔ)技術(shù)發(fā)展

文｜肖方

中國(guó)新聞社作為國(guó)家級(jí)通訊社之一，承擔(dān)著對(duì)海外華人華僑和港澳臺(tái)同胞的宣傳任務(wù)。成立60年來(lái)，積累了大量珍貴的歷史資料，包括文字、圖片、音頻、視頻、電影資料等。中國(guó)新聞社攝影部是中新社的新聞圖片采編業(yè)務(wù)部門(mén)，保留了大量的圖片資料，而圖片信息的存儲(chǔ)是信息系統(tǒng)的重要方面，搭建共享的存儲(chǔ)架構(gòu)，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一存儲(chǔ)、管理和應(yīng)用已成為媒體行業(yè)發(fā)展趨勢(shì)。作者在中新社從事計(jì)算機(jī)應(yīng)用和網(wǎng)絡(luò)技術(shù)工作多年，在圖片信息庫(kù)數(shù)字化網(wǎng)絡(luò)存儲(chǔ)技術(shù)工作方面總結(jié)出一些經(jīng)驗(yàn)，在此對(duì)中新社的技術(shù)創(chuàng)新能力、計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)發(fā)展、網(wǎng)絡(luò)存儲(chǔ)架構(gòu)，大數(shù)據(jù)應(yīng)對(duì)策略、安全存儲(chǔ)措施進(jìn)行一些回顧和探討，供同行參考。

第一部分 基本概念

一、傳統(tǒng)存儲(chǔ)介質(zhì)與電子存儲(chǔ)介質(zhì)比較

使用傳統(tǒng)介質(zhì)如紙和膠卷保存信息資料，檢索速度很慢，而使用計(jì)算機(jī)存儲(chǔ)數(shù)據(jù)信息，存取速度極快，存儲(chǔ)的數(shù)據(jù)量也很大。一般憑證文件應(yīng)當(dāng)用紙介質(zhì)存儲(chǔ)，業(yè)務(wù)文件可用紙或磁帶存儲(chǔ)，主文件，如企業(yè)的企業(yè)結(jié)構(gòu)、人事方面的檔案材料、設(shè)備或材料的庫(kù)存賬目應(yīng)當(dāng)存儲(chǔ)于磁盤(pán)，以便聯(lián)機(jī)檢索和查詢(xún)。

電子存儲(chǔ)介質(zhì)是指存儲(chǔ)數(shù)據(jù)的載體。比如軟盤(pán)、DVD和CD光盤(pán)、HDD硬盤(pán)、閃存（快速閃存存儲(chǔ)器）。與傳統(tǒng)電腦內(nèi)存不同，閃存的特點(diǎn)是非易失性（也就是所存儲(chǔ)的數(shù)據(jù)在主機(jī)掉電后不會(huì)丟失），其保存與刪除處理的速度較快。閃存被應(yīng)用在計(jì)算機(jī)中的BIOS、PDA、數(shù)碼相機(jī)、錄音筆、手機(jī)、數(shù)字電視、游戲機(jī)等電子產(chǎn)品中。攝影記者使用的數(shù)碼相機(jī)常用CF卡和SD卡，這兩種存儲(chǔ)卡具有體小質(zhì)輕、低能耗、高容量、數(shù)據(jù)傳輸速度快的特點(diǎn)。

二、計(jì)算機(jī)存儲(chǔ)單位

二進(jìn)制序列用來(lái)表示計(jì)算機(jī)、電子信息數(shù)據(jù)容量的量綱，基本單位為字節(jié)B，計(jì)算機(jī)存儲(chǔ)單位一般用b,B,KB、MB、GB、TB、PB、EB、ZB、YB、BB來(lái)表示，位bit(比特)，存放一位二進(jìn)制數(shù)，即 0 或1，是最小的存儲(chǔ)單位。字節(jié) byte是8個(gè)二進(jìn)制位為一個(gè)字節(jié)(B)，是最常用的單位。隨著計(jì)算機(jī)存儲(chǔ)數(shù)據(jù)不斷增加，存儲(chǔ)單位也在增加，計(jì)算機(jī)存儲(chǔ)容量單位如下排列：

bit（位），byte（字節(jié)）,KB（千字節(jié)）,MB（兆字節(jié)）,GB（吉字節(jié)）, TB（太字節(jié)）,PB（拍字節(jié)），EB（艾字節(jié)）, ZB（澤字節(jié)），YB（堯字節(jié)）,BB（波字節(jié)），在排列中每級(jí)為前一級(jí)的1024倍。表示容量越來(lái)越大。例如：1MB=1024KB，1GB=1024MB，1TB=1024GB。

第二部分 中新社圖片信息庫(kù)實(shí)現(xiàn)數(shù)字化網(wǎng)絡(luò)存儲(chǔ)發(fā)展歷程

一、1994年建立基于蘋(píng)果電腦的數(shù)字化圖片發(fā)稿系統(tǒng)

90年代，中新社攝影部作為總社的新聞圖片發(fā)稿業(yè)務(wù)部門(mén)，經(jīng)歷了從使用滾筒式模擬信號(hào)傳真圖片，到使用底片掃描儀和平板式掃描儀進(jìn)行電腦數(shù)字化處理、文件存儲(chǔ)和文件傳輸，實(shí)現(xiàn)了圖片信息數(shù)字化存儲(chǔ)。

1994年，攝影部進(jìn)行圖片發(fā)稿技術(shù)改造，通過(guò)蘋(píng)果電腦進(jìn)行彩色底片和黑白底片掃描處理，采用理光專(zhuān)用光盤(pán)存儲(chǔ)圖像信息，使用PC電腦和1.44M軟盤(pán)存儲(chǔ)傳真圖片和專(zhuān)題圖片文字信息。每天發(fā)圖片通稿5-10張，每月發(fā)10組專(zhuān)題圖片。一張彩色圖片原圖大小4.5MB左右，黑白圖片大小1.5MB，圖像經(jīng)過(guò)Adobe Photoshop軟件壓縮處理后生成100KB左右大小的傳輸文件，通過(guò)北京--香港專(zhuān)線(xiàn)網(wǎng)絡(luò)，將圖像文件傳送到香港分社的蘋(píng)果電腦中，然后經(jīng)香港分社傳送到海外媒體客戶(hù)電腦接收設(shè)備中，經(jīng)挑選登載在海外和香港澳門(mén)報(bào)紙和雜志上。數(shù)字化圖片發(fā)稿技術(shù)使中新社能快速和準(zhǔn)確將新聞稿件播發(fā)到海外和港澳地區(qū)。

二、1995年建立基于PC電腦的圖片信息存儲(chǔ)管理和檢索系統(tǒng)

1995年，攝影部使用基于DOS操作系統(tǒng)的PC電腦，建立了圖片信息管理和檢索數(shù)據(jù)庫(kù)，將每日發(fā)送的傳真圖片、專(zhuān)稿圖片和留資圖片說(shuō)明入庫(kù)。為日后建立中新社圖片網(wǎng)打下了良好的基礎(chǔ)。攝影部工程師在同年3月“全國(guó)人大、政協(xié)兩會(huì)”期間，使用蘋(píng)果電腦首次制作了中國(guó)新聞彩色封面、封底和圖片內(nèi)頁(yè)，送到兩會(huì)代表手里。由于擺脫了原來(lái)黑白文字版面單調(diào)的格局，新穎的彩色封面和圖片版面受到與會(huì)代表的好評(píng)。

三、1997年建立基于Windows界面的比利時(shí)多媒體數(shù)據(jù)庫(kù)

1997年，攝影部采用PC電腦，使用VisualC++語(yǔ)言和面向?qū)ο蠹夹g(shù)開(kāi)發(fā)的數(shù)據(jù)庫(kù)開(kāi)發(fā)工具，開(kāi)發(fā)了基于Windows界面的比利時(shí)多媒體數(shù)據(jù)庫(kù)，內(nèi)容包括新聞圖片、專(zhuān)題圖片及留資圖片全部文字信息，系統(tǒng)自動(dòng)生成圖像文件的快照?qǐng)D標(biāo)（20K-30K）到數(shù)據(jù)庫(kù)中。圖文并茂的數(shù)據(jù)庫(kù)信息檢索畫(huà)面受到攝影部和技術(shù)部領(lǐng)導(dǎo)的好評(píng)。在全國(guó)人大、政協(xié)兩會(huì)和97’香港回歸期間，工程師們使用蘋(píng)果電腦制作了中國(guó)新聞彩色封面、封底和圖片內(nèi)頁(yè)。保留下寶貴的歷史圖片資料。

四、1998年建立了基于10/100M網(wǎng)絡(luò)存儲(chǔ)的新聞圖片采編系統(tǒng)

1998年，中新社建成基于客戶(hù)端/服務(wù)器架構(gòu)的新聞圖片采編網(wǎng)，服務(wù)器操作系統(tǒng)是Microsoft NT4.0 server，數(shù)據(jù)庫(kù)是使用Microsoft SQL Server，全社每天發(fā)圖片通稿10--20張，每月發(fā)10組專(zhuān)題圖片，還有資料圖片。攝影記者外地采訪(fǎng)采用尼康底片掃描儀掃描底片，使用PC筆記本和蘋(píng)果筆記本進(jìn)行發(fā)稿。時(shí)政記者開(kāi)始使用數(shù)碼相機(jī)拍攝新聞圖片，將圖片傳送到新聞采編系統(tǒng)中。值班主任通過(guò)PC電腦登錄到采編系統(tǒng)，對(duì)圖片說(shuō)明進(jìn)行編輯和校對(duì)，并簽發(fā)圖片，期間工程師們通過(guò)蘋(píng)果電腦處理圖像，包括圖像修改、剪裁、角度、亮度、反差、色彩和色調(diào)的調(diào)整。保證了圖片稿件產(chǎn)品的質(zhì)量。

五、2001年建立了基于Internet互聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)架構(gòu)的中國(guó)新聞圖片網(wǎng)

2001年,中新社建立了基于Internet互聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)架構(gòu)的中國(guó)新聞圖片網(wǎng)，確立內(nèi)網(wǎng)和外網(wǎng)數(shù)據(jù)庫(kù)架構(gòu)、外網(wǎng)網(wǎng)站域名www.cnsphoto.com。在社長(zhǎng)和總編輯的領(lǐng)導(dǎo)下，與中國(guó)新聞網(wǎng)合作，將圖片網(wǎng)服務(wù)器托管在中國(guó)電信機(jī)房。內(nèi)網(wǎng)使用HP服務(wù)器，外網(wǎng)使用DELL服務(wù)器，采用磁盤(pán)冗余陣列存儲(chǔ)，服務(wù)器使用Microsoft Window server 2000操作系統(tǒng)，圖片采編和銷(xiāo)售數(shù)據(jù)庫(kù)采用Microsoft SQL server 2000。圖片信息數(shù)據(jù)庫(kù)全文檢索系統(tǒng)由北京拓爾思TRS公司開(kāi)發(fā)。中新社除了每日發(fā)圖片通稿30-50張（同時(shí)發(fā)布到圖片網(wǎng)上），其余有價(jià)值的圖片也發(fā)布到網(wǎng)站，使用戶(hù)能更方便挑選下載及購(gòu)買(mǎi)圖片，由此打開(kāi)中新社圖片銷(xiāo)售市場(chǎng)，圖片網(wǎng)在為圖片客戶(hù)提供豐富的圖片資源同時(shí)，也收集網(wǎng)站用戶(hù)上傳的新聞圖片、專(zhuān)題圖片和資料圖片，圖片編輯有選擇地將新聞圖片上傳到中新社新聞圖片通稿采編系統(tǒng)中，由此豐富了中新社圖片產(chǎn)品的內(nèi)容，實(shí)現(xiàn)了中新社通稿采、編、發(fā)業(yè)務(wù)和圖片網(wǎng)站業(yè)務(wù)的雙向交流，促進(jìn)了中新社圖片信息庫(kù)網(wǎng)絡(luò)存儲(chǔ)技術(shù)發(fā)展。網(wǎng)站通過(guò)提供智能檢索提升圖片信息的使用價(jià)值，取得了經(jīng)濟(jì)效益和社會(huì)效益。

《中國(guó)新聞圖片網(wǎng)》項(xiàng)目受到了中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)領(lǐng)導(dǎo)的好評(píng)。幫助記者和簽約攝影師個(gè)人保存了大量有價(jià)值的資料，也成為中新社的寶貴資源。另外，攝影部將30萬(wàn)張底片陸續(xù)掃描到電腦中，存入圖片信息庫(kù)，豐富了中新社的圖片資源。截至2013年7月31日，中新社圖片網(wǎng)共存儲(chǔ)圖片181萬(wàn)張。

2002年6月該項(xiàng)目作為《中國(guó)新聞社新聞信息電子商務(wù)解決方案》獲得由中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)頒發(fā)的《新聞科技創(chuàng)新》一等獎(jiǎng)。

六、2003年建立了基于百兆網(wǎng)絡(luò)存儲(chǔ)的新聞采編平臺(tái)

2003年中新社建成了基于Internet 互聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)架構(gòu)的新聞采編平臺(tái)和圖文發(fā)布系統(tǒng)，建立了包括總社各部門(mén)、國(guó)內(nèi)分社、國(guó)外分社的采集網(wǎng)絡(luò)，總社、香港分社、美國(guó)分社成為文字通稿和圖片通稿簽稿中心。采編服務(wù)器是基于Windows Server 2000的DELL服務(wù)器，數(shù)據(jù)庫(kù)采用SQL Server 2000，數(shù)據(jù)存儲(chǔ)方式采用磁盤(pán)陣列。

至此，技術(shù)創(chuàng)新給中新社圖片發(fā)稿業(yè)務(wù)帶來(lái)質(zhì)的飛躍，在全國(guó)兩會(huì)及2008奧運(yùn)會(huì)報(bào)道中發(fā)稿量劇增。平時(shí)，中新社每天發(fā)圖片通稿50-100張（同時(shí)發(fā)布到圖片網(wǎng)上），還包括只發(fā)網(wǎng)站圖片，專(zhuān)題圖片和資料圖片。彩色圖片發(fā)稿原圖9MB-18MB，圖片壓縮后傳輸文件大小是300KB--800KB，通過(guò)圖文發(fā)布系統(tǒng)播發(fā)到海外、香港、澳門(mén)媒體客戶(hù)機(jī)上，為當(dāng)?shù)貓?bào)紙?zhí)峁﹫D片內(nèi)容。另外，中新社新聞圖片采編系統(tǒng)和中新社圖片網(wǎng)站進(jìn)行合理的銜接，自動(dòng)將每天發(fā)的新聞圖片傳送到圖片網(wǎng)內(nèi)網(wǎng)和外網(wǎng)上，以多種方式服務(wù)于客戶(hù)。

七、2012年建立了基于千兆光纖網(wǎng)絡(luò)存儲(chǔ)的多媒體采編平臺(tái)

計(jì)算機(jī)、服務(wù)器、存儲(chǔ)器快速發(fā)展，對(duì)電子化數(shù)據(jù)機(jī)房的要求更高。分級(jí)存儲(chǔ)管理(HSM)技術(shù)，就是系統(tǒng)根據(jù)數(shù)據(jù)的重要性、訪(fǎng)問(wèn)頻次等指標(biāo)分別存儲(chǔ)在不同性能的存儲(chǔ)設(shè)備上，采取不同的存儲(chǔ)方式，實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)的使用頻率，并且自動(dòng)地把長(zhǎng)期閑置的數(shù)據(jù)塊遷移到低性能的磁盤(pán)上，把活躍的數(shù)據(jù)塊放在高性能的磁盤(pán)上。

2012年，中新社建立了基于高端SAN存儲(chǔ)架構(gòu)的多媒體采編平臺(tái)，SAN的支撐技術(shù)是光纖通道(FC Fiber Channel)技術(shù)。存儲(chǔ)系統(tǒng)具有硬件冗余設(shè)計(jì)，消除單點(diǎn)故障，能夠?qū)?yīng)用系統(tǒng)提供不間斷的數(shù)據(jù)訪(fǎng)問(wèn)服務(wù)；對(duì)應(yīng)用系統(tǒng)存儲(chǔ)的數(shù)據(jù)具有RAID保護(hù)、鏈路冗余等多種技術(shù)手段，確保數(shù)據(jù)的可靠性和完整性。存儲(chǔ)系統(tǒng)主體是一臺(tái)磁盤(pán)陣列設(shè)備，以交叉冗余方式接在存儲(chǔ)區(qū)域SAN交換機(jī)上。前端需要連接SAN的服務(wù)器上配有雙口HBA卡，分別通過(guò)光纖連接兩臺(tái)SAN交換機(jī)。部署一套物理磁帶庫(kù)產(chǎn)品，通過(guò)備份服務(wù)器部署的備份軟件控制進(jìn)行自動(dòng)數(shù)據(jù)備份。備份內(nèi)容包括數(shù)據(jù)庫(kù)服務(wù)器中的數(shù)據(jù)庫(kù)數(shù)據(jù)以及各應(yīng)用服務(wù)器的業(yè)務(wù)數(shù)據(jù)。

圖片稿庫(kù)采用TB級(jí)磁盤(pán)陣列存儲(chǔ)，使用DELL服務(wù)器進(jìn)行管理和檢索。數(shù)據(jù)庫(kù)采用Oracle。中新社每天發(fā)圖片通稿100-200張，發(fā)圖片網(wǎng)站200-500張（包括通稿），圖片發(fā)稿原圖30—50MB，由記者個(gè)人保存。圖片壓縮后傳輸文件大小為2MB，通過(guò)建立圖片信息發(fā)布系統(tǒng)，借助Internet互聯(lián)網(wǎng)和網(wǎng)絡(luò)鏈路加密手段為國(guó)內(nèi)國(guó)際用戶(hù)進(jìn)行推送和發(fā)布服務(wù)，建立中心站點(diǎn)（北京）為大陸圖片用戶(hù)服務(wù)，建立亞太、美國(guó)圖片鏡像站點(diǎn)為所在區(qū)域用戶(hù)服務(wù)，并自動(dòng)發(fā)布到中國(guó)新聞圖片網(wǎng)（專(zhuān)業(yè)圖片網(wǎng)站，可供大圖）和中國(guó)新聞網(wǎng)（門(mén)戶(hù)網(wǎng)站，只供小圖）。圖片網(wǎng)站服務(wù)器仍托管在在中國(guó)電信機(jī)房，通過(guò)兩套相同數(shù)據(jù)庫(kù)存儲(chǔ)方式，使用大容量硬盤(pán)存儲(chǔ)圖片資料數(shù)據(jù)。存儲(chǔ)容量仍是TB級(jí)存儲(chǔ)。攝影記者的數(shù)碼相機(jī)使用高速GB級(jí)CF卡和SD卡，移動(dòng)硬盤(pán)是1TB和2TB硬盤(pán)。主力記者使用蘋(píng)果筆記本，內(nèi)裝500GB SSD固態(tài)硬盤(pán)，通過(guò)無(wú)線(xiàn)上網(wǎng)卡，進(jìn)行新聞圖片的快速采集、處理、存儲(chǔ)和傳輸。另外，攝影記者還使用聯(lián)想ThinkPad筆記本電腦發(fā)稿。智能手機(jī)也成為記者現(xiàn)場(chǎng)抓拍新聞圖片的工具，通過(guò)微信平臺(tái)傳輸新聞圖片和其他重要信息。圖片值班編輯使用DELL電腦和蘋(píng)果電腦對(duì)新聞采編系統(tǒng)中的新聞圖像進(jìn)行編輯、處理、存儲(chǔ)、簽發(fā)。使中新社的圖片稿件通過(guò)多種銷(xiāo)售平臺(tái)傳播到客戶(hù)中。

第三部分 大數(shù)據(jù)存儲(chǔ)技術(shù)發(fā)展趨勢(shì)和應(yīng)對(duì)策略

一、數(shù)字化移動(dòng)平臺(tái)的研究迫在眉睫

數(shù)字化、創(chuàng)新型、多媒體網(wǎng)絡(luò)平臺(tái)存儲(chǔ)是未來(lái)發(fā)展趨勢(shì)，發(fā)展移動(dòng)平臺(tái)和電子化閱讀是中新社等媒體應(yīng)該考慮的問(wèn)題，通過(guò)高科技手段提高多媒體信息傳播速度是媒體的立足之本。

二、實(shí)現(xiàn)自動(dòng)恢復(fù)和自動(dòng)管理

未來(lái)的存儲(chǔ)器不僅具有更高的容量、速度和性能價(jià)格比，而且還將具有自動(dòng)恢復(fù)和自動(dòng)管理功能，同時(shí)具有高度的開(kāi)放性和互操作性。

三、按需分配數(shù)據(jù)物理存儲(chǔ)以實(shí)現(xiàn)管理智能化

SSD固態(tài)硬盤(pán)和HDD機(jī)械硬盤(pán)共同使用將是發(fā)展趨勢(shì)，內(nèi)存和固態(tài)硬盤(pán)速度快但成本高，用于存放頻繁讀寫(xiě)的數(shù)據(jù)信息，而機(jī)械硬盤(pán)存取速度慢但成本低，適合存放不常讀寫(xiě)的數(shù)據(jù)。按需分配數(shù)據(jù)存儲(chǔ)才是通訊社要采取的方法。

四、云計(jì)算理論和云平臺(tái)服務(wù)

云計(jì)算是分布處理、并行處理和網(wǎng)格計(jì)算幾種技術(shù)發(fā)展后進(jìn)行綜合的結(jié)果，引入了虛擬化等最新技術(shù)。云計(jì)算主要提供的服務(wù)分為IaaS（Infrastructure as a Service基礎(chǔ)架構(gòu)服務(wù)）、PaaS（Platform as a Service平臺(tái)服務(wù)）、SaaS（Software as a Service軟件服務(wù)）。

IaaS服務(wù)提供商通過(guò)提供虛擬機(jī)、服務(wù)器、存儲(chǔ)空間、網(wǎng)絡(luò)帶寬和安全防護(hù)，實(shí)現(xiàn)共享CPU資源池、內(nèi)存資源池、網(wǎng)絡(luò)資源池和存儲(chǔ)資源池，并提供資源需求的彈性伸縮，如亞馬遜數(shù)據(jù)中心即Amazon EC2（Elastic Computer Cloud）。

PaaS云平臺(tái)服務(wù)通過(guò)提供數(shù)據(jù)庫(kù)、開(kāi)發(fā)工具、Web服務(wù)器和軟件運(yùn)行環(huán)境，實(shí)現(xiàn)分布式存儲(chǔ)和分布式計(jì)算技術(shù)對(duì)海量數(shù)據(jù)的分析處理，以提高IT服務(wù)水平和資源的利用率?；ヂ?lián)網(wǎng)比較著名的PaaS包括Google App Engine和Microsoft Azure。

SaaS云應(yīng)用服務(wù)針對(duì)軟件的最終用戶(hù)，而不是軟件開(kāi)發(fā)人員。SaaS服務(wù)提供商為客戶(hù)提供OA系統(tǒng)、電子郵件、虛擬桌面、在線(xiàn)游戲服務(wù)等，用戶(hù)經(jīng)過(guò)認(rèn)證和授權(quán)可以在各種設(shè)備上通過(guò)客戶(hù)端界面訪(fǎng)問(wèn)――通常是Web瀏覽器。

五、采用快速查詢(xún)存儲(chǔ)信息技術(shù)以便提高效率

面對(duì)云計(jì)算和海量數(shù)據(jù)，如何分析和挖掘內(nèi)在價(jià)值是急需考慮的問(wèn)題。

Hadoop是Apache開(kāi)源組織的一個(gè)分布式計(jì)算開(kāi)源框架，在很多大型網(wǎng)站上都已經(jīng)得到了應(yīng)用，如亞馬遜、Facebook和Yahoo等等。

Hadoop框架中最核心的設(shè)計(jì)就是：MapReduce編程模式和HDFS。MapReduce就是“任務(wù)的分解與結(jié)果的匯總”。HDFS是Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System）的縮寫(xiě)，為分布式計(jì)算存儲(chǔ)提供了底層支持。

在分布式系統(tǒng)中，機(jī)器集群就可以看作硬件資源池，將并行的任務(wù)拆分，然后交由每一個(gè)空閑機(jī)器資源去處理，能夠極大地提高計(jì)算效率，同時(shí)這種資源無(wú)關(guān)性，對(duì)于計(jì)算集群的擴(kuò)展無(wú)疑提供了最好的設(shè)計(jì)保證。

HDFS設(shè)計(jì)特點(diǎn)：

1、一個(gè)Block會(huì)有三份備份。

2、心跳檢測(cè)DataNode的健康狀況。

3、balancer命令，來(lái)平衡每一個(gè)DataNode磁盤(pán)利用率。

4、數(shù)據(jù)校驗(yàn)：采用CRC32作數(shù)據(jù)校驗(yàn)。

5、NameNode是單點(diǎn)：如果失敗的話(huà)，任務(wù)處理信息將會(huì)紀(jì)錄在本地文件系統(tǒng)和遠(yuǎn)端的文件系統(tǒng)中。

Hadoop用于分布式運(yùn)算的優(yōu)點(diǎn):

1、可擴(kuò)展：不論是存儲(chǔ)的可擴(kuò)展還是計(jì)算的可擴(kuò)展都是Hadoop的設(shè)計(jì)根本。

2、經(jīng)濟(jì)：框架可以運(yùn)行在任何普通的PC上。

3、可靠：分布式文件系統(tǒng)的備份恢復(fù)機(jī)制以及MapReduce的任務(wù)監(jiān)控保證了分布式處理的可靠性。

4、高效：分布式文件系統(tǒng)的高效數(shù)據(jù)交互實(shí)現(xiàn)以及MapReduce結(jié)合Local Data處理的模式，為高效處理海量的信息作了基礎(chǔ)準(zhǔn)備。

六、建立綠色節(jié)能數(shù)據(jù)中心

信息爆炸時(shí)代已經(jīng)到來(lái)，未來(lái)幾年全球數(shù)據(jù)存儲(chǔ)容量將達(dá)到ZB級(jí)，施耐德電氣IT事業(yè)部中國(guó)區(qū)副總裁/數(shù)據(jù)中心業(yè)務(wù)總經(jīng)理曲穎在《2013通信行業(yè)數(shù)據(jù)中心和大數(shù)據(jù)峰會(huì)》演講中提到：水和空氣的單位是澤。地球上的水總量≈1.4Zg，地球上的空氣質(zhì)量≈0.7ZL，2020年全球數(shù)據(jù)量將突破40ZB，是2012年的12倍，2020年中國(guó)數(shù)據(jù)量將突破8ZB，是2012年的23倍[4]。

中新社未來(lái)將通過(guò)合理規(guī)劃內(nèi)部機(jī)房供電和制冷系統(tǒng)，建立綠色節(jié)能的數(shù)據(jù)中心，提高電源使用效率，將PUE值控制在1.5以下，加快社內(nèi)寬帶網(wǎng)絡(luò)建設(shè)，圖片網(wǎng)站進(jìn)一步與電信服務(wù)商合作，提高數(shù)據(jù)上傳和下載的傳輸速率。建立專(zhuān)業(yè)的存儲(chǔ)技術(shù)研究和技術(shù)服務(wù)團(tuán)隊(duì)，迎接大數(shù)據(jù)存儲(chǔ)時(shí)代的到來(lái)。

第四部分 中新社圖片信息電子化安全存儲(chǔ)措施

圖片信息庫(kù)是中新社業(yè)務(wù)發(fā)展的關(guān)鍵數(shù)據(jù)，要求中新社在數(shù)據(jù)信息安全存儲(chǔ)方面采取如下措施：

一、內(nèi)部數(shù)據(jù)機(jī)房防火防盜

1、保證存儲(chǔ)數(shù)據(jù)機(jī)房24小時(shí)低溫，將溫度和濕度控制在安全范圍。保障存儲(chǔ)設(shè)備安全可靠。

2、檢查配電箱、UPS不間斷電源、空調(diào)設(shè)備是否正常。管理好機(jī)房空調(diào)、機(jī)柜、線(xiàn)路設(shè)備、服務(wù)器和存儲(chǔ)設(shè)備。

3、注意防火和防盜，建立預(yù)警機(jī)制和巡查機(jī)制。

二、保證移動(dòng)硬盤(pán)、SSD固態(tài)硬盤(pán)、CF和SD卡、DVD和CD光盤(pán)安全存儲(chǔ)

1、避免移動(dòng)硬盤(pán)磕碰，掉地。

2、CF卡耗能低，速度快，接口針腳容易彎曲，進(jìn)行插拔時(shí)要小心。

3、保證電子存儲(chǔ)介質(zhì)的存放環(huán)境恒溫恒濕，注意防火和防盜。

三、做好計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)急處理工作

為保證服務(wù)器、電腦和存儲(chǔ)設(shè)備數(shù)據(jù)安全，設(shè)備管理人員要增加風(fēng)險(xiǎn)防范意識(shí)，在電腦上安裝360安全衛(wèi)士和殺毒軟件，在服務(wù)器管理方面完善用戶(hù)訪(fǎng)問(wèn)機(jī)制，嚴(yán)格授權(quán)，監(jiān)控打開(kāi)端口，阻止關(guān)鍵數(shù)據(jù)被竊取，安裝防火墻，防病毒軟件，監(jiān)控路由器，防止復(fù)雜攻擊，如欺騙、分布式拒絕服務(wù)攻擊DDoS和惡意軟件攻擊。網(wǎng)站要做好安全防護(hù)工作，避免網(wǎng)站被篡改，或被植入后門(mén)，防止網(wǎng)站信息被黑客竊取。

結(jié)束語(yǔ)

當(dāng)前，隨著互聯(lián)網(wǎng)及電子商務(wù)的應(yīng)用發(fā)展，存儲(chǔ)在企業(yè)網(wǎng)絡(luò)中的數(shù)據(jù)就成為企業(yè)最珍貴的資產(chǎn)，存儲(chǔ)已不再是附屬于服務(wù)器的輔助備份設(shè)備，日益走向企業(yè)信息系統(tǒng)的核心。信息的有效存儲(chǔ)保護(hù)，備份和災(zāi)難恢復(fù)已成為企業(yè)構(gòu)建IT基礎(chǔ)設(shè)施迫切需要考慮的重要環(huán)節(jié)。數(shù)據(jù)保護(hù)系統(tǒng)的建設(shè)是一個(gè)循序漸進(jìn)的過(guò)程，在進(jìn)行了本地備份系統(tǒng)建設(shè)之后，有必要建立一套可靠的遠(yuǎn)程容災(zāi)系統(tǒng)。當(dāng)災(zāi)難發(fā)生后，通過(guò)備份的數(shù)據(jù)完整、快速、簡(jiǎn)捷、可靠地恢復(fù)原有系統(tǒng)。未來(lái)10年，中國(guó)新聞社技術(shù)團(tuán)隊(duì)通過(guò)與云計(jì)算服務(wù)商合作，有信心有能力迎接大數(shù)據(jù)的到來(lái)，通過(guò)7X24小時(shí)安全防護(hù)，保證服務(wù)器、存儲(chǔ)設(shè)備和網(wǎng)絡(luò)設(shè)備安全運(yùn)行，保證全球新聞發(fā)稿業(yè)務(wù)的連續(xù)性，爭(zhēng)取建設(shè)一個(gè)綠色節(jié)能和智慧化的數(shù)據(jù)中心。