曹春勇
中郵通建設(shè)咨詢有限公司 江蘇南京 210000
云計(jì)算屬于現(xiàn)階段新興的一種共享基礎(chǔ)架構(gòu)的方式,利用云計(jì)算可以將巨大的系統(tǒng)池進(jìn)行連接而后為人們提供各種基礎(chǔ)化的信息服務(wù)。與于并行計(jì)算、分布式計(jì)算以及網(wǎng)絡(luò)計(jì)算的融合與商業(yè)化實(shí)現(xiàn)。
在分布式數(shù)據(jù)管理中主要包括分布式文件系統(tǒng)、鍵值數(shù)據(jù)庫以及列存數(shù)據(jù)庫等。而每一個(gè)不同的系統(tǒng)所針對的數(shù)據(jù)處理環(huán)節(jié)也有所差異。
首先對于分布式文件系統(tǒng)來說,其是根據(jù)Hadoop的HDFS構(gòu)建形成的,而所以HDFS則由數(shù)據(jù)節(jié)點(diǎn)與名字節(jié)點(diǎn)兩個(gè)節(jié)點(diǎn)組合而成。在這其中,名字節(jié)點(diǎn)的主要作用就是負(fù)責(zé)文件數(shù)據(jù)分布以及文件目錄結(jié)構(gòu)等數(shù)據(jù)的管理,而對于數(shù)據(jù)節(jié)點(diǎn)來說,其主要負(fù)責(zé)的工作內(nèi)容就是對實(shí)際業(yè)務(wù)所產(chǎn)生的數(shù)據(jù)進(jìn)行儲(chǔ)存。系統(tǒng)在運(yùn)行的過程中,客戶端需要對名字節(jié)點(diǎn)進(jìn)行頻繁的訪問,從而獲取到相關(guān)有價(jià)值的數(shù)據(jù)信息,也就說明名字節(jié)點(diǎn)是整個(gè)系統(tǒng)的核心,雖然該系統(tǒng)儲(chǔ)存數(shù)據(jù)的可靠性比較高,但是僅僅只支持單一化的名字節(jié)點(diǎn),如果名字節(jié)點(diǎn)一旦崩潰,則會(huì)導(dǎo)致系統(tǒng)無法正常運(yùn)行。因此,為了能夠提高系統(tǒng)運(yùn)行的穩(wěn)定性與可靠性,需要采用更加高科技的元數(shù)據(jù)管理技術(shù),使HDFS可以具有兩個(gè)名字節(jié)點(diǎn),兩個(gè)名字節(jié)點(diǎn)之間可以實(shí)現(xiàn)數(shù)據(jù)的同步,并為數(shù)據(jù)讀取服務(wù)提供便利。
對于多維查詢來說,其屬于整個(gè)數(shù)據(jù)處理過程中一個(gè)非常常用的需求,在進(jìn)行數(shù)據(jù)處理時(shí),經(jīng)常會(huì)出現(xiàn)對組件或者多個(gè)其他索引列進(jìn)行區(qū)域查詢或點(diǎn)查詢的要求。但是在如今的多個(gè)信息系統(tǒng)中,均是采用列存儲(chǔ)數(shù)據(jù)庫,當(dāng)對主鍵以外的其他數(shù)據(jù)進(jìn)行查詢時(shí),效率比較低,所以為了能夠提高工作效率,實(shí)現(xiàn)高性能和低儲(chǔ)存開銷的要求,應(yīng)采用更加高效的索引技術(shù)。
互補(bǔ)聚簇索引屬于一種適用于列存數(shù)據(jù)庫中的分布式索引技術(shù),采用該技術(shù)可以為每一個(gè)查詢列創(chuàng)建專門的查詢列值拼接,形成為主鍵的順序表,也可以將其稱作為互補(bǔ)聚簇索引表,這樣一來,就可以提高查詢的效率。
所以,在進(jìn)行分布式數(shù)據(jù)管理的過程中,應(yīng)該重點(diǎn)關(guān)注數(shù)據(jù)的實(shí)時(shí)同步、故障的切換、數(shù)據(jù)讀取負(fù)載均衡、異常情況的處理以及故障恢復(fù)等功能。
經(jīng)過上述敘述可知,分布式數(shù)據(jù)管理工作中的重點(diǎn)工作內(nèi)容就是對數(shù)據(jù)多節(jié)點(diǎn)進(jìn)行實(shí)時(shí)處理、應(yīng)急處理,以及數(shù)據(jù)備份恢復(fù)等方面,所以作為信息系統(tǒng)的管理監(jiān)理人員,必須要將重點(diǎn)的工作內(nèi)容作為中心,而后開展相應(yīng)的管理與監(jiān)理工作。
根據(jù)多節(jié)點(diǎn)數(shù)據(jù)處理的具體要求進(jìn)行分析,在開展這一項(xiàng)工作時(shí),往往會(huì)涉及到大量的設(shè)備,而且同時(shí)涉及到到貨驗(yàn)收、設(shè)備選型、系統(tǒng)聯(lián)調(diào)以及安裝調(diào)試等多項(xiàng)工作,這樣一來就會(huì)導(dǎo)致應(yīng)急處理、數(shù)據(jù)備份恢復(fù)等工作內(nèi)容,一定會(huì)涉及到安全管理、儲(chǔ)存管理以及風(fēng)險(xiǎn)管理等多方面工作內(nèi)容[1]。
(1)多節(jié)點(diǎn)數(shù)據(jù)處理方案。多節(jié)點(diǎn)也等同于多業(yè)務(wù)流程、多標(biāo)準(zhǔn)格式等方面,因此為了能夠使布局更加合理化,實(shí)現(xiàn)節(jié)約成本的目的,可采取以下三種數(shù)據(jù)處理策略。
首先,是以點(diǎn)帶面,全面開花,因?yàn)槊恳粋€(gè)節(jié)點(diǎn)的具體實(shí)施情況有所差異,而且地區(qū)的發(fā)展情況、信息化水平也有所不同,所以可以先對部分節(jié)點(diǎn)進(jìn)行試點(diǎn)部署與調(diào)研,總結(jié)相關(guān)的工作經(jīng)驗(yàn)與工作教訓(xùn),從而形成更加規(guī)范化的總結(jié)報(bào)告,從中提煉出更加優(yōu)化的措施與方法,而后推廣實(shí)施,對每一個(gè)節(jié)點(diǎn)進(jìn)行宣傳與貫徹;其次是實(shí)施未,動(dòng)標(biāo)準(zhǔn)先行。在實(shí)際的項(xiàng)目開始之前,應(yīng)該全面的考慮每一個(gè)節(jié)點(diǎn)的具體情況,使所有節(jié)點(diǎn)都可以保持統(tǒng)一化的思想,并總結(jié)前期部分試點(diǎn)所取得的經(jīng)驗(yàn)和教訓(xùn),將此作為依據(jù),形成完善化的標(biāo)準(zhǔn)與規(guī)范,最后在整個(gè)建設(shè)范圍內(nèi)進(jìn)行貫徹與落實(shí);最后是區(qū)域劃分合理分組,在實(shí)際進(jìn)行驗(yàn)收時(shí),該將就近劃分作為主要的原則,并合理劃分工作小組,指定專門的人選作為小組負(fù)責(zé)人,落實(shí)責(zé)任制度,從而確保項(xiàng)目可以順利開展與完成。
(2)多節(jié)點(diǎn)數(shù)據(jù)處理方法。首先應(yīng)審核關(guān)鍵的設(shè)備,在選擇系統(tǒng)軟件型號(hào)前,應(yīng)該明確實(shí)際的需求和整個(gè)系統(tǒng)的具體規(guī)劃情況,只有這樣才可以選擇出更加具有針對性的系統(tǒng)軟件類型。在選型時(shí)也要充分的考慮預(yù)算情況。重點(diǎn)關(guān)注系統(tǒng)選型的基本核心要素,其中主要包括穩(wěn)定性、技術(shù)性、安全性、先進(jìn)性以及針對性等,具體的設(shè)備選型方法如圖1所示。
其次應(yīng)做好設(shè)備的驗(yàn)收工作,監(jiān)理工作的主要內(nèi)容就是對軟硬件設(shè)備的供貨證明、出廠合格證、配件表、說明書以及出廠合格證等文件資料信息進(jìn)行驗(yàn)收,如果設(shè)備經(jīng)過進(jìn)口渠道,則應(yīng)驗(yàn)收其相關(guān)的海關(guān)證明文件[2-3]。
最后,應(yīng)做好系統(tǒng)的調(diào)試工作,監(jiān)理工作應(yīng)全程介入到系統(tǒng)集成工程項(xiàng)目的具體實(shí)施中,對其進(jìn)行有目的的參與、檢查和跟蹤,及時(shí)發(fā)現(xiàn)其中存在的問題,并督促相關(guān)的單位或人員進(jìn)行改正。
總之,無論新興的技術(shù)發(fā)生任何形式的變化,其本質(zhì)都是基于傳統(tǒng)技術(shù)的眼神,因此,應(yīng)對傳統(tǒng)的監(jiān)理手段進(jìn)行創(chuàng)新與延伸,合理的利用信息系統(tǒng)完成監(jiān)理工作,發(fā)揮云計(jì)算的價(jià)值與作用。