智能制造解決航天問題

大數(shù)據(jù)在產(chǎn)業(yè)趨勢中分為幾個階段：第一個階段是性能擴(kuò)展階段，即依靠分布式計算手段，提升了處理的能力，實現(xiàn)了大數(shù)據(jù)分析能力的拓展。這個階段要解決數(shù)據(jù)的采集和查詢需求。

第二個階段是資源管理階段。這個階段形成了包括虛擬化、容器技術(shù)等一系列相關(guān)的技術(shù)體系。將虛擬化等技術(shù)和大數(shù)據(jù)結(jié)合，實現(xiàn)了資源管理，讓數(shù)據(jù)中心更加良性地發(fā)展，讓資源更加地合理分配和應(yīng)用。

第三個階段是發(fā)現(xiàn)價值階段。在前面兩個階段我們?nèi)〉昧艘恍┘夹g(shù)突破，接下來就進(jìn)入深水區(qū)去發(fā)現(xiàn)價值。目前我們處在這一階段，建立數(shù)據(jù)治理體系，讓數(shù)據(jù)變成一種價值，是我們當(dāng)下需要解決的事情。

為何提出大數(shù)據(jù)一體化解決方案？

我們可以實時分析應(yīng)用場景，如航天軌道發(fā)射過程中的軌道分析、生產(chǎn)過程中質(zhì)量的籌建、即時查詢、多維分析、交互式分析、可視化展示、離線分析，還有數(shù)據(jù)清洗、指標(biāo)統(tǒng)計、主題建模，都是分析場景解決的問題。

我們擁有數(shù)據(jù)、工具、模型、方法。數(shù)據(jù)：需要把所有的數(shù)據(jù)按照它的含義關(guān)聯(lián)標(biāo)定，構(gòu)建一個數(shù)據(jù)網(wǎng)絡(luò)。工具：有哪些工具能解決分析的問題。模型：數(shù)據(jù)可以通過工具產(chǎn)生模型，不同的建模手段產(chǎn)生的不同模型，和數(shù)據(jù)之間存在關(guān)聯(lián)。方法：發(fā)現(xiàn)數(shù)據(jù)價值的方法和設(shè)計思想，并構(gòu)建信息社交體系，讓航天所有分析數(shù)據(jù)的人員形成一個整體的分析社交網(wǎng)絡(luò)，通過這個網(wǎng)絡(luò)生成一個模型的交互式模式。這個平臺發(fā)布的不再是給領(lǐng)導(dǎo)看的一張報表，而是讓所有的信息在人員之間流通起來。

為此，一方面我們提出航天大數(shù)據(jù)一體化解決方案，從采集、存儲、分析、可視化展示和搭建整個能力的建設(shè)；另一方面，我們有資源云的設(shè)計，建立一個信息資產(chǎn)平臺，讓大家在平臺上展開社交。

實現(xiàn)智能制造解決航天問題

我們整體產(chǎn)品理念：融入大數(shù)據(jù)開源生態(tài)，依托生態(tài)形成完整的大數(shù)據(jù)解決方案；整合上下游產(chǎn)業(yè)生態(tài)，形成商業(yè)大數(shù)據(jù)私有云“交鑰匙”工程；突破結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲難題，同時支撐秒級檢索和高效分析；建立以數(shù)據(jù)為中心的大數(shù)據(jù)治理生態(tài)體系；圍繞行業(yè)數(shù)據(jù)價值，在數(shù)據(jù)分析算法上形成突破。

在數(shù)據(jù)接入層，我們針對復(fù)雜異構(gòu)數(shù)據(jù)、日志類數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)特點，分別構(gòu)建ETL采集系統(tǒng)、實時數(shù)據(jù)接入系統(tǒng)和網(wǎng)絡(luò)爬蟲系統(tǒng)，滿足數(shù)據(jù)接入業(yè)務(wù)需求。ETL采集系統(tǒng)將采集到的數(shù)據(jù)，經(jīng)實時計算平臺進(jìn)入統(tǒng)一加載平臺，最后融入我們的數(shù)據(jù)存儲平臺。

在數(shù)據(jù)的存儲層，首先要解決結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲問題。目前傳統(tǒng)的存儲雖能解決一些問題，但只能滿足某一類業(yè)務(wù)需求。

而要將結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲，需要滿足檢索、統(tǒng)計、范圍這三類業(yè)務(wù)需求。我們通過專利儲存索引技術(shù)—行列混合壓縮、粗粒度摘要檢索和稀疏Hash索引，有效地解決了這些問題。

在將分析引擎和存儲引擎進(jìn)行對接的層面上，我們擁有以基于數(shù)據(jù)分布感知的存儲層二階段數(shù)據(jù)訪問協(xié)議為界面的分析系統(tǒng)融合方案。

上層的計算引擎可以是Spark RDD/DataFrame、MPI、Hadoop MR等；在存儲層，為結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)構(gòu)建了統(tǒng)一的存儲系統(tǒng)，通過這種方式進(jìn)行位置感知。文本挖掘技術(shù)以結(jié)構(gòu)化數(shù)據(jù)挖掘MPP框架為核心，針對文本數(shù)據(jù)，建立以分詞為中心的自然語言處理體系，并為常用場景預(yù)置通用分析算法。

在資源層面，神軟智匯云平臺可以提供長時服務(wù)和一次性服務(wù)：長時服務(wù)是指服務(wù)啟動之后一直在運(yùn)行，服務(wù)內(nèi)計算作業(yè)資源管理由服務(wù)負(fù)責(zé)；一次性服務(wù)是指服務(wù)啟動后僅運(yùn)行調(diào)度作業(yè)，服務(wù)內(nèi)計算作業(yè)資源運(yùn)行時動態(tài)申請。長時服務(wù)可以提供毫秒，一次性提供的是離線分析內(nèi)容。

在數(shù)據(jù)治理層面，我們把整個數(shù)據(jù)按照技術(shù)和業(yè)務(wù)進(jìn)行分析，實現(xiàn)資產(chǎn)的統(tǒng)一管理，可以構(gòu)建信息資產(chǎn)庫，在數(shù)據(jù)中建立不同的數(shù)據(jù)庫和模型，將所有這些整合在一起形成信息地圖。通過信息地圖，使信息資產(chǎn)流動，從而實現(xiàn)共享和交換，最終構(gòu)建信息社交體系。

在案例方面，作為航天企業(yè)，首先解決是工業(yè)大數(shù)據(jù)的問題。在工業(yè)大數(shù)據(jù)體系中，我們要解決銷售、制造、設(shè)計和供應(yīng)鏈的整合。通過這種方式實現(xiàn)智能制造—智能設(shè)計、智能監(jiān)控、智能管理、智能生產(chǎn)的大平臺，來解決航天的問題。（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）