云邊端協(xié)同技術(shù)發(fā)展助推生態(tài)融合

王德政

打破數(shù)據(jù)孤島，構(gòu)建云上數(shù)據(jù)安全體系極為重要，中興將會(huì)在這兩個(gè)方面為企業(yè)提供持續(xù)的、強(qiáng)有力的技術(shù)支持。

我今天的演講題目是《云邊端協(xié)同發(fā)展生態(tài)融合》，我希望從當(dāng)前面臨哪些問(wèn)題，如何解決這些問(wèn)題，這兩個(gè)角度展開今天的演講。

大數(shù)據(jù)市場(chǎng)仍然處于高速增長(zhǎng)期，數(shù)據(jù)成為社會(huì)的重要資產(chǎn)已經(jīng)得到了整個(gè)行業(yè)的共識(shí)。我們?cè)鯓訌臄?shù)據(jù)中挖掘價(jià)值，成為每個(gè)應(yīng)用系統(tǒng)必須解決的問(wèn)題。在數(shù)據(jù)處理方面，我們面臨兩個(gè)挑戰(zhàn)：一是業(yè)務(wù)挑戰(zhàn)。在數(shù)據(jù)虛擬過(guò)程中，每次都需要建造一個(gè)系統(tǒng)去解決問(wèn)題，最后建立出了“煙囪”系統(tǒng)，這些“煙囪”系統(tǒng)會(huì)形成數(shù)據(jù)孤島，提高成本，還引發(fā)了標(biāo)準(zhǔn)、數(shù)據(jù)不統(tǒng)一、數(shù)據(jù)與業(yè)務(wù)之間割裂的問(wèn)題，懂業(yè)務(wù)的人不懂?dāng)?shù)據(jù)，懂?dāng)?shù)據(jù)的人不懂業(yè)務(wù)，造成了鴻溝。數(shù)據(jù)的價(jià)值挖掘重度依賴于從業(yè)人員的經(jīng)驗(yàn)，我們嘗試把AI嵌入到數(shù)字處理系統(tǒng)中，但這樣的系統(tǒng)仍然重度依賴專家經(jīng)驗(yàn)。二是數(shù)據(jù)架構(gòu)的挑戰(zhàn)。數(shù)據(jù)的傳輸負(fù)載很高，實(shí)時(shí)響應(yīng)能力比較差，安全程度比較低，一點(diǎn)被攻破整個(gè)數(shù)據(jù)全部摧毀。云邊協(xié)同還會(huì)帶來(lái)新的難題，如，在云邊協(xié)同如何進(jìn)行多點(diǎn)數(shù)據(jù)管理？如何協(xié)同計(jì)算？如何保證數(shù)據(jù)安全？

我們開始著手開發(fā)融合開放的數(shù)據(jù)管理技術(shù)以解決云邊端協(xié)同的問(wèn)題，這一方案能夠加強(qiáng)云邊端協(xié)同數(shù)據(jù)的安全性，同時(shí)我們還借助數(shù)據(jù)計(jì)算技術(shù)，進(jìn)行計(jì)算協(xié)同、需要協(xié)同擴(kuò)展，最后把這些技術(shù)組合在一起，建設(shè)跨云邊端協(xié)同的一站式智能平臺(tái)，提供一站式解決方案。

跨云邊端協(xié)同一站式平臺(tái)需要靈活多樣的部署。如今的云環(huán)境需要大規(guī)模的集成擴(kuò)張。我們需要保障全鏈路的數(shù)據(jù)安全，從數(shù)據(jù)采集、集成、建模到形成數(shù)據(jù)應(yīng)用、應(yīng)用開發(fā)，再到制定數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)質(zhì)量過(guò)程的可靠性。某一個(gè)環(huán)節(jié)采用人工，或者是工具和工具之間有斷層，會(huì)給數(shù)據(jù)的處理帶來(lái)非常大的問(wèn)題。

而數(shù)據(jù)管理技術(shù)還有一個(gè)重要的特征，就是需要統(tǒng)一的數(shù)據(jù)服務(wù)，而統(tǒng)一的數(shù)據(jù)服務(wù)要針對(duì)不同的側(cè)面，如針對(duì)用戶區(qū)分，劃分用戶角色和權(quán)限，對(duì)于不同用戶提供接口、查看、回溯;針對(duì)數(shù)據(jù)來(lái)源對(duì)數(shù)據(jù)分類、隱私、權(quán)限提供相應(yīng)的接口;針對(duì)數(shù)據(jù)價(jià)值，提供相應(yīng)的審批流程、價(jià)值HR主動(dòng)推送、HR價(jià)值調(diào)整回溯等。

高效可靠的數(shù)據(jù)安全技術(shù)的一個(gè)重要的特征或者說(shuō)是技術(shù)變化趨勢(shì)，就是需要提供細(xì)粒度的安全管控。多租戶架構(gòu)現(xiàn)在已經(jīng)成為標(biāo)準(zhǔn)，幾乎所有大數(shù)據(jù)管理系統(tǒng)都會(huì)提供相應(yīng)的多租戶管理，采用多租戶去隔離不同租戶之間的計(jì)算、存儲(chǔ)資源、業(yè)務(wù)數(shù)據(jù)，從而保障數(shù)據(jù)安全。但是對(duì)于細(xì)粒度的安全管控，業(yè)界實(shí)現(xiàn)得并不多。我們要設(shè)計(jì)支持多種脫密進(jìn)行分級(jí)管理的數(shù)據(jù)保護(hù)策略，有效保護(hù)數(shù)據(jù)隱私。

作為高效可靠的數(shù)據(jù)計(jì)算技術(shù)，大數(shù)據(jù)脫敏技術(shù)在未來(lái)會(huì)非常重要。傳統(tǒng)的方案是采用中間件去實(shí)現(xiàn)數(shù)據(jù)脫敏，就是從數(shù)據(jù)庫(kù)提取數(shù)據(jù)，通過(guò)中間件實(shí)現(xiàn)脫敏。這種處理在數(shù)據(jù)量較小的情況下能夠發(fā)揮效能，但在P級(jí)別數(shù)據(jù)量情況下基本不可用。我們?cè)谠贫诉M(jìn)行集中管理，把策略部署在離數(shù)據(jù)最近的地方，將這些策略和算法下移至代理處。讓代理直接在離相應(yīng)數(shù)據(jù)最近的地方執(zhí)行相應(yīng)的脫敏，最后將脫敏之后的數(shù)據(jù)歸類和整合，向用戶輸出。這種模式可以對(duì)P級(jí)數(shù)據(jù)量進(jìn)行較好的處理。

協(xié)同擴(kuò)展的數(shù)據(jù)計(jì)算技術(shù)也十分重要。未來(lái)我們將會(huì)有18核的計(jì)算任務(wù)。中興通訊目前使用Adlik（深度學(xué)習(xí)推理優(yōu)化工具），在模型優(yōu)化后，進(jìn)行編譯并部署。而這種部署，可能在云端，也可能在計(jì)算能力很弱的環(huán)境下。我們可以針對(duì)不同環(huán)境對(duì)模型進(jìn)行編譯、擴(kuò)展部署。

可視化的探索臺(tái)也是我們聚焦的關(guān)鍵點(diǎn)。可視化工具影響著效率，通過(guò)可視化工具我們可以實(shí)現(xiàn)通用拖拽式的AI建模、拼接，最后把模型組合起來(lái)，形成算法。也可以采用數(shù)據(jù)驅(qū)動(dòng)的方式，啟動(dòng)不同的數(shù)據(jù)。如果我們將AI建立在大數(shù)據(jù)基礎(chǔ)上，它可以進(jìn)行深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、聯(lián)邦學(xué)習(xí)。這個(gè)平臺(tái)為其不同的學(xué)習(xí)模式提供了一站式解決方案。對(duì)于大數(shù)據(jù)平臺(tái)，探索臺(tái)關(guān)聯(lián)的數(shù)據(jù)庫(kù)都可以提供相應(yīng)的數(shù)據(jù)接口。這也是可視化模型探索臺(tái)應(yīng)該具備的特征。

未來(lái)技術(shù)發(fā)展有兩個(gè)趨勢(shì)。第一個(gè)趨勢(shì)是能力的下沉。邊緣云架構(gòu)會(huì)持續(xù)把能力往邊緣、終端下沉，終端將有更多能力部署任務(wù)。對(duì)于一些計(jì)算量、數(shù)據(jù)傳輸量特別大，對(duì)于數(shù)據(jù)傳輸時(shí)延非常高的業(yè)務(wù)，處理要盡可能去接近數(shù)據(jù)，才能滿足業(yè)務(wù)需求、實(shí)現(xiàn)數(shù)據(jù)KPI。如果全部傳輸?shù)皆贫?，像自?dòng)駕駛這樣的領(lǐng)域就無(wú)法滿足需求。第二個(gè)趨勢(shì)是生態(tài)融合，現(xiàn)在大數(shù)據(jù)基于flink生態(tài)，但是生態(tài)正在持續(xù)不斷的演進(jìn)、融合，我們的技術(shù)需要滿足以下幾個(gè)特征：第一，技術(shù)要去適應(yīng)極大的或極小的彈性工作環(huán)境。第二，容器裸金屬一體化管理協(xié)同。第三，異構(gòu)跨集群數(shù)據(jù)協(xié)同，也就是說(shuō)數(shù)據(jù)、計(jì)算可能是異構(gòu)的，計(jì)算資源、基礎(chǔ)設(shè)施也可能是異構(gòu)的。要實(shí)現(xiàn)這些具有異構(gòu)特征資源的協(xié)同工作。第四，存儲(chǔ)和計(jì)算分離，目前的數(shù)據(jù)庫(kù)在存儲(chǔ)和計(jì)算上基本上都采用一種綁定策略。未來(lái)計(jì)算資源跟存儲(chǔ)并不會(huì)協(xié)同增長(zhǎng)，而是各自與業(yè)務(wù)增長(zhǎng)曲線相連。計(jì)算與存儲(chǔ)分離，將會(huì)成為系統(tǒng)的發(fā)展趨勢(shì)。

（根據(jù)演講內(nèi)容整理，未經(jīng)本人審核）