錢雁
摘要:本文簡要分析和描述了大數(shù)據(jù)在海事管理中的場(chǎng)景及應(yīng)用,并就面臨的挑戰(zhàn)探討相關(guān)對(duì)策。
關(guān)鍵詞:大數(shù)據(jù) 海事管理 場(chǎng)景及應(yīng)用挑戰(zhàn) 對(duì)策
0 引 言
大數(shù)據(jù)(big data)是具有5V特征--Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值)、Veracity(真實(shí)性)的數(shù)據(jù),涉及的數(shù)據(jù)集合規(guī)模非常龐大,需要更強(qiáng)的決策力、洞察力和流程優(yōu)化能力對(duì)其進(jìn)行運(yùn)算。
李克強(qiáng)總理在2015年政府工作報(bào)告中,首次提出“互聯(lián)網(wǎng)+”行動(dòng)計(jì)劃,推動(dòng)移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等的發(fā)展。同時(shí),國務(wù)院印發(fā)了《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》,可見大數(shù)據(jù)在當(dāng)今信息化時(shí)代的巨大影響力。海事管理機(jī)構(gòu)在這樣的背景下,應(yīng)積極嘗試將大數(shù)據(jù)與海事管理相結(jié)合,深入開展數(shù)據(jù)挖掘,讓大數(shù)據(jù)應(yīng)用到海事現(xiàn)代化監(jiān)管與服務(wù)中。
1大數(shù)據(jù)在海事管理中的應(yīng)用
交通運(yùn)輸部海事局組織編制的《海事信息系統(tǒng)頂層設(shè)計(jì)報(bào)告》,制定了“一個(gè)目標(biāo)、二個(gè)模型、四套體系”的總體架構(gòu),根據(jù)系統(tǒng)頂層設(shè)計(jì)的核心精神。楊浦海事局利用大數(shù)據(jù)在船舶動(dòng)態(tài)評(píng)價(jià)體系建設(shè)上做出了積極探索和實(shí)踐,將船舶管理系統(tǒng)、AIS信息服務(wù)平臺(tái)和船載危險(xiǎn)貨物申報(bào)系統(tǒng)等數(shù)據(jù)整合到“國內(nèi)航行船舶現(xiàn)場(chǎng)監(jiān)管和自動(dòng)選船系統(tǒng)”(簡稱“選船系統(tǒng)”),AIS識(shí)別到的船舶被自動(dòng)計(jì)算出風(fēng)險(xiǎn)值和優(yōu)先等級(jí),目標(biāo)船及現(xiàn)場(chǎng)監(jiān)管重點(diǎn)變得一目了然,避免了重復(fù)檢查,改變過去人工選船的盲目低效,變?yōu)橄到y(tǒng)自動(dòng)“抓取”的精準(zhǔn)高效,實(shí)現(xiàn)了海事監(jiān)管從“汗水型”向“智慧型”的轉(zhuǎn)變,“選船系統(tǒng)”于2016年7月1日已在上海、天津、山東海事局試點(diǎn)運(yùn)行,積累了一定的現(xiàn)場(chǎng)應(yīng)用經(jīng)驗(yàn)。
1.1開發(fā)選船的數(shù)學(xué)模型,用數(shù)據(jù)進(jìn)行客觀的決策
在信息不對(duì)稱的條件下,經(jīng)驗(yàn)可有效提高工作效率,但隨著數(shù)據(jù)的積累,經(jīng)驗(yàn)明顯滯后,對(duì)不同個(gè)體也不盡適用,對(duì)新事物新變化無法把握。目前設(shè)計(jì)的選船系統(tǒng)充分考慮了船舶的各項(xiàng)信息,并結(jié)合船舶綜合管理的理念來進(jìn)行數(shù)據(jù)建模,通過船舶、公司、風(fēng)險(xiǎn)、績效等多維度交叉分析實(shí)現(xiàn)數(shù)字化選船,讓數(shù)據(jù)進(jìn)行客觀決策,通過“互聯(lián)網(wǎng)+海事監(jiān)管與服務(wù)”思維運(yùn)用,實(shí)現(xiàn)海事現(xiàn)場(chǎng)監(jiān)管的智能化、信息化。選船系統(tǒng)模型開發(fā)遵循:
(1)符合海事監(jiān)管與服務(wù)的相關(guān)規(guī)范要求
(2)系統(tǒng)設(shè)計(jì)應(yīng)嚴(yán)格執(zhí)行有關(guān)規(guī)范并充分考慮用戶的需求
(3)綜合考慮各種資源,避免重復(fù)建設(shè),降低運(yùn)營成本
(4)系統(tǒng)應(yīng)具有較強(qiáng)的容錯(cuò)能力,具有完善的系統(tǒng)恢復(fù)和安全機(jī)制
(5)系統(tǒng)方案在滿足現(xiàn)狀的情況下,充分考慮將來的發(fā)展,具備良好的擴(kuò)展性。
1.2多維度建立數(shù)據(jù)關(guān)聯(lián),解決數(shù)據(jù)孤島問題
海事管理涉及人、船、環(huán)境等多個(gè)方面,與之相配套的管理系統(tǒng)各地不盡相同,信息不聯(lián)通也未實(shí)現(xiàn)共享,海事監(jiān)管雖然積累了眾多數(shù)據(jù),但信息孤島現(xiàn)象也逐漸凸現(xiàn)出來。如何將船舶基本數(shù)據(jù)、安全檢查、事故調(diào)查、行政處罰、重點(diǎn)跟蹤及協(xié)查船舶等分類信息有效集中并加以利用,是重中之重。楊浦海事局探索了一套行之有效的數(shù)據(jù)關(guān)聯(lián)方法,建立集中數(shù)據(jù)服務(wù),以船舶為中心,與之相關(guān)的船員、公司以及歷史信息進(jìn)行收集、整理、漂洗后有機(jī)結(jié)合在一起,形成用于選船的數(shù)據(jù)集市,不但解決了數(shù)據(jù)孤島問題,而且可以構(gòu)建開放的數(shù)據(jù)流動(dòng)生態(tài)。
1.3讓數(shù)據(jù)發(fā)揮其效能
如何在有限的資源條件下讓海事數(shù)據(jù)的效益得以最大化是非常值得研究的課題,通過對(duì)船舶數(shù)據(jù)進(jìn)行更深入的統(tǒng)計(jì)分析和預(yù)測(cè),則會(huì)有很多有價(jià)值的信息可以開發(fā),讓船舶監(jiān)控逐步智能化,發(fā)揮海事機(jī)構(gòu)更大管理效能,提高監(jiān)管針對(duì)性,讓船舶更安全。
2 大數(shù)據(jù)對(duì)海事管理的挑戰(zhàn)
2.1 數(shù)據(jù)共享難以實(shí)現(xiàn)
海事管理的大數(shù)據(jù)覆蓋范圍很廣,比如船舶基本數(shù)據(jù)、登記注冊(cè)信息、安全檢查、事故調(diào)查、行政處罰、重點(diǎn)跟蹤及協(xié)查船舶等分類管理信息,目前散亂分布在各個(gè)業(yè)務(wù)系統(tǒng)、各港口海事部門,而各港口之間的信息并沒有全部互聯(lián)互通,各港口海事部門僅掌握本轄區(qū)船舶在本港的數(shù)據(jù)信息,無法獲得該船舶的全部營運(yùn)狀況信息。數(shù)據(jù)不能共享使用,對(duì)大數(shù)據(jù)的價(jià)值挖掘形成桎梏,在建立健康、有效的海事大數(shù)據(jù)生態(tài)圈過程中,數(shù)據(jù)共享問題亟待解決。
2.2 數(shù)據(jù)有待挖掘利用
海事管理信息系統(tǒng)經(jīng)過十幾年的發(fā)展,無論從業(yè)務(wù)還是技術(shù)的角度看都是一個(gè)復(fù)雜的大集合系統(tǒng),信息覆蓋范圍廣、信息量大、來源分散、結(jié)構(gòu)復(fù)雜,特別是系統(tǒng)中既有結(jié)構(gòu)化數(shù)據(jù),也有非結(jié)構(gòu)化數(shù)據(jù)。面對(duì)龐大的數(shù)據(jù)金礦,數(shù)據(jù)挖掘與數(shù)據(jù)分析已經(jīng)成為發(fā)展大數(shù)據(jù)的“瓶頸”。
首先,在當(dāng)前的技術(shù)條件下,往往處理數(shù)據(jù)和形成報(bào)告需要花費(fèi)大量時(shí)間,而忽略了挖掘,大數(shù)據(jù)若不經(jīng)過挖掘、提煉,便無法體現(xiàn)其價(jià)值。目前,海事管理系統(tǒng)數(shù)據(jù)庫對(duì)大量的海事數(shù)據(jù)利用程度不夠,對(duì)數(shù)據(jù)的關(guān)聯(lián)性和精確性也未引起足夠關(guān)注,不斷增加的數(shù)據(jù)不但沒有帶來價(jià)值卻帶來巨大的存儲(chǔ)負(fù)擔(dān)。
其次,隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,特別是Internet和Intranet技術(shù)的飛快發(fā)展,使得非結(jié)構(gòu)化數(shù)據(jù)的量級(jí)日趨增大,之前用于管理的結(jié)構(gòu)化數(shù)據(jù)關(guān)系數(shù)據(jù)庫的局限性日益明顯,數(shù)據(jù)庫技術(shù)也步入了“后關(guān)系數(shù)據(jù)庫時(shí)代”。對(duì)大量非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行有效的數(shù)據(jù)挖掘,將是海事管理信息系統(tǒng)的一項(xiàng)挑戰(zhàn)。非結(jié)構(gòu)化文本處理可以通過三種途徑展開:
(1)智能化理解,對(duì)文本進(jìn)行量化,確定一段文字的信息要素,再進(jìn)一步分析,并轉(zhuǎn)化成結(jié)構(gòu)化的數(shù)據(jù)輸出到預(yù)測(cè)模型。
(2)處理復(fù)雜文本,可以將兩種或更多數(shù)據(jù)源一起進(jìn)行分析,以獲得深刻的見解。
(3)實(shí)體提取和語義分析,并以圖表的方式存儲(chǔ)在一個(gè)關(guān)系型數(shù)據(jù)庫中。
再者,對(duì)數(shù)據(jù)進(jìn)行合理分類分析。按海事管理的要求對(duì)大數(shù)據(jù)的特征進(jìn)行標(biāo)注,與合適的大數(shù)據(jù)進(jìn)行模式匹配,包括:如何收集、分析和處理數(shù)據(jù)。下圖詳細(xì)的說明了數(shù)據(jù)分類方法及層次劃分。endprint
最后,選擇合適的技術(shù)框架以適應(yīng)業(yè)務(wù)場(chǎng)景來有效地提高工作效率。與傳統(tǒng)的數(shù)據(jù)分析相比,大數(shù)據(jù)在分析模型和算法本身沒有大的突破,但數(shù)據(jù)的處理能力與應(yīng)用方式具有革命性變化,特別是大數(shù)據(jù)量下的執(zhí)行效率及處理能力的并行化。目前比較成熟的技術(shù)框架,有MapReduce、Spark等。
(1)Hadoop的MapReduce框架,通過優(yōu)化資源調(diào)度與利用將任務(wù)分解成適合執(zhí)行的映射-整理-歸納過程,分布在不同的機(jī)器上運(yùn)行,同時(shí)加強(qiáng)了容錯(cuò)性和可用性,實(shí)現(xiàn)了對(duì)海量數(shù)據(jù)的處理。
(2)Spark采用了基于有向圖(DAG)的計(jì)算框架,將計(jì)算任務(wù)分解為多個(gè)并行任務(wù),使用RDD(彈性分布數(shù)據(jù)集)數(shù)據(jù)模型,中間數(shù)據(jù)放入內(nèi)存高效共享,避免頻繁磁盤讀寫對(duì)處理速度的損耗,實(shí)現(xiàn)高效率計(jì)算,對(duì)社交網(wǎng)絡(luò)分析、機(jī)器學(xué)習(xí)、流處理等場(chǎng)景具備良好支撐能力。
2.3 數(shù)據(jù)安全需關(guān)注
由于海事管理信息數(shù)據(jù)的極速增長,也給數(shù)據(jù)安全防護(hù)和信息隱私保護(hù)帶來極大的挑戰(zhàn)。若系統(tǒng)遭黑客入侵帶來信息安全隱患甚至導(dǎo)致信息系統(tǒng)崩潰。究其原因,主要來自對(duì)系統(tǒng)數(shù)據(jù)監(jiān)督管理不嚴(yán)、制度標(biāo)準(zhǔn)不銜接等問題,可從以下技術(shù)上予以改進(jìn):
(1)完全控制數(shù)據(jù)流從一個(gè)應(yīng)用系統(tǒng)到另一個(gè)系統(tǒng)的流程,清晰密鑰管理和訪問管理的界限,完善的關(guān)鍵控制策略。
(2)控制好內(nèi)部的數(shù)據(jù)中心私有云、混合環(huán)境中公共云的數(shù)據(jù)存儲(chǔ)安全控制。
(3)使用足夠安全的驗(yàn)證加密算法。在大數(shù)據(jù)應(yīng)用中,采集數(shù)據(jù),數(shù)據(jù)交互,保護(hù)隱私,都是大數(shù)據(jù)安全的責(zé)任所在。
2.4 海事管理數(shù)據(jù)標(biāo)準(zhǔn)仍缺失
在海事管理大數(shù)據(jù)的背景下,數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一問題是制約海事管理智能化發(fā)展的掣肘?,F(xiàn)有的多套海事管理信息系統(tǒng)由不同的企業(yè)開發(fā)提供,沒有制式標(biāo)準(zhǔn),數(shù)據(jù)不能貫通,無法統(tǒng)一整合。若想構(gòu)建一體化的海事集成數(shù)據(jù)平臺(tái),需要在數(shù)據(jù)規(guī)范上進(jìn)行統(tǒng)一,實(shí)現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化。
3 加快發(fā)展海事大數(shù)據(jù)的對(duì)策
3.1 加強(qiáng)組織領(lǐng)導(dǎo)
在發(fā)展海事監(jiān)管大數(shù)據(jù)工作中,海事各級(jí)管理機(jī)構(gòu)應(yīng)按照交通運(yùn)輸部海事局在數(shù)據(jù)頂層設(shè)計(jì)上的思路,統(tǒng)一思想,把發(fā)展海事大數(shù)據(jù)作為重要任務(wù)來執(zhí)行,明確發(fā)展目標(biāo)、通過科學(xué)建設(shè)步驟、規(guī)范化的配套措施,強(qiáng)有力的組織保證,堅(jiān)持高質(zhì)量建設(shè)、高水平管理、高效益使用,科學(xué)有序地發(fā)展海事大數(shù)據(jù)。
3.2 完善配套法規(guī)制度
海事大數(shù)據(jù)需依靠完善的規(guī)章制度,明確責(zé)任分工,從制度建設(shè)上優(yōu)化資源配置,實(shí)行數(shù)據(jù)共享和安全保護(hù),實(shí)現(xiàn)數(shù)據(jù)的規(guī)范管理及有效利用。在數(shù)據(jù)安全方面,建立強(qiáng)而可靠的攻擊防范措施,最大程度控制信息泄露風(fēng)險(xiǎn),保障網(wǎng)絡(luò)數(shù)據(jù)安全。在保證數(shù)據(jù)安全的前提下,通過數(shù)據(jù)共享模式,促進(jìn)數(shù)據(jù)資源流通,提高數(shù)據(jù)資源使用率。
3.3 建立健全行業(yè)標(biāo)準(zhǔn)
加快制定統(tǒng)一的海事管理數(shù)據(jù)標(biāo)準(zhǔn),對(duì)數(shù)據(jù)分類、數(shù)據(jù)接口、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)共享、數(shù)據(jù)開放等通過標(biāo)準(zhǔn)的方式進(jìn)行規(guī)范管理,并與國際標(biāo)準(zhǔn)對(duì)接,集約整合、協(xié)同開發(fā),提高海事大數(shù)據(jù)的精準(zhǔn)性和有效性,滿足海事監(jiān)管與服務(wù)的多樣化需求。
3.4 重視人才隊(duì)伍建設(shè)
人才在海事大數(shù)據(jù)建設(shè)過程中的推動(dòng)作用不言而喻,必須充分重視培養(yǎng)既懂海事業(yè)務(wù)又懂?dāng)?shù)據(jù)的專業(yè)性人才,鼓勵(lì)、引導(dǎo)創(chuàng)新,建立多層次、復(fù)合型的大數(shù)據(jù)人才隊(duì)伍,引進(jìn)社會(huì)先進(jìn)資源,共同交流研發(fā),培養(yǎng)符合社會(huì)發(fā)展需要的海事創(chuàng)新型人才。
參考文獻(xiàn):
[1] 劉智慧.張泉靈.大數(shù)據(jù)技術(shù)研究綜述[J].浙江大學(xué)學(xué)報(bào):工學(xué)版,2014,48(6):1-16.
[2] 陶雪嬌,胡要峰,劉洋.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學(xué)報(bào).2013(S1):142-146.
[3] 中國計(jì)算機(jī)協(xié)會(huì)大數(shù)據(jù)委員會(huì).中國大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書[R].2013.
[4] 董西成.hadoop技術(shù)內(nèi)幕:深入解析YARN架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理[M].北京:機(jī)械工業(yè)出版社,2013.endprint