徐海寧，孫忠林（山東科技大學信息科學與工程學院）

?

大數(shù)據(jù)技術(shù)支持下的競爭情報凈化系統(tǒng)模型構(gòu)建

徐海寧，孫忠林（山東科技大學信息科學與工程學院）

摘要：大數(shù)據(jù)背景下，為了解決企業(yè)競爭情報信息不夠準確的問題，本文提出了以大數(shù)據(jù)技術(shù)為中心的競爭情報凈化系統(tǒng)模型，從企業(yè)競爭情報信息搜集凈化子系統(tǒng)、情報分析處理凈化子系統(tǒng)、情報服務凈化子系統(tǒng)分別進行闡述，加入大數(shù)據(jù)凈化模塊，構(gòu)成了競爭情報凈化系統(tǒng)模型。

關(guān)鍵字：大數(shù)據(jù)技術(shù)；競爭情報；凈化

1　大數(shù)據(jù)在企業(yè)應用現(xiàn)狀

大數(shù)據(jù)作為一種新興的技術(shù)，應用范圍相對較大，但目前只用于四個方面。①市場方面，利用大數(shù)據(jù)進行關(guān)聯(lián)分析，及時準確地把握消費者的行為，挖掘出新的商業(yè)模式。②銷售規(guī)劃方面，對大數(shù)據(jù)進行對比，以此優(yōu)化商品價格。③運營方面，提高運營滿意度和運營效率，優(yōu)化成本投入，更準確地預測人員配置需求，以免產(chǎn)能過剩，降低人員投入成本。④供應鏈方面，利用大數(shù)據(jù)進行物流優(yōu)化、庫存優(yōu)化、供應商協(xié)同等工作，緩解供需之間的矛盾，控制預算支出，提高服務。［1］

本文在大數(shù)據(jù)技術(shù)的基礎上，把企業(yè)的競爭情報系統(tǒng)進一步優(yōu)化，對情報進行提純、進化，使其能更加準確地反映企業(yè)的需求，做出決策。

2　大數(shù)據(jù)環(huán)境下競爭情報系統(tǒng)面臨的挑戰(zhàn)

（1）數(shù)據(jù)的存儲能力有限。大數(shù)據(jù)技術(shù)下的企業(yè)競爭情報既包含傳統(tǒng)的數(shù)據(jù)，又包含大量的基于移動互聯(lián)網(wǎng)、社交網(wǎng)絡等半結(jié)構(gòu)性、非結(jié)構(gòu)性數(shù)據(jù)。未來的企業(yè)競爭情報系統(tǒng)將會面對TB級以上的數(shù)據(jù)，這對于競爭情報系統(tǒng)軟件和硬件要求是一個巨大的挑戰(zhàn)。

（2）數(shù)據(jù)分析不夠準確。大數(shù)據(jù)技術(shù)背景下企業(yè)競爭情報的數(shù)據(jù)結(jié)構(gòu)形式發(fā)生了很大變化，結(jié)構(gòu)化的數(shù)據(jù)、非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)并存。傳統(tǒng)的競爭情報數(shù)據(jù)分析方法、模型和技術(shù)，對半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)不能直接處理，需要把非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)才能進行處理。這樣不但嚴重影響了企業(yè)情報分析的工作量和成本投入，也使得競爭情報分析的準確性大打折扣。［2］

（3）情報安全風險加大。大數(shù)據(jù)技術(shù)時代下，情報獲取的方式繁多，QQ、網(wǎng)絡日志、社交網(wǎng)站、微博、微信等媒體迅速地將各種動態(tài)信息發(fā)布到世界各地。有些信息可能是企業(yè)的核心情報，這些情報一旦泄露，會給企業(yè)造成重大損失，甚至可能造成毀滅性的打擊，競爭情報的安全存儲也面臨重大威脅。同時，企業(yè)的運作產(chǎn)生大量的數(shù)據(jù)，主要包括市場交易數(shù)據(jù)、技術(shù)研發(fā)數(shù)據(jù)、客戶信息數(shù)據(jù)、財務經(jīng)濟數(shù)據(jù)、科技成果數(shù)據(jù)等，有的甚至包括員工之間交流的數(shù)據(jù)，看似不起眼的這些普通數(shù)據(jù)中很有可能蘊藏著巨大的競爭情報信息，必須妥善保存、加強保密，否則就會泄露商業(yè)機密。競爭情報存儲主要使用云存儲、移動硬盤等工具，最好采取雙重保險的方式，對十分重要信息的保存要慎之又慎。除此之外，還要防范人員的泄密，禁止員工使用網(wǎng)絡發(fā)布與工作相關(guān)的任何信息，對于相當重要的機密數(shù)據(jù)要控制保密人數(shù)。

（4）多數(shù)企業(yè)對大數(shù)據(jù)的認可程度較低。社交網(wǎng)站、移動互聯(lián)網(wǎng)、微信、網(wǎng)絡日志、微博等提供了大量有價值的情報信息，但是，大多數(shù)企業(yè)競爭情報者很容易忽略掉這些情報信息，認為大數(shù)據(jù)應該是亞馬遜、京東商城、阿里巴巴、淘寶等這樣的大企業(yè)才關(guān)心的。對大數(shù)據(jù)的認知程度不夠，這樣會使得企業(yè)競爭情報部門的工作在大數(shù)據(jù)時代變得更加被動。

（5）企業(yè)競爭情報的處理分析。數(shù)據(jù)種類繁多、數(shù)據(jù)規(guī)模龐大，要想獲得有價值的競爭情報，必須對大數(shù)據(jù)進行有效地處理分析。其中，最關(guān)鍵的是數(shù)據(jù)的清洗，剔除無關(guān)緊要的數(shù)據(jù)，并對數(shù)據(jù)進行分類劃分，按相關(guān)性程度對數(shù)據(jù)排序，建立模型，還要對數(shù)據(jù)進行關(guān)聯(lián)分析、聚類分析、技術(shù)路徑分析等，挖掘有價值的競爭情報。［2］目前，對外部數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的利用較難。根據(jù)一項調(diào)查顯示，超過50%受訪單位把內(nèi)部數(shù)據(jù)作為“大數(shù)據(jù)”的首要來源。這些數(shù)據(jù)通過企業(yè)多年的數(shù)據(jù)資源規(guī)劃、數(shù)據(jù)庫智能管理應用和其他相關(guān)工作收集獲得，利用大數(shù)據(jù)技術(shù)解讀這些來自業(yè)務往來、交易和電子郵件等企業(yè)內(nèi)部數(shù)據(jù)為組織提供有價值的情報。［3］

（6）大數(shù)據(jù)技術(shù)分析人才匱乏和成本高昂。大數(shù)據(jù)自從被提出和應用以來時間較短，其專業(yè)性分析人才緊缺，尤其是能夠掌握大數(shù)據(jù)平臺框架（如Hadoop、NoSQL）并能處理和分析大數(shù)據(jù)的專業(yè)人才少之又少。大數(shù)據(jù)技術(shù)對企業(yè)的計算力、存儲力和數(shù)據(jù)分析能力提出了更高的要求，全面的數(shù)據(jù)存儲和分析代價高昂，僅有少數(shù)企業(yè)有能力和資金建立超大規(guī)模的數(shù)據(jù)中心，對大數(shù)據(jù)進行處理，從PB級別到ZB級別數(shù)據(jù)量的存儲和計算。［4］

3　大數(shù)據(jù)技術(shù)支持下的企業(yè)競爭情報凈化系統(tǒng)模型構(gòu)建

傳統(tǒng)的競爭情報系統(tǒng)包括信息搜集子系統(tǒng)、信息分析處理子系統(tǒng)、情報服務子系統(tǒng)?；诖髷?shù)據(jù)技術(shù)，對傳統(tǒng)的三個子系統(tǒng)進行優(yōu)化，融入一個新的系統(tǒng)——凈化系統(tǒng)。

3.1企業(yè)競爭情報信息搜集凈化子系統(tǒng)

情報收集系統(tǒng)為競爭情報系統(tǒng)提供穩(wěn)定可靠與豐富多樣的信息資源,是實施競爭情報系統(tǒng)的關(guān)鍵環(huán)節(jié)，更是企業(yè)決策支持的依據(jù)。企業(yè)根據(jù)自己的情報需求，把任務分配給情報部門，收集、整理各種信息，最終形成一個企業(yè)競爭情報的文本集合。［5］

為了使收集的信息更加準確，減輕后期分析處理的壓力，在原來模型的基礎上演化成了企業(yè)競爭情報信息搜集凈化子系統(tǒng)（見圖1）。該系統(tǒng)首先著力于信息源的選擇。再者，就是信息分類和信息管理。這兩個環(huán)節(jié)非常重要，決策層基本是從這里獲取信息、進行決策的。

為此，建立了以大數(shù)據(jù)為中心的凈化處理中心，對信息管理和分類進行驗證，確定其準確度，最后存入數(shù)據(jù)庫，供情報部門利用。存入數(shù)據(jù)庫的情報不一定是完全正確，因此，要定時凈化數(shù)據(jù)庫的情報信息，只有這樣才能保證信息的利用效率。

3.2企業(yè)競爭情報信息分析處理凈化子系統(tǒng)

企業(yè)競爭情報信息分析處理系統(tǒng)是將大量零散的、看似無關(guān)緊要的信息集中、比較和重新組合，從而發(fā)現(xiàn)新價值的過程。只有經(jīng)過處理的情報信息才能被決策者使用，才能方便傳遞和存儲，才能體現(xiàn)出其經(jīng)濟價值。企業(yè)搜集到信息后，下一步需要采取的措施是對這些信息進行科學地分析、處理，發(fā)現(xiàn)存在其中的主要問題，找出隱藏在問題背后的本質(zhì)原因。［6］

數(shù)據(jù)的準確度在信息分析處理階段，更是關(guān)鍵中的關(guān)鍵，因此，數(shù)據(jù)凈化顯得格外重要。本文的企業(yè)競爭情報信息分析處理凈化子系統(tǒng)（見圖2）是在原有的情報信息分析處理子系統(tǒng)的基礎上，加入以大數(shù)據(jù)技術(shù)為處理中心的凈化模塊，在信息分析處理的各個環(huán)節(jié)中，主要是在篩選、處理、分析、評價環(huán)節(jié)進行凈化，因為這四個環(huán)節(jié)是保證數(shù)據(jù)準確的關(guān)鍵。其中，在整理和分析的相關(guān)算法和模型處理階段，也要進行數(shù)據(jù)的凈化，最后再交付情報部門，情報部門也不是被動地利用數(shù)據(jù)，如果數(shù)據(jù)不合常理，也可以再次進行數(shù)據(jù)的凈化驗證，這樣雙重保險，就可以得到相當準確的結(jié)果。

圖1　企業(yè)競爭情報信息搜集凈化子系統(tǒng)

圖2　企業(yè)競爭情報信息分析處理凈化子系統(tǒng)

3.3企業(yè)競爭情報情報服務凈化子系統(tǒng)

企業(yè)情報服務子系統(tǒng)是根據(jù)決策者、情報分析人員、企業(yè)內(nèi)其他人員的情報需求，創(chuàng)建各類分析報告，并通過適當方式及時傳遞給企業(yè)決策者的過程。情報產(chǎn)品是情報服務和情報傳播的主要內(nèi)容和形式，是企業(yè)競爭情報系統(tǒng)的最終產(chǎn)品和成果體系。［7］

情報的最終還是為決策者服務的，本文的企業(yè)競爭情報情報服務凈化子系統(tǒng)（見圖3）同樣是在原有的基礎上添加凈化模塊形成的，在這可以提供人工幫助，來驗證用戶需要的信息的準確度，進行數(shù)據(jù)的凈化，然后反饋給用戶，并以可視化的界面，形象地描述。情報部門為決策層提供信息，分析競爭對手、競爭環(huán)境，制定競爭策略，在提取的過程中可能產(chǎn)生誤差或者錯誤，所以數(shù)據(jù)的凈化是必要的。決策層對決策的數(shù)據(jù)和數(shù)據(jù)庫的原始數(shù)據(jù)進行比較，也能反映出其決策的正確率。

圖3　企業(yè)競爭情報情報服務凈化子系統(tǒng)

［參考文獻］

［1］張引，等．大數(shù)據(jù)應用的現(xiàn)狀與展望［J］.計算機研究與發(fā)展，2013（S2）：216－233.

［2］趙芳．基于大數(shù)據(jù)的企業(yè)競爭情報分析方法研究［J］.圖書館學刊，2015（2）：33－36.

［3］于磊，徐鳳姣．基于應急管理視角的政府應急專業(yè)處置能力建設的思考［J］.中國管理信息化，2012（22）：92－94.

［4］顧濤．基于大數(shù)據(jù)的競爭情報協(xié)作分析研究［J］.情報科學，2013（12）：114－118，135.

［5］鞠洪斌，馬林山．企業(yè)競爭情報系統(tǒng)建設中的情報信息收集［J］．情報資料工作，2007（5）：102－103.

［6］官思發(fā)，等．基于Web2.0的企業(yè)競爭情報系統(tǒng)模型構(gòu)建［J］.情報科學，2014（1）：47－53.

［7］李會，程剛．基于數(shù)據(jù)挖掘技術(shù)的企業(yè)競爭情報系統(tǒng)模型研究［J］.情報理論與實踐，2011（1）：95－99.

Research on the Model of Competitive Intelligence Purification System Based on Big Data Technology

Xu Hai-ning，Sun Zhong-lin

Abstract：In order to solve the problem of inaccurate enterprise competitive intelligence information,this article proposes a competitive intelligence purification system model which is based on big data technology.It analyzes the model from 3 aspects:information collection subsystem,information purification subsystem,and enterprise competitive intelligence service purification subsystem respectively which consist the model of competitive intelligence purification system

Keywords：Big Data Technology；Competitive Intelligence；Purification

中圖分類號：G250.7

文獻標志碼：A

文章編號：1005－8214（2016）04－0100－03

［作者簡介］徐海寧（1990－），男，山東科技大學信息科學與工程學院在讀研究生，研究方向：信息系統(tǒng)工程；孫忠林（1962－），男，山東科技大學信息科學與工程學院教授，碩導，研究方向：云計算和數(shù)據(jù)庫系統(tǒng)。

［收稿日期］2015－09－17［責任編輯］菊秋芳