一種面向WEB大數(shù)據(jù)環(huán)境下的信息可信度分析與評估

姚俊萍，李曉軍，李新社，封富君

（火箭軍工程大學(xué) 初級指揮學(xué)院，陜西 西安 714300）

一種面向WEB大數(shù)據(jù)環(huán)境下的信息可信度分析與評估

姚俊萍，李曉軍，李新社，封富君

（火箭軍工程大學(xué) 初級指揮學(xué)院，陜西 西安 714300）

在大數(shù)據(jù)時代，信息數(shù)量的快速增長造成了大量雷同、虛假信息的存在，導(dǎo)致了有效信息選取的困難。針對這個問題，本文研究了信息可信度的評價標(biāo)準(zhǔn)，并以實例的形式進(jìn)行了可信度的定性和定量分析。本文是針對情報研究學(xué)科的需求而進(jìn)行的初步探索。

WEB；大數(shù)據(jù)；數(shù)據(jù)挖掘；信息可信度

0 引言

在大數(shù)據(jù)時代，隨著知識經(jīng)濟(jì)主導(dǎo)地位的形成，云計算、物聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)等技術(shù)的快速發(fā)展，信息數(shù)量成冪級增長趨勢。互聯(lián)網(wǎng)中的每個個體無時無刻不在產(chǎn)生數(shù)據(jù)，這就造成了信息數(shù)量大、質(zhì)量差、信息價值低等問題。對于在數(shù)據(jù)分析工作中扮演重要角色的情報研究工作，“信息超載”是需要面臨的一大考驗。大量信息的快速出現(xiàn)使情報研究機(jī)構(gòu)所面對的信息遠(yuǎn)遠(yuǎn)超出其信息分析處理的能力。并且相對的信息過剩導(dǎo)致有效信息被大量的過剩信息所覆蓋，使得情報研究人員在大量信息面前產(chǎn)生低分析決策能力和無形的壓迫感，反而降低了工作效率和有效信息使用率。信息可信度分析與評估技術(shù)方法的研究可以幫助情報研究人員在大量數(shù)據(jù)中快速準(zhǔn)確地根據(jù)需要進(jìn)行信息的篩選過濾，從而提高信息真?zhèn)魏唾|(zhì)量的甄別能力，提高有效獲取信息的能力，提高研究結(jié)果的可靠性和準(zhǔn)確度。如何從海量多樣的數(shù)據(jù)中快速準(zhǔn)確篩選出符合預(yù)期的信息，將是科技情報工作面臨的一個重大問題，本文是針對情報研究學(xué)科的需求而進(jìn)行的初步探索。

1 文獻(xiàn)綜述

1.1 信息可信度的概念

信息可信度的概念，來源于大眾傳播研究領(lǐng)域，一般認(rèn)為是信息或者信息源被信任的程度。也可以解釋為信息的接受者所感受到信息發(fā)布者或者是傳播介質(zhì)的一種品質(zhì)，通常的理解就是不管所傳播的內(nèi)容是什么而可以讓接受者無可爭論地接受并且信賴[1]。所以，信息可信度也可以叫做可信度感知或評價。

1.2 國內(nèi)外研究現(xiàn)狀

對于信息可信度評價與測量的研究已經(jīng)引起了國內(nèi)外學(xué)者的關(guān)注，但至今沒有取得一致性的結(jié)論[2-4]。大多偏重于評價的方法和評價的指標(biāo)體系上，缺少對網(wǎng)絡(luò)信息可信度評價方面的研究。鐘誠[5]等提出一種基于語義環(huán)境中的信息可信度計算方法，從信息所含內(nèi)容本身的可信度和發(fā)布信息節(jié)點(diǎn)的可信度兩個方面來計算信息可信度；朱寧[4]等探討了用戶對網(wǎng)絡(luò)學(xué)術(shù)信息的可信度感知和有效獲取，從相關(guān)性、客觀性、準(zhǔn)確性、權(quán)威性、時效性和可證實性等六個方面進(jìn)行了定性和定量分析。

通過查閱資料發(fā)現(xiàn)[1]-[12]，如何改進(jìn)信息發(fā)布或者傳遞者的特征以影響信息接受者的態(tài)度轉(zhuǎn)變是關(guān)于可信度最早的研究。早在1953年美國的實驗心理學(xué)家與傳播研究的杰出人物霍夫蘭（C.I. Hovland）和學(xué)者韋斯（W. Kelley）在探究可信度這個概念時，他們考慮到了各種因素，最終認(rèn)為可信度應(yīng)該具有兩種最關(guān)鍵最不可或缺的因素，那就是專業(yè)（expertise）和可信賴（trustworthiness）這兩種因素。作為實驗心理學(xué)家他們曾經(jīng)設(shè)計實施了一項實驗，將內(nèi)容相同的信息，由不同的人將消息告訴給給一部分人，這一部分人認(rèn)為這些信息的可信度是高的，再由另外一部分人告訴另外一些人，這一些人則認(rèn)為這一消息是不太可信的，也就是消息的可信度較低。最后在研究時發(fā)現(xiàn)，得知信息高可信度的人的態(tài)度發(fā)生了較大的改變。很多學(xué)者認(rèn)為信息的可信度是信息傳播者所能讓手中不感受到信息源或傳播介質(zhì)的品質(zhì)，就是不論傳播內(nèi)容是什么，接受者都能毫無條件的去信任。我們也可以理解為信源的權(quán)威性，權(quán)威高則值得讓人信賴，如果一個信源的發(fā)布讓公眾十分相信，沒有偏差并且長期值得信賴，那我們就可以認(rèn)為信源是可信的。

在借鑒國內(nèi)外相關(guān)領(lǐng)域的研究成果和總結(jié)了情報研究領(lǐng)域?qū)π畔⒖尚哦仍u估的特殊要求后[2-4]，本文定義了三個評價標(biāo)準(zhǔn)：時間、信源以及標(biāo)題。

2 數(shù)據(jù)的采集

為了便于研究，我們以案例分析的形式進(jìn)行一次信息可信度的分析，給定一個主題“網(wǎng)傳288所本科高校將轉(zhuǎn)為職業(yè)技術(shù)學(xué)院”，應(yīng)用網(wǎng)絡(luò)爬蟲在相關(guān)網(wǎng)頁抓取數(shù)據(jù)。有一個定義：“網(wǎng)頁上如果存在多條結(jié)構(gòu)相同的信息，我們就可以把一條具有類似的結(jié)構(gòu)信息定義為樣例”。同理可知多條結(jié)構(gòu)化信息就是多樣例。本文計劃抓取到所有有關(guān)這個內(nèi)容的信息，就是所有網(wǎng)頁上的結(jié)構(gòu)化的信息。主題所涉及的內(nèi)容較多，涉及的格式較廣，如果單一地采用單點(diǎn)數(shù)據(jù)采集，工作量太大，所以本文主要采用批量翻頁數(shù)據(jù)采集。

2.1 數(shù)據(jù)的整理和分類

數(shù)據(jù)的整理分類是數(shù)據(jù)分析的前期工作，具有重要的意義和作用。數(shù)據(jù)有兩種類型，一種叫連續(xù)型變量，例如人的身高、體重等；還有一種叫離散型變量，這種數(shù)據(jù)類別互不相容是其最大的特點(diǎn)，比如性別、血型，本文研究中所用到的是后者。為了便于后期的數(shù)據(jù)分析和結(jié)果研究，以750條數(shù)據(jù)為樣本對數(shù)據(jù)進(jìn)行一個合理的分類。

時間標(biāo)準(zhǔn)時就把時間格式轉(zhuǎn)為“長時間格式”，例如2010年2月14日就表示成20100214的形式。因為數(shù)據(jù)存在于 Excel表格當(dāng)中，可以利用表格對數(shù)字的排序功能進(jìn)行排序，把數(shù)字也就是時間做升序處理，這樣在后期對時間進(jìn)行指標(biāo)評價的時候就方便了；信源信息的處理，因為信源是文字信息，所以這次的工作就是先將每個信息的出處都標(biāo)記出來，把出處相同的信息放在一起，這樣對同一出處的信息就可以用同一標(biāo)準(zhǔn)去評價；關(guān)鍵詞的處理是首先確定了幾個關(guān)鍵詞，對每條所抓信取息中包含的關(guān)鍵詞個數(shù)進(jìn)行統(tǒng)計，把他們列在 Excel中，也做升序處理以便于處理；最難的一部分就是字符數(shù)的統(tǒng)計，由于逐條去數(shù)的工作量太大，于是就想編程序去完成字?jǐn)?shù)的統(tǒng)計，最終利用Matlab軟件實現(xiàn)了這一工作，統(tǒng)計出字?jǐn)?shù)后，也在表格中做了排序處理。

這是統(tǒng)計字?jǐn)?shù)的程序：

clc

clear

%% 導(dǎo)入數(shù)據(jù)

[~, ~, raw] = xlsread('C:UsersLouDesktopwcn分析.xlsx','分析','B2:B752');

raw(cellfun(@(x) ~isempty(x) && isnumeric(x)&& isnan(x),raw)) = {''};

cellVectors = raw(:,1);

%% 將導(dǎo)入的數(shù)組分配給列變量名稱

W = cellVectors(:,1);

%% 清除臨時變量

clearvars raw cellVectors;

num = cellfun('length',W);

xlswrite('result',num);

2.2 信息可信度的定性與定量分析

本文計劃建立的評價模型是想通過數(shù)學(xué)的篩選和科學(xué)評價指標(biāo)的優(yōu)長，并且克服了兩者的局限。計劃這種模型的功能是能夠系統(tǒng)地評價多種定量及定性因素決定的信息可信度。

在這次大數(shù)據(jù)信息可信度模型建立上，信源標(biāo)準(zhǔn)是第一位的。本次抓取的數(shù)據(jù)是在百度引擎中得到的，來源廣，所以我們根據(jù)不同的信源給信息一個評價的標(biāo)準(zhǔn)。將信源網(wǎng)址分為三類，第一知名度高權(quán)威性高的（如人民網(wǎng)、央視網(wǎng)、中國教育網(wǎng)，新華網(wǎng)以及地方的教育部門官網(wǎng)等）；第二是知名度高但權(quán)威性一般的網(wǎng)站（如百度、新浪、搜狐、騰訊、搜狐等）；第三種是知名度低并且權(quán)威性也不高的網(wǎng)站（個人網(wǎng)頁的轉(zhuǎn)發(fā)、一些推廣的廣告網(wǎng)頁）。我們將來自這三種網(wǎng)頁信源的信息分別記 3分，2分，1分。

信息中包含關(guān)鍵詞的個數(shù)也是評價信息可信度的另一個標(biāo)準(zhǔn)?；陉P(guān)鍵詞的信息提取或者說是情報獲取，已經(jīng)不鮮為人知，斯諾登曝光的棱鏡門中美國政府對民眾通話的竊聽那就是敏感關(guān)鍵詞信息，一旦通話中涉及軍事敏感詞匯，或者包含政府感興趣的詞匯就會被重點(diǎn)監(jiān)聽。在情報的獲取上講關(guān)鍵詞是標(biāo)示某一個信息中的關(guān)鍵內(nèi)容的詞匯。我們抓取的是關(guān)于“288所本科高校轉(zhuǎn)為職業(yè)技術(shù)學(xué)院”的信息，要談可信，至少信息必須是關(guān)于我們關(guān)注的方面，標(biāo)準(zhǔn)就是包含我們設(shè)定的關(guān)鍵詞。當(dāng)然這也存在問題，關(guān)鍵詞的設(shè)定是根據(jù)我們的目的，如果不具有代表性，那么所得到的結(jié)果就太片面了。所以基于信息主題，設(shè)定了三個關(guān)鍵詞“本科”、“轉(zhuǎn)”、“職業(yè)”。評價的指標(biāo)依然是三類，（1）一個關(guān)鍵詞都不包含；（2）含一個或者兩個關(guān)鍵詞；（3）包含三個關(guān)鍵詞。依次的評分也是1、2、3分。

在信息化和自媒體高度發(fā)達(dá)的今天，在新聞報道學(xué)中，追求新聞的及時性是很關(guān)鍵的一個目標(biāo)，沒有這一特性新聞也就無所謂“新”了。然而在信息的傳遞過程中，在發(fā)布的初期可能由于支撐事實的依據(jù)不足，發(fā)布者也無法及時提供一些證據(jù)，這些消息往往會引起人們的熱議，但不能使人充分地相信。但隨著時間的流逝，這些消息的真假往往會浮出水面，發(fā)布者的自證、相關(guān)部門的出面、以及熱心人的分析，很多的因素足以使普通的受眾辨別信息的真假，基于這一顯示情況，我們也把信息發(fā)布的時間作為一項評價的指標(biāo)，我們認(rèn)為發(fā)布時間越近的信息越是具有可信性。和上面的指標(biāo)相同，我們把所搜集的信息的發(fā)布時間也分為三個階段：（1）2010年至2011年為第一階段；（2）2015年至2016年是第二階段；（3）2017年以后的信息都屬于第三階段。這樣我們按照時間由遠(yuǎn)到近將這三個階段依次評為1分、2分、3分。

在網(wǎng)頁上抓取的信息可以算是一條條新聞消息了，既然是新聞，在探討可靠性時自然也不能忽略這些信息的新聞特性。新聞包含的內(nèi)容一般無外乎于時間、地點(diǎn)、人物、時間及評論或者展望了。除了一般的報道要簡明扼要，其他的關(guān)于一些大事件的報道我們還是希望看到更為詳近的描述，因為細(xì)節(jié)講述越詳細(xì)就越能使讀者感興趣或者相信，讀小說或者看電視劇也是這樣，追求所謂身臨其境就是這個意思。那么細(xì)節(jié)的描述或者展現(xiàn)要把它量化，文字就可以轉(zhuǎn)化為字符數(shù)的多少。

我們利用Matlab軟件進(jìn)行了一個小編程，實現(xiàn)由程序讀取電子表格中的文字信息，也就是所抓取的內(nèi)容一列。記出每一個內(nèi)容的字?jǐn)?shù)，以量化描述的詳細(xì)程度，描述詳細(xì)的就判高分，反之的內(nèi)容則認(rèn)為描述不詳細(xì)得低分。（1）低于23字為1分；（2）24到33為2分；（3）34字以上的評為最高分3分。

就是這樣的四個標(biāo)準(zhǔn)或者說條件構(gòu)成了這個完整的四維的評價模型，為什么在評分時選擇了1，2，3這三個數(shù)值，那是因為首先它是連續(xù)的，并且這三個分值的差距不大，每一條標(biāo)準(zhǔn)都不是百分之百絕對的，所以分差大了誤差也就大了，這樣就更嚴(yán)謹(jǐn)了。此模型的每一個詳細(xì)標(biāo)準(zhǔn)都是表程度的邏輯，程度的深淺應(yīng)當(dāng)是一個連續(xù)的，最后的工作是將四項小的標(biāo)準(zhǔn)的評價得分等權(quán)重加和，得出評分較高的信息，再依據(jù)現(xiàn)在的已知事實作比較，得出符合事實的有幾條，不符合的有幾條。再回頭看是否這個評價標(biāo)準(zhǔn)成立。如果結(jié)果理想就得到了互聯(lián)網(wǎng)大數(shù)據(jù)信息可信度的一個縮影分析。

2.3 單個指標(biāo)與評價結(jié)果的相關(guān)性

前期我們利用單個指標(biāo)對信息的可信度做了評價，最后又做等權(quán)重加和?？梢钥闯龅梅州^高的信息，當(dāng)然我們是事后分析知道這個信息的真假，所以我們要看哪些指標(biāo)與最后的評價結(jié)果最貼近，或者是與真實情況相一致。換種說法就是要探究一下我們所建立的評價指標(biāo)哪一項與結(jié)果相關(guān)性最高。利用Matlab軟件不難編程，得到一個四個指標(biāo)評價結(jié)果與等權(quán)重加和的結(jié)果的一個相關(guān)性數(shù)據(jù)。

圖1 評價結(jié)果Fig.1 Evaluation result

clc

clear

A = xlsread('test');

x1_z = min(min(corrcoef(A(:,1),A(:,5))));

x2_z = min(min(corrcoef(A(:,2),A(:,5))));

x3_z = min(min(corrcoef(A(:,3),A(:,5))));

x4_z = min(min(corrcoef(A(:,4),A(:,5))));

x1_z = x1_z/(x1_z + x2_z + x3_z + x4_z);

x2_z = x2_z/(x1_z + x2_z + x3_z + x4_z);

x3_z = x3_z/(x1_z + x2_z + x3_z + x4_z);

x4_z = x4_z/(x1_z + x2_z + x3_z + x4_z);

B = A(:,1)*x1_z + A(:,2)*x2_z + A(:,3)*x3_z +A(:,4)*x4_z;

xlswrite('test2.xls',B)

結(jié)果是信源相關(guān)的指標(biāo)得到的結(jié)果是 0.6498，時間相關(guān)的指標(biāo)是 0.4302，關(guān)鍵詞個數(shù)指標(biāo)是0.5334，字符數(shù)相關(guān)結(jié)果是 0.4108。信源的相關(guān)性最高，這說明在所建立的評價標(biāo)準(zhǔn)中，利用信源進(jìn)行評價是更加客觀的。

為了使整個的過程形成一個閉環(huán)，本次探究再將得到的相關(guān)性進(jìn)行一個驗證，對到的“相關(guān)系數(shù)”做一個歸一化的處理，得到每一個“相關(guān)系數(shù)”的權(quán)重，再與之前的等權(quán)重加和進(jìn)行計算，得到另一個評分。從結(jié)果能看出可信度評分有了變化，但是可信度的高低卻沒有很大的變化，只有少數(shù)幾個有了幾個順序上的顛倒，但是這對整體的可信度評價并沒有產(chǎn)生太大的影響。

2.4 評價結(jié)果的討論

通過數(shù)據(jù)挖掘，數(shù)據(jù)分析以及后期的數(shù)據(jù)相關(guān)性的分析驗證，以案例的形式完成了一個完整的互聯(lián)網(wǎng)數(shù)據(jù)信息可信度的分析。當(dāng)然本次的研究是屬于事后的研究，所分析信息的真假已經(jīng)清楚。最后的相關(guān)性分析結(jié)果當(dāng)然是在已知客觀真假的前提下進(jìn)行的分析，這樣得出的結(jié)論才是真實的。

圖2 相關(guān)性驗證Fig.2 Correlation validation

這種分析方法就類似于一場歌唱比賽，組委會請來幾位專家評委為選手打分，當(dāng)然專家由于個人喜好或者評價的角度不一樣導(dǎo)致評價意見各不相同，每位專家的評價可能與最后總的評價是不一樣的，但是總有一個或者幾個很靠近綜合結(jié)果的評價，就是其中一定有相當(dāng)?shù)摹百N近率”，這就是我們在后期的分析中所說的“相關(guān)性”。單項的評價標(biāo)準(zhǔn)可能會有偏差，但是當(dāng)我們找到其中每次都和結(jié)果貼近的“專家”時，把他的預(yù)期結(jié)果作為一個重點(diǎn)關(guān)注的對象，那么在以后我們就可以以他的預(yù)期來作為判斷的一項重要標(biāo)準(zhǔn)。在這次的探究中我們發(fā)現(xiàn)信源標(biāo)準(zhǔn)與最后的結(jié)果的“相關(guān)性”最高，那么在以后我們判斷互聯(lián)網(wǎng)大數(shù)據(jù)信息的時候就可以看信息的出處是否來自一些權(quán)威高，知名度高的網(wǎng)站，當(dāng)然無論是從數(shù)學(xué)分析還是從現(xiàn)實來講這都不是絕對的，只是為我們的判斷提供一個側(cè)重點(diǎn)。這更加說明，那幾項“相關(guān)性”略低的標(biāo)準(zhǔn)就不能作為評價標(biāo)準(zhǔn)只是它的權(quán)重可能會輕一些。

3 結(jié)束語

通過上述研究可以看出，信息可信度的定性、定量分析中指標(biāo)的選擇和權(quán)重的確定是與不同領(lǐng)域的實際需求相適應(yīng)的，本文是針對情報研究學(xué)科的要求進(jìn)行的初步探索，在權(quán)重計算和可信度評估計算等方面還有待進(jìn)一步探討研究。

[1] West M. D. Validating a Scale foe the Measurement of Cridibility, A Covariance Structure Modeling Approach.Joumalism Quarterly, 1994, 71(Spring): 68-159.

[2] 陸寶益. 網(wǎng)絡(luò)信息資源的評價[J]. 情報學(xué)報, 2002(1):71-76.

[3] 鄧云發(fā). 基于可信度的決策信息評價與選擇[J]. 商場現(xiàn)代化, 2009(7): 68-69.

[4] 朱寧, 陳紅勤等. 用戶網(wǎng)絡(luò)學(xué)術(shù)信息資源利用可信度感知的分析與評價[J]. 圖書館, 2010(5): 37-39.

[5] 鐘誠, 趙志峰等. 語義環(huán)境中信息可信度計算方法研究.情報理論與實踐. 2012(35): 103-106.

[6] 王琰. 大數(shù)據(jù)浪潮中交通廣播的生存與發(fā)展[J]. 新聞研究導(dǎo)刊, 2016, v. 7; No. 95(11).

[7] 胡文瑞. 步入大數(shù)據(jù)時代[J]. 中國石油石化, 2013(12):30-30.

[8] 云健, 王春霞. 搜索引擎技術(shù)綜述[J]. 河西學(xué)院學(xué)報,2008, 24(2).

[9] 李敏杰. 基于大數(shù)據(jù)下的寄遞物流管理信息系統(tǒng)的研究[D]. 南京郵電大學(xué), 2014.

[10] 姜維. 基于網(wǎng)頁更新頻率預(yù)測的增量爬蟲研究[D]. 哈爾濱工業(yè)大學(xué), 2011.

[11] 羅剛. 自己動手寫爬蟲. 北京: 清華大學(xué)出版社, 2010. 10.[12] Wisenut. WiseNut Search Engine white paper[M]. 北京: 中國電力出版社, 2001年.

[13] 馮曉碩. 大數(shù)據(jù)時代信息可信度分析及可信度評估計算.第27屆信息可信度分析及可信度評估計算. 2015

[14] 李敏. 基于struts2-hibernate-spring的Java Web系統(tǒng)國際化設(shè)計與實現(xiàn)[J]. 軟件, 2016(2).LI M. Multi-language System Design and Implementation Based struts2-hibernate-spring[J]. Software, 2016(2).

[15] 次瑞格, 李華, 高靈美. 物業(yè)管理系統(tǒng)的開發(fā)[J]. 教育教學(xué)論壇, 2010, (15): 22.CI R G, LI H, GAO L M. Development of Property Management System[J]. Education Teaching Forum, 2010, (15): 22.

A Kind of Information Credibility Analysis and Evaluation in A WEB Big Data Environment

YAO Jun-ping, LI Xiao-jun, LI Xin-she, FENG Fu-jun
(Rocket Force University of Engineering, Xian 714300, China)

In the big data era, the rapid growth of information caused lots of similar and false information, that resulted the difficulties of the effective information selection. For this, the evaluation standard of information credibility is discussed, information credibility qualitative and quantitative analysis is researched with example. This paper is a preliminary exploration with the need for intelligence research subjects.

: WEB; Big data; Data mining; Information credibility

TP39

A

10.3969/j.issn.1003-6970.2017.10.027

本文著錄格式：姚俊萍，李曉軍，李新社，等. 一種面向 WEB大數(shù)據(jù)環(huán)境下的信息可信度分析與評估[J]. 軟件，2017，38（10）：140-143

姚俊萍，女，(1978-），副教授，主要研究方向：信息安全；李曉軍，男，(1980-），博士研究生，主要研究方向：信息安全；李新社，男，(1965-），副教授，主要研究方向：信息安全；封富君，女，(1978-），講師，主要研究方向：信息安全。