中國(guó)聯(lián)通研究院 北京 100032

引言

隨著運(yùn)營(yíng)商移動(dòng)數(shù)據(jù)業(yè)務(wù)的快速發(fā)展，各種WAP、互聯(lián)網(wǎng)應(yīng)用增長(zhǎng)十分迅速，移動(dòng)數(shù)據(jù)業(yè)務(wù)的增值作用日益提高，并且在未來(lái)的移動(dòng)業(yè)務(wù)競(jìng)爭(zhēng)中逐漸占據(jù)了主導(dǎo)地位。而在數(shù)據(jù)業(yè)務(wù)迅猛發(fā)展的同時(shí)，數(shù)據(jù)業(yè)務(wù)上網(wǎng)記錄查詢也逐漸成為投訴的焦點(diǎn)，用戶對(duì)上網(wǎng)記錄的查詢內(nèi)容不僅僅限于簡(jiǎn)單的上網(wǎng)流量計(jì)費(fèi)信息，而是要求提供詳細(xì)的上網(wǎng)記錄，如訪問(wèn)的網(wǎng)站地址、訪問(wèn)時(shí)長(zhǎng)等。

目前，各運(yùn)營(yíng)商基本建立了移動(dòng)用戶上網(wǎng)記錄查詢與分析的大數(shù)據(jù)平臺(tái)，通過(guò)在移動(dòng)通信網(wǎng)中進(jìn)行用戶上網(wǎng)數(shù)據(jù)的采集、信令和業(yè)務(wù)解析、合成，生成全網(wǎng)移動(dòng)用戶上網(wǎng)流量詳單記錄(Flow Detail Record，F(xiàn)DR)，為一線客戶服務(wù)人員提供全網(wǎng)移動(dòng)用戶上網(wǎng)記錄快速查詢服務(wù)，解決流量投訴問(wèn)題。同時(shí)，為用戶提供準(zhǔn)確實(shí)時(shí)的上網(wǎng)記錄自助查詢服務(wù)。但是，在用戶上網(wǎng)記錄中也存在著很多安全隱患，例如訪問(wèn)了惡意網(wǎng)站、僵尸網(wǎng)絡(luò)、DDoS攻擊等，這些隱患容易造成信息的泄漏和被竊取，從而造成個(gè)人隱私的泄露;也容易造成終端中病毒，給用戶帶來(lái)了大量的異常流量，從而給用戶造成經(jīng)濟(jì)損失等。這些行為在給用戶帶來(lái)?yè)p失的同時(shí)，也給運(yùn)營(yíng)商帶來(lái)了大量的投訴[1]。

1 上網(wǎng)記錄數(shù)據(jù)分析

移動(dòng)用戶上網(wǎng)流量詳單記錄主要包括的字段有手機(jī)號(hào)碼、位置區(qū)編碼、小區(qū)標(biāo)識(shí)、終端類型、流量類型、開始時(shí)間、結(jié)束時(shí)間、持續(xù)時(shí)長(zhǎng)、上行流量、下行流量、總流量、訪問(wèn)的網(wǎng)絡(luò)類型、終端IP、目的IP、狀態(tài)碼、用戶代理(User Agent)、APN、IMSI、SGSN IP、GGSN IP、內(nèi)容類型、源端口、目的端口、網(wǎng)址/特征信息等[2]。

對(duì)這些數(shù)據(jù)字段進(jìn)行分析，可以分成以下四類:一是標(biāo)記類，例如手機(jī)號(hào)碼、IMSI、IMEI;二是位置類，例如位置區(qū)號(hào)碼、小區(qū)標(biāo)識(shí);三是IP類，例如GGSN IP、SGSN IP、終端IP、目的IP、源端口、目的端口、流量類型等;四是其它關(guān)鍵字段，例如內(nèi)容類型、上行流量、下行流量、總流量等。

對(duì)不同類型的數(shù)據(jù)字段進(jìn)行組合，可以對(duì)FDR建立不同的預(yù)期分析目標(biāo)和結(jié)果，如表1所示。其中，通過(guò)對(duì)數(shù)據(jù)來(lái)源中數(shù)據(jù)字段組合的分析，預(yù)期能得出一定的分析結(jié)果，從而發(fā)現(xiàn)潛在的安全威脅，達(dá)到數(shù)據(jù)分析的目的。例如，通過(guò)對(duì)手機(jī)號(hào)碼、時(shí)間和流量的統(tǒng)計(jì)分析，能以手機(jī)號(hào)碼為索引對(duì)用戶建立流量基線模型和上下行流量的關(guān)系模型，并找到流量排名前幾位的用戶;根據(jù)模型對(duì)用戶的流量進(jìn)行監(jiān)控，從而發(fā)現(xiàn)用戶的異常流量或潛在的惡意吸費(fèi)流量。

表1 上網(wǎng)記錄安全分析目標(biāo)

2 上網(wǎng)記錄安全應(yīng)用系統(tǒng)

為了達(dá)到流量分析和監(jiān)控的目的，搭建了移動(dòng)用戶上網(wǎng)記錄安全應(yīng)用系統(tǒng)，系統(tǒng)的部署如圖1所示[3]。

圖1 上網(wǎng)記錄安全應(yīng)用系統(tǒng)部署圖

上網(wǎng)記錄安全應(yīng)用系統(tǒng)部署了5臺(tái)物理服務(wù)器，其中1臺(tái)作為Oracle數(shù)據(jù)庫(kù)服務(wù)器，1臺(tái)作為Windows Server 2008系統(tǒng)分析服務(wù)器，3臺(tái)Hadoop服務(wù)器，每臺(tái)部署6臺(tái)Vmware工作站虛擬機(jī)。物理服務(wù)器的配置如下文。1)CPU:2×Quad-Core AMD Opteron(tm)(8核);2)內(nèi)存:64GB;3)網(wǎng)卡:2個(gè)千兆網(wǎng)卡;4)硬盤:2個(gè)2TB，上網(wǎng)記錄安全應(yīng)用系統(tǒng)的功能架構(gòu)如圖2所示。

原始數(shù)據(jù)記錄為PB級(jí)的大數(shù)據(jù)，因?yàn)橛?jì)算性能、業(yè)務(wù)影響等因素，數(shù)據(jù)分析工作不可能直接在此平臺(tái)上進(jìn)行。因此，此平臺(tái)只能是完成分析模型的數(shù)據(jù)取樣等基本任務(wù)。獲取的數(shù)據(jù)通過(guò)離線方式(約定的文件格式)交付給上網(wǎng)記錄安全應(yīng)用系統(tǒng)的數(shù)據(jù)預(yù)處理引擎。

圖2 上網(wǎng)記錄安全應(yīng)用系統(tǒng)功能架構(gòu)

數(shù)據(jù)分析小型分式測(cè)試驗(yàn)證平臺(tái)為整個(gè)系統(tǒng)的數(shù)據(jù)分析的核心，模型數(shù)據(jù)的存儲(chǔ)及各種模型的計(jì)算均在此平臺(tái)上完成。數(shù)據(jù)預(yù)處理引擎完成對(duì)數(shù)據(jù)的去重、數(shù)據(jù)的合法性驗(yàn)證、數(shù)據(jù)的補(bǔ)全等工作，使之符合安全分析模型所要求的數(shù)據(jù)格式。處理完的數(shù)據(jù)保存于分布式測(cè)試驗(yàn)證平臺(tái)。數(shù)據(jù)分析引擎完成對(duì)安全分析模型的建模、各參數(shù)的設(shè)定、分式算法的功能實(shí)現(xiàn)等，通過(guò)對(duì)測(cè)試驗(yàn)證平臺(tái)數(shù)據(jù)的分析，輸出分析結(jié)果給分析展示模塊。分析展示模塊完成對(duì)原型系統(tǒng)的各參數(shù)的設(shè)定、分析結(jié)果的展示等功能[4]。

3 上網(wǎng)記錄安全應(yīng)用模型與發(fā)現(xiàn)

3.1 IMEI號(hào)異常發(fā)現(xiàn)

對(duì)采集到的上網(wǎng)記錄進(jìn)行分析，統(tǒng)計(jì)每個(gè)IMEI對(duì)應(yīng)的IMSI個(gè)數(shù)。對(duì)IMEI與IMSI的對(duì)應(yīng)關(guān)系進(jìn)行分組去重，對(duì)統(tǒng)計(jì)結(jié)果比較，去除IMEI號(hào)與IMSI號(hào)對(duì)應(yīng)關(guān)系為1的情況，輸出每個(gè)IMEI與之關(guān)聯(lián)的所有IMSI的個(gè)數(shù)。

移動(dòng)用戶上網(wǎng)記錄安全應(yīng)用系統(tǒng)對(duì)采集到的某一個(gè)時(shí)間段的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和分析，從結(jié)果來(lái)看，某個(gè)IMEI與之關(guān)聯(lián)的所有IMSI的個(gè)數(shù)最高達(dá)到了六千多。

其中，由于焊機(jī)的參數(shù)眾多，為了避免操作人員對(duì)名稱相近參數(shù)產(chǎn)生混淆，在每個(gè)參數(shù)輸入?yún)^(qū)域的旁邊，以小字體形式加注詳細(xì)的解釋。

IMEI與IMSI存在多個(gè)對(duì)應(yīng)關(guān)系，主要有以下幾種可能。1)正常的雙卡雙待手機(jī)，每個(gè)IMEI對(duì)應(yīng)2個(gè)IMSI;2)SIM卡損壞或手機(jī)丟失，補(bǔ)辦SIM卡，每個(gè)IMEI對(duì)應(yīng)2個(gè)IMSI;3)山寨機(jī)盜用IMEI號(hào)，山寨手機(jī)盜用了正常入網(wǎng)的手機(jī)的IMEI號(hào);4)垃圾廣告發(fā)布者，頻繁更換手機(jī)號(hào)。

上述四種情況中，前兩種屬于正常情況;第三種可能存在安全隱患，由于山寨手機(jī)未經(jīng)過(guò)工信部的入網(wǎng)檢測(cè)，可能存在惡意程序或操作系統(tǒng)存在漏洞等，從而盜用手機(jī)流量;第四種情況也屬于惡意情況，運(yùn)營(yíng)商應(yīng)該采取措施進(jìn)行檢測(cè)并攔截。

3.2 手機(jī)位置異常

上網(wǎng)記錄中的位置區(qū)號(hào)碼和小區(qū)標(biāo)識(shí)可以標(biāo)識(shí)用戶所處的大致地理位置，通過(guò)分析手機(jī)號(hào)碼某一時(shí)間段內(nèi)在地理位置的變動(dòng)異常，可以查找安全問(wèn)題。比如，在1分鐘內(nèi)某手機(jī)號(hào)碼的地理位置變化了100多千米(如圖3所示)，這是一種現(xiàn)實(shí)生活中不可能出現(xiàn)的情形，以此現(xiàn)象為依據(jù)，利用大數(shù)據(jù)分析技術(shù)可進(jìn)一步分析產(chǎn)生這種現(xiàn)象的原因。

圖3 手機(jī)位置異常結(jié)果示意圖

3.3 手機(jī)號(hào)、基站、端口流量異常發(fā)現(xiàn)

分別以手機(jī)號(hào)、物理位置、端口號(hào)為統(tǒng)計(jì)維度，統(tǒng)計(jì)一定時(shí)間窗口內(nèi)的流量，建立流量基線模型;以流量基線模型為基礎(chǔ)，設(shè)定流量閥值，監(jiān)測(cè)手機(jī)號(hào)、物理位置和端口是否存在流量異常。

移動(dòng)用戶上網(wǎng)記錄安全應(yīng)用系統(tǒng)根據(jù)該模型，對(duì)用戶進(jìn)行流量監(jiān)控，發(fā)現(xiàn)異常流量。2013年10月12日，發(fā)現(xiàn)某手機(jī)用戶10～11時(shí)，1小時(shí)內(nèi)上行流量超過(guò)500M，10～14時(shí)內(nèi)累計(jì)上行流量超過(guò)2.7G。

如圖4所示，除該用戶當(dāng)月使用的正常流量外(聊天工具以及網(wǎng)頁(yè))，該異常事件中，視頻流量約占總異常流量的48.35%、其他手機(jī)應(yīng)用占46.99%、網(wǎng)絡(luò)電話占3.12%。

圖4 某用戶異常流量類型

3.4 終端操作系統(tǒng)漏洞的安全威脅

從采集到的移動(dòng)用戶上網(wǎng)記錄中的UA字段，提取其中的終端型號(hào)和操作系統(tǒng)版本號(hào)，發(fā)現(xiàn)可能存在的安全漏洞，及時(shí)為用戶提供安全補(bǔ)丁等服務(wù)，防止產(chǎn)生中毒、吸費(fèi)等安全事件。移動(dòng)用戶上網(wǎng)記錄安全應(yīng)用系統(tǒng)對(duì)采集到的某一時(shí)間段內(nèi)的上網(wǎng)記錄數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，終端操作系統(tǒng)類型的分布如圖5所示。其中，no_data表示系統(tǒng)未能采集到UA字段信息，unknown表示采集到信息，但不能判別是哪種操作系統(tǒng)。

圖5 終端操作系統(tǒng)類型統(tǒng)計(jì)

各種類型的操作系統(tǒng)漏洞事件頻發(fā)，給用戶帶來(lái)了大量的損失，因此，有必要為用戶提供漏洞提示和補(bǔ)丁升級(jí)服務(wù)等。從用戶上網(wǎng)記錄中的終端類型(iPhone4S、三星S4等)、操作系統(tǒng)類型(ISO5、Android4.2等)、軟件客戶端類型(qqmail、safari等)這三個(gè)字段可以對(duì)移動(dòng)用戶的上網(wǎng)安全狀態(tài)進(jìn)行描述。根據(jù)這三類數(shù)據(jù)，運(yùn)營(yíng)商能夠自動(dòng)發(fā)現(xiàn)移動(dòng)用戶的安全風(fēng)險(xiǎn)，分析其對(duì)應(yīng)的漏洞，向用戶提供解決方案及補(bǔ)丁推送服務(wù)，保障用戶的移動(dòng)終端安全，提高用戶體驗(yàn)[5]。

4 結(jié)束語(yǔ)

通過(guò)對(duì)移動(dòng)用戶上網(wǎng)記錄的數(shù)據(jù)進(jìn)行安全分析，搭建安全應(yīng)用平臺(tái)，建立安全模型進(jìn)行試驗(yàn)，我們主要得出以下結(jié)論和經(jīng)驗(yàn):1)面對(duì)復(fù)雜的海量數(shù)據(jù)，簡(jiǎn)單的算法比復(fù)雜的算法更易用，數(shù)據(jù)模型建立和數(shù)據(jù)分析經(jīng)驗(yàn)是至關(guān)重要的因素;2)數(shù)據(jù)之間的因果關(guān)系依然存在，傳統(tǒng)的挖掘方法對(duì)海量數(shù)據(jù)依然適用;3)數(shù)據(jù)的價(jià)值難以窮盡，可根據(jù)業(yè)務(wù)需求變化和環(huán)境變化，不斷建立模型進(jìn)行試驗(yàn)[6]。

本文中的安全模型和安全發(fā)現(xiàn)結(jié)果還僅僅是半成品，在這個(gè)基礎(chǔ)上可以推廣和演化出新的可能，也可在此基礎(chǔ)上進(jìn)一步豐富和擴(kuò)展安全分析模型，并融合其他數(shù)據(jù)源進(jìn)行關(guān)聯(lián)分析，分析結(jié)果可應(yīng)用于安全服務(wù)和安全應(yīng)用中。

[1]郭三強(qiáng),郭燕錦.大數(shù)據(jù)環(huán)境下的數(shù)據(jù)安全研究[J].科技廣場(chǎng),2013(2):28-31

[2]王志軍,黃文良.大數(shù)據(jù)在移動(dòng)用戶上網(wǎng)記錄查詢中的應(yīng)用研究[J].信息通信技術(shù),2013,7(12):29-34

[3]余琦,凌捷.基于HDFS的云存儲(chǔ)安全技術(shù)研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2013,34(8):2700-2705

[4]蔡平.基于Hadoop的NoSQL數(shù)據(jù)庫(kù)安全研究[D].上海交通大學(xué),2013

[5]賈哲.分布式環(huán)境中信息挖掘與隱私保護(hù)相關(guān)技術(shù)研究[D].北京郵電大學(xué),2012

[6]聶元銘.大數(shù)據(jù)及其安全研究.信息安全與通信[J].2013(5):15-16