張　琦　中訊郵電咨詢設(shè)計(jì)院有限公司工程師黃　宙　中訊郵電咨詢設(shè)計(jì)院有限公司工程師宮　忱　中國移動北京分公司工程師

利用DNS日志數(shù)據(jù)識別寬帶私接的技術(shù)探討

張琦中訊郵電咨詢設(shè)計(jì)院有限公司工程師
黃宙中訊郵電咨詢設(shè)計(jì)院有限公司工程師
宮忱中國移動北京分公司工程師

傳統(tǒng)對DNS的理解局限于域名解析功能，對海量的地址解析日志數(shù)據(jù)卻鮮有關(guān)注。本論文主要探討如何對DNS日志數(shù)據(jù)進(jìn)行深度挖掘，從而獲得對運(yùn)營商有價(jià)值的應(yīng)用。為了力證技術(shù)的有效性和實(shí)用性，給出了在某運(yùn)營商中部署的實(shí)際案例。

DNS；DPI；寬帶私接

1　引言

2015年，國內(nèi)電信運(yùn)營商為響應(yīng)國家號召，掀起了“提速降費(fèi)”的熱潮。部分運(yùn)營商在直轄市、省會城市的平均接入速率達(dá)到20Mbit/s，重點(diǎn)城市甚至達(dá)到了50Mbit/s。寬帶速率的普遍提升，使得用戶可以更好的訪問高速率業(yè)務(wù)，滿足了市場和經(jīng)濟(jì)發(fā)展需求。但是，與此同時(shí)，寬帶私接的現(xiàn)象也更加突出。

寬帶私接是指同一寬帶賬號被多臺PC或移動終端違規(guī)共享使用，具體限制的終端數(shù)量及終端類型，各個(gè)運(yùn)營商的規(guī)定不盡相同，通常與寬帶用戶的業(yè)務(wù)套餐及運(yùn)營商的市場策略緊密相關(guān)。寬帶用戶的私接嚴(yán)重侵蝕了運(yùn)營商的寬帶業(yè)務(wù)收入，同時(shí)也加大了寬帶用戶溯源等安全管理難度。

2　傳統(tǒng)DPI檢測技術(shù)

目前，運(yùn)營商識別寬帶私接采用的主要技術(shù)是深度包檢測技術(shù)（DPI，Deep Packet Inspection）。它是一種基于應(yīng)用層的流量檢測和控制技術(shù)，當(dāng)IP數(shù)據(jù)包、TCP或UDP數(shù)據(jù)流通過基于DPI技術(shù)的監(jiān)管系統(tǒng)時(shí)，該系統(tǒng)通過深入讀取IP包載荷的內(nèi)容來對OSI七層協(xié)議中的應(yīng)用層信息進(jìn)行重組，從而得到整個(gè)應(yīng)用程序的內(nèi)容，然后按照系統(tǒng)定義的管理策略對流量進(jìn)行識別、控制等操作。

采用DPI這種方式需要根據(jù)檢測范圍要求，在網(wǎng)絡(luò)中適當(dāng)?shù)奈恢眠M(jìn)行分光（或?qū)PI系統(tǒng)串接到整個(gè)監(jiān)管鏈路中），將用戶流量引到檢測設(shè)備，深度分析應(yīng)用層的內(nèi)容，通過ID（Identification）軌跡檢測法、時(shí)鐘偏移檢測法、應(yīng)用特征檢測法等，實(shí)現(xiàn)對同一賬號下多個(gè)終端的檢測。

DPI方案可以較為準(zhǔn)確的實(shí)現(xiàn)寬帶私接的識別和控制，但是存在以下幾方面問題：

（1）造價(jià)高昂，無法大規(guī)模部署，隨著城域網(wǎng)出口帶寬的成倍增加及設(shè)備板卡端口的升級，分光設(shè)備的建造成本極為昂貴。

（2）基于DPI的一些算法不夠完善，存在一定的誤判、漏判，無法檢測出移動終端，而移動終端的發(fā)展已成為趨勢。

（3）系統(tǒng)擴(kuò)展性差，目前已知系統(tǒng)基于IPv4開發(fā)，不支持NAT444、IPv6等。

3　DNS日志檢測技術(shù)

3.1DNS解析原理簡述

DNS（Domain Name System），“域名系統(tǒng)”的英文縮寫，因特網(wǎng)上作為域名和IP地址相互映射的一個(gè)分布式數(shù)據(jù)庫，能夠使用戶更方便的訪問互聯(lián)網(wǎng)，而不用去記住能夠被機(jī)器直接讀取的IP地址。通過主機(jī)名，最終得到該主機(jī)名對應(yīng)的IP地址的過程叫做域名解析（或主機(jī)名解析）。DNS協(xié)議運(yùn)行在UDP協(xié)議之上，使用端口號53。

域名到IP地址的解析是由分布在因特網(wǎng)上的許多域名服務(wù)器程序共同完成的，域名解析程序在專設(shè)的結(jié)點(diǎn)上運(yùn)行，而人們也常把運(yùn)行域名解析程序的服務(wù)器稱為域名服務(wù)器。

域名到IP地址的解析過程的要點(diǎn)如下：當(dāng)某一個(gè)應(yīng)用需要把主機(jī)名解析為IP地址時(shí)，該應(yīng)用進(jìn)程就調(diào)用解析程序，并稱為DNS的一個(gè)客戶，把待解析的域名放在DNS請求報(bào)文中，以UDP用戶數(shù)據(jù)報(bào)方式發(fā)給本地域名服務(wù)器。本地域名服務(wù)器在查找域名后，把對應(yīng)的IP地址放在回答報(bào)文中返回。應(yīng)用程序獲得目的主機(jī)的IP地址后即可進(jìn)行通信。若本地域名服務(wù)器不能回答該請求，則此域名服務(wù)器就暫時(shí)稱為DNS的另一個(gè)客戶，通過遞歸、迭代或二者結(jié)合的方式進(jìn)行進(jìn)一步域名的解析請求，指導(dǎo)獲得解析結(jié)果并返回給客戶位置。

（1）遞歸查詢

所謂遞歸查詢就是如果主機(jī)所詢問的本地域名服務(wù)器不知道被查詢域名的IP地址，那么本地域名服務(wù)器就以DNS客戶的身份，向其它根域名服務(wù)器繼續(xù)發(fā)出查詢請求報(bào)文（即替主機(jī)繼續(xù)查詢），而不是讓主機(jī)自己進(jìn)行下一步查詢。

（2）迭代查詢

是指當(dāng)根域名服務(wù)器收到本地域名服務(wù)器發(fā)出的迭代查詢請求報(bào)文時(shí)，要么給出所要查詢的IP地址，要么告訴本地服務(wù)器：“你下一步應(yīng)當(dāng)向哪一個(gè)域名服務(wù)器進(jìn)行查詢”，然后讓本地服務(wù)器進(jìn)行后續(xù)的查詢，圖1中的數(shù)字順序即為DNS解析的過程。

3.2DNS日志構(gòu)成

以下為某運(yùn)營商DNS系統(tǒng)中日志服務(wù)器的數(shù)據(jù)截取，包括了用戶的DNS請求和系統(tǒng)對用戶的響應(yīng)（見表1）。

（1）DNS請求日志

101.254.184.118|60046|219.141.140.10|53|5445| www.baidu.com|A||20160120152627.061|0|q

（2）DNS響應(yīng)日志

219.141.140.10|53|101.254.184.118|60046| 45445|www.baidu.com|A|A_220.181.112.244；A_ 220.181.111.188|20160120152627.061|0|r

上述日志為某一客戶端的單次解析請求和響應(yīng)，通過對某一時(shí)間段內(nèi)用戶訪問某些特定域名的訪問規(guī)律的統(tǒng)計(jì)，可進(jìn)行深度分析，從而獲取有價(jià)值的信息。

3.3基于DNS日志檢測寬帶私接技術(shù)原理

基于DNS日志的分析通過專有的分布式系統(tǒng)，從待檢測區(qū)域的DNS服務(wù)器上采集、索引并分析各類應(yīng)用程序生成的各類DNS請求數(shù)據(jù)，并結(jié)合Radius認(rèn)證日志對海量寬帶上網(wǎng)用戶行為進(jìn)行統(tǒng)計(jì)和趨勢上的總體分析和深度挖掘，按照私接規(guī)則區(qū)分出私接上網(wǎng)用戶。DNS日志分析方式的優(yōu)勢在于無需分光，僅采集DNS日志及AAA的數(shù)據(jù)，分析的范圍與網(wǎng)絡(luò)規(guī)模無關(guān)。

圖1　迭代查詢與遞歸查詢示意圖

表1　DNS日志字段信息

DNS日志檢測寬帶私接技術(shù)首先基于操作系統(tǒng)和應(yīng)用程序自身對DNS的規(guī)律性訪問行為特征建立終端特征庫，獲取包含用戶終端的操作系統(tǒng)和應(yīng)用程序?qū)NS的訪問數(shù)據(jù)，基于以上網(wǎng)絡(luò)訪問數(shù)據(jù)識別某一時(shí)間段內(nèi)同一賬號的寬帶用戶或者同一IP下的操作系統(tǒng)和應(yīng)用程序的規(guī)律性訪問行為特征，通過以上規(guī)律性訪問行為特征和終端特征庫區(qū)分同一時(shí)刻內(nèi)同一賬號的寬帶用戶或者同一IP下的終端數(shù)量，并判斷出存在私接網(wǎng)絡(luò)共享的賬號。賬號的判斷需結(jié)合運(yùn)營商的認(rèn)證授權(quán)計(jì)費(fèi)系統(tǒng)（AAA）中用戶的認(rèn)證數(shù)據(jù)。

4　兩種技術(shù)對比

以下從技術(shù)實(shí)現(xiàn)原理和系統(tǒng)部署方案兩個(gè)方面，對DPI方式和DNS日志分析方式識別寬帶私接進(jìn)行比較。

4.1技術(shù)實(shí)現(xiàn)原理

DPI方式與DNS日志分析方式技術(shù)實(shí)現(xiàn)原理對比參見表2。

4.2系統(tǒng)部署方案

采用DPI技術(shù)和DNS日志分析技術(shù)進(jìn)行寬帶私接的檢測，其組網(wǎng)架構(gòu)有很大的區(qū)別，并且兩者組網(wǎng)架構(gòu)的不同，直接導(dǎo)致運(yùn)營商投資的巨大差異。圖2是兩種組網(wǎng)方案的對比示意圖。

5　DNS日志挖掘應(yīng)用案例

以下是某運(yùn)營商省公司部署的DNS日志分析系統(tǒng)，從系統(tǒng)的部署架構(gòu)、系統(tǒng)的軟件架構(gòu)以及系統(tǒng)實(shí)現(xiàn)的主要功能幾個(gè)方面作以介紹。

5.1系統(tǒng)部署結(jié)構(gòu)及軟件架構(gòu)

DNS日志分析系統(tǒng)采用專有的分布式系統(tǒng)，從各個(gè)地市的DNS服務(wù)器上采集、索引并分析各類應(yīng)用程序生成的各類DNS請求數(shù)據(jù)，并結(jié)合Radius認(rèn)證日志對海量寬帶上網(wǎng)用戶行為進(jìn)行總體分析和深度挖掘，按照私接規(guī)則區(qū)分出私接上網(wǎng)用戶。

系統(tǒng)采用集中部署的方案，各個(gè)地市DNS服務(wù)器將日志信息采用壓縮傳輸?shù)姆绞缴蟼鞯郊泄?jié)點(diǎn)，或采用鏡像流量采集的方式將日志統(tǒng)一采集到日志服務(wù)器，并通過日志服務(wù)器上傳到集中節(jié)點(diǎn)，同Radius系統(tǒng)對接，采集認(rèn)證計(jì)費(fèi)報(bào)文，其系統(tǒng)部署結(jié)構(gòu)示意圖如3所示。

表2　DPI方式與DNS日志分析方式技術(shù)實(shí)現(xiàn)原理對比表

圖2　DPI方式與DNS日志分析方式系統(tǒng)實(shí)現(xiàn)對比圖

圖3　DNS日志分析系統(tǒng)部署結(jié)構(gòu)示意圖

DNS日志分析系統(tǒng)是專門為海量數(shù)據(jù)而設(shè)計(jì)的原生分布式系統(tǒng)，通過設(shè)計(jì)的專有架構(gòu)，每一臺大數(shù)據(jù)服務(wù)節(jié)點(diǎn)每天可以處理數(shù)十億條信息數(shù)據(jù)，同時(shí)隨著日常數(shù)據(jù)量和數(shù)據(jù)來源的不斷增長，不斷新增服務(wù)器即可以方便快捷的擴(kuò)展處理性能，同時(shí)對應(yīng)每一個(gè)數(shù)據(jù)節(jié)點(diǎn)可以增加更多的復(fù)本分片，自動化的負(fù)載均衡處理機(jī)制可以無需干預(yù)的優(yōu)化每個(gè)服務(wù)節(jié)點(diǎn)的查詢請求，提升查詢的響應(yīng)速度，并提供故障災(zāi)備的處理機(jī)制。DNS日志分析系統(tǒng)通過融合查詢引擎和分布式系統(tǒng)架構(gòu)，同時(shí)提供對海量寬帶私接用戶的快速定位能力和寬帶用戶上網(wǎng)行為的詳細(xì)統(tǒng)計(jì)分析匯總報(bào)表展示。系統(tǒng)軟件架構(gòu)如圖4所示。

5.2DNS日志分析系統(tǒng)主要功能

該運(yùn)營商通過DNS日志分析系統(tǒng)能夠按需分析出各地市寬帶用戶或?qū)＞€用戶的違規(guī)私接數(shù)量、私接時(shí)間、私接時(shí)長、私接設(shè)備類型、設(shè)備終端操作系統(tǒng)等統(tǒng)計(jì)信息，并能針對某一特定賬號進(jìn)行深入分析，便于運(yùn)營商有針對性的采取相應(yīng)的市場策略，引導(dǎo)用戶使用正規(guī)的產(chǎn)品，既能保證用戶應(yīng)有的上網(wǎng)質(zhì)量，也能保護(hù)運(yùn)營商應(yīng)得利益。

6　結(jié)束語

在寬帶大提速的背景下，寬帶私接的識別和控制對于運(yùn)營商來說是掌握自身業(yè)務(wù)對外提供狀況的必備手段之一，而采用性價(jià)比更高的DNS日志分析技術(shù)，可以有效提高檢測準(zhǔn)確性，降低監(jiān)管的成本，同時(shí)具有良好的擴(kuò)展性。而作為普通的公眾用戶，應(yīng)根據(jù)合同約定合理使用寬帶服務(wù)，拒絕做寬帶二次批發(fā)等違規(guī)業(yè)務(wù)。只有運(yùn)營商和用戶雙方的共同努力，才能保證我們擁有高速、有保障的信息網(wǎng)絡(luò)。

［1］楊世標(biāo)，王晶晶，梅汝鵬.DNS數(shù)據(jù)挖掘與搜索引擎技術(shù)相結(jié)合提升網(wǎng)絡(luò)安全［J］.電信技術(shù)，2011，05:P37-41.

［2］陳文文，吳開超.海量域名日志數(shù)據(jù)分析與可視化研究及應(yīng)用［J］.計(jì)算機(jī)應(yīng)用研究，2016，02:335-338.

［3］尉遲學(xué)彪，李曉東，閻保平，季成.DNS服務(wù)中的Internet訪問行為測量研究［J］.計(jì)算機(jī)工程與應(yīng)用，2009，34:85-88+106.

［4］湯劍，胡洪新.DNS的安全部署與實(shí)現(xiàn)［J］.電腦知識與技術(shù)，2015，21:43-44.

How to recognize the access violation through DNS logs

ZHANG Qi，HUANG Zhou，GONG Chen

We usually considered the DNS as a Domain Name System， and its main function is translating the domain name to an IP address. Rare people pay attention to its logs. In fact， it is very valuable of the logs because it concludes much information for the communications operators. In the paper， we discuss how to recognize the access violation through DNS logs. Meanwhile，we post an example to prove its validity and utility.

domain name system， deep packet inspection， access violation in broadband service

圖4　DNS日志分析系統(tǒng)軟件架構(gòu)示意圖

2016-04-20）