• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    天津交行無(wú)代理IT監(jiān)控方案設(shè)計(jì)與研究

    2018-11-21 11:46王紹紅
    科技創(chuàng)新與應(yīng)用 2018年28期
    關(guān)鍵詞:故障定位指標(biāo)

    王紹紅

    摘 要:“531工程”項(xiàng)目上線(xiàn)后天津交行基于新的IT架構(gòu)設(shè)計(jì)了一套無(wú)需部署代理端的IT監(jiān)控方案,即通過(guò)Linux網(wǎng)絡(luò)命令直接對(duì)主機(jī)服務(wù)和網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行逐一掃描,以?huà)呙杞Y(jié)果作為監(jiān)控指標(biāo),通過(guò)指標(biāo)間的關(guān)系來(lái)定位故障點(diǎn),豐富了生產(chǎn)系統(tǒng)監(jiān)控手段,提高了故障發(fā)現(xiàn)和排除的效率。

    關(guān)鍵詞:IT運(yùn)維;無(wú)代理監(jiān)控;指標(biāo);故障定位;CMDB

    中圖分類(lèi)號(hào):TP308 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):2095-2945(2018)28-0096-03

    Abstract: After the "531 Project" was launched, Bank of Communications Tianjin Branch designed a set of IT monitoring scheme based on the new IT architecture without the need to deploy the agent, that is, directly scanning the host service and network nodes one by one through the Linux network command. The scanning result is used as the monitoring index to locate the fault point through the relationship between the indicators, which enriches the monitoring means of the production system and improves the efficiency of fault detection and removal.

    Keywords: IT operation and maintenance; agentless monitoring; index; fault location; CMDB

    1 概述

    隨著交通銀行“境內(nèi)外一體化全業(yè)務(wù)系統(tǒng)重構(gòu)工程” (即531工程)項(xiàng)目2015年7月在天津成功上線(xiàn),交通銀行天津市分行(下面簡(jiǎn)稱(chēng)天津交行)在以新型技術(shù)架構(gòu)助推銀行轉(zhuǎn)型發(fā)展的道路上邁出了一大步。這項(xiàng)浩大的工程,以業(yè)務(wù)整合為突破口,打破橫向條塊分割的約束,立足當(dāng)下,著眼未來(lái),以強(qiáng)大前臺(tái)、高效中臺(tái)、集約后臺(tái)合力打造一流的流程銀行。新架構(gòu)在為業(yè)務(wù)發(fā)展提供支撐和推力同時(shí),也為開(kāi)創(chuàng)IT運(yùn)維工作新局面提供了契機(jī)。天津交行作為交通銀行的省級(jí)分行,在工程上線(xiàn)期間即考慮未來(lái)的分行IT監(jiān)控問(wèn)題,基于對(duì)新架構(gòu)下主要系統(tǒng)的技術(shù)平臺(tái)高度統(tǒng)一的認(rèn)知,逐漸形成了一套對(duì)生產(chǎn)運(yùn)行幾乎無(wú)影響的無(wú)代理監(jiān)控方案。傳統(tǒng)的監(jiān)控,一般是在各目標(biāo)主機(jī)部署代理端抓取系統(tǒng)運(yùn)行信息發(fā)送給監(jiān)控服務(wù)器,由其加工后生成圖表、發(fā)出異常警告。由于代理端自身對(duì)系統(tǒng)資源是有消耗的,其開(kāi)發(fā)、部署、維護(hù)需要一定的人力成本和時(shí)間成本。同時(shí)重要的網(wǎng)絡(luò)節(jié)點(diǎn)也需要監(jiān)控,而代理端程序很難在網(wǎng)絡(luò)設(shè)備上安裝,因而傳統(tǒng)模式存在某種局限性,需要新的監(jiān)控手段作為補(bǔ)充。新的方案放棄了傳統(tǒng)的代理端部署,改為通過(guò)Linux網(wǎng)絡(luò)命令直接對(duì)主機(jī)服務(wù)和網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行逐一掃描,以?huà)呙杞Y(jié)果作為監(jiān)控指標(biāo),通過(guò)指標(biāo)間的關(guān)系來(lái)定位故障點(diǎn),豐富了生產(chǎn)系統(tǒng)監(jiān)控手段,提高了故障發(fā)現(xiàn)和排除的效率。此方案一經(jīng)初步實(shí)施,即收到良好效果。據(jù)此設(shè)立的無(wú)代理監(jiān)控平臺(tái)(下稱(chēng)監(jiān)控平臺(tái))一期腳本僅幾千字節(jié),以集中的網(wǎng)絡(luò)掃描代替分散的代理端數(shù)據(jù)采集,實(shí)現(xiàn)了對(duì)生產(chǎn)系統(tǒng)大部分重要節(jié)點(diǎn)的監(jiān)控。目前監(jiān)控平臺(tái)還在根據(jù)預(yù)先設(shè)計(jì)的方案持續(xù)建設(shè)中。本文謹(jǐn)從介紹平臺(tái)當(dāng)前架構(gòu)和技術(shù)出發(fā),延伸到下一步以指標(biāo)及指標(biāo)依賴(lài)、指標(biāo)集合為核心的智能化監(jiān)控目標(biāo),對(duì)未來(lái)可能使用到的其他技術(shù)做出初步的研究。

    2 監(jiān)控平臺(tái)現(xiàn)狀和核心技術(shù)

    傳統(tǒng)監(jiān)控模式下的信息流向是從各代理端到服務(wù)端,代理端處于主動(dòng)地位。在天津交行的無(wú)代理監(jiān)控平臺(tái)中沒(méi)有代理端、服務(wù)端的區(qū)分,監(jiān)控的發(fā)起始于平臺(tái)主機(jī),目標(biāo)則是IT系統(tǒng)的各個(gè)主機(jī)、網(wǎng)絡(luò)上的各個(gè)重要節(jié)點(diǎn)。常規(guī)情況下,監(jiān)控平臺(tái)根據(jù)預(yù)先定義的掃描策略在指定時(shí)間對(duì)目標(biāo)主機(jī)、網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行網(wǎng)絡(luò)掃描,同步記錄掃描結(jié)果,生成可通過(guò)Web瀏覽器訪(fǎng)問(wèn)的報(bào)告,發(fā)現(xiàn)有某項(xiàng)結(jié)果異常,根據(jù)策略中設(shè)定的信息發(fā)出警報(bào)。網(wǎng)絡(luò)掃描結(jié)果的有效性基于IT系統(tǒng)得以正常運(yùn)行的三點(diǎn)基本要求:(1)各主機(jī)、網(wǎng)絡(luò)節(jié)點(diǎn)在網(wǎng)絡(luò)上處于連通狀態(tài)。(2)主機(jī)的對(duì)外服務(wù)端口處于監(jiān)聽(tīng)狀態(tài)。(3)主機(jī)對(duì)外服務(wù)對(duì)請(qǐng)求應(yīng)該有合理的響應(yīng)。

    監(jiān)控平臺(tái)運(yùn)行在Linux操作系統(tǒng)上,其原生的三個(gè)網(wǎng)絡(luò)命令ping、netcat、curl可以分別按上述三點(diǎn)要求對(duì)IT系統(tǒng)(含網(wǎng)絡(luò)設(shè)備)進(jìn)行掃描。ping命令很常用,可檢測(cè)某個(gè)ip在網(wǎng)絡(luò)上能否到達(dá)。netcat命令是一個(gè)強(qiáng)大的端口通訊工具,可以檢測(cè)監(jiān)聽(tīng)端口,發(fā)送報(bào)文,模擬交易請(qǐng)求。對(duì)于提供Web服務(wù)的主機(jī),netcat命令已經(jīng)不能滿(mǎn)足全部要求,因?yàn)榧词苟丝谔幱诒O(jiān)聽(tīng)狀態(tài),也不代表Web服務(wù)正常。這就需要用到curl命令,一個(gè)在文字環(huán)境下模擬瀏覽器訪(fǎng)問(wèn)獲取頁(yè)面源代碼、下載文件、發(fā)送POST請(qǐng)求的工具。它無(wú)視Web服務(wù)器的具體應(yīng)用邏輯,帶上特定的參數(shù)執(zhí)行,通過(guò)判斷命令的Shell返回值即可檢測(cè)Web服務(wù)的正常性、Web部署的有效性。

    curl命令和netcat命令一樣,也可以模擬交易請(qǐng)求。但是,生產(chǎn)環(huán)境中不可能大規(guī)模地模擬交易。一些系統(tǒng)對(duì)請(qǐng)求的來(lái)源和報(bào)文有校驗(yàn),而由于交易接口的龐雜與多變,監(jiān)控平臺(tái)不可能頻繁地去同步變更,因此,模擬交易只能在個(gè)別關(guān)鍵而簡(jiǎn)單的監(jiān)控需求上有限使用。這些交易請(qǐng)求大都會(huì)返回用戶(hù)權(quán)限不足等業(yè)務(wù)類(lèi)報(bào)錯(cuò)信息,而這恰恰是正常的。

    3 監(jiān)控指標(biāo)體系與故障定位

    (1)指標(biāo)體系的引入。監(jiān)控平臺(tái)所使用的ping、netcat、curl三個(gè)網(wǎng)絡(luò)掃描命令,其執(zhí)行結(jié)果其實(shí)有著遞次依賴(lài)的關(guān)系。對(duì)于無(wú)法ping通的主機(jī),只要其未禁止ICMP協(xié)議,使用netcat掃描肯定失敗,而對(duì)于netcat掃描端口返回失敗的Web服務(wù),就沒(méi)必要再使用curl嘗試訪(fǎng)問(wèn)了。生產(chǎn)系統(tǒng)實(shí)際運(yùn)行中存在著更廣泛的依賴(lài)關(guān)系。對(duì)于交易路徑中串聯(lián)的各個(gè)系統(tǒng)節(jié)點(diǎn),只要最后一個(gè)節(jié)點(diǎn)停止服務(wù),那么其余的各節(jié)點(diǎn)交易都會(huì)返回失敗。對(duì)于負(fù)責(zé)與總行通訊的節(jié)點(diǎn),其故障將導(dǎo)致分行業(yè)務(wù)近乎全局性的癱瘓,其他系統(tǒng)健康狀況再良好也無(wú)濟(jì)于事。網(wǎng)上也是如此,某個(gè)交換機(jī)的宕機(jī),將使得整片網(wǎng)絡(luò)的電腦處于斷網(wǎng)狀態(tài)。將依賴(lài)關(guān)系反過(guò)來(lái),由結(jié)果推導(dǎo)原因,可用于揭示某些問(wèn)題??梢詐ing通但netcat其某個(gè)端口不通,說(shuō)明該端口未處于監(jiān)聽(tīng)狀態(tài)。就交易渠道而言,柜面交易大面積報(bào)錯(cuò),但其他渠道沒(méi)有異常,那么基本可以判定柜面交易相關(guān)的系統(tǒng)出現(xiàn)了問(wèn)題。為了規(guī)范化地描述上述分析判斷過(guò)程,在監(jiān)控方案中,將網(wǎng)絡(luò)掃描項(xiàng)稱(chēng)為指標(biāo),稱(chēng)指標(biāo)間的依賴(lài)關(guān)系為指標(biāo)依賴(lài),引入數(shù)學(xué)上的集合概念,將一組擁有某共同特性的指標(biāo)作為一個(gè)整體來(lái)分析,通過(guò)指標(biāo)、集合間的邏輯關(guān)系評(píng)估生產(chǎn)運(yùn)行情況,從而構(gòu)建一個(gè)監(jiān)控指標(biāo)體系。這些共同特性包括網(wǎng)段、應(yīng)用系統(tǒng)、物理位置、邏輯位置或管理視角等多方面,根據(jù)監(jiān)控的需要而設(shè)定、擴(kuò)充、調(diào)整。(2)指標(biāo)體系的設(shè)計(jì)。監(jiān)控平臺(tái)目前的常規(guī)掃描策略在定義時(shí)已經(jīng)考慮了指標(biāo)間的依賴(lài)關(guān)系,避免無(wú)謂的重復(fù),但是有時(shí)候,“重復(fù)”又是必要的。例如,netcat端口掃描結(jié)果正常意味著無(wú)需再進(jìn)行ping掃描,但是前者返回異常,那就需要后者來(lái)定位到底是網(wǎng)絡(luò)中斷還是端口服務(wù)停止。這種取舍的選擇,需要依靠指標(biāo)的依賴(lài)關(guān)系來(lái)決定。在定義指標(biāo)時(shí),如果它的正常有賴(lài)于另一個(gè)指標(biāo)的正常,就要在指標(biāo)依賴(lài)關(guān)系配置文件中指定。一個(gè)指標(biāo)的正常有可能依賴(lài)多個(gè)指標(biāo)的正常,也可能是多個(gè)指標(biāo)的正常依賴(lài)于一個(gè)指標(biāo)的正常,就需要將對(duì)應(yīng)依賴(lài)關(guān)系拆成一對(duì)一的記錄存儲(chǔ)下來(lái),以便于監(jiān)控平臺(tái)能夠智能地選擇需要檢測(cè)的指標(biāo),避免沒(méi)必要的重復(fù)的同時(shí)也可以快速地判斷出是哪個(gè)指標(biāo)是系統(tǒng)異常的根源。有時(shí)候一個(gè)指標(biāo)的正常,會(huì)依賴(lài)多個(gè)其他指標(biāo)中任何一個(gè)或全部的正常。這多個(gè)指標(biāo)必然有某種共性,否則無(wú)法造成統(tǒng)一的影響,可以視為一個(gè)集合。集合內(nèi)成員在條件判斷上也許是“或”的關(guān)系,例如做了負(fù)載均衡的服務(wù)器組的任何一臺(tái)服務(wù)器正常即可保障基本的功能,也有可能是“與”的關(guān)系,例如一個(gè)交易路徑上的全部系統(tǒng)都正常才能保證交易能夠順利提交到總行。定義集合時(shí)需要考慮其成員關(guān)系的類(lèi)型,不限于“或”和“與”。集合本身也是一個(gè)指標(biāo),其值不是成員狀態(tài)的簡(jiǎn)單疊加,而是要基于一個(gè)科學(xué)合理的算法進(jìn)行計(jì)算。例如一個(gè)前置機(jī)房?jī)?nèi)的幾百臺(tái)設(shè)備因?yàn)槟撤N動(dòng)力環(huán)境原因?qū)е氯繑嗑W(wǎng),監(jiān)控平臺(tái)不應(yīng)該為每臺(tái)設(shè)備播報(bào)一遍故障,而應(yīng)在檢測(cè)到全部斷網(wǎng)前已經(jīng)有一個(gè)準(zhǔn)確的評(píng)估,發(fā)出一個(gè)精準(zhǔn)的整體性警報(bào)。同指標(biāo)與指標(biāo)之間一樣,集合與集合、單個(gè)指標(biāo)之間也可以有依賴(lài)關(guān)系,集合可以有自己的子集,它也可能是其他集合的子集。除此外,集合還有交集、并集、補(bǔ)集運(yùn)算,方法同數(shù)學(xué)上集合的運(yùn)算一致。(3)故障點(diǎn)快速定位。在通常情況下,監(jiān)控平臺(tái)直接以一個(gè)又一個(gè)的指標(biāo)逐一呈現(xiàn)生產(chǎn)服務(wù)狀態(tài),發(fā)現(xiàn)異常立即發(fā)出信息精準(zhǔn)的警報(bào),直接定位到ip地址、端口、Web服務(wù)、Web部署,運(yùn)維人員可以立即對(duì)目標(biāo)進(jìn)行檢查。

    但是,很多時(shí)候,對(duì)故障的判斷不能只是靠這種孤立的指標(biāo)來(lái)實(shí)現(xiàn),而是要參照多個(gè)指標(biāo)。以高可用集群為例。正常情況下,集群的兩個(gè)節(jié)點(diǎn)都處于網(wǎng)絡(luò)連通狀態(tài),其中活動(dòng)節(jié)點(diǎn)以Service IP對(duì)外提供服務(wù)。有一天忽然活動(dòng)節(jié)點(diǎn)的Boot IP卻無(wú)法訪(fǎng)問(wèn),但集群的Service IP和備用節(jié)點(diǎn)的Boot IP處于連通狀態(tài),那就說(shuō)明集群的生產(chǎn)服務(wù)已經(jīng)發(fā)生了HA接管,活動(dòng)節(jié)點(diǎn)宕機(jī),備用節(jié)點(diǎn)已經(jīng)啟動(dòng)對(duì)外服務(wù)。這里就需要ping三個(gè)ip地址,分別獲取指標(biāo)值,符合上述狀態(tài),即可發(fā)出HA接管警報(bào),而不僅僅是報(bào)告活動(dòng)節(jié)點(diǎn)宕機(jī)。

    一些復(fù)雜的情況,可以借助依賴(lài)關(guān)系和集合概念來(lái)分析。圖1是一個(gè)簡(jiǎn)化的多樓層網(wǎng)絡(luò)節(jié)點(diǎn)圖,財(cái)務(wù)部分居3、4樓,分別通過(guò)各自樓層交換機(jī)連往核心交換機(jī)。而3樓除財(cái)務(wù)部還有一個(gè)保衛(wèi)部的監(jiān)控室,通過(guò)3樓交換機(jī)連往核心交換機(jī)。這樣3樓財(cái)務(wù)部同時(shí)屬于3樓和財(cái)務(wù)部的兩個(gè)集合,也就是它們的交集(圖2)。某日這個(gè)交集突然網(wǎng)絡(luò)癱瘓,那就要判斷它所屬兩個(gè)集合的其他成員(補(bǔ)集)的狀況,以此分析是哪個(gè)集合出了問(wèn)題。如果3樓保衛(wèi)部也網(wǎng)絡(luò)癱瘓,4樓財(cái)務(wù)部沒(méi)有問(wèn)題,那幾乎可以判定三樓這個(gè)集合所依賴(lài)的3樓交換機(jī)有了故障。如果3樓保衛(wèi)部和4樓財(cái)務(wù)部也都斷網(wǎng),即3樓、4樓全部斷網(wǎng),而這兩個(gè)樓層共同依賴(lài)的網(wǎng)絡(luò)節(jié)點(diǎn)是核心交換機(jī),應(yīng)該是核心交換機(jī)出現(xiàn)了問(wèn)題。一般情況下,同一樓層各部門(mén)的網(wǎng)絡(luò)狀況應(yīng)該是一樣的,如果某日出現(xiàn)兩層樓的財(cái)務(wù)部都網(wǎng)絡(luò)中斷,而3樓保衛(wèi)部的網(wǎng)絡(luò)卻處于連接狀態(tài),那就需要進(jìn)一步排查,或許有其他未曾預(yù)計(jì)的原因,查明后設(shè)計(jì)好指標(biāo)和策略添加到監(jiān)控平臺(tái)中。

    如同計(jì)算機(jī)人臉識(shí)別往往在速度、準(zhǔn)確性、靈活性上比不上人眼,實(shí)際生產(chǎn)運(yùn)行中,輔助使用一些準(zhǔn)實(shí)時(shí)加載監(jiān)控指標(biāo)數(shù)據(jù)的動(dòng)態(tài)圖表可能效果更好。例如參照機(jī)房布局圖和網(wǎng)絡(luò)拓?fù)鋱D,以主機(jī)、網(wǎng)絡(luò)設(shè)備為節(jié)點(diǎn),以綠、紅兩色表示網(wǎng)絡(luò)連通性的正常和不正常,若某分區(qū)各個(gè)綠點(diǎn)忽然開(kāi)始逐一變?yōu)榧t點(diǎn),那么運(yùn)維人員很容易產(chǎn)生直覺(jué)判斷:該分區(qū)很可能出現(xiàn)了全局性問(wèn)題,譬如斷電。但是,人不可能一直盯著監(jiān)控屏幕看,除了動(dòng)態(tài)圖表,更根本的解決方法是借助一些智能的算法(例如卡爾曼濾波算法)將這種經(jīng)驗(yàn)的判斷轉(zhuǎn)換為監(jiān)控平臺(tái)的自動(dòng)播報(bào)。

    以效率而言,應(yīng)該將重要指標(biāo)和部分重要集合進(jìn)行高頻次重復(fù)掃描、精準(zhǔn)運(yùn)算,及時(shí)發(fā)出告警信息,以便于運(yùn)維人員第一時(shí)間獲得精準(zhǔn)信息,立即投入搶修,而其他指標(biāo)/集合的計(jì)算和動(dòng)態(tài)直觀圖表的重繪,就不必過(guò)于強(qiáng)調(diào)時(shí)效性。

    4 無(wú)代理IT監(jiān)控的未來(lái)研究方向

    (1)根據(jù)監(jiān)控對(duì)象已有協(xié)議和接口輕度侵入。操作系統(tǒng)層的CPU、內(nèi)存、存儲(chǔ)、進(jìn)程等信息是傳統(tǒng)監(jiān)控基本的目標(biāo)。但在監(jiān)控平臺(tái)上,IT系統(tǒng)主機(jī)的這些數(shù)據(jù)都無(wú)法獲取到。對(duì)網(wǎng)絡(luò)設(shè)備,目前僅限于網(wǎng)絡(luò)連通性的判斷,無(wú)法完成對(duì)流量、策略等更深入的檢測(cè),也不能做到路由自動(dòng)發(fā)現(xiàn)。就應(yīng)用層和銀行交易而言,有時(shí)因?yàn)橄到y(tǒng)資源瓶頸、程序代碼存在bug以及其他暫時(shí)未知因素,在相關(guān)范圍內(nèi)也會(huì)有交易緩慢、失敗率過(guò)高甚至業(yè)務(wù)中斷等情況發(fā)生,而監(jiān)控平臺(tái)上卻毫無(wú)征兆。監(jiān)控平臺(tái)的這些短板,需要采用更廣泛的技術(shù)、擴(kuò)充無(wú)代理監(jiān)控的手段來(lái)解決。主機(jī)系統(tǒng)、網(wǎng)絡(luò)設(shè)備、基礎(chǔ)軟件或廣泛或局部開(kāi)放的外部訪(fǎng)問(wèn)協(xié)議和接口為下一步的研究提供了方向,而交通銀行新一代業(yè)務(wù)系統(tǒng)普遍采用了具有自主知識(shí)產(chǎn)權(quán)的架構(gòu)平臺(tái),技術(shù)上高度一致,為監(jiān)控方案的優(yōu)化提供了持續(xù)的便利條件。早年網(wǎng)絡(luò)監(jiān)控即使用了snmp(簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議),這個(gè)技術(shù)現(xiàn)在還在廣泛的使用,網(wǎng)絡(luò)設(shè)備一般都默認(rèn)可以開(kāi)啟snmp的外部訪(fǎng)問(wèn)。另一個(gè)也具有廣泛性的協(xié)議是ssh(Secure Shell),Unix/Linux操作系統(tǒng)和許多的網(wǎng)絡(luò)設(shè)備都可以通過(guò)該協(xié)議訪(fǎng)問(wèn)。在監(jiān)控平臺(tái)上部署數(shù)據(jù)庫(kù)、Web中間件、消息隊(duì)列工具等基礎(chǔ)軟件的客戶(hù)端,可以相應(yīng)地獲取IT系統(tǒng)上這些基礎(chǔ)軟件的運(yùn)行狀況,間接獲得操作系統(tǒng)層的數(shù)據(jù)。這些協(xié)議和工具的訪(fǎng)問(wèn)對(duì)監(jiān)控目標(biāo)難免會(huì)有一定的寫(xiě)入權(quán)限,但建立了良好的安全訪(fǎng)問(wèn)控制機(jī)制,可以將監(jiān)控對(duì)生產(chǎn)運(yùn)行的擾動(dòng)控制在合理的范圍內(nèi),達(dá)到以輕度侵入實(shí)現(xiàn)無(wú)代理監(jiān)控的目的。

    (2)與配置管理數(shù)據(jù)庫(kù)的整合。IT基礎(chǔ)架構(gòu)庫(kù),即ITIL,是國(guó)際上最成熟的一套IT管理解決方案,為企業(yè)的IT服務(wù)管理實(shí)踐提供了一個(gè)客觀、嚴(yán)謹(jǐn)、可量化的標(biāo)準(zhǔn)和規(guī)范。作為ITIL的主要組成部分之一,配置管理數(shù)據(jù)庫(kù),即CMDB,存儲(chǔ)與管理IT架構(gòu)中資源的各種配置信息,為IT建設(shè)、運(yùn)維提供相關(guān)的基礎(chǔ)配置信息以及配置之間的相互關(guān)系,涵蓋硬件、操作系統(tǒng)、邏輯設(shè)備、系統(tǒng)配置、基礎(chǔ)軟件、應(yīng)用部署以及相關(guān)管理信息等各個(gè)方面。運(yùn)維人員可以根據(jù)設(shè)備的名稱(chēng)來(lái)檢索它上、下游和同級(jí)的關(guān)聯(lián)信息,輕松地了解生產(chǎn)運(yùn)行全局資源的組織架構(gòu),輔助判斷某項(xiàng)資源調(diào)整時(shí)可能涉及的方方面面,同樣也能知曉某項(xiàng)資源缺失會(huì)影響哪些業(yè)務(wù)和系統(tǒng),或者反過(guò)來(lái)由某個(gè)結(jié)果推算導(dǎo)致其發(fā)生的原因。監(jiān)控平臺(tái)的指標(biāo)、集合及其相互關(guān)系,某種程度可以視為配置管理數(shù)據(jù)庫(kù)的一部分,在監(jiān)控層面可以認(rèn)為二者之間有相當(dāng)大的重合。例如,對(duì)于一個(gè)Service IP,在配置管理數(shù)據(jù)中,它從屬于某個(gè)高可用集群,其下一級(jí)又有多個(gè)對(duì)外提供服務(wù)的監(jiān)聽(tīng)端口,而同樣的關(guān)系也會(huì)體現(xiàn)在監(jiān)控平臺(tái)上。在未來(lái)的方案中,配置管理數(shù)據(jù)庫(kù)的完整和及時(shí)更新,能為監(jiān)控平臺(tái)監(jiān)控對(duì)象的全面性、準(zhǔn)確性、合理性提供可靠的參照。相反,監(jiān)控平臺(tái)可以幫助核對(duì)配置管理數(shù)據(jù)庫(kù)中的數(shù)據(jù),在配置管理數(shù)據(jù)庫(kù)的關(guān)系結(jié)構(gòu)圖中顯示配置項(xiàng)的可用狀態(tài),提示出某些配置項(xiàng)信息或配置項(xiàng)之間關(guān)系的變化。基于配置管理數(shù)據(jù)庫(kù)數(shù)據(jù)和監(jiān)控平臺(tái)監(jiān)控對(duì)象的相似性與相關(guān)性,二者可以深度整合,避免維護(hù)兩套數(shù)據(jù)帶來(lái)的額外工作量和數(shù)據(jù)不一致,也便于運(yùn)維人員更容易理解、把控雙方數(shù)據(jù)。

    5 結(jié)束語(yǔ)

    天津交行無(wú)代理IT監(jiān)控方案目前主要是實(shí)現(xiàn)了本文第一部分的目標(biāo),即根據(jù)預(yù)先設(shè)定的策略對(duì)生產(chǎn)系統(tǒng)重要服務(wù)和生產(chǎn)網(wǎng)絡(luò)重要節(jié)點(diǎn)進(jìn)行網(wǎng)絡(luò)掃描,已經(jīng)覆蓋主要系統(tǒng)、大部分應(yīng)用服務(wù)和重要網(wǎng)絡(luò)節(jié)點(diǎn)。對(duì)于監(jiān)控指標(biāo)的依賴(lài)關(guān)系判定、集合劃分、邏輯關(guān)系分析、故障定位、圖表展示以及無(wú)代理檢測(cè)手段的擴(kuò)充、監(jiān)控平臺(tái)策略定義與配置管理數(shù)據(jù)庫(kù)的整合,目前在進(jìn)行進(jìn)一步的細(xì)化設(shè)計(jì)和深入研究。相信整個(gè)方案的完全實(shí)施,對(duì)的系統(tǒng)監(jiān)控工作將更有裨益,其輕量、易部署、易擴(kuò)展的特性也有助于它的向外推廣。

    參考文獻(xiàn):

    [1]張曉丹.面向業(yè)務(wù)應(yīng)用交易的IT運(yùn)維監(jiān)控系統(tǒng)建設(shè)思路[J].中國(guó)金融電腦,2015(1).

    [2]卑風(fēng).基于ITIL體系的銀行數(shù)據(jù)中心配置管理工具的分析與設(shè)計(jì)[J].微型電腦應(yīng)用,2013(3).

    猜你喜歡
    故障定位指標(biāo)
    主要宏觀經(jīng)濟(jì)指標(biāo)及債券指標(biāo)統(tǒng)計(jì)表
    主要宏觀經(jīng)濟(jì)指標(biāo)及債券指標(biāo)統(tǒng)計(jì)表
    主要宏觀經(jīng)濟(jì)指標(biāo)及債券指標(biāo)統(tǒng)計(jì)表
    小電流接地系統(tǒng)故障定位技術(shù)研究
    基于GIS的電力系統(tǒng)光纜故障快速定位研究
    主要宏觀經(jīng)濟(jì)指標(biāo)及債券指標(biāo)統(tǒng)計(jì)表
    測(cè)控區(qū)和非測(cè)控區(qū)并存的配電網(wǎng)故障定位實(shí)用方法
    探討智能配電網(wǎng)故障快速定位與故障恢復(fù)
    電力電纜故障定位的探討
    主要宏觀經(jīng)濟(jì)指標(biāo)及債券指標(biāo)統(tǒng)計(jì)表
    在线永久观看黄色视频| 别揉我奶头~嗯~啊~动态视频 | 美女中出高潮动态图| 在线 av 中文字幕| 美国免费a级毛片| 国产色视频综合| 国产xxxxx性猛交| 777米奇影视久久| 中亚洲国语对白在线视频| 90打野战视频偷拍视频| 亚洲第一av免费看| 欧美亚洲日本最大视频资源| 不卡av一区二区三区| 成人18禁高潮啪啪吃奶动态图| 99精品久久久久人妻精品| 日本五十路高清| 在线十欧美十亚洲十日本专区| 欧美大码av| 99热网站在线观看| 1024视频免费在线观看| 91精品三级在线观看| 少妇精品久久久久久久| 97人妻天天添夜夜摸| 人人澡人人妻人| 日韩中文字幕视频在线看片| 狠狠婷婷综合久久久久久88av| 久久国产精品男人的天堂亚洲| 色老头精品视频在线观看| 国产日韩一区二区三区精品不卡| 免费在线观看黄色视频的| 五月开心婷婷网| 丝袜喷水一区| 欧美国产精品va在线观看不卡| 男女高潮啪啪啪动态图| 日韩制服骚丝袜av| av超薄肉色丝袜交足视频| 一二三四社区在线视频社区8| 精品亚洲乱码少妇综合久久| 91麻豆精品激情在线观看国产 | 99国产精品99久久久久| 欧美另类亚洲清纯唯美| 美女扒开内裤让男人捅视频| 母亲3免费完整高清在线观看| 国产一卡二卡三卡精品| 日韩 欧美 亚洲 中文字幕| 成年av动漫网址| 又黄又粗又硬又大视频| 9色porny在线观看| 在线av久久热| 日本av免费视频播放| 超色免费av| 最近最新中文字幕大全免费视频| 成人亚洲精品一区在线观看| 国产精品国产av在线观看| 亚洲精品一区蜜桃| 亚洲国产成人一精品久久久| 欧美性长视频在线观看| 91老司机精品| 中文字幕色久视频| 大香蕉久久成人网| 成年美女黄网站色视频大全免费| 久久久久精品人妻al黑| 午夜免费观看性视频| 日韩免费高清中文字幕av| 亚洲国产欧美在线一区| 日本精品一区二区三区蜜桃| av在线老鸭窝| 蜜桃国产av成人99| 国产精品99久久99久久久不卡| 久久99热这里只频精品6学生| 国产片内射在线| 男人爽女人下面视频在线观看| 久久这里只有精品19| 国产黄色免费在线视频| 18禁国产床啪视频网站| 成人国产一区最新在线观看| 女人爽到高潮嗷嗷叫在线视频| 少妇的丰满在线观看| a 毛片基地| av又黄又爽大尺度在线免费看| 亚洲精品久久久久久婷婷小说| 久久av网站| 欧美人与性动交α欧美软件| 精品久久蜜臀av无| tocl精华| 精品国产一区二区三区久久久樱花| 国产精品麻豆人妻色哟哟久久| 午夜激情av网站| 亚洲国产欧美网| 国产黄频视频在线观看| 免费高清在线观看日韩| 日韩 欧美 亚洲 中文字幕| 999久久久精品免费观看国产| 中国国产av一级| 操美女的视频在线观看| a级毛片在线看网站| 性色av一级| 免费在线观看日本一区| 视频区图区小说| 久久免费观看电影| 国产精品国产av在线观看| 国产成人欧美| www日本在线高清视频| 亚洲国产欧美在线一区| 国产日韩欧美在线精品| 精品久久蜜臀av无| 亚洲成人国产一区在线观看| netflix在线观看网站| 欧美日本中文国产一区发布| 亚洲欧美清纯卡通| 1024视频免费在线观看| 97在线人人人人妻| 久久精品久久久久久噜噜老黄| 日本五十路高清| 亚洲精品国产一区二区精华液| 国产亚洲av片在线观看秒播厂| 国产99久久九九免费精品| 亚洲 国产 在线| 国产男女内射视频| 精品少妇黑人巨大在线播放| 丁香六月天网| 十八禁高潮呻吟视频| 欧美性长视频在线观看| 一本大道久久a久久精品| 这个男人来自地球电影免费观看| 久久久水蜜桃国产精品网| 免费黄频网站在线观看国产| 亚洲专区国产一区二区| 日本猛色少妇xxxxx猛交久久| 操出白浆在线播放| 一级,二级,三级黄色视频| av在线老鸭窝| a级毛片黄视频| 中文字幕高清在线视频| 久久久久国产一级毛片高清牌| 亚洲性夜色夜夜综合| 午夜福利乱码中文字幕| 久久久久久久国产电影| 一二三四在线观看免费中文在| 色播在线永久视频| 日韩中文字幕视频在线看片| 黄频高清免费视频| 国产av一区二区精品久久| 飞空精品影院首页| 欧美日韩av久久| 久久ye,这里只有精品| 性少妇av在线| 天天添夜夜摸| 黄片小视频在线播放| 97在线人人人人妻| 久久久久久久大尺度免费视频| 啦啦啦视频在线资源免费观看| 大码成人一级视频| 超色免费av| 日韩欧美免费精品| 久久中文看片网| 巨乳人妻的诱惑在线观看| 热re99久久精品国产66热6| 国产精品一区二区精品视频观看| 91老司机精品| 欧美日韩亚洲国产一区二区在线观看 | 在线av久久热| 日本av免费视频播放| 伊人亚洲综合成人网| 欧美老熟妇乱子伦牲交| 国产无遮挡羞羞视频在线观看| 亚洲精品一卡2卡三卡4卡5卡 | 国产成人a∨麻豆精品| 日韩制服骚丝袜av| 最近最新免费中文字幕在线| 日韩视频一区二区在线观看| 纯流量卡能插随身wifi吗| 国产老妇伦熟女老妇高清| 丁香六月欧美| 国产精品欧美亚洲77777| 性少妇av在线| 国产有黄有色有爽视频| 国产精品久久久人人做人人爽| 啦啦啦免费观看视频1| 老司机靠b影院| 99九九在线精品视频| 真人做人爱边吃奶动态| 国产欧美日韩一区二区精品| 高清黄色对白视频在线免费看| 大陆偷拍与自拍| 在线观看一区二区三区激情| 老司机靠b影院| 国产成人a∨麻豆精品| 午夜成年电影在线免费观看| 成人国产av品久久久| 丝瓜视频免费看黄片| 久久精品亚洲熟妇少妇任你| 男男h啪啪无遮挡| 天天添夜夜摸| 一本大道久久a久久精品| 国产野战对白在线观看| 中文字幕另类日韩欧美亚洲嫩草| 国产97色在线日韩免费| 黄色片一级片一级黄色片| 中文欧美无线码| 国产男人的电影天堂91| 免费日韩欧美在线观看| 久久精品熟女亚洲av麻豆精品| 视频在线观看一区二区三区| √禁漫天堂资源中文www| 老熟妇乱子伦视频在线观看 | 午夜福利乱码中文字幕| 交换朋友夫妻互换小说| 后天国语完整版免费观看| 久久99热这里只频精品6学生| 黄网站色视频无遮挡免费观看| 精品一品国产午夜福利视频| 91av网站免费观看| av网站在线播放免费| 亚洲专区国产一区二区| 宅男免费午夜| 国产av又大| 国产成人av激情在线播放| 少妇粗大呻吟视频| 岛国毛片在线播放| 中文欧美无线码| 黄色a级毛片大全视频| 黄色 视频免费看| 久久久久精品人妻al黑| 亚洲熟女精品中文字幕| xxxhd国产人妻xxx| 亚洲成人免费电影在线观看| 日本欧美视频一区| 99国产综合亚洲精品| 777米奇影视久久| 岛国在线观看网站| 久久久国产欧美日韩av| 性高湖久久久久久久久免费观看| 欧美精品一区二区免费开放| 青青草视频在线视频观看| 亚洲精品在线美女| www.av在线官网国产| 69精品国产乱码久久久| 亚洲av电影在线观看一区二区三区| 亚洲中文字幕日韩| 久久久欧美国产精品| 母亲3免费完整高清在线观看| 欧美国产精品一级二级三级| 久久人人爽人人片av| 亚洲欧美色中文字幕在线| 香蕉丝袜av| 高清av免费在线| 亚洲精品一卡2卡三卡4卡5卡 | 亚洲欧美色中文字幕在线| 考比视频在线观看| 汤姆久久久久久久影院中文字幕| 两个人看的免费小视频| 亚洲三区欧美一区| 久久国产精品男人的天堂亚洲| 少妇被粗大的猛进出69影院| 免费看十八禁软件| 女人精品久久久久毛片| 99久久精品国产亚洲精品| xxxhd国产人妻xxx| 亚洲成人手机| 免费在线观看日本一区| 午夜久久久在线观看| 各种免费的搞黄视频| 一区二区av电影网| 免费在线观看黄色视频的| 制服诱惑二区| 青草久久国产| 欧美日韩成人在线一区二区| 交换朋友夫妻互换小说| 高清黄色对白视频在线免费看| 免费观看人在逋| 国产有黄有色有爽视频| 俄罗斯特黄特色一大片| 午夜福利免费观看在线| 五月开心婷婷网| 欧美激情极品国产一区二区三区| 十八禁网站免费在线| 国产精品二区激情视频| 久久天堂一区二区三区四区| 久久精品国产亚洲av香蕉五月 | 精品人妻在线不人妻| 男人添女人高潮全过程视频| 日本欧美视频一区| 国产一区有黄有色的免费视频| 波多野结衣av一区二区av| 欧美av亚洲av综合av国产av| 午夜福利视频在线观看免费| 天天躁狠狠躁夜夜躁狠狠躁| tube8黄色片| 美女午夜性视频免费| 美女午夜性视频免费| 亚洲精品久久成人aⅴ小说| 天堂中文最新版在线下载| 老司机影院毛片| 亚洲人成77777在线视频| 一个人免费在线观看的高清视频 | 狠狠婷婷综合久久久久久88av| 狠狠婷婷综合久久久久久88av| 狠狠狠狠99中文字幕| 叶爱在线成人免费视频播放| 少妇的丰满在线观看| 一级毛片女人18水好多| 精品少妇内射三级| 精品乱码久久久久久99久播| 亚洲国产毛片av蜜桃av| 国产精品香港三级国产av潘金莲| 亚洲欧美色中文字幕在线| 日韩 欧美 亚洲 中文字幕| 午夜福利一区二区在线看| 黄片小视频在线播放| 欧美人与性动交α欧美精品济南到| 高潮久久久久久久久久久不卡| 欧美国产精品va在线观看不卡| 一边摸一边抽搐一进一出视频| 亚洲欧美日韩另类电影网站| 欧美日韩黄片免| 自线自在国产av| 国产一区有黄有色的免费视频| 成年动漫av网址| 啦啦啦免费观看视频1| 国产又色又爽无遮挡免| 99精品欧美一区二区三区四区| 女人久久www免费人成看片| 久久人妻福利社区极品人妻图片| 最近最新中文字幕大全免费视频| 免费看十八禁软件| 在线观看免费午夜福利视频| 国产欧美日韩综合在线一区二区| e午夜精品久久久久久久| 美女扒开内裤让男人捅视频| 亚洲国产精品一区三区| 国产免费视频播放在线视频| 国产精品久久久久成人av| 老熟妇乱子伦视频在线观看 | 女人高潮潮喷娇喘18禁视频| 久久狼人影院| www.999成人在线观看| 美女脱内裤让男人舔精品视频| 人成视频在线观看免费观看| 亚洲人成电影观看| 精品一区二区三区四区五区乱码| 欧美另类亚洲清纯唯美| 色视频在线一区二区三区| 丰满少妇做爰视频| 国产精品免费视频内射| 999久久久国产精品视频| 免费少妇av软件| 在线永久观看黄色视频| 在线天堂中文资源库| 成年美女黄网站色视频大全免费| 1024视频免费在线观看| 精品国产乱码久久久久久小说| 欧美一级毛片孕妇| 亚洲欧美日韩高清在线视频 | 每晚都被弄得嗷嗷叫到高潮| 精品亚洲成国产av| 国产一卡二卡三卡精品| 啪啪无遮挡十八禁网站| 我的亚洲天堂| 午夜福利视频在线观看免费| av超薄肉色丝袜交足视频| 真人做人爱边吃奶动态| 久久久国产欧美日韩av| 纵有疾风起免费观看全集完整版| 成人18禁高潮啪啪吃奶动态图| 亚洲国产欧美日韩在线播放| 狠狠婷婷综合久久久久久88av| 久久影院123| 国产精品久久久久久精品古装| 黄片小视频在线播放| 国产男女内射视频| 日韩 亚洲 欧美在线| 日韩,欧美,国产一区二区三区| 18禁裸乳无遮挡动漫免费视频| 女性被躁到高潮视频| 欧美日本中文国产一区发布| 亚洲熟女精品中文字幕| 老司机午夜福利在线观看视频 | 极品人妻少妇av视频| 免费在线观看视频国产中文字幕亚洲 | 国产在线免费精品| 国产97色在线日韩免费| 老司机深夜福利视频在线观看 | 99热网站在线观看| 99国产精品一区二区三区| 两个人免费观看高清视频| 91国产中文字幕| 国产99久久九九免费精品| 伊人久久大香线蕉亚洲五| 午夜福利在线免费观看网站| 各种免费的搞黄视频| 亚洲中文字幕日韩| 国产精品九九99| 两人在一起打扑克的视频| 岛国在线观看网站| 欧美午夜高清在线| 欧美人与性动交α欧美精品济南到| 一本大道久久a久久精品| 久久亚洲精品不卡| 国产精品偷伦视频观看了| av在线播放精品| av天堂在线播放| 大型av网站在线播放| 国产高清国产精品国产三级| 亚洲国产欧美日韩在线播放| 最近中文字幕2019免费版| av网站在线播放免费| 国产一级毛片在线| 99国产综合亚洲精品| 高清av免费在线| 天堂俺去俺来也www色官网| 日韩,欧美,国产一区二区三区| 性少妇av在线| 97人妻天天添夜夜摸| 国产欧美日韩精品亚洲av| 少妇人妻久久综合中文| a级毛片黄视频| 99国产精品免费福利视频| 国产区一区二久久| 久久国产精品影院| 亚洲av日韩精品久久久久久密| 国产成人免费观看mmmm| 午夜激情av网站| 老汉色av国产亚洲站长工具| 中文精品一卡2卡3卡4更新| 欧美精品亚洲一区二区| www.av在线官网国产| 精品久久蜜臀av无| 精品国产超薄肉色丝袜足j| 90打野战视频偷拍视频| 欧美中文综合在线视频| 少妇粗大呻吟视频| 性色av乱码一区二区三区2| 亚洲精品国产色婷婷电影| 天天躁夜夜躁狠狠躁躁| 中亚洲国语对白在线视频| 99九九在线精品视频| 99精品欧美一区二区三区四区| 大码成人一级视频| 激情视频va一区二区三区| 久久女婷五月综合色啪小说| 午夜成年电影在线免费观看| 久久久久久久国产电影| 在线看a的网站| 人人澡人人妻人| 久久久国产欧美日韩av| 亚洲黑人精品在线| 亚洲av电影在线观看一区二区三区| 精品亚洲乱码少妇综合久久| 99精品久久久久人妻精品| 国产无遮挡羞羞视频在线观看| 精品免费久久久久久久清纯 | 他把我摸到了高潮在线观看 | 精品久久久久久电影网| 久热爱精品视频在线9| 亚洲人成77777在线视频| 正在播放国产对白刺激| 亚洲伊人色综图| 一级片免费观看大全| 久久青草综合色| 精品亚洲乱码少妇综合久久| 久久免费观看电影| 真人做人爱边吃奶动态| 久久亚洲精品不卡| 在线观看免费日韩欧美大片| 男女高潮啪啪啪动态图| 亚洲精品一区蜜桃| 成在线人永久免费视频| 国产97色在线日韩免费| 午夜两性在线视频| 精品国产乱码久久久久久男人| 久久精品国产综合久久久| 深夜精品福利| 一本色道久久久久久精品综合| 久热爱精品视频在线9| 亚洲欧美精品自产自拍| 中文字幕高清在线视频| 亚洲国产日韩一区二区| 久久人人爽av亚洲精品天堂| a级片在线免费高清观看视频| www.精华液| 国产又爽黄色视频| 女人精品久久久久毛片| 伊人久久大香线蕉亚洲五| 国产精品成人在线| 午夜两性在线视频| 日韩大码丰满熟妇| 国产精品久久久久久精品电影小说| 久久人妻熟女aⅴ| 一区二区三区乱码不卡18| 国产三级黄色录像| 我的亚洲天堂| 久久中文看片网| 亚洲精品国产一区二区精华液| 亚洲精品一区蜜桃| 中文字幕人妻熟女乱码| 亚洲三区欧美一区| 高清黄色对白视频在线免费看| 午夜福利视频精品| a级片在线免费高清观看视频| 精品久久蜜臀av无| 男人舔女人的私密视频| 国产精品偷伦视频观看了| 五月天丁香电影| 女性生殖器流出的白浆| 久久影院123| 欧美97在线视频| 老司机午夜十八禁免费视频| 亚洲精品中文字幕在线视频| 电影成人av| 又黄又粗又硬又大视频| 日韩,欧美,国产一区二区三区| 91麻豆av在线| 麻豆乱淫一区二区| 国内毛片毛片毛片毛片毛片| 国产精品一区二区免费欧美 | 一本色道久久久久久精品综合| 精品人妻1区二区| 久久精品久久久久久噜噜老黄| 亚洲av成人不卡在线观看播放网 | 三上悠亚av全集在线观看| 最黄视频免费看| 成人av一区二区三区在线看 | 国产精品久久久久成人av| 19禁男女啪啪无遮挡网站| 男女高潮啪啪啪动态图| 久久久国产欧美日韩av| 69精品国产乱码久久久| 少妇 在线观看| 黄频高清免费视频| 91精品国产国语对白视频| 91麻豆精品激情在线观看国产 | 色婷婷av一区二区三区视频| 韩国高清视频一区二区三区| 国产成人精品无人区| 中文字幕高清在线视频| 久久国产精品大桥未久av| 黄片播放在线免费| 国产av一区二区精品久久| 亚洲精品乱久久久久久| 成年av动漫网址| 中文欧美无线码| 久热爱精品视频在线9| 久久人妻熟女aⅴ| 91精品伊人久久大香线蕉| 亚洲第一青青草原| 亚洲avbb在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 午夜老司机福利片| 12—13女人毛片做爰片一| 日韩人妻精品一区2区三区| 国产高清国产精品国产三级| 老司机靠b影院| 黄色视频,在线免费观看| 一级毛片女人18水好多| 亚洲国产毛片av蜜桃av| 69av精品久久久久久 | 国产男女超爽视频在线观看| 两人在一起打扑克的视频| 亚洲午夜精品一区,二区,三区| 国产免费av片在线观看野外av| 黄片大片在线免费观看| 黄色怎么调成土黄色| 美女视频免费永久观看网站| 19禁男女啪啪无遮挡网站| 美女午夜性视频免费| 啪啪无遮挡十八禁网站| 咕卡用的链子| 日本精品一区二区三区蜜桃| 久久久国产一区二区| 99国产极品粉嫩在线观看| 国产黄色免费在线视频| 无限看片的www在线观看| 欧美激情 高清一区二区三区| av片东京热男人的天堂| 国产日韩欧美视频二区| 中文字幕另类日韩欧美亚洲嫩草| 午夜激情久久久久久久| 欧美亚洲日本最大视频资源| 高清黄色对白视频在线免费看| 国产免费视频播放在线视频| 巨乳人妻的诱惑在线观看| 波多野结衣一区麻豆| 下体分泌物呈黄色| 在线天堂中文资源库| 久久久久久久精品精品| 久久中文看片网| 国产亚洲午夜精品一区二区久久| 午夜福利视频在线观看免费| 久久这里只有精品19| 欧美 日韩 精品 国产| 汤姆久久久久久久影院中文字幕| 男人爽女人下面视频在线观看| 亚洲人成77777在线视频| 一区二区三区四区激情视频| 一本一本久久a久久精品综合妖精| 免费久久久久久久精品成人欧美视频| 亚洲第一av免费看| 久久久久国产一级毛片高清牌| 亚洲精品一区蜜桃| 99精品久久久久人妻精品| 精品国产超薄肉色丝袜足j| 亚洲av国产av综合av卡| 一边摸一边抽搐一进一出视频| 免费观看人在逋| 午夜福利影视在线免费观看| 国产精品一区二区在线观看99| 日日爽夜夜爽网站| 精品少妇黑人巨大在线播放| 精品第一国产精品| 热99久久久久精品小说推荐| 大片电影免费在线观看免费| 午夜影院在线不卡| 国产亚洲欧美精品永久| 男人添女人高潮全过程视频|