基于數(shù)據(jù)處理的任務(wù)智能調(diào)度引擎設(shè)計

婁必偉　張起榮　歐瑩元

摘要：文章首先對電信運營商任務(wù)調(diào)度的現(xiàn)狀進行簡要分析，在此基礎(chǔ)上對基于數(shù)據(jù)處理的任務(wù)智能調(diào)度引擎設(shè)計進行論述。期望通過本文的研究能夠?qū)θ蝿?wù)調(diào)度問題的解決有所幫助。

關(guān)鍵詞：數(shù)據(jù)處理；任務(wù)調(diào)度；智能調(diào)度引擎

一、電信運營商任務(wù)調(diào)度的現(xiàn)狀分析

近年來，國內(nèi)電信市場持續(xù)已久的壟斷逐步被打破，由此使得一些新運營商加入，在這一前提下，市場競爭變得日益激烈。對于電信運營商而言，他們幾乎每天都需要從后臺數(shù)據(jù)庫中，完成海量數(shù)據(jù)的抽取和統(tǒng)計任務(wù)。然而，由于大部分電信運營商并未應(yīng)用任務(wù)智能調(diào)度引擎，從而無法實現(xiàn)對這些任務(wù)的智能調(diào)度和實時監(jiān)控，致使某些用戶急需辦理的事項要等待很長的時間，統(tǒng)計結(jié)果中無法及時有效地發(fā)現(xiàn)問題。

對于電信運營商目前使用的經(jīng)分系統(tǒng)而言，任務(wù)調(diào)度是不可或缺的組成部分之一，這種應(yīng)用系統(tǒng)的數(shù)據(jù)及時l生在很大程度上取決于任務(wù)調(diào)度，換言之，任務(wù)調(diào)度對經(jīng)分系統(tǒng)具有直接的影響。任務(wù)調(diào)度算法有兩種，一種是事件驅(qū)動調(diào)度算法，它是按照事件發(fā)生的先后順序和任務(wù)的優(yōu)先級來安排任務(wù)的執(zhí)行；另一種是時鐘驅(qū)動調(diào)度算法，這種算法主要用于周期性任務(wù)的處理。在對時鐘驅(qū)動調(diào)度進行應(yīng)用時，需要同時滿足如下幾個條件：即精確度足夠高的定時、分布式的全局時間、調(diào)度器由時間觸發(fā)。通過對目前應(yīng)用較多的數(shù)據(jù)庫進行分析后發(fā)現(xiàn)，其中很大一部分在任務(wù)調(diào)度算法上，采用的都是時鐘驅(qū)動調(diào)度算法。

大多數(shù)的數(shù)據(jù)庫系統(tǒng)中都有Job或Scheduler進行任務(wù)調(diào)度，這些任務(wù)的調(diào)度算法都采用時鐘驅(qū)動調(diào)度算法。Quartz作為一個由Java編寫的開源作業(yè)調(diào)度框架，其調(diào)度的處理方式也為定時處理。

這種時鐘驅(qū)動調(diào)度算法它關(guān)注的并不是數(shù)據(jù)當(dāng)前所處的狀況，只要達到預(yù)先設(shè)定好的時間，便會進行處理，在這一前提下，常常會出現(xiàn)如下問題：即有的任務(wù)在處理時，與之相關(guān)的數(shù)據(jù)尚未生成，這樣一來，需要對任務(wù)重新處理，不但費時，而且費力。

二、基于數(shù)據(jù)處理的任務(wù)智能調(diào)度引擎設(shè)計

（1）設(shè)計目標(biāo)

為了解決現(xiàn)有任務(wù)調(diào)度中存在的缺陷和不足，本文提出一種基于數(shù)據(jù)處理的任務(wù)智能調(diào)度引擎，通過它的應(yīng)用，可以實現(xiàn)如下目標(biāo)：在各種任務(wù)的處理上，只要按照預(yù)先設(shè)定好的程序進行完全配置，便能夠?qū)崿F(xiàn)自動調(diào)度，整個調(diào)度過程不需要人為干預(yù)，這種自動化的處理方式，可以幫助電信業(yè)務(wù)支撐部門解決日常數(shù)據(jù)處理的繁重工作，不但減輕了人員的工作量，而且還確保了數(shù)據(jù)處理的正確性與及時性，人力和物力的節(jié)約，能夠給企業(yè)帶來一定的經(jīng)濟效益。同時，決策人員可以在較短的時間內(nèi)，獲得準(zhǔn)確、可靠、完整的數(shù)據(jù)，為經(jīng)營決策提供了可靠的依據(jù)。

（2）任務(wù)智能調(diào)度引擎的功能設(shè)計

本文所設(shè)計的任務(wù)智能調(diào)度引擎具備如下功能：

①任務(wù)配置管理?？蓪θ蝿?wù)并發(fā)數(shù)及配置任務(wù)屬性進行定義，同時還能對新建任務(wù)的優(yōu)先級、任務(wù)對應(yīng)的后臺處理過程以及具體的執(zhí)行周期等進行定義?？梢匀铡⒅?、月、年為單位對任務(wù)進行定義，并且可以定義一次性任務(wù)，在對周任務(wù)進行定義的過程中，需要預(yù)先設(shè)定開始時間，即周幾，而對一次性任務(wù)進行定義時，則需要指定數(shù)據(jù)的開始與截止時間。

②任務(wù)執(zhí)行條件管理。該功能具體是指對任務(wù)的執(zhí)行條件進行配置，當(dāng)任務(wù)滿足預(yù)先設(shè)定的條件時，才會被執(zhí)行?？蓪θ蝿?wù)執(zhí)行的時間點及任務(wù)執(zhí)行前的檢查條件進行配置。

③任務(wù)依賴關(guān)系管理。此項功能可對任務(wù)的依賴關(guān)系進行定義，一個任務(wù)能夠依賴于多個任務(wù)，同時也能被多個任務(wù)所依賴，當(dāng)任務(wù)所依賴的任務(wù)執(zhí)行完成以后，該任務(wù)才會被執(zhí)行。

④任務(wù)后續(xù)處理。該功能主要是對任務(wù)執(zhí)行完成后的相關(guān)處理進行定義，如數(shù)據(jù)完整性、有效性檢查、數(shù)據(jù)量比較等。

⑤任務(wù)執(zhí)行監(jiān)控。對任務(wù)的具體執(zhí)行情況進行查看，可啟動亦可停止任務(wù)，若是停止命令下達時，任務(wù)處于正在執(zhí)行的狀態(tài)，系統(tǒng)會在執(zhí)行完成后，停止指定任務(wù)。

⑥任務(wù)異常處理。對任務(wù)執(zhí)行出現(xiàn)的差錯情況進行查看，找出錯誤的語句后進行處理，并在處理完畢后，對該任務(wù)進行重做。

⑦服務(wù)程序。這是一個任務(wù)智能調(diào)度程序，其能夠按照任務(wù)執(zhí)行的具體條件完成檢查，若是條件具備，則系統(tǒng)會自動啟動執(zhí)行。

（3）應(yīng)用優(yōu)勢

本文所設(shè)計的任務(wù)智能調(diào)度引擎具有如下應(yīng)用優(yōu)勢：任務(wù)檢查條件的設(shè)置，可以使系統(tǒng)先檢查任務(wù)是否可執(zhí)行，只有具備條件才會執(zhí)行，從而避免了人工重做的情況發(fā)生；設(shè)計中引入了任務(wù)的依賴關(guān)系，確保了數(shù)據(jù)的正確性，解決了任務(wù)長時間執(zhí)行對資源的耗費問題；任務(wù)并發(fā)數(shù)的設(shè)置，防止了任務(wù)過多導(dǎo)致系統(tǒng)資源消耗過大影響使用；設(shè)計采用的調(diào)度算法在時鐘驅(qū)動算法的基礎(chǔ)上，按照任務(wù)的執(zhí)行周期、條件、依賴關(guān)系等對任務(wù)進行檢查，確保了可執(zhí)行任務(wù)能夠優(yōu)先進入到隊列當(dāng)中。

結(jié)論

綜上所述，本文在對電信運營商任務(wù)調(diào)度現(xiàn)狀進行分析的基礎(chǔ)上，提出一種基于數(shù)據(jù)處理的任務(wù)智能調(diào)度引擎，并對其設(shè)計目標(biāo)、功能及應(yīng)用優(yōu)勢進行論述。通過該引擎的應(yīng)用，能夠使電信運營商任務(wù)調(diào)度問題得到有效的解決。

（作者單位：貴州工程應(yīng)用技術(shù)學(xué)院）