程東年，汪斌強，王保進，張建輝

（國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心，河南 鄭州 450002）

1 引言

電信網(wǎng)的電路交換能力具有明確的網(wǎng)絡(luò)業(yè)務(wù)針對性，但恰是它的這種承載結(jié)構(gòu)到網(wǎng)絡(luò)業(yè)務(wù)的強針對性成為其資源利用效率低的重要原因?；ヂ?lián)網(wǎng)采用的分組交換協(xié)議IP具有網(wǎng)際互連的優(yōu)質(zhì)特性，IP一方面具有時間和空間雙重意義的統(tǒng)計復用特性，另一方面具有網(wǎng)絡(luò)應(yīng)用的語義透明性，然而，也正是 IP的統(tǒng)計復用性和語義透明性使其成為互聯(lián)網(wǎng)支持數(shù)據(jù)傳送質(zhì)量的軟肋。不同于現(xiàn)有的服務(wù)質(zhì)量保證方法，內(nèi)在結(jié)構(gòu)可變的可重構(gòu)網(wǎng)絡(luò)是在分組交換條件下解決數(shù)據(jù)傳送質(zhì)量問題的一項全新的結(jié)構(gòu)性方法，它旨在既保留具有統(tǒng)計復用和語義透明等優(yōu)質(zhì)特性的分組交換模式，又以動態(tài)改變自身結(jié)構(gòu)和行為的方式[1]來保證數(shù)據(jù)傳送的質(zhì)量。

可重構(gòu)網(wǎng)絡(luò)的研究大體沿自適應(yīng)協(xié)議和可編程網(wǎng)絡(luò)2個方向進行[1]。在自適應(yīng)協(xié)議方向，文獻[2～4]研究了可重構(gòu)網(wǎng)絡(luò)功能和結(jié)構(gòu)的宏觀性質(zhì)。文獻[2,4]以服務(wù)提供為目標，研究了邏輯承載網(wǎng)的結(jié)構(gòu)形態(tài)及其構(gòu)建方法，文獻[3]針對層次化結(jié)構(gòu)，提出了松耦合、擴展、隔離等網(wǎng)絡(luò)構(gòu)建原則。由性能指標驅(qū)動結(jié)構(gòu)的動態(tài)配置是另一個重要方面。文獻[5]用數(shù)據(jù)平均網(wǎng)絡(luò)時延作為性能度量，研究了樹形和等級結(jié)構(gòu)的動態(tài)可重構(gòu)數(shù)據(jù)網(wǎng)絡(luò)。針對高度動態(tài)環(huán)境中容易導致路由信息不一致的問題，文獻[6]為可重構(gòu)節(jié)點提出了一種基于消息的多隊列同步機制。文獻[7]用呼叫阻塞率作為性能度量來設(shè)計可動態(tài)重路由的機制。文獻[8]研究了用可連接性（connectability）刻畫傳輸網(wǎng)資源重構(gòu)策略的特征，以提高對流量動態(tài)需求的適應(yīng)性和資源效率。文獻[9]針對多種不同的無線頻譜和資源優(yōu)化方法分別具有不同時間尺度的特點，提出了一種將多尺度方法進行融合的端到端可重構(gòu)體系，旨在自動調(diào)節(jié)無線接入處理模塊的操作參數(shù)，以實現(xiàn)網(wǎng)絡(luò)對業(yè)務(wù)流量模式的自適應(yīng)。文獻[10]提出一種將認知和自主能力融入網(wǎng)絡(luò)協(xié)議的端到端可重構(gòu)無線網(wǎng)絡(luò)結(jié)構(gòu)。文獻[11]針對網(wǎng)絡(luò)節(jié)點失效的問題，提出一個分布式拓撲重建結(jié)構(gòu)DASH，通過自動連通失效節(jié)點的各個鄰居來重建整個網(wǎng)絡(luò)的連通性。文獻[12]給出一種光傳輸資源動態(tài)優(yōu)化配置的可重構(gòu)光骨干網(wǎng)絡(luò)結(jié)構(gòu)，以達到有效支持由用戶而非網(wǎng)絡(luò)來動態(tài)定制其骨干網(wǎng)光通道的目的。文獻[13]針對各種互聯(lián)網(wǎng)設(shè)備在通信協(xié)議和技術(shù)上的異構(gòu)性，提出了一種信息驅(qū)動體系結(jié)構(gòu) IDRA，通過網(wǎng)絡(luò)重構(gòu)技術(shù)在各異構(gòu)設(shè)備之間建立并維持連通性，從而自動適應(yīng)并彌合設(shè)備間的異構(gòu)性。文獻[14]研究了 DiffServ中業(yè)務(wù)流服務(wù)速率的動態(tài)配置問題，在為路由器輸出鏈路的服務(wù)速率動態(tài)配置問題建立數(shù)學模型的基礎(chǔ)上，采用啟發(fā)式算法探測網(wǎng)絡(luò)對業(yè)務(wù)流的服務(wù)效果，將可用的資源分配給不再滿足QoS約束的業(yè)務(wù)流，從而實現(xiàn)對服務(wù)速率的動態(tài)調(diào)節(jié)。在可編程網(wǎng)絡(luò)方向，文獻[15]研究了網(wǎng)絡(luò)協(xié)議的動態(tài)構(gòu)建問題，借助于協(xié)議推進器（protocol boosters），創(chuàng)建了一個對協(xié)議實施動態(tài)裝配的“協(xié)議市場”機制，允許網(wǎng)絡(luò)根據(jù)業(yè)務(wù)要求和自身狀態(tài)來動態(tài)構(gòu)建與之相配的網(wǎng)絡(luò)協(xié)議。文獻[16]針對骨干網(wǎng)絡(luò)僅提供分組傳遞，網(wǎng)絡(luò)服務(wù)由端系統(tǒng)提供，從而導致服務(wù)提供的靈活性差和效率低的問題，提出網(wǎng)絡(luò)服務(wù)的一種動態(tài)構(gòu)建體系 NetSerV，通過網(wǎng)絡(luò)服務(wù)的節(jié)點公共執(zhí)行環(huán)境，使得網(wǎng)絡(luò)服務(wù)模塊可在不同節(jié)點間進行動態(tài)遷移和組合，實現(xiàn)了以最佳服務(wù)效果為目的的網(wǎng)絡(luò)服務(wù)內(nèi)在結(jié)構(gòu)的動態(tài)構(gòu)造。

然而，作為一種新型的結(jié)構(gòu)形態(tài)，可重構(gòu)網(wǎng)絡(luò)的微觀核心特征、重構(gòu)的柔性內(nèi)涵、柔性重構(gòu)的驅(qū)動因素和驅(qū)動機理等可重構(gòu)網(wǎng)絡(luò)體系的核心要素仍然是未解的公開問題。當前對網(wǎng)絡(luò)結(jié)構(gòu)重構(gòu)柔性的認識大多是宏觀和定性的，少有揭示網(wǎng)絡(luò)結(jié)構(gòu)重構(gòu)柔性微觀的、過程的和定量的內(nèi)涵，而恰是后者決定可重構(gòu)網(wǎng)絡(luò)最終呈現(xiàn)的真正功能和性能。本文從網(wǎng)絡(luò)服務(wù)的實際效果應(yīng)最大程度地符合應(yīng)用傳送要求這一角度出發(fā)，探討網(wǎng)絡(luò)柔性重構(gòu)的固有內(nèi)涵。

本文第2節(jié)揭示了跟隨應(yīng)用要求而變化的時變信道這一可重構(gòu)網(wǎng)絡(luò)的核心特征；第3節(jié)進一步揭示并闡述了結(jié)構(gòu)柔性的“漸變跟隨”、“著眼整體”、“隱性隔離”和“自主驅(qū)動”4個重要內(nèi)涵，分別采用指數(shù)移動平均、n:m表決、MDP和強化學習模型定量刻畫了服務(wù)效果對應(yīng)用要求的穩(wěn)定偏離和資源調(diào)整幅度的最佳順序決策；第4節(jié)給出了一種支持柔性重構(gòu)的網(wǎng)絡(luò)節(jié)點功能結(jié)構(gòu)；第5節(jié)是結(jié)束語。

2 網(wǎng)絡(luò)重構(gòu)的核心特征

可重構(gòu)網(wǎng)絡(luò)的核心特征是其內(nèi)在結(jié)構(gòu)的時變性，即由時變的結(jié)構(gòu)驅(qū)動時變的服務(wù)能力，最終實現(xiàn)網(wǎng)絡(luò)服務(wù)對應(yīng)用要求和特征的動態(tài)適配。從該意義上講，可重構(gòu)網(wǎng)絡(luò)對單個應(yīng)用呈現(xiàn)的最終結(jié)果應(yīng)當是：構(gòu)造并保持能夠跟隨業(yè)務(wù)流量特征變化的時變信道，用過程意義的服務(wù)效果來一致地滿足網(wǎng)絡(luò)應(yīng)用的數(shù)據(jù)傳送要求。

這里，可變化的網(wǎng)絡(luò)內(nèi)在結(jié)構(gòu)是指網(wǎng)絡(luò)資源的分配和使用方式可以動態(tài)改變，換句話說，網(wǎng)絡(luò)可以適時改變它對應(yīng)用所分配的資源和對資源的使用方式。網(wǎng)絡(luò)服務(wù)能力的適配性則指網(wǎng)絡(luò)向其使用者提供的業(yè)務(wù)能夠匹配時變的應(yīng)用要求和特征。傳統(tǒng)電信網(wǎng)的業(yè)務(wù)是確定的、離散的，互聯(lián)網(wǎng)使用的IP也僅僅做到了在分組層面實施隨機的資源分配，這種隨機性本質(zhì)上是局部的和不受控的?？芍貥?gòu)網(wǎng)絡(luò)與基于IP的互聯(lián)網(wǎng)的一個重要不同之處在于，可重構(gòu)網(wǎng)絡(luò)的一個重要目標就是通過動態(tài)的過程控制，使得其內(nèi)在結(jié)構(gòu)的變化調(diào)整以顯式的方式受控于網(wǎng)絡(luò)業(yè)務(wù)的數(shù)據(jù)傳送要求和特征，最終使得服務(wù)效果對傳送要求之偏離程度達到最小，或者效果對要求的符合程度達到最大。

給定網(wǎng)絡(luò)應(yīng)用要求的總和A和網(wǎng)絡(luò)實際的服務(wù)效果B，網(wǎng)絡(luò)重構(gòu)的一個重要目標就是使得二者之差的絕對值|B-A|最小化。就網(wǎng)絡(luò)本身而言，網(wǎng)絡(luò)在時刻 t的重構(gòu)就是通過改變其內(nèi)部的結(jié)構(gòu) S(t)來實現(xiàn)網(wǎng)絡(luò)資源對網(wǎng)絡(luò)應(yīng)用的分配，在時刻t進行資源分配的本質(zhì)則是確定總體網(wǎng)絡(luò)資源集合的一個劃分D(t)，D(t)的每一個資源子集則對應(yīng)時刻t的一個應(yīng)用要求和特征子集。在統(tǒng)計復用網(wǎng)絡(luò)中，網(wǎng)絡(luò)資源的劃分是時變的。若ti為第i次重構(gòu)的時刻，則網(wǎng)絡(luò)資源劃分D(t)的演變軌跡為：

其中，t1＜t2＜…＜ti＜…。記h和g分別為概念意義的映射，則有D(t) = h(S(t)), B(t) = g(D(t), A(t))，這樣，網(wǎng)絡(luò)服務(wù)效果“一致滿足”應(yīng)用傳送要求可以近似地表示為如下的優(yōu)化問題：

網(wǎng)絡(luò)中所有應(yīng)用（或者某種應(yīng)用類型中的所有應(yīng)用）要求的總和A具有2個典型特征：第一，在宏觀上，A不依賴于網(wǎng)絡(luò)的結(jié)構(gòu)、狀態(tài)等而獨立存在，即任何一個應(yīng)用的數(shù)據(jù)傳送要求不會因網(wǎng)絡(luò)結(jié)構(gòu)、狀態(tài)等條件的變化而變化。比如，話音應(yīng)用不會因網(wǎng)絡(luò)資源受限而降低其話音數(shù)據(jù)的傳送質(zhì)量要求；第二，在微觀上，A是時變的。對于共同使用某種網(wǎng)絡(luò)資源的一組應(yīng)用而言，雖然單個應(yīng)用的傳送要求通常是確定的，但由于網(wǎng)絡(luò)應(yīng)用的復合是隨機的，就使得因應(yīng)用復合而施加到該共享資源上的總體服務(wù)要求也是隨機變化的，因此，A是所有應(yīng)用需要的網(wǎng)絡(luò)資源量的隨機疊加。由于參與疊加的每個應(yīng)用通常都有與眾不同的要求、不同的疊加時刻和不同的生命周期，因此，A(t)是時變的隨機序列。

實際服務(wù)效果 B(t)是網(wǎng)絡(luò)的自身結(jié)構(gòu)、網(wǎng)絡(luò)資源的被占用狀態(tài)、改變資源劃分的網(wǎng)絡(luò)重構(gòu)能力、獨立變化的應(yīng)用要求等因素相互作用的結(jié)果，它的最終外在數(shù)量特征與A(t)相同，即為所有應(yīng)用實際分配的網(wǎng)絡(luò)資源的總量，顯然B(t)也是時變的。然而，B(t)有2點與A(t)不同：第一，A(t)是導致B(t)變化的一個重要因素，例如，突然增大（或減小）的高優(yōu)先級流量會顯著擠占（或提升）低優(yōu)先級的瞬時相對帶寬。第二，B既可以大于A，也可以小于A，而且B和A的這種數(shù)量對比關(guān)系依然是時變的，可針對該數(shù)量對比關(guān)系建立網(wǎng)絡(luò)重構(gòu)的策略。從網(wǎng)絡(luò)自身的角度看，B大于A是一種“利他”型的策略，其目標是用過量的資源來保證應(yīng)用的要求，而B小于A則是一種“利己”型的策略，它優(yōu)先考慮網(wǎng)絡(luò)資源的效率，力求資源效益最大化而可以忽略部分應(yīng)用服務(wù)效果的降級。

網(wǎng)絡(luò)對自身結(jié)構(gòu)的調(diào)整改變了網(wǎng)絡(luò)資源針對網(wǎng)絡(luò)應(yīng)用的劃分D(t)，時變的資源劃分與應(yīng)用要求又進一步地確定了下一時刻新的實際服務(wù)效果B(t)，而在下一時刻，新的服務(wù)效果與新的應(yīng)用要求又會作用于可重構(gòu)網(wǎng)絡(luò)的認知控制結(jié)構(gòu)從而進入新一輪的網(wǎng)絡(luò)重構(gòu)循環(huán)，其中諸要素間的因果關(guān)系和操作循環(huán)如圖1所示。

圖1 網(wǎng)絡(luò)重構(gòu)的因果要素和操作循環(huán)

3 網(wǎng)絡(luò)重構(gòu)的柔性

揭示網(wǎng)絡(luò)結(jié)構(gòu)自我調(diào)整中各個要素在功能意義的因果邏輯關(guān)系僅僅是第1步，還需要更加深入地探索網(wǎng)絡(luò)重構(gòu)的方式，換句話說，網(wǎng)絡(luò)結(jié)構(gòu)自調(diào)整的方式是可重構(gòu)網(wǎng)絡(luò)“一致滿足時變要求”的美好目標得以實現(xiàn)的關(guān)鍵。為此，網(wǎng)絡(luò)可以針對各個應(yīng)用進行結(jié)構(gòu)的調(diào)整，但這意味著忽略應(yīng)用重要程度的差異性，使得有限的資源難以保證對所有應(yīng)用要求的一致滿足；網(wǎng)絡(luò)也可以針對應(yīng)用要求的任何變化立即進行結(jié)構(gòu)調(diào)整，但這樣既無法兼顧網(wǎng)絡(luò)資源的效率，又未利用網(wǎng)絡(luò)應(yīng)用對服務(wù)效果降級的容忍性質(zhì)；此外，針對一些應(yīng)用對資源劃分作出的改變是否需要考慮對其他應(yīng)用的影響？網(wǎng)絡(luò)重構(gòu)操作是受獨立于網(wǎng)絡(luò)的外力（如，人工管理命令等）而被動進行的，還是受網(wǎng)絡(luò)自身的某種控制機構(gòu)（例如，內(nèi)在的認知機制等）而主動實施的？作者認為，如果可重構(gòu)網(wǎng)絡(luò)能以某種“柔性”的方式對其結(jié)構(gòu)進行調(diào)整，就可以很好地兼顧諸如一致滿足所有應(yīng)用的時變要求、改善資源效率、保證重構(gòu)的透明性、建立對時變要求的自然和自主的適應(yīng)性等多種我們所期望的目標。這里的柔性是網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整方式的總體特性，進一步地，柔性是網(wǎng)絡(luò)針對應(yīng)用要求對其內(nèi)在結(jié)構(gòu)、資源做出隱性調(diào)整，以實現(xiàn)其服務(wù)效果對應(yīng)用要求動態(tài)和緊密的跟隨，換句話說，我們將達到內(nèi)在支持功能到外在服務(wù)要求一致和穩(wěn)定匹配效果的結(jié)構(gòu)調(diào)整方式稱作網(wǎng)絡(luò)結(jié)構(gòu)重構(gòu)的柔性，具體地，重構(gòu)的柔性具有“漸變跟隨”、“整體要求”、“隱性隔離”和“自主驅(qū)動”4個具體的內(nèi)在特征。

3.1 柔性是漸變跟隨

柔性首先表達的是可重構(gòu)網(wǎng)絡(luò)內(nèi)在結(jié)構(gòu)為跟隨應(yīng)用要求而漸變的特性。這既是網(wǎng)絡(luò)結(jié)構(gòu)變化的時間特性，又是網(wǎng)絡(luò)重構(gòu)的外在特征。網(wǎng)絡(luò)結(jié)構(gòu)的變化主要受網(wǎng)絡(luò)服務(wù)要求和網(wǎng)絡(luò)內(nèi)部狀態(tài)兩大因素的驅(qū)動，施加到網(wǎng)絡(luò)的所有應(yīng)用要求之匯聚構(gòu)成總的網(wǎng)絡(luò)服務(wù)要求。顯然，該要求隨網(wǎng)絡(luò)應(yīng)用的復合行為和網(wǎng)絡(luò)服務(wù)的提供方式而隨機變化，另一方面，網(wǎng)絡(luò)內(nèi)部資源被占用的狀態(tài)也相應(yīng)地發(fā)生著隨機改變，對于擁有統(tǒng)計復用結(jié)構(gòu)的網(wǎng)絡(luò)就更是如此。所謂網(wǎng)絡(luò)對應(yīng)用的支持就是在相應(yīng)的層面（例如，會話級、流級、分組級等）為后者分配與其數(shù)據(jù)傳送的規(guī)格和要求相吻合的確定網(wǎng)絡(luò)資源。微觀上，由于外部應(yīng)用對網(wǎng)絡(luò)的使用請求狀態(tài)以及內(nèi)在資源被占用的狀態(tài)均隨機變化，就使得應(yīng)用要求與所分配的網(wǎng)絡(luò)資源之間將不可避免地發(fā)生不相符合的情形，這樣，網(wǎng)絡(luò)重構(gòu)就是對網(wǎng)絡(luò)內(nèi)部資源分配進行的調(diào)整或再分配，以達到應(yīng)用要求與所分配的網(wǎng)絡(luò)資源之間持續(xù)和一致吻合的目的。事實上，網(wǎng)絡(luò)結(jié)構(gòu)漸變是在動態(tài)適應(yīng)網(wǎng)絡(luò)應(yīng)用的傳送要求和保證網(wǎng)絡(luò)資源效率之間的一種折衷，這一方面是為了充分利用網(wǎng)絡(luò)應(yīng)用對服務(wù)效果降級的容忍特性，另一方面是要避免網(wǎng)絡(luò)結(jié)構(gòu)跟隨應(yīng)用要求在小尺度（時間或空間意義的）上的隨機波動作即時和頻繁地變化，進而避免網(wǎng)絡(luò)資源效率的穩(wěn)定降低。

柔性的漸變跟隨性質(zhì)具有時間和空間的雙重意義。結(jié)構(gòu)對要求時間意義的漸變跟隨具有3種基本模式：1) 滯后模式，它指結(jié)構(gòu)改變發(fā)生在效果對要求不吻合發(fā)生之后；2) 同步模式，指在不吻合發(fā)生的同時立即改變結(jié)構(gòu)；3) 超前模式，指在不吻合發(fā)生前就改變。與此相對，3種空間意義的漸變跟隨模式是：1) 欠量模式，即為未達到要求（即欠支持）的應(yīng)用增加的資源量少于應(yīng)當增加的量，或者為超過要求（即過支持）的應(yīng)用減少的資源量少于應(yīng)當減少的量；2) 等量模式，為欠支持的網(wǎng)絡(luò)應(yīng)用增加的資源量等于所需的增加量，或者為過支持的網(wǎng)絡(luò)應(yīng)用減少的資源量等于應(yīng)當減少的量；3) 過量模式，為欠支持的網(wǎng)絡(luò)應(yīng)用增加的資源量大于所需的增加量，或者為過支持的網(wǎng)絡(luò)應(yīng)用減少的資源量大于應(yīng)當減少的量。

結(jié)構(gòu)的漸變是相對于突變而言的，它是指滯后或同步的時間模式加上欠量或等量的空間模式。效果跟隨旨在吸收匯聚后的流量在小尺度上自然的隨機波動，有效捕獲并利用其中的相對確定性，進而達到既提高結(jié)構(gòu)調(diào)整的效率，也提高資源自身效率之目的。

對可重構(gòu)網(wǎng)絡(luò)服務(wù)效果的度量可采用多種方法。首先，可用效果對要求的絕對偏離作為度量。在時刻t，記應(yīng)用的業(yè)務(wù)要求為d(t)，網(wǎng)絡(luò)為應(yīng)用提供的服務(wù)資源量為 x(t)，網(wǎng)絡(luò)對應(yīng)用的服務(wù)效果為g(x(t))，則可用f(t)表達效果對要求的“絕對偏離”程度：

其次，也可用效果對要求的相對符合來度量。對于具有服務(wù)要求下限dL（或上限dU）的應(yīng)用，可用fL(t)或fU(t)表達效果對要求的“相對符合”程度：

其中，c為代價系數(shù)（0＜c＜1）。這樣，網(wǎng)絡(luò)重構(gòu)的總體目標就是使得f(t)、fL(t)或fU(t)最小化，即可重構(gòu)網(wǎng)絡(luò)的核心機制是實現(xiàn)式(5)給出的多階段隨機數(shù)學規(guī)劃問題（這里忽略式(5)的約束條件）：

具體而言，網(wǎng)絡(luò)重構(gòu)的目標就是使得 f(t)的均值不大于服務(wù)降級的最大容限。比如，在無連接分組交換網(wǎng)絡(luò)中，對于端到端時延要求為 b、最大容限為β的應(yīng)用而言，網(wǎng)絡(luò)為其提供的服務(wù)資源為各個節(jié)點上一定數(shù)量的分組緩存、相應(yīng)的分組調(diào)度優(yōu)先級和策略等，這些共同構(gòu)成網(wǎng)絡(luò)為其提供的服務(wù)資源量 x(t)。如果網(wǎng)絡(luò)測量單元在某時段得知網(wǎng)絡(luò)服務(wù)的實際效果已經(jīng)不符合“時延不大于b+β”的要求，就可以啟動網(wǎng)絡(luò)重構(gòu)單元改變相關(guān)網(wǎng)絡(luò)節(jié)點對該應(yīng)用的服務(wù)結(jié)構(gòu)，比如啟用迂回路由避開擁塞區(qū)域、提高該應(yīng)用或它所在的業(yè)務(wù)類的優(yōu)先級或增加對它的調(diào)度權(quán)重等，在式(2)的意義上，這些都對應(yīng)著以調(diào)整服務(wù)結(jié)構(gòu)的方式增加 x(t)，從而達到減小服務(wù)效果對要求的絕對偏離之目的。

網(wǎng)絡(luò)調(diào)整其服務(wù)結(jié)構(gòu)還有2個要點：第一，在發(fā)現(xiàn)效果低于要求之時，是否立即進行結(jié)構(gòu)調(diào)整？即如何確定對x(t)的調(diào)整時機？第二，調(diào)整x(t)的定量規(guī)則是什么，即在一次調(diào)整操作中，x(t)到底該增加或減小多少？

確定 x(t)調(diào)整時機的基本原則是：調(diào)整應(yīng)針對效果對要求的穩(wěn)定偏離?？梢圆捎弥笖?shù)移動平均[17]y來度量服務(wù)效果z的穩(wěn)定偏離：

如果

已經(jīng)穩(wěn)定地成立，就可判定形成了效果對要求的穩(wěn)定偏離。這里，“穩(wěn)定地”成立可以通過如下簡單的n:m“表決”機制來表達（n/2＜m＜n, n,m＞0），記

則效果對要求的穩(wěn)定偏離是指：

顯然，滿足yk+ cΔyk= β 的時刻k可以作為調(diào)整x(t)的一個時機。同理，引起從yk+ cΔyk≥ b 向yr+cΔyr＜b-δ變化的時刻r(k＜r)可以作為反向調(diào)整x(t)的一個時機，即可在時刻r取消在時刻k對x(t)做出的調(diào)整。

基于服務(wù)效果對服務(wù)要求穩(wěn)定偏離的資源調(diào)整構(gòu)成可重構(gòu)網(wǎng)絡(luò)內(nèi)在結(jié)構(gòu)漸變的核心機制。

3.2 柔性的整體觀

結(jié)構(gòu)的柔性強調(diào)網(wǎng)絡(luò)結(jié)構(gòu)的改變“敏感”于具有顯著意義的服務(wù)效果。一般而言，應(yīng)用集合比單個應(yīng)用的意義更顯著，因此，網(wǎng)絡(luò)服務(wù)總體效果對所有應(yīng)用要求的適應(yīng)性構(gòu)成驅(qū)動網(wǎng)絡(luò)結(jié)構(gòu)改變的另一個核心因素。

總體服務(wù)效果E的含義是網(wǎng)絡(luò)對全體應(yīng)用的加權(quán)平均服務(wù)結(jié)果。E可被定義為應(yīng)用重要性與網(wǎng)絡(luò)傳送效果之積，具體地，每個應(yīng)用i均有一個與其重要性相對應(yīng)的重要性權(quán)值wi，單個應(yīng)用的加權(quán)效果=(應(yīng)用重要性權(quán)值)×(應(yīng)用的平均傳送效果)，而應(yīng)用集合的加權(quán)效果=(應(yīng)用重要性權(quán)值之和)×(集合應(yīng)用的平均傳送效果)。在重構(gòu)的意義下，通常僅需考慮不小于某個下限W的重要性權(quán)值，即若應(yīng)用i的重要性權(quán)值wi不小于W，則單獨考慮i的加權(quán)平均服務(wù)效果，反之，將i納入一個其成員具有相似重要性的應(yīng)用集合，該集合內(nèi)所有應(yīng)用的重要性權(quán)值之和不小于W，然后再將該集合作為一個整體考慮其加權(quán)平均服務(wù)效果。在現(xiàn)實中，可以將重要性按離散方式處理，比如，對于高優(yōu)先級的應(yīng)用，可按單個應(yīng)用或者構(gòu)造小的應(yīng)用集合來定義重要性，而對低優(yōu)先級的應(yīng)用，則可以按某種原則（如應(yīng)用性質(zhì)或要求是否相同或相近）構(gòu)造大的應(yīng)用集合來定義重要性。針對總體服務(wù)效果來改變結(jié)構(gòu)的一個明顯好處是，網(wǎng)絡(luò)不輕易地為一個或少數(shù)次要應(yīng)用的服務(wù)效果變差而改變其結(jié)構(gòu)，相反，當一個重要性權(quán)值不小于 W 的單個應(yīng)用或應(yīng)用集合的服務(wù)效果變差時，才觸發(fā)網(wǎng)絡(luò)進行重構(gòu)，從而提高可重構(gòu)網(wǎng)絡(luò)對服務(wù)效果的針對性，避免結(jié)構(gòu)變化呈現(xiàn)低效或無效地抖動，最終將與網(wǎng)絡(luò)重構(gòu)行為相對應(yīng)的效果收益最大化。

那么，網(wǎng)絡(luò)結(jié)構(gòu)的柔性變化應(yīng)當具備何種定量特征呢？一個關(guān)鍵是確定資源調(diào)整幅度的量化模型。記x(t)為時刻t的資源調(diào)整幅度，則確定x(t)的基本原則應(yīng)是充分、高效且透明。充分是指作為調(diào)整結(jié)果的 x(t)應(yīng)當減小效果對要求的絕對偏離程度，高效指調(diào)整后應(yīng)使得分配給應(yīng)用的所有資源完全用于糾正偏離，不出現(xiàn)資源利用效率的降低，而透明則指對發(fā)生偏離的應(yīng)用所進行的資源調(diào)整不應(yīng)當影響正在為所有未發(fā)生偏離的應(yīng)用提供的正常服務(wù)水平。

確定調(diào)整幅度的定量機制是一個難點，其原因有2個，一是網(wǎng)絡(luò)對應(yīng)用的實際服務(wù)效果本質(zhì)上是時間意義的隨機量，二是即使可以計算出糾正偏離所需的資源調(diào)整量，也難以定量計算調(diào)整后對其他應(yīng)用產(chǎn)生的未來影響以及影響的程度。事實上，真正需要關(guān)注的應(yīng)當是資源調(diào)整導致的“長期”服務(wù)效果，具體地說，應(yīng)當從應(yīng)用集合的角度出發(fā)，使得資源調(diào)整控制單元和執(zhí)行單元與它所面對的隨機系統(tǒng)（即受隨機要求影響的服務(wù)效果和資源狀態(tài)）進行一系列的交互活動，確定每一次的資源調(diào)整量，從而使得所進行的一系列資源調(diào)整對所有應(yīng)用的“長期”綜合服務(wù)效果達到最佳。顯然，可以將確定資源調(diào)整幅度的問題視為一個“順序決策”問題，這樣，可用Markov決策過程（MDP, Markov decision process）[18]模型為資源調(diào)整幅度問題建立最優(yōu)的資源調(diào)整策略。

基于相對符合來度量可重構(gòu)網(wǎng)絡(luò)的服務(wù)效果，考慮如下基本的離散MDP模型。

1) 針對給定了上限要求 dU(dU＞0)的特定應(yīng)用（或同類型應(yīng)用集合），可給出一個相應(yīng)的網(wǎng)絡(luò)服務(wù)效果偏離容限δ(δ＞0)，使得效果 g(x(t))的取值范圍分別為 g(x(t)) ＞ dU+δ、|g(x(t)) - dU|＜δ 和 g(x(t)) ＜dU-δ。

2) 定義系統(tǒng)狀態(tài)空間為S={G, N, P}，其中，3個系統(tǒng)狀態(tài) G、N和 P分別代表服務(wù)效果的“優(yōu)（good）”、“常（normal）”和“差（poor）”，它們各自對應(yīng)g(x(t))的取值分別落入上述3個范圍。

3) 為3個狀態(tài)分別引入一個立即回報R，比如，RG= R+（R+＞0），RN=0，RP= R-（R-＜0）。這里，R可以靜態(tài)的方式指定（比如，令R+=1，R-=-1），也可定義為隨系統(tǒng)狀態(tài)而動態(tài)變化的函數(shù)（比如，令R+=R-= fL(t)）。

4) 定義一個表達調(diào)整操作的動作集合 A，比如，A={I, Z, D}，其中，I為按Δ+增加資源分配，Z為無操作，D 為按Δ-減少資源分配（Δ+, Δ-＞0）。每個系統(tǒng)狀態(tài) s都有一個與之關(guān)聯(lián)的動作集合 A(s)（s∈S, A(s)∈A）。

5) 確定各個狀態(tài)間的條件轉(zhuǎn)移概率：

對任一狀態(tài) i（i∈S）和某個動作 a（a∈A(i)）而言，式(11)指定的轉(zhuǎn)移概率構(gòu)成一個完整的概率分布。

實際的模型可以比上述模型復雜得多。例如，可將資源變化的增量Δ+和減量Δ-細分為多個不同的量級，系統(tǒng)狀態(tài)也作對應(yīng)的細分。比如，將Δ+分成Δ+1, Δ+2, …, Δ+p（Δ+k＞0, k=1,2,…, p）共 p 個等級，而將Δ-分成Δ-1, Δ-2, …, Δ-q（Δ-w＞0, w=1,2,…, q）共q個等級，動作集合相應(yīng)地變?yōu)锳={I+1, I+2,…, I+p, Z,D-1, D-2, …, D-q}，對應(yīng)的系統(tǒng)狀態(tài)則變?yōu)镾={G1,G2, …, Gp, N, P1, P2, …, Pq}。這樣雖然增加了最優(yōu)策略的求解復雜度，但得到的一定是上述劃分意義上的最佳長期資源調(diào)整量。

上述 MDP模型可用于定量地確定資源調(diào)整的幅度，目標是通過使得每個狀態(tài)的長期回報達到最大來得到整個資源調(diào)整幅度問題的最優(yōu)策略，即{＜s, a＞| s∈S, a∈A}。記在時刻 0 處于狀態(tài)s、執(zhí)行動作a且后續(xù)時刻采取策略π 時所得到的長期回報為 Jπ(s, a)：

其中，fi為時刻i的立即回報。由此可得狀態(tài)s的最大“狀態(tài)-值”函數(shù)J*(s, a)：

對于J*(s, a)的求解，既可采用依賴模型的動態(tài)規(guī)劃方法[19,20]（例如，策略迭代或值迭代），也可采用不依賴模型的 Q-學習（Q-learning）方法[19～22]。與動態(tài)規(guī)劃方法相比，模型無關(guān)的Q-學習方法一方面無需建立模型，另一方面它在本質(zhì)上具備對動態(tài)變化環(huán)境的自主和自動適應(yīng)性，因此非常適合可重構(gòu)網(wǎng)絡(luò)的時變網(wǎng)絡(luò)環(huán)境。采用Q-學習方法計算J*(s,a)時，需要引入J*n+1(s, a)的估計通過下述迭代[23]：

其中，vn(s,a)是到第n步迭代時在狀態(tài)s執(zhí)行動作a的累計次數(shù)。Mitchell 已從理論上證明：當 n→∞時，有

狀態(tài)s的最優(yōu)策略π*(s)可通過J*(s, a)得到：

遍歷狀態(tài)空間，最終可得到可重構(gòu)網(wǎng)絡(luò)資源調(diào)整規(guī)模問題的最優(yōu)決策π*：

在實際中的π*是通過在線學習的方式逐步得到的，即將隨系統(tǒng)狀態(tài)的演進逐步逼近J*n+1(s, a)，相應(yīng)地，對最優(yōu)決策的估計也將貫序地收斂到最優(yōu)決策π*。

3.3 柔性的聚焦作用

對所承載的所有應(yīng)用而言，網(wǎng)絡(luò)重構(gòu)的柔性表現(xiàn)為典型的服務(wù)效果聚焦作用。這里，“聚焦”的含義借用了信號分析中沖擊函數(shù)(δ-function)的意義，是指網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整完全也只針對特定的目標應(yīng)用（例如服務(wù)效果降級的應(yīng)用），而完全不針對其他任何非目標應(yīng)用。換句話說，結(jié)構(gòu)調(diào)整應(yīng)僅僅對目標應(yīng)用起效，而對其他非目標應(yīng)用既不可見也不起效。服務(wù)效果的這種隔離效應(yīng)一方面保證了結(jié)構(gòu)調(diào)整對相關(guān)應(yīng)用效益的最大化，另一方面也保證了結(jié)構(gòu)調(diào)整對無關(guān)應(yīng)用影響的最小化。

效果聚焦呈現(xiàn)的“完全作用-完全隱藏”性質(zhì)是網(wǎng)絡(luò)重構(gòu)柔性的一個重要內(nèi)涵，基于該性質(zhì)可以導出結(jié)構(gòu)調(diào)整方式的指導原則和設(shè)計方法，進而可從頂層設(shè)計的角度滿足效果對要求一致匹配和網(wǎng)絡(luò)資源高效使用的總體目標。相反，如果不考慮這一性質(zhì)，就沒有相應(yīng)的聚焦控制邏輯，此時重構(gòu)機構(gòu)對網(wǎng)絡(luò)資源進行的調(diào)整或再分配就可能導致2個不利的結(jié)果：一方面，真正出現(xiàn)效果降級的應(yīng)用不能得到完全的服務(wù)補償；另一方面卻是并未出現(xiàn)效果降級的其他應(yīng)用卻額外得到了多余的資源和服務(wù)，從而導致網(wǎng)絡(luò)資源調(diào)整的針對性減弱、效益分散，效果不佳。從網(wǎng)絡(luò)應(yīng)用的角度看，這種不利結(jié)果會使得服務(wù)效果降級的應(yīng)用確定地“感受到”實際效果對其要求的不匹配，而這種可見性恰恰是可重構(gòu)網(wǎng)絡(luò)需要向網(wǎng)絡(luò)應(yīng)用隱藏的。

總體上，基于網(wǎng)絡(luò)結(jié)構(gòu)的隱性變化而對應(yīng)用呈現(xiàn)的效果聚焦性質(zhì)意味著既不會出現(xiàn)應(yīng)用感受到傳送質(zhì)量的下降，也不會出現(xiàn)網(wǎng)絡(luò)為應(yīng)用提供冗余的資源。值得注意的是，應(yīng)用要求、服務(wù)效果、網(wǎng)絡(luò)狀態(tài)等在時間和空間上都是隨機的因素，而網(wǎng)絡(luò)內(nèi)每一個應(yīng)用（或應(yīng)用類）效果對要求的符合是可重構(gòu)網(wǎng)絡(luò)追求的一個目標。這種隨機性、普遍性和全局性的交織給可重構(gòu)網(wǎng)絡(luò)帶來了巨大挑戰(zhàn)，特別是對于沒有全局資源預留的分組交換，具有聚焦性質(zhì)的資源動態(tài)調(diào)整的機理和實現(xiàn)方法成為未來設(shè)計所面臨的一個難題。

3.4 柔性由網(wǎng)絡(luò)自主驅(qū)動

可重構(gòu)網(wǎng)絡(luò)自主地驅(qū)動其內(nèi)在結(jié)構(gòu)的變化，不需要外力的介入。這里，外力是指凌駕于網(wǎng)絡(luò)之上的支配因素，比如，人為的控制等。我們注意到，網(wǎng)絡(luò)為應(yīng)用所作的資源分配、資源被占用的狀態(tài)和應(yīng)用的實際傳送效果這3種核心因素有3個共同的重要性質(zhì)。首先，它們均發(fā)生在網(wǎng)絡(luò)內(nèi)部；其次，它們的發(fā)生、變化和終止在時間和空間上都呈現(xiàn)隨機性；最后，它們的隨機行為可以發(fā)生在時間和空間的任何點以及任何尺度。上述3個性質(zhì)必然導致網(wǎng)絡(luò)之外的支配因素均不可能從網(wǎng)絡(luò)外部、在準確的時間點和空間點、以確定的方式對上述3種核心事件實施精準而有效地測量、判斷和處理，因而也就不可能構(gòu)建有效的反饋控制結(jié)構(gòu)。相反，上述3類核心因素的固有性質(zhì)表明只有網(wǎng)絡(luò)自身才是其結(jié)構(gòu)和資源真正的和自然的控制者。

網(wǎng)絡(luò)的自主驅(qū)動能力表現(xiàn)在表達、測量、處理和反饋4個方面。①網(wǎng)絡(luò)要對服務(wù)要求和服務(wù)效果建立正確的內(nèi)在表達。網(wǎng)絡(luò)內(nèi)部對要求和效果的表達應(yīng)當?shù)葍r于網(wǎng)絡(luò)應(yīng)用對要求和效果的表達。比如，對于時延這一要求或效果，網(wǎng)絡(luò)對分組時延的刻畫應(yīng)當符合應(yīng)用對請求的響應(yīng)時延要求。②網(wǎng)絡(luò)應(yīng)具備內(nèi)在和自主的測量能力。這里的測量泛指采樣、計算和判斷，即網(wǎng)絡(luò)動態(tài)地對要求和效果的瞬時值進行采樣，計算關(guān)于要求和效果的統(tǒng)計量，判別服務(wù)效果是否偏離了服務(wù)要求，計算偏離的程度。③網(wǎng)絡(luò)基于測量結(jié)果自我和自動生成結(jié)構(gòu)調(diào)整的控制信號，并將控制信號實時和準確地送給重構(gòu)執(zhí)行機構(gòu)。④網(wǎng)絡(luò)將結(jié)構(gòu)調(diào)整的結(jié)果回送到反饋單元，從而形成網(wǎng)絡(luò)重構(gòu)的自主反饋和循環(huán)控制的結(jié)構(gòu)。

自主驅(qū)動的結(jié)構(gòu)重構(gòu)是可重構(gòu)網(wǎng)絡(luò)的一種內(nèi)在能力，這種自我和自主性質(zhì)使得可重構(gòu)網(wǎng)絡(luò)能夠以符合應(yīng)用要求和服務(wù)效果之間固有動力學規(guī)律的自然方式，有針對性并有效地把握對其結(jié)構(gòu)實施改變的時間和空間尺度，進而以柔性變化的內(nèi)在結(jié)構(gòu)實現(xiàn)效果對外在要求的一致匹配。

4 系統(tǒng)結(jié)構(gòu)形態(tài)

柔性重構(gòu)的功能最終要表現(xiàn)為相應(yīng)的網(wǎng)絡(luò)協(xié)議和節(jié)點結(jié)構(gòu)。圖2給出了一個以網(wǎng)絡(luò)認知為核心的網(wǎng)絡(luò)節(jié)點功能結(jié)構(gòu)，分為數(shù)據(jù)面和控制面 2部分，控制面負責柔性重構(gòu)決策的生成，完成結(jié)構(gòu)重構(gòu)操作，而數(shù)據(jù)面則負責正常的數(shù)據(jù)轉(zhuǎn)發(fā)操作。

控制面中包含網(wǎng)蟻（netant）、狀態(tài)與視圖、認知核、認知決策庫、重構(gòu)控制器和控制執(zhí)行單元 6個重要的柔性重構(gòu)功能單元。

節(jié)點和網(wǎng)絡(luò)的狀態(tài)是重構(gòu)的基礎(chǔ)，因此，各個節(jié)點狀態(tài)在全網(wǎng)的實時發(fā)布對于效果的實時跟隨來說至關(guān)重要。本文引入稱為“網(wǎng)蟻”的移動代理，它們以隨機或定向的方式在網(wǎng)內(nèi)游動，動態(tài)采集網(wǎng)絡(luò)節(jié)點的實時狀態(tài)信息并以“概率廣播”的方式及時分發(fā)給所有其他節(jié)點，各個網(wǎng)蟻之間也以動態(tài)訪問節(jié)點的方式實現(xiàn)交互。狀態(tài)與視圖則以統(tǒng)一的格式接收網(wǎng)蟻帶來的實時狀態(tài)信息，也將節(jié)點自身的最新狀態(tài)信息交給網(wǎng)蟻進行廣播，還完成內(nèi)部外部狀態(tài)的存儲和格式的轉(zhuǎn)換。

圖2 支持柔性重構(gòu)的網(wǎng)絡(luò)節(jié)點功能結(jié)構(gòu)

認知核是柔性重構(gòu)功能的計算處理中心，它基于業(yè)務(wù)要求和內(nèi)部外部狀態(tài)來動態(tài)計算節(jié)點和局部網(wǎng)絡(luò)的服務(wù)效果對傳送要求的偏離程度，按照傳送要求對業(yè)務(wù)流進行分類，基于認知決策庫和學習算法來動態(tài)計算資源分配量和調(diào)整的幅度。

認知決策庫包含業(yè)務(wù)傳送要求、優(yōu)化模型和優(yōu)化目標，它在為認知核提供計算模型和規(guī)則的同時，也基于認知核的計算結(jié)果提煉新知識。

重構(gòu)控制器從認知核接收操作指令，對協(xié)議執(zhí)行部件的操作模式和參數(shù)實施調(diào)整。比如，修改數(shù)據(jù)面內(nèi)的分組隊列門限，調(diào)整或重新定義業(yè)務(wù)優(yōu)先級，調(diào)整調(diào)度器的隊列帶寬分配比例等，重構(gòu)控制器也可以指示控制執(zhí)行單元修改或重選路由。

數(shù)據(jù)面的核心任務(wù)在不斷變化的處理結(jié)構(gòu)之上，依照操作模式和參數(shù)執(zhí)行數(shù)據(jù)轉(zhuǎn)發(fā)，將操作結(jié)果以內(nèi)部狀態(tài)的形式提供給狀態(tài)與視圖單元。

在整體上，控制面的6個單元與數(shù)據(jù)面的操作單元一同構(gòu)成“內(nèi)外環(huán)境感知—認知計算決策—自主結(jié)構(gòu)調(diào)節(jié)”的反饋控制環(huán)，形成柔性重構(gòu)的微觀處理機制，這是實現(xiàn)表達、測量、處理和反饋的重要系統(tǒng)平臺。

5 結(jié)束語

當前對網(wǎng)絡(luò)結(jié)構(gòu)柔性的認識大多限于它的宏觀和定性的方面，少有揭示網(wǎng)絡(luò)結(jié)構(gòu)柔性微觀的、過程的和定量的內(nèi)涵。從過程意義的服務(wù)效果一致匹配應(yīng)用要求之角度出發(fā)，本文探索了網(wǎng)絡(luò)重構(gòu)的柔性內(nèi)涵。對于可重構(gòu)網(wǎng)絡(luò)而言，跟隨應(yīng)用時變要求的時變信道這一核心特征是重構(gòu)柔性的決定因素。從“一致滿足”應(yīng)用要求的時變信道出發(fā)，本文揭示了重構(gòu)柔性的“漸變跟隨”、“著眼整體”、“隱性隔離”和“自主驅(qū)動”4個重要內(nèi)涵，采用指數(shù)移動平均、n:m表決、MDP和強化學習定量地刻畫了效果對要求的穩(wěn)定偏離和資源調(diào)整幅度的最佳順序決策。

從充分利用網(wǎng)絡(luò)重構(gòu)真正價值的角度看，本文對結(jié)構(gòu)柔性內(nèi)涵的上述認識仍是初步的。時變信道基于眾多隨機因素實現(xiàn)對應(yīng)用要求的“一致匹配”，這一性質(zhì)既是可重構(gòu)網(wǎng)絡(luò)的一個近似正確或者合理的目標，也是設(shè)計可重構(gòu)網(wǎng)絡(luò)面臨的一個難點。由于對資源的隨機共享普遍存在于可重構(gòu)網(wǎng)絡(luò)中，就使得客觀意義的隨機性、全局性和主觀意義的確定性相互交織，這種復雜性對于認清柔性內(nèi)涵和重構(gòu)機理以及明確可重構(gòu)這種新型的網(wǎng)絡(luò)結(jié)構(gòu)形態(tài)帶來了巨大挑戰(zhàn)。另一方面，本文對柔性的“漸變跟隨”、“著眼整體”、“隱性隔離”和“自主驅(qū)動”這4個內(nèi)涵的認識是否完整、是否合理和是否有效，還不能僅僅靠說理，更重要的還需要用網(wǎng)絡(luò)設(shè)計和應(yīng)用的實踐來驗證并回答。比如，設(shè)計表達柔性重構(gòu)內(nèi)涵的具體網(wǎng)絡(luò)協(xié)議、優(yōu)化節(jié)點支持結(jié)構(gòu)等，而這些將一并成為作者未來研究的一個重點方向。

[1] HAD?I? I. Applying Reconfigurable Computing to Reconfigurable Networks[D]. University of Pennsylvania, 1999.

[2] 齊寧, 汪斌強, 郭佳. 邏輯承載網(wǎng)構(gòu)建方法的研究[J]. 計算機學報,2010, 33(9):1533-1540.QI N, WANG B Q, GUO J. Research on construction methods of logical carrying network[J]. Chinese Journal of Computers, 2010,33(9): 1533-1540.

[3] 劉強, 汪斌強, 徐恪. 基于構(gòu)件的層次化可重構(gòu)網(wǎng)絡(luò)構(gòu)建及重構(gòu)方法[J]. 計算機學報, 2010, 33(9):1557-1568.LIU Q, WANG B Q, XU K. Construction and reconfiguration scheme of the hierarchical reconfiguration network based on the components[J]. Chinese Journal of Computers, 2010, 33(9):1557-1568.

[4] 王浩學, 汪斌強, 于婧等. 一體化承載網(wǎng)絡(luò)體系架構(gòu)研究[J]. 計算機學報, 2009, 32(3):371-376.WANG H X, WANG B Q, YU J, et al. Research on architecture of universal carrying network[J]. Chinese Journal of Computers, 2009,32(3): 371-376.

[5] NANCE R E, MOOSE R L J. Link capacity assignment in dynamic hierachical networks[J]. Computer Networks and ISDN Systems, 1988,15(3):189-202.

[6] WU X C, WU C M, JIA F G. Research on a synchronization algorithm of look-up table in open reconfigurable router[J]. Chinese Journal of Electronics, 2010, 19(3):419-422.

[7] GOPAL G, KIM C K, WEINRIB A. Algorithms for reconfigurable networks[A]. The 13th International Teletraffic Congress[C]. Copenhagen, Denmark, 1991. 341-379.

[8] MACGREGOR M, GROVER W D, MAYDELL U M. Connectability:a performance metric for reconfigurable transport networks[J]. IEEE Journal on Selected Areas in Communications, 1993,11(9):1461-1469.

[9] MOESSNER K, LUO J, MOHYELDIN E, et al. Functional architecture of end-to-end reconfigurable systems[A]. 2006 IEEE the 63rd Vehicular Technology Conference[C]. Melbourne, Australia, 2006. 196-200.

[10] BOUFIDIS Z, ALONISTIOTI N, HOLLAND O, et al. End-to-end architecture for cognitive reconfigurable wireless networks[A]. The 16th IST Mobile and Wireless Communications Summit[C]. Budapest,Hungary, 2007. 1-5.

[11] SAIA J, TREHAN A. Self-healing in reconfigurable networks[A].2008 IEEE International Symposium on Parallel and Distributed Processing[C]. Miami, USA, 2008. 1-12.

[12] ZHANG X J, LUMETTA S S, CHIU A L, et al. Heuristic resource optimization for dynamic wavelength services on optically reconfigurable networks[A]. The 19th International Conference on Computer Communications and Networks[C]. Zurich, Switzerland, 2010. 1-8.

[13] POORTER E D, MOERMAN I, DEMEESTER P. Support for heterogeneous dynamic network environments through a reconfigurable network service platform[A]. 2011 the 1st International Symposium on Access Spaces[C]. Yokohama, Japan, 2011. 174-179.

[14] LOUTA M D, MICHALAS A C. Quality of service management in IP networks through dynamic service rate reconfiguration[J]. Journal of Internet Technology, 2006, 7(1):45-57.

[15] SMITH J M, NETTLES S M. Active networking: one view of the past,present and future[J]. IEEE Transactions on Systems, Man and Cybernetics: Part C, 2004, 34(1):4-18.

[16] LEE J W, FRANCESCANGELI R, JANAK J, et al. NetSerV: active networking 2.0[A]. 2011 IEEE International Conference on Communications Workshops[C]. Kyoto, Japan, 2011. 1-6.

[17] FLOYD S, JACOBSON V. Random early detection gateways for congestion avoidance[J]. IEEE/ACM Transactions on Networking,1993, 1(4):397-413.

[18] SZEPESVARI C. Algorithms for Reinforcement Learning [M]. Morgan & Claypool, 2010.

[19] SUTTON R S, BARTO A G. Reinforcement Learning: An Introduction[M]. Bradford Book, MIT Press, 1998.

[20] KAELBLING L P, LITTMAN M L, MOORE A W. Reinforcement learning:a survey[J]. Journal of Artificial Intelligence Research, 1996, 4:237-285.

[21] WATKINS C J C H, DAYAN P. Q-learning[J]. Machine Learning,1992, 8(3):279-292.

[22] WATKINS C J C H. Learning from Delayed Rewards[D]. Cambridge University, Cambridge, United kingdom, 1989.

[23] MITSHELL T. Machine Learning[M]. McGraw-Hill, Boston, MA,1997.