遲 凱

（中國電子科技集團公司第20研究所，西安 710068）

0 引 言

Ad Hoc網(wǎng)絡區(qū)別于傳統(tǒng)的有中心的網(wǎng)絡，采用臨時快速自組織建立網(wǎng)絡的形式。由于其去中心化、抗打擊，自愈性和魯棒性強，在軍事上得到了廣泛應用。通過Ad Hoc網(wǎng)絡能夠把作戰(zhàn)節(jié)點（如指揮所、艦船、戰(zhàn)機等）有機地結合起來，協(xié)調指揮，形成統(tǒng)一的戰(zhàn)力；還能夠通過消息轉發(fā)，形成戰(zhàn)場共享信息態(tài)勢，有效避免了電子戰(zhàn)中單個節(jié)點受到針對性干擾喪失監(jiān)測能力的發(fā)生。由于網(wǎng)絡中的節(jié)點因為能量受限或者功率控制等原因，通信范圍一般受限，需要通過多跳路由的方式實現(xiàn)范圍外的通信，則Ad Hoc網(wǎng)絡路由協(xié)議對網(wǎng)絡質量起到關鍵作用。Ad Hoc網(wǎng)絡中無線信道干擾、衰落、節(jié)點移動等造成拓撲變化快速、路由質量不穩(wěn)定等多種問題，對路由算法提出了很大挑戰(zhàn)。

路由算法可分為確定性路由算法和自適應路由算法。確定性路由算法是源節(jié)點在發(fā)送分組之前，預先尋找或者維護一條確定的發(fā)送路徑，通過中繼節(jié)點逐次送達至目的節(jié)點。自適應路由算法則在建立維護路由過程以及發(fā)送分組的過程中監(jiān)測網(wǎng)絡狀態(tài)，根據(jù)中繼節(jié)點或者鄰居節(jié)點反饋的信息改變路由選擇或者采用其他能夠提升分組送達率、降低擁塞的策略來提升服務質量。確定性路由算法雖然簡單、有效、容易實現(xiàn)，卻極易受到網(wǎng)絡擁塞節(jié)點或鏈路的影響，出現(xiàn)短板效應。因為自適應路由能夠對拓撲變化迅速、鏈路狀態(tài)突變等情況及時作出反應，調整本地節(jié)點業(yè)務發(fā)送，適應網(wǎng)絡當前變化，提高網(wǎng)絡性能，其在Ad Hoc網(wǎng)絡研究領域具有重要的價值。

傳統(tǒng)的Ad Hoc網(wǎng)絡路由協(xié)議可分為表驅動（先應式）路由協(xié)議、按需（反應式）路由協(xié)議和混合路由協(xié)議。主要區(qū)別在于路由建立的方式不同。表驅動協(xié)議通過定期交換路由信息分組，每個節(jié)點維護1張或者多張路由表，記錄到其他節(jié)點的路由信息。因此，采用表驅動路由協(xié)議的節(jié)點在產(chǎn)生業(yè)務之前就預先準備好了一條發(fā)送路徑，并定期進行維護，及時對路由情況的變化進行更新，雖然增加了額外的路由維護開銷，但業(yè)務類消息一旦到達可直接查詢路由表發(fā)送，時延較小。圖1為現(xiàn)有部分表驅動協(xié)議［1］。

圖1 現(xiàn)有部分表驅動路由協(xié)議

這些表驅動協(xié)議的區(qū)別主要為每個節(jié)點維護路由表的大小和個數(shù)不同，并且維護路由表的過程中，更新信息在網(wǎng)絡中傳播的方式不同。

不同于表驅動式協(xié)議，按需路由協(xié)議是根據(jù)發(fā)送數(shù)據(jù)分組的需要按需進行路由發(fā)現(xiàn)的過程，即在有業(yè)務需要發(fā)送之前，并不維護路由，也沒有任何開銷。當業(yè)務分組需要發(fā)送而節(jié)點沒有相應路由信息時，節(jié)點發(fā)起1個路由發(fā)現(xiàn)過程，通過鄰居節(jié)點不斷中繼尋找到目的節(jié)點的可能路徑，建立路由后也只進行簡單的維護，并且到達一定生命期就刪除路由。按需協(xié)議開銷極小，只有在有業(yè)務需要發(fā)送時才帶來一定開銷，沒有產(chǎn)生業(yè)務的時間段基本處于靜默狀態(tài)，不容易被發(fā)現(xiàn)和定位，在戰(zhàn)場環(huán)境下有較高的隱蔽性。圖2是現(xiàn)有的部分按需路由協(xié)議［1］。

圖2 現(xiàn)有按需路由協(xié)議

按需路由協(xié)議之間的主要區(qū)別在于選路的標準不同，比如動態(tài)源路由（DSR）協(xié)議，無線自組網(wǎng)按需距離矢量（AODV）協(xié)議以最短路徑為選擇路由的標準，基于穩(wěn)定性的路由（ABR）協(xié)議以有效時間為選擇標準。另外存儲路由信息的方式也有所不同，DSR協(xié)議完整記錄整條路徑信息，AODV則只記錄逐跳信息。

在Ad Hoc網(wǎng)絡中，表驅動路由協(xié)議主要應用于業(yè)務較均衡、拓撲變化較慢的網(wǎng)絡狀況下，而按需路由協(xié)議則適用于突發(fā)業(yè)務多、拓撲變化迅速、同時對功率控制、節(jié)點能量有特殊要求的網(wǎng)路狀況下。

1 DSR協(xié)議的研究

DSR協(xié)議是一種簡單高效的適用于移動Ad Hoc網(wǎng)絡（MANET）的按需路由協(xié)議，屬于卡耐基-梅隆大學Monarch項目的一部分［2］，經(jīng)過多次修訂和訂正，已日趨完善。其主要特點是使用源路由機制進行分組轉發(fā)，即在有業(yè)務分組需要發(fā)送的時候，源節(jié)點發(fā)起路由發(fā)現(xiàn)過程，建立路由之后在每個數(shù)據(jù)分組的包頭中都包含了這一分組將要通過的完整的路由節(jié)點地址列表。轉發(fā)分組的中繼節(jié)點也能夠完整地獲知該分組所經(jīng)路徑的完整信息，從而能夠消除路由環(huán)路，并且支持單向和非對稱路由，源節(jié)點還可以根據(jù)路由發(fā)現(xiàn)階段形成的完整路徑信息以某種策略選擇和控制當前數(shù)據(jù)分組所需路由，有相當?shù)撵`活性。然而DSR協(xié)議的缺點也很明顯，因為數(shù)據(jù)分組攜帶了所經(jīng)過的完整的路由信息，增加了額外的開銷，相對于其他按需路由協(xié)議開銷過大，降低了帶寬利用率，擴展性差。IETF MANET工作組建議該協(xié)議使用于不大于200個節(jié)點的網(wǎng)絡。

正因為DSR采用基于源路由的實現(xiàn)方式，源節(jié)點在路由建立階段通過目的節(jié)點回溯的路由應答消息獲知了整條路徑上的節(jié)點列表，從而有依據(jù)該列表信息采取進一步策略的可能。目前DSR協(xié)議的改進算法主要有：基于DSR的分層路由協(xié)議，如DOA（DSR over AODV）是一種結 合 DSR 和AODV特點實現(xiàn)的分層路由協(xié)議，在層次內使用AODV協(xié)議，在各層次間使用DSR 協(xié)議［3］；基于DSR的服務質量（Qos）路由協(xié)議［4］，在路由發(fā)現(xiàn)階段收集Qos參量用于選擇一系列不相重疊的路由，根據(jù)不同的Qos要求提供節(jié)點使用，并達到減小網(wǎng)絡擁塞、平衡負載的目的；基于鏈路穩(wěn)定性算法的DSR協(xié)議［5］，通過鏈路穩(wěn)定性算法選擇穩(wěn)定性高的路由，降低了路由斷開次數(shù)和丟包率，并且不需要增加額外的節(jié)點信息交換報文。

2 自適應DSR協(xié)議

2.1 Q學習算法

2.1.1 Q學習算法概述

強化學習，又稱增強學習或再勵學習，是求解序貫優(yōu)化決策問題的一種機器學習方法。在強化學習理論和算法研究中，通常將序貫優(yōu)化決策問題建模為馬爾科夫決策過程［6］。強化學習算法并不要求已知馬爾科夫決策過程的狀態(tài)轉移模型，因此在不確定的優(yōu)化決策問題中具有更廣泛的應用前景。

強化學習是智能系統(tǒng)從環(huán)境到行為映射的學習，以使獎勵信號函數(shù)值最大化。強化學習中由環(huán)境提供的強化信號是對產(chǎn)生動作的好壞作一種評價，智能系統(tǒng)通過評價對行為的反饋進行學習，不斷改進行動方案以適應環(huán)境。強化學習算法能夠在無法獲得完整環(huán)境信息的情況下根據(jù)感知到的狀態(tài)對網(wǎng)絡的各參數(shù)進行重配置，進而適應不斷變化的網(wǎng)絡環(huán)境，提高網(wǎng)絡的性能。增強學習在與環(huán)境相互作用的過程中，通過極大化或極小化累積回報來選擇策略，即學習的目標函數(shù)是學習一個控制策略，以此建立從狀態(tài)s到動作a的映射，如圖3所示。

圖3 Agent與環(huán)境交互

Q學習算法是由Watkins提出的一種無模型強化學習算法［7］，被認為是強化學習領域的重要突破。Q-learning選擇的策略是選取當前狀態(tài)s下具有最佳Q值的動作，即選取具有最大反饋獎賞的動作來觸發(fā)下一次環(huán)境反饋。通過直接優(yōu)化1個可迭代計算的動作值函數(shù)Q（s，a）找到一個策略使得期望獎賞總和最大。每次的迭代中都需要考察行為帶來的影響，確保學習過程收斂。

Q-learning作為一種強化學習算法，同樣通過馬爾科夫決策過程來建模，由于轉移概率和所獲得的環(huán)境獎賞未知，其采用迭代的方法，以環(huán)境-動作獎賞值Q＊（s，a） 作為動作執(zhí)行效果的衡量標準。Q＊（s，a） 表示Agent在狀態(tài)s下采用的策略使得所獲得的累積獎賞值最大。最優(yōu)的策略即在對應給定的狀態(tài)，選擇某個行為使得累計的獎賞值最大。Q值是指在環(huán)境狀態(tài)為x時選擇策略π并執(zhí)行動作a所獲得的累計獎賞值。

2.1.2 Q學習算法在路由協(xié)議中的應用

目前，Q-learning在復雜的優(yōu)化控制問題中有了成功的應用，其通過環(huán)境反饋來積累策略選擇的思想也被一些研究人員應用于網(wǎng)絡路由算法設計中。Minsoo Lee等人［8］提出了一種將 Q-learning運用于減小無線網(wǎng)絡路由控制開銷的方法，如圖4所示。

該算法根據(jù)源節(jié)點在每次路由建立過程中的路由發(fā)現(xiàn)時延更新表征網(wǎng)絡狀況的Q值，根據(jù)Q值的變化情況判斷網(wǎng)絡發(fā)展趨勢，從而增加或減小路由生存期和hello周期。

圖4 Q-learning減小控制開銷算法思想

Boyan等人［9］提出了一種將Q-learning運用于路徑選擇的路由方法，如圖5所示。該方法能夠根據(jù)周圍鄰居節(jié)點的負載情況來選擇路徑，在網(wǎng)絡高負載的情況下能夠獲得相對較小的時延。

圖5 Q-learning路徑選擇算法思想

Q-learning用于路徑選擇的算法能夠在預先不知道網(wǎng)絡的拓撲信息和業(yè)務類型的情況下，在動態(tài)變化的網(wǎng)絡中發(fā)現(xiàn)有效的分組傳輸策略。每個節(jié)點保存一個Q值表用于記錄通過它的鄰居節(jié)點到達其所有的目的節(jié)點的分組傳輸時延估計。Qx（d，y）表示分組P經(jīng)過節(jié)點x的鄰節(jié)點y到達目的節(jié)點d所需時間的估計，這包括了分組P在節(jié)點x的排隊時延。節(jié)點首先選擇Q值最小的鄰居節(jié)點作為下一跳節(jié)點發(fā)送業(yè)務分組，之后得到下一跳節(jié)點對路徑上剩余時間的估計，對Q值進行修正，直到Q值不再變化，則找到最佳路由。

2.2 Q＿DSR協(xié)議

DSR協(xié)議采用源路由的實現(xiàn)方式，源節(jié)點可以獲得整條路徑的節(jié)點信息，當有多條路徑同時存在時有較高的自主權，不依賴于中繼節(jié)點對路徑信息的獲知和存儲。然而開銷過大是DSR協(xié)議最主要的缺點，為了保證整條路徑信息的傳遞，DSR協(xié)議的路由請求和路由應答分組開銷較大，在網(wǎng)絡拓撲變化迅速、路由信息失效率高、需要不斷地發(fā)起路由請求的情況下尤為嚴重。在DSR路由協(xié)議中引入Q學習算法，可以較為有效地降低開銷，從而提高網(wǎng)絡的吞吐量。

2.2.1 路由建立階段

DSR協(xié)議是基于按需驅動的，即每當有業(yè)務消息需要發(fā)送時查詢是否存在到達目的節(jié)點的路由信息，如果沒有則發(fā)起路由請求消息，路由請求消息通過中繼節(jié)點廣播方式擴散到網(wǎng)絡中，目的節(jié)點收到后則回復路由應答消息逐條回溯到源節(jié)點。如果建立的路徑不穩(wěn)定，路由很快失效，則源節(jié)點發(fā)現(xiàn)路由失效后就需要重新發(fā)起路由請求消息重新建立路由，這便會導致開銷增大。這里引入Q學習算法，在路由建立階段借鑒了 Minsoo Lee等［8］提出的方法，當源節(jié)點在第1次接收路由應答分組時，根據(jù)發(fā)送路由請求消息時記錄下的時間和接收路由應答分組的時間差計算端到端時延估計Test。

由上述時延估計值Test通過如下公式計算歸一化路徑時延估計值γ：式中：Tetemax為網(wǎng)絡可允許的端到端時延的最大值。

根據(jù)歸一化路徑時延估計值γ，依據(jù)t-1時刻Q值對當前時刻描述網(wǎng)絡穩(wěn)定性的Qs值和不穩(wěn)定性的Quns值分別進行更新，得到更新后的網(wǎng)絡穩(wěn)定性表征值：

式中：Qs［t］ 為節(jié)點在t時刻網(wǎng)絡穩(wěn)定性的Qs值；Quns［t］ 為節(jié)點在t時刻網(wǎng)絡不穩(wěn)定性的Quns值；α為學習因子，取值范圍為0≤α＜1。

源節(jié)點根據(jù)更新結果執(zhí)行不同行為，當Qs［t］＞Quns［t］ 時，判斷網(wǎng)絡狀態(tài)向不穩(wěn)定發(fā)展，減小本條路由的路由生命期；當Qs［t］ ＜Quns［t］ 時，判斷網(wǎng)絡狀態(tài)向穩(wěn)定發(fā)展，增大本條路由的路由生命期。

該方法能夠在路由建立階段自主感知網(wǎng)絡的狀態(tài)，并根據(jù)所感知的網(wǎng)絡狀態(tài)自適應配置對應狀態(tài)下合適的路由生存期，增大穩(wěn)定路由的存在時間，減小不穩(wěn)定路由的存在時間，從而當網(wǎng)絡狀況良好的時候減小路徑信息仍然有效，然而因為生存期到達而被銷毀的路由數(shù)，從而減小發(fā)起路由請求消息的次數(shù)，即減小開銷；當網(wǎng)絡狀況惡化的時候縮短路由生命期，在一定概率上當路由信息沒有完全失效、發(fā)送的分組完全沒有回復之前就銷毀路由，開始新的發(fā)起路由請求的流程。雖然縮短路由生命期會增加一定的開銷，但是業(yè)務分組發(fā)出之后沒有回應，源節(jié)點判斷路由已失效之后再重新發(fā)起路由請求會帶來額外的延時，導致業(yè)務消息端到端時延增加，而在網(wǎng)絡狀況較差的情況下，一條路由往往還沒有到達生命期時就已經(jīng)失效，所以在網(wǎng)絡狀況較差的情況下適當?shù)販p小生命期不會帶來過多的開銷，同時有助于源節(jié)點的路由反應速度。

2.2.2 路由維護階段

通過在路由建立階段引入Q學習算法動態(tài)調整本次建立的路由生存期，可以在不同的網(wǎng)絡狀態(tài)下自適應地符合當前的需要。然而Ad Hoc網(wǎng)絡情況的變化往往是突發(fā)的，路由建立階段作出的對網(wǎng)絡狀況的評估有時效性，因此需要在路由建立后，發(fā)送業(yè)務消息階段（即路由信息的實際使用階段）對網(wǎng)絡狀況進行評估并做出自適應的調整。這里采用基于Q-learning的應答（ACK）消息監(jiān)測方法，對業(yè)務消息的應答ACK進行監(jiān)控，記錄收到業(yè)務類消息ACK的時延并迭代計算。ACK在路由協(xié)議中一般作為發(fā)送成功的標志，規(guī)定時間內收不到ACK則進行重發(fā)或認為發(fā)送失敗。這里將源節(jié)點收到ACK的時刻與發(fā)出數(shù)據(jù)業(yè)務的時刻之間時延作為當前路徑質量的評估因素。節(jié)點開始發(fā)送業(yè)務類消息時，開始記錄每個應答ACK的到達時刻，取最大的時延Tack作為Tmax，并代入計算當前時刻網(wǎng)絡穩(wěn)定性。當連續(xù)3次判斷網(wǎng)絡狀態(tài)在向不穩(wěn)定發(fā)展時，則嘗試路由切換。

路由切換的過程如下：源節(jié)點將到達的數(shù)據(jù)分組，依然采用已建立的路由Rfound發(fā)送，同時發(fā)起一個路由請求消息；收到路由應答消息后保存至路由應答消息鏈表中，并提取路由信息形成待切換路由Rswitch［i］，源節(jié)點將待切換路由與當前正在使用的路由信息進行比對，通過中繼節(jié)點相同程度賦予每個待切換路由新鮮度Rf，中繼節(jié)點與當前路由完全不同Rf為100，完全相同則為0；源節(jié)點通過比對每個待切換路由Rswitch［i］的Rf值，選出中繼節(jié)點最不相同的一條作為最可能的切換路由，當業(yè)務分組到達后則采用新的路由發(fā)送分組。因為切換路由是當原有路由穩(wěn)定性不斷惡化的情況下在失效前建立的備份路由，則其選擇標準為與原有路由中繼節(jié)點差異最大，從而最大可能避免原有路由中鏈路狀態(tài)惡化的中繼節(jié)點影響。切換路由的生命期與原路由相同，并且只建立1次，視為原有路由的延續(xù)。

中繼節(jié)點轉發(fā)業(yè)務類消息的同時，也監(jiān)測本地轉發(fā)的回溯到源節(jié)點的ACK回復消息，同時代入Q學習算法迭代計算。當連續(xù)3次判斷網(wǎng)絡狀態(tài)不穩(wěn)定后，認為當前路由在向不穩(wěn)定狀態(tài)發(fā)展，此時中繼節(jié)點在需要進行轉發(fā)至源節(jié)點的ACK消息上設置一個告警標志位。源節(jié)點收到ACK之后讀取標志位，嘗試進行路由切換。

當源節(jié)點每連續(xù)3次判斷當前網(wǎng)絡狀態(tài)趨于穩(wěn)定的時候，則增大當前路由生命周期，繼續(xù)維持當前較好的路由。直到路由生命結束或者連續(xù)3次判斷網(wǎng)絡狀態(tài)不穩(wěn)定后發(fā)起路由建立過程。通過對業(yè)務類消息ACK回復的監(jiān)測，可以在路由維護階段實時自適應地對當前路由狀態(tài)做1個預判，從而及時尋找替代路由。源節(jié)點不必當路由失效發(fā)送失敗后才被動地開始建立路由，在路由狀況開始惡化的時候便可以試圖建立新路由準備進行路由切換，通過這種策略使得源節(jié)點更加靈活，能夠自適應地調整路由參數(shù)，以契合網(wǎng)絡當前狀態(tài)。源節(jié)點處理業(yè)務類消息ACK的流程如圖6所示。

圖6 源節(jié)點收到業(yè)務消息ACK處理流程

3 仿真和分析

目前使用較為普遍的網(wǎng)絡仿真軟件有OPNET［10］和NS2。本文采用OPNET對協(xié)議進行仿真分析。OPNET Modeler采用了3層建模機制，分別在進程層、節(jié)點層和網(wǎng)絡層進行建模。進程描述通過狀態(tài)機的轉移體現(xiàn)邏輯狀態(tài)變化，具有邏輯清晰、維護方便的特點。仿真運行的過程中，OPNET采用了離散事件驅動的模擬機制［10］，即當事件產(chǎn)生時，仿真核心觸發(fā)事件驅動，推動仿真時間推進。

為比較基于Q-learning的自適應DSR協(xié)議的性能，建立一個簡單的Ad Hoc網(wǎng)絡。在600m×600m的范圍內，隨機放置了100個節(jié)點，節(jié)點移動模型采用隨機路點移動模型，節(jié)點最大通信范圍為200m，通信為雙向對稱鏈路。圖7～圖10為仿真結果。

圖7 路由請求分組數(shù)量

從圖7可以看出，加入Q學習算法后DSR協(xié)議在業(yè)務量較輕的情況下能明顯降低路由請求分組的數(shù)量。因為網(wǎng)絡狀況較好的時候Q-DSR能夠根據(jù)Q學習迭代計算結果動態(tài)地增加路由生存期，使得鏈路質量較好的路由能夠更長時間地進行服務，從而降低非必要的路由請求分組（RREQ）發(fā)送概率。而路由請求分組是以泛洪的方式在網(wǎng)絡中擴散，對網(wǎng)絡的影響較大，降低路由請求分組數(shù)能夠有效降低開銷。

從圖8可看出，通過Q學習對業(yè)務類消息的ACK接收時延的計算，能夠判斷當前路由質量發(fā)生怎樣的變化，從而及時調整路由生存期或切換新路由；而傳統(tǒng)的DSR協(xié)議只有當業(yè)務分組發(fā)送失敗才嘗試建立新路由，導致業(yè)務分組時延額外增加了等待路由建立時間，浪費時間和開銷資源。因為路由反應及時，在業(yè)務量增大的情況下，能夠保持高于傳統(tǒng)DSR協(xié)議的吞吐量。

由圖9可看出，因為能夠及時判斷出路由質量，故采取延長生存期或者發(fā)起路由切換的策略，從而加快路由反應。在一定概率上，當路由質量高時繼續(xù)維護本條路由，當路由質量下降時及時采取替補

圖8 吞吐量

策略，從而自適應地在節(jié)點發(fā)送失敗之前做出調整。Q＿DSR協(xié)議能夠保持較低的端到端時延。

圖9 端到端時延

選取業(yè)務量為4packets／s，通過改變速度測試Q＿DSR與傳統(tǒng)DSR協(xié)議在拓撲變化情況下的端到端性能，從圖10可以看出，隨著節(jié)點運動速度的增加，拓撲變化加劇，傳統(tǒng)DSR路由失效率增加；而當業(yè)務消息發(fā)送失敗后才開始建立新路由，則帶來額外的等待時延。基于Q學習算法的DSR協(xié)議能夠判斷路由質量，下降后及時切換新路由，在一定概率上節(jié)省了等待時間，保持較低的端到端時延。在網(wǎng)絡拓撲變換迅速、鏈路質量不穩(wěn)定的網(wǎng)絡狀況下尤為明顯。

圖10 節(jié)點不同移動速度的端到端時延

4 結束語

自適應Q＿DSR協(xié)議的改進是在路由發(fā)現(xiàn)階段能夠根據(jù)建立路由時刻的網(wǎng)絡狀態(tài)動態(tài)調整路由生存期，使得狀態(tài)良好情況下的路由能夠服務更久從而降低開銷；同時在路由維護階段通過監(jiān)測ACK判斷業(yè)務消息發(fā)送時刻的網(wǎng)絡狀態(tài)主動切換質量開始惡化的路由，從而提高路由反應，提升吞吐量性能，降低端到端時延。通過仿真可以看出自適應Q＿DSR協(xié)議能夠在網(wǎng)路狀態(tài)良好的情況下減小開銷，而在狀態(tài)較差的情況下減少路由等待時間，加快路由反應速度，從而提升端到端性能。不足的是，通過ACK監(jiān)測有時不能準確反應發(fā)送業(yè)務消息時刻的網(wǎng)絡狀態(tài)，存在誤判的可能，需要進一步改進來提高算法的準確度。在網(wǎng)絡狀態(tài)變化較快、節(jié)點較多、形成路由的跳數(shù)較大的情況下，自適應Q＿DSR協(xié)議是較簡單和高效的路由協(xié)議。

［1］ 張祿林，李承恕.MANET路由選擇協(xié)議的比較分析研究［J］.電子學報，2000，28（11）：88-92.

［2］ Johnson David B，Maltz David A.Protocols for adaptive wireless and mobile networking［J］.IEEE Personal Communications，1996，3（1）：34-42.

［3］ Rendong Bai，Singhal M.DOA：DSR over AODV routing for mobile Ad Hoc networks［J］.IEEE Transactions Mobile Computing，2006，5（10）：1403-1416.

［4］ Hashim R，Nasir Q，Harous S.Adaptive Multi-path Qos aware dynamic source routing protocol for mobile Ad Hoc network［A］.Innovations in Information Technology［C］.Dubai，2006：1-5.

［5］ 孟利民，吳晚霞.基于鏈路穩(wěn)定性算法的DSR協(xié)議研究［J］.通信學報，2008，29（11）：46-50.

［6］ Kaelbling L P，Littman M L，Moore A W.Reinforcement learning：a survey［J］.Journal of Artificial Intelligence Research，1996，4：237-285.

［7］ Watkins C，Dayan P.Q-learning［J］.Machine Learning，1992（3-4）：279-292.

［8］ Minsoo Lee，Dan Marconett，Xiaohui Ye，et al.Cognitive network management with reinforcement learning for wireless mesh networks［A］.IPOM 2007LNCS 4786［C］，Berlin，2007：168-179.

［9］ Boyan J A，Littman M L.Packet routing in dynamically changing networks：a reinforcement learning approach［A］.Advances In Neural Information Processing Systems［C］，1994：671-678.

［10］陳敏.OPNET網(wǎng)絡仿真［M］.第1版.北京：清華大學出版社，2004.