多智能體在認知無線電頻譜管理中的應用研究

孫婷　向新　宋曉鷗　王鋒　孫曄

摘 要： 基于多智能體系統(tǒng)的認知無線電技術研究是近年來通信領域的熱點問題。闡述了多智能體系統(tǒng)的基本概念，對智能體和多智能體系統(tǒng)運行機制進行了介紹，并從適用于認知無線電網(wǎng)絡的智能體模型設計和多智能體運行機制的應用兩方面，對近年來用于認知無線電網(wǎng)絡頻譜管理的多智能體技術作了總結。

關鍵字： 認知無線電； 頻譜管理； 多智能體系統(tǒng)； 多智能體技術

中圖分類號： TN92?34 文獻標識碼： A 文章編號： 1004?373X（2014）09?0038?05

0 引 言

隨著無線電技術的飛速發(fā)展和廣泛應用，使得有限的頻譜資源和猛增的需求間的矛盾日益突出。傳統(tǒng)靜態(tài)的頻譜分配方式極大限制了頻譜的使用效率，使得無線資源本身的匱乏以及對它使用不合理的問題越來越突出。認知無線電（CR）是解決當前靜態(tài)頻譜分配問題的有效方法，因此成為當前通信研究領域的熱點之一。認知無線電是在軟件無線電的基礎上發(fā)展起來的一種新的智能無線通信技術，它能夠根據(jù)無線電的內(nèi)部狀態(tài)和外部環(huán)境的變化而變化且能調(diào)整其行為，通過讓具有認知功能的節(jié)點與授權用戶共享信道來解決無線頻譜資源緊張的狀況。但是如果大量認知無線電用戶在一個空間內(nèi)使用，則將構成一個復雜的、分布式的、多變的網(wǎng)絡，如何使之成為一個自我調(diào)節(jié)、有序運作的網(wǎng)絡是當前需要解決的一大問題。多智能體系統(tǒng)常用于復雜的、互相依賴的，且有大量分布式設備參與的環(huán)境中。每個智能體都能與周圍的環(huán)境交互并與其他智能體共享信息、協(xié)商合作共同完成任務。正是由于它的這些特點，使得多智能體系統(tǒng)非常適用于認知無線電網(wǎng)絡中的動態(tài)頻譜管理[1]。

1 多智能體系統(tǒng)

多智能體系統(tǒng)（Multiagent System）是新興計算機科學的一個分支，其概念從20世紀80年代被提出后，在90年代隨著計算機技術、網(wǎng)絡技術、通信技術的飛速發(fā)展得到了廣泛的關注。由于智能體（Agent）體現(xiàn)了人類的社會職能，具有很強的自治性和適應性，因此，越來越多的研究人員開始關注對其理論和應用方面的研究。

1.1 智能體定義

智能體，從廣義上理解，它涵蓋了許多不同的計算實體，這些實體能夠感知環(huán)境并作用于環(huán)境。智能體結構如圖1所示。由圖1可知，智能體能對從環(huán)境中感知的事件進行監(jiān)察，可根據(jù)自身的知識和意圖對感知信息和其他智能體的通信信息進行進一步分析、推理并作出合理決策，并通過執(zhí)行模塊反饋到環(huán)境中去。

智能體有如下特征：

（1） 自治性（Autonomy）：智能體擁有內(nèi)部自治機制和問題解決機制，能夠控制自己的行為和內(nèi)部狀態(tài)。無需他人干涉就可根據(jù)自己的知識和捕捉到的信息進行判斷和行為。智能體自治性的高低在很大程度上決定了其智能的高低；

（2） 社會性（Social ability）：智能體不是孤立的，而是一個相互作用的群體。智能體間可以按照某種協(xié)議或者語言進行通信和對話，從而形成一個小組來協(xié)作完成某一特定任務；

（3） 反應性（Reactivity）：指智能體具有外部環(huán)境的反射作用，能夠識別外部環(huán)境的變化作出適當反應；

（4） 自發(fā)性（Pro?activeness）：指智能體具有對目標的能動性，為了達到目標，智能體能夠自發(fā)地參加到某些處理或協(xié)作中來[2?3]。

圖1 智能體基本結構

1.2 多智能體系統(tǒng)介紹

雖然智能體具備特定功能，但能力有限，在解決現(xiàn)實中復雜的、大規(guī)模的問題時，常常需要將各種具有不同能力的智能體結合起來，這就是多智能體系統(tǒng)產(chǎn)生的最直接的原因。多智能體系統(tǒng)可定義為由一系列在網(wǎng)絡上耦合的智能體或者在同一硬件環(huán)境下的軟件智能體構成，將的大的復雜系統(tǒng)構造成小的、彼此可以互相通信及協(xié)調(diào)的、易于管理的系統(tǒng)。圖2為一個典型的多智能體系統(tǒng)模型結構圖[4]。

圖2 多智能體系統(tǒng)結構圖

在多智能體系統(tǒng)中，一方面，每個智能體作為有自主性的實體，作用于自身，自己運轉，能自主解決一定的問題；另一方面，通過與其他智能體的通信，可以開發(fā)出新的規(guī)則或求解方法來處理眾多不確定的、相互矛盾的知識事件。這樣，通過智能體間的協(xié)作，多智能體系統(tǒng)不僅改善了每個智能體的基本能力，而且從智能體的交互中進一步理解了各個系統(tǒng)的全局，提高多智能體協(xié)同共同完成任務的能力。

當多個智能體組成多智能體系統(tǒng)時，智能體之間就出現(xiàn)了如何協(xié)調(diào)各自的知識、策略和規(guī)劃，如何采取聯(lián)合行動實現(xiàn)全局目標等問題。因此，智能體之間的交互和通信是多智能體系統(tǒng)必不可少的組成部分。智能體通信是交互的基礎。智能體之間通信可以傳遞字符流或二進制數(shù)流，也可以是在知識層上進行表達、理解和交流，即專門的智能體通信語言，如知識詢問與操作語言（KQML）等。智能體之間的交互方式包括協(xié)調(diào)（coordination）、合作（cooperation）、討論（negotiation）等。協(xié)調(diào)是為了確保智能體活動的有序性和互補性，一般常用的方法有設定規(guī)章、制定方案和反應性操作等。合作是指智能體共同工作達成一致目標最大化效用采取的方法，包括黑板模式、合同網(wǎng)、聯(lián)盟等。討論是一智能體向另一智能體提供服務的一種方法，包括拍賣、辯論、啟發(fā)等。

此外，由于多智能體系統(tǒng)的復雜性和動態(tài)性，不可能具備完全的先驗知識，因而學習能力是多智能體系統(tǒng)必不可少的能力之一。學習方式包括智能體信念的開發(fā)與更新、基于性能的學習。一般使用較多的為基于性能學習中的強化學習、Q學習等。整個多智能體系統(tǒng)運行機制如圖3所示[1?2，4]。

圖3 多智能體系統(tǒng)運行機制

2 多智能體系統(tǒng)在認知無線電頻譜管理中應用

的國內(nèi)外相關研究

近年來，認知無線電技術受到廣泛關注。需要實現(xiàn)認知用戶電磁設備的智能化，使其能通過頻譜感知技術監(jiān)測本地電磁環(huán)境的變化，完成本地電磁環(huán)境感知，在本地網(wǎng)絡中分發(fā)共享頻譜感知信息，作為頻譜管理的依據(jù)，并且能夠通過認知無線電干擾估測估計認知無線電用戶與授權用戶之間的干擾，通過用戶間的互相協(xié)商來避免它們之間干擾的發(fā)生。這些龐雜的、分布式的電磁設備也就構成了復雜的、多變的一個電磁社會。如何使這個電磁社會如人類社會一樣實現(xiàn)自我調(diào)節(jié)、有序運行就是目前需要解決的一大問題。多智能體系統(tǒng)的開發(fā)設計可看成兩部分互相交織的工作，即智能體設計（agent design）和智能化社會設計（society design）[2]。

2.1 認知無線電的智能體模型

電磁設備的智能化使其體現(xiàn)了智能體的特征，因此適用于認知無線電的智能體模型的設計是整個問題的研究基礎。根據(jù)智能體的基本模型，認知無線電的智能體所面對的外部環(huán)境是電磁環(huán)境，其完成的工作可以分為感知環(huán)境、智能處理、通信等三個部分，在面對具體問題時，每個部分可進行適應性調(diào)整和變化。比較有代表性的有以下幾種。

WLAN是早期的具有一定認知能力的無線系統(tǒng)，采用CSMA/CA方式使系統(tǒng)具有很大的應用靈活性，為了提高其性能，文獻[5]提出了一種智能體模型，如圖4所示。該智能體位于每個WLAN的接入點AP（Access Point），智能體由兩個模塊組成，分別為預測參數(shù)判斷模塊PPE（Predictive Parameter Estimation）和資源管理優(yōu)化模塊RMO（Resource Management Optimization）組成。PPE模塊的用于感知射頻環(huán)境，并利用智能體預測模型產(chǎn)生RMO所需的參數(shù)，包括鏈路質量、信息交換速率、發(fā)射功率等；RMO由建模優(yōu)化模塊（Utilization Modeling and Optimization，UMO）和優(yōu)化決策模塊（Strategy to Effect Optimal Utilization，EOU）兩部分組成，對接受哪個移動站的請求、發(fā)射功率控制、減少信道選擇沖突等進行建模并做出決策；智能體間通過連接所有AP的高速鏈路網(wǎng)進行通信[4]。

圖4 認知智能體模型圖（一）

文獻[6?7]給出了包含智能體在內(nèi)的次用戶（SU）設備模型設計，如圖5所示。該設備主要由動態(tài)頻譜傳感器DDS（Dynamic Spectrum Sensor）、頻譜特征分析器SC（Spectrum Characterizer）、用戶界面SUI（Secondary User Interface）和智能體組成。DDS主要功能是感知頻譜空穴；SC根據(jù)香農(nóng)定律計算相關PU（Primary User）用戶信道容量；SUI向智能體發(fā)送通信鏈路服務質量信息。智能體包含知識庫模塊AKM（Agent′s Knowledge Module）和協(xié)同模塊ACM （Agent′s Coordination Module）。AKM根據(jù)傳送的數(shù)據(jù)產(chǎn)生有空余頻譜的PU列表，ACM負責智能體之間通信合作[6?7]。

圖5 認知智能體模型圖（二）

文獻[8]提出了一種基于智能體的頻譜管理模型，如圖6所示。認知無線電設備由一系列模塊組成，包括能力控制模塊、調(diào)制模塊、數(shù)據(jù)管理模塊、安全管理模塊和通信模塊等。智能體負責對這些模塊的管理，監(jiān)督它們所有的操作。智能體可以通過通信模塊與其他智能體進行交互，通過掃描功能感知外部環(huán)境。交互與感知得到的信息（空閑頻帶、調(diào)制方式、信道選擇、服務質量、發(fā)射功率等）存儲于共享知識庫，可供所有智能體存儲或檢索信息。于此同時，規(guī)則庫、終端狀態(tài)、用戶操作也與智能體相互作用。從整體上來說，智能體對整個系統(tǒng)進行控制[8]。

圖6 認知智能體模型圖（三）

2.2 多智能體運行機制的應用

多智能體運行機制確保了多智能體系統(tǒng)高效有序運作，能實現(xiàn)對整個系統(tǒng)的有效管理。因此，將多智能體運行機制應用于認知無線電頻譜管理成為研究的另一方面。不同的多智能體運行機制從不同的方面完善系統(tǒng)功能。在通信、交互、學習三種機制中，由于通信為智能體交互的基礎，所以主要研究的為智能體間的交互和學習機制的應用。

智能體的交互方法促進了智能體之間的溝通交流，主要有三種，即協(xié)調(diào)機制、合作機制和討論機制。協(xié)調(diào)機制的靈活性相對較差，因此使用較少。

合作機制使智能體在自身無法完成任務或者其他智能體可以更高效完成任務的情況下，通過與其他智能體的合作最大化效用。其中，文獻[10]中黑板模型在認知無線電網(wǎng)絡跨層結構中得到了應用。黑板是一個共享的問題求解工作空間，問題和初始數(shù)據(jù)都記錄在黑板上，智能體都能看到黑板。每個認知無線電節(jié)點產(chǎn)生與當前網(wǎng)絡狀態(tài)相關的參數(shù)，通過黑板展示，與其他節(jié)點共享信息，實現(xiàn)了帶寬的優(yōu)化利用。它提高了頻譜分配的有效性和整體網(wǎng)絡的服務質量[9]。合同網(wǎng)是合作機制中的另一種任務分享方式，文獻[11]中所有智能體分為管理者和訂約者兩種角色。智能體通過發(fā)布任務通知書而成為管理者，通過應答任務通知書而成為訂約者。系統(tǒng)中的每一待求解任務，由承擔該任務的智能體負責完成。在認知無線電網(wǎng)絡中，該任務通知書即為請求方案（Call for Proposal），PU（Primary User）智能體即為管理者，SU（Secondary User）為訂約者。每個SU向有空余頻帶的相關PU發(fā)送請求方案，包括SU的地址、所需頻帶寬度、時間、價格、回復截止時間等。直至截止時間，SU選擇最佳PU發(fā)送接受信息同時向其他PU發(fā)送拒絕信息[10]。另一種方式為智能體聯(lián)盟，文獻[1]中智能體對整體環(huán)境考慮共同利益而形成聯(lián)盟，共享知識和專門技術，因而不用通過認知無線電終端進行大量計算工作，而是通過智能體聯(lián)盟鑒別環(huán)境信息。

討論機制中智能體間為了表達各自觀點而進行信息交換，為有效解決智能體間的沖突的一種方法。討論機制中最適用于認知無線電頻譜管理的是拍賣方式。文獻[11]中使用的是密封遞價方法（即競買人在規(guī)定的時間內(nèi)將密封的標書遞交拍賣人，由拍賣人在事先確定的時間公開開啟，經(jīng)比較后選擇出價最高者成交）。認知無線電移動站競爭主用戶無線電網(wǎng)絡的頻段，SU用戶在規(guī)定的時間內(nèi)將給出價格的標書遞交給PU用戶，由PU用戶在事先確定的時間公開開啟，經(jīng)比較后選擇出價最高者成交，該SU用戶在一個超幀的時間內(nèi)保證該頻段的使用。文獻[12]了建立認知無線電網(wǎng)絡頻譜分配的拍賣框架。認知無線電網(wǎng)絡根據(jù)自身使用需求，競爭在某一信道成為主接入網(wǎng)絡的權利?？紤]網(wǎng)絡間互相聯(lián)系等情況下，使用了基于加權圖中最大化匹配問題的polynomial?time算法，求出該信道的主接入網(wǎng)絡，由此實現(xiàn)各個其他信道的合理使用[12]。除拍賣方式外，智能體也可以第三方的角色出現(xiàn)在頻譜交易過程中。文獻[13]中智能體向PU以固定價格買入頻譜使用權，再以零售商的方式轉賣給SU。在考慮需求不確定因素的情況下使智能體獲得最大利益。

學習機制使智能體通過自身的學習過程來完善整個多智能體系統(tǒng)的功能，以適應多智能體系統(tǒng)的復雜性和動態(tài)性。學習機制中基于性能的學習是在不同的觸發(fā)條件下有用的學習策略，其中的強化學習特別適用于認知無線電網(wǎng)絡。文獻[14]中強化學習應用于認知無線電網(wǎng)絡中的頻譜感知，使用基于強化學習的分布式多智能體頻譜感知策略，并在多智能體強化學習中采用線性函數(shù)逼近的方法降低了狀態(tài)?行動空間的維度。文獻[15]中強化學習應用于認知無線電網(wǎng)絡中的頻譜分配，使用價值函數(shù)來評估使用不同發(fā)射參數(shù)的滿意度，并通過最大化長期回報來實現(xiàn)有效頻譜分配和發(fā)射功率選擇。對于大規(guī)模認知無線電網(wǎng)絡，進一步使用到了Kanerva?based Function Approximation方法。此外，基于性能學習中多智能體Q?Learning方法可以為信道選擇提供策略。文獻[16]通過將其他SU視為環(huán)境的一部分，使單智能體決策擴展到多智能體決策。智能體的學習內(nèi)容不僅包括可用頻譜，還包括其他智能體的表現(xiàn)。

3 結 語

多智能體系統(tǒng)是解決認知無線電網(wǎng)絡頻譜管理問題的有效方法。從智能體模型設計到多智能體運行機制的應用，多智能體系統(tǒng)已深入到認知無線電的研究中。多智能體系統(tǒng)的設計極具挑戰(zhàn)性，探尋更適合于認知無線電系統(tǒng)的多智能體系統(tǒng)，使智能體設計與智能化社會設計有機結合，而不是單獨使用于認知無線電網(wǎng)絡將是未來研究的重要方向。

參考文獻

[1] TRIGUI E， ESSEGHIR M， BOULAHIA L M. On using multi agent systems in cognitive radio networks： A survey [J]. International Journal of Wireless&Mobile Networks， 2012， 4（6）： 11?15.

[2] WOOLDRIDGE M. An introduction to multiagent system [M].West Sussex： Wiley and Sons， 2002.

[3] Liu J.多智能體原理與技術[M].北京：清華大學出版社，2003.

[4] 張秋花，薛惠鋒，吳介軍，等.多智能體系統(tǒng)MAS及其應用[J].計算機仿真，2007（24）：133?137.

[5] XIE J， HOWITT I， RAJA A. Cognitive radio resource management using multiagent systems [C]// Proceedings of Consumer Communications and Networking Conference. [S.l.]： CCNC， 2007： 1123?1127.

[6] MIR U， BOULAHIA L M， GAITI D. Utilization of a cooperative multiagent system in the context of cognitive radio network [C]// Proceedings of 2009 Fourth IEEE International Workshop on Communications Environments. Venice， Italy： Springer?Verlag， 2009： 100?104.

[7] MIR U， BOULAHIA L M， GAITI D. Dynamic spectrum sharing for cognitive radio networks using multiagent system [C]// Proceedings of 2011 IEEE Consumer Communications and Networking Conference. Las Vegas， NV： CCNC， 2011： 658?663.

[8] AHMED A， HASSAN M M， SOHAIB O. An agent based architecture for cognitive spectrum management [J]. Australian Journal of Basic and Applied Science， 2011， 5（12）： 682?689.

[9] REDDY Y B， BULLMASTER C. Cross?layer design in wireless cognitive networks [C]// Proceedings of International Conference on Parallel and Distributed Computing Applications and Technologies. Otago： PDCAT， 2008： 462?467.

[10] MIR U， BOULAHIA L M， GAITI D. COMAS： A cooperative multiagent architeture for spectrum for spectrum sharing [J/OL]. [2010?12?10]. http：// www. downloads.hindawi.com/journals/wcn/2010/987691.

[11] CHANG H B， CHEN K C. Auction based spectrum management of cognitive radio networks [J]. IEEE Transactions on Vehicular Technology， 2010， 59（4）： 1923?1935.

[12] KASBEKAR G S， SARKAR S. Spectrum auction framework for access allocation in cognitive radio networks [J]. IEEE/ACM Transations on Networking， 2010， 18（6）：1841?1854.

[13] QIAN L， YE F， GAO L. Spectrum trading in cognitive radio networks：an agent?based model under demand uncertainty [J]. IEEE Transactions on Communications， 2011， 59（11）： 3192?3203.

[14] LUNDEN J， KOIVUNEN V， KULKARNI S R， et al. Reinforcement learninng based distributed multiagent sensing policy for cognitive radio networks [C]// Proceedings of IEEE International Symposium on New Frontiers in Dynamic Spectrum Access Networks. [S.l.]： IEEE， 2011： 642?646.

[15] WU C， CHOWDHURY K， FELICE M D， et al. Spectrum management of cognitive radio using multiagent reinforcement learning [C]// Proceedings of the 9th International Conference on Autonomous Agents and Multiagent System. Richland， SC： [s.n.]， 2010： 1705?1712.

[16] LI H. Multiagent Q?learning for aloha?like spectrum access in cognitive radio system [J/OL]. [2010?05?23]. http：// www.oalib.com/paper/2894239.