趙飛　劉寧　秦敏

摘 要：動態(tài)優(yōu)化指的是計算機系統(tǒng)與計算機網(wǎng)絡(luò)中對資源進行合理的分配和任務(wù)調(diào)度的理論工具。當(dāng)前隨著計算機系統(tǒng)與計算機網(wǎng)絡(luò)的高速發(fā)展，關(guān)于動態(tài)優(yōu)化的研究也得到非常大的進步，本文主要從馬爾可夫決策來進行具體分析。

關(guān)鍵詞：計算機系統(tǒng)；計算機網(wǎng)絡(luò)；動態(tài)優(yōu)化；模型；求解；應(yīng)用

DOI：10.16640/j.cnki.37-1222/t.2016.06.137

0 引言

當(dāng)前計算機系統(tǒng)與計算機網(wǎng)絡(luò)得到非常快速的發(fā)展，在人們生活中使用得也越來越廣泛，但是隨著人們在使用過程中對有限的計算機網(wǎng)絡(luò)資源要求越來越高，怎樣進行合理的分配使計算機網(wǎng)絡(luò)達到最大的使用效率成為人們研究的重要目標。馬爾可夫決策的過程是計算機系統(tǒng)與計算機網(wǎng)絡(luò)中動態(tài)優(yōu)化的基礎(chǔ)模型，因此本文以馬爾可夫決策來具體分析模型、求解以及應(yīng)用。

1 馬爾可夫決策過程動態(tài)模型的建立

在計算機系統(tǒng)與計算機網(wǎng)絡(luò)中的動態(tài)優(yōu)化時，其中最為關(guān)鍵的地方就在于動態(tài)模型的建立，模型建立的好壞直接影響到此次決策所能起到的作用。

（1）馬爾可夫的決策過程。馬爾科夫的決策過程一般分為幾個重要的步驟：第一步，先建立一個狀態(tài)集合S，此集合需要具有描述性，決策者能夠使用這個集合做出相關(guān)的行為。第二步，將決策者在這個S集合內(nèi)所做的所有行為歸納為一個集合A。第三步，決策者在S集合內(nèi)所作出的行為即集合A所產(chǎn)生的收益，可以用R來表示該收益函數(shù)。第四步，在整個馬爾可夫決策過程中，在集合S中記錄決策者的行為會發(fā)生一定程度的轉(zhuǎn)移，將此可以總結(jié)為狀態(tài)轉(zhuǎn)移關(guān)系SM。這就是馬爾科夫的決策過程。而在實際中的馬爾可夫決策過程往往只需要決策者觀察決策環(huán)境狀態(tài)S，并根據(jù)狀態(tài)確定決策者的行為屬于隨機的馬爾可夫行為還是確定的馬爾可夫行為。接下來就是將該行為在整個系統(tǒng)中進行轉(zhuǎn)換，重復(fù)做前面的事情，就可以完成整個馬爾可夫決策過程。

（2）馬爾可夫決策過程建模與分析。馬爾可夫決策在實際運用之中的建模需要根據(jù)實際的情況，結(jié)合馬爾可夫決策的理論進行分析、總結(jié)，建立符合實際情況和實際要求的模型。其具體的操作方法可以從以下幾個方面進行：第一，分析實際研究情況，確定馬爾可夫決策建模的目標。在馬爾可夫決策的過程中，往往會出現(xiàn)其中的某一個變量發(fā)生變化，而導(dǎo)致最后的目標發(fā)生變化的現(xiàn)象，如：馬爾可夫決策中的收益目標、運行系統(tǒng)發(fā)生變化，都會導(dǎo)致最后的目標不同。因此，在馬爾可夫決策開始之初就需要先確定建模的目標，再根據(jù)這一目標去限定相應(yīng)的變量。第二，在系統(tǒng)運行的過程中，可以根據(jù)建模目標的函數(shù)與其它各級函數(shù)的關(guān)系，將各級函數(shù)進行最大值和最小值的調(diào)節(jié)，并將目標函數(shù)和相關(guān)數(shù)據(jù)完整的記錄下來，最后分析這一系列數(shù)據(jù)，對馬爾可夫決策做出適當(dāng)?shù)恼{(diào)整。第三，根據(jù)該系統(tǒng)運行空間所處的狀態(tài)進一步確定此次做出的決策行為是否有問題，若發(fā)現(xiàn)問題及時的對其進行優(yōu)化。在馬爾可夫決策的過程當(dāng)中，系統(tǒng)所處于的狀態(tài)和根據(jù)決策所作出的行為有可能處于空置的狀態(tài)，形成一種游離的狀態(tài)，這種狀態(tài)在一定程度上仍舊會占用系統(tǒng)中的使用空間，造成資源的浪費現(xiàn)象。第四，對馬爾可夫決策過程進行相應(yīng)的評價措施，爭取在馬爾可夫決策系統(tǒng)中的每個實施過程都能夠達到效率最大化，使此次計算機系統(tǒng)和計算機網(wǎng)絡(luò)的動態(tài)優(yōu)化效果能夠最佳，對計算機網(wǎng)絡(luò)中的資源和任務(wù)調(diào)度極為合理。

2 馬爾可夫決策過程中的求解

馬爾可夫決策過程在實際運用之中，其求解方法大致可以分為兩類：精確求解算法和近似求解算法。利用精確算法，可以算得計算機網(wǎng)絡(luò)動態(tài)優(yōu)化的最有利的方法，但是其實際計算過程極為麻煩。利用近似求解算法則是通過對該系統(tǒng)中的相關(guān)數(shù)據(jù)進行具體的分析，然后將計算機網(wǎng)絡(luò)中的相關(guān)資源進行適當(dāng)?shù)恼{(diào)整，并且記錄下相應(yīng)的調(diào)整數(shù)據(jù)，找出一種適合計算機網(wǎng)絡(luò)相關(guān)資源分配，能夠滿足用戶使用需要的近似答案。此種求解方式在使用的時候往往較為靈活，更容易快速的找出近似的答案。兩種求解方式都各自具有一定的優(yōu)點，具體怎樣使用更加合適，還需要用戶在實際使用中具體的分析、總結(jié)。

3 馬爾可夫決策過程中的應(yīng)用

本文在選取馬爾可夫決策實際應(yīng)用例子時，挑選出一個可以進行系統(tǒng)修復(fù)的實際例子作為應(yīng)用案例進行具體的講解。

如圖1的右半部分為描述決策者的行為的非確定子網(wǎng)，左半部分為一個可能能夠正常工作，也有可能已經(jīng)失效的隨機子網(wǎng)。在MDPN模型之中，對所在位置進行相應(yīng)的標記可以適當(dāng)?shù)母纳朴嬎銠C網(wǎng)絡(luò)，特別是計算機系統(tǒng)中存在互相對稱的點，通過標記可以很好的讓其對應(yīng)，同時也減小了系統(tǒng)中空間上的相關(guān)問題。

在目前計算機系統(tǒng)與計算機網(wǎng)絡(luò)高速發(fā)展的狀態(tài)下，加強馬爾可夫決策過程的分析和研究，并且合理的將馬爾可夫決策進行相關(guān)的應(yīng)用，可以在很大程上減少網(wǎng)絡(luò)資源的浪費，對網(wǎng)絡(luò)資源進行合理的分配，使得計算機系統(tǒng)和計算機網(wǎng)絡(luò)能夠使用效率最大化。

4 結(jié)束語

隨著對馬爾可夫決策過程中的模型、求解以及應(yīng)用的具體分析，加深對計算機系統(tǒng)與計算機網(wǎng)絡(luò)中的動態(tài)優(yōu)化理解，實現(xiàn)對生活中或者工作中計算機網(wǎng)絡(luò)資源的合理分配，達到使用計算機網(wǎng)絡(luò)的最大效率。

參考文獻：

[1]林闖，萬劍雄，向旭東，孟坤，王元卓.計算機系統(tǒng)與計算機網(wǎng)絡(luò)中的動態(tài)優(yōu)化：模型、求解與應(yīng)用[J].計算機學(xué)報，2012（07）：1339-1357.

[2]林闖，李寅，萬劍雄.計算機網(wǎng)絡(luò)服務(wù)質(zhì)量優(yōu)化方法研究綜述[J]. 計算機學(xué)報，2011（01）：1-14.

[3]劉君.計算機網(wǎng)絡(luò)可靠性優(yōu)化設(shè)計問題的研究[D].沈陽工業(yè)大學(xué)，2006.

[4]楊曉慶.計算機系統(tǒng)與計算機網(wǎng)絡(luò)中的動態(tài)優(yōu)化：模型、求解與應(yīng)用[J].計算機光盤軟件與應(yīng)用，2014（09）：108+110.

作者簡介：趙飛（1980-），男，河北博野人，本科，實驗師，研究方向：計算機應(yīng)用技術(shù)、網(wǎng)絡(luò)技術(shù)等。