馬爾可夫鏈理論在風(fēng)險(xiǎn)型決策問(wèn)題中的應(yīng)用

李 鋼，黃祖光

（1.河北工業(yè)大學(xué) 管理學(xué)院，天津 300130；2.石家莊鐵道大學(xué) 后勤處，河北 石家莊 050043）

一、引言

決策問(wèn)題可以分為確定型決策，嚴(yán)格不確定型決策和風(fēng)險(xiǎn)型決策[1]。確定型決策問(wèn)題的特點(diǎn)是決策人在進(jìn)行選擇之前了解真實(shí)自然狀態(tài)，即可以確切地知道各種行動(dòng)的后果，這類問(wèn)題的求解純屬運(yùn)籌學(xué)中的純量?jī)?yōu)化問(wèn)題。嚴(yán)格不確定型問(wèn)題是指決策人只能知道有哪些自然狀態(tài)可能出現(xiàn)，而無(wú)法以任何方式量化這種不確定性，也就是說(shuō)各種自然狀態(tài)出現(xiàn)的概率無(wú)法估計(jì)。風(fēng)險(xiǎn)型決策問(wèn)題中，決策人雖然無(wú)法確知將來(lái)的真實(shí)自然狀態(tài)，但他不僅能給出各種可能出現(xiàn)的自然狀態(tài)，還可以給出各種狀態(tài)出現(xiàn)的概率，通過(guò)設(shè)定概率來(lái)量化不確定性。求解隨機(jī)問(wèn)題的基礎(chǔ)是得到自然狀態(tài)的概率分布，得到這些概率的方法是根據(jù)過(guò)去發(fā)生的情況和有關(guān)統(tǒng)計(jì)資料進(jìn)行推算，得出各種自然狀態(tài)出現(xiàn)的概率。

由于種種原因，設(shè)定比較準(zhǔn)確的狀態(tài)概率分布是很困難的事。一般情況下，決策分析的結(jié)果往往對(duì)狀態(tài)的概率分布比較敏感，即自然狀態(tài)概率分布大小的變化會(huì)顯著地改變分析結(jié)果，因此要提高決策分析的精度就必須設(shè)法提高概率分布的估計(jì)精度。顯然，僅僅依靠決策人的經(jīng)驗(yàn)做主觀的估計(jì)，所設(shè)定的自然狀態(tài)先驗(yàn)分布的精度不可能有很大的改進(jìn)，因此需要通過(guò)隨機(jī)試驗(yàn)去收集有關(guān)自然狀態(tài)的信息，以便改進(jìn)所設(shè)定的自然概率分布的準(zhǔn)確性，從而改善決策分析的質(zhì)量。貝葉斯分析可以通過(guò)隨機(jī)試驗(yàn)獲得觀察值，去改進(jìn)決策人設(shè)定的自然狀態(tài)的先驗(yàn)概率，得到后驗(yàn)概率，從而減少期望損失。但是進(jìn)行隨機(jī)試驗(yàn)需要很高費(fèi)用，為了解決先驗(yàn)概率準(zhǔn)確性不足的缺點(diǎn)，同時(shí)避免得到后驗(yàn)概率需要投入大量人力、物力和財(cái)力的缺點(diǎn)，本文將馬爾可夫鏈理論引入到?jīng)Q策過(guò)程中，從而保證即不用花費(fèi)大量的投入，又能保證決策的準(zhǔn)確性。

二、馬爾可夫鏈理論

馬爾可夫鏈最初由Markov于1906年研究而得名，它是一種特殊的參數(shù)離散、狀態(tài)空間離散的隨機(jī)過(guò)程，參數(shù)為T=｛0，1，2，…｝=N0，狀態(tài)空間為可列S=｛1，2，…｝或有限S=｛1，2，…，n｝的情況。

設(shè)隨機(jī)序列｛X（n）；n≥0｝的狀態(tài)空間為S，如果對(duì)?n∈N0，及i0，i1…，in，in+1∈S，P｛X（0）｝=i0，X（1）=i1，…，X（n）=in｝＞0，有：

則稱｛X（n）；n≥0｝為Markov鏈。

馬爾可夫鏈具有Markov性或無(wú)后效性，簡(jiǎn)稱為馬氏性。設(shè)｛X（n）；n≥0｝為馬氏鏈，狀態(tài)空間為S，對(duì)于?i，j∈S，稱P｛X（n+1）=j｜X（n）=i｝=^pij（n）為馬氏鏈｛X（n）；n≥0｝在n時(shí)刻的一步轉(zhuǎn)移概率，其含義為n時(shí)刻系統(tǒng)處在i的條件下，下一時(shí)刻n+1系統(tǒng)處在j的可能性，又稱為從狀態(tài)i經(jīng)一步轉(zhuǎn)移到j(luò)的概率。若對(duì)?i，j∈S，pij（n）≡pij，即pij與n無(wú)關(guān)，則稱｛X（n）；n≥0｝為齊次Markov鏈。

稱P為｛X（n）；n≥0｝的一步轉(zhuǎn)移概率矩陣，簡(jiǎn)稱為轉(zhuǎn)移矩陣。

一個(gè)定義在狀態(tài)空間上的概率分布π＝｛π1，π2，…，πi，…｝稱為馬氏鏈的平穩(wěn)分布，如有：π＝πP，即，平穩(wěn)分布也稱為馬氏鏈的不變概率測(cè)度。對(duì)于一個(gè)平穩(wěn)分布π，顯然有：π=πP=πP2=…＝πPn。設(shè)｛Xn，n≥0｝是一馬氏鏈，則｛Xn，n≥0｝為平穩(wěn)過(guò)程的充分必要條件是π（0）＝（πi（0），i∈S）是平穩(wěn)分布，即有：π（0）=π（0）P，這也給我們提供了求平穩(wěn)分布的方法。通過(guò)對(duì)平穩(wěn)分布的研究，我們可以得到系統(tǒng)長(zhǎng)期運(yùn)行中，處于各種狀態(tài)的概率所具有的規(guī)律。

三、應(yīng)用馬爾可夫鏈理論解決風(fēng)險(xiǎn)型決策問(wèn)題

如果決策問(wèn)題存在n種自然狀態(tài)為θ1，θ2，θ3…θn，可采取m種行動(dòng)方案a1，a2，a3…am，并且知道每種行動(dòng)方案在各種自然狀態(tài)下的損失值，紀(jì)錄過(guò)去各種自然狀態(tài)出現(xiàn)的情況，用wij表示從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的個(gè)數(shù)，wi為處在狀態(tài)i的個(gè)數(shù)，那么通過(guò)以計(jì)算出一步轉(zhuǎn)移概率，則一步轉(zhuǎn)移概率矩陣為：

通過(guò)前面的理論可得n步轉(zhuǎn)移概率矩陣，P(n)=Pn，這樣我們找到原來(lái)所處的狀態(tài)，就可以知道系統(tǒng)n步轉(zhuǎn)移后處在各種狀態(tài)的概率，然后可以計(jì)算出采取各種行動(dòng)方案損失的期望值，其中期望值最小的行動(dòng)方案就是我們要采取的。

如果系統(tǒng)長(zhǎng)期運(yùn)行，可以通過(guò)前面的馬爾可夫鏈平穩(wěn)分布理論，求解方程π＝πP得到系統(tǒng)長(zhǎng)期運(yùn)行處在各種狀態(tài)的概率。然后可以計(jì)算出采取各種行動(dòng)方案損失的期望值，其中期望值最小的行動(dòng)方案就是我們要采取的。

四、數(shù)值示例

設(shè)某決策問(wèn)題存在θ1，θ2，θ3三種自然狀態(tài)，可采取的行動(dòng)方案包括a1，a2，a3三種。對(duì)過(guò)去20個(gè)星期的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，得到表1，表2：

表1 前10周所處狀態(tài)統(tǒng)計(jì)結(jié)果

表2 后10周所處狀態(tài)統(tǒng)計(jì)結(jié)果

三種可供選擇的方案其損失矩陣如表3：

表3 各方案損失矩陣

第21周及22周決策人應(yīng)采取那種行動(dòng)方案使損失最小，若從系統(tǒng)長(zhǎng)期運(yùn)行的角度考慮，決策人采取那種方案損失最小。

通過(guò)對(duì)表1，表2的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)可以得到處在狀態(tài)θ1，θ2，θ3的概率為π（θ1）＝0.2，π（θ2）＝0.5，π（θ3）＝0.3（先驗(yàn)概率），該問(wèn)題恰好與參考文獻(xiàn)[1]中例4.1的問(wèn)題一樣，如果按照文獻(xiàn)[1]中的最大可能值決策準(zhǔn)則進(jìn)行決策，決策人應(yīng)該選擇行動(dòng)a1。如果按照文獻(xiàn)[1]中的貝葉斯準(zhǔn)則應(yīng)選擇行動(dòng)a2，以上兩種準(zhǔn)則都是把將來(lái)發(fā)生的狀態(tài)簡(jiǎn)單地用先驗(yàn)概率代替，這是不準(zhǔn)確的。下面應(yīng)用本文提供的方法進(jìn)行決策。

用wij表示從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的個(gè)數(shù)，wi為處在狀態(tài)i的個(gè)數(shù)，第20周無(wú)后續(xù)狀態(tài)，不進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果為：

因?yàn)榈?0周處在狀態(tài)θ2，由狀態(tài)轉(zhuǎn)移概率矩陣可知，21周處在狀態(tài)θ1，θ2，θ3的概率分別為那么采取方案a1，a2，a3損失的期望值分別為E對(duì)應(yīng)與行動(dòng)方案a3的期望損失最小，所以決策人應(yīng)選擇行動(dòng)方案a3。這與文獻(xiàn)[1]中應(yīng)用最大可能值準(zhǔn)則，貝葉斯準(zhǔn)則得到的結(jié)論都不相同。因?yàn)槲墨I(xiàn)[1]中提供的決策準(zhǔn)則都是把將來(lái)發(fā)生的狀態(tài)簡(jiǎn)單地用先驗(yàn)概率代替，而本文提供的方法，通過(guò)預(yù)測(cè)將來(lái)各種狀態(tài)發(fā)生的概率，并以此作為決策的依據(jù)，有助于減少?zèng)Q策失誤，同時(shí)與文獻(xiàn)[1]中提供的貝葉斯分析等方法相比，又減少了獲取完全信息所需的費(fèi)用。

應(yīng)用數(shù)學(xué)軟件maple，計(jì)算得兩步轉(zhuǎn)移概率矩陣為：

因?yàn)榈?0周處在狀態(tài)θ2，由兩步狀態(tài)轉(zhuǎn)移概率矩陣可知，21周處在狀態(tài)θ1，θ2，θ3的概率分別為那么采取方案a1，a2，a3損失的期望值分別為E對(duì)應(yīng)于行動(dòng)方案a1的期望損失最小，所以決策人應(yīng)選擇行動(dòng)方案a1。

系統(tǒng)長(zhǎng)期運(yùn)行下去，處于各個(gè)狀態(tài)的概率趨于穩(wěn)定，設(shè)處在a1，a2，a3的概率分別為π1，π2，π3，由前面的理論可知，π1，π2，π3應(yīng)滿足如下方程：

所以從系統(tǒng)長(zhǎng)期運(yùn)行的角度考慮，采取方案a1，a2，a3損失的期望值分別為

其中，π=（π1，π2，π3），應(yīng)用數(shù)學(xué)軟件maple，解得對(duì)應(yīng)于行動(dòng)方案a2的期望損失最小，所以決策人應(yīng)選擇行動(dòng)方案a2。應(yīng)用文獻(xiàn)[1]中提供的方法無(wú)法對(duì)系統(tǒng)長(zhǎng)期運(yùn)行應(yīng)該采取的行動(dòng)方案進(jìn)行決策，這是本文提出的決策方法的一個(gè)優(yōu)點(diǎn)。

[1]岳超源.決策理論與方法[M].北京：科學(xué)出版社，2003.

[2]衛(wèi)堂民.決策理論與技術(shù)[M].西安：西安交通大學(xué)出版社，2000.

[3]Sheldon M.Ross，Stochastic Processes[M]，John Wiley&Sons，1983.

[4]張波.應(yīng)用隨機(jī)過(guò)程[M].北京：中國(guó)人民大學(xué)出版社，2002.

[5]Edward P.C.Kao.An Introduction to Stochastic Processes[M].北京：機(jī)械工業(yè)出版社，2003.