袁夢(mèng)婷

摘要：基于MDP理論，將“RGV執(zhí)行并完成任務(wù)所需時(shí)間”構(gòu)建為動(dòng)態(tài)優(yōu)先級(jí)，引入隨機(jī)變量“CNC發(fā)生故障和排除故障的時(shí)間”，結(jié)合RGV、CNC、物料的狀態(tài)變化情況，建立基于MDP理論的狀態(tài)轉(zhuǎn)移模型。并在數(shù)值迭代算法的基礎(chǔ)上設(shè)計(jì)了MDP迭代尋優(yōu)算法對(duì)三組系統(tǒng)進(jìn)行求解，從而得到一道工序物料加工過(guò)程中，CNC有1%的概率發(fā)生故障的情形下環(huán)形智能加工系統(tǒng)在未知?jiǎng)討B(tài)環(huán)境下的最優(yōu)調(diào)度策略。

Abstract： Basing on the MDP theory， we construct the time of RGV to execute and complete the task as the dynamic priority， and introduce two random variables， the time when the CNC is faulty and the fault is removed. At the meanwhile， combining with the state changes of RGV， CNC and materials， we establish a state transition model based on MDP theory. Then， based on the numerical iterative algorithm， the MDP iterative optimization algorithm is designed to solve the three groups of systems， so that the optimal scheduling strategy of the intelligent processing system in an unknown dynamic environment during the processing of a process material with a 1% probability of failure in the CNC is obtained.

關(guān)鍵詞：MDP理論;動(dòng)態(tài)優(yōu)先級(jí);迭代尋優(yōu)算法;動(dòng)態(tài)調(diào)度最優(yōu)策略

Key words： MDP theory;dynamic priority;iterative optimization algorithm;dynamic scheduling optimal strategy

中圖分類(lèi)號(hào)：TP273 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文章編號(hào)：1006-4311（2019）27-0043-03

0 ?引言

隨著當(dāng)今世界科學(xué)技術(shù)的蓬勃發(fā)展，現(xiàn)代物流觀念漸漸深入人心。為解決龐雜的物流問(wèn)題，自動(dòng)化物流系統(tǒng)開(kāi)始興起，然而如何合理地設(shè)計(jì)智能加工系統(tǒng)的調(diào)度策略從而提高效率是自動(dòng)化系統(tǒng)的核心。如今，已有大量研究者致力于解決RGV的動(dòng)態(tài)調(diào)度策略。張桂琴等[1]設(shè)計(jì)了RGV的智能調(diào)度算法和避碰防撞算法，解決了2輛RGV的相向碰撞和同向追尾問(wèn)題;沈艷等[2]針對(duì)網(wǎng)絡(luò)控制系統(tǒng)中采樣周期時(shí)變不確定性對(duì)控制和運(yùn)行性能的影響，提出了基于反饋控制原理和預(yù)測(cè)機(jī)理的動(dòng)態(tài)調(diào)度策略;查振元等[3]著重分析了RGV的應(yīng)用。這些雖然給出了很多解決各種情況下的調(diào)度策略，但是沒(méi)有對(duì)實(shí)際加工情境進(jìn)行分析。因此本文主要以圖1所示的環(huán)形智能加工系統(tǒng)為例（RGV固定逆時(shí)針移動(dòng)），研究一道工序物料加工過(guò)程中，CNC有1%的概率發(fā)生故障的情形下環(huán)形智能加工系統(tǒng)在未知?jiǎng)討B(tài)環(huán)境下的最優(yōu)調(diào)度策略。

1 ?基于MDP理論的狀態(tài)轉(zhuǎn)移模型

1.1 狀態(tài)分析

本文將系統(tǒng)端視為觀察者，RGV視為決策者，以RGV執(zhí)行并完成任務(wù)所需時(shí)間為動(dòng)態(tài)優(yōu)先級(jí)，時(shí)間越短優(yōu)先級(jí)越高為決策依據(jù)，使RGV做出決策并執(zhí)行任務(wù)，從而使各CNC的運(yùn)轉(zhuǎn)狀態(tài)發(fā)生改變。并以RGV位于CNC1#和CNC2#正中間，所有CNC都處于空閑狀態(tài)為初始狀態(tài)，分別對(duì)物料、CNC及RGV的狀態(tài)進(jìn)行分析。

1.1.1 物料在t時(shí)刻的狀態(tài)信息

1.1.2 CNC在t時(shí)刻的狀態(tài)信息

由于在加工過(guò)程中，我們無(wú)法判斷CNC何時(shí)出現(xiàn)故障，因此對(duì)它設(shè)定隨機(jī)變量ε1，其范圍為0到對(duì)應(yīng)CNC加工一個(gè)物料所需時(shí)間，使CNC在加工過(guò)程中的某個(gè)時(shí)刻出現(xiàn)概率為1%的故障，無(wú)法正常加工。同理，由于故障排除時(shí)間在10～20分鐘內(nèi)，我們無(wú)法確定每次故障排除的準(zhǔn)確時(shí)間，因此再設(shè)定隨機(jī)變量ε2，其范圍為600s至1200s，使CNC發(fā)生故障后的10～20分鐘的某個(gè)時(shí)刻恢復(fù)正常運(yùn)轉(zhuǎn)狀態(tài)。

1.2 建立模型

1.2.1 動(dòng)態(tài)優(yōu)先級(jí)的構(gòu)建

為提高系統(tǒng)工作的效率，本文建立RGV執(zhí)行并完成任務(wù)所需時(shí)間T為其決策的動(dòng)態(tài)優(yōu)先級(jí)，RGV將在發(fā)出信號(hào)的CNC數(shù)量大于1時(shí)根據(jù)動(dòng)態(tài)優(yōu)先級(jí)進(jìn)行判斷，并做出決策，T越小，優(yōu)先級(jí)越高，任務(wù)越先被執(zhí)行。

1.2.2 狀態(tài)轉(zhuǎn)移模型

1.3 模型求解

1.3.1 模型的求解算法——MDP迭代尋優(yōu)算法

由于智能加工系統(tǒng)處于一個(gè)動(dòng)態(tài)變化的過(guò)程，因此每一次決策的任務(wù)分配都會(huì)影響到整個(gè)系統(tǒng)的總體效率，為了滿(mǎn)足加工系統(tǒng)動(dòng)態(tài)任務(wù)分配的快速性要求，根據(jù)MDP最優(yōu)策略的存在性判定定理[5]，我們所建立的基于MDP理論的狀態(tài)轉(zhuǎn)移模型一定存在最優(yōu)策略，可用數(shù)值迭代算法進(jìn)行求解。結(jié)合本文實(shí)際情況，我們?cè)跀?shù)值迭代算法的基礎(chǔ)上進(jìn)行優(yōu)化，設(shè)計(jì)了MDP迭代尋優(yōu)算法。此算法在迭代的過(guò)程中可計(jì)算出在可能發(fā)生故障的情況下，RGV每次分配任務(wù)后整個(gè)系統(tǒng)的狀態(tài)，最終求解出最優(yōu)動(dòng)態(tài)調(diào)度策略。

1.3.2 求解結(jié)果

考慮CNC可能會(huì)發(fā)生故障的情況，依據(jù)基于MDP理論的狀態(tài)轉(zhuǎn)移模型，結(jié)合MDP迭代尋優(yōu)算法，利用相關(guān)系統(tǒng)作業(yè)參數(shù)，我們通過(guò)MATLAB軟件，求解得到一道工序物料在有故障情形下RGV的最優(yōu)動(dòng)態(tài)調(diào)度策略。（表1）

1.3.3 敏感性分析

由于CNC發(fā)生故障情形中存在隨機(jī)變量，使得結(jié)果在每次算法的運(yùn)行后都不一樣，因此本節(jié)主要分析本文中基于MDP理論的狀態(tài)轉(zhuǎn)移模型的敏感性。又由于不同故障數(shù)對(duì)結(jié)果影響大致相同，故在此我們以第1組為例進(jìn)行具體分析。

給予清洗時(shí)間在[-1，1]范圍內(nèi)以0.1為間隔的誤差，運(yùn)用MATLAB軟件，將結(jié)果繪制成折線圖，從而更清晰得反映結(jié)果的變化，如圖2所示。

觀察圖2可以發(fā)現(xiàn)，參數(shù)的誤差對(duì)模型的結(jié)果有一定的影響，但是影響程度較小，即模型的敏感性較低，從而證明了基于MDP理論的狀態(tài)轉(zhuǎn)移模型具有較高的可靠性。

2 ?結(jié)論

對(duì)比智能加工系統(tǒng)實(shí)際應(yīng)用情況[3]，可以發(fā)現(xiàn)我們求解得到的結(jié)果具有一定的實(shí)際性和正確性，證明了建立的基于MDP理論的狀態(tài)轉(zhuǎn)移模型的實(shí)用性及MDP迭代尋優(yōu)算法的有效性。

本文的特色與創(chuàng)新點(diǎn)在于，巧妙地利用了MDP馬爾可夫周期性和連續(xù)性的性質(zhì)，并在此基礎(chǔ)上構(gòu)建動(dòng)態(tài)優(yōu)先級(jí)，建立狀態(tài)轉(zhuǎn)移模型，同時(shí)結(jié)合迭代尋優(yōu)算法對(duì)問(wèn)題進(jìn)行求解。

參考文獻(xiàn)：

[1]張桂琴，張仰森.直線往復(fù)式軌道自動(dòng)導(dǎo)引車(chē)智能調(diào)度算法[J].計(jì)算機(jī)工程，2009，35（15）：176-178，181.

[2]沈艷，郭兵.網(wǎng)絡(luò)控制系統(tǒng)變采樣周期智能動(dòng)態(tài)調(diào)度策略[J].四川大學(xué)學(xué)報(bào)（工程科學(xué)版），2010，42（01）：162-167.

[3]查振元，李計(jì)星，繩潤(rùn)濤，張豐華，李昌臣.智能平移軌道導(dǎo)引車(chē)的應(yīng)用[J].機(jī)器人技術(shù)與應(yīng)用，2017（05）：42-43.

[4]陳明，周云龍，劉晉飛，靳文瑞.基于MDP的多Agent生產(chǎn)線動(dòng)態(tài)調(diào)度策略[J].機(jī)電一體化，2017，23（11）：15-19，56.

[5]鄭少慧.一類(lèi)連續(xù)時(shí)間平均馬氏決策平穩(wěn)最優(yōu)策略的存在性[J].應(yīng)用數(shù)學(xué)學(xué)報(bào)，1989（02）：250-256.