張文沛 崔鵬浩 李洋 延爽

摘要：預測性維護決策旨在提高維護效率的同時，降低維護停機對生產(chǎn)的影響。預測性維護根據(jù)設備的實際健康狀態(tài)進行維護決策，能有效避免過度維護造成的浪費和維護不及時造成的設備隨機故障。然而類似于設備故障停機，預測性維護需要關閉設備進行維護作業(yè)。如果維護時機選擇不當，維護過程會引起生產(chǎn)線的饑餓和阻塞，造成生產(chǎn)損失。因此，預測性維護不僅需要關注設備自身的維護需求，還需要與實際生產(chǎn)進行聯(lián)動。以考慮機器狀態(tài)劣化的航空產(chǎn)品流水線為研究對象，在流水線產(chǎn)出損失分析的基礎上，研究流水線預測性維護決策問題。首先，針對缺料停機、設備故障等擾動停機事件和預測性維護事件，分析停機事件對流水線產(chǎn)出的影響，量化造成的流水線產(chǎn)出損失。其次，考慮流水線產(chǎn)出損失和維護成本構建獎勵函數(shù)，建立基于馬爾可夫決策過程的流水線預測性維護決策模型，結合深度Q網(wǎng)絡算法求解模型獲得優(yōu)化決策方案。最后，通過仿真試驗對比其他三種維護方法，驗證了所提出決策模型的有效性。

關鍵詞：預測性維護；流水線；決策優(yōu)化；馬爾可夫決策過程；深度Q網(wǎng)絡

中圖分類號：V37文獻標識碼：ADOI：10.19452/j.issn1007-5453.2022.05.008

航空制造業(yè)作為高端制造業(yè)的代表，體現(xiàn)了國家制造業(yè)的整體實力。隨著我國航空制造業(yè)的大力發(fā)展，裝備的智能化水平和復雜程度顯著提升，傳統(tǒng)的維護作業(yè)模式和技術實施手段無法充分發(fā)揮智能生產(chǎn)系統(tǒng)帶來的信息和互聯(lián)優(yōu)勢，越來越難以滿足航空制造流水線的生產(chǎn)和維護決策新需求[1]。

預測性維護基于機器健康狀態(tài)信息進行維護決策[2]。區(qū)別于傳統(tǒng)的定周期預防性維護模式，預測性維護通過連續(xù)的設備狀態(tài)監(jiān)測，按需實施設備停機維護，減少了定周期維護可能造成的過度維護和維護不及時問題，提高了航空生產(chǎn)線維護決策的適應性、即時性和有效性。雖然預測性維護可以提高設備的可靠性，在一個較長的時間段內有效減少停機故障引起的生產(chǎn)損失，但是維護時常需要將設備關閉，不僅會影響機器自身的產(chǎn)出，還會因為引起上游機器阻塞和下游機器饑餓，在短期內降低航空生產(chǎn)線性能[3]。因此，預測性維護需要平衡維護工作帶來的長期性能提升以及短期性能劣化。

目前，針對航空生產(chǎn)系統(tǒng)的預測性維護決策研究多集中在單機維護決策層面，維護方案過多關注設備本身。Gandhi等[4]利用數(shù)據(jù)挖掘技術產(chǎn)生的量化結果支持生產(chǎn)設備的維護決策，通過數(shù)據(jù)挖掘中的分類方法實現(xiàn)特征分裂值或構件測量頻率等估計，用于評估代表設備健康狀況的特征，以此支持生產(chǎn)設備的預測維護操作。Neves等[5]針對系統(tǒng)劣化的生產(chǎn)線維護決策問題，基于隱馬爾可夫模型理論將優(yōu)化模型與參數(shù)估計模型相結合，提出基于狀態(tài)的維修策略。Florian等[6]針對同時考慮維護成本與投資成本的單個組件維修問題，提出了一種基于機器學習的預測維修方法，與傳統(tǒng)的決策閾值優(yōu)化方法相比，該方法的維護費用最小。Lu等[7]針對單級多狀態(tài)系統(tǒng)，以產(chǎn)品質量為指標構建了設備的剩余壽命預測模型，并提出了一種基于部件功能重要性的預測維護決策方法。趙洪利等[8]針對航空發(fā)動機退化建模和剩余使用壽命預測，提出了基于融合數(shù)據(jù)建模方法的后期剩余使用壽命預測方法。徐釗等[9]提出了基于遺傳算法-支持向量機的航電模塊故障分類方法，并通過仿真試驗驗證了方法的有效性。

在多機生產(chǎn)線預測維修方面，當前研究相對較少。Borrero等[10]提出了一種針對多階段串行生產(chǎn)系統(tǒng)的預測維修控制策略，該策略利用全局目標模型進行機器級維修決策，利用維修時間窗方法進行系統(tǒng)級決策。Neto等[11]針對串并聯(lián)生產(chǎn)系統(tǒng)建立了維修優(yōu)化模型，用間隔檢測方法確定設備狀態(tài)，并以此為依據(jù)選擇系統(tǒng)維修方式。曲昌琦等[12]提出了一套具有航空裝備特色的故障預測與健康管理數(shù)據(jù)體系架構，完善故障預測與健康管理不同數(shù)據(jù)要素之間的邏輯關系。崔鵬浩等[13]針對考慮機器劣化過程的多機流水線，以生產(chǎn)線性能評估為基礎，提出了基于深度強化學習的流水線預測性維護決策方法。綜上所述，現(xiàn)有預測性維護決策研究大多針對小規(guī)模航空生產(chǎn)系統(tǒng)，多關注設備自身，缺少與生產(chǎn)線性能研究的深度融合，忽略了維護造成的停機事件對生產(chǎn)系統(tǒng)運作效率的影響，因而難以實現(xiàn)維護決策與生產(chǎn)效率的耦合優(yōu)化。

本文面向動態(tài)環(huán)境下的航空制造流水線維護需求，研究將數(shù)據(jù)驅動的生產(chǎn)線性能分析模型與預測性維護決策模型相結合，在滿足維護需求的前提下保障產(chǎn)能最優(yōu)。首先建立數(shù)據(jù)驅動的產(chǎn)能分析模型，揭示停機事件對生產(chǎn)過程影響的運作機理，利用生產(chǎn)信息量化對缺料停機、設備故障等擾動停機事件和預測性維護事件對流水線產(chǎn)出損失的影響。而后結合馬爾可夫決策過程建立預測性維護決策模型，綜合優(yōu)化流水線產(chǎn)出損失、維護成本。本研究揭示了流水線高效產(chǎn)出的運作機理，豐富了航空流水生產(chǎn)線維護決策手段，對提升生產(chǎn)效率、降低運維費用具有重要的支撐作用和研究應用價值，研究成果可應用在航空發(fā)動機零部件生產(chǎn)線、航空儀表等機載裝備生產(chǎn)線等航空制造流水線上。

1航空制造流水線定義與假設

每臺機器均是有多個離散狀態(tài)的不可靠機器。在不進行任何維護的情況下，機器的運行狀態(tài)會不斷劣化，最終處于故障狀態(tài)且無法自行恢復。流水線生產(chǎn)過程考慮兩種維護方式，分別是預測性維護和事后維護。預測性維護指在機器故障之前提前采取維護措施，將機器恢復到更健康的運行狀態(tài)；事后維護指在機器發(fā)生故障停機后，再采取維護措施將其恢復到運行狀態(tài)。在每一時刻，需要對系統(tǒng)內所有機器進行決策是否執(zhí)行預測性維護或事后維護。

4.1.2結果分析

在試驗過程中，暖機時長為50天，運行時長為1000天。為了驗證預測性維護決策方法的有效性，本文將所提方法與事后維護、定期維修和基于狀態(tài)的維修決策等方法進行比較。

（1）事后維護方法只有機器發(fā)生故障處于故障狀態(tài)時，才會對其進行維修。對于本試驗而言，只有機器Ml，1≤l≤10處于狀態(tài)al= 3時，才會使用事后維護。

（2）定期維護方法基于時間的維修決策，根據(jù)經(jīng)驗等來確定合理的維修時間間隔對機器進行維護。對于本試驗而言，本文使用模擬仿真來確定每臺機器的最優(yōu)維護時間間隔，從而獲得定期維修方法下的最低系統(tǒng)運行成本。

（3）基于狀態(tài)的維護決策方法根據(jù)狀態(tài)檢測技術判斷機器所處的狀態(tài)，基于此確定是否對正常機器進行維護。若機器發(fā)生故障，則執(zhí)行事后維護。對于本試驗而言，本文使用模擬仿真來確定每臺機器需要維護時的機器狀態(tài)，從而獲得基于狀態(tài)的維護決策方法下的最低系統(tǒng)運行成本。

試驗結果顯示，所提預測性維護決策方法在流水線產(chǎn)出損失成本、維修成本等方面均優(yōu)于其他策略。以事后維護方法為基線，定期維護方法將流水線產(chǎn)出損失降低了3.04%，維修成本降低了1.17%；基于狀態(tài)的維護決策方法將流水線產(chǎn)出損失降低了6.08%，維修成本降低了8.62%；所提預測性維護決策方法流水線產(chǎn)出損失降低了10.40%，維修成本降低了26.14%，4種維護決策方法的執(zhí)行效果見表13。為了分析預測性維護決策方法所得結果的特點，隨機選擇250個工作周期的時間段，分析該時間段內流水線的產(chǎn)出損失和加工機器維護決策變化情況，具體如圖3所示。

結果表明，所提預測性維護決策方法能夠有效地把握維護時機，在降低流水線生產(chǎn)損失的同時提高系統(tǒng)維護效率。具體分析結果如下：（1）最后一臺最慢的機器M7是最少進行預測性維護的機器。這是因為機器M7的停機會直接造成流水線產(chǎn)出損失。（2）預測性維護更頻繁地作用在距離機器M7最遠的機器M1上。這是因為只有機器與機器M7之間的緩沖區(qū)全為空時，機器M1才會造成流水線產(chǎn)出損失。因此，預測性維護作用在機器M1上造成流水線產(chǎn)出損失的風險最低。（3）所有加工機器傾向于同時執(zhí)行維護活動。當機器Ml，1≤l≤10進行停機維護時，可以同時對其他加工機器進行維護。此時，對其他機器進行預測性維護不會造成額外的生產(chǎn)損失。

4.2成本參數(shù)的敏感性分析

為分析產(chǎn)出損失成本、事后維護成本、預測性維護成本等成本參數(shù)的變化對所提維護方法的影響，本文生成150條具有不同成本參數(shù)的流水線，機器與緩沖區(qū)參數(shù)、機器的轉移概率等參數(shù)不變，成本參數(shù)的取值范圍見表14。

在執(zhí)行4種維護策略的情況下，暖機時長為50天，運行時長為1000天。對于每條生產(chǎn)線，統(tǒng)計4種維護策略情形下流水線產(chǎn)出損失、維修成本和總成本等指標。在此基礎上，計算這150條流水線的流水線產(chǎn)出損失、維修成本和總成本等指標的平均值，具體結果見表15。

試驗結果表明，以事后維護方法為基線，定期維護方法將流水線產(chǎn)出損失平均降低了1.90%，維修成本平均降低了1.86%，總成本平均降低了1.90%；基于狀態(tài)的維護決策方法將流水線產(chǎn)出損失平均降低了5.37%，維修成本平均降低了3.59%，總成本平均降低了4.78%；所提預測性維護決策方法流水線產(chǎn)出損失平均降低了18.16%，維修成本降低平均了13.40%，總成本平均降低了10.37%。

5結束語

本文面向動態(tài)環(huán)境下的航空制造流水線維護需求，以考慮機器狀態(tài)劣化的流水線為對象，以生產(chǎn)線性能評估為基礎，將數(shù)據(jù)驅動的生產(chǎn)線性能分析模型與預測性維護決策模型相結合。首先，分析停機事件對流水線產(chǎn)出的影響，提出流水線產(chǎn)出損失量化與歸因方法。其次，考慮流水線產(chǎn)出損失和維護成本，建立基于馬爾可夫決策過程的流水線預測性維護決策模型，利用深度Q網(wǎng)絡算法求解模型，提出流水線預測性維護決策方法。最后，通過仿真試驗，驗證了所提出決策模型的有效性。

本文所提出的流水線預測性維護決策方法能夠捕捉維護時機降低維護成本，提升流水線的產(chǎn)出。研究成果可應用在航空發(fā)動機零部件生產(chǎn)線、航空儀表等機載裝備生產(chǎn)線等航空制造流水線上。本文的研究對象為流水生產(chǎn)線，未來將拓展到脈動裝配生產(chǎn)線和考慮產(chǎn)品質量缺陷事件的生產(chǎn)線，進一步研究航空制造系統(tǒng)的智能維護決策問題。

參考文獻

[1]王海峰.戰(zhàn)斗機故障預測與健康管理技術應用的思考[J].航空科學技術， 2020， 31（7）： 3-11. Wang Haifeng. Research on application of prognostics and health management technology for fighter aircraft[J]. Aeronautical Science & Technology， 2020， 31（7）： 3-11. （in Chinese）

[2]Raza A，Ulansky V. Modelling of predictive maintenance for a periodically inspected system[J]. Procedia CIRP，2017，59：95-101.

[3]Li Y，Tang Q，Chang Q，et al. An event-based analysis of condition-based maintenance decision-making in multistage production systems[J]. International Journal of Production Research，2017，55（16）：4753-4764.

[4]Gandhi K，Schmidt B，Ng A H C. Towards data mining based decision support in manufacturing maintenance[J]. Procedia CIRP，2018，72：261-265.

[5]Neves M L，Santiago L P，Maia C A. A condition-based maintenance policy and input parameters estimation for deteriorating systems under periodic inspection[J]. Computers& Industrial Engineering，2011，61（3）：503-511.

[6]Florian E，Sgarbossa F，Zennaro I. Machine learning-based predictive maintenance：a cost-oriented model for implementation[J]. International Journal of Production Economics，2021，21：108114.

[7]Lu B，Chen Z，Zhao X. Data-driven dynamic predictive maintenance for a manufacturing system with quality deterioration and online sensors[J]. Reliability Engineering & System Safety，2021，212：107628.

[8]趙洪利，鄭涅.基于融合數(shù)據(jù)和維納建模發(fā)動機余壽預測[J].航空科學技術，2021，32（5）：23-30. Zhao Hongli， Zheng Nie. Engine RUL prediction based on the combination of fusing data and wiener modeling[J]. Aeronautical Science & Technology， 2021， 32（5）： 23-30. （in Chinese）

[9]徐釗，張一童，潘震，等.基于遺傳算法：支持向量機的航電模塊故障分類研究[J].航空科學技術， 2021， 32（10）： 80-86. Xu Zhao， Zhang Yitong， Pan Zhen， et al. Avionics module fault classification based on genetic algorithm-support vector machine[J]. Aeronautical Science & Technology， 2021， 32（10）： 80-86. （in Chinese）

[10]Borrero J S，Akhavan-Tabatabaei R. Time and inventory dependent optimal maintenance policies for single machine workstations：an MDP approach[J]. European Journal of Operational Research，2013，228（3）：545-555.

[11]Neto R F T，Godinho Filho M. An ant colony optimization approach to a permutational flowshop scheduling problem with outsourcing allowed[J]. Computers & Operations Research，2011，38（9）：1286-1293.

[12]曲昌琦，周銳，杜寶，等.航空裝備故障預測與健康管理的數(shù)據(jù)體系研究[J].航空科學技術，2020，31（12）： 61-67. Qu Changqi， Zhou Rui， Du Bao， et al. Research on PHM data system architecture for aviation equipment[J]. Aeronautical Science & Technology， 2020， 31（12）： 61-67. （in Chinese）

[13]崔鵬浩，王軍強，張文沛，等.基于深度強化學習的流水線預測性維護決策優(yōu)化[J].計算機集成制造系統(tǒng)， 2021（9）： 1-19. Cui Penghao， Wang Junqiang， Zhang Wenpei， et al. Optimizing predictive maintenance decision for serial production lines based on deep reinforcement learning[J]. Computer Integrated Manufacturing Systems， 2021（9）： 1-19. （in Chinese）

[14]Colledani M，Gershwin S B. A decomposition method for approximate evaluation of continuous flow multi-stage lines with general Markovian machines[J]. Annals of Operations Research，2013，209（1）：5-40.

[15]茍藝星，王軍強，李洋.事件驅動的流水線建模與質檢機器配置優(yōu)化[J].計算機集成制造系統(tǒng)， 2021， 27（2）： 487-500. Gou Yixing， Wang Junqiang， Li Yang. Event-based modeling of serial production lines and optimal allocation of quality inspection machines[J]. Computer Integrated Manufacturing Systems， 2021，27（2）： 487-500. （in Chinese）

[16]劉全，翟建偉，章宗長，等.深度強化學習綜述[J].計算機學報， 2018， 41（1）： 1-27. Liu Quan， Zhai Jianwei， Zhang Zongzhang， et al. A survey on deep reinforcement learning[J]. Chinese Journal of Computers， 2018， 41（1）： 1-27. （in Chinese）

[17]Aggarwal C C. Neural networks and deep learning[M]. Berlin：Springer，2018.

Event-Based Predictive Maintence Decision-Making of Aerospace Manufacturing Systems

Zhang Wenpei，Cui Penghao，Li Yang，Yan Shuang Northwestern Polytechnical University，Xi’an 710072，China

Abstract： In production lines， predictive maintenance is adopted to improve the maintenance efficiency while achieving a desirable throughput. Predictive maintenance makes maintenance decisions based on the status of equipment， which is important to reduce the waste resulted from excessive maintenance and the unexpected equipment breakdown. However， it is not uncommon that machines need to be shut down for maintenance. Similar to random machine failure， predictive maintenance can cause significant production loss if it is not planned appropriately. Therefore， this paper proposes a predictive maintenance decision-making model for a serial production line based on a thorough understanding of production dynamics. Firstly， the impact of disruption events and maintenance events are evaluated in terms of the permanent production loss. Then， a Markov decision process model is established for predictive maintenance decision making. The model considers the penalty cost by permanent production loss and the maintenance cost. Deep Q network is adopted to exploit the optimal maintenance policies. Lastly， case studies are performed to validate the effectiveness of the proposed predictive maintenance decision-making model by comparing with other three maintenance decision-making models.

Key Words：predictive maintenance；serial production line；decision-making optimization；Markovdecision process； deep Q network