基于復(fù)雜部件虛擬裝配的智能決策行為*

吳烽云 張坡 鄒湘軍 李承恩 李慧 曾澤欽

基于復(fù)雜部件虛擬裝配的智能決策行為*

吳烽云1張坡2鄒湘軍3李承恩3李慧3曾澤欽3

（1.中國科學(xué)院廣州能源研究所 2.廣東工貿(mào)職業(yè)技術(shù)學(xué)院計(jì)算機(jī)與信息工程學(xué)院 3.華南農(nóng)業(yè)大學(xué)工程學(xué)院）

以拖拉機(jī)變速箱為例，通過對復(fù)雜部件的裝配建模與行為仿真的描述分析，提出虛擬多智能體建模。將變速箱裝配系統(tǒng)定義為主智能體與子智能體的上下層及網(wǎng)絡(luò)關(guān)系，構(gòu)建主智能體網(wǎng)絡(luò)關(guān)系；設(shè)計(jì)裝配工藝作為行為規(guī)則的主要準(zhǔn)則；設(shè)置智能實(shí)體碰撞作為裝配的約束條件，構(gòu)造多智能體系統(tǒng)框架。應(yīng)用結(jié)果表明：該系統(tǒng)可用于人機(jī)交互、裝配行為決策，為設(shè)計(jì)與制造評估提供理論依據(jù)。

復(fù)雜農(nóng)機(jī)部件；虛擬裝配；決策行為；人工智能；建模

0 引言

虛擬設(shè)計(jì)與制造是人工智能在機(jī)械領(lǐng)域的應(yīng)用。在虛擬環(huán)境中，復(fù)雜系統(tǒng)的智能決策是模擬人類思維、智能與經(jīng)驗(yàn)的關(guān)鍵技術(shù)[1]。如何使虛擬環(huán)境下的復(fù)雜系統(tǒng)具有自主決策能力是人工智能、虛擬設(shè)計(jì)與制造的重要研究內(nèi)容[2-5]。為實(shí)時(shí)獲得目標(biāo)模型，國內(nèi)外學(xué)者利用人工智能、立體視覺[6]對目標(biāo)進(jìn)行跟蹤、三維重構(gòu)建模和三維反求建模[7-9]，這些建模理論為虛擬系統(tǒng)的行為決策提供了決策知識、模型與數(shù)據(jù)。

目前，我國大型農(nóng)機(jī)裝備關(guān)鍵設(shè)備的設(shè)計(jì)方法與理論比較落后。部分農(nóng)機(jī)企業(yè)為了保證機(jī)器優(yōu)化，仍采用傳統(tǒng)的方法進(jìn)行停產(chǎn)維護(hù)，降低了農(nóng)機(jī)企業(yè)產(chǎn)品的更新效率。大型農(nóng)機(jī)裝備企業(yè)希望可在虛擬環(huán)境下通過人工智能、專家系統(tǒng)實(shí)現(xiàn)自主決策。

國內(nèi)外學(xué)者利用人工智能對部件的虛擬裝配與仿真進(jìn)行大量研究[10-15]。德國Bader A , Gebert K[16]提出一種使用決策矩陣設(shè)計(jì)產(chǎn)品的方法，解決了裝配過程中產(chǎn)品設(shè)計(jì)的問題。郝建豹[17]介紹一種利用RobotStudio構(gòu)建機(jī)器人碼垛工作站的虛擬仿真方案，可實(shí)現(xiàn)機(jī)器人碼垛仿真。劉洪新[18]提出一種適用于物元標(biāo)識的人機(jī)交互平臺，可實(shí)現(xiàn)對裝配語義集的提取與分析，智能引導(dǎo)完成虛擬裝配。鄒湘軍[19-20]提出一種多Agent的建模方法用于復(fù)雜產(chǎn)品與虛擬實(shí)體的智能行為決策。大型農(nóng)機(jī)裝備虛擬設(shè)計(jì)與仿真是一個(gè)復(fù)雜系統(tǒng)[22]，其中虛擬布局[23]與裝配設(shè)計(jì)屬于離散性事件，在裝配設(shè)計(jì)中，多智能體決策[24]是其系統(tǒng)推理設(shè)計(jì)方法的一個(gè)重要領(lǐng)域，尤其是應(yīng)用在系統(tǒng)的行為決策與仿真方面，但由于其自身基于對象的方法有限，導(dǎo)致其應(yīng)用范圍減小。

本文采用基于多智能體的農(nóng)機(jī)變速箱建模方法和虛擬現(xiàn)實(shí)技術(shù)模擬變速箱裝配仿真，以此判斷裝配過程是否存在漏裝與錯(cuò)裝等。本文構(gòu)建農(nóng)機(jī)變速箱虛擬裝配系統(tǒng)多智能體建模總體構(gòu)架；并利用Unity 3D平臺開發(fā)農(nóng)機(jī)變速箱虛擬裝配系統(tǒng)，為企業(yè)農(nóng)機(jī)設(shè)計(jì)與評估提供有效工具。

1 多智能體裝配系統(tǒng)總體構(gòu)架

多智能體系統(tǒng)是多個(gè)智能實(shí)體Agent的集成，可協(xié)調(diào)一組自治的Agent行為，并以共同目標(biāo)或動(dòng)作來求解問題[19]。每個(gè)智能體可以有同一個(gè)目標(biāo)，也可以交叉作用于不同目標(biāo)。

多智能體系統(tǒng)的建模思路是將一個(gè)大系統(tǒng)分解成多個(gè)智能體及子智能體，這樣可簡化系統(tǒng)結(jié)構(gòu)，提高系統(tǒng)管理效率。

多智能體裝配系統(tǒng)包括1個(gè)主智能體和8個(gè)子智能體，構(gòu)架如圖1所示。

1）總控智能體：控制整個(gè)多智能體裝配系統(tǒng)，并通過數(shù)據(jù)通信向子智能體傳遞執(zhí)行指令。

2）零件智能體：包括軸智能體、齒輪智能體、軸承智能體和撥叉智能體等；每個(gè)零件智能體都包含零件名稱、幾何特征和裝配行為規(guī)則等信息。

圖1　多智能體裝配系統(tǒng)構(gòu)架

3）組件智能體：零件的父智能體；當(dāng)組件內(nèi)的零件都已完成裝配行為，零件智能體將轉(zhuǎn)換為組件智能體。

4）部件智能體：組件的父智能體；當(dāng)部件內(nèi)的組件都已完成裝配行為，組件智能體將轉(zhuǎn)換為部件智能體。

5）通訊智能體：整個(gè)裝配系統(tǒng)智能體之間進(jìn)行交流通訊的介質(zhì)。

6）裝配檢測智能體：檢測零件、組件是否處于裝配狀態(tài)。

7）碰撞檢測智能體：裝配時(shí)，檢測零件間是否引起碰撞干涉；是否按照裝配工藝規(guī)則進(jìn)行裝配。

8）虛擬場景智能體：用戶可在裝配界面自主選擇裝配場景，如燈光、布局、天空和地形等。

9）知識庫：存儲(chǔ)裝配工藝知識、零部件信息和幾何約束信息等。

2 主要智能體結(jié)構(gòu)

2.1 通訊智能體

通訊智能體可以將一個(gè)智能體的執(zhí)行指令傳遞到目標(biāo)智能體。如零件接收到裝配指令時(shí)，將觸發(fā)開始裝配命令函數(shù)：

if(message==gameObject.SendMessage(“StartAss-emble”))

gameObject.StartAssemble;

當(dāng)零件完成裝配后，可根據(jù)系統(tǒng)需要移去或刪除該命令函數(shù)：

Destroy(gameObject)。

2.2 零件智能體

多智能體裝配系統(tǒng)的每個(gè)待裝配對象均為一個(gè)單獨(dú)的智能體，可進(jìn)行自主決策，并與其他智能體傳遞命令。在知識庫中，零件智能體以多屬性參數(shù)的形式存儲(chǔ)。執(zhí)行裝配命令時(shí)，系統(tǒng)讀取所有待裝配零件的每一條屬性，零件屬性信息可表示為

Part={Name，Trigger，Collider，Material，Message，Behavior，Knowledge}；

其中，Name為零件名稱；Trigger為觸發(fā)器，碰撞檢測的開關(guān)；Collider為碰撞體模型；Material為零件材質(zhì)；Message為零件消息系統(tǒng)，負(fù)責(zé)消息的發(fā)出與接收；Behavior為零件狀態(tài)，主要有未裝配、裝配中和已裝配3種狀態(tài)；Knowledge為該零件與其他零件之間的裝配行為信息，是零件裝配的行為規(guī)則。

2.3 碰撞體智能體

拖拉機(jī)變速箱是一個(gè)復(fù)雜的農(nóng)機(jī)部件，裝配時(shí)需精確地安裝每一個(gè)配合面。本文拖拉機(jī)以變速箱的零件撥叉和嚙合套為例，采用MeshCollider組件構(gòu)建的碰撞體模型如圖2、圖3所示。

圖2　撥叉三維模型及碰撞體網(wǎng)格模型

圖3　嚙合套三維模型及碰撞體網(wǎng)格模型

嚙合套分為外側(cè)圓環(huán)組、內(nèi)齒組和內(nèi)側(cè)圓環(huán)組。撥叉分為上圓環(huán)組、半圓環(huán)組和肋板組。將零件的碰撞智能體用多個(gè)碰撞子智能體表示

Collider={Rings, Tooth, Cubes}；

其中，Rings為圓環(huán)組碰撞體，內(nèi)含圓環(huán)碰撞體的內(nèi)直徑、外直徑、寬度和圓環(huán)碰撞體數(shù)量；Tooth為齒碰撞體，內(nèi)含外齒碰撞體和內(nèi)齒碰撞體，包括齒數(shù)、模數(shù)、齒寬和齒碰撞體數(shù)量；Cubes為四邊體碰撞體，內(nèi)含長、寬、高等屬性。

在Unity 3D中，碰撞體以網(wǎng)格形式存在，其最小單元為三角面片。裝配過程中，碰撞檢測是對三角面片的位置檢測。

矢量判別型的Devillers算法[21]是通過一系列計(jì)算值符號來判定2個(gè)三角形的位置關(guān)系，繼而判別其相交情況的一類算法，其核心思想為：

設(shè)空間中4個(gè)點(diǎn)坐標(biāo)分別為(a,a,a), (b, b,b),(c,c,c), (d,d,d)，則有行列式

行列式的值表示點(diǎn)與，，組成平面的位置關(guān)系：等于0表示在，，組成的平面上；大于0表示在，，組成的平面上方；小于0表示在，，組成的平面下方。通過該公式，可對三角形的位置關(guān)系進(jìn)行判定，從而判斷碰撞體之間是否存在干涉。

3 復(fù)雜部件的虛擬裝配系統(tǒng)實(shí)現(xiàn)

3.1　變速箱模型構(gòu)建

本文以大型拖拉機(jī)1204型變速箱復(fù)雜部件為實(shí)驗(yàn)對象。1204型變速箱為24級變速，變速結(jié)構(gòu)為4×3×2，共有8快擋、8慢擋和8倒擋，換擋方式為嚙合套換擋。

虛擬裝配系統(tǒng)模型采用Solidworks 2016進(jìn)行三維建模，模型格式為stl。采用自主開發(fā)的CAD格式轉(zhuǎn)換軟件將stl格式模型轉(zhuǎn)換為Unity 3D可識別的obj格式。變速箱內(nèi)副變速中間軸、輸入軸、撥叉及撥叉擋、二擋主動(dòng)齒輪等部分模型如圖4所示。

圖4　變速箱模型

3.2　裝配系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

大型拖拉機(jī)1204型變速箱的裝配系統(tǒng)樹狀圖如圖5所示，其中根節(jié)點(diǎn)為變速箱部件裝配體；中間節(jié)點(diǎn)包括輸入軸組件、副變速中間軸組件、中間軸組件、輸出軸組件和變速箱體組件；葉節(jié)點(diǎn)為每個(gè)組件所包含的零件。

圖5　大型拖拉機(jī)1204型變速箱的裝配系統(tǒng)樹狀圖

大型拖拉機(jī)1204型變速箱虛擬裝配系統(tǒng)的執(zhí)行流程如圖6所示。

圖6　虛擬裝配流程圖

本系統(tǒng)基于Unity 3D開發(fā)，具有人機(jī)交互與裝配功能。以裝配工藝為行為規(guī)則判斷是否裝配正確。通過碰撞檢測算法，自動(dòng)檢測零件裝配是否合格。如果被裝配零件配合尺寸過大或者選錯(cuò)零件引起碰撞干涉，系統(tǒng)將預(yù)警。

以撥叉及撥叉軸的裝配為例，介紹虛擬裝配系統(tǒng)的具體操作。

選擇撥叉基準(zhǔn)面和撥叉軸裝配基準(zhǔn)面，使撥叉移動(dòng)到撥叉軸對應(yīng)裝配基準(zhǔn)面上，如圖7所示；完成裝配，如圖8所示。

圖7　撥叉及撥叉軸待裝配界面

圖8　撥叉及撥叉軸裝配完成界面

4　結(jié)論

本文以多智能體理論為基礎(chǔ)，提出基于多智能體的虛擬裝配系統(tǒng)建模方法，將變速箱中每個(gè)零件命名為一個(gè)智能體，與虛擬仿真軟件Unity 3D結(jié)合，開發(fā)一套具有智能決策能力的虛擬裝配系統(tǒng)，可實(shí)現(xiàn)虛擬裝配、碰撞檢測和智能決策等。應(yīng)用結(jié)果表明：此系統(tǒng)具有實(shí)用性、可操作性，為企業(yè)培訓(xùn)提供了良好的操作平臺。為提高裝配真實(shí)度，本系統(tǒng)還添加了車間工作環(huán)境場景，給用戶提供沉浸度更高的操作體驗(yàn)。

[1] 鄒湘軍,孫健,何漢武,等.虛擬現(xiàn)實(shí)技術(shù)的演變發(fā)展與展望[J].系統(tǒng)仿真學(xué)報(bào),2004,16(9):1905-1909.

[2] Zou Xiangjun, Zou Haixin, Lu Jun. Virtual manipulator-based binocular stereo vision positioning system and errors modelling[J]. Machine Vision and Applications, 2012, 23(1):43-63.

[3] 鄒湘軍,羅錫文,盧俊,等.虛擬環(huán)境下農(nóng)業(yè)移動(dòng)機(jī)器人行為及其仿真建模[J].系統(tǒng)仿真學(xué)報(bào),2006.18(S2):551-553,562.

[4] Zou Xiangjun, Ye Min, Luo Chengyu, et al. Fault-tolerant design of a limited universal fruit-picking end-effector based on visoin positioning error[J]. Applied Engineering in Agriculture,2016, 32(1):5-18.

[5] 羅陸鋒,鄒湘軍,盧清華,等.采摘機(jī)器人作業(yè)行為虛擬仿真與樣機(jī)試驗(yàn)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2018,49(5):34-42.

[6] 程佳兵,鄒湘軍,林桂潮,等.基于AdaBoost算法的級聯(lián)分類器對綠色荔枝的快速檢測方法[J].自動(dòng)化與信息工程,2018, 39(5):38-44.

[7] Chen Mingyou, Tang Yunchao, Zou Xiangjun, et al. High-accuracy multi-camera reconstruction enhanced by adaptive point cloud correction algorithm[J].Optics and Lasers in Engineering, 2019(122)170-183.

[8] Tang Yunchao, Li Lijuan, Wang Chenglin, et al. Real-time detection of surface deformation and strain in recycled aggregate concrete-filled steel tubular columns via four-ocular vision[J]. Robotics and Computer-Integrated Manufacturing, 2019,59: 36-46.

[9] Tang Yunchao, Li Lijuan, Feng Wenxian, et al. Binocular vision measurement and its application in deformation and strain measurement of concrete-filled steel tubular columns[J]. Measurement, 2018,30: 372-383.

[10] 陳燕,曾澤欽,王杰,等.收獲機(jī)虛擬環(huán)境模型與仿真平臺構(gòu)建[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2019,50(7):159-166.

[11] 張清華,閆清東,姚壽文,等.傳動(dòng)裝置裝配關(guān)系動(dòng)態(tài)建立方法研究[J].系統(tǒng)仿真學(xué)報(bào),2016,28(9):2109-2117.

[12] 宋晨,劉惠義.一種多Agent的情境裝配模型[J].計(jì)算機(jī)集成制造系統(tǒng), 2016,22(5):1205-1210.

[13] 劉宏新,賈儒,郭麗峰,等.數(shù)字模型全息標(biāo)識體系與輔助標(biāo)識方法研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2018,49(9):414-426.

[14] 鮑勁松,李志強(qiáng),項(xiàng)前,等.半實(shí)物虛擬裝配的建模、演化與應(yīng)用[J].機(jī)械工程學(xué)報(bào),2018,54(11):61-69.

[15] 馮志全,梁麗偉,徐濤,等.虛擬裝配交互界面中的隱式交互算法研究[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2017,29(10): 1952-1962.

[16] Bader A, Gebert K, Hogreve S, et al. Derivativeproductssupporting product development and design for assembly[J]. Procedia Manufacturing, 2018, 19:143-147.

[17] 郝建豹,許煥彬,林炯南.基于RobotStudio的機(jī)器人碼垛工作站虛擬仿真設(shè)計(jì)[J].自動(dòng)化與信息工程,2017,38(2):26-29.

[18] 劉宏新,賈儒,周興宇,等.基于物元標(biāo)識的人機(jī)交互式機(jī)械排種器虛擬裝配[J].農(nóng)業(yè)工程學(xué)報(bào),2016,32(1):38-45.

[19] 鄒湘軍,孫健,何漢武.灌裝生產(chǎn)線虛擬環(huán)境的多Agent建模研究[J].系統(tǒng)仿真學(xué)報(bào),2004,16(4):757-759,774.

[20] 鄒湘軍,孫健,何漢武,等.虛擬環(huán)境中多Agent決策的沖突證據(jù)合成研究[J].系統(tǒng)仿真學(xué)報(bào),2006,18(4):1010-1014.

[21] 鄧峻生,毛世峰,劉旭峰,等.基于AABB樹的聚變堆形變部件碰撞檢測算法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2018,27(11):161-167.

[22] 劉宏新,王登宇,郭麗峰,等.先進(jìn)設(shè)計(jì)技術(shù)在農(nóng)業(yè)裝備研究中的應(yīng)用分析[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2019,50(7):1-18.

[23] 王志斌,劉檢華,劉佳順,等.電纜虛擬布線中的物理特性分析與布局設(shè)計(jì)技術(shù)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2014,26(7):1193-1202.

[24] Ye Yingjun, Zhang Xiaohui, Sun Jian. Automated vehicle's behavior decision making using deep reinforcement learning and high-fidelity simulation environment[J]. Transportation Research Part C,2019,107(10): 155-170.

Intelligent Decision Behavior Based on Virtual Assembly of Complex Components

Wu Fengyun1Zhang Po2Zou Xiangjun3Li Chengen3Li Hui3Zeng Zeqin3

(1. Guangzhou Institute of Energy Conversion, Chinese Academy of Sciences 2. College of Computer and Information Engineering, Guangdong Polytechnic of Industry and Commerce 3. College of Engineering, South China Agricultural University)

Artificial intelligence is an important theory of intelligent decision making in virtual design. Based on the description of the assembly modeling and behavioral simulation of complex components, the virtual multi-agent modeling is proposed by taking the agricultural gearbox as an example. The gearbox assembly system is defined as the upper and lower layers of the main agent and the sub-agent and its network relationship, the main agent network relationship is constructed, the assembly process is designed as the main criterion of the behavior rule, and the collision of the intelligent entity is set as the assembly constraint. This paper constructs a multi-agent system framework. The results show that the intelligent decision of the system can be used in human-computer interaction and assembly behavior decision-making, which provides a theoretical basis for design and manufacturing evaluation.

Complex Agricultural Machinery Components; Virtual Assembly; Decision-Making Behavior; Artificial Intelligence; Modeling

國家重點(diǎn)研發(fā)計(jì)劃（2017YFD0700103）；廣東省科技項(xiàng)目（2017A030222005）。

吳烽云，女，1988年生，碩士研究生，主要研究方向：人工智能及智能決策。

張坡（通信作者），男，1992年生，講師，主要研究方向：虛擬現(xiàn)實(shí)、智能化設(shè)計(jì)。E-mail:1101700433@qq.com

鄒湘軍（通信作者），女，1957年生，教授，博士生導(dǎo)師，主要研究方向：虛擬現(xiàn)實(shí)、農(nóng)業(yè)機(jī)器人與機(jī)器視覺。E-mail: xjzou1@163.com

李承恩，男，1996年生，碩士研究生，主要研究方向：虛擬現(xiàn)實(shí)、虛擬裝配。

李慧，女，1995年生，碩士研究生，主要研究方向：虛擬現(xiàn)實(shí)、智能化設(shè)計(jì)。

曾澤欽，男，1994年生，碩士研究生，主要研究方向：虛擬現(xiàn)實(shí)。