張旋武 謝 磊 初秀民 ，4▲ 謝 朔 柳晨光 張代勇

（1.武漢理工大學(xué)智能交通系統(tǒng)研究中心 武漢 430063；2.武漢理工大學(xué)國家水運(yùn)安全工程技術(shù)研究中心 武漢 430063；3.武漢理工大學(xué)能源與動(dòng)力工程學(xué)院 武漢 430063；4.閩江學(xué)院物理學(xué)與電子信息工程系 福州 350108）

0 引 言

路徑跟隨控制是無人船（unmanned surface vehicle,USV）運(yùn)動(dòng)控制的基礎(chǔ)問題。路徑跟隨控制是指在不考慮時(shí)間維度的情況下，控制USV按照設(shè)定軌跡航行。USV在航行過程中受到風(fēng)、浪、流的干擾，以及運(yùn)動(dòng)模型不確定的（包括船速、載重等因素變化）影響，導(dǎo)致實(shí)際控制效果與預(yù)期不一致，增加了USV路徑跟隨控制的難度。因此，USV路徑跟隨控制中的關(guān)鍵問題之一是如何補(bǔ)償風(fēng)浪流造成的不可測隨機(jī)干擾，減小其對控制系統(tǒng)的影響；另一關(guān)鍵是無人船運(yùn)動(dòng)模型由于船速、載重和航行水深等變化導(dǎo)致操縱性變化，及模型不確定問題，使得USV控制性能變差，同時(shí)由于USV運(yùn)動(dòng)固有的時(shí)延性和大慣性特點(diǎn)，增加了提升USV路徑跟隨控制精度和實(shí)時(shí)性的難度[1-2]。

目前，針對無人船路徑跟隨控制問題，國內(nèi)外已經(jīng)積累了大量的控制方法，如自適應(yīng)比例-積分-微分（proportion integration differentiation,PID）、最優(yōu)控制、滑?？刂?、反饋線性化、反步法以及智能控制等方法，并取得了較好的控制效果。最優(yōu)控制、反饋線性化以及反步法通常需要建立精確模型才能獲得較高的控制精度，而USV運(yùn)動(dòng)模型復(fù)雜，難以精確建模?；？刂茖δＰ途纫蟛桓?，但其抖振問題難以消除。自適應(yīng)PID控制通過估計(jì)系統(tǒng)輸出，實(shí)現(xiàn)PID參數(shù)自整定，但由于模型不確定性和外界擾動(dòng)，估計(jì)系統(tǒng)的輸出與真實(shí)輸出存在偏差，控制精度依賴于自適應(yīng)控制方法和估計(jì)系統(tǒng)輸出的精度。

筆者將對各類控制器在無人船路徑跟隨控制中的應(yīng)用做簡要概述，并針對風(fēng)、浪、流對無人船運(yùn)動(dòng)控制的干擾，以及模型不確定問題，分析這些控制器的解決效果。最后對無人船路徑跟隨控制方可能的發(fā)展方向進(jìn)行展望。

1 路徑跟隨控制方法

USV路徑跟隨控制首先確定控制目標(biāo)期望值，主要運(yùn)用幾何跟蹤方法和基于運(yùn)動(dòng)模型的跟蹤方法。幾何跟蹤方法包括視距導(dǎo)航（line of sight,LOS）、純追蹤算法和固定方位制導(dǎo)等，將路徑跟隨控制問題轉(zhuǎn)化為航向跟蹤問題。基于模型的跟蹤方法包括模型預(yù)測控制（model predictive control,MPC）和滑?？刂频?，根據(jù)運(yùn)動(dòng)模型直接構(gòu)造計(jì)劃航跡的期望舵令。

USV路徑跟隨控制中還需要獲取控制對象的狀態(tài)參數(shù)，包括系統(tǒng)狀態(tài)和干擾。主要獲取方式有卡爾曼濾波觀測器和滑模觀測器等，以及將干擾當(dāng)作一種狀態(tài)參數(shù)的擴(kuò)張狀態(tài)觀測器（extended state observer，ESO）。文獻(xiàn)[3]對觀測器作了較詳細(xì)的介紹。

在控制器設(shè)計(jì)中，主要基于PID、滑模變結(jié)構(gòu)、反步法以及最優(yōu)控制理論設(shè)計(jì)控制器，實(shí)現(xiàn)航向或路徑點(diǎn)的跟蹤。

USV路徑跟隨控制問題，需要同時(shí)考慮導(dǎo)航、觀測和控制器3個(gè)部分。導(dǎo)航確定控制目標(biāo)期望值，觀測確定控制目標(biāo)狀態(tài)值，控制器確定控制指令輸出值[4]。為提高USV路徑跟隨控制的精度、穩(wěn)定性和實(shí)時(shí)性，國內(nèi)外學(xué)者綜合上述3個(gè)部分，提出了控制方法，積累了大量的研究成果。筆者將分析幾種主要的控制算法對模型不確定性和風(fēng)浪流干擾問題的處理方法。

1.1 基于PID控制

作為較早應(yīng)用于USV路徑跟隨控制的算法，PID控制器結(jié)構(gòu)簡單、經(jīng)濟(jì)性好且有較高的控制精度。但當(dāng)存在風(fēng)、浪、流等外界干擾時(shí)，PID控制器的應(yīng)變能力不足、控制穩(wěn)定性下降。設(shè)計(jì)PID參數(shù)自整定的自適應(yīng)控制器能有效提高PID抗干擾能力。目前主要有2類方式用于處理風(fēng)、浪、流干擾以及模型不確定問題。①通過建立包含不確定項(xiàng)和干擾項(xiàng)的船舶航向誤差控制系統(tǒng)的狀態(tài)方程，設(shè)計(jì)魯棒PID控制率，此類算法依賴于建立精確的系統(tǒng)模型。②充分利用人工智能算法在復(fù)雜非線性系統(tǒng)領(lǐng)域的優(yōu)勢，提出了許多高效的智能PID控制算法。文獻(xiàn)[5]利用遺傳算法（genetic algorithm，GA）的全局尋優(yōu)能力在線整定PID參數(shù)，實(shí)現(xiàn)自適應(yīng)PID控制。此控制器存在參數(shù)尋優(yōu)時(shí)間長的問題，在實(shí)船中應(yīng)用的實(shí)時(shí)性難以保證。通過設(shè)計(jì)尋優(yōu)過程中的交叉和變異算子，可以縮短尋優(yōu)過程，提高算法實(shí)時(shí)性[6]。PID與模糊邏輯結(jié)合的自適應(yīng)控制器[7-8]，由于響應(yīng)速度快，實(shí)時(shí)性好，在船舶控制領(lǐng)域得到了廣泛應(yīng)用。該控制器的控制精度主要取決于模糊規(guī)則庫，而模糊規(guī)則庫一般基于專家知識(shí)和動(dòng)力學(xué)模型建立，過于復(fù)雜的模糊規(guī)則庫將導(dǎo)致計(jì)算復(fù)雜。文獻(xiàn)[9]根據(jù)路徑點(diǎn)誤差、航向誤差及誤差微分建立模糊規(guī)則庫，提高了控制平滑性。除此之外，RBF神經(jīng)網(wǎng)絡(luò)也常用于擬合內(nèi)外擾動(dòng)對PID參數(shù)的影響[9]。

自適應(yīng)PID控制器通常具有良好的實(shí)時(shí)性，且易于工程實(shí)現(xiàn)?，F(xiàn)階段，主要是將PID與模糊控制、神經(jīng)網(wǎng)絡(luò)等其他理論結(jié)合，實(shí)現(xiàn)對PID參數(shù)的自適應(yīng)整定。自適應(yīng)PID在跟蹤期望航向過程中，動(dòng)態(tài)調(diào)整PID參數(shù)，能顯著提高控制算法的動(dòng)態(tài)響應(yīng)性。但自適應(yīng)PID在提高動(dòng)態(tài)響應(yīng)性時(shí)，還需要充分考慮船舶執(zhí)行機(jī)構(gòu)的機(jī)械特性以及控制平滑性，避免出現(xiàn)舵令突變、超調(diào)過大等現(xiàn)象。如根據(jù)船舶狀態(tài)求解最優(yōu)PID參數(shù)過程中加入了超調(diào)懲罰項(xiàng)，根據(jù)機(jī)械特性限制舵機(jī)角度及轉(zhuǎn)角速度等，可以使得控制舵令更加平滑，符合實(shí)際工程應(yīng)用。

自適應(yīng)PID同時(shí)也在一定程度上提高了控制算法的抗干擾能力，主要方法可分為2類：①根據(jù)無人船航行數(shù)據(jù)通過神經(jīng)網(wǎng)絡(luò)等手段辨識(shí)模型不確定項(xiàng)和未知擾動(dòng)項(xiàng)，并在控制率設(shè)計(jì)中進(jìn)行補(bǔ)償；②在未知干擾和不確定性項(xiàng)未知情況下，根據(jù)經(jīng)驗(yàn)建立模糊規(guī)則庫，或采用李雅普諾夫直接法等直接設(shè)計(jì)控制率，提高控制器魯棒性。因此，精確辨識(shí)或擬合模型不確定項(xiàng)和未知干擾項(xiàng)，以及設(shè)計(jì)良好的自適應(yīng)控制率是提高自適應(yīng)PID控制器抗干擾能力的關(guān)鍵。

1.2 基于最優(yōu)控制

無人船路徑跟蹤問題可以轉(zhuǎn)化為最優(yōu)控制問題，運(yùn)用線性二次高斯（linear quadratic Gaussian,LQG）問題求解方式進(jìn)行求解，或運(yùn)用模型預(yù)測理論求解最優(yōu)解。

文獻(xiàn)[11]基于船舶與目標(biāo)軌跡的位置關(guān)系，采用線性二次規(guī)劃方法（linear quadratic regulation,LQR），實(shí)現(xiàn)路徑跟蹤的最優(yōu)控制。LQR控制過程中，需要ESO進(jìn)行狀態(tài)估計(jì)和補(bǔ)償，提高船舶對外界擾動(dòng)和量測噪聲的魯棒性。研究表明，LQR控制方法直航或低速跟蹤簡單曲線的跟蹤任務(wù)中，有較好的跟蹤效果，但在高速航行以及跟蹤復(fù)雜路徑任務(wù)中，跟蹤精度難以保證。

因此，引入模型預(yù)測控制器（model predictive control,MPC），基于模型預(yù)測步長中的最優(yōu)控制指令。MPC控制器模型中加入已知干擾（風(fēng)速、流速等）項(xiàng)，在約束條件中加入舵機(jī)的飽和特性等，能有效提高控制的平滑性和抗干擾能力。文獻(xiàn)[13]采用λ-LS-SVM在線辨識(shí)方法和補(bǔ)償擴(kuò)張狀態(tài)觀測器，提高了MPC對船舶模型不確定性和外界干擾問題的魯棒性。

文獻(xiàn)[12]結(jié)合LQR和MPC，采用分層控制思想，見圖1。外層采用MPC，內(nèi)層采用LQR。LQR的誤差輸入由MPC模型給出的最優(yōu)狀態(tài)x*與系統(tǒng)估計(jì)輸出x_hat得到，輸出為補(bǔ)償控制量ui，MPC控制器輸入為期望和系統(tǒng)估計(jì)輸出x_hat，輸出為控制量u*。圖1中，u表示MPC解算的控制量，x表示模型輸出狀態(tài)。內(nèi)層采用較大的采樣和控制頻率，實(shí)現(xiàn)對外界干擾以及模型不確定性等引起的跟蹤誤差的快速響應(yīng)，當(dāng)MPC所建模型準(zhǔn)確描述船舶模型和外界干擾時(shí)，內(nèi)層LQR輸出為0。

圖1 MPC與LQR結(jié)合的分層控制器Fig.1 A hierarchical controller combining MPC and LQR

最優(yōu)控制中MPC控制器通常能獲得比LQR更優(yōu)的控制性能，而MPC控制器本質(zhì)是求解二次規(guī)劃問題，模型精度、約束的維度與控制器性能直接相關(guān)。基于非線性模型設(shè)計(jì)的MPC控制器計(jì)算復(fù)雜，實(shí)時(shí)性難以保證；而線性MPC控制器在風(fēng)浪流干擾下的跟蹤精度不足。因此，一方面可以考慮尋求更優(yōu)的二次規(guī)劃求解方法，如利用神經(jīng)網(wǎng)絡(luò)的并行計(jì)算能力，即采用動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)擬合船舶模型，并引入懲罰項(xiàng)，將帶約束問題轉(zhuǎn)化為無約束問題，提高非線性MPC求解速度。另一方面可以根據(jù)無人船實(shí)際航行任務(wù)，有機(jī)結(jié)合線性MPC和非線性MPC控制器的優(yōu)點(diǎn)，同時(shí)保證實(shí)時(shí)性和控制精度，提高工程應(yīng)用價(jià)值。

1.3 滑?？刂?/h3>

滑?？刂破饕话惆ɑＣ娴脑O(shè)計(jì)和趨近率的設(shè)計(jì)，其中滑動(dòng)模態(tài)的設(shè)計(jì)與對象參數(shù)及擾動(dòng)無關(guān)，因此對USV運(yùn)動(dòng)模型精度要求低、響應(yīng)快速且對參數(shù)變化及外界擾動(dòng)具有魯棒性，但實(shí)際系統(tǒng)是在滑模面左右來回穿越，且在相鄰滑模面之間切換時(shí)可能存在不平滑問題，因而會(huì)產(chǎn)生抖振[14]。

將預(yù)測估計(jì)值與實(shí)際值的誤差作為模糊邏輯的輸入，修正滑?？刂破骺刂茀?shù)[10]，或利用RBF神經(jīng)網(wǎng)絡(luò)擬合船舶模型的不確定項(xiàng)[15]，可以削弱因系統(tǒng)不確定性引起的抖振。外界擾動(dòng)引起的抖振問題，可以通過ESO補(bǔ)償擾動(dòng)來消除[16]，同時(shí)引入指數(shù)趨近率或全程積分滑模等方法可以消除穩(wěn)態(tài)誤差，確保系統(tǒng)魯棒性。

文獻(xiàn)[17]在滑?？刂浦幸胱钥箶_控制理論，通過線性擴(kuò)張觀測器對系統(tǒng)內(nèi)外擾動(dòng)進(jìn)行在線估計(jì)和實(shí)時(shí)補(bǔ)償，有效提高了系統(tǒng)魯棒性。但自抗擾控制理論的引入增加了需要整定的參數(shù)數(shù)量。采用徑向基神經(jīng)網(wǎng)絡(luò)逼近模型中有界非線性的不確定項(xiàng)和外界擾動(dòng)項(xiàng)，可以減少系統(tǒng)待定參數(shù)數(shù)量，降低計(jì)算負(fù)擔(dān)[18]。

文獻(xiàn)[19]針對高頻波浪干擾，在滑模面中引入自適應(yīng)因子用于獲取穩(wěn)定的期望艏向，并基于時(shí)變閾值規(guī)則收斂率設(shè)計(jì)滑?？刂破鞲櫰谕枷?，提高了算法收斂速度和穩(wěn)定性。

滑?？刂浦型ㄟ^設(shè)計(jì)適當(dāng)?shù)幕Ｚ吔誓芴岣呖刂破鞯膭?dòng)態(tài)響應(yīng)速度，針對滑模控制中抖振問題，通過辨識(shí)模型不確定項(xiàng)和擾動(dòng)項(xiàng)，或引入自抗擾理論補(bǔ)償控制，均可以削弱控制器的抖振現(xiàn)象，但在一定范圍內(nèi)仍存在振蕩，且一定程度上犧牲了滑?？刂圃O(shè)計(jì)簡單，實(shí)時(shí)性好，易于實(shí)現(xiàn)的優(yōu)點(diǎn)?？紤]到USV路徑跟隨控制中滑?？刂埔鸲墩竦母驹蚴秋L(fēng)浪流等隨機(jī)干擾、模型不確定以及控制時(shí)延性，在滑模面設(shè)計(jì)中引入1個(gè)有界時(shí)變變量和1個(gè)定值時(shí)延未知量，將能有效削弱抖振；此外，采用高階滑?？刂?，如超螺旋（super-twisting）滑模控制，也能有效解決抖振問題，同時(shí)結(jié)合自適應(yīng)理論，可以抑制隨機(jī)干擾等導(dǎo)致的抖振。

1.4 反饋線性化

應(yīng)用反饋線性化實(shí)現(xiàn)USV路徑跟隨控制，可以簡化路徑跟隨控制問題[20]。但線性化處理將導(dǎo)致系統(tǒng)誤差，降低控制精度。與其他算法類似，可以結(jié)合魯棒控制[21]以及ESO在線估計(jì)誤差的方法提高控制性能。另外，重定義輸出變量[22]、利用RBF構(gòu)建模糊系統(tǒng)逼近非線性部分以及結(jié)合反步法設(shè)計(jì)反饋線性化控制器[23]等方法，也可以優(yōu)化反饋線性化控制器性能。

在USV運(yùn)動(dòng)控制中，反饋線性化將系統(tǒng)轉(zhuǎn)化為線性系統(tǒng)，從而可以應(yīng)用線性控制理論解決問題，在小角度轉(zhuǎn)舵，即非線性較低的場景下有較好的控制性能。但反饋線性化的控制率設(shè)計(jì)存在一定難度，且會(huì)加大系統(tǒng)誤差，在大角度轉(zhuǎn)舵等非線性場景下，無法滿足控制精度需求，一般需結(jié)合其他算法優(yōu)化控制，如采取對非線性項(xiàng)的逼近以及對擾動(dòng)的觀測和補(bǔ)償?shù)确椒ā?/p>

1.5 反步法

反步法受運(yùn)動(dòng)模型影響較大，要得到較好的控制性能和魯棒性，必須建立精確的模型。因此提高反步法在USV路徑跟隨控制中的抗干擾能力，可以通過ESO補(bǔ)償模型不確定項(xiàng)和干擾項(xiàng)等方式實(shí)現(xiàn)。文獻(xiàn)[24]基于簡化模型和精確模型分別設(shè)計(jì)了三級和四級反步控制率，并采用遺傳算法動(dòng)態(tài)整定控制器參數(shù)，提高了控制器魯棒性，并證明了基于精確模型設(shè)計(jì)的控制器具有更優(yōu)的控制性能，但也具有更大的計(jì)算量，不利于工程實(shí)現(xiàn)。文獻(xiàn)[25]采用動(dòng)態(tài)滑模理論設(shè)計(jì)反步控制率的子系統(tǒng)，利用神經(jīng)網(wǎng)絡(luò)的逼近模型不確定項(xiàng)和外界擾動(dòng)的方式，減少了反步法計(jì)算量大的問題。在其他控制領(lǐng)域針對不確定性和高低頻干擾問題，還提出了一些基于反步法的改進(jìn)方法，如模型中引入誤差的積分飽和項(xiàng)和指令濾波器等，可以簡化控制器設(shè)計(jì)過程。

基于反步法設(shè)計(jì)的控制器能保證控制系統(tǒng)全局漸進(jìn)穩(wěn)定，采用多級反步控制率能提高控制器的魯棒性，但隨之產(chǎn)生的中間虛擬控制量增多，微分計(jì)算增多問題，進(jìn)一步加大了算法計(jì)算量。因此考慮從2個(gè)方面改進(jìn)：①針對簡化模型建立ESO觀測器或采用其他方式擬合擾動(dòng)和不確定項(xiàng)，提高模型精確性；②結(jié)合滑模理論、濾波器等簡化反步法的設(shè)計(jì)和計(jì)算。

1.6 智能控制

人工智能方法在長期研究中，發(fā)展出了許多優(yōu)秀的算法，在處理非線性復(fù)雜系統(tǒng)問題上具有獨(dú)特優(yōu)勢。模糊邏輯控制將專家知識(shí)轉(zhuǎn)化為模糊規(guī)則，可以有效應(yīng)對模型不確定性和隨機(jī)干擾對USV的路徑跟隨控制的影響，在實(shí)際應(yīng)用中，多用于對PID、滑?？刂破鞯人惴ǖ膮?shù)整定。GA具有穩(wěn)定的全局尋優(yōu)能力，也經(jīng)常用于各類USV路徑控制器的參數(shù)整定。徑向基神經(jīng)網(wǎng)絡(luò)可以逼近USV模型不確定項(xiàng)和外界干擾項(xiàng)，提高控制器的抗干擾能力和魯棒性。

近年來，機(jī)器學(xué)習(xí)理論迅速發(fā)展，強(qiáng)化學(xué)習(xí)等被大量應(yīng)用在控制領(lǐng)域，在船舶控制領(lǐng)域，也已有少量研究。 文獻(xiàn)[26]在滑?？刂破髦胁捎蒙窠?jīng)網(wǎng)絡(luò)實(shí)現(xiàn)控制器參數(shù)整定，并引入強(qiáng)化學(xué)習(xí)理論，評價(jià)神經(jīng)網(wǎng)絡(luò)的整定效果，實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)參數(shù)自學(xué)習(xí)。文獻(xiàn)[27]將Q-Learning用于PID參數(shù)整定，通過實(shí)驗(yàn)證明此控制器能有效抵御外界擾動(dòng)，實(shí)現(xiàn)移動(dòng)機(jī)器人的運(yùn)動(dòng)控制。幾年前，Deepmind開辟了強(qiáng)化學(xué)習(xí)在連續(xù)控制領(lǐng)域的應(yīng)用理論[28]，強(qiáng)化學(xué)習(xí)開始被用于根據(jù)狀態(tài)直接輸出連續(xù)控制量，且在無人車自動(dòng)巡航問題中已有相關(guān)應(yīng)用[29]。

強(qiáng)化學(xué)習(xí)理論不需要建立精確的數(shù)學(xué)模型，在未知環(huán)境中具有自學(xué)習(xí)能力，且具有一定的通用性[28]，因此在解決USV中的模型不確定性和未知干擾等問題上，有較大的研究價(jià)值。但強(qiáng)化學(xué)習(xí)存在2個(gè)問題：①樣本效率低；②長期信用分配和獎(jiǎng)勵(lì)稀疏問題。因此強(qiáng)化學(xué)習(xí)需要較長時(shí)間的訓(xùn)練，才能具備較好的控制效果，而在USV路徑跟隨控制中試錯(cuò)成本高，難以獲取大量學(xué)習(xí)樣本；而且考慮到USV的時(shí)延性，相鄰序列的狀態(tài)區(qū)別較小，容易導(dǎo)致學(xué)習(xí)過程中梯度消失的問題。控制過程中，為保證同時(shí)保證狀態(tài)-動(dòng)作對的獎(jiǎng)勵(lì)的合理性，同時(shí)需要滿足控制舵令的合理性以及控制平滑性，導(dǎo)致獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)難度大幅上升，而獎(jiǎng)勵(lì)函數(shù)的合理性將直接影響強(qiáng)化學(xué)習(xí)控制器的效果。

智能控制在USV路徑跟隨控制中的應(yīng)用，通常結(jié)合傳統(tǒng)控制方法，辨識(shí)或擬合控制參數(shù)以及未知干擾項(xiàng)，提高控制器的自適應(yīng)能力和控制精度，但其穩(wěn)定性難以保證。除此之外，基于智能控制方法實(shí)現(xiàn)的USV路徑跟隨的控制效果，沒有表現(xiàn)出突出的控制性能，且難以獲取足夠的經(jīng)驗(yàn)數(shù)據(jù)用于學(xué)習(xí)。先通過仿真獲取仿真數(shù)據(jù)，使控制器具有較好的性能，再通過實(shí)船試驗(yàn)獲取真實(shí)數(shù)據(jù)，在線優(yōu)化控制器可以較好的解決此問題。為滿足更多的功能需求，路徑跟隨控制涉及的零部件及子系統(tǒng)日趨智能化，復(fù)雜化，導(dǎo)致系統(tǒng)中難建模部分增加，系統(tǒng)不確定性增加，可能出現(xiàn)傳統(tǒng)控制方法無法解決的問題，此時(shí)，應(yīng)用智能控制算法，建立不斷學(xué)習(xí)的知識(shí)庫，可以縮小由于對系統(tǒng)模型認(rèn)知不足導(dǎo)致的控制誤差，增強(qiáng)系統(tǒng)魯棒性。因此，加強(qiáng)基于強(qiáng)化學(xué)習(xí)等智能控制的方法研究具有長遠(yuǎn)意義。

2 無人船路徑跟隨控制發(fā)展

針對USV路徑跟隨控制中模型不確定性和風(fēng)浪流干擾問題以及幾種常用控制方法，現(xiàn)有解決方法這些解決方法可歸納為以下3類：①在控制器導(dǎo)航部分引入自適應(yīng)控制理論，使得控制器在外界干擾下，仍能獲得穩(wěn)定的期望艏向；②通過擴(kuò)張狀態(tài)觀測器、神經(jīng)網(wǎng)絡(luò)以及最小二乘法等理論實(shí)時(shí)估計(jì)系統(tǒng)模型不確定項(xiàng)和干擾項(xiàng)；③結(jié)合2種或多種控制方法，充分利用各自的優(yōu)勢，獲得更優(yōu)的控制效果。

單一的控制器在USV路徑跟隨控制中，難以有效應(yīng)對模型不確定和風(fēng)浪流干擾對系統(tǒng)的影響，通常需結(jié)合多種控制理論達(dá)到更好的控制效果。而其中多數(shù)方法需要建立精確數(shù)學(xué)模型來獲得更優(yōu)的控制效果，同時(shí)又勢必增加計(jì)算量，加大工程應(yīng)用難度。其中，基于PID理論的控制器，由于不需要建立復(fù)雜數(shù)學(xué)模型，設(shè)計(jì)簡單，結(jié)合模糊邏輯整定PID參數(shù)，為工程應(yīng)用中實(shí)現(xiàn)USV路徑跟隨控制的提供了較好的選擇。而對于另一類無模型控制，即強(qiáng)化學(xué)習(xí)控制器，設(shè)計(jì)合理的獎(jiǎng)勵(lì)函數(shù)則是獲得更優(yōu)控制器性能的關(guān)鍵。

基于此，提出無人船路徑跟隨控制的4種發(fā)展思路。

1）當(dāng)USV在干擾下艏搖頻率大于某一閾值ωmax時(shí)，由于USV舵機(jī)等相關(guān)機(jī)械設(shè)備的機(jī)械特性，USV將難以通過轉(zhuǎn)舵穩(wěn)定在期望航向，只能通過對路徑跟隨過程中的偏航進(jìn)行補(bǔ)償實(shí)現(xiàn)控制。因此，對外界干擾進(jìn)行分類，將干擾分為已知干擾、未知干擾，將未知干擾分為高頻干擾和低頻干擾，分別建立風(fēng)浪流的主頻干擾模型；然后通過最小二乘法，以及最小二乘支持向量機(jī)等辨識(shí)方法辨識(shí)干擾模型的主頻率，根據(jù)ωmax實(shí)現(xiàn)低通濾波，和對高頻分量的補(bǔ)償，最終達(dá)到路徑跟隨控制，同時(shí)減少由于高頻干擾的無效轉(zhuǎn)舵。

2）優(yōu)化模糊邏輯控制器的結(jié)構(gòu)和參數(shù)，包括隸屬度函數(shù)和模糊規(guī)則。采用分層結(jié)構(gòu)，減少規(guī)則庫大小，增加對輸入的敏感度，同時(shí)，優(yōu)化模糊邏輯控制器結(jié)構(gòu)和參數(shù)，可以有效降低去模糊化的復(fù)雜度，進(jìn)一步提高其工程應(yīng)用價(jià)值，見圖2。例如，模糊邏輯與PID控制器結(jié)合，將一段時(shí)間序列的控制誤差作為模糊推理機(jī)F1的輸入；將主機(jī)轉(zhuǎn)速、USV航速、轉(zhuǎn)艏速度、轉(zhuǎn)艏加速度以及水流速度作為F2的輸入，F(xiàn)2輸出USV航行狀態(tài)，即推理USV處于轉(zhuǎn)向航速下降或水流影響導(dǎo)致的轉(zhuǎn)速變化狀態(tài)；將風(fēng)浪流干擾模型主頻率作為F3的輸入，輸出干擾狀態(tài)，即推理控制補(bǔ)償量；F4根據(jù)航行狀態(tài)修正控制補(bǔ)償量；F5根據(jù)控制誤差以及修正后的控制補(bǔ)償量輸出PID參數(shù)。文獻(xiàn)[30]對模糊邏輯結(jié)合和參數(shù)的優(yōu)化做了詳細(xì)的分析。

圖2 分層模糊邏輯控制器Fig.2 structures of hierarchical fuzzy systems

3）結(jié)合多種控制方法的優(yōu)勢，分層設(shè)計(jì)控制器。如前文最優(yōu)控制中所述MPC與LQG結(jié)合的分層控制，同時(shí)提高控制器控制精度和響應(yīng)快速性。

4）強(qiáng)化學(xué)習(xí)等智能控制方法也將是解決USV路徑跟隨問題的一個(gè)重要研究方向。將PID與強(qiáng)化學(xué)習(xí)結(jié)合，充分發(fā)揮強(qiáng)化學(xué)習(xí)處理模型不確定性和風(fēng)浪流干擾影響下的控制問題的優(yōu)勢，實(shí)現(xiàn)自適應(yīng)PID控制，如采用Q-learning、深度確定性策略（deep deterministic policy gradient,DDPG）整定PID參數(shù){Kp,Ki,Kd}，見圖3。圖3中，e(t)表示t時(shí)刻的航向誤差，u(t)表示t時(shí)刻控制器輸出的控制舵令，St表示t時(shí)刻USV的狀態(tài)。在控制器設(shè)計(jì)中應(yīng)考慮USV的時(shí)延性，采用多步時(shí)序差分求解梯度，避免小步長內(nèi)船舶狀態(tài)變化較小，梯度消失的問題；在獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)中充分考慮控制平滑性問題，加入不合理舵令的懲罰項(xiàng)，可以減少無效舵令。

圖3 基于DDPG的自適應(yīng)PID控制器Fig.3 adaptive PID controller based on DDPG

另外，在強(qiáng)化學(xué)習(xí)初期中引入PID或MPC控制監(jiān)督策略訓(xùn)練，減少訓(xùn)練時(shí)間，或者基于Dyna2結(jié)構(gòu)等結(jié)合有模型和無模型強(qiáng)化學(xué)習(xí)，實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)在USV上的工程應(yīng)用。首先在環(huán)境干擾下設(shè)計(jì)線性MPC控制器，同時(shí)采用深層神經(jīng)網(wǎng)絡(luò)擬合該控制器，該網(wǎng)絡(luò)即為有模型強(qiáng)化學(xué)習(xí)中所依據(jù)的模型，根據(jù)Dyna2結(jié)構(gòu)結(jié)合有模型和無模型強(qiáng)化學(xué)習(xí)，將價(jià)值函數(shù)分為永久性記憶和瞬時(shí)記憶，永久性記憶利用與真實(shí)環(huán)境的交互經(jīng)驗(yàn)來更新，瞬時(shí)記憶利用與模型的模擬交互來更新。

3 結(jié)束語

筆者對近年幾種主要的USV路徑跟隨控制方法分別進(jìn)行了分析，提出了各方法可能的發(fā)展方向，并分析了強(qiáng)化學(xué)習(xí)等智能控制方法在該問題上的應(yīng)用前景，其中基于PID和模糊邏輯的控制方法設(shè)計(jì)簡單，經(jīng)濟(jì)性好，工程應(yīng)用廣泛；隨著工控機(jī)等的計(jì)算能力逐漸提高，非線性MPC的計(jì)算需求得到滿足，工程應(yīng)用價(jià)值也將逐步提升；在應(yīng)對路徑跟隨控制系統(tǒng)日益智能化、復(fù)雜化的問題上強(qiáng)化學(xué)習(xí)等智能控制具有明顯優(yōu)勢?；谏鲜龇治觯岢隽薝SV路徑跟隨控制幾種可能的發(fā)展方向，為相關(guān)研究提供參考。