基于卷積神經(jīng)網(wǎng)絡(luò)的手術(shù)機(jī)器人控制系統(tǒng)設(shè)計(jì)

嚴(yán) 南，溫愛(ài)紅，王 瓊

(成都理工大學(xué) 工程技術(shù)學(xué)院，四川 樂(lè)山 614007)

0 引言

當(dāng)今一個(gè)國(guó)家的發(fā)展水平高低，在很大程度上取決于該國(guó)的醫(yī)療水平，人們對(duì)醫(yī)療質(zhì)量的要求也隨著社會(huì)生產(chǎn)力的發(fā)展和人民生活水平的提高變得越來(lái)越高[1]。在當(dāng)前環(huán)境下，國(guó)際機(jī)器人領(lǐng)域的一個(gè)研究熱點(diǎn)為醫(yī)療機(jī)器人技術(shù)，它作為一種新型的交叉研究領(lǐng)域，集醫(yī)學(xué)、機(jī)器人學(xué)、機(jī)械學(xué)、生物力學(xué)、計(jì)算機(jī)技術(shù)等諸多學(xué)科為一體[2]。先進(jìn)機(jī)器人技術(shù)已經(jīng)在很多方面得到了非常廣泛的應(yīng)用，包括醫(yī)療方面的手術(shù)規(guī)劃模擬、微損傷方面的精確定位操作、無(wú)損傷方面的診斷與檢測(cè)、新型手術(shù)醫(yī)學(xué)方面的治療方法等。手術(shù)機(jī)器人的系統(tǒng)實(shí)時(shí)性和安全可靠性有著非常高標(biāo)準(zhǔn)的要求，主要原因是因?yàn)槭中g(shù)機(jī)器人的工作環(huán)境非常復(fù)雜并且需要和患者進(jìn)行親密接觸[3]。

醫(yī)療機(jī)器人主要的工作是輔助醫(yī)生來(lái)完成一些特殊、復(fù)雜、難操作的手術(shù)，因?yàn)樗旧砭哂卸ㄎ粶?zhǔn)確、運(yùn)行穩(wěn)定、結(jié)構(gòu)靈活、工作范圍大、不怕輻射、易于消毒等優(yōu)點(diǎn)[4]。機(jī)器人的使用在很大程度上提高了手術(shù)質(zhì)量與安全性，因?yàn)榻Y(jié)合醫(yī)生豐富的手術(shù)經(jīng)驗(yàn)和機(jī)器人穩(wěn)定、靈活等以上操作優(yōu)點(diǎn)，可以有效緩解醫(yī)生由于手術(shù)疲勞等導(dǎo)致的手部抖動(dòng)等危險(xiǎn)因素。如今，工業(yè)機(jī)器人要靠提前建立好的實(shí)際物體來(lái)進(jìn)行模型的抓取，然后將其整理為數(shù)據(jù)庫(kù)，但是建立準(zhǔn)確的數(shù)學(xué)模型對(duì)于機(jī)器人在非結(jié)構(gòu)化的環(huán)境中進(jìn)行手術(shù)是很難實(shí)現(xiàn)的。通過(guò)結(jié)合機(jī)器人和手術(shù)技術(shù)，人類醫(yī)學(xué)文明的發(fā)展在一定程度上起到了推進(jìn)的作用，由于有了微創(chuàng)機(jī)器人，通過(guò)該類機(jī)器人的使用,傳統(tǒng)的微創(chuàng)手術(shù)變得更加安全可靠，病人的術(shù)后痛苦和負(fù)擔(dān)也隨著得到了大幅度的減少。為了在不斷移動(dòng)的手術(shù)過(guò)程中，可以高效掌控器械的移動(dòng)，一種基于卷積神經(jīng)網(wǎng)絡(luò)的手術(shù)機(jī)器人控制系統(tǒng)設(shè)計(jì)需要被設(shè)計(jì)提出。

1 基于卷積神經(jīng)網(wǎng)絡(luò)手術(shù)機(jī)器人控制系統(tǒng)總體設(shè)計(jì)

手術(shù)機(jī)器人卷積層的輸入，末端執(zhí)行器同相關(guān)目標(biāo)位置的圖像都要求作為輸入內(nèi)容輸入到每個(gè)控制時(shí)刻里面,以確保機(jī)械爪手術(shù)的安全性[5]。為了獲得執(zhí)行器與目標(biāo)之間的相對(duì)位置，需要調(diào)整網(wǎng)絡(luò)權(quán)重與偏置，該調(diào)整是依靠卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的圖像處理能力并在在策略搜索算法的監(jiān)督下完成[6]。在搭建卷積神經(jīng)網(wǎng)絡(luò)策略時(shí)，神經(jīng)網(wǎng)絡(luò)連接層輸入關(guān)節(jié)角和角速度可以避免由于無(wú)法通過(guò)圖像實(shí)時(shí)獲取機(jī)械臂的各關(guān)節(jié)信息所帶來(lái)的危害?；诰矸e神經(jīng)網(wǎng)絡(luò)的手術(shù)機(jī)器人控制原理如圖1所示。

為了使在構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)視覺(jué)層時(shí)圖像特征與機(jī)械臂關(guān)節(jié)狀態(tài)的數(shù)值相近，需要把圖像特征的維度做降低處理，也要縮放其數(shù)值，那么就要在處理好所輸入的圖像后，在視覺(jué)層的最后加入一層全連接層，以確?？梢约皶r(shí)重組圖像中的特征[7-9]。將視覺(jué)層所輸出的圖像和關(guān)節(jié)的狀態(tài)信息輸入到兩層全連接層中,接著將策略搜索的控制器進(jìn)行對(duì)擬,電機(jī)的控制層同樣由以上兩部分組成，該時(shí)刻的關(guān)機(jī)控制量由卷積神經(jīng)網(wǎng)絡(luò)輸出[10-11]。

組織層、協(xié)調(diào)層、執(zhí)行層是結(jié)合手術(shù)機(jī)器功能要求和特性構(gòu)成了機(jī)器人系統(tǒng)的三部分，組織層是由圖像處理卡、上位機(jī)組成的，負(fù)責(zé)處理用戶界面和任務(wù)規(guī)劃；協(xié)調(diào)層是由采集卡、處理卡組成的，負(fù)責(zé)相應(yīng)數(shù)據(jù)采集與希特調(diào)；執(zhí)行層是由執(zhí)行設(shè)備組成的，各個(gè)運(yùn)動(dòng)關(guān)節(jié)驅(qū)動(dòng)是該層所執(zhí)行的任務(wù)[12]。三者之間的關(guān)系如圖2所示。

圖2 控制系統(tǒng)總體結(jié)構(gòu)示意圖

機(jī)器人視覺(jué)系統(tǒng)是由雙目視覺(jué)和圖像處理卡組成，而雙目視覺(jué)是由兩個(gè)CCD組成；機(jī)器人的觸覺(jué)系統(tǒng)由力、位移傳感器和數(shù)碼盤(pán)等組成;機(jī)器人的每個(gè)關(guān)節(jié)由電機(jī)控制和驅(qū)動(dòng)器卡、驅(qū)動(dòng)器等部分組成[13]。

2 系統(tǒng)硬件結(jié)構(gòu)設(shè)計(jì)

手術(shù)機(jī)器人控制系統(tǒng)整體框架如圖3所示。

圖3 手術(shù)機(jī)器人控制系統(tǒng)整體框架

患者病痛部位的攝像工作由CT或MRI影像設(shè)備完成并展現(xiàn)給所對(duì)應(yīng)的手術(shù)醫(yī)師，患者的二維或者三維影像模型是在計(jì)算機(jī)輔助導(dǎo)航系統(tǒng)構(gòu)建出來(lái)的。系統(tǒng)配套硬件不僅可以幫助醫(yī)師判斷并標(biāo)注出患者的病灶點(diǎn)，還可以幫助醫(yī)生在該模型上規(guī)劃設(shè)計(jì)出合理的手術(shù)路線以及進(jìn)行手術(shù)進(jìn)程的模擬。負(fù)責(zé)機(jī)器人末端工具的定位，可以反饋給系統(tǒng)實(shí)時(shí)信息，控制機(jī)器人運(yùn)動(dòng)是系統(tǒng)設(shè)計(jì)的重點(diǎn)[14-15]。

2.1 CAN適配卡

上位機(jī)的PC機(jī)PCI插槽上直接內(nèi)插凌華公司的CAN適配卡，內(nèi)存地址和硬件中斷號(hào)作為標(biāo)準(zhǔn)內(nèi)存直接由計(jì)算機(jī)自動(dòng)分配。C++編寫(xiě)的Lib庫(kù)和DLL庫(kù)是適配卡的驅(qū)動(dòng)程序提供的，用戶想要進(jìn)行上位機(jī)用戶界面的編程，需要調(diào)用驅(qū)動(dòng)程序提供的函數(shù)，這時(shí)只要把頭文件包含進(jìn)來(lái)即可[16]。

下位機(jī)由3個(gè)節(jié)點(diǎn)組成，其中的一個(gè)節(jié)點(diǎn)負(fù)責(zé)采集、處理及分析傳感器信號(hào)，接著把經(jīng)過(guò)處理的信號(hào)進(jìn)行量程轉(zhuǎn)換,再進(jìn)行越限判斷，最后把相應(yīng)的標(biāo)志傳輸?shù)娇刂七\(yùn)動(dòng)的節(jié)點(diǎn)上。為使機(jī)器人運(yùn)動(dòng)到相應(yīng)的位置和姿態(tài)，就需要另外兩個(gè)節(jié)點(diǎn)，這兩個(gè)節(jié)點(diǎn)主要控制機(jī)器人的關(guān)節(jié)驅(qū)動(dòng)。即使在系統(tǒng)運(yùn)行期間網(wǎng)絡(luò)或主機(jī)發(fā)生故障，也能確保機(jī)器人不會(huì)失控，因?yàn)橄到y(tǒng)其他節(jié)點(diǎn)都能夠進(jìn)行獨(dú)立的運(yùn)動(dòng)。圖4是關(guān)節(jié)驅(qū)動(dòng)節(jié)點(diǎn)結(jié)構(gòu)框圖。

圖4 關(guān)節(jié)驅(qū)動(dòng)節(jié)點(diǎn)結(jié)構(gòu)框圖

各節(jié)點(diǎn)為了滿足系統(tǒng)要求和開(kāi)發(fā)環(huán)境的選擇，選用了飛利浦的80C592和82C250控制器,同物理總線間接口一起,把總線的差動(dòng)和接受的能力通過(guò)高效快速的方式提供給相關(guān)控制器。為了使系統(tǒng)不受瞬態(tài)沖擊信號(hào)的影響，總線的驅(qū)動(dòng)能力和系統(tǒng)的抗干擾能力得到提高，系統(tǒng)節(jié)點(diǎn)的微控制器采用P80C250與CAN總線連接的方式。

2.2 持鏡臂

手術(shù)的視野問(wèn)題是手術(shù)操作最為重要的問(wèn)題，需要最先解決。持鏡臂提供了整個(gè)手術(shù)的視野，醫(yī)生則是要對(duì)整個(gè)過(guò)程之中發(fā)生的視野變化做出合理的改變。同時(shí)為了使醫(yī)生可以在符合最佳人機(jī)互性視覺(jué)反饋下進(jìn)行便于常態(tài)思維下的習(xí)慣性操作，醫(yī)生希望持鏡臂可以在當(dāng)前提供的視覺(jué)基礎(chǔ)上進(jìn)行上下、左右、前后的運(yùn)動(dòng)的手術(shù)視野。通過(guò)以上介紹，基于當(dāng)前視覺(jué)通過(guò)移動(dòng)持鏡臂得到的期望視覺(jué)的運(yùn)動(dòng)方式如圖5所示。

圖5 持鏡臂基于視覺(jué)的運(yùn)動(dòng)示意圖

基于視覺(jué)的持鏡臂視窗運(yùn)動(dòng)通過(guò)沿x，y，z軸移動(dòng)的三類運(yùn)動(dòng)方式的矢量疊加即可實(shí)現(xiàn)，在該視覺(jué)的基礎(chǔ)上，獲得的運(yùn)動(dòng)模式是在相對(duì)運(yùn)動(dòng)的基礎(chǔ)上提出的。所以，需要提出可以滿足運(yùn)動(dòng)要求的持鏡臂的運(yùn)動(dòng)方法。

2.3 傳感器

2.3.1 力傳感器

FN3002力傳感器是一種電子元件，它可以把力信號(hào)轉(zhuǎn)變?yōu)殡娦盘?hào)輸出。力敏元件(即我們所說(shuō)的彈性體，最常見(jiàn)的材料是鋁合金，合金鋼和不銹鋼)、轉(zhuǎn)換元件(電阻應(yīng)變片為最普遍的一種)和電路部分(多為漆包線，pcb板等)三部分組成。

FN3002力傳感器具有結(jié)構(gòu)緊湊的特點(diǎn)，它的標(biāo)準(zhǔn)量程是從10～2 000 kN，其輸出為±20 mV；量程為 10 k～2 000 kN；高性能雙螺栓作為其封裝；-40～150 ℃的工作溫度范圍，并具有±5% F.S的精確度。

2.3.2 位移傳感器

位移傳感器屬于金屬感應(yīng)的線性器件，又被稱做線性傳感器，將被測(cè)物理量轉(zhuǎn)變成電量是傳感器的作用。與物體位置在運(yùn)動(dòng)過(guò)程中移動(dòng)有關(guān)的量稱為位移，它的測(cè)量方式具有極其廣泛的涉及范圍。

電位器移動(dòng)端的電阻變化是由物體的位移引起的，位移量值通過(guò)阻值的變化量顯示反映，而位移的方向則是由阻值的增減表示。為了可以把電阻的變化轉(zhuǎn)變?yōu)殡妷狠敵?，一般把電源電壓接到電位器上。線繞式電位器的輸出特性呈階梯形，是因?yàn)樗碾娝⒁苿?dòng)時(shí)的電阻由匝電阻為階梯變化。在制作電位器時(shí)要盡可能的減小每匝的電阻值，如果伺服系統(tǒng)中的位移反饋元件使用這種位移傳感器，那么它過(guò)大的階躍電壓就會(huì)讓系統(tǒng)產(chǎn)生振蕩。位移傳感器接線方式表1所示。

3 系統(tǒng)中軟件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

控制系統(tǒng)的性能由軟件部分的功能和可靠性決定，所以整個(gè)設(shè)計(jì)工作最不可或缺的則是控制系統(tǒng)的設(shè)計(jì)，因?yàn)樗鼪Q定了整個(gè)機(jī)器人系統(tǒng)功能的實(shí)現(xiàn)和運(yùn)行的可靠性。

CNN是先如今最為廣泛應(yīng)用的模型結(jié)構(gòu)，它作為一種深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，建立在神經(jīng)認(rèn)知機(jī)模型之上。CNN在確定模型參數(shù)時(shí)需要通過(guò)前向傳播和反向傳播，獲取和輸出目標(biāo)的誤差需要通過(guò)前向傳播來(lái)實(shí)現(xiàn)，而參數(shù)的確定則是需要通過(guò)高效的反向傳播訓(xùn)練算法來(lái)實(shí)現(xiàn)。輸入層、卷積層、池化層、全連接層和分類層構(gòu)成了一般的CNN模型，在CNN中通過(guò)局部的進(jìn)行連接卷積層和小同的卷積核，將由輸入數(shù)據(jù)產(chǎn)生的特征輸出，該輸出經(jīng)過(guò)池化層降維，接著全連接層和分類層會(huì)對(duì)目標(biāo)的誤差進(jìn)行獲取和輸出，再反復(fù)地對(duì)新CNN中相鄰層神經(jīng)元之間的連接權(quán)值進(jìn)行反向傳播算法計(jì)算，進(jìn)而達(dá)到輸出目標(biāo)誤差縮小的目的，以實(shí)現(xiàn)整個(gè)模型參數(shù)的訓(xùn)練。

3.1 持鏡臂運(yùn)動(dòng)控制

醫(yī)生在手術(shù)進(jìn)行過(guò)程中相對(duì)前視窗提出的位姿是醫(yī)生所希望的目標(biāo)視窗，也就是要求持鏡臂要以當(dāng)前坐標(biāo)系為基系運(yùn)動(dòng)，而不是基座坐標(biāo)系。為此需要將持鏡臂的基本運(yùn)動(dòng)方法建立出來(lái)，且該方法需要建立于視覺(jué)運(yùn)動(dòng)之上，圖6為其技術(shù)框圖。

圖6 持鏡臂運(yùn)動(dòng)控制框圖

該原理為持鏡臂工具坐標(biāo)系下的運(yùn)動(dòng)學(xué)逆解求解過(guò)程，即在已知末端位姿的情況下，進(jìn)行求解不同關(guān)節(jié)的移動(dòng)或轉(zhuǎn)動(dòng)所產(chǎn)生的變量。它與求解持鏡臂在自身運(yùn)動(dòng)學(xué)下逆解還是有一定的區(qū)別的，主要區(qū)別為持鏡臂末端的基座坐標(biāo)系與持鏡所在的工具坐標(biāo)系相同，該基座坐標(biāo)系為持鏡臂末端在其本身原有的工具坐標(biāo)系下運(yùn)動(dòng)的運(yùn)動(dòng)學(xué)模型坐標(biāo)系。這就要求把持鏡所在工具坐標(biāo)系映射在持鏡臂基座坐標(biāo)系中，然后在持鏡臂本身已有運(yùn)動(dòng)學(xué)逆解中輸入末端位姿，這就得到了所需的各關(guān)節(jié)轉(zhuǎn)動(dòng)(或移動(dòng))量。

3.2 軟件控制

軟件是采用VC++6.0開(kāi)發(fā)設(shè)計(jì)的，運(yùn)行在 Windows2000 系統(tǒng)中，各子功能模塊所需完成的主要任務(wù)有：1)發(fā)生由定時(shí)采集得到的主手信號(hào)或者是操作人員手工輸入的信號(hào)，進(jìn)行從手關(guān)節(jié)的運(yùn)動(dòng)控制命令和控制參量;2)對(duì)各個(gè)關(guān)節(jié)的運(yùn)動(dòng)狀態(tài)進(jìn)行周期性的讀取，并在PC 主窗口顯示相關(guān)工作區(qū)域的圖像;3)對(duì)DSP軟件通過(guò)切換所提供的工作方式進(jìn)行引導(dǎo)和加載引導(dǎo)加載;4)為實(shí)現(xiàn)與MCU DSP的通訊，需對(duì)PCI驅(qū)動(dòng)例程進(jìn)行調(diào)用，隨之需要將其封裝成接口函數(shù)，以便其它軟件模塊使用。上層軟件的主要核心部分為命令處理。要在得到命令源下達(dá)的命令之后，根據(jù)狀態(tài)的反饋決定是否執(zhí)行該命令。如果止向限位狀態(tài)信號(hào)是由下位機(jī)發(fā)出的，所對(duì)應(yīng)的一整條路上的止向運(yùn)動(dòng)命令全部都會(huì)被屏蔽掉;負(fù)限位同上所訴，只要故障信號(hào)一出現(xiàn)，不管什么運(yùn)動(dòng)命令都會(huì)被全部禁止。為了避免抖動(dòng)或者誤操作主手現(xiàn)象的出現(xiàn)，需進(jìn)行主手信號(hào)進(jìn)行門(mén)檻值的設(shè)置和規(guī)范化。

4 系統(tǒng)運(yùn)行實(shí)驗(yàn)

基于卷積神經(jīng)網(wǎng)絡(luò)的手術(shù)機(jī)器人控制系統(tǒng)是一個(gè)復(fù)雜實(shí)時(shí)控制系統(tǒng)，影響系統(tǒng)正常運(yùn)行因素較多，其安全穩(wěn)定運(yùn)行是首要條件。

4.1 機(jī)器人系統(tǒng)實(shí)驗(yàn)平臺(tái)

手術(shù)機(jī)器人控制系統(tǒng)采用主從控制方式，在機(jī)器人幫助下觀察病人體內(nèi)圖像，在實(shí)時(shí)控制系統(tǒng)下，以1 500 Hz控制周期實(shí)現(xiàn)異構(gòu)主從操作的主從映射。

從操作手被動(dòng)支架部分還處于手術(shù)操作過(guò)程中，課題采用卷積神經(jīng)網(wǎng)絡(luò)算法，根據(jù)手術(shù)步驟和患者術(shù)中的各項(xiàng)指標(biāo)，設(shè)置了操作手各項(xiàng)手術(shù)動(dòng)作控制程序，該程序通過(guò)機(jī)器人視覺(jué)的持鏡臂視窗功能啟動(dòng)。為了防止機(jī)器人在錯(cuò)做過(guò)程中出現(xiàn)指令失敗，影響術(shù)中患者生命安全，因此，設(shè)計(jì)的實(shí)驗(yàn)對(duì)象為主操作手、從操作手及末端工具。

4.2 關(guān)節(jié)角度曲線分析

分析兩個(gè)關(guān)節(jié)軌跡規(guī)劃前后角度變化曲線，如圖7所示。

圖7 兩個(gè)關(guān)節(jié)軌跡規(guī)劃前后轉(zhuǎn)角曲線分析

由圖7可知：經(jīng)過(guò)軌跡規(guī)劃后得到的持鏡臂關(guān)節(jié)轉(zhuǎn)角是以平滑曲線進(jìn)行的軌跡運(yùn)動(dòng)，通過(guò)對(duì)比分析可知規(guī)劃后的角度與規(guī)劃前基本一致。

4.3 持鏡臂軌跡規(guī)劃曲線對(duì)比分析

假設(shè)Y軸軌跡點(diǎn)410-軌跡點(diǎn)450作為軌跡長(zhǎng)度參照，在447位置設(shè)置期望規(guī)劃路線。采用課題系統(tǒng)和傳統(tǒng)系統(tǒng)規(guī)劃路線，觀測(cè)連中系統(tǒng)與期望規(guī)劃路線的擬合度，結(jié)果如圖8所示。

圖8 兩種系統(tǒng)軌跡規(guī)劃路線對(duì)比分析

由圖8可知：采用基于卷積神經(jīng)系統(tǒng)與期望規(guī)劃值基本一致，擬合度為100%，而采用傳統(tǒng)系統(tǒng)與期望規(guī)劃值相差較大，擬合度僅為20%。該實(shí)驗(yàn)結(jié)果證明了基于卷積神經(jīng)網(wǎng)絡(luò)的手術(shù)機(jī)器人控制系統(tǒng)研究的正確性，同時(shí)，也證明該系統(tǒng)可以有效提高持鏡臂實(shí)際控制精準(zhǔn)性。

5 結(jié)束語(yǔ)

由于手術(shù)機(jī)器人有著高精度、高靈活性的操作等特點(diǎn)，與傳統(tǒng)手術(shù)相比，可以在操作上大幅度的減少醫(yī)生由于過(guò)度勞累給手術(shù)帶來(lái)的影響。所以在手術(shù)機(jī)器人的技術(shù)及本身的研究方面是有著實(shí)際的研究?jī)r(jià)值的。手術(shù)機(jī)器人的使用，在臨床方面有著非常好的前景，因?yàn)樗笴T或MRI設(shè)備的應(yīng)用范圍從原始的醫(yī)學(xué)檢查已經(jīng)擴(kuò)展到了臨床治療領(lǐng)域，不僅使已有的醫(yī)療診治設(shè)備得到了更加充分的利用，也使我國(guó)現(xiàn)如今的微創(chuàng)技術(shù)得到了一定的推廣，一方面降低了微創(chuàng)診療的成本，另一方面也在打開(kāi)技術(shù)瓶頸上起到了一定的作用。通過(guò)上述方案，使得手術(shù)機(jī)器人多臂系統(tǒng)協(xié)調(diào)運(yùn)動(dòng)問(wèn)題得到了解決，但是在手術(shù)機(jī)器人的實(shí)際操作中，還是有很多問(wèn)題需要驗(yàn)證與完成：

1)在條件允許的前提下，需要對(duì)上述運(yùn)動(dòng)方案和軌跡的實(shí)際性與正確性進(jìn)行結(jié)合樣機(jī)的實(shí)驗(yàn)。

2)為了使醫(yī)生可以對(duì)病灶區(qū)域的手術(shù)動(dòng)作進(jìn)行更好的操作，建立持械臂末端微器械與主手之間的力反饋系統(tǒng)。

3)為了可以更好地、科學(xué)地、方便地、智能地預(yù)測(cè)腹腔鏡需要視野，提出了可以自動(dòng)預(yù)測(cè)腹腔鏡調(diào)整位姿的計(jì)算方法。