一種基于深度學(xué)習(xí)的地鐵消殺機(jī)器人

尹邦政，唐揚波，單梓琪

（廣州鐵路職業(yè)技術(shù)學(xué)院，廣東 廣州 510080)

0 引言

當(dāng)前，公共場所的衛(wèi)生防控措施變得尤為重要，地鐵作為人流高度密集的城市大運量公共交通工具，地鐵車廂常態(tài)化的消毒殺菌已成為運營管理工作的一部分。目前各地鐵公司基本都是采用人工方式進(jìn)行車廂消殺，或者配合使用紫外燈滅菌。人工方式消殺通過人工將消毒液噴灑到需要消殺的空間區(qū)域，這種方式費時費力，效率低，且存在消殺效果難以監(jiān)控的問題，同時消殺人員還有被感染的風(fēng)險隱患；紫外燈消殺需要持續(xù)相對較長的時間，且容易對人體造成傷害，限制了其應(yīng)用場景?，F(xiàn)有的消殺機(jī)器人大多采用移動底盤加噴霧消毒或者移動底盤加紫外燈的方式消毒，這種消殺機(jī)器人存在消殺模式單一、適用場景有限、消殺不全面等問題。

目前市面上的消殺機(jī)器人普遍只具備噴霧消殺的功能，只能對空間進(jìn)行無識別無差別化的空氣消殺[1]，而在實際環(huán)境中，對于公共場所中多人觸碰的物體比如門把手、電梯扶手、電梯按鈕、臺面、桌面、地鐵扶手、地鐵拉環(huán)等存在著病毒集中的風(fēng)險，是傳染環(huán)節(jié)中非常關(guān)鍵的一環(huán)，普通的空氣噴霧消殺往往無法覆蓋這些物體，使消殺不徹底，給病毒傳播留下極大的隱患。因此，如何對地鐵車廂中對易感關(guān)鍵部位消殺才是消殺機(jī)器人的痛點所在，本論文提出了一套基于機(jī)器視覺的物體識別算法結(jié)合機(jī)器人以及機(jī)械臂的控制裝置，實現(xiàn)了對病菌集中物體的識別，通過控制機(jī)器人移動以及機(jī)械臂的移動，使消殺噴嘴靠近病菌物體表面并進(jìn)行近距離的噴霧消殺，實現(xiàn)精準(zhǔn)消殺功能。

目前，深度學(xué)習(xí)作為一種新興技術(shù)廣泛應(yīng)用于圖像分類和目標(biāo)檢測[2]。近年來，基于深度學(xué)習(xí)的目標(biāo)檢測算法被廣泛地應(yīng)用于各種自動化應(yīng)用中[3]，如變電站智能機(jī)器人[4]、鐵路信號機(jī)房巡檢機(jī)器人[5]、采摘機(jī)器人[6]等。然而，目前的研究主要集中在移動服務(wù)機(jī)器人在與消殺無關(guān)的識別和抓取上[7]。很少有研究討論過集成視覺模塊數(shù)據(jù)進(jìn)行運動規(guī)劃和操作用于地鐵應(yīng)用中。本論文研究的目的是開發(fā)一種全自動的消殺機(jī)器人，用于清潔和消殺地鐵扶手、拉環(huán)、座椅等多人接觸物體，以避免直接接觸細(xì)菌或病毒。為了實現(xiàn)這個目的，我們開發(fā)了一個輕量級的深度學(xué)習(xí)框架，用于檢測特定物體，檢測模塊的輸出通過運動規(guī)劃和手臂操作算法來完成消殺任務(wù)。

1 消殺機(jī)器人組成

1.1 硬件組成

機(jī)器人硬件架構(gòu)主要由移動底盤、霧化裝置、消殺裝置、紫外燈消殺裝置四大部分組成，如圖1所示。

圖1 消殺機(jī)器人結(jié)構(gòu)圖

1)移動底盤，用于控制移動機(jī)器人的環(huán)境數(shù)據(jù)采集、算法運行、運動和消殺執(zhí)行。它由主機(jī)、4G 無線路由器、激光雷達(dá)、超聲波雷達(dá)、電機(jī)驅(qū)動板、慣性測量單元、電機(jī)組件、電池及電源管理組件等組成。

機(jī)器人移動底盤由差分輪式滾輪、電機(jī)驅(qū)動、電池及電源管理組成；主控由上位機(jī)和下位機(jī)組成，上位機(jī)由x86控制器實現(xiàn)，是機(jī)器人平臺的核心，實現(xiàn)機(jī)器人的感知數(shù)據(jù)處理和運行控制，導(dǎo)航、定位、避障的算法運行等；傳感器包含里程計、陀螺儀、加速度計、超聲波傳感器、碰撞傳感器、紅外傳感器、激光雷達(dá)、高清攝像頭、深度攝像頭等組成，為機(jī)器人提供各種外部感知。

2)霧化裝置，用于放置預(yù)設(shè)濃度的待處理消毒液，并對待處理消毒液進(jìn)行霧化，得到待處理液滴，然后將待處理液滴噴射到周圍空間環(huán)境中。霧化裝置由水箱、霧化器、噴頭組成，水箱規(guī)格為16L霧化器置于水箱中，220V 交流電源由底盤的電源管理組件提供，可以通過電源控制霧化器的開和關(guān)；3個噴頭連接霧化器。

3)消殺裝置，用于當(dāng)噴霧消殺機(jī)器人識別到目標(biāo)物體，并利用移動底盤控制噴霧消殺機(jī)器人移動至預(yù)設(shè)位置時，調(diào)整機(jī)械臂的位置與方向，使得噴嘴朝向目標(biāo)物體，同時關(guān)聯(lián)噴霧裝置，以獲得待處理液滴，并結(jié)合移動底盤的移動、機(jī)械臂的旋轉(zhuǎn)和噴嘴對待處理液滴的噴射，完成對目標(biāo)物體的全方位噴霧消殺。目標(biāo)消殺裝置由六軸機(jī)械臂、噴嘴、噴管、霧化開關(guān)、深度攝像頭和工控處理機(jī)組成。

工控處理機(jī)負(fù)責(zé)圖像信息的采集和處理、識別算法的運行和機(jī)械臂控制，是整個機(jī)器人的核心處理器，它由Intel i7 CPU(16GB RAM,256GB SSD)、華碩h110i-plus主板和NVIDIA GPU(GTX16504G) 組成，運行系統(tǒng)由Linux 16.04(Ubuntu) 和ROS Kinetic組成。

4)紫外燈消殺裝置，用于紫外線殺菌。由一條紫外線燈管組成，紫外線波長為253.7nm，單支燈40W，1m處紫外線輻照強(qiáng)度150μW/cm2。

1.2 目標(biāo)物體識別

為了快速準(zhǔn)確地識別車廂中病毒集中物體，如座椅、立柱、扶手、吊環(huán)等乘客接觸區(qū)域或物體，需要通過攝像頭采集圖像信息，對圖像信息進(jìn)行分析處理，快速判斷該物體是否屬于識別物體。

作為機(jī)器視覺領(lǐng)域的核心問題之一,目標(biāo)檢測和識別的任務(wù)是找出圖像中所有的目標(biāo)（物體），并確定它們的位置和大小。由于各類物體有不同的外觀、形狀、姿態(tài)，加上成像時光照、遮擋等因素的干擾，目標(biāo)檢測一直是機(jī)器視覺領(lǐng)域最具有挑戰(zhàn)性的問題。因此，從本質(zhì)上來說，目標(biāo)檢測包含兩個主要任務(wù)：物體圖像的識別和物體在圖像中的定位。

物體識別分為兩個任務(wù)，一個是尋找場景中待訓(xùn)練物體，并且用矩形框標(biāo)注物體所在圖像的區(qū)域，另一個任務(wù)是識別標(biāo)注物體的類別。該過程稱為物體檢測。由于YOLOv5代碼運行速度快且無須很大運行空間[8]，因此我們選擇采用基于YOLOv5 卷積神經(jīng)網(wǎng)絡(luò)完成圖像識別。

YOLOv5首先將整個圖像中物體特征均勻的劃分成大小為7×7 的卷積神經(jīng)網(wǎng)格，每個網(wǎng)格作為錨框分別產(chǎn)生多個輸入檢測框。然后將輸入特征映射到卷積神經(jīng)網(wǎng)絡(luò)中，得到相應(yīng)的特征區(qū)域圖后，將特征數(shù)據(jù)送回卷積網(wǎng)絡(luò)，然后采用全連接層，將每個特征區(qū)域的輸入特征值分別映射得到相同大小的物體特征區(qū)域圖，對每個輸入檢測框的特征類別和每個檢測框的特征值進(jìn)行回歸。

1.3 目標(biāo)物體定位

在YOLOv5源碼中根據(jù)對象數(shù)組序號篩選出需要處理的對象，并把目標(biāo)坐標(biāo)對（目標(biāo)框左上角和右下角坐標(biāo)）發(fā)送到kinect_view 包（一個負(fù)責(zé)處理深度相機(jī)kinect2.0深度數(shù)據(jù)的ROS包）。在kinect_view 中通過ROS 的publish-subscriber 機(jī)制，接收Kinect_bridge包發(fā)布的RGB圖像與深度圖像以及描述信息，并把每個像素點結(jié)合深度信息轉(zhuǎn)化為點云數(shù)據(jù)。

根據(jù)YOLOv5 傳送的坐標(biāo)信息，在kinect_view 中計算出目標(biāo)對象與機(jī)器人的相對坐標(biāo)，并通過ROS的Actionclient-Actionserve 機(jī)制，把相對坐標(biāo)傳送到move_base包。

在move_base包中將目標(biāo)坐標(biāo)系先轉(zhuǎn)化為全局坐標(biāo)系，然后設(shè)置目標(biāo)點并喚醒路徑規(guī)劃線程，同時將坐標(biāo)信息goal 發(fā)布給可視化工具rviz，在設(shè)置完控制頻率、時間標(biāo)志位之后開始檢測是否有搶占目標(biāo)。當(dāng)有新的目標(biāo)到來，則設(shè)置當(dāng)前狀態(tài)為PLANNING并執(zhí)行上述過程，轉(zhuǎn)化坐標(biāo)系、喚醒路徑規(guī)劃線程并發(fā)布目標(biāo)給rviz。若沒有搶占目標(biāo)則重置狀態(tài)、設(shè)置為搶占式任務(wù)。

在路徑線程被喚醒后，為了判斷機(jī)器人是否到達(dá)目標(biāo)點、通過tf接口獲取從里程計和激光數(shù)據(jù)得出的當(dāng)前位姿；在地圖數(shù)據(jù)超時，即觀測的傳感數(shù)據(jù)不夠新，則停止機(jī)器人。

1.4 精準(zhǔn)消殺

根據(jù)物品識別與定位系統(tǒng)求得的目標(biāo)物品的相對坐標(biāo)與環(huán)境圖像信息，分析抓取平臺的任務(wù)目標(biāo)，綜合環(huán)境數(shù)據(jù)，對機(jī)械臂的動作進(jìn)行運動規(guī)劃，完成機(jī)械臂末端到目標(biāo)物體的靠近動作。根據(jù)環(huán)境信息中的目標(biāo)點和機(jī)械臂與目標(biāo)點之間的障礙物位置關(guān)系進(jìn)行軌跡規(guī)劃，并結(jié)合地形數(shù)據(jù)明確當(dāng)前工作環(huán)境中機(jī)械臂的允許工作空間。根據(jù)目標(biāo)物品的位姿狀態(tài)選取合適的移動方式，確保將機(jī)械臂末端安全地推伸到目標(biāo)物品前。通過中央信息處理模塊連接視覺傳感器等對抓取目標(biāo)過程進(jìn)行實時調(diào)控。在ROS 機(jī)器人操作系統(tǒng)上調(diào)取相關(guān)硬件設(shè)施，創(chuàng)建信息交互節(jié)點，設(shè)計路徑規(guī)劃算法，完成機(jī)械臂移動平臺的搭建。根據(jù)識別物體的坐標(biāo)，機(jī)器人移動到已識別物體的一定距離后，將機(jī)械臂末端移動并靠近識別物體，開啟噴霧功能，將消毒藥水準(zhǔn)確地噴灑到識別物體上，達(dá)精準(zhǔn)消殺目的。

2 試驗測試

根據(jù)《動車組、列車及工程車輛清洗消毒管理技術(shù)指引》，對地鐵車廂地板、扶手、座椅等物體的日常性消毒分為列車車廂空氣消毒、車廂內(nèi)部物表消毒和折返站列車折返后消毒三種。本作品滿足地鐵車廂的三種消殺要求，重點對車廂內(nèi)部物表消毒進(jìn)行了測試驗證，選取了車廂內(nèi)部乘客接觸最多的扶手、吊環(huán)進(jìn)行了驗證測試。

測試分為三個階段，如圖第一個階段為深度框架訓(xùn)練階段，首先要采集大量的待識別物體的照片，通過邊界框標(biāo)注后進(jìn)行CNN訓(xùn)練，訓(xùn)練后再進(jìn)行模型的測試，經(jīng)過反復(fù)的驗證修改，使模型的識別率精度在90%以上；第二個階段為建圖和導(dǎo)航階段。在車廂進(jìn)行消殺前，移動機(jī)器人需要在車廂進(jìn)行運行，通過激光雷達(dá)數(shù)據(jù)進(jìn)行二維地圖的創(chuàng)建，創(chuàng)建完地圖后，機(jī)器人即可在創(chuàng)建的地圖中進(jìn)行導(dǎo)航運行；第三個階段為識別和消殺階段。機(jī)器人在車廂中導(dǎo)航運行，攝像頭實時采集運行過程的圖像信息，采集的數(shù)據(jù)通過目標(biāo)識別算法進(jìn)行實時運算處理，確定圖像信息中是否包含目標(biāo)物體特征，如果有則就獲取目標(biāo)物體的坐標(biāo)信息，通過控制機(jī)器人移動和機(jī)械臂的移動，使機(jī)械臂末端的噴嘴接近目標(biāo)物體，再控制噴嘴開關(guān)進(jìn)行近距離的噴霧消殺，達(dá)到精準(zhǔn)消殺效果。

采用英特爾實感深度攝像機(jī)，在不同的角度和不同的光照條件下，以機(jī)器人的視角采集地鐵車廂中的吊環(huán)和扶手?jǐn)?shù)據(jù)集圖像。

在迭代次數(shù)較大條件下，使用Kaggle 數(shù)據(jù)集對YOLOv5進(jìn)行訓(xùn)練，本作品針對地鐵車廂中的扶手、吊環(huán)等物體進(jìn)行目標(biāo)識別，采集5 500+的測試集圖片數(shù)據(jù)用于訓(xùn)練，并且通過裁剪、旋轉(zhuǎn)、增加噪聲等方法對采集到的數(shù)據(jù)集進(jìn)行增強(qiáng)，最終獲取了20 704張數(shù)據(jù)樣本，其中包含扶手的樣本有10 505 張，包含吊環(huán)的樣本有10 199張，按照YOLO 算法所需的格式進(jìn)行人工數(shù)據(jù)標(biāo)注。

通過對原有數(shù)據(jù)集數(shù)據(jù)進(jìn)行此類拓展即可得到大量新的訓(xùn)練數(shù)據(jù)，有效提升模型訓(xùn)練集大小，在原有訓(xùn)練集較小的條件下快速提升目標(biāo)檢測效果，通過測試，YOLOv5平均識別速度達(dá)到6ms，平均識別精度達(dá)95%，如圖2。

圖2 地鐵車廂把手識別測試

3 結(jié)束語

本文設(shè)計出一種利用視覺識別并實現(xiàn)被識別目標(biāo)物體自動精準(zhǔn)消殺的移動機(jī)器人。精準(zhǔn)消殺相比普通消殺機(jī)器人的空氣消殺，具有以下優(yōu)勢：第一，精準(zhǔn)消殺能夠以較小的消毒水藥量和較低的消毒水濃度實現(xiàn)對病菌集中物體的徹底消殺，消殺效果更好，消殺成本更低；第二，精準(zhǔn)消殺過程友好，不需要避開人流，只對病菌集中物體表面進(jìn)行近距離的消殺；消殺后，空氣中和物體表面的殘留消毒藥水較少，對人的身體健康和環(huán)境影響?。灰曈X識別算法采用了基于CNN 的深度學(xué)習(xí)方法，生成了被識別物體的一組坐標(biāo)。利用這些坐標(biāo)，利用ROS系統(tǒng)生成機(jī)器人的操作空間，并制定機(jī)械臂的運動規(guī)劃。通過一系列的模擬和實驗，通過離線和在線測試了該技術(shù)的準(zhǔn)確性。在這兩種情況下，計算出的檢測準(zhǔn)確率均在90%以上。在地鐵列車上成功地進(jìn)行了實時實驗，驗證了所提框架的有效性。通過該機(jī)器人的應(yīng)用，助力地鐵等人員密集場所的消毒清潔工作，切斷傳染源，保證出行衛(wèi)生安全。