呂勇 余雷 王詩頌

關鍵詞：視覺識別；服務機器人；神經網絡

0 引言

高等教育是衡量一個國家發(fā)展水平的重要標志。隨著社會的快速發(fā)展以及國家政策的提出，地方高校需要積極響應并作出改變，培養(yǎng)滿足企業(yè)的新型工科人才，在“新工科”背景下進行一流本科專業(yè)的建設。蘇州大學機電工程學院的電氣工程及其自動化專業(yè)經過不懈努力，已順利通過中國工程教育專業(yè)認證，同時也是教育部卓越工程師教育培養(yǎng)計劃專業(yè)、國家級一流本科專業(yè)項目、江蘇省一流本科專業(yè)以及蘇州大學一流本科專業(yè)。

近年來，隨著機器人技術的快速發(fā)展，在工業(yè)制造、物流快遞以及安防監(jiān)控等領域的應用日趨普遍。在新工科背景下，同時結合高等學校的特點，如何培養(yǎng)出具有創(chuàng)新能力并符合企業(yè)需求的高素質人才，成為當前研究的重要課題。視覺識別是機器人智能化必不可少的要素，隨著深度學習的不斷發(fā)展，基于深度學習的目標檢測進一步推動了服務機器人的發(fā)展。在實驗教學中，要讓學生通過具體的實踐去更好地理解理論知識，并將理論與應用相結合，起到融會貫通的效果。

機器人[1]作為電氣工程及其自動化專業(yè)的十分重要的課程之一，從類別來看，其主要分為工業(yè)機器人、服務機器人兩種。本文以服務機器人[2]作為切入點，采用基于深度學習的PyTorch框架展開具體的實驗教學方法研究。實驗教學不能僅局限于課堂理論知識的傳授，為了讓學生更好的提高實踐能力，本實驗選擇了開源的Python機器學習庫PyTorch，可以快速搭建簡潔且高效的框架。該實驗設計采用典型的YOLO算法來實現目標檢測，以Python語言作為編程語言，最終在海思芯片上進行例程的實現。

1 實驗平臺簡介

本實驗用于深度學習模型訓練的服務器平臺配置如下：處理器為Intel Core i9-9900K CPU3.6GHz， 顯卡為GeForce RTX 2080Ti，顯存容量為11GB，類型為GDDR 6，內存為32G，系統(tǒng)為Ubuntu18.04。在編程語言和訓練框架方面，本實驗采用Python語言，訓練框架主要參考PyTorch、TensorFlow、Caffe、CNTK、Keras以及Darknet等開源框架。這些開源框架集成了很多深度學習中的網絡模塊，使開發(fā)更為便捷。由于Py?Torch入門較易，設計人性化，因此本文的實驗采用PyTorch框架，其不僅能夠實現強大的GPU加速，同時還支持動態(tài)神經網絡。

實驗中還涉及算法移植芯片海思，Hi3516DV300作為海思系列的一款性價比極高的芯片，集成了最新的ISP、領先的H.265 視頻壓縮編碼器，并使用了高性能的NNIE（Neural Network Inference Engine） 引擎，使芯片在低碼率、高畫質、智能處理和分析、低功耗等方面具備行業(yè)領先水平。該芯片集成了POR、RTC、Au?dio Codec 以及待機喚醒電路，不僅降低了eBOM 成本，且與海思DVR/NVR 芯片采用類似的接口設計，便于開發(fā)和量產。芯片的邏輯框圖如圖1所示。

2 目標檢測算法與指導

本實驗采用YOLO算法進行目標檢測，它將一張圖片劃分為許多合適大小的小塊圖片，通過化整為零，對每個小塊圖片分別進行預測，從而實現整張圖片的目標檢測，使得其檢測速度與之前的算法相比大大增加。YOLOv4算法[3]是在前一版本的YOLOv3算法上改進的結果，其性能有了很大的提升。因此，本文選擇YOLOv4作為服務機器人[4]移動終端的物體識別算法。

在進行具體的實驗之前，教師對該算法所涉及的理論知識做一些必要的介紹，YOLOv4網絡主要分為三部分，分別是主干網絡、頸部網絡以及頭部網絡。首先，本文介紹主干網絡CSPDarkNet53，它從Dark?Net53改進而來，主要由5個大殘差塊構成，而每一個大殘差塊又分別由1個、2個、8個、8個和4個小殘差塊組成。由于CSP（Cross Stage Partial）可以提高神經網絡的學習能力，因此將兩者結合。其次，本文介紹頸部網絡，主要采用了FPN+PANet的結構，通過從上到下以及從下到上并加入側向連接的方式將多尺度特征進行融合，實現了淺層定位信息與深層語義信息的有效提取。最后，本文介紹頭部網絡，該網絡采用三尺度輸出，對于不同尺度大小的目標進行檢測。其中頭部結構的深度表示邊界框偏移量、置信度、類別以及先驗框，且每個尺度輸出都有三個不同尺寸的先驗框，分別對應了大、中、小三種目標的檢測。YOLOv4的整體網絡結構圖如圖2所示。

在實際實驗過程中，由于神經網絡的訓練需要耗費很長的時間，教師指導學生側重將YOLO算法的預訓練模型部署到芯片端，在有理解能力的基礎上再深入了解YOLO算法。

3 實驗流程與效果

3.1 劃分小組

為了保證每個學生能夠提高實踐能力，提高團隊協(xié)作能力，首先對學生進行分組（3～4人每組），并選擇動手能力強、有責任心和集體榮譽感的同學作為每個小組的組長。在實驗過程中，根據學生反饋的問題對教學過程動態(tài)調整，一方面對項目進行優(yōu)化，另一方面可以開拓學生的思路，形成一個良性循環(huán)。

3.2 項目教學內容

對于服務機器人目標檢測的應用方面進行知識的普及，同時結合實驗的專業(yè)知識進行講解，并盡量采用可視化的方式便于學生理解。在實驗過程中，由于硬件[5]只支持Caffe框架，首先指導學生首先將Py?Torch模型[6]轉換為Caffe模型，并替換掉硬件不支持的激活函數，比如將Mish激活函數替換為ReLU函數；其次在電腦端對Caffe模型進行驗證，在保證模型正確的前提下實行量化；最后將量化的模型燒錄到芯片端，并通過串口指令觀察輸出信息，實驗的整體流程如圖3所示。為了確保在芯片端移植的正確性，老師要求學生在每一步轉換的過程中進行可視化，實驗可視化結果如圖4所示。（a） 圖為Darknet模型的檢測結果；（b） 圖為Caffe模型的檢測結果；（c） 圖為芯片端的檢測結果；（d） 圖為Xshell串口終端的輸出信息，主要包含推理時間、標簽類別以及置信度等信息。

3.3 實驗結果對比

當指導完學生將YOLOv4算法運行于海思芯片端，教師對實驗結果進行對比。由于芯片的算力有限，在移植的過程中需要將模型進行量化壓縮，由此不可避免地帶來精度的損失。在服務器端，目標檢測的精度可以達到85.96%，如圖5（a）所示；在芯片端，目標檢測的精度有一定的下降，如圖5（b）所示，只有73.48%。通過實驗結果的對比，讓學生有一個感性的認識，從深度學習算法（理論）到芯片的實際應用會存在很多問題，比如代碼如何優(yōu)化？模型如何修改？框架如何設計？性能如何提高，這些都將促進學生主動學習的能力。

3.4 討論與分析

學生不能僅滿足于項目的完成，還需要分組進行討論，分享各自在實驗過程中的收獲與不足，并可以進行二次開發(fā)參加競賽或者作為畢業(yè)設計的一部分。通過實驗教學將抽象的算法實際化、具體化，幫助學生理解和掌握服務機器人目標檢測算法實際部署的關鍵技術。最后，鼓勵學生大膽創(chuàng)新，開拓新的實驗項目，逐步形成具有遞進關系的教學實驗內容。

4 結束語

通過以上的具體實驗，本實驗以神經網絡算法為核心，在教學過程中采用了“任務驅動的自主學習”方法，設置了現實中的服務機器人[6]需要芯片移植這一實際問題。在完成實驗目標的過程中，學生以小組為單位在硬件平臺上進行動手能力的實際操作，從而可以拓展學生對機器人相關知識理解的廣度與深度。

此外，本實驗不僅涉及硬件知識的掌握，還要對PyTorch相應模塊的添加具有一定的編程能力，進一步引導學生在算法上進行優(yōu)化，比如YOLOv4算法的輕量化，使其移植更高效。該實驗從實際應用角度鞏固學生在課堂上所學的知識，有利于學生了解行業(yè)需求，并為將來走向企業(yè)打下堅實的基礎。