基于深度學習技術的智能化無人機視覺系統(tǒng)設計研究

蘇佳媛

關鍵詞：深度學習技術;智能化無人機;視覺系統(tǒng)設計

1 相關概念概述

1.1 深度學習技術

深度學習技術的全稱是Deep Learning，在19 世紀90 年代末逐漸成為了人工智能的熱門研究領域，它是機器學習中的重要組成部分，主要是通過神經網絡來形成一個較為完善的機器學習模式，結合底層組合特性來實現(xiàn)更高的屬性類別表示，這樣一來所產生的數(shù)據信息就會以分布式特點的形式體現(xiàn)出來[1]。在深度學習之中最為關鍵的模型結構便是神經網絡，由此能夠看出深度學習的本質在于堆疊一個又一個神經網絡，讓神經網絡輸入至輸出最長路徑長度得以提升，進而構建一個完善的函數(shù)關系。深度學習技術能夠自動學習要建模數(shù)據的潛在分布的多層表達，其核心技術是監(jiān)督和非監(jiān)督學習算法，通過這種監(jiān)督和非監(jiān)督學習算法自動地學習到不同數(shù)據的多種特征，更好地表達數(shù)據。

1.2 智能化無人機視覺系統(tǒng)

智能化無人機視覺系統(tǒng)主要是指在該系統(tǒng)之中能夠實現(xiàn)自主飛行目的，充分擺脫相關技術人員的控制，體現(xiàn)出“無人”這一基本特征。同時智能化無人機視覺系統(tǒng)并不單單意味著對自身進行智能化處理，在物聯(lián)網之中同樣能夠產生至關重要的作用，為相關通信提供傳播媒介方面的支持。智能化無人機視覺系統(tǒng)主要是以深度學習為技術基礎，包含了上位機以及無人機飛行器這兩個部分，具體如圖1 所示。

在無人機飛行器之中，主要包含了軟件以及硬件，其中硬件是由機載運動相機以及無人機飛行器這兩個模塊，無人機通過數(shù)傳電臺來和地面站就所采集的數(shù)據信息進行交流與共享，而機載運動相機則通過自身所具備的無線傳導功能來和地面站建立聯(lián)系[2]。為了有效避免緊急情況產生而引發(fā)的無人機失控現(xiàn)象，技術人員會在智能化無人機之中添加一個遙控接收機這一裝備，以此來讓地面站能夠通過遙控器的使用來實現(xiàn)對無人機的接管。在無人機云臺之中會掛載一個具備較強專業(yè)性能的運動相機，無人機飛行控制模塊能夠利用云臺所提供的功能來對相機的實際拍攝角度以及拍攝姿勢進行合理地調整。而在無人機飛行器中，主要是采取了RT-Thread 這一實時操作系統(tǒng)軟件，并且以此為基礎將原有的神經網絡庫以及機器視覺庫相關數(shù)據信息進行了移植，以此來完成視覺應用平臺的搭建，能夠給后續(xù)視覺應用開發(fā)奠定堅實的理論基礎。

在智能化無人機視覺系統(tǒng)之中，主要是將平板設備當做上位機，可以有效操作無人機以及機載運動相機，并且具備目標檢測以及圖像處理這方面的功能。上位機主要是通過數(shù)傳電臺來和無人機進行通信，所遵循的通信協(xié)議為MAVLink 協(xié)議。上位機的地面站軟件能夠對相繼的拍攝進行全方位地控制，接受相機所拍攝的圖像并對其進行處理。

2 基于深度學習技術智能化無人機視覺系統(tǒng)設計思路

2.1 搭建無人機硬件平臺

本次研究主要采取了開源Pix Hawk 飛控拼裝制作而成的無人機，主要包括了機載運動相機以及四旋翼無人機，其中四旋翼無人機主要是將Pix Hawk 作為核心，通過STM32F103 以及STM32F247 為協(xié)助控制器以及主要控制器，其具體參數(shù)如表1所示。

相機主要是在掛載于四旋翼無人機云臺下方，該搭建無人機硬件云臺能夠適當調整翻滾角度，進而直接在地面總站臺對相機進行有效地控制，其主要參數(shù)如表2 所示。

2.2 構建無人機實時操作系統(tǒng)

在智能化無人機之中，所采取的實時操作系統(tǒng)主要是RTThread系統(tǒng)（Real-Time Thread），屬于嵌入式實時多線程操作系統(tǒng)的范疇。構建的無人機實時操作系統(tǒng)具備較為分明的架構以及較高的模塊化程度，相關技術人員能夠較為輕易地對其進行剪裁。與市場中應用較為廣泛的Linux 系統(tǒng)相比，RT-Thred 系統(tǒng)有著較高的實時性，較小的體積以及功耗，不會耗費大量的成本，且占用資源相對較小，啟動速度更快，十分契合無人機應用于各類資源受限的環(huán)境之下[3]。并且RT-Thread 不單單能夠應用于較為低端的MCU 之中，也能夠應用于ARM9、ARM11 以及ARMCortex-A 系列級別的應用處理器之中。其實際結構如2 所示。

從上圖中能夠得知，這一系統(tǒng)的核心部分在于內核層，主要包含了內存管理、郵箱、多線程調度、定時器、消息隊列等功能;libcpu / BSP 主要是指硬件抽象層，主要包含了CPU 移植以及外設驅動。將RT-Thread 操作系統(tǒng)應用于無人機操作系統(tǒng)之中，主要有著以下幾個方面的優(yōu)點：一是屬于硬實時系統(tǒng)的范疇，能夠充分迎合無人機在實時性方面的需求[4] ;二是能夠對系統(tǒng)的功耗進行最大地減少，具備自動化功耗控制這一功能;三是其網絡協(xié)議棧較為豐富，當前能夠支持商場中的4G、5G 移動通信;四是多媒體軟件包數(shù)量眾多，處理相關圖像信息更為便捷;五是提供了數(shù)量眾多的云SDK，和物聯(lián)網有著密切的聯(lián)系，使得云計算技術能夠有效應用于無人機之中。

2.3 提供深度學習技術支持

無人機所使用的深度學習框架應該對無人機硬件具有較好的優(yōu)化，同時盡可能地減少第三方的依賴，同時又要盡可能支持主流的網絡和模型。據此，移植移動端已有的深度學習框架是比較合適的選擇。本文通過移植騰訊的 ncnn 神經網絡計算框架到RT-Thread 操作系統(tǒng)，為無人機提供深度學習支持。ncnn 從設計上考慮移動端的部署和應用，并且具有良好的跨平臺性，無任何第三方庫依賴，不依賴 BLAS 等計算框架。ncnn 滿足具有以下優(yōu)點，使其能作為智能化無人機深度學習支持平臺：（1） 支持大部分常用的 CNN 網絡，如主流的 VGG、Goog Le Net、Resnet、Squeeze Net、YOLO。（2） 純 C++ 實現(xiàn)。通常深度學習框架會依賴 BLAS 和 LAPACK 等計算庫，而后者部分代碼往往使用Fortran 語言編寫，難以移植。（3） ARM NEON 匯編優(yōu)化。NEON是 ARM Cortex-A 系列芯片中的一種 SIMD 指令集，在單個 CPU指令周期完成多組數(shù)據的運算。目前無人機設備常用ARM 芯片，使用 NEON 指令集實現(xiàn)卷積層、全連接層、池化層等大部分CNN 的關鍵層，能有效地提升計算性能。（4） 通常卷積層在計算卷積時，為利用優(yōu)化過的高效的通用矩陣乘法函數(shù)（GeneralMatrix Multiplication），會將一個 H × W × C 的特征圖拆分重組為 N 個 K2 × C 維向量，即一個（K2C）× N 的矩陣，其中 K 為卷積核的長寬，同時將 D 個 K × K × C 的卷積核重組為一個 D×（K2C）的矩陣。兩個矩陣通過一個矩陣乘法得到一個輸出矩陣，再改變?yōu)橄鄳敵龅男螤?，得到輸出張量，即完成出一個卷積層的計算。這種計算卷積的方法會造成大量的數(shù)據冗余[5]。在ncnn 中卷積層采用原始的滑動窗口卷積實現(xiàn)，然后進行優(yōu)化，避免在中間計算過程構造出較大的矩陣，減少內存占用。（5） 整體庫體積較小，低于 500KB。無人機系統(tǒng)通常存儲空間有限，如Pixhawk 僅提供 2MB 大小的閃存用于存儲程序，而 Ardupilot 提供的 Pixhawk 飛控固件僅 1.1MB，較小的第三方神經網絡庫可以盡量降低對存儲空間的要求。

3 結語

綜上所述，傳統(tǒng)無人機視覺系統(tǒng)中存在著一定的弊端，無法深入處理所獲取的各類數(shù)據信息，因此本次研究引入了深度學習技術，在無人機視覺系統(tǒng)中移植了ncnn 作為其深度學習的主要框架，能夠有效解決這類問題，并且維持無人機的穩(wěn)定飛行，有效提升無人機執(zhí)行相關任務的質量及效率，值得大力推廣。