• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      激光雷達(dá)三維點(diǎn)云目標(biāo)補(bǔ)全算法

      2022-07-07 12:50:24嚴(yán)璐顧昕
      電子技術(shù)與軟件工程 2022年5期
      關(guān)鍵詞:感知器池化層編碼器

      嚴(yán)璐 顧昕

      (南京萊斯信息技術(shù)股份有限公司 江蘇省南京市 210000)

      激光雷達(dá)在無人機(jī)/無人駕駛/文物修復(fù)/機(jī)器人等領(lǐng)域應(yīng)用越來越廣泛,視頻圖像數(shù)據(jù)易受光照變換的影響,激光雷達(dá)點(diǎn)云有效避免此問題,且數(shù)據(jù)量小。本算法應(yīng)用場(chǎng)景是泊位引導(dǎo)中基于點(diǎn)云檢測(cè)出航空器。點(diǎn)云數(shù)據(jù)量小,數(shù)據(jù)稀疏,機(jī)場(chǎng)環(huán)境下,雷達(dá)安裝位置和角度以及飛機(jī)本身相互遮擋,目標(biāo)點(diǎn)云嚴(yán)重缺失。飛機(jī)為異形結(jié)構(gòu),無法采用規(guī)則圖形進(jìn)行點(diǎn)云補(bǔ)全,這些對(duì)飛機(jī)目標(biāo)的識(shí)別檢測(cè)和尺寸衡量造成很大障礙,因此需要需要合適的點(diǎn)云補(bǔ)全模型。

      點(diǎn)云補(bǔ)全一直是深度學(xué)習(xí)和三維重建領(lǐng)域的一個(gè)重要的研究課題?;谏疃葘W(xué)習(xí)的三維點(diǎn)云修復(fù)技術(shù)主要有密集、補(bǔ)全、去噪三類重建方法。修復(fù)模型的關(guān)鍵技術(shù)有特征編碼/特征擴(kuò)展和損失函數(shù)設(shè)計(jì)。點(diǎn)云修復(fù)目的是提升點(diǎn)云密度,補(bǔ)全點(diǎn)云形狀以及去除噪聲等,從而提高點(diǎn)云質(zhì)量,便于后期識(shí)別檢測(cè)點(diǎn)云中的目標(biāo),衡量目標(biāo)大小。

      現(xiàn)有技術(shù)利用激光雷達(dá)掃描獲取物體外形,通常對(duì)外形不做補(bǔ)全處理?,F(xiàn)有的點(diǎn)云補(bǔ)全方法很多,但是補(bǔ)全稠密均勻性不足,目標(biāo)尺寸不夠準(zhǔn)確,還需要深入研究改進(jìn)。有些補(bǔ)全算法通過點(diǎn)云和圖像融合的方式,但是攝像頭受環(huán)境因素影響很大,如雨霧天,夜晚等。另外實(shí)際應(yīng)用中考慮到各種因素,并不能只為補(bǔ)全信息,同時(shí)架設(shè)雷達(dá)和攝像機(jī)。本文只基于PCN模型進(jìn)行改進(jìn),優(yōu)化點(diǎn)云補(bǔ)全。

      本文第2節(jié)介紹了點(diǎn)云補(bǔ)全相關(guān)技術(shù)點(diǎn);第3節(jié)介紹了算法詳細(xì)細(xì)節(jié);第4節(jié)給出了測(cè)試實(shí)驗(yàn)結(jié)果,最后給出本文的總結(jié)和后期工作展望。

      1 研究背景

      基于深度學(xué)習(xí)的點(diǎn)云修復(fù)目前較為通用的基礎(chǔ)網(wǎng)絡(luò)模型有多層感知器(MLP),卷積神經(jīng)網(wǎng)絡(luò)(CNN),自編碼器(AE)和對(duì)抗生成網(wǎng)絡(luò)(GAN)等。

      1.1 多層感知器

      1.2 卷積神經(jīng)網(wǎng)絡(luò)

      卷積神經(jīng)網(wǎng)絡(luò)(CNN)基本結(jié)構(gòu)主要包括輸入層,卷積層,池化層,全連接層以及輸出層。各層級(jí)之間區(qū)別于MLP的全神經(jīng)元相連,CNN只有部分神經(jīng)元相連。卷積層是通過在輸入圖像上滑動(dòng)卷積核并進(jìn)行相應(yīng)計(jì)算得到特征圖,一個(gè)特征圖共享相同的權(quán)重和偏置項(xiàng),共享權(quán)重減少參數(shù)的數(shù)量。池化層在卷積層后面,池化層與卷積層一般交替出現(xiàn),是一種非線性降采樣,減小數(shù)據(jù)的空間大小,降低參數(shù)數(shù)量和計(jì)算量。全連接層負(fù)責(zé)網(wǎng)絡(luò)中的高級(jí)推理。使用損失函數(shù)評(píng)價(jià)模型的預(yù)測(cè)值和真實(shí)值的相異程度。卷積層后連接激勵(lì)函數(shù),增強(qiáng)判定函數(shù)和整個(gè)神經(jīng)網(wǎng)絡(luò)的非線性特性,常用的激勵(lì)函數(shù)包括修正線性單元(rectified linear units,ReLU),雙曲正切函數(shù)和Sigmoid函數(shù)等。

      1.3 自編碼器

      自編碼器(AutoEncoder,AE)將輸入X編碼為一個(gè)新的表達(dá)Y,然后再將Y解碼回X,是一個(gè)無監(jiān)督機(jī)器學(xué)習(xí)算法。目的是對(duì)一組數(shù)據(jù)學(xué)習(xí)出一種編碼,然后通過這種編碼重構(gòu)輸出。自編碼器具有數(shù)據(jù)相關(guān)性/數(shù)據(jù)有損性和自動(dòng)學(xué)習(xí)性等特點(diǎn),常用于數(shù)據(jù)的去噪和降維。

      1.4 PointNet

      2017年Qi等提出了第一個(gè)作用于點(diǎn)云的深度學(xué)習(xí)框架PointNet網(wǎng)絡(luò),實(shí)現(xiàn)三維點(diǎn)云分類,形狀部分分割和場(chǎng)景語義分析。PointNet分類網(wǎng)絡(luò)將n個(gè)點(diǎn)作為輸入,應(yīng)用輸入和特征變換,然后通過兩次的多層感知器獲取點(diǎn)云特征信息,通過最大池化層聚合點(diǎn)要素,輸出是k類的分類分?jǐn)?shù)。此模型設(shè)計(jì)關(guān)鍵點(diǎn)是無序輸入的對(duì)稱函數(shù),本地和全局信息匯總以及聯(lián)合調(diào)整網(wǎng)絡(luò)。

      1.5 基于深度學(xué)習(xí)的三維點(diǎn)云修復(fù)技術(shù)

      上文提到的密集重建、補(bǔ)全重建和去噪重建三種方法,實(shí)際應(yīng)用中可根據(jù)點(diǎn)云修復(fù)任務(wù)的側(cè)重點(diǎn)差異選擇合適的方法。密集重建的目標(biāo)是通過采集到的一組非均勻分布,密度與實(shí)際需求相較欠缺的點(diǎn)云,保持目標(biāo)形狀特征完整性的前提條件下,輸出相對(duì)均勻、密集的補(bǔ)全數(shù)據(jù)。補(bǔ)全重建的目標(biāo)是從目標(biāo)殘缺的、被部分遮擋的點(diǎn)云數(shù)據(jù)中,還原目標(biāo)完整形狀特性。用于補(bǔ)全重建的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)一般由點(diǎn)云編碼器和點(diǎn)云解碼器組成,編碼器提取出輸入的殘缺點(diǎn)云的形狀特征,解碼器利用形狀特征基于由粗到細(xì)遞增的策略恢復(fù)出完整的點(diǎn)云數(shù)據(jù)。點(diǎn)云去噪目標(biāo)是從輸入的點(diǎn)云數(shù)據(jù)中,提取并過濾噪聲,恢復(fù)一個(gè)干凈的點(diǎn)云集,同時(shí)保留目標(biāo)的三位幾何細(xì)節(jié)。

      圖卷積網(wǎng)絡(luò)(GCN)是對(duì)圖數(shù)據(jù)進(jìn)行深度學(xué)習(xí),圖一般包含社交網(wǎng)絡(luò),通信網(wǎng)絡(luò)等,圖中的每個(gè)節(jié)點(diǎn)分別表示網(wǎng)絡(luò)中的每個(gè)個(gè)體。目前常用的方法有:

      (1)通過Multi-branch GCN,Clone GCN,NodeShuffle三個(gè)新的模塊進(jìn)行點(diǎn)云采樣,其中采用圖卷積網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)于局部點(diǎn)信息的編碼,此外通過Inception-DenseGCN進(jìn)行多尺度點(diǎn)的特征提取,通過坐標(biāo)重建再現(xiàn)最終的密集點(diǎn)云。

      (2)基于深度學(xué)習(xí)的點(diǎn)補(bǔ)全網(wǎng)絡(luò)(PCN)。PCN網(wǎng)絡(luò)模型包括編碼器和解碼器,編碼器使用基于MLP和最大池化操作的網(wǎng)絡(luò)模型,提取輸入點(diǎn)云的特征,得到特征向量;解碼器先通過全連接層得到較為稀疏的補(bǔ)全點(diǎn)云,在經(jīng)過折疊網(wǎng)絡(luò)獲得稀疏的點(diǎn)云坐標(biāo)和平滑的密集點(diǎn)云。

      (3)基于神經(jīng)網(wǎng)絡(luò)進(jìn)行三維點(diǎn)云去噪,利用神經(jīng)網(wǎng)絡(luò)提取的點(diǎn)云特征估計(jì)噪聲點(diǎn)云的參考平面,然后將噪聲點(diǎn)投影到相應(yīng)的估計(jì)參考平面上,對(duì)點(diǎn)云進(jìn)行降噪處理。Zhao等提出一種基于自動(dòng)編碼器結(jié)構(gòu)的3D點(diǎn)膠囊網(wǎng)絡(luò),來實(shí)現(xiàn)稀疏點(diǎn)云的重建;

      (4)基于生成對(duì)抗網(wǎng)絡(luò)框架,提出了一種自動(dòng)修復(fù)補(bǔ)全三維點(diǎn)云形狀的神經(jīng)網(wǎng)絡(luò);

      (5)結(jié)合強(qiáng)化學(xué)習(xí)代理控制生成對(duì)抗網(wǎng)絡(luò)(Generative adversarial network,GAN)進(jìn)行點(diǎn)云的生成補(bǔ)全算法。

      2 基于改進(jìn)的PCN模型的激光雷達(dá)三維點(diǎn)云補(bǔ)全算法

      算法簡要流程是輸入原始點(diǎn)云,使用本算法模型進(jìn)行點(diǎn)云補(bǔ)全,測(cè)量計(jì)算補(bǔ)全的點(diǎn)云并輸出結(jié)果。算法以飛機(jī)點(diǎn)云數(shù)據(jù)為例,飛機(jī)原始點(diǎn)云數(shù)據(jù)稀疏且殘缺不全,飛機(jī)輪廓難以判斷,更對(duì)飛機(jī)尺寸測(cè)量造成困難。

      2.1 算法思路

      針對(duì)飛機(jī)這種異形結(jié)構(gòu)目標(biāo),在不同角度下,機(jī)翼機(jī)身缺失嚴(yán)重,對(duì)獲取目標(biāo)點(diǎn)云特征要求較高,因此算法基于PCN網(wǎng)絡(luò)對(duì)編碼層進(jìn)行改進(jìn),增加一層共享多層感知器(Shared MLP)和逐點(diǎn)最大池化層(Point-feature Maxpool)組合,并且將多層提取的特征串聯(lián)。

      2.2 算法

      算法的基本思想:

      PCN算法如圖1所示,采用深度學(xué)習(xí)方法。本算法基于PCN網(wǎng)絡(luò)做出改進(jìn),原始的PCN網(wǎng)絡(luò)編碼層網(wǎng)絡(luò)結(jié)構(gòu)采用兩層共享多層感知器(Shared MLP)與逐點(diǎn)最大池化層(Point-Wise MaxPool)組合,第二層輸入時(shí)第一層(Shared MLP)輸出與(Point-wise Maxpool)輸出串聯(lián)結(jié)果。

      圖1:原始PCN網(wǎng)絡(luò)結(jié)構(gòu)

      改進(jìn)的PCN網(wǎng)絡(luò)模型如圖2所示:

      圖2:PCN改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)

      (1)編碼階段:本方法將擴(kuò)展增加一層共享多層感知器(Shared MLP)和逐點(diǎn)最大池化層(Point-feature Maxpool)組合,并且第一層獲得的點(diǎn)特征Point feature i與第二層獲得的點(diǎn)特征Point feature ii和逐點(diǎn)最大池化全局特征Global feature ii串聯(lián)作為該層輸入,但是新增層全局特征每點(diǎn)的維度不變,獲得最后全局特征Global feature iii。

      (2)解碼階段:本方法與PCN模型結(jié)構(gòu)一致,即將獲得的特征Global feature iii通過全連接層解碼(fully-connected decoder),重采樣獲得飛機(jī)整體完整輪廓,通過基于折疊的解碼操作(folding-based operation)平滑物體表面。

      2.3 算法詳述

      PCN網(wǎng)絡(luò)改進(jìn):

      PCN改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu):本方法將擴(kuò)展增加一層共享多層感知器(Shared MLP)和逐點(diǎn)最大池化層(Point-feature Maxpool)組合,并且第一層獲得的點(diǎn)特征Point feature i與第二層獲得的點(diǎn)特征Point feature ii和逐點(diǎn)最大池化全局特征Global feature ii串聯(lián)作為該層輸入,但是新增層全局特征每點(diǎn)的維度不變,獲得最后全局特征Global feature iii。具體描述如下:

      在解碼階段,本方法與PCN網(wǎng)絡(luò)結(jié)構(gòu)一致,即將獲得的特征Global feature iii通過全連接層解碼(fully-connected decoder),重采樣獲得飛機(jī)整體完整輪廓,通過基于折疊的解碼操作(folding-based operation)平滑物體表面。

      3 實(shí)驗(yàn)結(jié)果及分析

      3.1 硬件配置與試驗(yàn)平臺(tái)

      算法實(shí)現(xiàn)采用的主機(jī),內(nèi)核I7,英偉達(dá)1080Ti的顯卡,設(shè)備內(nèi)存4G,操作系統(tǒng)為Ubuntu16,采用python語言實(shí)現(xiàn)。

      3.2 實(shí)驗(yàn)結(jié)果和效果分析

      本方法輸出如圖3 output所示。改進(jìn)之后,點(diǎn)云數(shù)據(jù)更加稠密均勻,物體輪廓特征細(xì)節(jié)部分補(bǔ)全效果更好。

      圖3:左邊input為飛機(jī)原始點(diǎn)云數(shù)據(jù),右邊output為飛機(jī)點(diǎn)云補(bǔ)全輸出

      測(cè)試部分,測(cè)量機(jī)翼寬度,準(zhǔn)確補(bǔ)全機(jī)翼寬度對(duì)測(cè)量準(zhǔn)確度影響很大,這就要求算法對(duì)物體輪廓細(xì)節(jié)部分還原效果要好。利用補(bǔ)全好的飛機(jī)外形測(cè)量機(jī)翼寬度,如圖4所示。由于激光束長度a,b,及角度c是可以直接測(cè)量,則利用數(shù)學(xué)知識(shí)可以求得機(jī)翼長度。

      圖4:(a)(b)測(cè)量機(jī)翼寬度

      由以上方法計(jì)算出機(jī)翼寬度,對(duì)進(jìn)場(chǎng)泊位的飛機(jī)進(jìn)行機(jī)型判別,確認(rèn)泊位飛機(jī)信息。

      4 結(jié)束語

      本文基于改進(jìn)的PCN算法實(shí)現(xiàn)點(diǎn)云補(bǔ)全,輸入稀疏的飛機(jī)點(diǎn)云,獲得完整飛機(jī)點(diǎn)云,并基于完整的飛機(jī)點(diǎn)云計(jì)算出飛機(jī)的機(jī)翼寬度。

      機(jī)場(chǎng)、光伏、水利、學(xué)校、風(fēng)景區(qū)等應(yīng)用場(chǎng)景,占地廣,重點(diǎn)位置需要實(shí)時(shí)監(jiān)測(cè),需要在多個(gè)重點(diǎn)關(guān)注點(diǎn)安裝雷達(dá)獲取點(diǎn)云數(shù)據(jù),采用此算法補(bǔ)全缺失的點(diǎn)云,提高點(diǎn)云檢測(cè)識(shí)別模型的準(zhǔn)確率。后期可以采用邊緣計(jì)算框架,將點(diǎn)云補(bǔ)全算法部署到邊緣服務(wù)器上,將經(jīng)過補(bǔ)全等處理的結(jié)果發(fā)送給總控,或者在邊緣服務(wù)器上實(shí)現(xiàn)點(diǎn)云的補(bǔ)全和識(shí)別檢測(cè),將檢測(cè)結(jié)果發(fā)送給總控,實(shí)現(xiàn)邊緣部署和計(jì)算。

      猜你喜歡
      感知器池化層編碼器
      卷積神經(jīng)網(wǎng)絡(luò)模型研究分析*
      火箭貯箱噴涂機(jī)器人直接示教運(yùn)動(dòng)感知器設(shè)計(jì)與分析
      基于卷積神經(jīng)網(wǎng)絡(luò)的紙幣分類與點(diǎn)鈔
      基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別研究
      科技傳播(2020年6期)2020-05-25 11:07:46
      感知器在礦井突水水源識(shí)別中的應(yīng)用
      AI超市
      尿濕感知器
      基于FPGA的同步機(jī)軸角編碼器
      基于全卷積神經(jīng)網(wǎng)絡(luò)的SAR圖像目標(biāo)分類*
      基于PRBS檢測(cè)的8B/IOB編碼器設(shè)計(jì)
      中阳县| 遂平县| 辉南县| 育儿| 淅川县| 宁波市| 天津市| 巫山县| 塔河县| 霞浦县| 五台县| 楚雄市| 连城县| 宜丰县| 庐江县| 漳平市| 平陆县| 台东市| 兰考县| 遂川县| 金塔县| 洛宁县| 上蔡县| 枣强县| 米林县| 若尔盖县| 都江堰市| 峨眉山市| 潞西市| 华宁县| 科尔| 大兴区| 广德县| 定襄县| 天祝| 清原| 呼和浩特市| 桐梓县| 和静县| 昌宁县| 桃园县|