基于特征融合的深度學(xué)習(xí)點(diǎn)云補(bǔ)全算法

趙毅強(qiáng)，周意遙，胡?彬，艾西丁，陳?瑞

基于特征融合的深度學(xué)習(xí)點(diǎn)云補(bǔ)全算法

趙毅強(qiáng)，周意遙，胡?彬，艾西丁，陳?瑞

(天津大學(xué)微電子學(xué)院，天津 300072)

由于激光雷達(dá)等三維掃描設(shè)備分辨率限制、目標(biāo)間的相互遮擋以及目標(biāo)表面材質(zhì)透明等問(wèn)題，采集到的三維點(diǎn)云數(shù)據(jù)往往是不完整的．近年來(lái)，以數(shù)據(jù)驅(qū)動(dòng)為主的深度學(xué)習(xí)方法逐漸被用于解決點(diǎn)云補(bǔ)全問(wèn)題，然而，現(xiàn)有的點(diǎn)云補(bǔ)全算法致力于補(bǔ)全出原始目標(biāo)點(diǎn)云的整體拓?fù)浣Y(jié)構(gòu)而忽略了對(duì)于目標(biāo)點(diǎn)云局部細(xì)節(jié)位置的恢復(fù)．針對(duì)這一問(wèn)題，提出了一種基于特征融合的深度學(xué)習(xí)點(diǎn)云補(bǔ)全算法，利用關(guān)系感知編碼器提取得到的點(diǎn)云鄰域分布特性和點(diǎn)云空間特征進(jìn)行融合并把點(diǎn)云映射為128維的潛在特征向量，接著通過(guò)樹(shù)狀解碼器將全局特征向量與局部特征向量進(jìn)行特征融合并分形輸出補(bǔ)全的點(diǎn)云預(yù)測(cè)．在開(kāi)源數(shù)據(jù)集ShapeNet和KITTI上的仿真結(jié)果顯示，提出的點(diǎn)云補(bǔ)全算法在補(bǔ)全精度和可視化效果上相比于現(xiàn)有主流的點(diǎn)云補(bǔ)全算法均有了提升．在相互倒角距離指標(biāo)上，本文算法在飛機(jī)、汽車(chē)、椅子和桌子點(diǎn)云模型上分別減少了2.4%、2.5%、8.3%和6.2%；在單向豪斯多夫距離指標(biāo)上，本文算法在飛機(jī)、汽車(chē)、椅子和桌子點(diǎn)云模型上分別減少了2.1%、0.4%、0.8%和0.3%．最后，利用鐳神智能16線激光雷達(dá)實(shí)測(cè)點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云補(bǔ)全實(shí)驗(yàn)驗(yàn)證了所提出的點(diǎn)云補(bǔ)全算法的有效性，說(shuō)明了在ShapeNet數(shù)據(jù)集中訓(xùn)練的點(diǎn)云補(bǔ)全網(wǎng)絡(luò)能夠很好地適用于激光雷達(dá)測(cè)量得到的稀疏點(diǎn)云數(shù)據(jù)．

三維點(diǎn)云；深度學(xué)習(xí)；補(bǔ)全算法；拓?fù)浣Y(jié)構(gòu)；特征融合

隨著三維掃描設(shè)備的不斷發(fā)展，具有空間坐標(biāo)信息的點(diǎn)云數(shù)據(jù)越來(lái)越容易獲取，并廣泛應(yīng)用到三維建模、自動(dòng)駕駛及機(jī)器人路徑規(guī)劃等領(lǐng)域[1]．然而在點(diǎn)云數(shù)據(jù)采集過(guò)程中，由于設(shè)備分辨率的限制、物體間的相互遮擋以及物體表面透明材質(zhì)等問(wèn)題的影響，采集到的點(diǎn)云數(shù)據(jù)往往是不完整的，這需要利用設(shè)備的移動(dòng)進(jìn)行多視角采集并進(jìn)行點(diǎn)云拼接來(lái)還原目標(biāo)的點(diǎn)云數(shù)據(jù)，這增加了點(diǎn)云采集的工作量．因此如何利用數(shù)量有限的殘缺點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云補(bǔ)全恢復(fù)出原始的點(diǎn)云形貌成為了當(dāng)前點(diǎn)云處理算法的研究熱點(diǎn)，并對(duì)點(diǎn)云三維重建以及目標(biāo)的識(shí)別具有重要的研究?jī)r(jià)值[2]．

近年來(lái)，以數(shù)據(jù)驅(qū)動(dòng)為主的深度學(xué)習(xí)點(diǎn)云補(bǔ)全算法廣泛用于點(diǎn)云補(bǔ)全問(wèn)題．但是與傳統(tǒng)的二維圖像像素具有規(guī)則的排列方式不同，點(diǎn)云數(shù)據(jù)是一系列稀疏的三維空間點(diǎn)，并且具有排序不變性[3]，而傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)要求規(guī)則的空間排布[4]．VoxelNet方法[5]嘗試將點(diǎn)云劃分為空間體素網(wǎng)格來(lái)模擬圖像的規(guī)則排列形式以將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于點(diǎn)云目標(biāo)探測(cè)，然而體素網(wǎng)格的方法會(huì)損失點(diǎn)云的細(xì)節(jié)特征，并且隨著體素網(wǎng)格分辨率的提高會(huì)顯著增加設(shè)備的內(nèi)存消耗．2017年，Qi等[6]提出了一種名為PointNet的網(wǎng)絡(luò)框架并利用共享全連接層直接對(duì)原始的點(diǎn)云數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)操作，能夠有效提取點(diǎn)云模型的空間關(guān)鍵點(diǎn)并最大化空間特征．Groueix等[7]在2018年提出了AtlasNet網(wǎng)絡(luò)，以共享全連接層的形式來(lái)提取點(diǎn)云的特征并重建出原始的點(diǎn)云模型．同年，Yang等[8]提出了一種共享全連接層與網(wǎng)格變形相結(jié)合的FoldingNet網(wǎng)絡(luò)來(lái)用于點(diǎn)云特征的提取．Yuan等[9]也在2018年提出了一種多尺度融合的點(diǎn)云補(bǔ)全網(wǎng)絡(luò)PCN來(lái)補(bǔ)全點(diǎn)云模型并能夠有效用于自動(dòng)駕駛的實(shí)測(cè)點(diǎn)云數(shù)據(jù)．2019年斯坦福大學(xué)的Lyne等[10]提出了一種基于樹(shù)狀形式的點(diǎn)云補(bǔ)全網(wǎng)絡(luò)TopNet來(lái)恢復(fù)出缺失的點(diǎn)云部分，但是隨著樹(shù)層次的增加，網(wǎng)絡(luò)參數(shù)會(huì)顯著提高．在生成對(duì)抗式網(wǎng)絡(luò)(generate adversarial networks，GAN)[11]被提出以后，其被廣泛用于深度學(xué)習(xí)網(wǎng)絡(luò)來(lái)增強(qiáng)網(wǎng)絡(luò)的泛化性能．2017年P(guān)anos等[12]用實(shí)驗(yàn)證明了利用GAN網(wǎng)絡(luò)生成點(diǎn)云的特征向量會(huì)比直接生成點(diǎn)云數(shù)據(jù)效果更好．基于Panos等的成果，Chen等[13]在2019年利用自編碼器與GAN相結(jié)合的網(wǎng)絡(luò)架構(gòu)進(jìn)行點(diǎn)云補(bǔ)全，具有較好的泛化性能．

綜上所述，現(xiàn)有深度學(xué)習(xí)均以共享全連接層的方式獨(dú)立地處理每個(gè)采樣點(diǎn)，再由最大池化層進(jìn)行特征提取，這忽視了點(diǎn)云的鄰域空間分布特性．同時(shí)，僅以全連接層將整個(gè)特征向量映射回點(diǎn)云空間的方式忽略了潛在特征空間的某些維度可能學(xué)習(xí)點(diǎn)云模型的某種特定空間拓?fù)浣Y(jié)構(gòu)．為了提高深度學(xué)習(xí)點(diǎn)云補(bǔ)全算法的性能，本文提出了一種基于特征融合的深度學(xué)習(xí)點(diǎn)云補(bǔ)全算法，此算法分為關(guān)系感知編碼器和樹(shù)狀解碼器兩個(gè)部分．關(guān)系感知編碼器將鄰域點(diǎn)的空間分布特征與原始的點(diǎn)云空間坐標(biāo)進(jìn)行融合，并利用多層特征拼接來(lái)將點(diǎn)云映射為潛在特征向量，樹(shù)狀解碼器通過(guò)潛在特征向量的局部特征與全局特征進(jìn)行融合來(lái)分形輸出補(bǔ)全的點(diǎn)云預(yù)測(cè)．在開(kāi)源數(shù)據(jù)集和實(shí)測(cè)點(diǎn)云數(shù)據(jù)的補(bǔ)全實(shí)驗(yàn)結(jié)果表明，本文提出的點(diǎn)云補(bǔ)全算法相比于現(xiàn)有主流的點(diǎn)云補(bǔ)全算法在補(bǔ)全精度和可視化效果上均有了較大提升．

1?基于特征融合的深度學(xué)習(xí)點(diǎn)云補(bǔ)全算法架構(gòu)

1.1?算法整體架構(gòu)

本文提出的基于特征融合的深度學(xué)習(xí)點(diǎn)云補(bǔ)全算法框架如圖1所示．

整個(gè)網(wǎng)絡(luò)架構(gòu)分為關(guān)系感知編碼器與樹(shù)狀解碼器兩個(gè)部分，關(guān)系感知編碼器將輸入點(diǎn)云的特征信息映射為潛在特征向量，樹(shù)狀解碼器將潛在特征向量進(jìn)行特征解碼并由4個(gè)葉子節(jié)點(diǎn)分形輸出補(bǔ)全點(diǎn)云．圖中每個(gè)方框上的數(shù)字代表張量的維度數(shù)，為點(diǎn)云的數(shù)量(如×3代表此張量共有兩個(gè)維度，第1個(gè)維度數(shù)為，第2個(gè)維度數(shù)為3)．整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)共包含3種神經(jīng)網(wǎng)絡(luò)單元，分別為全連接層、共享全連接層和最大池化層．

1.2?關(guān)系感知編碼器

現(xiàn)有的深度學(xué)習(xí)點(diǎn)云補(bǔ)全算法研究中，常用編碼器獨(dú)立地提取原始點(diǎn)云中每個(gè)采樣點(diǎn)的特征信息而忽略了點(diǎn)云鄰域的局部空間分布關(guān)系，然而這些由點(diǎn)云鄰域點(diǎn)構(gòu)成的局部空間拓?fù)浣Y(jié)構(gòu)對(duì)于點(diǎn)云局部細(xì)節(jié)的表達(dá)至關(guān)重要．

圖1?基于特征融合的深度學(xué)習(xí)點(diǎn)云補(bǔ)全框架

1.3?樹(shù)狀解碼器

現(xiàn)有的點(diǎn)云補(bǔ)全網(wǎng)絡(luò)的解碼器直接使用全連接層來(lái)把整個(gè)潛在特征向量進(jìn)行特征解碼以輸出補(bǔ)全點(diǎn)云，這忽略了特征向量的不同維度可能會(huì)對(duì)應(yīng)不同的局部點(diǎn)云拓?fù)浣Y(jié)構(gòu)，這對(duì)于恢復(fù)點(diǎn)云的結(jié)構(gòu)細(xì)節(jié)至關(guān)重要．

為了解決這一問(wèn)題，本文提出了一種新的樹(shù)狀解碼器并采用分形輸出的策略來(lái)有效融合潛在特征空間的全局特征和局部特征．如圖1紫框中的樹(shù)狀解碼器所示，樹(shù)狀解碼器共含有3層節(jié)點(diǎn)，包含1個(gè)根節(jié)點(diǎn)和4個(gè)葉子節(jié)點(diǎn)．樹(shù)狀解碼器將1×128維的潛在特征向量劃分為4個(gè)1×32維的張量，接著使用5個(gè)1層全連接層來(lái)分別處理這4個(gè)局部特征向量和全局特征向量，每一個(gè)全連接層均使用BN和ReLU操作．再將從全局特征向量提取到的1×256維的張量復(fù)制4次并分別與從局部特征向量提取到的特征張量進(jìn)行特征拼接．接著用4個(gè)2層全連接層(256個(gè)神經(jīng)元與1536個(gè)神經(jīng)元)分別處理這4個(gè)拼接好的特征張量并使用Tanh激活函數(shù)進(jìn)行非線性激活得到葉子節(jié)點(diǎn)的輸出．最后將各個(gè)葉子節(jié)點(diǎn)的輸出維度進(jìn)行調(diào)整并將點(diǎn)云片段拼接得到最終維度為×3的補(bǔ)全點(diǎn)云預(yù)測(cè)．

本文將傳統(tǒng)的基于全連接層直接輸出整個(gè)補(bǔ)全點(diǎn)云的基準(zhǔn)方法與樹(shù)狀解碼器輸出的點(diǎn)云進(jìn)行了對(duì)比．如圖2所示，基準(zhǔn)方法為使用全連接層將潛在特征向量直接映射回整個(gè)補(bǔ)全點(diǎn)云，總維度為2048×3．把2048個(gè)采樣點(diǎn)分為了4段并使用不同的顏色進(jìn)行了標(biāo)記，其中第1～512個(gè)采樣點(diǎn)為綠色，第513～1024個(gè)采樣點(diǎn)為藍(lán)色，第1025～1536個(gè)采樣點(diǎn)為紅色，第1537～2048個(gè)采樣點(diǎn)為黃色．由于基準(zhǔn)方法是將全局潛在特征向量進(jìn)行直接點(diǎn)云映射，可以看到輸出的分段補(bǔ)全點(diǎn)云在空間中分布散亂并且覆蓋整個(gè)點(diǎn)云空間，沒(méi)有將特定的局部拓?fù)浣Y(jié)構(gòu)映射到潛在特征向量的特定維度上．而本文算法采用樹(shù)狀解碼器將32維度的局部潛在特征與128維度的全局潛在特征進(jìn)行融合并分形輸出補(bǔ)全點(diǎn)云片段，4個(gè)葉子節(jié)點(diǎn)分別輸出512個(gè)采樣點(diǎn)，對(duì)應(yīng)的顏色分別為綠色、藍(lán)色、紅色和黃色．從圖2中可以看到，不同顏色的采樣點(diǎn)傾向于聚集在特定的局部空間結(jié)構(gòu)，比如椅子的扶手、飛機(jī)的機(jī)翼和桌子的腿部位置，這說(shuō)明了樹(shù)狀解碼器能夠通過(guò)無(wú)監(jiān)督學(xué)習(xí)的方式將局部拓?fù)浣Y(jié)構(gòu)映射到潛在特征向量的特定維度，更好地表達(dá)點(diǎn)云的局部細(xì)節(jié)特征．

圖2?輸出點(diǎn)云空間分布

2?開(kāi)源數(shù)據(jù)集點(diǎn)云補(bǔ)全結(jié)果

2.1?實(shí)驗(yàn)設(shè)置

本文提出的點(diǎn)云補(bǔ)全算法將與PointNet[6]、FoldingNet[8]、PCN[9]、TopNet[10]和UPCC[13]這5種主流的深度學(xué)習(xí)補(bǔ)全算法進(jìn)行對(duì)比．其中PointNet[6]為第一個(gè)使用共享全連接層處理點(diǎn)云數(shù)據(jù)的深度學(xué)習(xí)框架，利用多層全連接層直接將潛在特征向量進(jìn)行整體點(diǎn)云輸出．FoldingNet[8]在共享全連接層提取點(diǎn)云特征的基礎(chǔ)上加入了網(wǎng)格變形模塊，利用二維網(wǎng)格的折疊組合來(lái)輸出補(bǔ)全點(diǎn)云．PCN[9]使用多尺度的操作來(lái)提升點(diǎn)云補(bǔ)全的性能，首先輸出512個(gè)采樣點(diǎn)進(jìn)行補(bǔ)全精度計(jì)算，再通過(guò)網(wǎng)格變形操作輸出2048個(gè)采樣點(diǎn)得到最終的輸出補(bǔ)全點(diǎn)云．TopNet[10]采用多個(gè)全連接層相結(jié)合的方式來(lái)聚合多層全局特征并輸出補(bǔ)全點(diǎn)云．UPCC[13]采用共享全連接層與GAN網(wǎng)絡(luò)相結(jié)合的方式進(jìn)行補(bǔ)全點(diǎn)云的輸出，通過(guò)兩階段訓(xùn)練以提升補(bǔ)全網(wǎng)絡(luò)的泛化性能．實(shí)驗(yàn)設(shè)置主要分為數(shù)據(jù)集、實(shí)施細(xì)節(jié)、損失函數(shù)和評(píng)價(jià)指標(biāo)4個(gè)方面．

2.1.1?數(shù)據(jù)集

本文利用大型開(kāi)源數(shù)據(jù)集ShapeNet[15]和KITTI[16]進(jìn)行點(diǎn)云補(bǔ)全算法仿真實(shí)驗(yàn)．ShapeNet數(shù)據(jù)集是一個(gè)規(guī)模較大的三維形狀數(shù)據(jù)集，用于計(jì)算機(jī)圖形學(xué)、機(jī)器人學(xué)和計(jì)算機(jī)視覺(jué)等領(lǐng)域，由斯坦福大學(xué)和芝加哥豐田學(xué)院于2015年聯(lián)合發(fā)布，共包含55個(gè)常見(jiàn)類(lèi)別的物品種類(lèi)．KITTI數(shù)據(jù)集是由德國(guó)卡爾斯魯厄理工學(xué)院和美國(guó)豐田技術(shù)研究院于2013年聯(lián)合發(fā)布，是目前世界上最大的自動(dòng)駕駛場(chǎng)景下的算法評(píng)測(cè)數(shù)據(jù)集，用于立體圖像、光流、3D物體檢測(cè)等領(lǐng)域，每張圖像包含最多達(dá)15輛車(chē)和30個(gè)行人，并帶有各種程度的目標(biāo)遮擋和阻斷．

2.1.2?實(shí)施細(xì)節(jié)

在仿真實(shí)驗(yàn)中，將ShapeNet數(shù)據(jù)集用于深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練和測(cè)試，KITTI數(shù)據(jù)集由于沒(méi)有完整的目標(biāo)點(diǎn)云進(jìn)行補(bǔ)全精度計(jì)算，因此僅用于補(bǔ)全算法的性能測(cè)試并進(jìn)行可視化分析．本文選用飛機(jī)、汽車(chē)、椅子和桌子4種模型用于仿真實(shí)驗(yàn)，其中桌子模型包含8443種形狀、汽車(chē)模型包含7497種形狀、椅子模型包含6778種形狀、飛機(jī)模型包含4045種形狀．所有的點(diǎn)云模型均歸一化到－0.5～0.5的范圍內(nèi)，對(duì)每一種類(lèi)別單獨(dú)訓(xùn)練補(bǔ)全網(wǎng)絡(luò)，并且將80%的模型用于訓(xùn)練、10%的模型用于驗(yàn)證、10%的模型用于測(cè)試．

本文算法使用Pytorch框架進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，利用Adam優(yōu)化器在NVIDIA Geforce 2080 Ti GPU上對(duì)每個(gè)類(lèi)別的點(diǎn)云進(jìn)行300輪的訓(xùn)練，訓(xùn)練批次為32，學(xué)習(xí)率設(shè)置為0.0001，鄰域的數(shù)量為10，保存在驗(yàn)證集上效果最好的模型參數(shù)用于測(cè)試．

2.1.3?損失函數(shù)

在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，使用相互倒角距離(chamfer distance，CD)[17]作為損失函數(shù)，相互倒角距離度量了兩個(gè)點(diǎn)云模型1和2中相互之間最為接近采樣點(diǎn)的平均距離，和分別為點(diǎn)云模型中采樣點(diǎn)的三維坐標(biāo)，倒角距離越小說(shuō)明網(wǎng)絡(luò)補(bǔ)全性能越好．倒角距離的計(jì)算公式為

2.1.4?評(píng)價(jià)指標(biāo)

本文使用相互倒角距離和單向豪斯多夫距離(unidirectional Hausdorff distance，UHD)[13]作為補(bǔ)全精度的評(píng)價(jià)指標(biāo)．單向豪斯多夫距離度量了補(bǔ)全點(diǎn)云與原始?xì)埲秉c(diǎn)云之間的保真度，其計(jì)算了殘缺點(diǎn)云中各點(diǎn)與補(bǔ)全點(diǎn)云中各點(diǎn)最小距離的最大值，計(jì)算公式為

為了更好地說(shuō)明網(wǎng)絡(luò)的泛化性能，所有補(bǔ)全網(wǎng)絡(luò)的輸出點(diǎn)云的倒角距離計(jì)算僅在測(cè)試集上進(jìn)行．同時(shí)，本文對(duì)補(bǔ)全的點(diǎn)云預(yù)測(cè)進(jìn)行可視化，以觀察補(bǔ)全后的點(diǎn)云形狀，進(jìn)行定性分析．

2.2?ShapeNet數(shù)據(jù)集評(píng)估

在ShapeNet數(shù)據(jù)集上的相互倒角距離和單向豪斯多夫距離統(tǒng)計(jì)如表1和表2所示．從表中可以看出，本文提出的補(bǔ)全算法在4個(gè)點(diǎn)云模型中均取得了最高的補(bǔ)全精度，在相互倒角距離指標(biāo)上，本文算法在飛機(jī)、汽車(chē)、椅子和桌子點(diǎn)云模型上相比于其他主流算法中精度最高的PCN[9]分別減少了2.4%、2.5%、8.3%和6.2%；在單向豪斯多夫距離指標(biāo)上，本文算法在飛機(jī)、汽車(chē)、椅子和桌子點(diǎn)云模型上相比于其他主流算法中精度最高的PointNet[6]分別減少了2.1%、0.4%、0.8%和0.3%．可以看出，在具有更多細(xì)節(jié)結(jié)構(gòu)的桌子和椅子點(diǎn)云模型上本文算法補(bǔ)全性能提升更為明顯．

表1?點(diǎn)云補(bǔ)全相互倒角距離

Tab.1?Mutual CD of point cloud completion

表2?點(diǎn)云補(bǔ)全單向豪斯多夫距離

Tab.2?UHD of point cloud completion

4種點(diǎn)云模型補(bǔ)全的可視化結(jié)果如圖3所示，從補(bǔ)全精度和可視化結(jié)果可以看出，PointNet[6]和PCN[9]具有較高的點(diǎn)云補(bǔ)全精度，并且在一定程度上恢復(fù)出點(diǎn)云的局部細(xì)節(jié)．但是由于這兩種方法都是利用全連接層對(duì)全局潛在特征向量進(jìn)行整個(gè)點(diǎn)云模型的直接輸出，所以在局部細(xì)節(jié)的地方存在著一定的分布不均勻和不平整的情況．FoldingNet[8]通過(guò)網(wǎng)格變形操作來(lái)形成點(diǎn)云的空間結(jié)構(gòu)，從圖3中可以看出，其輸出的點(diǎn)云模型存在一定的網(wǎng)格扭曲痕跡，并且對(duì)于尖銳的結(jié)構(gòu)難以有效補(bǔ)全，往往以面陣形式形成補(bǔ)全點(diǎn)云的結(jié)構(gòu)，這使得FoldingNet[8]的補(bǔ)全精度不高．TopNet[10]由于采用多個(gè)全連接層來(lái)分層聚合全局特征，使得網(wǎng)絡(luò)的參數(shù)量大，并且收斂速度慢，會(huì)存在一定的補(bǔ)全點(diǎn)云分布散亂的情況．UPCC[13]采用生成對(duì)抗式網(wǎng)絡(luò)的形式進(jìn)行點(diǎn)云補(bǔ)全，在訓(xùn)練過(guò)程中使用鑒別器來(lái)判斷輸入點(diǎn)云是生成器生成的點(diǎn)云還是真實(shí)的輸入點(diǎn)云，這使得網(wǎng)絡(luò)能夠更廣泛地應(yīng)用于更多不同形狀的殘缺點(diǎn)云補(bǔ)全處理，但是對(duì)于點(diǎn)云的局部細(xì)節(jié)補(bǔ)全效果有限，補(bǔ)全精度有待提高．與其他點(diǎn)云補(bǔ)全算法相比，本文提出的點(diǎn)云補(bǔ)全算法能夠恢復(fù)出更多的細(xì)節(jié)特征(比如桌子和椅子的腿部位置以及機(jī)翼位置)，點(diǎn)云補(bǔ)全效果相比于其他算法更加合理并且與輸入點(diǎn)云更加一致，這說(shuō)明了本文算法能夠提升點(diǎn)云補(bǔ)全網(wǎng)絡(luò)的性能．

圖3?ShapeNet數(shù)據(jù)集點(diǎn)云補(bǔ)全可視化

2.3?KITTI數(shù)據(jù)集評(píng)估

由于KITTI數(shù)據(jù)集沒(méi)有完整的汽車(chē)點(diǎn)云數(shù)據(jù)來(lái)計(jì)算點(diǎn)云補(bǔ)全的精度，因此對(duì)于KITTI數(shù)據(jù)集中的激光雷達(dá)汽車(chē)點(diǎn)云數(shù)據(jù)，僅展示補(bǔ)全可視化結(jié)果．本文利用VoxelNet網(wǎng)絡(luò)[5]對(duì)自動(dòng)駕駛場(chǎng)景點(diǎn)云數(shù)據(jù)進(jìn)行了汽車(chē)目標(biāo)提取，將在ShapeNet數(shù)據(jù)集的汽車(chē)點(diǎn)云模型上訓(xùn)練好的補(bǔ)全網(wǎng)絡(luò)用于預(yù)測(cè)激光雷達(dá)采集得到的汽車(chē)點(diǎn)云補(bǔ)全．KITTI數(shù)據(jù)集上的點(diǎn)云數(shù)據(jù)更加稀疏并且空間分布呈現(xiàn)各向異性，這與ShapeNet數(shù)據(jù)集的三維點(diǎn)云模型數(shù)據(jù)分布存在一定的差異，因此能夠很好地驗(yàn)證補(bǔ)全網(wǎng)絡(luò)的泛化性能．

本文對(duì)兩種不同汽車(chē)朝向的場(chǎng)景點(diǎn)云進(jìn)行目標(biāo)提取和點(diǎn)云補(bǔ)全，所有對(duì)比算法的補(bǔ)全結(jié)果如圖4和圖5所示，利用VoxelNet目標(biāo)識(shí)別網(wǎng)絡(luò)提取的車(chē)輛點(diǎn)云在綠色三維包圍框內(nèi)，每個(gè)場(chǎng)景分別選取2輛汽車(chē)進(jìn)行點(diǎn)云補(bǔ)全．從圖中可以看出，F(xiàn)oldingNet[8]、TopNet[10]和UPCC[13]的補(bǔ)全輸出結(jié)果具有一定的外形缺陷，而本文提出的補(bǔ)全算法與PointNet[6]和PCN[9]相比能夠更好地恢復(fù)出汽車(chē)點(diǎn)云的整體形貌并且補(bǔ)全的點(diǎn)云分布更為均勻，同時(shí)補(bǔ)全出的汽車(chē)點(diǎn)云與可見(jiàn)光圖像中實(shí)際的汽車(chē)外形最為接近．對(duì)KITTI數(shù)據(jù)集中的自動(dòng)駕駛掃描車(chē)輛點(diǎn)云的補(bǔ)全結(jié)果說(shuō)明了本文算法與現(xiàn)有主流點(diǎn)云補(bǔ)全算法相比提升了點(diǎn)云補(bǔ)全的性能，并且補(bǔ)全結(jié)果具有更高的保真度，能夠適用于不同朝向的汽車(chē)點(diǎn)云補(bǔ)全．

圖4?KITTI數(shù)據(jù)集點(diǎn)云補(bǔ)全可視化(場(chǎng)景1)

圖5?KITTI數(shù)據(jù)集點(diǎn)云補(bǔ)全可視化(場(chǎng)景2)

2.4?消融實(shí)驗(yàn)

為了證明本文提出的網(wǎng)絡(luò)模塊能夠提升點(diǎn)云補(bǔ)全的精度，在汽車(chē)點(diǎn)云模型上對(duì)不同網(wǎng)絡(luò)模塊的有無(wú)進(jìn)行了消融實(shí)驗(yàn)探究．在關(guān)系感知解碼器中，有鄰域向量模塊和多層連接模塊；在樹(shù)狀解碼器中，有通道連接模塊和樹(shù)狀分形輸出模塊．對(duì)于前3種?？?，分別將其去除來(lái)訓(xùn)練網(wǎng)絡(luò)以計(jì)算補(bǔ)全精度(相互倒角距離)；對(duì)于樹(shù)狀解碼器輸出模塊，將其替換為基準(zhǔn)的全連接層輸出模塊．消融實(shí)驗(yàn)的補(bǔ)全精度如表3所示，從表3中可以看出，去掉補(bǔ)全網(wǎng)絡(luò)的每一種模塊均會(huì)使得補(bǔ)全精度降低，當(dāng)所有模塊均存在時(shí)，補(bǔ)全網(wǎng)絡(luò)取得了最高的補(bǔ)全精度，這證明了本文所提出的網(wǎng)絡(luò)模塊在點(diǎn)云補(bǔ)全任務(wù)中均有所貢獻(xiàn)．

表3?消融實(shí)驗(yàn)補(bǔ)全精度

Tab.3?Completion precision of ablation study

3?實(shí)測(cè)點(diǎn)云補(bǔ)全結(jié)果

3.1?實(shí)驗(yàn)掃描平臺(tái)

本文采用鐳神智能C16系列機(jī)械式激光雷達(dá)采集實(shí)測(cè)場(chǎng)景點(diǎn)云數(shù)據(jù)．圖6為所使用的激光雷達(dá)，選用的波段為905nm，測(cè)距方式為脈沖式測(cè)距，雷達(dá)外殼內(nèi)共安裝16對(duì)固定在軸承上的激光發(fā)射與接收裝置，通過(guò)內(nèi)部的旋轉(zhuǎn)電機(jī)以一定的轉(zhuǎn)速進(jìn)行360°旋轉(zhuǎn)掃描以得到場(chǎng)景點(diǎn)云數(shù)據(jù)．雷達(dá)的旋轉(zhuǎn)頻率為10Hz，垂直方向以2°的分辨率覆蓋30°的視場(chǎng)大小，水平方向以0.18°的分辨率覆蓋360°的視場(chǎng)大小．

圖6?C16系列激光雷達(dá)

3.2?實(shí)測(cè)點(diǎn)云補(bǔ)全結(jié)果

圖7為室內(nèi)掃描場(chǎng)景以及對(duì)應(yīng)的點(diǎn)云補(bǔ)全可視化圖，可以看到掃描到的目標(biāo)點(diǎn)云空間分布非常稀疏并且單個(gè)目標(biāo)含有的點(diǎn)云數(shù)量少且殘缺程度大．本文選取了實(shí)測(cè)點(diǎn)云中的椅子點(diǎn)云和桌子點(diǎn)云分別進(jìn)行補(bǔ)全實(shí)驗(yàn)，補(bǔ)全可視化結(jié)果如圖7(c)所示，從圖7中可以看出，雖然實(shí)測(cè)點(diǎn)云分布非常稀疏并且殘缺程度大，但是本文算法依舊能夠獲得最好的補(bǔ)全性能，并且補(bǔ)全結(jié)果與實(shí)際形狀最為接近．通過(guò)激光雷達(dá)實(shí)測(cè)點(diǎn)云數(shù)據(jù)的補(bǔ)全實(shí)驗(yàn)驗(yàn)證了本文提出的基于特征融合的點(diǎn)云補(bǔ)全算法能夠有效提升點(diǎn)云補(bǔ)全性能，并且可以很好地用于由激光雷達(dá)掃描獲得的稀疏點(diǎn)云數(shù)據(jù)．

圖7?激光雷達(dá)實(shí)測(cè)點(diǎn)云補(bǔ)全可視化

4?結(jié)?論

本文主要對(duì)三維點(diǎn)云數(shù)據(jù)獲取過(guò)程中由于采集設(shè)備分辨率受限和目標(biāo)間的相互遮擋等情況存在而導(dǎo)致的點(diǎn)云殘缺問(wèn)題進(jìn)行了研究，針對(duì)現(xiàn)有深度學(xué)習(xí)點(diǎn)云補(bǔ)全網(wǎng)絡(luò)無(wú)法恢復(fù)出細(xì)節(jié)特征的問(wèn)題提出了一種基于特征融合的深度學(xué)習(xí)點(diǎn)云補(bǔ)全算法．本文算法可以有效地將殘缺點(diǎn)云輸入進(jìn)行高保真的形狀補(bǔ)全，這可以減少在實(shí)際點(diǎn)云采集過(guò)程中需要進(jìn)行多視角的點(diǎn)云采集和拼接來(lái)還原目標(biāo)的三維形貌而帶來(lái)的額外工作量．本文算法還可以與實(shí)際應(yīng)用的自動(dòng)駕駛目標(biāo)檢測(cè)算法相結(jié)合，利用目標(biāo)檢測(cè)算法檢測(cè)出車(chē)輛目標(biāo)的三維包圍框后提取車(chē)輛的殘缺點(diǎn)云數(shù)據(jù)并進(jìn)行形狀補(bǔ)全來(lái)還原完整的車(chē)輛信息．大型開(kāi)源數(shù)據(jù)集ShapeNet和KITTI的補(bǔ)全實(shí)驗(yàn)以及實(shí)測(cè)激光雷達(dá)點(diǎn)云數(shù)據(jù)的補(bǔ)全實(shí)驗(yàn)結(jié)果表明：

(1) 本文提出的基于特征融合的深度學(xué)習(xí)點(diǎn)云補(bǔ)全算法能夠適用于密集掃描點(diǎn)云和稀疏掃描點(diǎn)云等不同空間分布特點(diǎn)的點(diǎn)云情形，并且補(bǔ)全的結(jié)果具有較高的保真度；

(2) 在ShapeNet和KITTI數(shù)據(jù)集上的補(bǔ)全實(shí)驗(yàn)結(jié)果說(shuō)明本文算法能夠在補(bǔ)全點(diǎn)云輪廓的同時(shí)有效恢復(fù)出目標(biāo)點(diǎn)云的細(xì)節(jié)特征，與現(xiàn)有主流的補(bǔ)全算法相比能夠大大提升點(diǎn)云補(bǔ)全的精度和可視化效果，并且能夠適用于不同殘缺分布的點(diǎn)云目標(biāo)；

(3) 對(duì)激光雷達(dá)實(shí)測(cè)點(diǎn)云數(shù)據(jù)補(bǔ)全實(shí)驗(yàn)結(jié)果說(shuō)明，本文算法能夠有效地補(bǔ)全出真實(shí)采集的殘缺目標(biāo)點(diǎn)云數(shù)據(jù)，相比現(xiàn)有主流的補(bǔ)全算法具有更好的補(bǔ)全性能．

［1］ Zou Yu，Wang Xueqian，Zhang Tao，et al. Broph：An efficient and compact binary descriptor for 3D point clouds[J]. Pattern Recognition，2008，76：522-536.

［2］ Wu Rundi，Chen Xuelin，Zhuang Yixin，et al. Multi-modal shape completion via conditional generative adver-sarial networks[C]// European Conference on Computer Vision. Glasgow，UK，2020：281-296.

［3］ Chen Honghua，Wei Mingqiang，Sun Yangxing，et al. Multi-patch collaborative point cloud denoising via low-rank recovery with graph constraint[J]. IEEE Transactions on Visualization and Computer Graphics，2020，26(11)：3255-3270.

［4］ 梁?煜，張金銘，張?為. 一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)的室內(nèi)深度估計(jì)方法[J]. 天津大學(xué)學(xué)報(bào)(自然科學(xué)與工程技術(shù)版)，2020，53(8)：74-80.

Liang Yu，Zhang Jinming，Zhang Wei. An improved indoor depth estimation method using convolutional neural networks[J]. Journal of Tianjin University(Science and Technology)，2020，53(8)：74-80(in Chinese).

［5］ Yin Z，Oncel T. VoxelNet：End-to-end learning for point cloud based 3D object detection[C]// IEEE Computer Vision and Pattern Recognition. Salt Lake City，USA，2018：4490-4499.

［6］ Qi C R，Su H，Mo K，et al. PointNet：Deep learning on point sets for 3D classification and segmentation[C]// IEEE Conference on Computer Vision and Pattern Recognition. Hawaii，USA，2017：77-85.

［7］ Groueix T，F(xiàn)isher M，Kim V G，et al. A papier-mache approach to learning 3D surface generation[C]// IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City，USA，2018：216-244.

［8］ Yang Yaoqing，F(xiàn)eng Chen，Shen Yiru，et al. FoldingNet：Point cloud auto-encoder via deep grid deformation[C]// IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City，USA，2018：206-215.

［9］ Yuan W T，Tejas K，David H，et al. PCN：Point completion network[C]//International Conference on 3D Vision. Verona，Italy，2018：728-737.

［10］ Lyne P，Tchapmi，Vineet K，et al. TopNet：Structural point cloud decoder[C]// IEEE Conference on Computer Vision and Pattern Recognition. Long Beach，USA，2019：383-392.

［11］ Ian J G，Jean P A，Mehdi M，et al. Generative adversarial nets[C]// Conference and Workshop on Neural Information Processing Systems. Montreal，Canada，2014：2672-2680.

［12］ Panos A，Olga D，Ioanni M，et al. Learning representations and generative models for 3D point clouds[C]// International Conference on Machine Learning. Sydney，Australia，2017：40-49.

［13］ Chen Xuelin，Chen Baoquan，Niloy J M，et al. Unpaired point cloud completion on real scans using adversarial training[C]// International Conference on Learning Representations. Louisiana，USA，2019：1-17.

［14］ Wang Yue，Sun Yongbin，Liu Ziwei，et al. Dynamic graph CNN for learning on point clouds[J]. ACM Trans-actions on Graphics，2019，38(5)：1-12.

［15］ Angel X C，Thomas F，Leonidas G，et al. ShapeNet：An information-rich 3D model repository[EB/OL]. https://arxiv. org/abs/1512.03012，2015-12-09.

［16］ Geiger A，Lenz P，Stiller C，et al. Vision meets robotics：The kitti datasets[J]. International Journal of Robotics Research，2013，32(11)：1231-1237.

［17］ Fan Haoqiang，Su Hao，Leonidas G，et al. A point set generation network for 3D object reconstruction from a single image[C]// IEEE Conference on Computer Vision and Pattern Recognition. Honolulu，USA，2017：2463-2471.

Deep Learning Point Cloud Completion Algorithm via Feature Fusion

Zhao Yiqiang，Zhou Yiyao，Hu Bin，Ai Xiding，Chen Rui

(School of Microelectronics，Tianjin University，Tianjin 300072，China)

Owing to the limitation of 3D scanning devices such as lidar，mutual occlusion among targets，and the transparency of surface materials，the acquired 3D point cloud is often incomplete. Recently，data-driven deep learning methods have been gradually applied to complete point clouds. However，existing point cloud completion methods only focus on completing the global topological structure of the original point cloud and ignore the local detail recovery of the target point cloud. To address this limitation，this study proposes a novel deep learning point cloud completion algorithm via feature fusion. This algorithm uses a relation-aware encoder，which performs the mapping from the point cloud to the 128-dimensional latent feature vector to fuse the neighbor distribution characteristics and spatial features of the point cloud. Subsequently，a tree-structured decoder is applied to fuse the features of the global and local feature vectors to output the complete point cloud predictions. The simulation results of the ShapeNet and KITTI datasets show that the proposed point cloud completion algorithm exhibits better performance than state-of-the-art methods on completion precision and visualization. The proposed method reduces the chamfer distance on the airplane，car，chair，and table point cloud models by 2.4%，2.5%，8.3%，and 6.2%，respectively. In contrast，the proposed method reduces the unidirectional Hausdorff distance on the airplane，car，chair，and table point cloud models by 2.1%，0.4%，0.8%，and 0.3%，respectively. Finally，the point cloud completion experiment on the actual scanning of point clouds measured using the LeiShen intelligent system lidar verifies the effectiveness of the proposed point cloud completion algorithm，which indicates that the point cloud completion networks trained on the ShapeNet dataset are suitable for sparse point clouds measured using lidar.

3D point cloud；deep learning；completion algorithm；topological structure；feature fusion

10.11784/tdxbz202103073

TN958.98；TN911.73

A

0493-2137(2022)05-0535-08

2021-03-30；

2021-06-04.

趙毅強(qiáng)（1964—??），男，博士，教授，yq_zhao@tju.edu.cn.

陳?瑞，ruichen@tju.edu.cn.

國(guó)家自然科學(xué)基金資助項(xiàng)目(61871284)；廣西驅(qū)動(dòng)發(fā)展項(xiàng)目(2018AA13005).

Supported by the National Natural Science Foundation of China(No.61871284)，Guangxi Innovative Driven Development Project (No.2018AA13005).

(責(zé)任編輯：王曉燕)