任務(wù)驅(qū)動(dòng)的輕量Transformer點(diǎn)云下采樣方法

楊亞坤，王安紅，馮澤文

太原科技大學(xué) 電子信息工程學(xué)院，太原 030024

三維點(diǎn)云能夠提供豐富的幾何和形狀信息，廣泛應(yīng)用于自動(dòng)駕駛、虛擬/增強(qiáng)現(xiàn)實(shí)、機(jī)器人等領(lǐng)域[1]。但由于其具有數(shù)據(jù)量巨大、結(jié)構(gòu)不規(guī)則和稀疏性等特點(diǎn)，使得傳輸與處理變得困難。為節(jié)省存儲(chǔ)空間、減少傳輸帶寬和通信負(fù)載，對(duì)點(diǎn)云進(jìn)行壓縮簡(jiǎn)化是十分必要的，其中點(diǎn)云下采樣是一種有效的方法。

點(diǎn)云下采樣分為傳統(tǒng)方法[2-7]和基于深度學(xué)習(xí)的方法[8-9]。傳統(tǒng)方法通過迭代生成均勻分布的樣本從而保留原始點(diǎn)云的幾何結(jié)構(gòu)，基于深度學(xué)習(xí)的方法通過訓(xùn)練網(wǎng)絡(luò)學(xué)習(xí)點(diǎn)云特征來選擇采樣點(diǎn)。然而，這些方法都只關(guān)注于減少點(diǎn)云的幾何采樣損失，沒有考慮下游應(yīng)用任務(wù)，這嚴(yán)重降低了后續(xù)應(yīng)用任務(wù)的性能。

對(duì)于三維點(diǎn)云，不僅希望簡(jiǎn)化的點(diǎn)云能保持其原始形狀，還希望其適用于后續(xù)應(yīng)用任務(wù)。這可以通過訓(xùn)練網(wǎng)絡(luò)同時(shí)滿足采樣損失和任務(wù)損失來實(shí)現(xiàn)。最早將點(diǎn)云下采樣與應(yīng)用任務(wù)結(jié)合的是深度學(xué)習(xí)網(wǎng)絡(luò)S-Net[10]，隨后還有改進(jìn)的SampleNet[11]。由于其面向任務(wù)的特點(diǎn)，這些方法在各種應(yīng)用中優(yōu)于傳統(tǒng)算法和一些深度學(xué)習(xí)算法。但它們?cè)谔卣魈崛r(shí)采用簡(jiǎn)單的PointNet[12]網(wǎng)絡(luò)，性能有待進(jìn)一步提高。

為解決以上問題，本文提出一種新的任務(wù)驅(qū)動(dòng)的三維點(diǎn)云下采樣方法，該方法基于最先進(jìn)的Transformer[13]框架構(gòu)建。Transformer作為當(dāng)前最熱門的網(wǎng)絡(luò)，表現(xiàn)出了強(qiáng)大的特征學(xué)習(xí)能力，其中的注意力層可以幫助網(wǎng)絡(luò)選擇更加重要的點(diǎn)作為下采樣點(diǎn)。由于常規(guī)的Transformer會(huì)占用過多計(jì)算和存儲(chǔ)資源，本文將改進(jìn)其結(jié)構(gòu)以保證網(wǎng)絡(luò)輕量化。另外，考慮到不同采樣率下的點(diǎn)云需要不同參數(shù)設(shè)置的網(wǎng)絡(luò)訓(xùn)練得到，既浪費(fèi)資源，也不符合實(shí)際應(yīng)用需求，因此本文在所提下采樣網(wǎng)絡(luò)的基礎(chǔ)上，還設(shè)計(jì)了多倍率下采樣網(wǎng)絡(luò)，滿足一個(gè)網(wǎng)絡(luò)一次訓(xùn)練就可得到若干采樣率下的采樣點(diǎn)云。

本文的主要貢獻(xiàn)點(diǎn)如下：

（1）提出一種基于輕量化Transformer 的任務(wù)驅(qū)動(dòng)點(diǎn)云下采樣網(wǎng)絡(luò)。首先在Transformer中使用跳接注意力機(jī)制簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，并提取點(diǎn)云特征，在保證強(qiáng)大學(xué)習(xí)能力的同時(shí)又減少計(jì)算和存儲(chǔ)資源消耗；之后采用軟采樣模塊模擬實(shí)際采樣過程，以獲得更符合下游應(yīng)用任務(wù)的采樣點(diǎn)云。

（2）在輕量化Transformer 下采樣網(wǎng)絡(luò)基礎(chǔ)上，提出一種多倍率點(diǎn)云下采樣網(wǎng)絡(luò)，采用漸進(jìn)式結(jié)構(gòu)，聯(lián)合多組損失函數(shù)，以滿足一次訓(xùn)練獲得多個(gè)采樣率下的采樣點(diǎn)云。

（3）在點(diǎn)云分類和點(diǎn)云重建兩個(gè)任務(wù)上進(jìn)行實(shí)驗(yàn)，結(jié)果表明，本文方法相比同類算法可獲得更高的分類精度和更好的重建效果，減少點(diǎn)云數(shù)據(jù)量的同時(shí)也保證了下游應(yīng)用任務(wù)性能。

1 點(diǎn)云下采樣相關(guān)工作

1.1 傳統(tǒng)方法

傳統(tǒng)點(diǎn)云下采樣方法通常側(cè)重于保留輸入點(diǎn)云的幾何特征，如Pauly等人[2]提出并分析了聚類、迭代簡(jiǎn)化和粒子模擬等方法用于采樣。Moenning 等人[3]提出了最遠(yuǎn)點(diǎn)采樣（farthest point sampling，F(xiàn)PS）來簡(jiǎn)化點(diǎn)云，使其均勻且對(duì)特征敏感。Katz 等人[4]提出了一種圖算法，以減少使用隱藏點(diǎn)移除和目標(biāo)點(diǎn)遮擋操作的點(diǎn)的數(shù)量。Ying 等人[5]提出了泊松圓盤采樣（Poisson disk sampling，PDS），PDS生成的采樣點(diǎn)排列緊密，比FPS分布更均勻，但計(jì)算成本較高。Chen等人[6]提出了一種基于圖的濾波器來提取每個(gè)點(diǎn)的特征，并選擇這些特定點(diǎn)作為采樣點(diǎn)。體素化[7]也是一種常用的點(diǎn)云下采樣技術(shù)，它將點(diǎn)云量化為具有預(yù)定分辨率的三維規(guī)則體素。與FPS 和PDS 相比，體素化由于其非迭代方法而更加有效。然而，體素化常常受到量化誤差的影響，不能產(chǎn)生準(zhǔn)確的結(jié)果，它需要非常高的分辨率以避免信息丟失。但隨著分辨率的提高，計(jì)算成本和內(nèi)存占用將成倍增加。

1.2 基于深度學(xué)習(xí)的方法

隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于深度學(xué)習(xí)的點(diǎn)云下采樣也取得了突破。由于傳統(tǒng)方法通常不是數(shù)據(jù)驅(qū)動(dòng)的，因此其效果遠(yuǎn)不如基于深度學(xué)習(xí)的方法。Yang等人[8]提出在分類網(wǎng)絡(luò)的訓(xùn)練過程中使用Gumbel 子集抽樣來代替FPS 以提高其準(zhǔn)確性。Nezhadary 等人[9]提出使用最大池獲得關(guān)鍵點(diǎn)來作為采樣點(diǎn)。上述幾種下采樣方法在訓(xùn)練過程中只是優(yōu)化了各種采樣目標(biāo)函數(shù)，而沒有考慮要優(yōu)化應(yīng)用任務(wù)的目標(biāo)函數(shù)，因此后續(xù)任務(wù)性能不能得到保證。

最早將下采樣與應(yīng)用任務(wù)相結(jié)合的方法是基于PointNet架構(gòu)的數(shù)據(jù)驅(qū)動(dòng)點(diǎn)云下采樣網(wǎng)絡(luò)S-Net[10]，該網(wǎng)絡(luò)可生成針對(duì)任務(wù)進(jìn)行優(yōu)化的采樣點(diǎn)云。在此基礎(chǔ)上，Lang 等人[11]提出的SampleNet 通過引入軟投影模塊來改進(jìn)S-Net，該模塊使用退火計(jì)劃來鼓勵(lì)生成的點(diǎn)接近原始點(diǎn)云。Qian 等人[14]通過從矩陣優(yōu)化的角度探索輸入點(diǎn)云的局部幾何結(jié)構(gòu)，提出了MOPS-Net，以改善下采樣效果。這些方法取得了比傳統(tǒng)方法更好的性能，但在特征提取方面效率不高。Wang 等人[15]提出的PST-Net是基于Transformer 的點(diǎn)云下采樣網(wǎng)絡(luò)，但復(fù)雜的結(jié)構(gòu)使得資源消耗很大。本文將在此基礎(chǔ)上，提出輕量化Transformer的任務(wù)驅(qū)動(dòng)下采樣網(wǎng)絡(luò)，以解決上述問題。

2 本文方法

2.1 基于輕量化Transformer 的任務(wù)驅(qū)動(dòng)點(diǎn)云下采樣網(wǎng)絡(luò)

本文提出的基于輕量化Transformer 的任務(wù)驅(qū)動(dòng)點(diǎn)云下采樣網(wǎng)絡(luò)如圖1所示，它由特征提取模塊和軟采樣模塊組成。給定一個(gè)包含N個(gè)點(diǎn)的三維點(diǎn)云P，通過輕量化Transformer 提取點(diǎn)云特征后，使用軟采樣模塊獲得下采樣點(diǎn)云Q。在損失函數(shù)中引入任務(wù)損失來促使生成的采樣點(diǎn)云能夠針對(duì)應(yīng)用任務(wù)進(jìn)行優(yōu)化。其中下采樣率為r，M=N/r為下采樣后點(diǎn)云Q的數(shù)量，M ＜N。

圖1 基于輕量Transformer的任務(wù)驅(qū)動(dòng)點(diǎn)云下采樣網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Task-driven downsampling network based on light-Transformer for point cloud

2.1.1 特征提取模塊

Transformer 模型依靠自注意力機(jī)制在視覺任務(wù)中表現(xiàn)出強(qiáng)大的學(xué)習(xí)能力，且對(duì)數(shù)據(jù)具有排列不變性，非常適合結(jié)構(gòu)不規(guī)則的點(diǎn)云學(xué)習(xí)，因此本文將用其進(jìn)行三維點(diǎn)云的特征提取。在已有多項(xiàng)點(diǎn)云學(xué)習(xí)工作中，最早將點(diǎn)云與Transformer結(jié)合的是PT[16]和PCT[17]網(wǎng)絡(luò)，它們的分類精度相比PointNet有所提高，但計(jì)算成本和網(wǎng)絡(luò)規(guī)模卻大大增加，使得Transformer 對(duì)于下采樣來說資源消耗過大。因此，本文提出一個(gè)輕量級(jí)Transformer，它以有限的計(jì)算成本和存儲(chǔ)空間來捕獲精確的全局上下文信息。

常規(guī)Transformer 包括輸入嵌入、位置編碼、多頭自注意力、殘差連接、前饋網(wǎng)絡(luò)等主要模塊。考慮到在多頭注意力層中，每一頭都進(jìn)行了計(jì)算成本高昂的自注意力計(jì)算，而這些信息有高度相關(guān)性，存在大量冗余，導(dǎo)致過多不必要的資源消耗，因此本文在多頭注意力模塊中使用跳接注意力策略（skip-attention）來減少自注意力值的多次重復(fù)計(jì)算，從而節(jié)約計(jì)算和存儲(chǔ)資源。

本文提出的輕量化Transformer結(jié)構(gòu)如圖2所示，由于點(diǎn)云的三維坐標(biāo)就可以表示其位置信息，因此首先用一個(gè)簡(jiǎn)單的線性層來代替常規(guī)Transformer中的輸入嵌入模塊和位置編碼模塊，將原始點(diǎn)云P∈RN×3的三維坐標(biāo)變換為d維特征，得到F′∈RN×d。

圖2 基于輕量化Transformer的點(diǎn)云特征提取網(wǎng)絡(luò)Fig.2 Feature extraction network based on light-Transformer for point cloud

其次，在多頭注意力層中，如圖2 下方虛線框中所示，只在第一個(gè)注意力頭中進(jìn)行自注意力計(jì)算。通過線性層獲得q∈RN×d1，經(jīng)過轉(zhuǎn)置獲得k∈Rd1×N后，兩者相乘得到N×N維的注意力圖。之后再與v∈RN×d相乘，即得到自注意力值A(chǔ)R∈RN×d。將其與多頭注意力層的初始特征F′∈RN×d做殘差連接后送入線性層進(jìn)行特征學(xué)習(xí)，得到第一個(gè)注意力頭的輸出特征F1∈RN×d。后面其他注意力頭中都將不再進(jìn)行自注意力值計(jì)算，而是使用第一個(gè)頭中的自注意力值計(jì)算結(jié)果，與前一個(gè)頭得到的輸出特征做殘差后，通過線性層提取得到本頭的輸出特征Fi∈RN×d，其中i為多頭注意力層的頭數(shù)，圖2 中每個(gè)虛線框代表一個(gè)注意力頭。最后將各頭得到的輸出特征相加，得到總的注意力層特征F″∈RN×di。具體過程可由公式（1）來表示：

其中，softmax 為歸一化運(yùn)算，Liner 為線性層運(yùn)算，concat為特征融合運(yùn)算。

前饋網(wǎng)絡(luò)由線性層、歸一化層和ReLU 層組成，將多頭注意力層特征F″∈RN×di進(jìn)一步變換最終得到具有代表性的點(diǎn)云特征F∈RN×d′。

這樣的結(jié)構(gòu)設(shè)計(jì)保留了多頭結(jié)構(gòu)和自注意力計(jì)算，引入了跳接注意力機(jī)制，既滿足了Transformer 的強(qiáng)大表現(xiàn)能力，又節(jié)省了一定的內(nèi)存和計(jì)算資源。而且注意力機(jī)制能夠幫助網(wǎng)絡(luò)選擇對(duì)于后續(xù)應(yīng)用任務(wù)更重要的特征，有利于之后的下采樣。

2.1.2 軟采樣模塊

點(diǎn)云的采樣過程可用公式（2）來表示：

其中，P∈RN×3為原始點(diǎn)云，S∈RM×N為采樣矩陣，Q∈RM×3為下采樣點(diǎn)云。理想的采樣矩陣只包含0、1兩種元素，然而這種離散不可微的矩陣無(wú)法在深度神經(jīng)網(wǎng)絡(luò)中實(shí)現(xiàn)端到端訓(xùn)練。本文提出使用軟采樣矩陣來逼近理想采樣矩陣，在軟采樣矩陣中每個(gè)元素不是0或1，而是介于0和1之間的數(shù)字，且越接近0或1越好。

如圖3 所示，軟采樣矩陣通過多層感知機(jī)（multilayer perceptron，MLP）和Gumbel-Softmax 學(xué)習(xí)得到。首先，給定下采樣點(diǎn)云數(shù)量M，由特征提取模塊獲得的點(diǎn)云特征F經(jīng)過MLP 后可得到維度為M×N的相關(guān)性矩陣S′。為使S′中的元素成為（0，1）的數(shù)，需要進(jìn)行歸一化處理，本文采用Gumbel-Softmax[8]實(shí)現(xiàn)，如式（3）所示：

圖3 軟采樣模塊結(jié)構(gòu)Fig.3 Structure of soft sampling module

這是帶有參數(shù)控制的softmax 函數(shù)，可以將K維向量z歸一化到K維向量σ(zi)中，其中參數(shù)t是大于零的數(shù)，t越高生成的分布越平滑，t越低生成的分布越接近離散的one-hot 分布。在訓(xùn)練過程中，通過逐漸降低參數(shù)t，可使軟采樣矩陣S逐步逼近理想采樣矩陣。

最后，將原始點(diǎn)云P與學(xué)習(xí)得到的軟采樣矩陣S相乘可獲得下采樣點(diǎn)云Q。

這種采樣方式更具有可解釋性，且利用基于注意力機(jī)制的Transformer提取得到的點(diǎn)云特征來學(xué)習(xí)生成軟采樣矩陣，使得軟采樣矩陣能關(guān)注于更重要的點(diǎn)。選擇關(guān)鍵點(diǎn)作為采樣點(diǎn)，可提高下采樣和后續(xù)任務(wù)性能。

2.1.3 損失函數(shù)

在任務(wù)驅(qū)動(dòng)的下采樣網(wǎng)絡(luò)中，損失函數(shù)由任務(wù)損失、采樣損失和軟采樣約束損失聯(lián)合構(gòu)成，如下所示：

式中，λ為平衡各項(xiàng)的參數(shù)。

任務(wù)損失Ltask保證下采樣點(diǎn)云適合后續(xù)任務(wù)，以點(diǎn)云分類任務(wù)為例：

其中，fT是分類目標(biāo)函數(shù)，fT(Q)是預(yù)測(cè)的分類標(biāo)簽，y是真值，LT使用交叉熵?fù)p失函數(shù)。

采樣損失Lsampling保證下采樣點(diǎn)云與原始點(diǎn)云盡可能的靠近：

其中，N、M分別為原始點(diǎn)云P和下采樣點(diǎn)云Q的數(shù)量，前者確保采樣點(diǎn)盡可能地接近原始點(diǎn)云，后者確保采樣點(diǎn)在原始點(diǎn)云中均勻分布。

軟采樣約束損失Lconstraint保證軟采樣矩陣更接近理想采樣矩陣。

其中，t為控制參數(shù)。

以上聯(lián)合損失函數(shù)約束能使生成的下采樣點(diǎn)云既保留原始幾何形狀，又適合后續(xù)應(yīng)用任務(wù)。

2.2 多倍率點(diǎn)云下采樣網(wǎng)絡(luò)

上述基于輕量化Transformer 的下采樣網(wǎng)絡(luò)需要設(shè)置采樣點(diǎn)數(shù)M，每次訓(xùn)練可以得到一個(gè)確定采樣率下的點(diǎn)云子集Q。對(duì)于需要多種數(shù)據(jù)量的不同點(diǎn)云應(yīng)用，就需要多次訓(xùn)練，這既消耗資源也不方便應(yīng)用。因此本文提出多倍率點(diǎn)云下采樣網(wǎng)絡(luò)，實(shí)現(xiàn)一次訓(xùn)練得到多種采樣率下的點(diǎn)云。

多倍率點(diǎn)云下采樣網(wǎng)絡(luò)如圖4所示，首先將點(diǎn)云輸入到前文提出的基于輕量化Transformer的下采樣網(wǎng)絡(luò)中得到一個(gè)最大指定采樣點(diǎn)數(shù)的點(diǎn)云Qmax，之后按重要性進(jìn)行分組采樣，按照不同采樣率r將Qmax分為k組，每組點(diǎn)云的數(shù)目是M=N÷1,N÷2,…,N÷rmax。最先被采樣的子集Q1點(diǎn)數(shù)最少，即M=N÷rmax，它的損失函數(shù)Ldown-1為下采樣損失Ldown1。之后劃分的點(diǎn)云Q2，它的損失函數(shù)Ldown-2既包含當(dāng)前下采樣損失Ldown2，又包含前一子集Q1的損失函數(shù)Ldown-1，這意味著之前的點(diǎn)集Q1既適合于任務(wù)，同時(shí)也適合于與當(dāng)前點(diǎn)一起組成更大的點(diǎn)集，這確保了對(duì)任務(wù)更重要的點(diǎn)將更早出現(xiàn)在采樣點(diǎn)集中。依此循環(huán)，直到采樣到與Qmax相同點(diǎn)數(shù)的點(diǎn)云。這種漸進(jìn)式結(jié)構(gòu)可以實(shí)現(xiàn)一次訓(xùn)練得到多個(gè)采樣率下的點(diǎn)云子集。在推斷時(shí)，按照需求選擇M個(gè)采樣點(diǎn)以滿足指定采樣率大小即可。

圖4 多倍率點(diǎn)云下采樣網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Multi-rate downsampling network for point cloud

對(duì)于多倍率點(diǎn)云下采樣網(wǎng)絡(luò)，它的損失函數(shù)由k組損失函數(shù)構(gòu)成，各組損失函數(shù)為：

其中，k為下采樣率r的個(gè)數(shù)，Ldown1、Ldown2等損失函數(shù)為2.1.3 小節(jié)中提到的形式。根據(jù)采樣點(diǎn)數(shù)M從小到大，網(wǎng)絡(luò)通過一次訓(xùn)練即可得到多組下采樣點(diǎn)云。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)使用配備RTX8000 GPU 的計(jì)算機(jī)進(jìn)行，使用Tensorflow 框架，結(jié)合python3.6 與Cuda10.0，cudnn7.6搭建環(huán)境，使用Adam優(yōu)化器進(jìn)行優(yōu)化。選擇點(diǎn)云分類和點(diǎn)云重建作為下游任務(wù)。

3.2 實(shí)驗(yàn)結(jié)果及分析

3.2.1 基于輕量化Transformer 的任務(wù)驅(qū)動(dòng)點(diǎn)云下采樣網(wǎng)絡(luò)

首先對(duì)本文提出的基于輕量化Transformer 的任務(wù)驅(qū)動(dòng)的點(diǎn)云下采樣網(wǎng)絡(luò)進(jìn)行分類任務(wù)實(shí)驗(yàn)。對(duì)于點(diǎn)云分類，評(píng)價(jià)指標(biāo)為分類精度（classification accuracy），它指的是分類正確的樣本數(shù)占總樣本數(shù)的比例，用百分比來表示。PointNet 作為任務(wù)網(wǎng)絡(luò)，它的分類精度為89.2%。ModelNet40[18]作為點(diǎn)云分類數(shù)據(jù)集，包含40 個(gè)類別的12 311 個(gè)3D 對(duì)象，其中9 843 個(gè)用于訓(xùn)練，2 468個(gè)用于測(cè)試。

實(shí) 驗(yàn) 比 較 了S-Net[10]、SampleNet[11]、MOPS-Net[14]、PST-Net[15]和本文提出的基于輕量級(jí)Transformer的下采樣網(wǎng)絡(luò)這五種面向任務(wù)的下采樣方法（其他方法的數(shù)據(jù)均來源于參考論文）。不同方法在各個(gè)采樣率下的分類精度如圖5所示，當(dāng)下采樣率r=1 時(shí)點(diǎn)云數(shù)量為1 024，當(dāng)r=2、4、8、16、32、64、128 時(shí)，對(duì)應(yīng)的下采樣點(diǎn)云點(diǎn)數(shù)M分別為512、256、128、64、32、16、8。

圖5 不同方法在各個(gè)采樣率r下的分類精度Fig.5 Classification accuracy of different methods at each sampling rate r

從圖5 中可以看出，在各個(gè)采樣率下，本文提出的下采樣網(wǎng)絡(luò)都能獲得更高的分類精度，尤其是采樣點(diǎn)數(shù)較少時(shí)，優(yōu)勢(shì)較為明顯。這主要得益于特征提取方法和采樣方法的改進(jìn)。另外，當(dāng)下采樣率為32時(shí)，本文下采樣網(wǎng)絡(luò)仍能達(dá)到80%以上的分類精度，也就是說數(shù)據(jù)量減小到原始數(shù)量的1/32 時(shí)，仍可實(shí)現(xiàn)良好的分類效果，滿足多數(shù)應(yīng)用場(chǎng)景，這對(duì)于輕量化數(shù)據(jù)任務(wù)十分友好，并且有利于點(diǎn)云的傳輸與存儲(chǔ)。

其次，對(duì)任務(wù)驅(qū)動(dòng)的點(diǎn)云下采樣網(wǎng)絡(luò)進(jìn)行重建任務(wù)實(shí)驗(yàn)。對(duì)于點(diǎn)云重建，采用Achlioptas 等人[19]提出的Auto-Encoder作為任務(wù)網(wǎng)絡(luò)，評(píng)價(jià)指標(biāo)為歸一化重建誤差（normalized reconstruction error，NRE），它采用倒角距離計(jì)算原始點(diǎn)云和重建點(diǎn)云的差別，NRE最小為1，NRE越小代表重建效果越好。重建實(shí)驗(yàn)使用的ShapeNet Core55[20]數(shù)據(jù)集包含55個(gè)常見類別的50 000個(gè)模型，選擇其中的飛機(jī)、汽車、椅子、桌子四類物體進(jìn)行測(cè)試。重建任務(wù)實(shí)驗(yàn)結(jié)果如圖6 所示（由于MOPS-Net、PST-Net沒有提供官方代碼且沒有提供數(shù)據(jù)，所以只比較了S-Net[10]、SampleNet[11]和本文方法）。

圖6 不同方法在各個(gè)采樣率r下的重建誤差Fig.6 Normalized reconstruction error of different methods at each sampling rate r

實(shí)驗(yàn)結(jié)果表明，在采樣率較小時(shí)，各種方法的重建誤差相差不大。隨著采樣率增大、點(diǎn)云數(shù)量減少，本文方法的表現(xiàn)優(yōu)于其他方法，尤其是在下采樣率為64時(shí)，本文方法的NRE仍小于2，重建效果較為理想。

以上兩種任務(wù)實(shí)驗(yàn)結(jié)果表明，本文提出的基于輕量化Transformer的任務(wù)驅(qū)動(dòng)下采樣網(wǎng)絡(luò)在減小點(diǎn)云數(shù)據(jù)量的同時(shí)，任務(wù)性能也能得到良好的保證，相比于同類算法，分類精度更高，重建誤差更小。這得益于輕量化Transformer 特征提取方法的有效性。為了更進(jìn)一步說明有效性且實(shí)現(xiàn)簡(jiǎn)便，實(shí)驗(yàn)比較了采用不同特征提取方法得到的點(diǎn)云分類精度，同時(shí)，還用對(duì)整個(gè)測(cè)試集進(jìn)行測(cè)試的時(shí)間和GPU顯存消耗來反映不同特征提取方法的效率。由于S-Net、SampleNet使用PointNet提取特征，MOPS-Net 使用PointNet++[21]提取特征，PST-Net 使用Transformer提取特征，因此將這三種特征提取方法與本文提出的輕量化Transformer進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果如表1所示。

表1 各特征提取方法比較Table 1 Comparison of different feature extraction methods

從表1中可以看出，本文使用的輕量化Transformer方法可以獲得相對(duì)較高的分類精度，這也幫助本文的下采樣網(wǎng)絡(luò)取得了更好的性能。雖然它比完全體Transformer精度稍有下降，但顯存消耗和計(jì)算時(shí)間也相對(duì)較小。總體來說，使用輕量化Transformer 進(jìn)行特征提取準(zhǔn)確率和效率權(quán)衡更好。

為了更形象地說明，在圖7 和圖8 中直觀展示了分類精度與測(cè)試時(shí)間和分類精度與占用顯存的權(quán)衡，在圖中體現(xiàn)為圖標(biāo)越靠近左上方的位置，權(quán)衡越好。

圖7 不同特征提取方法精度和測(cè)試時(shí)間的權(quán)衡Fig.7 Trade off between accuracy and test time of different feature extraction methods

圖8 不同特征提取方法精度和顯存占用的權(quán)衡Fig.8 Trade off between accuracy and GPU consume of different feature extraction methods

圖7表明，本文提出的特征提取方法所用測(cè)試時(shí)間最短，分類精度接近于最好。圖8 表明，在分類精度相當(dāng)時(shí)（>90%），本文提出的方法占用顯存最少。綜合兩圖來看，本文的輕量化Transformer 特征提取方法實(shí)現(xiàn)了精度和效率的權(quán)衡，兼顧準(zhǔn)確性和高效性。

3.2.2 多倍率點(diǎn)云下采樣網(wǎng)絡(luò)

多倍率下采樣網(wǎng)絡(luò)通過一次訓(xùn)練可得到多個(gè)采樣率下的點(diǎn)云，既節(jié)省資源也方便應(yīng)用。為表現(xiàn)該網(wǎng)絡(luò)的性能及實(shí)現(xiàn)簡(jiǎn)便，表2對(duì)比了本文提出的多倍率下采樣網(wǎng)絡(luò)和單一倍率下采樣網(wǎng)絡(luò)在不同采樣率下進(jìn)行點(diǎn)云分類任務(wù)的精度。其中，單一倍率下采樣網(wǎng)絡(luò)是指本文之前所提出的基于輕量化Transformer的任務(wù)驅(qū)動(dòng)點(diǎn)云下采樣網(wǎng)絡(luò)。

表2 單一倍率和多倍率下采樣網(wǎng)絡(luò)分類精度比較Table 2 Comparison of classification accuracy between single-rate and multi-rate downsampling network

由表2可以看出，多倍率下采樣網(wǎng)絡(luò)的性能相較于單一采樣率的下采樣網(wǎng)絡(luò)來說稍有下降，但相差不大，對(duì)于應(yīng)用任務(wù)來說影響不明顯。另外，當(dāng)batchsize設(shè)置為32，epoch設(shè)置為500時(shí)，在計(jì)算機(jī)上單獨(dú)訓(xùn)練各個(gè)采樣率的下采樣網(wǎng)絡(luò)平均需要約11 h左右，而訓(xùn)練一個(gè)多倍率模型（采樣點(diǎn)數(shù)從2 到1 024，共10 種下采樣率）大約也只花費(fèi)21 h，這樣對(duì)比會(huì)發(fā)現(xiàn)多倍率模型能節(jié)約大量的計(jì)算資源和時(shí)間。因此這種多倍率模型是十分有意義和實(shí)際應(yīng)用價(jià)值的。

另外，還比較了基于S-Net 和SampleNet 的多倍率模型與本文所提方法得到的下采樣點(diǎn)云在分類任務(wù)中的性能。實(shí)驗(yàn)結(jié)果如表3所示。

表3 不同多倍率下采樣網(wǎng)絡(luò)分類精度比較Table 3 Comparison of classification accuracy at different multi-rate downsampling network

由表3 可以看出，本文提出的多倍率模型獲得的下采樣點(diǎn)云相比之前的同類方法，分類精度也有所提升。這得益于輕量化Transformer 強(qiáng)大的學(xué)習(xí)能力，可提取到更有代表性的特征以此采樣得到更重要的點(diǎn)云。

3.2.3 可視化結(jié)果

為了更加直觀地顯示本文提出的下采樣網(wǎng)絡(luò)的有效性，圖9 展示了在分類任務(wù)中不同采樣點(diǎn)數(shù)M下的采樣點(diǎn)云Q（圖中紅色點(diǎn)為下采樣點(diǎn)，黑色點(diǎn)為原始點(diǎn)云）。

圖9 不同下采樣點(diǎn)數(shù)的采樣點(diǎn)云可視化結(jié)果Fig.9 Visualization results of downsampled point cloud with different number M

從圖中可以看出，本文提出的下采樣網(wǎng)絡(luò)可以有效地采樣到關(guān)鍵部件中的點(diǎn)以及物體輪廓附近的點(diǎn)。當(dāng)下采樣點(diǎn)數(shù)M較小時(shí)，采樣點(diǎn)仍然可以分布在語(yǔ)義差異較大的部分，以便于區(qū)分不同種類物體。如在飛機(jī)中，采樣點(diǎn)分布在機(jī)翼、機(jī)尾和機(jī)身的各個(gè)部分。在桌椅中，采樣點(diǎn)分布在不同桌腿和桌面的位置。在花瓶中，采樣點(diǎn)分布在花瓶和鮮花的各個(gè)部位?？梢姳疚牡牟蓸臃椒ǜ懿蓸拥綄?duì)后續(xù)分類任務(wù)重要的點(diǎn)。

另外，圖10對(duì)比了在分類任務(wù)中，不同下采樣方法在點(diǎn)云數(shù)量M=64 時(shí)得到的下采樣點(diǎn)云的可視化結(jié)果（MOPS-Net、PST-Net沒有提供官方代碼，因此沒有與之進(jìn)行可視化比較）。

圖10 不同方法下的采樣點(diǎn)云可視化結(jié)果Fig.10 Visualization results of downsampled point cloud with different methods

從圖10 中可以看出，S-Net 和SampleNet 傾向于生成靠近形狀中心的采樣點(diǎn)，而不是分布在細(xì)節(jié)部分的位置。本文方法可以成功地選擇關(guān)鍵部件中的點(diǎn)以及形狀輪廓附近的點(diǎn)。所有這些采樣點(diǎn)都集中在重要區(qū)域，以便于區(qū)分不同對(duì)象，獲得更高的分類精度。

以上這些可視化結(jié)果說明本方法可以選擇更具針對(duì)性的采樣點(diǎn)，并獲得更高的任務(wù)性能。

4 結(jié)束語(yǔ)

本文提出一種基于輕量化Transformer 的任務(wù)驅(qū)動(dòng)下采樣網(wǎng)絡(luò)實(shí)現(xiàn)三維點(diǎn)云的壓縮簡(jiǎn)化。在經(jīng)過輕量化Transformer模塊提取點(diǎn)云特征后，通過軟采樣模塊模擬實(shí)際采樣過程得到下采樣點(diǎn)云。構(gòu)建使用包含任務(wù)損失的聯(lián)合損失函數(shù)進(jìn)行訓(xùn)練以保證下采樣點(diǎn)云能夠針對(duì)后續(xù)應(yīng)用任務(wù)進(jìn)行優(yōu)化。為方便訓(xùn)練和實(shí)際應(yīng)用，在上述輕量化Transformer 下采樣網(wǎng)絡(luò)的基礎(chǔ)上，還提出多倍率點(diǎn)云下采樣網(wǎng)絡(luò)，采用漸進(jìn)式結(jié)構(gòu)和組合采樣損失函數(shù)，實(shí)現(xiàn)一次訓(xùn)練獲得多個(gè)采樣率下的點(diǎn)云。在ModelNet40和ShapeNet數(shù)據(jù)集上進(jìn)行點(diǎn)云分類任務(wù)和重建任務(wù)實(shí)驗(yàn)，結(jié)果表明本文所提方法在簡(jiǎn)化點(diǎn)云后仍能保證較高的分類精度和重建精度，在減少數(shù)據(jù)量、減小傳輸壓力的同時(shí)不影響后續(xù)應(yīng)用任務(wù)性能。

但仍需改進(jìn)的是，本文所提特征提取方法的準(zhǔn)確率有待進(jìn)一步提升，同時(shí)要盡可能減小內(nèi)存消耗，在未來工作中，將會(huì)考慮與自監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、連續(xù)學(xué)習(xí)結(jié)合，采用更高效準(zhǔn)確的方法學(xué)習(xí)點(diǎn)云特征。另外，為實(shí)現(xiàn)方便，本文只在下采樣后進(jìn)行了簡(jiǎn)單的分類和重建任務(wù)，針對(duì)目前三維點(diǎn)云應(yīng)用最多的目標(biāo)檢測(cè)和實(shí)例分割沒有進(jìn)行實(shí)驗(yàn)驗(yàn)證，未來在改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)的同時(shí)會(huì)將所提網(wǎng)絡(luò)應(yīng)用于更多點(diǎn)云任務(wù)中。