來自密歇根大學(xué)等機構(gòu)的研究者提出了一個新穎且全面的數(shù)據(jù)集 ModelNet40-C ，以系統(tǒng)地測試以及進(jìn)一步提高點云識別模型對于失真的穩(wěn)健性。

3D 點云廣泛應(yīng)用于 3D 識別技術(shù)中。一些特別的應(yīng)用領(lǐng)域往往對 3D 點云識別的安全性有更高的要求，如自動駕駛、醫(yī)療圖像處理等。學(xué)界目前對點云安全性的研究集中在對抗攻擊的穩(wěn)健性。與對抗性攻擊相比, 自然的失真和擾動在現(xiàn)實世界中更為常見。然而目前還沒有關(guān)于 3D 點云針對失真的穩(wěn)健性的系統(tǒng)性研究。

論文地址: https://arxiv.org/abs/2201.12296

項目主頁: https://sites.google.com/umich.edu/modelnet40c

開源 Github: https://github.com/jiachens/ModelNet40-C

近日，來自密歇根大學(xué)等機構(gòu)的研究者提出了一個新穎且全面的數(shù)據(jù)集 ModelNet40-C ，以系統(tǒng)地測試以及進(jìn)一步提高點云識別模型對于失真的穩(wěn)健性。ModelNet40-C 包含 185000 個點云數(shù)據(jù)，它們來自 15 種不同的點云失真類型，且每個類型有 5 種不同的嚴(yán)重程度。這些點云失真分為 3 大類：密度 (density) 失真、噪音 (noise) 失真、以及變換 (transformation) 失真。 實驗表明，目前具有代表性的 3D 點云識別模型（比如：PointNet、PointNet++、DGCNN 以及 PCT）在 ModelNet40-C 上的錯誤率比在原本 ModelNet40 數(shù)據(jù)集上的錯誤率高出超過 3 倍，如下圖 1 所示。這證明了點云深度模型框架仍然非常容易受到常見失真的影響。

圖 1. 深度點云識別代表性模型在 ModelNet40 和 ModelNet40-C 數(shù)據(jù)集上的錯誤率。 根據(jù)這一發(fā)現(xiàn)，該研究進(jìn)一步做了大量的測試去探索不同模型架構(gòu)，數(shù)據(jù)增強，以及自適應(yīng)方法對于失真穩(wěn)健性的影響。研究者根據(jù)實驗結(jié)果總結(jié)了多個發(fā)現(xiàn)來幫助 3D 點云識別技術(shù)的開發(fā)者們設(shè)計更穩(wěn)健的模型以及訓(xùn)練方案。例如，研究者發(fā)現(xiàn)基于 Transformer 的點云識別架構(gòu)在提高模型對于失真的穩(wěn)健性有很大的優(yōu)勢；不同類型的數(shù)據(jù)增強策略對各種類型的失真有不同的優(yōu)勢；測試時自適應(yīng)方法對一些很嚴(yán)重的失真有很好的穩(wěn)健性，等等。 ModelNet40-C 數(shù)據(jù)集構(gòu)建

圖 2. ModelNet40-C 數(shù)據(jù)集失真類型圖示。 失真穩(wěn)健性在 2D 圖像上已經(jīng)得到廣泛關(guān)注，其中 CIFAR-C 和 ImageNet-C 通過模擬不同天氣，噪聲，以及模糊來構(gòu)建失真數(shù)據(jù)集。然而該研究的研究者發(fā)現(xiàn) 3D 點云的失真與 2D 圖像有根本的不同，原因在于點云數(shù)據(jù)結(jié)構(gòu)更加靈活且不規(guī)則，例如，一個點云內(nèi)點的數(shù)量是可以改變的，同時 3D 點云位置的改變也很容易影響語義信息。研究者提出 3 點構(gòu)建 ModelNet40-C 的原則：1) 語義不變性、2) 失真切實性、3) 失真多樣性來保證數(shù)據(jù)集的質(zhì)量。 ModelNet40-C 的失真分為密度 (density) 失真，噪音 (noise) 失真，以及變換 (transformation) 失真三類。 密度失真包括 “遮擋”，“激光雷達(dá) (LiDAR)”，“局部密度上升”，“局部密度下降”，以及“局部缺失” 5 種，它們模擬了現(xiàn)實中不同傳感器生成點云密度的不同特征，例如，“遮擋” 模擬了傳感器在掃描 3D 物體時受角度限制只能生成一部分點云。 噪音失真包括 “均勻分布”，“高斯分布”，“脈沖”，“上采樣”，以及“背景” 噪音，他們模擬現(xiàn)實中傳感器生成時以及程序預(yù)處理過程中不可避免的數(shù)字噪聲與誤差。 變換失真包括“旋轉(zhuǎn)”，“錯切”，“自由形變”，“徑向基形變”，以及“反徑向基形變”，前兩種模擬了在處理點云數(shù)據(jù)時非對準(zhǔn)狀態(tài)以及動態(tài)采集數(shù)據(jù)時的失真，后三種則代表了 AR/VR 游戲以及生成模型 (GAN) 產(chǎn)出的點云失真。

圖 3. 在 ModelNet40-C 上 6 個模型的平均混淆矩陣。 研究者闡述了這些失真是點云應(yīng)用中非常常見的，并且保證了生成的數(shù)據(jù)集仍然保持了原有的語義，如圖 2 所示。圖 3 展示了在 ModelNet40-C 上 6 個模型的平均混淆矩陣，對角線上的比重依然很高，這同樣交叉驗證了 ModelNet40-C 的語義不變性。 ModelNet40-C 上基準(zhǔn)測試 (Benchmarking) 結(jié)果與分析 在構(gòu)建 ModelNet40-C 之后，該研究進(jìn)行了大批量的基準(zhǔn)測試，包含不同模型架構(gòu)設(shè)計，不同數(shù)據(jù)增強方法，以及不同自適應(yīng)方法的實驗設(shè)置。 不同失真以及模型架構(gòu)設(shè)計對比

表 1. 在標(biāo)準(zhǔn)訓(xùn)練下不同模型在 ModelNet40-C 上的錯誤率。 如表 1 所示，該研究在 PointNet, PointNet++, DGCNN, RSCNN, PCT, 以及 SimpleView 六個模型上進(jìn)行了基準(zhǔn)測試。研究者總結(jié)了一些發(fā)現(xiàn): 1) “遮擋”和 “激光雷達(dá)” 給點云識別模型造成了極高的錯誤率。2) 小角度的 “旋轉(zhuǎn)” 仍然會很大程度影響點云識別性能。3) “背景”和 “脈沖” 噪聲給大部分模型帶來了意想不到的挑戰(zhàn)。 研究者進(jìn)而這些發(fā)現(xiàn)也可以反映到模型設(shè)計上。1) PointNet 對密度失真較為穩(wěn)健，但是整體上缺表現(xiàn)不佳。這是因為 PointNet 只編碼全局特征而沒有局部特征，這種特性一直以來被認(rèn)為是 PointNet 的主要缺點。但是密度失真是局部特征損失，這反而對 PointNet 的影響有限，但是這種機制確實導(dǎo)致 PointNet 對其他的失真類型非常敏感。研究者建議今后對 PointNet 的使用應(yīng)該考慮應(yīng)用場景。 2) 球查詢 (ball query) 的聚類方法對 “背景” 和“脈沖”噪聲更加穩(wěn)健。這是因為球聚類相對于 kNN 聚類限定了最大聚類半徑，這樣的設(shè)計有助于幫助模型去除相差很遠(yuǎn)的異常值的影響。 3) 基于 Transformer 的點云識別模型對變換失真更加穩(wěn)健，這是因為自注意力 (self-attention) 機制能夠使得模型能夠?qū)W習(xí)到更穩(wěn)健以及全面的全局特征，而且 Transformer 架構(gòu)也實現(xiàn)了更大的模型容量，使得其對于全局的形變失真更穩(wěn)健。 不同數(shù)據(jù)增強方法對比

表 2. 在標(biāo)準(zhǔn)訓(xùn)練下不同模型在 ModelNet40-C 上的錯誤率。 如表 2 所示，該研究采用 PointCutMix-R, PointCutMix-K, PointMixup, RSMix, 以及對抗訓(xùn)練 (Adversarial Training) 作為 5 種數(shù)據(jù)增強的訓(xùn)練方式。研究者發(fā)現(xiàn): 1) 這些數(shù)據(jù)增強的方案雖然對于干凈數(shù)據(jù)集上對模型性能的提升有限，但是都顯而易見地提高了模型在點云失真場景下的穩(wěn)健性。2) 沒有一種數(shù)據(jù)增強方案可以主宰所有的失真類型。 PointCutMix-R 對于噪音失真的穩(wěn)健性很好因為它隨機采樣兩個不同類別的點云并直接合成，所以生成的點云是兩個已有點云降采樣的“重疊”，以至于每個降采樣的點云對于另一半來說都相當(dāng)于噪音失真。所以這樣的數(shù)據(jù)增強模式可以極大地提高噪音失真的穩(wěn)健性。 PointMixup 對變換失真的表現(xiàn)較好因為 PointMixup 是對兩個不同類別的點云做最小距離配對并“插值” 采樣，所以生成的點云的形狀介于兩種種類之間，這種于變換失真中的整體形變接近，所以其對變換失真更為穩(wěn)健。 RSMix 則對密度失真穩(wěn)健，雖然 RSMix 整體思路與 PointCutMix 接近，但其嚴(yán)格規(guī)定剛性合成，即兩個不同類別的點云采樣過后在 3D 空間仍然是獨立的，沒有“疊加”。這樣的合成相當(dāng)于兩個獨立的局部缺失的點云，所以其對密度失真的穩(wěn)健性較好。 不同自適應(yīng)方法對比

表 3. 在標(biāo)準(zhǔn)訓(xùn)練下不同模型在 ModelNet40-C 上的錯誤率。 該研究首次將測試時自適應(yīng)方法應(yīng)用到點云識別的任務(wù)中來。研究者采用 BN 和 TENT 方法去更新模型的批標(biāo)準(zhǔn)化層 (BatchNorm Layer)的參數(shù)，他們發(fā)現(xiàn): 1) 測試時自適應(yīng)方法可以穩(wěn)定地提升模型的穩(wěn)健性，但總體上并沒有數(shù)據(jù)增強的效果好；2) 測試自適應(yīng)方法對一些困難的失真類型效果出乎意料的好。 例如，平均而言，TENT 有助于在“遮擋” (錯誤率 = 47.6%)，“激光雷達(dá) (錯誤率 = 54.1%)， 和“旋轉(zhuǎn)” (錯誤率 = 19.8%) 失真類型下實現(xiàn)最強的穩(wěn)健性，分別比最佳數(shù)據(jù)增強方法高出 6.7%，1.9%，和 7.9%。這證明了自適應(yīng)方法在提高點云識別失真穩(wěn)健性的巨大潛力。 研究者最終將數(shù)據(jù)增強中整體表現(xiàn)最好的 PointCutMix-R 與自適應(yīng)方法 TENT 結(jié)合，發(fā)現(xiàn)基于 Transformer 架構(gòu)的 PCT 模型達(dá)到了目前最好的整體失真穩(wěn)健性 (錯誤率 = 13.9%)。這一發(fā)現(xiàn)同時驗證了 Transformer 在模型穩(wěn)健性的成功，與之前的研究(Bai, Yutong, et al. ,2021)在 Transformer 對 2D 圖像的結(jié)論基本吻合。 總結(jié) 該研究提出了一個新穎并且全面的 3D 點云識別穩(wěn)健性分析數(shù)據(jù)集 ModelNet40-C。研究者提出并構(gòu)建了了 75 種不同的失真類型和程度來模擬真實場景中由于物理限制、傳感器準(zhǔn)確度限制、以及處理過程中造成的點云失真和損壞。ModelNet40-C 包含 185000 個不同的點云數(shù)據(jù)。 實驗表明，目前代表性的模型在 ModelNet40-C 上的錯誤率比在原本 ModelNet40 數(shù)據(jù)集上的錯誤率高出~ 3 倍。該研究通過大量的基準(zhǔn)測試展現(xiàn)了不同模型架構(gòu)，不同數(shù)據(jù)增強策略，以及自適應(yīng)方法在 ModelNet40-C 上的性能并總結(jié)了有用的發(fā)現(xiàn)來幫助 3D 點云社區(qū)設(shè)計更穩(wěn)健的識別模型。我們期待著 ModelNet40-C 數(shù)據(jù)集能加速今后更多的點云識別穩(wěn)健性的研究！

審核編輯 ：李倩