- 论文标题：Robo3D: Towards Robust and Reliable 3D Perception against Corruptions
- 机构：上海人工智能实验室、新加坡国立大学、香港大学、新加坡南洋理工大学等
- 论文链接：https://arxiv.org/abs/2303.17597
- 论文收录：ICCV 2023
- 开源代码：https://github.com/ldkong1205/Robo3D
一句话总结
Robo3D 是首个为自动驾驶中的 3D 感知任务所设计的鲁棒性 (robustness) 测试基线，该基线旨在探讨 3D 物体检测和 3D 语义分割模型在分布外 (out-of-distribution) 场景下针对现实环境中发生的自然损坏 (corruption) 的鲁棒性。具体地，我们考虑了由恶劣天气条件、外部干扰和内部传感器故障引起的多种损坏类型。 我们发现，尽管现有的 3D 感知模型在标准基线上已逐步取得了不错的结果，其仍然面临着在损坏情形下丢失鲁棒性的风险。
研究背景
「安全性」与「可靠性」是自动驾驶感知系统成功运行的前提。现有的大规模 3D 感知数据集中包含的数据通常经过了精心地清理 (cleaned)。 然而，这样的配置无法反映 3D 感知模型在实际部署阶段的可靠性。
基于激光雷达点云的自动驾驶 3D 感知任务日趋成熟，涵盖了包括 3D 物体检测、3D 语义分割、3D 全景分割、3D 场景补全等主流场景感知任务。
类型丰富多样的 3D 感知模型于近年被不断提出，并已在主流的自动驾驶感知数据集，如 nuScenes[1]、SemanticKITTI[2] 和 Waymo Open[3] 等，取得了令人振奋的感知性能。然而，这些 3D 感知模型在受自然损坏 (corruption) 情形下的鲁棒性 (robustness) 和可靠性 (reliability) 仍然未知。
Robo3D基线
本工作旨在为各种 3D 感知模型提供可靠的鲁棒性测试基线。具体地，我们主要考虑以下三种常见的损坏类型：
- 由恶劣天气条件 (adverse weather condition) 所引起的损坏；
- 由外部干扰 (external disturbance) 所引起的损坏；
- 由内部传感器故障 (internal sensor failure) 所引起的损坏。
我们基于主流自动驾驶 3D 感知数据集生成了与之对应的“损坏评测集”，并建立了 Robo3D 基线[4]。该基线中共包含了如下八个类型的损坏数据：
| 序号 | 类型 | Type |
|---|---|---|
| 1 | 雾天 | fog |
| 2 | 潮湿地面 | wet ground |
| 3 | 雪天 | snow |
| 4 | 运动模糊 | motion blur |
| 5 | 射线丢失 | beam missing |
| 6 | 传感器交扰 | crosstalk |
| 7 | 传感器断传 | incomplete echo |
| 8 | 跨传感器类型 | cross sensor |
各类型损坏数据的可视化效果图如下所示：
对于每一种损坏类型，我们都按照 “轻” (easy)、“中” (moderate)、“重” (heavy) 三个等级生成了对应的评测数据集，以更好地对 3D 感知模型的鲁棒性进行分析。
有关上述八种类型损坏数据的物理建模以及仿真细节，可参阅论文的补充材料部分。
基于所构建的 Robo3D 评测集，通过对各类 3D 感知模型的分析，我们发现，尽管现有感知模型在标准基线上已经逐步取得了不错的结果，其仍然面临着在损坏情形下丢失鲁棒性的风险。
评测指标
为了更好地评测 3D 感知模型在损坏情形下的鲁棒性，我们定义了如下两种鲁棒性指标。
平均损坏误差 (mCE)
我们使用 “平均损坏误差” (mCE) 作为衡量 3D 感知模型鲁棒性的主要指标。具体地，某 3D 感知模型在第
i 类损坏类型下的损坏误差 (corruption error, CE) 可由如下公式计算：
其中， 表示损坏类型的等级， 表示 3D 感知模型的识别准确率 (如 mIoU、mAP、NDS 等等)，
表示基准模型在相同损坏类型和等级下的识别准确率。
平均损坏误差，也即 mCE，可由如下公式计算：
实验结果
基于所提出的 Robo3D 评测基线及指标，我们对涵盖激光雷达点云语义分割和 3D 物体检测的共 34 种 3D 感知模型进行了详细的测试与分析。
我们观察到一系列与自然损坏下鲁棒性密切相关的模型配置，包括：传感器参数的设置、点云表征的选取、检测器与分割器的敏感度差异以及分布外数据增强的使用等等。
具体地，我们将对 3D 感知模型鲁棒性的分析总结为以下五点：
- 现有的 LiDAR 点云语义分割和 3D 物体检测模型很容易受到现实世界损坏情形的影响，与在标准基线上的测试结果相比，其在各类损坏类型下表现出程度不一的性能退化。
- 使用不同型号的 LiDAR 传感器 (如32线和64线) 数据所训练得到的 3D 感知模型，往往对各类损坏情形表现出不一致的敏感性。
- 将 LiDAR 数据表示为点 (raw point)、稀疏体素 (sparse voxel) 或它们的融合 (fusion) 来进行 3D 模型的训练，在普遍意义上表现出更好的鲁棒性。
- 3D 物体检测模型和 LiDAR 点云语义分割模型对各类损坏情形表现出不同的敏感度 (sensitivity)。
- 近期提出的 3D 数据增强方法，如 LaserMix[5]，可以大幅提高各类 3D 感知模型在损坏情形下的鲁棒性。
更多有关对 3D 感知模型在各类损坏情形下的性能表现的分析，可参阅论文的实验结果部分。
总结
在这个工作中，我们提出了 Robo3D，其作为首个为自动驾驶中的 3D 感知任务所设计的鲁棒性测试基线，旨在探讨 3D 物体检测和 3D 语义分割模型在分布外场景下针对现实环境中发生的自然损坏的鲁棒性。
通过对 34 种 3D 感知模型在各类损坏情形下鲁棒性的分析，我们得以总结出一系列提升模型对抗真实世界中可能发生的损坏情形的设计思路。希望该工作可以启发后续工作，以不断提升自动驾驶 3D 感知模型的实用性和可靠性。
开源资料
L. Kong, Y. Liu, X. Li, R. Chen, W. Zhang, J. Ren, L. Pan, K. Chen, and Z. Liu. “Robo3D: Towards Robust and Reliable 3D Perception against Corruptions,” ICCV, 2023.
- 论文链接：https://arxiv.org/abs/2303.17597
- 项目主页：https://ldkong.com/Robo3D
- GitHub代码：https://github.com/ldkong1205/Robo3D
- 论文海报：https://ldkong.com/posters/iccv23_robo3d.pdf
- 视频Demo：https://www.youtube.com/watch?v=kM8n-jMg0qw
参考
- ^H. Caesar, et al. “nuScenes: A multimodal dataset for autonomous driving,” CVPR, 2020. https://www.nuscenes.org
- ^J. Behley, et al. “SemanticKITTI: A dataset for semantic scene understanding of LiDAR sequences,” ICCV, 2019. http://www.semantic-kitti.org
- ^P. Sun, et al. “Scalability in perception for autonomous driving: Waymo open dataset,” CVPR, 2020. http://ymo.com/open/data/perception
- ^L. Kong, et al. “Robo3D: Towards robust and reliable 3D perception under corruptions,” ICCV, 2023. https://arxiv.org/abs/2303.17597
- ^L. Kong, et al. “LaserMix for semi-supervised LiDAR semantic segmentation,” CVPR, 2023. https://arxiv.org/abs/2207.00026
发表回复