Title: DUSA: Decoupled Unsupervised Sim2Real Adaptation for Vehicle-to-Everything Collaborative Perception
Paper: https://arxiv.org/pdf/2310.08117
Code: https://github.com/refkxh/DUSA
简介
考虑到车路协同真实数据集的巨大标注成本，本篇文章提出一个针对车路协同的无监督的从仿真到现实的域适应方法（sim2real domain adaptation）：Decoupled Unsupervised Sim2Real Adaptation (DUSA)。该方法在仿真车路协同数据集v2xset和真实协同数据集dair-v2x验证，选择的传感器为激光雷达。
车路协同无监督域适应的挑战 domain gap主要包含两部分：sim/real domain gap和inter-agent domain gap。 sim/real domain gap来源于点云数据的密度、分布和反射值等差异，inter-agent domain gap来源于传感器的类型和放置位置。
domain gap
为解决这两种domain gap，该方法将车路协同的域适应问题分解为两个子问题并进行了相应的模块设计：从仿真到现实的域适应（sim2real adaptation），作者设计了Location-adaptive Sim2Real Adapter (LSA) module来聚合局部区域特征，并通过一个sim/real discriminator对齐真实域和仿真域的全局特征；
智能体间的域适应（inter-agent adaptation），作者设计了Confidence-aware Inter-agent Adapter (CIA) module对齐异构智能体的细粒度特征。
方法
下图是一个中期车路协同检测的框架图，ego 智能体和其他智能体的点云特征会在feature fusion module进行融合，用于对更广泛视野的目标检测。
无监督域适应的训练流程是，首先在源域（仿真数据集）使用标签训练该协同检测网络；在此基础上，加入无标签的目标域（真实数据集），并添加Location-adaptive Sim2Real Adapter (LSA) module和Confidence-aware Inter-agent Adapter (CIA) module对协同检测网络进行微调。其中LSA模块判断智能体属于源域或是目标域，CIA模块判断真实数据中智能体的类型。
网络框架
Location-adaptive Sim2Real Adapter (LSA)
位置自适应的 Sim2Real 适配器 (LSA) 模块旨在弥合模拟数据和真实数据之间的领域差距。 为了从模拟/真实域差距中完全排除代理间域差距，LSA 模块仅区分配备相对相似传感器的代理的特征。即该模块只判断ego智能体的特征属于源域和目标域。具体来说，LSA使用可学习的特征选择图来捕获分布的内部模式，并相应地从自我代理的特征图中选择重要的特征，最终聚合全局特征。该全局特征最终输入判别器D_sim进行仿真域和真实域的判断。
LSA
Confidence-aware Inter-agent Adapter (CIA)
置信感知智能体间适配器（CIA）模块旨在最小化现实世界中异构智能体之间的域差距。 即判断真实数据集的智能体属于哪个类型（车辆或者路端）。
具体来说，CIA将真实域的智能体特征输入D_agent进行类型判断，但是考虑到点云的稀疏性，一些无点云区域生成的空网格对判断带来噪声。因此CIA模块使用智能体特征生成的分类分数的最小值作为损失的权重，确保参与判断的特征区域都有点云。
CIA
损失函数
在源域训练协同检测网络时，使用3D目标检测损失函数：
加入无标签的目标域进行微调后，使用下面的组合损失函数：
实验
使用的数据集为仿真协同车路协同数据集V2XSet和真实车路协同数据集DAIR-V2X-C。
Baseline采取了Self-training和Naive Sim/real Discriminator，其中Self-training交替生成目标域的伪标签和微调网络，Naive Sim/real Discriminator只使用一个判别器判断数据来源于仿真域还是真实域。
作者在多个中期融合网络进行了泛化性实验，这里只展示一个融合网络的实验结果。Oracle是在目标域全监督训练的结果，是实验的上限，No adaption是指将源域训练得到的网络直接用于目标域推理。可以看到所提方法在解决无监督域适应的有效性。
作者也提供了两个模块的消融实验，该结果验证了两个模块的有效性以及各模块添加特征选择步骤的必要性。
结论
在这项工作中，我们提出了一种新的用于 V2X 协作检测的无监督 sim2real 域适应方法，称为解耦无监督 Sim2Real 适应（DUSA）。 它将V2X协作sim2real域适应问题解耦为两个子问题：sim2real适应和智能体间适应，并分别用LSA模块和CIA模块来解决它们。 LSA 模块利用位置重要性来鼓励特征提取器产生模拟/真实不变特征。 CIA 模块利用置信度线索帮助特征提取器输出代理不变特征。 这两个模块通过 GRL 的对抗性训练消除了模拟/真实和代理间的域差距。 多个协作 3D 检测器上的实验证明了所提出的 DUSA 方法在从模拟 V2XSet 数据集到真实世界 DAIR-V2X-C 数据集的无监督 sim2real 适应方面的有效性。
发表回复