多实例配准
多实例配准需要将模型点云与场景中的多个实例对齐。与单一实例的点云配准相比，多实例配准任务的复杂性更高，主要因为实例数量不确定且实例间存在遮挡。为解决多实例点云配准问题，现有流程大致分为两类：两阶段和单阶段。
- 对于两阶段流程，首先在模型点云和场景点云之间提取点对应关系，然后通过多模型拟合恢复每个实例的变换，但其成功很大程度上取决于所提取的对应关系的质量。此外，由于场景中的物体杂乱且被遮挡，很难将对应关系准确聚类到单个实例中以便后续的对对配准。
- 对于单阶段流程，它以模型点云和场景点云作为输入，直接输出姿态。例如，Yu等人 提出了一种粗到细的框架关系来估计变换，而无需多模型拟合。由于考虑了对应关系中的实例级别信息，该方法可以获得细粒度特征，从而提升性能。
然而，在包含多个物体的场景中，获得准确的实例级别对应关系非常困难，尤其是在物体杂乱和被遮挡的情况下。因此，为了缓解在场景中学习模型点云与多个物体之间对应关系的难度，如图1所示，我们考虑先定位物体中心，然后学习物体提案与模型点云之间的匹配关系。
本文介绍的3DFMNet[1]提出了一种简单但有效的3D聚焦与匹配网方法的核心思想是将多实例点云配准分解为多个对对点云配准。具体而言，提出了一个3D多物体聚焦模块，用于定位潜在的物体中心并生成物体提案。为了将物体与输入的CAD模型关联，使用自注意力和交叉注意力来学习结构上相似的特征，从而提高物体中心预测的准确性。在学习的物体中心基础上，我们结合CAD模型的半径，通过球查询操作生成物体提案。之后，提出了一个3D双掩码实例匹配模块，以学习CAD模型与物体提案之间的精确对对配准。该模块通过实例掩码过滤物体提案中的背景点，并使用重叠掩码来提升不完整物体的对对局部配准。
主要贡献包括三个方面：
- 主要贡献不在于配准问题。现有方法（如PointCLM 和MIRETR ）主要学习单个CAD模型与多个物体之间的对应关系（一对多范式），而本方法将一对多范式分解为多个一对一的，首先检测物体每个物体提案之间的匹配关系。
- 新流程简单但有效，在Scan2CAD 和ROBI 数据集上达到了新的最先进性能，尤其是在具有挑战性的ROBI数据集上，我们的方法在MR、MP和MF指标上R高约7%。
- 将多实例点云配准转化法还为多目提供了重要的见解。
具体方法
整体流程如图2所示。方法采用两阶段框架，首先定位每个物体的中心，然后执行对对对应关系。
- 在第一阶段中，提出了一个3D多物体聚焦模块，通过学习输入的模型点云和场景点云之间的相关性来检测潜在的实例中心。
- 在第二阶段，设计了一个3D双掩码实例匹配模块，用于预测输入模型点云与每个物体中心局部区域之间的对对对应关系。
- 最后，介绍该方法的损失函数。
3D多物体聚焦
3D双掩码实例匹配
损失函数
实验效果
总结一下
3DFMNet是一种用于多实例点云配准的3D聚焦与匹配网络。提出了一个3D多物体聚焦模块，通过学习模型点云和场景点云之间的相关性来定位场景中潜在目标的中心。然后，设计了一个3D双掩码实例匹配模块，以学习模型点云与定位物体之间的对对对应关系。在两个公共基准Scan2CAD和ROBI上的大量实验表明，在多实例点云配准任务上达到了新的最先进性能。
局限性：
- 3D聚焦与匹配网络是一种用于多实例点云配准任务的两阶段框架。第一阶段的定位精度会影响第二阶段的对对对应关系。
- 由于采用了两阶段流程，推理时间略低于之前的MIRETR。
参考
[1] 3D Focusing-and-Matching Network for Multi-Instance Point Cloud Registration
发表回复