多实例点云配准旨在估计场景中点云中模型点云的多个实例的姿态，问题的核心是提取准确的点对应关系。现有的方法通常将场景点云视为一个整体，忽视了实例的分离。因此，点特征可能很容易被背景或其他实例的点所污染，导致无法区分单独实例的不准确对应关系，特别是在复杂的场景中。
这项工作提出了MIRETR（多实例配准transformer），这是一种从粗到细的方法，用于提取实例感知的对应关系。在粗粒度级别，它联合学习实例感知的超点特征并预测每个实例的掩码。通过实例掩码，可以最小化来自所关注实例之外的影响，从而提取出高度可靠的超点对应关系。然后，根据实例掩码，在细粒度级别上将超点对应关系扩展到实例候选目标。最后，设计了一种高效的候选选择和细化算法来获得最终的配准结果。
在三个公共基准数据集上进行了广泛的实验，证明了方法的有效性。在具有挑战性的ROBI基准数据集上，MIRETR在F1得分上比当前最先进的方法高出16.6个点。
代码和模型地址：https://github.com/zhiyuanYU134/MIRETR
MIRETR方法介绍
MIRETR以类似于无关键点配准方法的方式，采用从粗到细的策略来提取对应关系，方法的整体流程如图2所示。在粗粒度级别，使用实例感知的几何transformer模块在下采样的超点之间建立对应关系。在细粒度级别，每个超点对应关系被扩展以形成实例候选对象，其中提取实例级别的点对应关系以进行姿态估计。最后，合并相似的实例候选对象并细化得到的姿态，以获得最终的配准结果。
这在杂乱的场景中会变得更加严重。考虑到一个被严重遮挡的实例，由于其几何结构不完整，其superpoint的特征很容易被背景或附近实例的特征淹没。因此，它很难被配准。
针对上述问题，提出了一种新颖的Instance-aware Geometric Transformer模块，使superpoint特征具有实例感知能力。关键的见解是限制场景点云内部每个单独实例内的点云上下文编码。为此，首先为每个superpoint提取其k个最近邻，并在局部区域内进行上下文聚合。然而，如图3（b）所示，邻近的superpoint并不一定属于同一个实例，特征污染问题仍然存在。因此，我们进一步设计了一个实例mask机制，通过为每个superpoint预测一个实例掩模来选择与其属于同一实例的邻居，并仅在这些邻居之间进行上下文聚合。图3（c）展示了我们的实例mask机制。
2） Instance Candidate Generatio
在获取了superpoint对应关系之后，进一步将其细化为精细级别的密集点对应关系。之前的方法选择在两个匹配的superpoint的局部块内使用最优传输层来匹配点。然而，通过这种方式提取的局部对应关系往往紧密聚集在一起，这可能导致不稳定的姿态估计。在多实例配准中，特别是在杂乱场景中，这个问题更加严重，因为每个实例通常都很小。为了解决这个问题，我们提出在实例范围内提取密集点对应关系，利用粗粒度级别上的实例掩模。
3） Candidate选择和精炼
由于多个superpoint对应关系可能属于同一个实例，因此在实例候选集中通常存在重复的实例。为了解决这个问题，我们进一步设计了一个简单但有效的算法来去除重复项并优化候选集。
为了进一步优化实例候选集，受到非极大值抑制（NMS）算法的启发，首先根据全局点对应关系中的内点比率对实例候选进行排序。实例候选内点比率是指其对应的点对应关系中属于内点的比例，这一指标能够反映实例候选的匹配质量和稳定性。
接下来，选择内点比率最高的实例候选作为锚点候选。所有与锚点候选相似的剩余候选都将与其合并，并从后续的计算中移除。
与多模型拟合方法相比，提出的MIRETR方法具有两方面的优势。首先，通过学习实例感知的超点特征，最小化了背景和其他实例的干扰，因此得到的点对应关系更加准确。并且能够覆盖更多的实例，这意味着在复杂场景中，我们的方法能够更精确地匹配属于不同实例的点，从而提高实例配准的准确性。
实验对比
基线方法：与三种最先进的点云对应关系方法（FCGF 、CoFiNet 和GeoTransformer）以及四种最新的多模型拟合方法（T-linkage、RansaCov、ECC和PointCLM ）进行了比较。为了进行全面比较，将点云对应关系方法与多模型拟合方法进行了成对集成。
评估指标：使用三个配准指标来评估我们的方法：（1）平均召回率（MR），即已匹配实例数与所有真实实例数的比例；（2）平均精确率（MP），即已配准实例数与所有预测实例数的比例；（3）平均F1分数（MF），即MP和MR的调和平均值。此外还报告了内点比率（IR），即内点数与所有提取的对应关系的比例。这些指标综合反映了配准方法的性能，包括识别的准确性、完整性以及对应关系的质量。
发表回复