原文链接：https://zhuanlan.zhihu.com/p/32435441017
0. 论文信息
标题：Deblur Gaussian Splatting SLAM
作者：Francesco Girlanda, Denys Rozumnyi, Marc Pollefeys, Martin R. Oswald
机构：ETH Zürich、Microsoft、University of Amsterdam
原文链接：https://arxiv.org/abs/2503.12572
1. 导读
我们提出了去模糊SLAM，一种鲁棒的RGB SLAM流水线，旨在从运动模糊的输入中恢复清晰的重建。所提出的方法结合了帧到帧和帧到模型两种方法的优点，以对子帧相机轨迹进行建模，从而在运动模糊的情况下实现高保真重建。此外，我们的管道结合了在线环路闭合和全局束调整等技术，以实现密集而精确的全局轨迹。我们对运动模糊图像的物理图像形成过程进行建模，并最小化观察到的模糊图像和通过平均清晰的虚拟子帧图像获得的渲染模糊图像之间的误差。此外，通过利用单目深度估计器以及在线高斯变形，我们确保了精确的映射和增强的图像去模糊。提议的SLAM管道整合了所有这些组件以改善结果。我们在合成和真实世界模糊输入数据上实现了清晰地图估计和子帧轨迹恢复的最先进结果。
2. 效果展示
Debur-SLAM可以成功跟踪相机并重建高度运动模糊序列的清晰地图。我们直接建模运动模糊，这使我们能够在具有挑战性的合成数据(顶部)和真实数据(底部)上实现高质量的重建。
真实世界ScanNet上的定性结果。给定来自场景0169和0207的输入模糊帧，我们设法以子帧精确度跟踪轨迹，并通过直接建模相机运动模糊来估计清晰的地图。
3. 引言
以高保真度重建真实世界长期以来一直是计算机视觉领域的一个核心问题，对于机器人导航、虚拟现实/增强现实（VR/AR）、建筑设计和自动驾驶车辆等应用至关重要。实现物理环境的精确且详细的表征至关重要，而稠密视觉即时定位与地图构建（SLAM）系统通过估计环境的精确重建，同时定位相机帧，来解决这一问题。
传统的3D SLAM方法通常依赖于几何表征，这些表征以各种形式实现，如多层感知器（MLP）的权重、锚定在密集网格中的特征、层次八叉树和点/面元、网格以及体素哈希。最近的视觉SLAM方法进一步捕捉视觉外观，借鉴了神经辐射场（NeRF）及其变体的进步，从而能够合成具有照片真实感的环境图像。推荐课程：卡尔曼滤波及其在多传感器融合的应用[PX4 EKF2讲解]。
这些进步为复杂的下游任务带来了新的可能性，包括详细的语义场景理解、语言引导的操控和视觉导航。此外，神经表征具有以平滑的几何估计填充未见区域并提供低内存占用的优势。
基于3D高斯溅射（3DGS）的方法能够产生高保真渲染，并且在仅RGB设置的场景下，鉴于其在优化表面位置方面的灵活性，显示出有前景的结果。然而，这些方法通常缺乏多视图深度和几何先验，导致在仅RGB应用中几何形状次优。大多数方法也仅实现帧到模型的跟踪，而没有全局轨迹和地图优化，这可能会导致过度漂移，尤其是在真实世界条件下。帧到帧的跟踪方法结合回环检测和全局光束平差（BA）仍然能够实现最先进的跟踪精度。
当前SLAM领域最先进的方法是SplatSLAM，它通过整合回环检测、全局光束平差和可变形3D高斯地图，来结合帧到帧方法的优势。
同时，运动模糊是由于相机快速移动而降低图像质量的一种常见现象，也是大多数最先进的SLAM和3D重建方法的常见失败原因。这些方法没有采用任何策略来处理通常会导致重建质量更差的严重运动模糊图像。
提出的Deblur-SLAM方法旨在解决欠约束的运动模糊设置问题。它结合了帧到帧和帧到模型的方法，并估计导致更锐利重建的子帧轨迹。
4. 主要贡献
我们的贡献如下：
• 我们提出了一种RGB SLAM方法，明确处理和建模相机运动模糊。即使输入帧因相机快速移动而高度模糊，也能生成清晰的地图。
• 为了提高鲁棒性，我们结合了帧到帧和帧到模型的跟踪器，并首次将回环检测、光束平差和在线细化整合到去模糊SLAM框架中。
• 与大多数SLAM方法不同，我们以子帧精度估计轨迹。
5. 方法
Deblur-SLAM旨在结合帧到帧和帧到模型方法的优势，以获得在运动模糊设置下导致清晰重建的子帧轨迹。我们利用SplatSLAM的帧到帧特征为相机位姿和高斯分布提供精确初始化。然后，我们在其上方堆叠一个帧到模型的跟踪器来学习子帧轨迹，从而以子帧精度渲染清晰图像。我们将这些清晰图像称为“虚拟图像”，可用于生成更高帧率的视频。我们优化观察到的模糊图像与通过平均清晰虚拟子帧获得的合成模糊图像之间的光度误差和几何误差（见图2）。在优化过程中，我们使用调整过程来正则化子帧轨迹，使其与全局轨迹对齐，从而实现高度准确且详细的重建。这三个组件——帧到帧跟踪器、帧到模型跟踪器和模糊分解——是所提方法的主要组成部分，
6. 实验结果
7. 总结
我们提出了Deblur-SLAM，这是一种稳健的RGB SLAM管道，能够从模糊输入中恢复清晰的重建。我们的管道利用子帧轨迹建模、在线环闭合和全局BA来实现密集和准确的轨迹。此外，我们建模了运动模糊图像的物理成像过程，并通过单目深度估计器和高斯在线变形确保了清晰、子帧和精确的映射。Deblur-SLAM首次将这些技术应用于场景去模糊。实验表明，我们的方法优于现有方法。
发表回复