实时和一致性可以兼得
传统的SLAM系统具有低延迟和高精度跟踪能力，并通过回环检测确保全局一致性。但是只能构建稀疏点地图，缺乏稠密的几何和纹理信息。
基于神经隐式表示的SLAM系统可以实现高保真的场景重建。但是基于神经表示的跟踪缺乏回环检测支持，导致在大场景中由于缺乏全局一致性而表现不佳。如图1所示，即使在系统中集成了回环检测，例如，通过用传统的SLAM系统替代跟踪模块，相对于更新的位姿重新训练整个地图也是非常耗时的。此外，它们的建图网络的慢收敛性进一步阻碍了其满足低延迟映射的要求。
GEL-SLAM是一个基于神经隐式表示的全局一致低延迟SLAM系统，主要特点是：
- 精确的跟踪和地图构建：系统通过并行运行传统的基于特征的跟踪模块（ORB-SLAM3[2]）和神经隐式场景建图模块实现了精确的性能。
- 全局一致性：系统集成了回环检测以确保全局一致性。
- 低延迟：在跟踪和地图构建方面都实现了低延迟。其中地图构建包括对回环检测的快速响应和在新帧到来时的快速收敛
系统方法
跟踪和建图模块
动态局部地图
当一个帧被确定为关键帧时，跟踪模块使用局部BA来优化相关的关键帧，并将这些姿态和新的关键帧提供给建图模块。
建图模块首先执行局部地图选择，通过评估共同可见关系来确定新的关键帧是否属于现有的局部地图。这避免了映射模块生成冗余的局部地图，特别是在回环检测之后。如果关键帧不属于任何现有的局部地图，则会初始化一个新的局部地图，并相对于当前关键帧（称为锚点帧）进行定位。在确定了局部地图之后，建图模块使用在局部BA中优化了姿态的关键帧来训练局部地图。地图每14毫秒更新一次，以确保低延迟的要求。
回环检测
当检测到回环时，跟踪模块执行全局BA。然而，全局BA会立即改变先前预测的相机姿态，这通常被称为轨迹跳跃。为了解决这些变化，基于单一体积的隐式神经方法需要重新训练场景表示，并更新大多数先前训练的参数，这非常耗时。
本系统使用多个局部地图来表示整个场景。当全局BA完成后，场景表示经历从粗到细的两阶段优化。
- 在第一阶段，建图模块执行子地图调整，通过使用锚点关键帧的姿态来更新场景表示。
- 在第二阶段，建图模块微调先前的局部地图以纠正错误。
第一阶段是实时调整，能够纠正局部地图之间的错误，这一阶段有效地纠正了场景表示中的大部分错误。第二阶段涉及次实时优化，消除局部地图内的小错误，进一步提高场景表示的准确性。
基于不确定性的图像渲染
由于系统包含多个子地图，在从给定视点渲染图像时需要考虑两种情况：
- 第一种情况是视锥完全与一个子地图相交，使系统能够使用该特定子地图渲染图像。
- 第二种情况是视锥位于不同子地图的边界上，使得无法从单个子地图生成完整的图像。在这种情况下采用基于最低不确定性的逐像素融合方法来渲染图像。
地图表示和训练
基于八叉树的隐式神经表示
体积渲染
为了考虑未观察区域中的更高不确定性，将这些区域的方差设置为0.25。
实验效果
总结一下
NGEL-SLAM是一个适用于室内场景、基于神经隐式表示的全局一致低延迟SLAM系统。结合传统的跟踪和神经隐式场景表示，该方法在跟踪准确相机姿态的同时生成高精度的网格。与其他基于神经隐式的SLAM系统相比，确保了全局一致性和低延迟，更适合于实际应用。
参考
[1] NGEL-SLAM: Neural Implicit Representation-based Global Consistent Low-Latency SLAM System
[2] Orb-slam3: An accurate open-source library for visual, visual–inertial, and multimap slam
[3] Neural geometric level of detail: Real-time rendering with implicit 3d shapes
[4] Nerf: Representing scenes as neural radiance fields for view synthesis
发表回复