原文链接：https://mp.weixin.qq.com/s/0pX2xIq5t5l89meCRkUrWA
01
论文信息
- 论文标题：End-to-End 2D-3D Registration Between Image and LiDAR Point Cloud for Vehicle Localization
- 作者：Wang, Guangming and Zheng, Yu and Wu, Yuxuan and Guo, Yanfeng and Liu, Zhe and Zhu, Yixiang and Burgard, Wolfram and Wang, Hesheng
- 项目地址：https://github.com/IRMVLab/I2PNet
- 期刊来源：IEEE Transactions on Robotics
- 论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=11078010
02
摘要
机器人利用已构建的地图进行定位对于包括精确导航和移动操作在内的多种任务至关重要。一种流行的机器人定位方法是基于图像到点云配准，该方法结合了抗光照变化的基于激光雷达的建图和经济的基于图像的定位。然而，最近关于图像到点云配准的工作要么将配准分为单独的模块，要么将点云投影到深度图像上以配准RGB和深度图像。在本文中，我们提出了I2PNet，这是一个新颖的端到端2D-3D配准网络，它直接使用微分模块和统一目标将原始3D点云与2D RGB图像进行配准。我们提出了一个用于微分2D-3D关联的2D-3D代价体积模块，以连接特征提取和姿态回归。在2D-3D代价体积模块中，软点到像素的对应关系隐式地构建在内在独立的归一化平面上。此外，我们引入了一个异常值掩码预测模块，在姿态回归之前过滤2D-3D关联中的异常值。此外，我们提出了一个粗到精的2D-3D配准架构，以提高定位精度。我们在KITTI、nuScenes、M2DGR、Argoverse、Waymo和Lyft5数据集上进行了广泛的定位实验。结果表明，I2PNet大幅超越了现有技术，并且比以往的工作具有更高的效率。此外，我们将I2PNet的应用扩展到相机-激光雷达在线标定，并证明了I2PNet在在线标定任务上优于最近的方法。
03
主要贡献
- 提出了一种用于车辆定位的新型端到端2D-3D配准架构，命名为I2PNet。与现有方法不同，该架构中的所有模块都通过统一目标联合优化，并且保留完整的3D点云以实现大范围定位。
- 提出了新颖的2D-3D代价体积模块，以实现端到端的2D-3D配准。2D-3D代价体积模块在相机内参无关的空间中微分地关联3D点和2D像素。
- 在KITTI、nuScenes、M2DGR、Argoverse、Waymo和Lyft5数据集以及各种定位范围内进行了广泛的机器人定位实验，以展示I2PNet的优越性和泛化能力。此外，评估了I2PNet的效率，并证明端到端流程可以同时提升性能和效率。
- 将I2PNet的应用扩展到相机-激光雷达在线标定，并在各种任务中证明了I2PNet的有效性。
04
算法架构与核心模块
1. 算法框架
I2PNet以RGB图像和原始激光雷达点云作为输入。通过特征提取金字塔、粗配准和精配准，网络最终预测图像和点云之间的相对位姿。
2. 粗先验关联
Detailed structure of the coarse prior association
3. 2D-3D代价体积模块
IC生成模块使用基于全连接或KNN的点像素混合，在针孔相机模型的归一化平面上匹配点和像素。然后，计算每对点像素的相似性并聚合以生成逐点IC特征。基于IC特征，PST嵌入模块聚合每个点的邻居的IC特征，以估计补丁空间变换信息并将其嵌入到PST嵌入特征中。该模块最终输出PST嵌入特征作为2D-3D代价体积。
给定图像和点云的特征及其位置信息，该模块估计PST嵌入特征作为2D-3D代价体积。
用于粗配准的全连接点像素混合。全连接混合将所有像素视为点的对应点候选。此外，采用逆相似性以实现鲁棒的对应点生成。
基于KNN的点像素混合。这种类型的点像素混合将K个最近的像素邻域视为像素对应点的候选。
05
实验仿真
LARGE-RANGE LOCALIZATION ERROR ON THE KITTI ODOMETRY AND NUSCENES DATASETS
LARGE-RANGE LOCALIZATION EVALUATED ON M2DGR DATASET
GENERALIZATION EXPERIMENTS FROM KITTI ODOMETRY DATASET TO NUSCENES AND M2DGR DATASETS
Visualization of large-range localization results on KITTI Odometry and nuScenes datasets. This figure presents the large-range localization results on the KITTI Odometry and nuScenes datasets through the visualization of image-to-point cloud registration. The color bar shows the depth of each LiDAR point. (a) KITTI Odometry (b) nuScenes.
SMALL-RANGE LOCALIZATION ERROR ON KITTI ODOMETRY DATASET
GENERALIZATION EXPERIMENTS ON KITTI ODOMETRY, NUSCENES, ARGOVERSE, WAYMO, AND LYFT5 DATASETS ON SMALL-RANGE LOCALIZATION TASK
EFFICIENCY COMPARISON
NETWORK HYPERPARAMETERS OF I2PNET
06
总结
在本文中，介绍了一种用于车辆定位的新型图像到点云配准架构I2PNet。I2PNet基于端到端的2D-3D配准，在激光雷达点云地图中实现了高精度和高效的大范围基于图像的机器人定位。通过新颖的2D-3D代价体积模块和异常值掩码预测模块实现了端到端的2D-3D配准。端到端的2D-3D配准使得每个模块都可以通过统一目标进行优化。此外，在架构中保留了完整的3D点云结构以进行图像到点云的关联。因此，实现了更好的配准精度。
在多个数据集和任务上进行了广泛的实验，以证明I2PNet在激光雷达点云地图中一流的相机定位能力。在KITTI里程计数据集上，I2PNet在360°和10米的大定位范围内实现了0.83°的平均旋转误差（RRE）和0.21米的平均平移误差（RTE），比之前的一流方法分别提高了60.0%的平均RRE和71.6%的平均RTE。此外，在nuScenes数据集上执行相同任务的性能也超过了之前的方法。此外，基于端到端架构，I2PNet的效率达到了20赫兹，优于之前的方法。在小范围定位任务中，I2PNet也优于之前的基于端到端2D-2D配准的方法。I2PNet的中位旋转误差和中位平移误差分别为0.67°和0.07米，分别比之前方法的最佳0.70°中位旋转误差和0.18米中位平移误差提高了4.3%和61.1%。还在各种数据集上进行了泛化测试，并证明I2PNet在两项任务上都比之前的所有方法具有更好的泛化能力。至于将I2PNet扩展到相机-激光雷达在线标定，I2PNet达到了98.17%的平均重新标定率，超过了之前在线标定方法的最佳77.47%的平均重新标定率26.7%。
发表回复