原标题：OMR: Occlusion-Aware Memory-Based Refinement for Video Lane Detection
论文链接：https://arxiv.org/pdf/2408.07486
代码链接：https://github.com/dongkwonjin/OMR
作者单位：韩国高丽大学 三星高级技术研究院
论文思路：
本文提出了一种用于视频车道检测的新算法。首先，本文为当前帧提取特征图，并检测遮挡车道的障碍物潜在掩码(latent mask)。然后，本文通过开发一个遮挡感知的基于记忆的优化（OMR）模块来增强特征图。该模块以当前帧的障碍物掩码和特征图、前一输出以及记忆信息作为输入，在视频中递归处理这些信息。此外，本文应用了一种新颖的数据增强方案来有效地训练OMR模块。实验结果表明，所提出的算法在视频车道数据集上优于现有技术。
主要贡献：
- 所提出的OMR模块通过利用障碍物掩码和记忆信息改进当前帧的车道检测结果。
- 本文引入了一种新颖的视频车道检测训练策略，以更稳健地识别车道。
- 所提出的算法在视频数据集上产生了出色的车道检测结果。
论文设计：
车道检测旨在定位道路场景中的车道，这对于实现自动驾驶或辅助人类驾驶至关重要。然而，由于附近车辆的遮挡或恶劣天气条件，车道可能不明显，导致检测困难。在车道检测方面，早期方法试图通过提取低级特征来寻找可见的车道线索 [1, 7, 8, 42]。最近，许多技术已经被开发出来，以利用深度特征处理隐含车道。一些方法采用语义分割框架 [9, 10, 21, 24, 40]，将每个像素分类为车道类别或非车道类别。还进行了几次尝试来提取连续的车道信息，包括曲线建模 [5, 16, 19, 29, 31] 和关键点关联 [25, 32, 37]。与此同时，基于锚点的车道检测器 [12, 13, 28, 34, 41] 也被提出。这些方法预定义了一组车道锚点，然后通过对每个锚点的分类和回归来检测车道，确保车道的连续性。然而，所有这些方法都是基于图像的检测器，独立处理每一帧，因此它们通常无法提供时间上稳定的检测结果，特别是在某些车道被物体遮挡时，如图1所示。
图1：道路场景示例，其中一些车道部分被多个物体遮挡。可见的车道和遮挡物分别用白线和橙色多边形表示。
视频车道检测器也已经被开发出来。这些技术利用过去的信息来检测当前帧中的车道，这有助于更可靠地识别隐含的车道。大多数方法 [27, 33, 38, 39, 44] 采用图2(a)中的框架。这些视频检测器提取若干过去和当前帧的特征，聚合这些特征，并使用混合特征在当前帧中检测车道。然而，它们不会在未来的帧中重用这些混合特征。最近，一种递归视频车道检测器（RVLD） [11] 被提出。如图2(b)所示，RVLD仅通过运动估计和特征优化来增强当前帧的特征，并递归地将当前帧的状态传递给下一帧。RVLD在性能上优于现有的图像和视频车道检测器，但由于其严重依赖当前帧中的信息，因此可能会不准确地检测车道。特别是当当前帧中的车道被附近的车辆严重遮挡时，RVLD往往会产生不可靠的检测结果。
本文提出了一种新颖的视频车道检测器，结合了遮挡感知的基于记忆的优化（OMR）模块。如图2(c)所示，它利用潜在的障碍物掩码和记忆信息来增强当前帧的特征图。首先，本文从当前帧中提取特征图并检测潜在的障碍物，这些障碍物会妨碍车道的可见性。然后，本文通过OMR模块优化特征图，该模块将当前帧的障碍物掩码和特征图、之前的输出以及记忆信息作为输入。此外，本文开发了一种有效的数据增强方案，以稳健地训练OMR模块。实验结果表明，所提出的算法在VIL-100 [39] 和 OpenLaneV [11] 数据集上优于现有技术。
图3：所提出算法的概览，其执行四个步骤：编码、潜在障碍物检测、OMR和解码。在此示例中，最右侧的车道部分被附近的车辆遮挡，因此编码后的特征存在缺陷，使车道检测变得困难。然而，所提出的算法可以通过有效地优化遮挡区域内的特征，精确地检测隐含的车道。如虚线红框所示，本文可以看到所提出的OMR模块将遮挡车道的特征增强为更具辨识度的特征。
图7：(a) 在训练集中，每张图像通过从KINS数据集中叠加新物体（如车辆或骑自行车的人）进行合成。(b) 此外，通过在帧之间线性变化这些物体的大小和位置，重新生成视频序列。由于从KINS中提取的是完整形状的物体，因此生成的图像显得自然。
实验结果：
图8：在VIL-100数据集上车道检测结果的比较。
图9：在OpenLane-V数据集上车道检测结果的比较。
总结：
本文提出了一种新型的视频车道检测器。首先，所提出的算法提取当前帧的特征图，并检测阻碍车道可见性的潜在障碍物。然后，利用基于遮挡感知记忆的优化（OMR）模块对特征图进行增强，该模块将检测到的障碍物掩码、当前帧的特征图、前一输出以及记忆信息作为输入。增强后的特征图用于更可靠的车道检测。此外，本文开发了一种数据增强方案，以稳健地训练OMR模块。实验结果表明，所提出的算法在性能上显著优于现有技术。
引用：
@ARTICLE{2024arXiv240807486J,
author = {{Jin}, Dongkwon and {Kim}, Chang-Su},
title = "{OMR: Occlusion-Aware Memory-Based Refinement for Video Lane Detection}",
journal = {arXiv e-prints},
keywords = {Computer Science - Computer Vision and Pattern Recognition},
year = 2024,
month = aug,
eid = {arXiv:2408.07486},
pages = {arXiv:2408.07486},
doi = {10.48550/arXiv.2408.07486},
archivePrefix = {arXiv},
eprint = {2408.07486},
primaryClass = {cs.CV},
adsurl = {https://ui.adsabs.harvard.edu/abs/2024arXiv240807486J},
adsnote = {Provided by the SAO/NASA Astrophysics Data System}
}
发表回复