论文链接：https://arxiv.org/pdf/2401.03641.pdf
摘要
本文介绍了DME-Driver：在自动驾驶中集成人类决策逻辑和3D场景感知。在自动驾驶领域中，自动驾驶汽车系统的两个重要特征是决策逻辑的可解释性和环境感知的精度。本文引入了一种新的自动驾驶系统DME-Driver，它提高了自动驾驶系统的性能和可靠性。DME-Driver使用强大的视觉语言模型作为决策者，以及面向规划的感知模型作为控制信号发生器。为了确保可解释和可靠的驾驶决策，本文基于大型视觉语言模型来构建逻辑决策者。该模型遵循经验丰富的人类驾驶员所采用的逻辑，并以类似的方式做出决策。另一方面，精确控制信号的生成依赖于精确且详细的环境感知，这是3D场景感知模型的优势所在。因此，本文采用面向规划的感知模型作为信号发生器，它将决策者做出的逻辑决策转化为自动驾驶汽车的精确控制信号。为了有效地训练所提出的模型，本文构建了一个新的自动驾驶数据集。该数据集涵盖了各种各样的人类驾驶员行为以及潜在动机。通过利用这个数据集，本文模型通过逻辑思维过程实现了高精度的规划精度。
主要贡献
本文的贡献为如下四方面：
1）DME-Driver自动驾驶系统：本文提出了DME-Driver系统，它将LLMs在逻辑推理和可解释方面的优势与面向规划的模型的精确环境感知相结合，提高了自动驾驶中的决策鲁棒性和可解释性；
2）人类驾驶员行为和决策（HBD）数据集：利用开源数据集和新采集的数据，我们开发了一个独特的数据集，将人类驾驶员行为逻辑与详细的环境感知相结合，专门用于训练DME-Driver系统；
3）决策者模型设计：我们基于LVLM的决策者模型能够模仿人类驾驶员的指令，并且关注环境中的重要元素，为更好的决策提供类似人类的见解；
4）执行者模型制定：执行者模型精确地处理环境数据，并且将决策者的指令转化为准确的车辆控制信号，确保在各种驾驶情况下做出有效且上下文感知的反应。
论文图片和表格
总结
为了应对自动驾驶系统中人类驾驶员行为模式的可解释性和使用不足的挑战，本文引入了DME-Driver自动驾驶系统，这是一个由两个组成部分组成的新框架：决策者和执行者。决策者作为中心决策者，熟练地理解和模仿人类驾驶逻辑，从而确保系统采取的每一行为都是合乎逻辑且负责的。执行者通过有效地将决策者的细微决策转化为精确的车辆控制信号来补充这一点，从而利用了感知任务和规划算法的优势。为了有助于人类驾驶员行为的全面训练和理解，我们开发了HBD数据集，其包含丰富多样且基本的驾驶信息，例如决策逻辑和操作信号。本文经验测试展现了该系统能够准确复制人类驾驶员推理和行为的能力。结合决策者的指导，执行者成功地将这些转换为操作命令，将总体的决策效能提高到最先进的水准。这一成就不仅证明了DME-Driver系统的有效性，还标志着自动驾驶技术领域的重大飞跃。
发表回复