原文链接：https://mp.weixin.qq.com/s/D9drfM2DlDVtEyGn2luDug
将大语言模型有效融入自动驾驶系统，需要在发挥其高级推理能力与保障实时性之间取得平衡。现有方法要么过于频繁地激活LLMs，导致计算开销过大；要么采用固定调度方式，无法适应动态变化的驾驶场景。
为解决这些挑战，香港中文大学（深圳）和中山大学等团队的研究人员联合提出AdaDrive——一种自适应协作快慢框架，能以最优方式决定LLM何时以及如何为决策过程提供支持。其一，关于LLM的激活时机：AdaDrive设计了一种新颖的自适应激活损失，通过对比学习机制动态判断是否调用LLM，确保仅在复杂或关键场景下激活。其二，关于LLM辅助的融合方式：不同于刚性的二元激活，AdaDrive引入自适应融合策略，根据场景复杂度与预测置信度，对LLM的影响进行连续的强度调节，实现与传统规划器的无缝协作。
通过这些策略，AdaDrive构建了一个灵活、上下文感知的框架，在不影响实时性能的前提下最大化决策准确率。在语言引导的自动驾驶基准测试中，大量实验表明，AdaDrive在驾驶准确率与计算效率两方面均达到SOTA。
- 论文标题：AdaDrive: Self-Adaptive Slow-Fast System for Language-Grounded Autonomous Driving
- 论文链接：https://arxiv.org/abs/2511.06253
- 项目主页：https://github.com/ReaFly/AdaDrive
一、背景回顾
自动驾驶长期以来都是学术界和工业界的研究热点。随着大语言模型（LLMs）及其多模态扩展模型（MLLMs）的出现，研究人员开始将LLMs融入自动驾驶系统，以提升其认知推理与决策能力。早期方法如LMDrive和AD-H，采用同步且高度耦合的串行架构，LLM与规划器在每个驾驶步骤中均会参与运作（见图1）。这些模型虽提升了驾驶智能性，但引入了巨大的内存开销与延迟，使得实时部署面临挑战，尤其在高速、动态的驾驶环境中。
为解决这一问题，后续研究探索了异步策略，通过预先设定的间隔激活LLM，以平衡性能与效率。然而，固定调度极大限制了模型的适应性——不同驾驶场景对LLM干预的需求差异显著。例如，在安全关键场景中，LLM可能在最需要时未被激活；而在简单场景中，激活LLM则显得多余，导致资源利用不佳。
基于这些局限，一个理想的LLM增强型自动驾驶框架应具备以下能力：
1）动态决定LLM的激活时机，确保其仅在能发挥作用的场景中参与，同时避免不必要的计算开销；
2）自适应控制LLM的影响程度——本文的核心发现是，尽管LLM的参与通常能提升性能，但相比二元开关式的全权重激活（如权重1.0），采用较低自适应权重的连续融合方式（如权重0.7）往往效果更优。
为应对这些挑战，本文提出AdaDrive——下一代自适应LLM融合自动驾驶框架。该框架采用快慢系统范式，平衡两类任务：一类是高频低延迟任务（不调用LLM的轻量级规划器，称为快速路径），另一类是低频高推理任务（激活LLM作为认知智能体，称为慢速路径）。
本文通过两项关键创新对该快慢框架进行优化，实现决策准确率与计算效率的最优平衡：1）自适应LLM激活：不再依赖固定激活间隔，AdaDrive通过新颖的自适应激活损失，动态学习LLM的激活时机。在训练过程中，通过对比LLM辅助与无LLM辅助的预测结果，模型能自动识别高风险或复杂场景，实现真正的按需激活；2）动态LLM贡献度调节：不同于以往将LLM激活视为二元决策的方法，AdaDrive引入置信度驱动的融合策略，动态调整LLM的参与权重。核心洞察是，尽管LLM辅助通常能提升性能，但全有或全无的二元激活并非最优——对LLM贡献度进行自适应调节，往往比极端化的方式效果更好。
为此，AdaDrive根据LLM输出的置信度与场景复杂度，调节其影响强度，确保其贡献与传统规划模块达到最优平衡。
此外，本文提出Long-Short Q-former，通过融合短期精准特征与长期上下文信息增强视觉建模能力，确保流式自动驾驶场景下轨迹预测的一致性。同时，引入传播式记忆融合（PMF）机制，将被淘汰的帧特征合并到相邻帧中，在保持紧凑表示的同时保留关键历史上下文，进一步优化内存效率。实验结果表明，AdaDrive在语言引导的自动驾驶领域达到了新的SOTA。
本文的贡献总结如下：
- 提出AdaDrive，首个用于LLM增强自动驾驶的自适应快慢架构，能基于实时驾驶上下文动态激活LLM；
- 一种新的自适应融合机制，自动学习LLM的最优激活时机（以最大化性能增益并最小化计算开销），并根据模型置信度与场景复杂度决定LLM的贡献程度；
- 开发LS-Qformer与PMF机制，分别用于增强时序特征聚合能力和通过高效内存保留关键历史上下文；
- 在标准语言引导自动驾驶基准测试中，在准确率与计算效率两方面均取得最先进性能。
二、AdaDrive算法详解
概述
问题定义
发表回复