小米x华科UniDriveVLA：面向自动驾驶的统一理解、感知与行动规划的VLA框架

本篇论文识别了当前VLA方案的根本性两难问题，如下图1

a）以VLM模型为主干，直出轨迹的VLA方案，有较强的推理场景理解和推理能力，但缺乏空间感知能力

b）以VLM模型为主干，融合感知输入或直接注入agent、occ token的VLA方案，空间感知能力有提升，但由于表征干扰：空间token与语义token在共享权重解码器中被联合优化，两种特征在冲突中训练，最终削弱VLM原生推理能力。

如图2：LLM token与感知token在各层间的余弦相似度。在共享权重解码器中，相似度逐层递增并趋于1，表明特征发生了塌缩，退化为近乎相同的表征

本文主要贡献:

1.提出 UniDriveVLA：基于混合Transformer (MoT) 架构的统一VLA模型，通过三个专属专家（理解/感知/规划）解耦优化，缓解空间感知与语义推理之间的冲突。

2.引入稀疏感知范式：直接从2D VLM特征中提取空间先验（不注入密集 BEV），并用三阶段联合训练策略，在提升感知与规划能力的同时保留 VLM 原生推理能力。

知识点介绍：

1.Mixture-of-Transformers：通过模态解耦专家+解耦注意力来统一多模态建模：每个模态有独立的Q/K/V 投影、FFN 和归一化，参数空间隔离，通过掩码联合注意力做受控跨专家通信。相比传统MoE的稀疏激活，MoT强调参数隔离

2.pi0：具身智能VLA架构，独立地将VLM理解与流匹配 (Flow Matching) 动作专家组合在 MoT 框架内，统一离散语义推理与连续动作生成。UniDriveVLA 沿用此设计并扩展到驾驶域

3.灾难性遗忘 (Catastrophic Forgetting)：在新任务上微调 VLM 主干时，新梯度会覆盖预训练权重中的世界知识。论文用三阶段训练 LoRA+学习率减半来缓解。

4.LoRA (Low-Rank Adaptation)：在VLM权重上施加低秩适配矩阵（冻结原权重，仅训低秩矩阵），显著降低可训练参数量，保护预训练语义能力。

本文方法介绍：

1.UniDriveVLA架构总览如上图，空间感知和语义推理共用一套参数进行训练会相互干扰，UniDriveVLA将整个模型拆分成三个相互协作但独立的专家模块，分别负责理解、感知和规划。仅通过Masked Joint Attention在专家之间交换必要的信息，因此能够减少不同任务之间的训练冲突。

2.模型结构：输入多视角图像特征、历史轨迹、导航，通过三个专家模块构造理解Token、感知Token和动作Token。

a)理解Token：由视觉语言模型生成，负责场景理解和推理，Qwen3-VL

b)感知Token：由稀疏感知模块提取，用于表示三维空间信息。sparsedrive

c)动作Token：由动作编码器生成，Flow Matching

3.Masked Joint Attention：每个专家利用自己参数计算Q、K、V，然后按照理解->感知->动作进行拼接得到：

  接下来进行self attention

Attention 计算结束后，再将输出重新拆分回三个专家，如公式6。这种设计的关键并不是完全隔离三个专家，而是限制信息流动的方向（如下图所示）

1）Understanding Expert使用标准的因果 Mask，只能看到自身历史 Token，不能访问后面的感知和动作 Token，因此能够保持Qwen3-VL原有的语言推理能力。

2）Perception Expert可以读取前面的Understanding Token，因此能够利用语言理解提供的语义信息来增强空间感知。 

3）Action Expert 则可以同时访问理解Token和感知Token，将语义知识与空间信息结合起来完成轨迹规划。

4.三阶段渐进式训练：

a)第一阶段：Qwen3微调训练，驾驶数据 : 通用数据 = 3 : 7，适应驾驶场景同时爆出语义能力，Lora训练部分参数

b)第二阶段：加入感知和规划模块，一起训练，并保持Qwen3用到的语言监督。language loss预测下一个Token，保持Cot和VQA能力。perception loss包括3D detection、Online Mapping和Occ loss。Action loss：对应flow matching

c)第三阶段：固定Qwen3-VL，只优化感知和规划，同时增加预测loss，让规划更适应动态目标。

d)核心思想是：先学会“理解”，再学会“感知”和“规划”，最后专门强化感知与规划模块

5.实验对比：

总结：

1.优点：

a)总结了当前VLA方案增强3D空间能力的方法：1）对齐派，如OmniDrive、OpenDriveVLA将3D特征映射到语言空间。2）注入派如OccVLA、SparseOccVLA把agent/occ token直接并入共享的解码器联合建模

b)归纳出当前对齐方法的局限并提出解决方法：共享参数+联合优化会导致推理x感知冲突，从而提出MoT三专家架构解决冲突问题。

2.缺点：开篇分析Cosine similarity趋近于1但这不等于推理能力被破坏呀。相似度上升也可能是两类token共享了通用底层特征，并不必然等价于"语义推理被稀释"。论文没有直接测"推理能力"本身（如 chain-of-thought准确率）与相似度的因果关系。

文章转载自公众号：自动驾驶新视界