....今年下半年涌现的一批工作，清晰地展现了强化学习正在渗透并重塑端到端自动驾驶的几乎所有关键环节。.从基于世界模型的高效仿真训练，到利用对抗学习提升策略鲁棒性；从使用RL约束多模态轨迹生成的质量，到优化VLA模型的推理与反思能力。.这些研究有的致力于构建高效的“神经模拟器”以突破数据瓶颈，有的尝试让智能体在与环境的闭环交互中自主学习复杂策略，还有的巧妙地将RL作为“裁判”与“教练”，引导其他生

.....01....DiffusionDriveV2：端到端自动驾驶中的强化学习约束截断扩散建模.......DiffusionDriveV2 结合强化学习与基于锚点的截断扩散模型，为端到端自动驾驶生成多样且高质量的轨迹。该方法在 NAVSIM v1 和 v2 基准测试中取得了最先进的性能，其中在 v1 上 PDMS 为 91.2，在 v2 上 EPDMS 为 85.5。....论文标题：Dif

.想训练出一个可以落地的自动驾驶大模型，不是简单地给其提供几张图片，几条规则就可以的，而是需要非常多的多样的、真实的驾驶数据，从而可以让大模型真正理解道路、交通参与者及环境的变化。..图片源自：网络.大模型能不能在真实交通环境中看懂路、判断状况、做出正确决定，关键在于它训练时看到的东西有没有覆盖足够多、够真实、够准确。若训练数据有缺陷、种类单一、环境单一、标注不准确、传感器不对齐，那么训练出的大模

."汽车AI能耗"（Automotive AI Power Consumption）是智能汽车领域的重要概念，指人工智能系统在车辆运行中消耗的能源量。随着人工智能（AI）技术在汽车行业的深度应用，自动驾驶、智能座舱和车联网等功能的能耗问题日益凸显。本文基于英伟达芯片设计的典型智驾系统中央运算平台，系统性的梳理了AI汽车的主要能耗来源，分析了当前中央运算平台技术所面临的能效瓶颈，并总结了硬件优化、算

.规划模块在自动驾驶系统中主要用来执行决定“行驶路径”与“行驶方式”的任务。它接收来自定位、感知、地图、预测等模块的信息，进行综合处理后，制定出一条既符合法规、保障安全，又尽可能舒适高效的行驶路线。规划模块并不直接控制车辆的转向或油门刹车动作，它提供的是参考路径与速度曲线，由控制器据此转化为具体的转向角与油门刹车指令。通过这样的分工协作，自动驾驶系统得以在复杂的交通环境中，将所感知的外部世界“翻译

.自动驾驶的实现离不开各类传感器的支持，其中纯视觉方案成为很多技术方案的选择，但由于摄像头无法感知到环境深度信息，因此有部分技术方案提到了“深度相机”的技术。深度相机，指的是那些除了拍颜色（RGB）以外，还能直接或间接给出“每个像素到摄像头距离”信息的传感器。简单理解就是，普通相机告诉你“这像素看起来是什么颜色、有什么纹理”，而深度相机还会告诉你“这点离车有多远”。正因为在自动驾驶里，知道距离比知

.最近有小伙伴提问，一段式端到端和二段式端到端有什么区别。其实说到自动驾驶里的“端到端”，很多人第一反应其就是把传感器的原始数据直接变成车辆的控制指令。比如在大模型中输入摄像头、毫米波雷达、激光雷达等信号，便可以直接输出转向、油门、刹车或者轨迹指令。一段式端到端就是用一个整体模型完成这个任务，从传感器到控制，中间不拆成多个模块，训练的目标是直接模仿人类司机的操作，或者直接优化车辆行驶的安全指标。一

.最近有位小伙伴在后台留言提问：端到端算法是怎样训练的？是模仿学习、强化学习和离线强化学习这三类吗？其实端到端（end-to-end）算法在自动驾驶、智能体决策系统里，确实会用到模仿学习（包括行为克隆、逆最优控制／逆强化学习等）、强化学习（RL），以及近年来越来越受关注的离线强化学习（OfflineRL/BatchRL）这三类。. ..什么是“端到端”训练？.端到端（end-to-end）在自动驾

.在讨论自动驾驶大模型时，常会有几个评价维度，如感知是否准确、决策是否稳定、系统是否足够鲁棒，以及模型有没有“泛化能力”。相比准确率、延迟这些容易量化的指标，“泛化能力”这个词看起来比较抽象，也更容易被模糊使用。.它没有直观的评价标准，却决定了模型能不能真正走出训练数据、应对真实道路中的未知情况。理解清楚它到底指的是什么、为什么难、又该如何评估，是理解自动驾驶大模型能力边界的第一步。. ..什么是

..1.后量化转换（PTQ）.暂无. . .2. 量化感知训练（QAT）.2.1 模型尾部conv+relu结构未正确开启高精度输出.对于模型尾部的 conv+relu 结构，若发现未能按配置正确开启 int32 高精度输出，可优先检查是否存在共享算子。若 relu 是共享，则不会和其上游的 conv 发生 fuse 融合行为，relu 会单独出现，此时 conv 就不会开启高精度。..2.2 如

# BEVFormer：基于鸟瞰图的时空特征融合框架.## 1. 研究背景与动机.### 1.1 从3D到4D：引入时序维度的必要性.传统的BEV（Bird's Eye View，鸟瞰图）特征可以视为三维空间表征。然而，自动驾驶场景的本质是一个动态过程，单纯的空间信息无法充分描述环境的演变规律。.时序信息的价值：..运动预测：通过历史轨迹推断未来位置.速度估计：基于连续帧计算物体运动速度.遮挡处理

# BEVDet模型代码解析与实现细节.## 一、模型架构概述BEVDet采用四阶段处理流程完成3D目标检测任务：.Image-view Encoder：对环视相机图像进行特征提取.View Transformer：将图像视角特征转换为鸟瞰图(BEV)特征.BEV Encoder：对BEV特征进行编码增强.Head：完成最终的目标检测.![Description](https://prod-dc-

..1.模型性能评价指标.1.1延时.获取模型实测延时latency的方法建议参考用户手册hrt_model_exec工具介绍，本文就不再赘述了。建议的是用latency * 设计帧率去统计每个模型在1s周期内占用的bpu资源，再结合pipeline编排情况去找到需要重点优化的模型。.1.2模型带宽.在perf文件中有一个模型平均带宽的数字，但这个数字与实车实际所需带宽偏差还是比较大的，因为这个带

.2025年6月4日，全国标准信息公共服务平台公示关于征求《智能网联汽车 组合驾驶辅助系统安全要求》拟立项强制性国家标准（以下简称标准）项目意见的通知。.该标准由工信部提出，委托全国汽车标准化技术委员会智能网联汽车分会执行。本项目周期22个月，于2024年3月22日申报。公示开始日期为2025年6月4日，公示截止日期为2025年7月4日。..该标准对组合驾驶辅助系统的安全性，做了详细的要求。其中包

..........前言...........2025 年 2 月，国家标准 GB/T 45312-2025《智能网联汽车 自动驾驶系统设计 运行条件》正式实施，首次以国标形式明确了 ODC（设计运行条件）的定义与框架。这一标准的落地，填补了此前国际主流 ODD（设计运行范围）定义的短板，为自动驾驶系统的设计、开发、测试及用户使用建立了统一标尺。当前自动驾驶的一些悲剧仍在敲响安全警钟，ODC 的明

# 01 为什么需要相机标定?.在图像测量和机器视觉领域,相机标定是无法绕开的基础环节。标定的核心目标是建立三维真实世界与二维图像平面之间的数学映射关系,获取相机的几何成像参数。接下来,我们从成像机制出发,逐步剖析标定的必要性和常用方法。相机如何完成成像?相机成像本质上是一个光学-电子转换流程:光线穿过镜头(可视为凸透镜),在感光芯片(CCD或CMOS)上形成投影,芯片将光信号转为电信号,再通过D

.为确保自动驾驶安全，很多技术方案中都会采用感知冗余的方式来兜底，即在车辆上加装多个传感器，以实现更多的信息感知。其实对于自动驾驶汽车来说，每个传感器都有自身的优势和劣势，所能应对的交通场景也不一样。.摄像头看得清楚，能分辨颜色、识别交通标志和车道线，但遇到夜晚强逆光、雾霾或暴雨就容易丢失信息。毫米波雷达在雨雪或尘雾里还能给出速度和距离信息，但对物体形状的分辨率比较差，不能很好判断行人的姿态。激光

..原文信息：.https://hgao-cv.github.io/RAD/.TLDR.il：imitation learning ; rl：reinforcement learning.做了什么？.第一个提出基于 3dgs 来进行 rl 用来做 e2e policy。分以下三步走：...训练一个基础的 bev 和 perception model...freeze感知，用 il 方式训练一个 p

.很多从事自动驾驶的小伙伴应该对VLA这个概念已经非常熟悉了。VLA即“Visual-Language-Action”（视觉—语言—动作）模型，它的核心是将视觉信息、语言表达和动作控制这三者整合到一个统一的模型框架中。.与传统自动驾驶系统将感知、预测、规划、控制拆解为多个独立模块的做法不同，VLA可以缩短“看见什么”和“如何行动”之间的鸿沟，构建一个能直接将视觉输入和语言描述映射到具体动作或策略的

.每当提到具身智能，第一反应可能就是一个人型机器人，拥有和人类一样的外貌，可以行走、奔跑，甚至可以承担人类的一些简单的重复工作，那具身智能就一定要像人吗？. ..什么是具身智能？.具身智能强调的不仅是大模型思考的能力，还包括用身体去感知、去试错、去碰环境的过程。举个简单的例子，你拧瓶盖、用筷子夹菜、在拥挤的人群里穿行，这些动作背后不仅有脑子在算，手指的形状、皮肤的触觉、关节的可动范围这些“身体属性