去年上海车展回来写了《自动驾驶域控制器的来龙去脉2023》，没想到这篇文章居然有四、五万的点击量，也从侧面说明智能驾驶行业确实非常火热。今年本来北京车展完了就要更新的，但囿于琐事一直拖更到现在，实在是抱歉。今年我们继续讨论域控以及三个行业趋势：L3、大模型和舱驾一体，最后我们再简单聊聊车路协同。....# #01 行业大势：快速出清、头部聚集...去年域控制器的方案可谓是百花齐放，我在写上一篇文

..# 原来这才是【生成式AI】！！..随着ChatGPT、文心一言等AI产品的火爆，生成式AI已经成为了大家茶余饭后热议的话题。..可是，为什么要在A

1. 简介.3D Occupancy Networks 的基本思路是将三维空间划分成体素网格，并对每个网格进行各类感知任务的预测。目前以网格为中心的方法能够预测每个网格单元的占用率、语义类别、未来运动位移和实例信息。3D occupancy 可以对道路障碍物进行更细粒度的划分，同时获取更精确的占用和语义信息。然而，三维体素表示的处理带来了巨大的内存和计算开销，导致当前占用率预测方法的部署受到限制。

天准科技 TADC-D52-域控FAQ_V1.0 ，详见附件。

**前言：**2023年以来，在行业龙头特斯拉的标杆作用、大模型代表的AGI技术范式、以及自动驾驶拟人化和安全性需求的共同推动下，自动驾驶行业对于端到端的关注度一路升温。产业界、学术界和资本市场在端到端自动驾驶领域都有里程碑事件发生。...端到端自动驾驶已经成为明确的行业共识。...## 1、传统自动驾驶架构...传统的自动驾驶架构多衍生于机器人架构，因此，在机器人领域的感知-定位-规划三大模块及

## 写在前面 & 笔者的个人理解..运动规划是一项具有挑战性的任务，在高度动态和复杂的环境中生成安全可行的轨迹，形成自动驾驶汽车的核心能力。在本文中，我们提出了DRAMA，这是第一个基于Mamba的自动驾驶端到端运动规划器。DRAMA融合了相机、特征空间中的LiDAR鸟瞰图图像以及自我状态信息，以生成一系列未来的自我轨迹。与传统的基于变换器的方法不同，DRAMA能够实现计算强度较低的注意力复杂度

1. Camera模块简述：本文档简单介绍Camera子系统软件架构、列出已支持的Camera模组，并提供相应的配置说明，同时引用Sensor点亮调试方法介绍一颗新模组接入的步骤，再按根据重要功能按专题介绍接入方案限制、EMB接收等，并最终汇总平台已有单板的Camera接入使用说明，用于指导J6在Camera接入上的量产调试。1.1 硬件特性：J6上Camera接入后，进入后级模块处理，其数据流通

# 1. 使用场景.地平线J6算法工具链提供了一套板端实测 性能分析工具UCP trace，通过在 UCP 执行的关键路径上嵌入 trace 记录，进而深入分析 UCP 应用程序 调度逻辑。特别是在出现性能异常时，可以通过分析UCP trace，快速找到异常发生的时间点。另一方面，在工程任务调度层面，可以分析出 模型推理 是否在持续进行。.![Description](https://prod-d

背景J6算法工具链的参考算法示例在使用export接口导出qat.bc的时，输入名称默认为{'_input_0','_input_1',...}，输出名称默认为{'_output_0','_output_1',...}，但是在板端部署场景下，部署代码可能需要根据hbm模型的输入名称来准备输入数据（hbm模型的输入输出名称和顺序和bc模型一致），根据输出名称来适配后处理代码，导出qat.bc的默认配

写在前面基于视觉的3D语义场景补全（SSC）通过3D volume表示来描述自动驾驶场景。然而，场景表面对不可见体素的遮挡给当前SSC方法在幻想精细3D几何形状方面带来了挑战。这里提出了一种名为HybridOcc的混合方法，该方法结合了Transformer框架和NeRF表示生成的3D volume查询建议，并在一个由粗到细的SSC预测框架中进行优化。HybridOcc通过基于混合查询建议的Tra

以前提到过规划中的行为模型和行为预测，其实是规划中的一部分，也是最新的部分。也提到过端到端的机器学习做规划以及做控制（无论输入是原始感知器数据，还是感知的输出），前者输出的是车轨迹，后者就直接输出车的线控信号，即brake，throttle，steering。..那么，这里回顾一下整个自动驾驶的规划控制的经典框架和方法。..## > 1 S. Dixit et al.,“Trajectory pl

问题记录问题：hrt_model_exec --help # 命令报错如下：-bash: hrt_model_exec: command not found解决：可以试下在hrt_model_exec目录下运行以下三条命令export ，换成自己的地址LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/map/output_shared_J6_aarch64/aarch64/lib

**前言**：使用地平线工具链进行模型部署，当ONNX模型中存在ScatterND算子时，使用hb_compile编译模型后，会发现ScatterNd运行在CPU上，查看算子支持与约束列表，目前确实不支持ScatterND算子。..![Description](https://prod-dc-resources.oss-cn-beijing.aliyuncs.com/20240820/7981ef

地平线征程6底软相关官方文档readme文档的下载链接：地平线开发者社区 (horizon.cc)1，文档架构： 文档解压后会有2个文件夹：一个是html目录，一个是doctrees目录，其中html是征文部分，而doctrees是html的离线资源，两者必现在同一个目录才能正常访问html目录：一般包含多个html文件和image、source、static等资源根目录为index.html，

近期发现，运行地平线参考算法示例中的编译脚本compile_perf_hbir.py时，尽管在config文件的compile_cfg 字段中配置了layer_details=True，编译后生成的BPU性能预估html中仍然没有layer_details生成，这是因为在编译的时候默认将debug配置为了False。下面将介绍解决办法:解决办法进入horizon_j6_open_explorer_

对于pytorch模型，hbdk-model-verifier工具是用来验证 pt 和 hbm 模型一致性的，同时该模型也会保存输入输出一般来说，对于 pyramid 输入的数据(nv12)类型，正确的数据预处理方法是：板端hbm，直接给模型。仿真器pt，nv12转yuv444，减128，除128后，给模型那hbdk-model-verifier工具，是怎么验证这两个模型一致性的呢？hbdk-mo

目前工具链BPU不支持scatterND算子，这些算子放在cpu上会严重影响模型耗时，这篇文章会分享一些等效替换的示例，帮大家消除模型里的scatterND算子，极大提高模型性能。ScatterND算子产生的原因onnx里的ScatterND算子产生的原因是因为模型里存在slice之后的inplace操作导致的，需要修改代码，等价替换掉相关操作即可。举个例子：原始代码： x[:, :2] = x[

display sample功能概述本文实现单路、多路MIPI CSI TX输出、IDU回写、IDU oneshot模式、绑定输出VPS数据等功能，此处主要介绍各sample的实现与使用方法。软件架构说明本文中绑定VPS输出功能基于libvio API实现，调用libvio提供的API，同时通过配置文件的方式，实现pym数据回灌，输出绑定IDU的输入图层，由MIPI CSI TX进行输出。回环sa

1. Codec模块简述：Codec（Coder-Decoder）是指编解码器，用于压缩或解压缩视频、图像、音频等媒体数据；J6 Soc中存在两种硬件编解码单元，分别是VPU（Video process unit）和JPU（Jpeg process unit），可提供4K@90fps的视频编解码能力和4K@90fps的图像编解码能力。1.1 硬件特性：1.1.1 JPU硬件特性：1.1.2 VPU

# 1. 理论简介.> 在阅读本文之前，希望大家对PTQ(Post-Training Quantization) 训练后量化有一定的了解~..地平线OpenExplorer和NVIDIA TensorRT是两家公司为适配自己的硬件而开发的算法工具链，它们各自具有独特的特点和优势。分开看的时候，网上有很多资料，但却没找到将他们放在一起对比的文章，本文从PTQ通路进行对比介绍。.- OpenExplo