## 写在前面 & 笔者的个人理解..运动规划是一项具有挑战性的任务，在高度动态和复杂的环境中生成安全可行的轨迹，形成自动驾驶汽车的核心能力。在本文中，我们提出了DRAMA，这是第一个基于Mamba的自动驾驶端到端运动规划器。DRAMA融合了相机、特征空间中的LiDAR鸟瞰图图像以及自我状态信息，以生成一系列未来的自我轨迹。与传统的基于变换器的方法不同，DRAMA能够实现计算强度较低的注意力复杂度

1. Camera模块简述：本文档简单介绍Camera子系统软件架构、列出已支持的Camera模组，并提供相应的配置说明，同时引用Sensor点亮调试方法介绍一颗新模组接入的步骤，再按根据重要功能按专题介绍接入方案限制、EMB接收等，并最终汇总平台已有单板的Camera接入使用说明，用于指导J6在Camera接入上的量产调试。1.1 硬件特性：J6上Camera接入后，进入后级模块处理，其数据流通

# 1. 使用场景.地平线J6算法工具链提供了一套板端实测 性能分析工具UCP trace，通过在 UCP 执行的关键路径上嵌入 trace 记录，进而深入分析 UCP 应用程序 调度逻辑。特别是在出现性能异常时，可以通过分析UCP trace，快速找到异常发生的时间点。另一方面，在工程任务调度层面，可以分析出 模型推理 是否在持续进行。.![Description](https://prod-d

背景J6算法工具链的参考算法示例在使用export接口导出qat.bc的时，输入名称默认为{'_input_0','_input_1',...}，输出名称默认为{'_output_0','_output_1',...}，但是在板端部署场景下，部署代码可能需要根据hbm模型的输入名称来准备输入数据（hbm模型的输入输出名称和顺序和bc模型一致），根据输出名称来适配后处理代码，导出qat.bc的默认配

写在前面基于视觉的3D语义场景补全（SSC）通过3D volume表示来描述自动驾驶场景。然而，场景表面对不可见体素的遮挡给当前SSC方法在幻想精细3D几何形状方面带来了挑战。这里提出了一种名为HybridOcc的混合方法，该方法结合了Transformer框架和NeRF表示生成的3D volume查询建议，并在一个由粗到细的SSC预测框架中进行优化。HybridOcc通过基于混合查询建议的Tra

以前提到过规划中的行为模型和行为预测，其实是规划中的一部分，也是最新的部分。也提到过端到端的机器学习做规划以及做控制（无论输入是原始感知器数据，还是感知的输出），前者输出的是车轨迹，后者就直接输出车的线控信号，即brake，throttle，steering。..那么，这里回顾一下整个自动驾驶的规划控制的经典框架和方法。..## > 1 S. Dixit et al.,“Trajectory pl

问题记录问题：hrt_model_exec --help # 命令报错如下：-bash: hrt_model_exec: command not found解决：可以试下在hrt_model_exec目录下运行以下三条命令export ，换成自己的地址LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/map/output_shared_J6_aarch64/aarch64/lib

**前言**：使用地平线工具链进行模型部署，当ONNX模型中存在ScatterND算子时，使用hb_compile编译模型后，会发现ScatterNd运行在CPU上，查看算子支持与约束列表，目前确实不支持ScatterND算子。..![Description](https://prod-dc-resources.oss-cn-beijing.aliyuncs.com/20240820/7981ef

地平线征程6底软相关官方文档readme文档的下载链接：地平线开发者社区 (horizon.cc)1，文档架构： 文档解压后会有2个文件夹：一个是html目录，一个是doctrees目录，其中html是征文部分，而doctrees是html的离线资源，两者必现在同一个目录才能正常访问html目录：一般包含多个html文件和image、source、static等资源根目录为index.html，

近期发现，运行地平线参考算法示例中的编译脚本compile_perf_hbir.py时，尽管在config文件的compile_cfg 字段中配置了layer_details=True，编译后生成的BPU性能预估html中仍然没有layer_details生成，这是因为在编译的时候默认将debug配置为了False。下面将介绍解决办法:解决办法进入horizon_j6_open_explorer_

对于pytorch模型，hbdk-model-verifier工具是用来验证 pt 和 hbm 模型一致性的，同时该模型也会保存输入输出一般来说，对于 pyramid 输入的数据(nv12)类型，正确的数据预处理方法是：板端hbm，直接给模型。仿真器pt，nv12转yuv444，减128，除128后，给模型那hbdk-model-verifier工具，是怎么验证这两个模型一致性的呢？hbdk-mo

目前工具链BPU不支持scatterND算子，这些算子放在cpu上会严重影响模型耗时，这篇文章会分享一些等效替换的示例，帮大家消除模型里的scatterND算子，极大提高模型性能。ScatterND算子产生的原因onnx里的ScatterND算子产生的原因是因为模型里存在slice之后的inplace操作导致的，需要修改代码，等价替换掉相关操作即可。举个例子：原始代码： x[:, :2] = x[

display sample功能概述本文实现单路、多路MIPI CSI TX输出、IDU回写、IDU oneshot模式、绑定输出VPS数据等功能，此处主要介绍各sample的实现与使用方法。软件架构说明本文中绑定VPS输出功能基于libvio API实现，调用libvio提供的API，同时通过配置文件的方式，实现pym数据回灌，输出绑定IDU的输入图层，由MIPI CSI TX进行输出。回环sa

1. Codec模块简述：Codec（Coder-Decoder）是指编解码器，用于压缩或解压缩视频、图像、音频等媒体数据；J6 Soc中存在两种硬件编解码单元，分别是VPU（Video process unit）和JPU（Jpeg process unit），可提供4K@90fps的视频编解码能力和4K@90fps的图像编解码能力。1.1 硬件特性：1.1.1 JPU硬件特性：1.1.2 VPU

# 1. 理论简介.> 在阅读本文之前，希望大家对PTQ(Post-Training Quantization) 训练后量化有一定的了解~..地平线OpenExplorer和NVIDIA TensorRT是两家公司为适配自己的硬件而开发的算法工具链，它们各自具有独特的特点和优势。分开看的时候，网上有很多资料，但却没找到将他们放在一起对比的文章，本文从PTQ通路进行对比介绍。.- OpenExplo

gdc 实战软件架构本文的demo sample采用回灌流程，即从系统存储中读取文件，作为GDC的输入图像。依赖 ``libgdcbin.so`` 将GDC坐标点通过计算生成二进制bin文件，调用VIO API实现整个数据通路，完成GDC处理。软件控制图如下：代码位置及目录结构本sample的代码位于工程目录：``{sdk_dir}/test/samples/platform_samples/so

1. GDC模块简述：1.1 硬件特性：GDC作为一个硬件模块，可将输入的图像进行视角变换、畸变校正和指定角度（0,90,180,270）旋转。模式支持的输入图像典型尺寸为3840*2160，2688*1944，1920*1080，1280*720，640*480，480*320。硬件特性如下：最大分辨率：3840x2160最小分辨率：100x100（奇数行或者列不支持）性能：3840x2160，

引言J6参考算法中的tools/export_onnx.py默认导出的是qat.onnx，近期有不少用户错误地使用此qat.onnx进行推理和PTQ从而出现报错情况，本篇文章将以bevformer参考算法为例讲述如何导出原始浮点onnx。权重下载OE开发包下的samples/ai_toolchain/horizon_model_train_sample/scripts/configs/bev/RE

功能概述环视4V解串器直接接到main域，mcu访问main域i2c、gpio、lpwm，对camera sensor、serdes以及lpwm进行初始化，完成环视的快速出图。mcu启动后，会在mcu task中调用Camera_Init接口，完成camera sensor、serdes以及lpwm的配置，并使能数据流，数据会通过加串器bypass给IVI。Camera_Init中会先检查AonS

J5 EVM显示地平线logo画面1通路流程图及外部设备连接 该通路可验证IDU、MIPI TX_0、HDMI子板3个模块的功能，其中IDU模块从eMMC中读取数据并发送给MIPI TX_0，MIPI TX_0把数据再发给HDMI子板，HDMI子板负责信号转换，最后把信号显示到HDMI屏幕上。 HDMI子板接到MIPI_TX卡槽上。1.2测试代码位置 测试代码位置在工程代码根目录/vapi-sam