.最近车企的语言包里面出现了越来越多人工智能术语。再加上窗明几净的卡座，闪烁着程序代码的带鱼曲面屏，和手捧咖啡讨论算法的员工，以及时不时蹦出的VLA，LLM，VLM，模型，算法这些词汇，从外观和氛围上几乎无法区分新势力车企和高科技IT公司。. .经常出现的一个词是Diffusion扩散模型，在多家前沿车企的术语集中频繁出现，比如理想汽车。. ..图理想汽车MindVLA大模型架构图，右上角的mul

.一、前言. .所谓框架，是组成元素和元素组装顺序，这两部分组成。. .另外，框架一词还是有“共性，普适性”的意思。也就是说，只有大家都想到一块去了，基本上大家都认可，才可以称为框架。. .所以读通一个框架，可以起到举一反三的效果，别的框架即使有差异也不会太大。. .本文选取limsim++框架作为基干蓝图，描述最新的端到端自动驾驶仿真框架，特别是结合了chatGPT类大语言模型的仿真框架。. .

# 1. 引言.多模型推理场景中，可能会存在谁先谁后，甚至A模型任务正在运行，但需要被B模型任务抢占的情况。针对这种情况，地平线提供了模型优先级控制策略。..# 2. 优先级与抢占介绍.此功能仅支持在开发板端实现，x86模拟器不支持此功能。..## 2.1 理论简介..J6计算平台BPU硬件本身没有任务抢占功能，对于每一个推理任务，一旦它进到BPU计算后，在该任务执行完之前，会一直占用BPU，其他

I2C 验证.===============..Horizon Robotics.J6X芯片提供了标准的I2C总线，I2C总线控制器通过串行数据线（SDA）和串行时钟线（SCL）在连接到总线的器件间传递信息。..每个器件都有一个唯一的地址，而且都可以作为一个发送器和一个接收器（由器件的功能决定）。..在进行I2C芯片的bringup时，关键点包括以下几个方面:.. 1. 确保I2C设备的基地址

.引言.在进行模型编译和验证的过程中，为了能够更深入地了解模型内部的具体情况以及根据实际需求对模型加以调整，我们常常会有获取模型特定组件属性以及对模型结构进行修改的需求。具体来说，我们可能需要借助 API 来获取 BC/HBM（这里可以理解为模型中特定的模块或者资源）的一系列属性，例如输入输出的名称、量化scale等信息。这些属性对于准确把握模型的输入输出属性以及数据处理方式至关重要。与此同时，我

.📌 前言.随着智能场景的发展，越来越多的智能产品开始走进我们的生活。它们执行任务时需要具备“感知—决策—控制”的闭环能力，其中视觉感知系统承担了关键作用：检测障碍物、识别道路、理解环境。这背后，对高效部署模型提出了更高要求。.在本篇文章中，我将结合近期在地平线J系列平台上的一些思考，分享一个智能小车视觉模型部署的实践概要路径，涵盖：...✅ 场景理解与模型选择；...✅ 工具链 PTQ 流程落

# 1. 简介..模型部署时，常常面临模型精度与执行效率之间的权衡。查表（Look-Up Table, LUT）是一种在推理过程中用空间换时间的技巧，尤其适用于非线性映射函数的加速。本文将介绍如何在地平线平台上通过 SegmentLUT 实现一个自定义查表算子，并对它进行量化与导出。..本文以实现一个 DecInt 模块为例，将输入的 12bit 图像数据（值域为 [0, 4095]），通过自定义

. .前言在PTQ量化时，会遇到int16的conv或matmul精度不足，这是因为bpu限制，只支持input和weight一个int16。本文将讲述在使用地平线PTQ链路基于J6 系列平台进行模型部署时，对conv进行精度调优的相关手段，主要包括以下内容：如何确定是单int16导致的精度不足？如何解决这一问题如何确定是单int16导致的精度不足使用精度debug工具hmct-debugger

# 1. 显/隐式时序.目前，在很多算法模型中，都用到了时序模块，时序主要是指将前一帧的部分输出作为下一帧的输入。本文，根据 是否将时序输入/输出 直接 作为网络模型的输入/输出，把时序划分为“显式时序”（explicit temporal model）和“隐式时序”（implicit temporal model）。..显式时序：.- 模型显式输出当前帧的特征，作为下一帧的输入，形成时间上的依赖

.在模型结构优化与部署量化过程中，开发者往往会遇到一个关键任务：基于历史 Badcase 数据验证模型精度变化，确保模型修改不会引入明显性能退化。这类验证常见于感知、预测、行为识别等任务，尤其在客户交付或精度回归过程中十分关键。.但实际场景中，Badcase 的来源和管理非常复杂：...🧩 数据常常分散在客户服务器；...🌀 有些数据是动态生成、无法导出；...⚠️ 板端资源有限，难以长期驻留

1. https://developer.horizon.auto/blog/563244532615397376. . .2. 如果编译过程中出现glibc库版本冲突的问题，例如：xxx@GLIBC_xxx的未定义符号的错误， 请在编译工程中通过-rpath-link来指定到工具链的aarch64-linux-gnu/lib路径下, 同时在编译工程中加上-lxxx, 例如：-lpthread。.

.在如今智能驾驶席卷汽车行业的背景下，大家对“摄像头”这个词早已耳熟能详。很多宣传中甚至暗示，车载摄像头越多，车辆就越智能。事实上，不只是汽车，摄像头几乎已经渗透进我们生活的各个角落：手机、电脑、小区监控、智能门铃……如今要找一个没有摄像头的场景，反而变得越来越难。. .然而，尽管我们对摄像头如此熟悉，但若问起它的工作原理，恐怕许多人仍会感到陌生。摄像头究竟是如何“看见”世界的？它输出的是什么信号

# 1. 量化简述..## 1.1 定义.将网络参数从 32 位浮点数据映射到更低位数(int16/int8/int4等)的数据，这个过程称之为量化。反之，称之为反量化。..量化本质上是对数值范围的重新调整，可以「粗略」理解为是一种线性映射。(之所以加「粗略」二字，是因为有些论文会用非线性量化(对数量化等)，但目前在工业界落地的还都是线性量化(对称量化、非对称量化、二值化等)，地平线采用的主要是线

.随着人工智能模型日益复杂和庞大，常规的后训练量化（PTQ）已无法很好地应对复杂模型结构带来的精度损失问题。因此，越来越多的开发者转向训练中量化（QAT），以期获得更好的模型部署效果。 . .然而，QAT通常需要反复进行全精度与量化之间的训练过程，对显卡资源尤其是GPU显存提出了更高的要求。本文将从NVIDIA显卡的CUDA显存管理机制出发，帮助大家掌握显存优化技巧，避免训练过程中的常见显存问

在我们深入探索产品及相关技术应用的过程中，大家针对诸多关键环节产生了一系列疑问。针对这些疑问我们经过收集与系统整理，将高频问题及精准解答汇总呈现，该FAQ旨在为您扫清知识障碍，助力您高效使用产品或技术。另外，我们会根据用户的反馈情况持续进行FAQ的整理和迭代并分期分享给用户。当你遇到困难，不妨来此查找看看，也是这里有与你“志同道合”的伙伴。 .# 1. 开发环境 .- **Q**：J3精度debu

..1 截取onnx模型片段.在模型编译的时候，往往会出现各种各样的报错，您可能会受限于公司要求，无法把完整的onnx模型发送给地平线做分析，此时可以考虑截取onnx模型，找到可复现的片段，再将该片段提供给地平线的技术支持人员（这种方式通常是可以被公司允许的）。我们可以直接利用onnx的python api去完成这件事，onnx.utils.extract_model的具体使用方式如下：.onnx

.前言.在上一篇帖子【【QAT查表算子调优-1】如何定位引起误差的查表算子】当中，我们针对定位引起误差的查表算子展开了细致且全面的讨论，详细地阐述了其中所涉及的思路以及具体的方法。在实际的工作场景里，准确且高效地定位到引发误差的查表算子，能够为后续的调优工作奠定坚实的基础。当我们通过特定的流程和手段，成功地锁定了具体的查表算子之后，接下来需要面对的关键问题便是：应该怎样对这些查表算子进行调优呢？.

..一个通用的具身智能机器人是希望能像人一样处理很多事情，但这很难通过写各种规则实现，即使写规则也要比自动驾驶写规则难的多，因为自动驾驶不太涉及Manipulation任务，而具身智能机器人是要完成各种复杂的Manipulation的，因此一个端到端的通用的VLA大模型便很适合具身智能机器人的需求，这也是随着近几年LLM、VLM、VLA的火爆发展和性能的不断提升，基于VLA的具身智能机器人成为当下

.前言.在端侧部署时（如在移动设备、嵌入式芯片上），为了加速模型推理、减少功耗和资源开销，往往会将某些计算复杂的函数（如 exp、log、tanh、sigmoid、softmax 等）转为查表操作。查表算子在转成定点计算时不可避免地会出现误差，此时就需要定位引起精度下降的具体算子以及对其进行针对性的优化。...本文将讲述在使用地平线QAT链路基于J6 系列平台进行模型部署时，对查表算子进行精度调优

.....OpenDriveVLA：基于大规模视觉语言行动模型的端到端自动驾驶研究......论文信息...标题：OpenDriveVLA: Towards End-to-end Autonomous Driving with Large Vision Language Action Model...作者：Xingcheng Zhou*, Xuyuan Han, Feng Yang, Yunpu