.前言.【理想汽车智驾方案介绍专题-1】端到端+VLM方案介绍.【理想汽车智驾方案介绍专题-2】MindVLA方案详解.【理想汽车智驾方案介绍专题-3】MoE+Sparse Attention高效结构解析.在前面的3篇文章中，笔者已经比较详细地介绍了V、L、A模块，本帖介绍World Model + 强化学习打通自动驾驶闭环仿真链路。...自动驾驶达到人类驾驶水平是远远不够的，这项技术的使命是超越

.. ..前言.在实际部署智能驾驶方案时，很多不同任务的模型会同时运行，在非正常情况下，模型按设计帧率运行时，每次运行花费的时间会不稳定。在这种情况下，我们要让模型按设计帧率运行，同时实时监测模型推理耗时和带宽使用情况，分析模型耗时不稳定时带宽占了多少。...针对以上情况，本帖将介绍以下内容：....对 hrt_model_exec 工具进行修改，让它能让单个模型按设计帧率运行指定的帧数，还能计算

.前言.【理想汽车智驾方案介绍专题-1】端到端+VLM方案介绍.【理想汽车智驾方案介绍专题-2】MindVLA方案详解.在上述两篇系列帖子中，笔者已对理想汽车VLM和VLA方案的框架进行了全面介绍，但对于其中的前沿技术仅做了初步探讨，未进行更深入的剖析。因此，笔者计划继续以系列文章的形式，介绍其中涉及的相关前沿技术。.首先，将介绍MindVLA中采用的“MoE + Sparse Attention

使用kdb/kgdb调试内核.=======================..开启kgdb.-----------.J6X内核默认并不支持kgdb，需要对内核做一些修改：..- 修改 hobot-drivers/configs/hobot_j6x_defconfig 增加配置选项.. CONFIG_KGDB=y. CONFIG_KGDB_SERIAL_CONSOLE

.引言...MindVLA主要包括空间智能模块、语言智能模块、动作策略模块、强化学习模块，这些模块分别有以下功能：....空间智能模块：输入为多模态传感器数据，使用3D 编码器提取时空特征，然后将所有传感器与语义信息融合成统一的表征。...语言智能模块：嵌入式部署的大语言模型MindGP，用于空间 + 语言的联合推理，支持语音指令和反馈，可能实现人车交互。...动作策略模块：使用扩散模型生成车辆未

为方便算子支持性问题排查、模型量过过程OE工具链版本的选择，同时从整体上查看随版本 迭代 算子支持情况的的变化，下文通过对比OE包中两个版本的算子支持整体变化情况：. ...Operator.3.0.31.3.2.0...BPU.CPU.BPU.CPU...torch.abs.Y.Y.Y.Y...torch.Tensor.abs.Y.Y.Y.Y...torch.acos.Y.Y.Y.Y...t

为方便算子支持性问题排查、模型量过过程OE工具链版本的选择，同时从整体上查看随版本 迭代 算子支持情况的的变化，下文通过对比OE包中两个版本的算子支持整体变化情况：.. ....Operator..3.0.31.3.2.0...BPU.CPU.BPU.CPU...Abs.Y.Y.Y.Y...Acos.Y.Y.Y.Y...Acosh.Y.Y.Y.Y...Add.Y.Y.Y.Y...AffineG

.前言.在复杂关键的模型部署 Pipeline 中，浮点模型量化后生成用于板端部署的 hbm 模型，这是部署重要节点，承载适合板端运行的参数与结构信息。.部署 hbm 模型到板端前，需进行一致性验证和检查，以确保其准确稳定运行，避免预测不准、系统崩溃等问题。.为完成验证和检查，会借助专门工具与 API。.本帖将详细介绍和整理用于 hbm 模型验证和检查的 API，助大家理解使用，保障模型部署顺利。

.#01............串行外设接口 （SPI） 协议简介... .SPI是一种多主控或主从、四线、全双工同步串行通信协议，这意味着可以同时发送和接收数据。SPI是 Motorola 开发的一种用于同步串行通信的协议，它允许两个或多个设备之间进行全双工通信，这些设备可以指定为主设备或从设备。尽管 SPI链路中可以有多个主设备和从设备，但有多个主设备的情况并不常见。. .SPI协议由摩托罗拉

ReID算法，全称是“行人再识别（Person Re-Identification）”算法，可应用于智能驾驶或智能机器人陪伴等领域。它的目标是在不同摄像头或不同时间拍摄的多张图像中，准确识别出是否为同一个人。本文以 ReID 中比较有名的 OSNet 模型为例，讲解如何在地平线计算平台量化该模型。..OSNet（Omni-Scale Network）是 行人再识别 任务中非常流行的一种深度学习架构

常用工具介绍.===============..采集/设置系统信息的工具集.-------------------------..获取开发板SOM状态工具.~~~~~~~~~~~~~~~~~~~~~..[LINUX] hrut_somstatus 是用来获取当前开发板SOM状态的工具，包含温度、 cpu频率、bpu状态。..用法：.. hrut_somstatus [-n count

.随着城市车辆保有量的持续攀升，车位紧张、空间狭小成为普遍难题，传统人工泊车常因视野受限、空间压迫或环境复杂而困难重重，尤其在地库、斜车位、窄车位等场景中更是挑战重重。为此，自动化、智能化泊车技术应运而生，其中遥控泊车系统（RPA, Remote Parking Assist）以其“人在车外、车自动泊”的便捷体验，成为智能驾驶技术的重要应用之一。. .遥控泊车功能使驾驶员无需坐在车内，即可通过手机

在[【LLM】LLM中增量解码与模型推理解读](https://developer.horizon.auto/blog/13042)一文中对LLM常见名词进行了介绍，本文会对LLM中评价指标与训练概要进行介绍，本文并未介绍训练实操细节，未来有机会再了解~..# 1. LLM如何停止输出.在看LLM评价指标前，先看看LLM如何停止输出。..大模型常通过以下几种策略控制生成终止：..1. 结束符号（E

在[【LLM】LLM中token简介与bert实操解读](https://developer.horizon.auto/blog/13041)一文中对LLM基础定义进行了介绍，本文会对LLM中增量解码与模型推理进行解读。..# 1. LLM中增量解码定义.增量解码（Incremental Decoding）是指在自回归文本生成过程中，模型每次只计算并生成一个新的 token，并且会利用之前计算得到

# 1. 什么是LLM？.LLM，全称为 Large Language Model（大语言模型），是一种基于神经网络（主要是Transformer结构）的大规模自然语言处理（NLP）模型。其核心能力在于理解、生成、翻译和总结自然语言，已广泛应用于问答系统、机器翻译、对话机器人、代码生成、文本创作等场景中。..LLM的基本任务：给定一段文本，预测接下来的 token（语言片段），也可以理解为：LLM

.之前看到过一个非常有趣的新闻，那就是贴有董明珠海报的公交车经过十字路口时，被“行人闯红灯曝光台”识别到，并误以为董明珠闯红灯了。看似一个茶余饭后闲聊的话题，对于自动驾驶行业来说，其实是一个值得深思的问题。随着自动驾驶技术下沉到消费市场，基于纯视觉的自动驾驶系统就是依托于车载摄像头来识别路况，如果遇到了类似海报上的人，尤其是遇到了与真人大小类似的人物海报，自动驾驶系统将如何理解？...其实在纯视觉

.前言.2025年的GTC大会上，理想汽车的分享了其最新一代的辅助驾驶方案MindVLA（视觉-语言-动作端到端大模型）的相关技术方案，此模型结合了V-Spatial Intelligen、L–Linguistic Intelligence、A-Action Policy这3种先进技术，包含了当时国际上最先进的模型和概念，比如LLM、VLM、VLA、Diffusion model、Reinforc

.最近车企的语言包里面出现了越来越多人工智能术语。再加上窗明几净的卡座，闪烁着程序代码的带鱼曲面屏，和手捧咖啡讨论算法的员工，以及时不时蹦出的VLA，LLM，VLM，模型，算法这些词汇，从外观和氛围上几乎无法区分新势力车企和高科技IT公司。. .经常出现的一个词是Diffusion扩散模型，在多家前沿车企的术语集中频繁出现，比如理想汽车。. ..图理想汽车MindVLA大模型架构图，右上角的mul

.一、前言. .所谓框架，是组成元素和元素组装顺序，这两部分组成。. .另外，框架一词还是有“共性，普适性”的意思。也就是说，只有大家都想到一块去了，基本上大家都认可，才可以称为框架。. .所以读通一个框架，可以起到举一反三的效果，别的框架即使有差异也不会太大。. .本文选取limsim++框架作为基干蓝图，描述最新的端到端自动驾驶仿真框架，特别是结合了chatGPT类大语言模型的仿真框架。. .

# 1. 引言.多模型推理场景中，可能会存在谁先谁后，甚至A模型任务正在运行，但需要被B模型任务抢占的情况。针对这种情况，地平线提供了模型优先级控制策略。..# 2. 优先级与抢占介绍.此功能仅支持在开发板端实现，x86模拟器不支持此功能。..## 2.1 理论简介..J6计算平台BPU硬件本身没有任务抢占功能，对于每一个推理任务，一旦它进到BPU计算后，在该任务执行完之前，会一直占用BPU，其他