.灵巧抓取为什么这么难？.近两年，具身领域在认知、感知和规划层面取得了显著进展，但让机器人在物理世界中实现精细手部操控、像人类一样执行复杂的灵巧操作，仍是非常大的难题。目前具身领域已经突破了人类语言理解、物体和场景识别、规划具体任务步骤，但在灵活抓握、感知调节力度等方向还存在很多问题。.真实场景中，灵巧抓取会面临精确控制、高维运动规划和实时适应动态环境等挑战，任务复杂性要求强大的机械设计和先进控制

....简介.....什么是智能驾驶...智能驾驶，或常听到的自动驾驶、无人驾驶、辅助驾驶，是指车辆借助传感器（如摄像头、雷达、激光雷达、超声波传感器等）控制器、执行器等硬件设备，结合人工智能、计算机视觉、自动控制等软件技术，在没有或极少人工干预的情况下使车辆完成从感知环境、理解交通场景、规划路径、执行控制这一完整驾驶任务。基于不同自动化程度的划分，Society of Automotive En

前言.在准备BEVFormer模型推理时，相信很多开发者都遇到过这样的困惑：模型输入除了常见的imgs和reference_point之外，还需要额外的五个神秘输入。这些输入到底是什么？应该如何准备？本文将详细解答这些问题。.一、问题背景.1.1BEVFormer模型的输入结构.BEVFormer量化模型在推理时需要以下输入：.基础输入：...imgs: 多视角相机图像.reference_poi

..1. 功能概述¶.本文的sample实现单路、多路VIO通路接入和处理，以下介绍1V、2V、6V接入的场景。..1.1. 软件架构说明¶.调用VIO API来实现整个数据通路，实现多路camera接入。同时能够dump每一路数据的图像。 软件控制图如下：...1.2. 硬件数据流说明¶.每个场景的图中已经标明硬件连接关系。..备注.运行sample示例需要硬件外设满足场景图中的硬件连接关系，如

.1. 功能概述¶..解码h264/h265视频或jpg图片，生成yuv图像。..1.1. 软件架构¶.采用MediaCodec的poll模式来解耦输入和输出，可使解码帧率性能达到最优。 在主线程中灌码流数据：取出一个空的input buffer，配置码流数据的地址信息（如phys addr），再queue input buffer并通知解码器处理该帧数据； 另一个线程取输出YUV图像：通过sel

> 💬 最近在处理算法工具链相关问题时，我遇到了一个关于 **InstanceBatchNorm 支持** 的兼容性问题。 .> 借这个机会，我也系统学习并梳理了各类 **Normalization 算法** 的原理、差异，以及在不同芯片（特别是地平线 BPU）上的支持情况。 .> 本文算是一次总结与分享，也希望能为正在做模型部署、调优或量化的同学提供一个完整参考。 ...## 一、引论

..1.需求场景.在智能驾驶等复杂业务场景中，模型往往具备多任务分支结构，例如在同一个网络中同时包含BEV动态任务（如目标检测、跟踪、运动预测）与BEV静态任务（如地图构建、车道线提取、可行驶区域预测），这些任务对推理频率（Frames Per Second, FPS）的要求通常并不相同。也就是有不同任务分支 推理不同帧率的需求，例如BEV 动态任务 20帧，静态任务 10帧这种情况，BEV模型结

.....这份指南聚焦开发者使用 PTQ 时的实际需求，从 “解决什么问题”“怎么用 PTQ 解决” 的角度，提供实战步骤与技巧，手册（训练后量化PTQ）中已有的通用内容将直接引用在线链接，避免重复。....一、快速评测：摸透模型性能上限.1. 解决的核心问题.开发者拿到 float ONNX 模型后，首要需求是快速了解模型在地平线 J6 平台上的最高运行性能，无需投入大量时间配置参数，同时获取可

....01..... 引 言.... .....在汽车电子迅猛发展的当下，车载诊断系统已成为车辆不可或缺的一部分。它犹如车辆的"健康管家"，实时监测着各系统的运行状态，一旦发现异常，便及时发出警示，为车辆的维护保养、故障排查提供关键依据。OBD（On-Board Diagnostic，车载诊断系统）与UDS（Unified Diagnostic Services，统一诊断服务）是当前车载诊断领域

.ISP支持设置不同的ISP的online output和axi output。...其中online output通过json字段“isp_stream_output”进行开关，J6E中CPE0的output format为YUV422，CPE1的output format为YUV420。...使用的json字段为“isp_dma_output_format”，支持的配置信息如下：.....ty

..前言.....本文作为Transformer模型部署的下篇，会以典型的Lightglue算法为例，介绍优化的完整流程。... . ...Lightglue性能优化实战......LightGlue 是一种高效且鲁棒的 图像特征点匹配算法，其核心目标是在两张输入图像之间自动找到语义一致的关键点对应关系，从而为 SLAM、三维重建、图像配准、视觉定位 等任务提供精确的几何约束信息。传统的匹配方法（

..前言.随着深度学习的快速发展，Transformer算法在各类AI任务中都得到了广泛关注。然而，Transformer的部署面临计算量大、延迟高等挑战，地平线计算芯片能够支撑Transformer算法的高效推理，可以成为用户在边缘平台部署Transformer算法的优先选择。本文将对Transformer性能优化方法做出详细说明。. ...性能优化策略.尽管地平线计算芯片和配套的算法工具链具备

.2025年6月4日，全国标准信息公共服务平台公示关于征求《智能网联汽车 组合驾驶辅助系统安全要求》拟立项强制性国家标准（以下简称标准）项目意见的通知。.该标准由工信部提出，委托全国汽车标准化技术委员会智能网联汽车分会执行。本项目周期22个月，于2024年3月22日申报。公示开始日期为2025年6月4日，公示截止日期为2025年7月4日。..该标准对组合驾驶辅助系统的安全性，做了详细的要求。其中包

原论文信息如下：. ... 论文标题:From Forecasting to Planning: Policy World Model for Collaborative State-Action Prediction 发表日期:2025年10月 作者:Zhida Zhao, Talas Fu, Yifan Wang, Lijun Wang, Huchuan Lu 发表单位:大连理工大

功能安全机制包括上电自检测试、错误注入、runtime时错误监测与上报。.其中，错误注入常用于验证测试功能安全机制的有效性。.针对ISP，可使用如下命令进行功能安全错误注入 （如下为J6E/M/P的isp hw0的错误注入命令） ：. ....stl_service_tool -F 1 -m 501 -f 12 -c 51.stl_service_tool -F 1 -m 501 -f 12 -c

声明：本文主要参考最下方几篇参考文献进行学习整理，如有错漏，请评论指出，会及时修改，感谢~基础格式：FP8 与 INT8FP8（8 位浮点）简介FP8 是一种浮点表示格式，通过 “符号位 + 指数位 + 尾数位” 的组合表示数值，主流标准包括 NVIDIA 的 E4M3（4 位指数 + 3 位尾数）和 E5M2（5 位指数 + 2 位尾数）。优势：保留浮点特性，动态范围远超整数格式（如 E5M2

..整个部署流程涉及到网络结构的数据流包括：float train训练、float eval推理、calib、qat训练、qat eval推理、导出部署、qat eval回灌推理，建议使用一套forward，不要存在多forward的情况（特别是prepare时 算子替换的hook注册在forward上，换成xxx_forward_xxx不保证能成功）。否则，即使每个流程都跑通了，也容易有各种fo

.ISP除了提供2a相关的对外api还提供了一些功能api，2种api配合使用，丰富ISP的对外能力。...hb_isp_run_algo/hb_isp_pause_algo，ISP提供该接口进行对2A算法的开关控制，用户可通过该接口实现对2A参数的手动输入控制和自动控制的切换。...hb_isp_set_module_control/hb_isp_get_module_control：该组接口主

# J5 softmax 算子约束替换方法..在将深度学习模型部署到地平线J5开发板上时，我们遇到了一些与量化编译相关的挑战，尤其是与`softmax`操作的性能问题。在进行模型量化时，我们发现`softmax`中的一个关键算子——`reducesum`的维度超过了BPU（硬件加速单元）的限制，导致模型在推理时出现了分段现象，并且性能不如预期。本文将详细介绍如何解决这一问题，并提升模型推理性能。.

.前言.笔者在前面两篇文章【LLM量化技术介绍 - 1】LLM量化技术概述及AWQ和GPTQ介绍 和【LLM量化技术介绍 - 2】SmoothQuant原理及量化技术详解 中，重点介绍了大语言模型（LLM）中激活和权重的量化原理与方案。LLM中的键值缓存（KV Cache）虽然大大减少了重复计算，但它同样带来了巨大的显存和带宽开销。为了节省显存、降低带宽、提高吞吐率，研究者自然想到对 KV Cac