前言从J5工具链的1.1.33版本开始，板端工具hrt_model_exec新增了两个参数，分别是dump_intermediate和hybrid_dequantize_process：前者用于dump模型每层的输入输出，是否dump BPU子图内部的输出取决于模型编译时的yaml参数设置；后者用于将模型的int输出反量化成float保存，若输出已经是float则直接保存。.dump_interm

1. J5 预留一个DVP接口，主要用于哪些场景？

1 背景介绍使用深度学习开源框架训练完网络模型后，在部署之前通常需要进行格式转换，地平线工具链模型转换目前支持Caffe1.0和ONNX(opset_version=10/11 且 ir_version≤7)两种。ONNX(Open Neural Network Exchange)格式是一种常用的开源神经网络格式，被较多推理引擎支持，例如Pytorch、PaddlePaddle、TensorFlo

1 背景介绍使用深度学习开源框架训练完网络模型后，在部署之前通常需要进行格式转换，地平线工具链模型转换目前支持Caffe1.0和ONNX(opset_version=10/11 且 ir_version≤7)两种。ONNX(Open Neural Network Exchange)格式是一种常用的开源神经网络格式，被较多推理引擎支持，例如Pytorch、PaddlePaddle、TensorFlo

1 背景介绍使用深度学习开源框架Pytorch训练完网络模型后，在部署之前通常需要进行格式转换，例如地平线工具链模型转换目前仅支持Caffe1.0和ONNX(opset_version=10/11 且 ir_version≤7)两种。ONNX(Open Neural Network Exchange)格式是一种常用的开源神经网络格式，被较多推理引擎支持，例如Pytorch、PaddlePaddle

.作者：杨志刚原文链接：https://mp.weixin.qq.com/s/WGgB69WhPmNpZJq2ViG6cg..摘要 SwinT是目前视觉transformer模型中的典型代表，在常见视觉任务，如分类、检测、分割都有非常出色的表现。虽然在相同计算量的模型指标上，SwinT已经可以和传统CNN为基础的视觉模型相媲美，但是SwinT面向不同平台的硬件离线部署仍然存在很多问题。本文以Swi

求已在J3上已配置驱动的带转轴的MIPI摄像头推荐。

0 概述将transformer结构应用于CV领域已成为业内常用的手段，传统transformer被更广泛目标检测任务，对于分割等场景则并不“擅长”。Swin-T的出现给计算机视觉领域提供了可广泛应用的backbone，基于窗口的注意力相比于全局更小巧，灵活。本文为在ImageNet数据集下对地平线的Swin-T算法的介绍和使用说明。该示例为参考算法，仅作为在J5上模型部署的设计参考，非量产算法1

0 概述在自动驾驶感知算法中BEV感知成为热点话题，BEV感知可以弥补2D感知的缺陷构建3D“世界”，更有利于下游任务和特征融合。为响应市场需求，地平线集成了基于bev的纯视觉算法，目前已支持ipm-based 、lss-based、 transformer-based(Geometry-guided Kernel Transformer、detr3d) 的多种bev视觉转换方法。本文为lss-

0 概述在深度学习领域，backbone作为神经网络特征提取的重要部分，在一定程度上决定了任务的最终结果。为了应对更高等级的自动驾驶场景，地平线提出了与J5芯片深度耦合的高效网络结构MixVargGENet。本文将基于ImageNet数据集，对以MixVargGENet为backbone的分类算法进行介绍和使用说明。该示例为参考算法，仅作为在J5上模型部署的设计参考，非量产算法1 性能精度指标da

0 概述在自动驾驶应用中，除了在2D图像中检测目标之外，还必须在3D空间中检测某些目标的类别，如汽车、行人、自行车等。LiDAR通过构建3D空间的点云，可以提供一种精确、高空间维度、高分辨率的数据,可以弥补对3D空间的距离信息。随着深度学习架构的进步逐渐出现了许多基于LiDAR的3D目标检测器。本文在kitti3d数据集下基于pillar-based的pointpillars算法的介绍和使用说明。

0 概述在自动驾驶感知算法中BEV感知成为热点话题，BEV感知可以弥补2D感知的缺陷构建3D“世界”，更有利于下游任务和特征融合。为响应市场需求，地平线集成了基于bev的纯视觉算法，目前已支持ipm-based 、lss-based、 transformer-based(Geometry-guided Kernel Transformer、detr3d) 的多种bev视觉转换方法。本文为tran

0 概述在自动驾驶感知算法中BEV感知成为热点话题，BEV感知可以弥补2D感知的缺陷构建3D“世界”，更有利于下游任务和特征融合。为响应市场需求，地平线集成了基于bev的纯视觉算法，目前已支持ipm-based 、lss-based、 transformer-based(Geometry-guided Kernel Transformer、detr3d) 的多种bev视觉转换方法。本文为ipm-

能否提供征程5开发板硬件设计文档，想参考下征程5做开发板如何设计？

天工开物（Open Explorer，OE）是基于地平线硬件开发的算法全生命周期开发平台，主要包括芯片算法工具链、芯片算法仓库和应用开发SDK三大功能模块。其中，芯片算法工具链覆盖了模型训练（浮点训练和量化训练，可选）、转换、性能/精度验证、部署和推理等关键步骤。为了方便用户快速体验和学习地平线芯片算法工具链，OE开发包中提供了丰富、全面的示例。为了方便用户了解和使用这些示例，本文将对这些示例进行

0 前言在自动驾驶的pipeline中，环境感知、定位地图和决策规划比较偏算法，两端偏硬件外设，这是由车的硬件架构决定。虽然pipeline在这几十年来已逐渐成型，在最近几年有了很大的演进趋势变化。从下方的图可以看出主流的方法只在环境感知中很窄的一段区间应用AI算法，而近几年的趋势中， AI算法在整个pipeline里的范围越来越大，这种趋势更好的表述为--软件2.0。深度学习作为“软件2.0”的

1 前言 在阅读后文plugin使用方式之前，为避免理解歧义，我们先定义一下异构和非异构的概念：异构模型是指部署时一部分运行在 BPU 上，一部分运行在 CPU 上的模型。而非异构模型部署时则完全运行在 BPU 上。 地平线基于PyTorch开发的horizon_plugin_pytorch量化训练工具（该工具将随2023年初的OE开发包释放给XJ3用户）同时支持Eager和fx两种模式。其中，f

0 前言 由于部署时数据来源的硬件不同以及应用开发的高效性要求，往往会使得在板端部署阶段的数据准备操作与训练时有所差异。通过阅读本文您可以找到以下问答的答案： 一些常见的图像格式转换以及归一化处理是否支持硬件加速？（请参考本文1.1节） 若部署时数据来源于摄像头，我应该怎么配置？（ptq方案请参考本文1.2.1节，qat方案请参考2.2.1节） 若部署时数据来源于摄像头，可以如何验证板端和PC端模

大家在板端部署的时候可能会发现模型的输入输出tensor有两个属性：validShape 以及 alignedShape。这是因为BPU有 stride 要求，alignedShape 就是 stride 对齐后的数据大小，validShape为原始大小。在实际运行时模型输入大小为 alignedShape ，因此数据预处理时不可避免需要完成 padding 的动作（ padding 值只能为0）

  地平线征程5芯片（Jounery 5，以下简称J5）已经被越来越多的合作伙伴和开发者所使用，用于面向智能驾驶场景应用的开发。智驾应用是一个非常复杂的开发场景，不仅仅涉及到神经网络的训练和部署, 也覆盖到传感器的接入、图像处理和工程调优的大量工作，开发复杂度很高，有一定的上手门槛。  千里之行始于足下，从一个最简化的全流程示例完成从Camera接入到目标检测输出的应用开发，将是进行复杂应用场景开