0 概述将transformer结构应用于CV领域已成为业内常用的手段，传统transformer被更广泛目标检测任务，对于分割等场景则并不“擅长”。Swin-T的出现给计算机视觉领域提供了可广泛应用的backbone，基于窗口的注意力相比于全局更小巧，灵活。本文为在ImageNet数据集下对地平线的Swin-T算法的介绍和使用说明。该示例为参考算法，仅作为在J5上模型部署的设计参考，非量产算法1

0 概述在自动驾驶感知算法中BEV感知成为热点话题，BEV感知可以弥补2D感知的缺陷构建3D“世界”，更有利于下游任务和特征融合。为响应市场需求，地平线集成了基于bev的纯视觉算法，目前已支持ipm-based 、lss-based、 transformer-based(Geometry-guided Kernel Transformer、detr3d) 的多种bev视觉转换方法。本文为lss-

0 概述在深度学习领域，backbone作为神经网络特征提取的重要部分，在一定程度上决定了任务的最终结果。为了应对更高等级的自动驾驶场景，地平线提出了与J5芯片深度耦合的高效网络结构MixVargGENet。本文将基于ImageNet数据集，对以MixVargGENet为backbone的分类算法进行介绍和使用说明。该示例为参考算法，仅作为在J5上模型部署的设计参考，非量产算法1 性能精度指标da

0 概述在自动驾驶应用中，除了在2D图像中检测目标之外，还必须在3D空间中检测某些目标的类别，如汽车、行人、自行车等。LiDAR通过构建3D空间的点云，可以提供一种精确、高空间维度、高分辨率的数据,可以弥补对3D空间的距离信息。随着深度学习架构的进步逐渐出现了许多基于LiDAR的3D目标检测器。本文在kitti3d数据集下基于pillar-based的pointpillars算法的介绍和使用说明。

0 概述在自动驾驶感知算法中BEV感知成为热点话题，BEV感知可以弥补2D感知的缺陷构建3D“世界”，更有利于下游任务和特征融合。为响应市场需求，地平线集成了基于bev的纯视觉算法，目前已支持ipm-based 、lss-based、 transformer-based(Geometry-guided Kernel Transformer、detr3d) 的多种bev视觉转换方法。本文为tran

0 概述在自动驾驶感知算法中BEV感知成为热点话题，BEV感知可以弥补2D感知的缺陷构建3D“世界”，更有利于下游任务和特征融合。为响应市场需求，地平线集成了基于bev的纯视觉算法，目前已支持ipm-based 、lss-based、 transformer-based(Geometry-guided Kernel Transformer、detr3d) 的多种bev视觉转换方法。本文为ipm-

能否提供征程5开发板硬件设计文档，想参考下征程5做开发板如何设计？

天工开物（Open Explorer，OE）是基于地平线硬件开发的算法全生命周期开发平台，主要包括芯片算法工具链、芯片算法仓库和应用开发SDK三大功能模块。其中，芯片算法工具链覆盖了模型训练（浮点训练和量化训练，可选）、转换、性能/精度验证、部署和推理等关键步骤。为了方便用户快速体验和学习地平线芯片算法工具链，OE开发包中提供了丰富、全面的示例。为了方便用户了解和使用这些示例，本文将对这些示例进行

0 前言在自动驾驶的pipeline中，环境感知、定位地图和决策规划比较偏算法，两端偏硬件外设，这是由车的硬件架构决定。虽然pipeline在这几十年来已逐渐成型，在最近几年有了很大的演进趋势变化。从下方的图可以看出主流的方法只在环境感知中很窄的一段区间应用AI算法，而近几年的趋势中， AI算法在整个pipeline里的范围越来越大，这种趋势更好的表述为--软件2.0。深度学习作为“软件2.0”的

1 前言 在阅读后文plugin使用方式之前，为避免理解歧义，我们先定义一下异构和非异构的概念：异构模型是指部署时一部分运行在 BPU 上，一部分运行在 CPU 上的模型。而非异构模型部署时则完全运行在 BPU 上。 地平线基于PyTorch开发的horizon_plugin_pytorch量化训练工具（该工具将随2023年初的OE开发包释放给XJ3用户）同时支持Eager和fx两种模式。其中，f

0 前言 由于部署时数据来源的硬件不同以及应用开发的高效性要求，往往会使得在板端部署阶段的数据准备操作与训练时有所差异。通过阅读本文您可以找到以下问答的答案： 一些常见的图像格式转换以及归一化处理是否支持硬件加速？（请参考本文1.1节） 若部署时数据来源于摄像头，我应该怎么配置？（ptq方案请参考本文1.2.1节，qat方案请参考2.2.1节） 若部署时数据来源于摄像头，可以如何验证板端和PC端模

大家在板端部署的时候可能会发现模型的输入输出tensor有两个属性：validShape 以及 alignedShape。这是因为BPU有 stride 要求，alignedShape 就是 stride 对齐后的数据大小，validShape为原始大小。在实际运行时模型输入大小为 alignedShape ，因此数据预处理时不可避免需要完成 padding 的动作（ padding 值只能为0）

  地平线征程5芯片（Jounery 5，以下简称J5）已经被越来越多的合作伙伴和开发者所使用，用于面向智能驾驶场景应用的开发。智驾应用是一个非常复杂的开发场景，不仅仅涉及到神经网络的训练和部署, 也覆盖到传感器的接入、图像处理和工程调优的大量工作，开发复杂度很高，有一定的上手门槛。  千里之行始于足下，从一个最简化的全流程示例完成从Camera接入到目标检测输出的应用开发，将是进行复杂应用场景开

1. 引言在过去的十年中，神经网络对图像分类、目标检测、目标跟踪，实例分割等任务推理的准确性有了显著提高，这通常是通过高度过度参数化的模型实现的。但是会出现以下疑问：网络的深度的持续增加是否也能同步提高分类任务的准确率？复杂的结构和巨大的参数量是否也能提高神经网络的表征性能？基于以上问题，卷积神经网络经历了结构愈发复杂，参数愈发繁多的发展阶段，VGG网络层数在短时间内发展到了惊人的16到19层，更

GDC环视模组图像矫正实战GDC畸变矫正模块主要用于泊车用环视模组的图像矫正，本章节会以customer模式说明如何根据模组内参文件生成配置文件实现720P图像矫正功能。.1. 准备工作.确保按照实战教程第七部分说明安装gdc tool工具，网页能正常打开。安装Visual Studio、opencv库（opencv-4.5.5-vc14_vc15.exe）。准备一张1280*720P JPG畸变

1. GDC GUI TOOL 工具介绍GDC GUI TOOL 是一种可在 PC 上进行处理效果仿真的工具。用户可准备 jpg 模式的图像，load 到 gdc-tool 中进行离线校正，校正完成后可以直接保存 config.bin 文件用于硬件校正，也可用保存 layout.json 文件生成 config.bin 进行硬件校正。.2. gdc-tool 安装2.1 Windows 环境.列表

模块概述我们使用摄像机时，场景中实际水平或竖直的物体，从图像上看却发生了形变，其实这个是由镜头光学性能引起的一种光学现象。镜头由若干组凸和凹透镜构成、由于镜头焦平面上不同区域对影像的放大率不同，因而形成的画面会存在扭曲变形现象，这种变形的程度从画面中心至画面边缘依次递增，主要在画面边缘反映得较明显，可以说所有镜头都存在或多或少畸变的问题。GDC畸变矫正模块可将输入的畸变图像通过用户预置的模组分辨率

1.系统软件类关于J5/J3/J2平台的底层软件地平线内部的释放计划和形式？2. 工具链J5应用资源类问题(一)多阶段模型

J5芯片的Norflash的实际用途是？做启动用？启动顺序是？

Windowshbupdate可参考「J5 EVM 开发套件用户手册」，使用 UART + Fastboot 升级。.SecureCRT原理：通过 SecureCRT 串口传输功能，手动传输启动需要的镜像到内存中启动。前提：启动模式需要改为 UART 启动，方法参考「J5 EVM 开发套件用户手册」。..设置串口模式.2. 单板已进入 UART 模式，打印 CCC，如下3. 传输 spl 镜像（S