一、AI工具链考试大纲

模型转换

基础理论

量化的概念、必要性及常用量化方法

暂时无法在飞书文档外展示此内容

模型优化加速的概念、理解及常用方法

• 模型压缩理论简介及剪枝与稀疏化在J5上实践

PTQ

PTQ基础概念

数据预处理相关知识

• 模型数据要求，opecv使用和常见的处理方法，如：crop， resize，layout变换，normalization等

环境部署和灵活使用

• docker 操作， 常用的板端工具（包括通用的和地平线专用的），和Linux环境配置、编译等相关配置。

浮点模型简单修改和导出

• 工具链所支持的不同类型模型的导出、ONNX简介和构成，以及 对导出过程版本等参数的要求。

模型转换和编译过程控制 以及 配置文件使用。

• 加强对编译过程（编译目的和对文件的修改）、工具（如hb_mapper各组件）、产物（各阶段的输出）的理解。

转换过程原理和结果分析

• 编译过程控制参数的使用、常用算子了解 以及 模型操作工具的使用。

性能、精度DEBUG工具使用 和 结果分析

• 性能测试方法和工具的掌握，精度调试工具的了解。

性能、精度调优：理论、方案和建议

• 影响性能的因素分析和调优方法，常用的高效Backbone等。

自定义算子支持。

• 自定义算子支持的必要性 和 工具链对自定义算子的支持情况，如是否可以在BPU上定义自定义算子 以及 自定义算子开发的简要步骤。

QAT

QAT基础概念

• QAT的基础概念

• horizon_plugin_pytorch组成、安装和使用

环境依赖构建和问题处理

• 显卡操作常用命令

• 工具链对不同显卡的支持情况

• QAT的开发环境依赖

使用过程 和 阶段构成

• QAT过程常用的工具，如horizon-plugin-profiler

• 地平线horizon_plugin_pytorch 设计理念。

• horizon_plugin_pytorch 对量化模式、数据处理等支持情况

• 典型qconfig的使用情况。

Other

Open Explorer组织结构和内容类别，编译、性能查看测试、模型修改等工具使用

模型部署

运行环境

交叉编译相关知识

• OE包中各sample编译和运行过程依赖的环境变量。

• CMakeLists基本语法知识。

• Linux系统使用常规命令，如printenv, set, env等

系统IMAGE生成 和 使用

板卡相关操作，如查看版本、修改IP、刷板升级等

API使用

API接口及参数组成、应用注意事项

• API接口分类和用途: 加载、信息获取、推理、内存操作、流程控制等

参考示例

基础示例：OE包示例使用和部署

• OE包中各类示例的组织结构。

• AI_Benchmark的目的和使用

• ai_forward_view的目的和使用

参考方案：构成和部署、使用

• 模型编译&部署流程中的注意事项，如各组件版本对齐等

评测优化

评测工具了解和使用、结果分析

• hrt_model_exec等工具的组成、环境依赖和结果分析。

• 部署过程各类系统指标如bpu、内存、cpu等的查看分析。

根据评测结果的修改和优化建议和 实施工具

• 比如移除量化反量化节点等

关联子系统

DSP，PYM等常规使用

参考算法

算法类型

• bev、pointpillars等常用算法的结构组成

优化建议

• 典型网络构建过程的优缺点分析和建议，如MixVarGENet。

二、算法基础考试大纲

算法基础类

1.1 机器视觉方向

• 机器视觉应用分类

• 机器视觉的优点与缺点

• 知识图谱技术的应用方向

• 边缘计算概念

• 图像边缘检测算子

• NMS（非极大抑制）的基本概念

• 图像灰度直方图基本概念

• 阈值分割法、区域分割法、边缘分割法的主要区别

1.2 深度学习方向

• 目标检测RCNN家族算法基本概念

• YOLO v1基本结构及其后续家族算法的基本概念（如每个版本的重点优化内容）

• RBF、SOM、BP、ELMAN神经网络的基本概念

• 常见的激活函数类型

• 偏导数与神经网络的关系

• 单层感知器与多层神经网络的优缺点比较

• 神经⽹络与深度学习的关系

• ⽆监督学习与有监督学习的基本概念

• 积神经⽹络的基本概念

• 基于深度学习的⽤户的情感分析基本方法

• 深度学习中的编码解码器基本概念与用途

• 神经⽹络及神经元基本概念

• 训练样本与模型性能关系

• 深度学习与神经网络的关系

• 欠拟合与过拟合的基本概念，如何避免

• 逻辑回归的基本概念

• 梯度下降的基本概念

• Mini-Batch的基本概念

• L1、L2 正则化的基本概念

• 神经网络学习率参数的基本概念

• 过拟合的防⽌⽅法有哪些

• 神经⽹络参数初始化的基本思路

• 梯度消失的原因有哪些

• 超参包含哪些

• 池化的概念

• 正则化的基本概念

• 卷积核的基本概念

• ⽣成对抗⽹络（GAN）的基本概念，⽣成器和判别器的基本概念

• 强化学习的基本概念及要素

• 特征降维的⽅法包括哪些

• 极⼤似然估计(Maximum Likelihood Estimate，MLE)的基本概念

算法应用类

• ⼈⼯智能、深度学习和机器学习的关系

• "点云"数据类型

• 深度学习算法的三要素

智能驾驶通识类

• 智能决策层概念及主要功能

• 激光雷达与毫米波雷达、超声波雷达之间的区别

• CAN 总线的基本概念及主要功能

• 高精度地图的基本概念及主要功能

• 惯性传感器的基本概念及主要功能

• 车间距概念

• 智能网联汽车的基本概念

• 被动红外成像技术基本概念

• 汽车自适应巡航的基本概念

• 车道偏离预警系统的基本概念

• ZigBee 技术的基本概念