地平线为您提供了训练后量化PTQ方案,下面将以以下几个章节内容为您进行其使用方法指导。
PTQ转换原理及流程 章节,为您介绍PTQ模型转换的整体流程及全过程详解。
PTQ转换工具 章节,为您详细介绍算法工具链提供的PTQ工具包中工具的使用方法。
PTQ转换步骤 章节,从模型准备、模型验证、校准数据准备、模型量化&编译、性能分析、精度分析等方面,为您进行使用指导。
PTQ转换示例 章节,为您介绍horizon_model_convert_sample模型转换示例包及其使用方法。提供了使用浮点模型转换工具链快速完成浮点模型转换定点模型的示例,同时包括单张推理和精度验证示例。
自定义算子开发 章节,如您所使用的模型存在地平线工具链不支持的算子,可参考本章节进行自定义算子的开发。
常见问题及故障处理 章节,为您提供PTQ转换过程一些常见问题的解答以及常见异常故障现象通用解决建议。
附录 章节,为您介绍norm_type相关参数、相关计算公式的说明与解析,图片缩放裁剪时使用的各个transformer的概念、参数说明及示例。
6.1. PTQ转换原理及流程
6.1.1. 概览
6.1.2. PTQ转换流程说明
6.1.3. 模型转换过程详解
6.2. PTQ转换工具
6.2.1. PTQ转换工具阅读概览
6.2.2. hb_mapper工具
6.2.3. hb_perf工具
6.2.4. vec_diff工具
6.2.5. hb_model_info工具
6.2.6. hb_pack工具
6.2.7. hb_verifier工具
6.2.8. hb_model_modifier工具
6.2.9. hb_custom_op工具
6.2.10. hb_eval_preprocess工具
6.2.11. HB_ONNXRuntime推理库
6.2.12. 精度debug工具
6.3. PTQ转换步骤
6.3.1. 浮点模型准备
6.3.2. 验证模型
6.3.3. 校准数据准备
6.3.4. 模型量化与编译
6.3.5. 模型性能分析
6.3.6. 模型精度分析
6.4. PTQ转换示例
6.4.1. 发布物介绍
6.4.2. 常见算法模型示例
6.4.3. 其他算法模型示例
6.5. 自定义算子开发
6.5.1. 简介
6.5.2. 含自定义算子的模型转换
6.5.3. 含自定义算子的上板运行
6.6. 常见问题及故障处理
6.6.1. 训练后量化(PTQ)常见问题
6.6.2. 常见故障处理
6.7. 附录
6.7.1. norm_type配置说明
6.7.2. 图片处理transformer说明