小技巧

1. 我们推荐您在使用本手册之前，先阅读 工具链概览 章节 和 PTQ原理及步骤 部分， 以便对PTQ训练后量化方案（以下简称为 PTQ方案）有一个比较充分地了解。

2. 如果您在进行自定义模型转换时需要了解PTQ浮点定点模型转换方案工具的使用， 请阅读 PTQ工具文档。

3. 在使用手册完成PTQ示例包的模型转换工作之后，请继续阅读 AI_Benchmark手册 和 BPU SDK API手册 章节进行嵌入式开发工作，将模型部署上板。

PTQ示例包帮助开发者快速体验并上手PTQ训练后量化方案。 开发者使用PTQ示例包不仅能够体验将32位浮点（FLOAT32）精度的示例模型转换为可以在地平线J5平台上运行的8位定点整数(INT8)精度的bin模型， 还能够了解如何使用PTQ方案提供的工具，并且基于示例脚本设计自定义模型转换业务逻辑脚本。

本手册旨在指导开发者使用地平线J5算法工具链的 PTQ模型转换示例包 （以下简称为 PTQ示例包）。 您可以在地平线J5天工开物发布物（即：horizon_j5_open_explorer）中获取PTQ示例包： ddk/samples/ai_toolchain/horizon_model_convert_sample。

下一章内容将为您介绍PTQ示例包的发布物内容。

6.4.1. 发布物介绍

6.4.1.1. 模型量化示例包 horizon_model_convert_sample

注解

OE包默认不携带示例对应的校准数据集和原始模型，您需要在对应的示例文件夹内执行 00_init.sh 获取当前示例所需的模型和校准数据集。

全部示例的原始模型和数据集获取完成后的模型转换示例包的目录结构如下所示：

示例包中包含的主要内容：

常见算法模型示例

常见算法模型示例是指 02_preq_examples/ 、 03_classification/ 、 04_detection/ 和 07_segmentation/ 文件夹中的示例。

这些示例的主要目标是指导：

• 快速体验模型转换的流程。

• 快速评测模型转换的精度。

• 体验转换的效果。

其他算法模型示例

其他算法模型示例是指 05_miscellaneous/ 和 06_custom_op/ 文件夹中的示例。

• 05_miscellaneous ，杂项示例，指导用户使用地平线算法工具链提供的一些其他内容。 比如：如何使用地平线模型转换工具，使rgb数据训练的模型能在runtime运行时接受yuv数据。 03_vector_diff 指导用户如何使用 vec_diff 工具来定位问题的一个示例。

• 06_custom_op/ 为用户自定义OP示例，帮助用户了解如何在模型含有工具链不支持的算子的情况下添加自定义算子的功能。

注解

这部分示例会不定期更新，为您常见的问题提供示例解答。

6.4.1.2. 模型发布物 model_zoo

model_zoo 包含两个路径： mapper 和 runtime。 其中 mapper 路径下包含了PTQ和QAT方案进行模型转换时要使用的模型（ONNX或Caffe格式的浮点模型）， 其中fcos_efficientnetb0、fcos_efficientnetb2和fcos_efficientnetb3为QAT模型，其余为PTQ模型； runtime 路径下包含了嵌入式运行时开发要使用的bin模型。

以下仅展示PTQ和QAT示例要使用的模型发布物：

注意

此目录树是完整结构展示，实际上OE包并没有直接携带所有的模型。

下一小节内容将为您介绍算法模型示例相关的内容。

6.4.2. 常见算法模型示例

6.4.2.1. 位置路径

常见算法模型示例位于 horizon_model_convert_sample 路径的： 02_preq_examples/、 03_classification/、 04_detection/ 和 07_segmentation/ 文件夹中。

6.4.2.2. 如何准备数据集

6.4.2.2.1. 数据集下载地址

数据集的下载地址可参考下表：

6.4.2.2.2. 数据集参考结构

为方便您进行后续步骤，在数据集下载完成后，您需要按照如下地平线建议的结构对评测数据集进行处理。

6.4.2.2.2.1. ImageNet

6.4.2.2.2.2. COCO

6.4.2.2.2.3. VOC

注意

请您注意，VOC2012目录下目前存储了VOC2007和VOC2012两份数据集，请您按照如下目录结构对评测数据集进行处理。

6.4.2.2.2.4. Cityscapes

6.4.2.2.2.5. CIFAR-10

6.4.2.3. 如何准备模型

在使用模型转换示例包时，请您先准备好对应的浮点模型。

注解

OE包默认不携带示例对应的校准数据集和原始模型，您需要在对应的示例文件夹内执行 00_init.sh 获取当前示例所需的模型和校准数据集。

对于各原始模型的来源、修改点（如有）的准备过程，请您参考以下内容。

6.4.2.3.1. Fcos_efficientnetb0¶

注意

• 该模型为采用QAT方式训练出来的模型。

• 为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Dequantize节点做了删除的操作。

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/PreQQAT

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]：0.348(FLOAT)/0.349(INT8)

6.4.2.3.2. Fcos_efficientnetb2¶

注意

为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Dequantize节点做了删除的操作。

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/PreQQAT

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]：0.447(FLOAT)/0.447(INT8)

6.4.2.3.3. Fcos_efficientnetb3¶

注意

为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Dequantize节点做了删除的操作。

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/PreQQAT

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]：0.472(FLOAT)/0.474(INT8)

6.4.2.3.4. MobileNetv1/v2¶

1.模型来源：https://github.com/shicai/MobileNet-Caffe

2.md5sum码：

3.模型精度：

• MobileNetv1：0.7061(FLOAT)/0.7026(INT8)

• MobileNetv2：0.7165(FLOAT)/0.7120(INT8)

6.4.2.3.5. GoogleNet¶

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/GoogleNet

2.md5sum码：

3.模型精度：0.7001(FLOAT)/0.6989(INT8)

6.4.2.3.6. ResNet18¶

1.模型来源：https://github.com/HolmesShuan/ResNet-18-Caffemodel-on-ImageNet

2.md5sum码：

3.模型精度：0.6837(FLOAT)/0.6829(INT8)

6.4.2.3.7. EfficientNet_Lite0/1/2/3/4

注意

为了快速运行示例，避免使用第三方工具带来的风险，强烈推荐您直接使用地平线模型发布物 model_zoo/mapper/ 路径下准备好的ONNX浮点模型。 如果您有兴趣复现tflite2onnx的模型转换过程，也可以尝试使用以下三方工具。但地平线无法保证第三方工具的质量和转换成功率。

1.模型来源：可从 https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/lite 获取tar包。

2.地平线模型发布物中转换后的ONNX模型md5sum码：

3.下载后可从tar包中得到 .tflite 文件，然后可通过tflite2onnx工具 (https://pypi.org/project/tflite2onnx/) 将tflite转换为ONNX模型。

不同版本的tflite2onnx转换出来的layout会不一样，若转换出来的ONNX模型的输入layout是NHWC排布，则build时， EfficientNet_Lite0/1/2/3/4的 input_layout_train 均应该选择 NHWC。

4.模型精度：

• EfficientNet_Lite0：0.7490(FLOAT)/0.7469(INT8)

• EfficientNet_Lite1：0.7648(FLOAT)/0.7624(INT8)

• EfficientNet_Lite2：0.7738(FLOAT)/0.7715(INT8)

• EfficientNet_Lite3：0.7922(FLOAT)/0.7902(INT8)

• EfficientNet_Lite4：0.8069(FLOAT)/0.8058(INT8)

6.4.2.3.8. Vargconvnet¶

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/VargConvNet

2.md5sum码：

3.模型精度：0.7790(FLOAT)/0.7785(INT8)

6.4.2.3.9. Efficientnasnet_m¶

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/EfficientnasNet

2.md5sum码：

3.模型精度：0.7973(FLOAT)/0.7916(INT8)

6.4.2.3.10. Efficientnasnet_s¶

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/EfficientnasNet

2.md5sum码：

3.模型精度：0.7578(FLOAT)/0.7518(INT8)

6.4.2.3.11. YOLOv2_Darknet19

注意

• 为了快速运行示例，避免使用第三方工具带来的风险，强烈推荐您直接使用地平线模型发布物 model_zoo/mapper/ 路径下准备好的Caffe浮点模型。 如果您有兴趣复现darknet2caffe的模型转换过程，也可以尝试使用以下三方工具。但地平线无法保证三方工具的质量和转换成功率。

• 为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Dequantize节点做了删除的操作。

1.YOLOv2_Darknet19模型需要首先从YOLO官网(https://pjreddie.com/darknet/yolo/)，下载YOLOv2 608x608的.cfg和.weight文件 并使用darknet2caffe (https://github.com/xingyanan/darknet2caffe) 转换工具将其转换为caffe model。

注解

该转换工具（darknet2caffe）是一个简化版本，使用时，需要修改该工具生成的.prototxt文件，将其中的 'Reshape' 层修改成 'Passthrough' 层， Passthrough 层具体修改后的参数请见提供的yolov2.prototxt例子，并在输出节点增加一个NCHW2NHWC的Permute操作。

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]: 0.276(FLOAT)/0.273(INT8)

6.4.2.3.12. YOLOv3_Darknet53¶

注意

为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Dequantize节点做了删除的操作。

1.YOLOv3_Darknet53模型获取：

URL： https://github.com/ChenYingpeng/caffe-yolov3/ ，caffemodel可以在该github的README.md提供的百度云下载路径中下载，并在输出节点增加一个NCHW2NHWC的Permute操作。

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]：0.333(FLOAT)/0.335(INT8)

6.4.2.3.13. YOLOv5x¶

注意

为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Dequantize节点做了删除的操作。

1.YOLOv5x模型：可以从URL： https://github.com/ultralytics/yolov5/releases/tag/v2.0 中下载相应的pt文件。

注意

在clone代码时，请确认您使用的Tags是 v2.0，否则将导致转换失败。

2.md5sum码：

• 为了更好地适配后处理代码，我们在ONNX模型导出前对Github代码做了如下修改（代码参见：https://github.com/ultralytics/yolov5/blob/v2.0/models/yolo.py）：

注解

去除了每个输出分支尾部从4维到5维的reshape（即不将channel从255拆分成3x85），然后将layout从NHWC转换成NCHW再输出。

以下左图为修改前的模型某一输出节点的可视化图，右图则为修改后的对应输出节点可视化图。

• 下载完成后通过脚本 https://github.com/ultralytics/yolov5/blob/v2.0/models/export.py 进行pt文件到ONNX文件的转换。

注意

在使用export.py脚本时，请注意：

1. 由于地平线算法工具链支持的ONNX opset版本为 10 和 11，请将 torch.onnx.export 的 opset_version 参数根据您要使用的版本进行修改。

2. 将 torch.onnx.export 部分的默认输入名称参数由 'images' 改为 'data'，与模型转换示例包的YOLOv5x示例脚本保持一致。

3. 将 parser.add_argument 部分中默认的数据输入尺寸640x640改为模型转换示例包YOLOv5x示例中的672x672。

3.模型精度：

[IoU=0.50:0.95]：0.480(FLOAT)/0.466(INT8)

6.4.2.3.14. SSD_MobileNetv1¶

注意

为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Dequantize节点做了删除的操作。

1.SSD_MobileNetv1模型：可以从URL： https://github.com/chuanqi305/MobileNet-SSD 获得Caffe模型。

2.md5sum码：

3.模型精度(mAP)：0.7342(FLOAT)/0.7275(INT8)

6.4.2.3.15. Efficientdetd0¶

注意

为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Dequantize节点做了删除的操作。

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/EfficientDet

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]：0.324(FLOAT)/0.315(INT8)

6.4.2.3.16. CenterNet_Resnet101¶

注意

为保证板端性能达到最优：

• 我们将maxpool和sigmoid节点放到模型中，并指定编译为BPU节点，用于减少后处理过程中的计算量。

• 在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Dequantize节点做了删除的操作。

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/Centernet

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]：0.342(FLOAT)/0.335(INT8)

6.4.2.3.17. Fcos_efficientnetb0¶

注意

• 该模型为采用PTQ方式训练出来的模型。

• 为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Dequantize节点做了删除的操作。

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/blob/master/Fcos_Efficientnetb0

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]：0.358(FLOAT)/0.351(INT8)

6.4.2.3.18. Yolov4¶

注意

为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Dequantize节点做了删除的操作。

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/YoloV4

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]：0.351(FLOAT)/0.335(INT8)

6.4.2.3.19. YOLOv3_VargDarknet¶

注意

为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Dequantize节点做了删除的操作。

1.YOLOv3_VargDarknet模型获取：

URL： https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/Yolov3_VargDarknet ，可以在该github的README.md提供的百度云下载路径中下载。

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]：0.335(FLOAT)/0.327(INT8)

6.4.2.3.20. Fcos_resnet50¶

注意

为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Dequantize节点做了删除的操作。

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/Fcos_Resnet50

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]：0.426(FLOAT)/0.424(INT8)

6.4.2.3.21. Fcos_resnext101

注意

为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Dequantize节点做了删除的操作。

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/Fcos_Resnext101

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]：0.453(FLOAT)/0.450(INT8)

6.4.2.3.22. Unet_mobilenet¶

注意

为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Dequantize节点做了删除的操作。

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/MobilenetUnet

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]：0.6411(FLOAT)/0.6379(INT8)

6.4.2.3.23. DeeplabV3plus_efficientnetb0¶

注意

为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Reshape和Cast节点做了删除的操作。

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/DeeplabV3Plus

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]：0.7630(FLOAT)/0.7568(INT8)

6.4.2.3.24. Fastscnn_efficientnetb0

注意

为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Reshape和Cast节点做了删除的操作。

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/FastSCNN

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]：0.6997(FLOAT)/0.6928(INT8)

6.4.2.3.25. Deeplabv3plus_dilation1248¶

注意

为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Transpose节点做了删除的操作。

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/DeeplabV3Plus

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]：0.7462(FLOAT)/0.7452(INT8)

6.4.2.3.26. Deeplabv3plus_efficientnetm1

注意

为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Reshape、Cast和Transpose节点做了删除的操作。

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/DeeplabV3Plus

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]：0.7794(FLOAT)/0.7740(INT8)

6.4.2.3.27. Deeplabv3plus_efficientnetm2

注意

为保证板端性能达到最优，在编译bin模型的yaml文件中我们对 remove_node_type 参数进行了配置，将bin模型中的Reshape、Cast和Transpose节点做了删除的操作。

1.模型来源：https://github.com/HorizonRobotics-Platform/ModelZoo/tree/master/DeeplabV3Plus

2.md5sum码：

3.模型精度：

[IoU=0.50:0.95]：0.7882(FLOAT)/0.7856(INT8)

6.4.2.4. 算法模型示例的使用演示

本小节以GoogleNet模型为例，使用算法模型示例包中 03_classification/02_googlenet/mapper/ 路径下脚本 分步骤演示浮点模型到定点模型转换的过程。

6.4.2.4.1. 进入Docker容器

首先，根据 Docker容器部署 一节内容完成Docker环境的安装和配置并进入docker容器。

6.4.2.4.2. 下载原始模型及校准数据集¶

在 03_classification/02_googlenet/mapper/ 文件夹内执行 00_init.sh 获取当前示例所需的模型和校准数据集。

6.4.2.4.3. 验证模型是否能够执行

1.如下所示，运行脚本：

2.模型检查输出：

上述脚本使用 hb_mapper checker 工具验证模型是否被地平线计算平台支持。同时也会输出一个OP列表，表示每个OP会CPU还是BPU上执行。 如下所示：

6.4.2.4.4. 准备校准用的数据集¶

在同一路径下继续执行 02_preprocess.sh 脚本，如下所示：

注解

• 我们从ImageNet数据集抽取了100张图作为校准数据集，在校准前，我们对数据进行了预处理： short size resize/crop size/NHWC to NCHW/转为rgb。

• hb_mapper 工具会从转换得到二进制数据中读取数据，预处理过的二进制数据文件格式为：c-order的矩阵存储。每个矩阵值的数据类型为uint8。

6.4.2.4.5. build异构模型

在同一路径下继续执行 03_build.sh 脚本，如下所示：

注解

上述脚本使用 hb_mapper 工具转换模型，最需要关注的是转换的配置文件， 请参考 模型编译命令（hb_mapper makertbin） 章节的内容。

上述脚本的输出如下所示：

注解

您暂时只需要关心 googlenet_224x224_nv12.bin 文件。

6.4.2.4.6. 单张图片推理

执行 04_inference.sh 脚本进行单张图片的推理过程，如下所示：

注解

• 因为图片推理过程时，需要对图片进行 前处理，对模型数据进行 后处理，所以我们提供了一个示例Python脚本。具体请参考 sh 04_inference.sh 。

• 此脚本只是对单张图片进行推理，验证单张图片的推理结果是否符合预期，如果想做精度测评，可以参考 05_evaluate.sh 脚本。

6.4.2.4.7. 精度测试

继续执行 05_evaluate.sh 脚本进行精度评测，如下所示：

注解

• 因为精度评测时，需要对图片进行 前处理，对模型数据进行 后处理，所以我们提供了一个示例Python脚本。具体请参考 sh 05_evaluate.sh。

• 为了加快评测速度，可以通过 -p 选项适当调整并发进程数，但需要注意内存的占用情况。当 -p 选项值不填或者设置为 0 时，CPU环境中的定点模型将按照10个进程数处理，其他场景均按1个进程数处理。

6.4.2.5. 常见问题

6.4.2.5.1. 如何对齐开源框架训练得到的ONNX原始浮点模型与使用 hb_mapper makertbin 工具得到的***_original_float_model.onnx的结果？¶

注解

原始浮点模型与转换得到ONNX浮点模型的差异由工具链产品保障，这种验证不是必须的标准流程。

1.明确两者的概念

首先明确两个模型的概念。

前者是指开发者使用开源框架（如：TensorFlow、PyTorch、MXNet等）训练出浮点模型后，转成ONNX格式的原始浮点模型。

而后者是指使用算法工具链浮点定点模型转换方案的 hb_mapper makertbin 工具， 或运行地平线模型转换示例包（即：horizon_model_convert_sample发布物）中03_classification/${modelname}/mapper/03_build.sh将前者 转换成*_original_float_model.onnx中间格式模型，其中的*代表的是具体模型名称（如：MobileNetv1或GoogleNet等）。

2.明确两者的差异

*_original_float_model.onnx模型计算精度与转换输入的原始浮点模型是一模一样的， 有个重要的变化就是为了适配地平线平台添加了一些数据预处理计算。 一般情况下，您不需要使用这个模型，在转换结果出现异常时，如果能把这个模型提供给地平线的技术支持，将有助于帮助您快速解决问题。

3.编写脚本对齐两者结果

注解

下面以地平线模型转换示例包（即：horizon_model_convert_sample发布物）中的googlenet模型为例进行说明。

开发者需要自行编写脚本对齐两者的结果。在编写脚本时，需要注意以下几点。

注意

开发者自编写脚本中的图片数据处理逻辑应当与工具链示例包各模型的mapper/preprocess.py图片数据预处理脚本中的逻辑一致， 以避免由图片数据预处理方法不一致造成的结果差异。 如遇模型示例包版本不同造成的代码逻辑差异，请参见您获取到的示例包版本的图片数据预处理脚本，或咨询地平线技术团队。 各预处理transformer方法参见以下代码块：

开发者可以参照以下代码块对齐图片数据预处理逻辑：

注意

如下图所示，googlenet_224x224_nv12_original_float_model.onnx模型比原始浮点onnx模型多了HzPreprocess算子用来实现 googlenet_config.yaml文件中的 data_mean_and_scale。

因此，开发者需要根据googlenet_config.yaml中的 mean_value 和 scale_value 参数实现数据归一化。 参见以下代码块：

注意

由于示例包中各模型 mapper/04_inference.sh 脚本默认执行的是定点模型推理，因此在验证浮点模型结果时， 需要将定点模型推理改为浮点模型推理。执行命令 sh 04_inference.sh origin 即可执行浮点模型推理。 代码逻辑可能由于发布物版本不同略有差异，可参见 03_classification/02_googlenet/mapper/04_inference.sh 脚本中的注释内容。

实现上述步骤后即可对齐原始浮点模型与googlenet_224x224_nv12_original_float_model.onnx模型的结果了。

6.4.2.5.2. 复现的精度为什么与文档中提供的指标有细微差异？¶

出现此种现象的原因可能有以下两点：

1. 在不同的服务器环境下，计算方式上可能会有细小的区别，就会导致不同的服务器环境中编译出来的定点onnx模型的精度与文档的记录值有细微数据波动。

2. 用户侧使用的第三方库如 opencv、numpy等库的版本不同，导致图片经过前处理后的得到的结果不同，这种情况也会导致精度复现时与文档中的记录值有细微数据波动。

出现这种情况，您可以不用过于担心，文档中提供的记录指标仅作为参考，您在复现时的精度与文档中的记录值有细微差异是正常现象，可以正常跑通精度即可。

6.4.2.5.3. 定点模型精度为何与ai_benchmark示例中的bin文件上板精度无法对齐？

在标准交付中，我们在添加示例的时候，定点模型精度和ai_benchmark示例中的bin文件上板精度是已经做了对齐处理的。

如果您发现定点模型精度与ai_benchmark示例中的bin文件上板精度无法对齐的情况，建议您优先检查模型输入是否一致。 由于执行定点模型评估脚本时，使用到的是图片类型的数据集；而上板使用到的 bin 模型，需要使用hb_eval_preprocess工具转换后的二进制数据集。 基于此点，如果您在上板时使用的数据集并非通过上述方式生成的, 我们建议您先在运行定点模型的精度的相同服务器上， 使用我们的数据预处理工具（即hb_eval_preprocess工具）重新生成上板需要的数据集，重跑上板精度，以保证模型输入一致。

注意

注意，在使用hb_eval_preprocess工具生成数据集和运行定点模型精度时，两者使用的环境需要保证一致。