专栏算法工具链模型转换后float模型和quantized模型不能对齐结果

模型转换后float模型和quantized模型不能对齐结果

已解决
Chenyigang2023-05-12
31
5
1.芯片型号：X3派
2.天工开物开发包OpenExplorer版本：XJ3_OE_2.4.2
3.问题定位：模型转换、板端部署等

4.问题描述:模型转换后float模型和quantized模型预测结果相差很大。

链接: https://pan.baidu.com/s/1GPQJW8k6_zjznyG5eVVESQ 提取码: vm56

模型及脚本我放在了网盘里面，可以复现。目前不知道问题出在哪里

算法工具链
评论2
0/1000
  • 颜值即正义
    Lv.2
    收到，您这边也可以参考这篇社区文章进行检查和调优https://developer.horizon.ai/forumDetail/71036815603174578
    2023-05-12
    0
    3
    • 颜值即正义回复颜值即正义:

      1. 如果模型转换时yaml中已经配置了归一化操作，那么在model中会插入预处理节点，在推理时就不用再做归一化操作了；

      2. 同样的输入下，把original_float_model.onnx，optimized_float_model.onnx，quantized_model.onnx的输出结果进行对比，这里注意quantized_model的输入是NHWC的，我这边对比了一下，original_float_model.onnx和optimized_float_model.onnx的输出一致，optimized_float_model.onnx，quantized_model.onnx存在一定的量化损失，这个可以参考精度调优文档进行优化

      2023-05-12
      0
    • Chenyigang回复颜值即正义:

      我在做python端与板端一致性校验时候报了这个错误，请问是什么原因

      2023-05-15 11:37:59,531 ERROR The tool does not support the model of delete or add nodes

      2023-05-15
      0
    • 颜值即正义回复Chenyigang:
      您好，我这边使用hb_verfier工具验证您之前提供的quantized.onnx和.bin模型的一致性时未发现报错，请您使用工具时注意以下问题：

      2023-05-15
      0
  • 颜值即正义
    Lv.2
    2023-05-16
    0
    0