论坛算法工具链Yolov5模型量化后指标掉点比较明显

Yolov5模型量化后指标掉点比较明显

fataJtz2026-08-27
169
5
image.png

我把一个yolov5模型量化后,在仿真x86端以bc模型进行评估结果如图所示,尝试采用全int16指标有一定提升,但是同原onnx模型还有一定差距,想问一下是否正常。若不正常是量化过程有问题吗。

算法工具链
技术深度解析征程6
评论2
0/600
  • fataJtz
    Lv.1
    image.png
    又做了相关实验查看了int16量化及nv12输入的模型效果对比
    2026-08-28
    0
    0
  • 金属货机
    Lv.2

    从图中看bc编译本身没有引入额外精度损失,可以检查一下校准集和评测的数据集是否分布一致,是否覆盖了典型场景,校准时的预处理和评测是否一致。此外你也可以去通过hmct-debugger去对模型做量化敏感度分析,不必要设置全int16,按照量化敏感度去对敏感算子升到int16即可。

    2026-08-31
    0
    3
    • fataJtz回复金属货机:
      image.png
      image.png
      上面分别是int16原始onnx和calibrated_model.onnx的推理结果,想问一下出现类似这种偏移正常嘛;下图是hb_verifier的结果
      cosine_similarity_table.png
      2026-08-31
      0
    • 金属货机回复fataJtz:

      hb_verifier看起来余弦相似度基本都0.99往上了,可视化结果出现的少许偏差我认为是正常的,因为calibration本身会进行伪量化操作,这会引入一些误差

      2026-08-31
      0
    • fataJtz回复金属货机:

      好的,谢谢

      2026-08-31
      0