专栏算法工具链J6E模型量化过程,calibration精度低

J6E模型量化过程,calibration精度低

已解决
满头小问号2025-02-08
61
4
1. 芯片型号：J6E

2. 板卡类型：X86环境

3. 天工开物开发包 OpenExplorer 版本：v3.0.22

4. 问题定位：模型QAT量化

5. 问题具体描述：


您好 使用该开发包在进行occ模型量化的过程中,


float的miou为35(模型正常收敛),


calibration 10 step后,miou只有2.


这种情况是不是异常的?如果存在问题的话 有什么建议的方向可以排查吗?

算法工具链
征程6
评论1
0/1000
  • Huanghui
    Lv.5
    你好，浮点模型执行calibration校准后精度下降这个是正常现象，不是问题。
    calibration校准会在模型中插入 Observer以及伪量化节点。对于部分模型，仅通过 Calibration 便可使精度达到要求（虽然精度没有浮点的好，到损失不大），不必进行比较耗时的量化感知训练。但是如果calibration校准后精度无法满足要求，calibration也可降低后续量化感知训练的难度，缩短后面量化训练时间，提升最终的训练精度。
    2025-02-08
    0
    3
    • 满头小问号回复Huanghui:

      您好, 下降这麽明显也是正常的哈? 那现在这种情况calibration下降的精度过于多,qat训练是否需要更多的epoch呢?学习率方面也不能仅仅微调了吧? 量化训练就是一个全新的过程了吗? 感谢您的解答.

      2025-02-08
      0
    • Huanghui回复满头小问号:

      1. 确保你的校准数据和你的评估数据集相差不大，不要使用一些极端的数据进行校准，然后使用正常的业务数据进行评估。把评估数据集作为校准数据集再试试呢。


      2. 不进行校准，直接qat训练呢，模型精度的收敛情况如何，可以尝试一下，排除一下 calibration 流程存在问题。
      3. QAT工程如果可以分享我们一下呢，我们也复现一下看看~同时进行更多的问题排查尝试
      2025-02-08
      0
    • 满头小问号回复Huanghui:
      好的好的
      非常感谢
      2025-02-08
      0