专栏算法工具链QAT进行浮点后执行calibration训练校准后精度下降

QAT进行浮点后执行calibration训练校准后精度下降

已解决
老超20242024-11-01
61
3

您好~Thanks♪(･ω･)ﾉ

1. 芯片型号：J6E

2. 板卡类型：X86环境

3. 天工开物开发包 OpenExplorer 版本：v3.0.22

4. 问题定位：模型QAT量化

5. 问题具体描述：

使用全量nusenes数据对模型进行float训练完成后，进行Calibration训练校准，精度下降。具体log请见附件。

附件:
算法工具链
征程6
评论2
0/1000
  • Huanghui
    Lv.5
    你好，执行calibration校准后精度下降这个是正常现象，不是问题哈。calibration校准会在模型中插入 Observer 的方式以及伪量化节点。对于部分模型，仅通过 Calibration 便可使精度达到要求（虽然精度没有浮点的好，到损失不大），不必进行比较耗时的量化感知训练。但是如果calibration校准后精度无法满足要求，calibration也可降低后续量化感知训练的难度，缩短后面量化训练时间，提升最终的训练精度。
    2024-11-04
    0
    1
    • 老超2024回复Huanghui:

      好的，感谢！

      2024-11-04
      0
  • Huanghui
    Lv.5

    收到，分析一下给你答复！

    2024-11-01
    0
    0