专栏算法工具链XJ3_OE_1.16.4 版本是否可以进行QAT训练？

XJ3_OE_1.16.4 版本是否可以进行QAT训练？

已解决
Zhaojin2025-04-10
56
7
1. 芯片型号:J3
2. 天工开物开发包OpenExplorer版本:例如J3_OE_1.16.4等
4. 问题定位:模型量化训练
5. 问题具体描述:
     1.  J3_OE_1.16.4 是否支持QAT训练？
     2.  QAT训练是否有指导手册或者示例教程？在配套的中文文档中感觉很简洁
     3.  QAT训练后得到的量化模型是.bin格式还是.hbm格式？如果是.hbm格式，那么板端整个推理代码是否通用？（仅需替换模型文件还是需要改动推理代码？）
算法工具链
征程3
评论4
0/1000
  • DR_KAN
    Lv.4

    可以的，参考ddk/samples/ai_toolchain/horizon_model_train_sample/plugin_basic的示例代码，主要还是参考手册的中文文档，最后得到的是hbm模型，hbm和bin可以使用相同的runtime api，但hbm模型不含反量化算子，需要在C++中把反量化计算补上，并且skip padding区域，这块代码可以参考ai benchmark的qat模型示例代码

    2025-04-10
    0
    2
    • Zhaojin回复DR_KAN:

      那意思是相对于bin模型的c++推理代码，我的 runtime代码无需改动，直接替换文件即可？然后在输出处理的时候把 反量化计算补上就可以了？

      2025-04-10
      0
    • DR_KAN回复Zhaojin:

      输出处理的时候把 反量化计算补上，是要改动runtime代码的

      2025-04-10
      0
  • Huanghui
    Lv.5

    你好，根据J3文档来看 ，是支持QAT训练的。

    2025-04-11
    0
    0
  • Huanghui
    Lv.5

    你看的是OE文档吗

    2025-04-11
    0
    0
  • Huanghui
    Lv.5
    2025-04-11
    0
    1
    • Zhaojin回复Huanghui:
      你好，看的是这个文档，可能我看的比较粗，觉得很多地方不明白，整个流程是比较清晰的，但比如许多参数的含义和作用，如何搭建自己的网络（毕竟示例的网络模型都是比较早期得了）都还比较懵xiaoku_org.svg
      2025-04-11
      0