专栏算法工具链QAT量化（改造浮点模型）

QAT量化（改造浮点模型）

已解决
默认328322024-08-22
81
6

J5 J5_OE_1.1.74

1、请问在QAT量化的第一步当中，对浮点模型进行改造，在模型输入前插入 QuantStub，在模型输出后插入 DequantStub的作用是什么？
2、可以不在模型里面插入QuantStub和DequantStub吗？

算法工具链
技术深度解析征程5
评论2
0/1000
  • Pipeline
    Lv.2
    2024-08-22
    0
    4
    • 默认32832回复Pipeline:

      1、请问对输入做量化不是改变了输入模型的数据吗？

      2、请问对输入做量化的作用是什么呢？

      2024-08-23
      0
    • 遥看瀑布挂前川回复默认32832:

      量化就是将长字节的使用短字节表示。将fp32使用int8表示，这个转换过程就是量化。

      芯片目前只支持int类型推理，所以需要对浮点op插入量化节点。

      2024-08-23
      0
    • 默认32832回复遥看瀑布挂前川:
      1、请问在模型里面插入QuantStub，在模型输出后插入 DequantStub的作用是量化输入模型的数据吗？

      2、量化了输入数据，当输入数据未被量化时最后生成的hbm模型文件还能进行推理吗？

      2024-08-25
      0
    • momo（社区版）回复默认32832:

      1. 输入端插入量化节点是为了把输入量化为int8,输出插入反量化，是为了把伪量化模型的输出反量化到浮点；另外插入量化反量化的位置也决定了你编译出来的hbm包含哪些结构；

      2. 输入未被量化的话你在prepare qat的时候就大概率会报错，自然也是编译不出来hbm的，而且J5里，hbm是纯定点模型

      2024-08-25
      0
  • Huanghui
    Lv.5

    客户您好，长时间未收到你的答复，相信问题已解。如对此尚存疑问欢迎新帖讨论，感谢您的参与！

    2024-09-03
    0
    0