专栏算法工具链QAT量化函数

QAT量化函数

已解决
默认328322024-08-19
30
6

J5 J5_OE_1.1.74

1、在算法工具链文档的示例当中以下这四个配置对象的作用可以详细解释一下吗？（每一个配置对象的适用范围？每一个配置对象的区别？每一个有什么优缺点？）

2、在我们自己的算法里面也是只能使用这四个配置对象吗？（有没有其他精度的配置对象，例如16bit）

算法工具链
技术深度解析征程5
+1
评论4
0/1000
  • momo（社区版）
    Lv.4

    1. 这里定义好的4个qconfig的适用范围主要是：calibration和qat分别对应于calibration和qat阶段使用，default_calib_8bit_fake_quant_qconfig是将模型配置成int8量化，default_calib_8bit_weight_32bit_out_fake_quant_qconfig是将模型尾部的conv或者linear算子配置成int32输出；

    2. 楼上大佬提供的手册上也提供了其他配置，比如int16量化的config:

    2024-08-19
    0
    2
    • 默认32832回复momo（社区版）:

      谢谢你的解答！

      1、请问default_calib_8bit_weight_32bit_out_fake_quant_qconfig是将模型尾部的conv或者linear算子配置成int32输出，请问这个模型尾部指的是整个模型的最后一个模块吗？（算法工具链里面给的示例最后一个模块是classifier）

      2、请问模型的其他模块的尾部是conv或者linear算子可以指定那个模块使用default_calib_8bit_weight_32bit_out_fake_quant_qconfig吗？


      2024-08-19
      0
    • gaoh回复默认32832:

      default_calib_8bit_weight_32bit_out_fake_quant_qconfig仅可对模型输出模块的输出conv/linear节点配置生效

      2024-08-20
      0
  • Pipeline
    Lv.2
    2024-08-19
    0
    0
  • Jade-self
    Lv.5

    欢迎参考这篇文章0基础学习地平线QAT量化感知训练>：https://developer.horizon.auto/developerForum?fullPath=/home/community/bbsdetail?bid=173442425216488451

    2024-08-20
    0
    0
  • Huanghui
    Lv.5

    客户您好，长时间未收到你的答复，相信问题已解。如对此尚存疑问欢迎新帖讨论，感谢您的参与！

    2024-09-04
    0
    0