专栏算法工具链QAT量化配置对象

QAT量化配置对象

已解决
默认328322024-08-19
55
7

J5 J5_OE_1.1.74

1、在算法工具链示例当中为什么只对classifier使用了

为什么features这个模块没有使用？

2、用这个配置对象有什么意义？

算法工具链
技术深度解析征程5
评论3
0/1000
  • DR_KAN
    Lv.4

    1、default_calib_8bit_weight_32bit_out_fake_quant_qconfig 只是为了配置最后一个卷积以int32输出，不适合模型中间的算子（也就是features）

    2、这个问题可以简化为为模型配置qconfig的意义，这个就类似于使用PTQ的时候给模型配置校准策略，校准参数，int8/int16量化精度，量化参数等等，只不过PTQ使用的是yaml文件，而QAT使用的是qconfig相关的接口和参数。

    2024-08-19
    0
    3
    • 默认32832回复DR_KAN:

      谢谢你的解答！

      1、请问我们的算法该如何配置最后一个卷积以int32输出呢（能详细说一下配置流程吗）？


      2024-08-19
      0
    • DR_KAN回复默认32832:
      2024-08-20
      1
    • momo（社区版）回复DR_KAN:

      膜拜大佬

      2024-08-20
      0
  • 默认16640
    Lv.1
    算法工具链示例的含义是除了“classifier”模块使用了default_calib_8bit_weight_32bit_out_fake_quant_qconfig之外，其他都是default_calib_8bit_fake_quant_qconfig，目的是获得更高的输出精度，具体可参考地平线开发者社区 (horizon.cc)
    2024-08-19
    0
    1
    • 遥看瀑布挂前川回复默认16640:

      因为目前只支持对尾部的输出conv做int32量化。中间层都不支持。所以为了保障精度都建议尾部conv输出且开启高精度输出。

      2024-08-19
      1
  • Huanghui
    Lv.5

    客户您好，长时间未收到你的答复，相信问题已解。如对此尚存疑问欢迎新帖讨论，感谢您的参与！

    2024-09-04
    0
    0