专栏算法工具链PTQ量化，如何在量化时设置所有激活节点不进行量化

PTQ量化，如何在量化时设置所有激活节点不进行量化

已解决
李先生2025-10-28
63
10
PTQ量化，激活节点量化引入了大量的量化累积误差，而权重节点量化对模型精度无负面影响，如何在量化时设置不对所有激活节点进行量化？量化敏感度
算法工具链
技术深度解析征程6
评论3
0/1000
  • Vincent
    Lv.4

    你好，PTQ里面有quant_config配置，可以指定需要量化的结点。你可以参考下。在OE包的hb_compile小节下面。

    2025-10-28
    0
    6
    • 李先生回复Vincent:

      有没有什么方法可以批量设置，每个avtivation节点都设置一下，好像json的list有点儿太长了

      2025-10-28
      0
    • Vincent回复李先生:

      quant_config里面也可以按照子图配置，输入起始位置节点。

      2025-10-28
      0
    • Vincent回复李先生:
      2025-10-28
      0
    • Vincent回复李先生:

      里面可以按子图，按节点类型，按节点，均可以配置。

      2025-10-28
      0
    • 李先生回复Vincent:

      "model_config": { "all_node_type": "float16", "model_output_type": "int8", "activation": { "calibration_type": ["max", "kl"], "max_percentile": 1.0, "per_channel": false, "asymmetric": false }, "weight": { "bias_correction": { "num_sample": 1, "metric": "mse" } } 是这样配置么？

      2025-10-28
      0
    • 李先生回复Vincent:

      我这边oe版本是horizon_j6_open_explorer_v3.0.31，好像没有这个参数配置

      2025-10-28
      0
  • Vincent
    Lv.4

    把不需要量化节点的精度设置成FP32

    2025-10-28
    0
    1
    • 浮浮浮回复Vincent:

      "activation": { "calibration_type": []}可以禁用激活量化吗？

      2025-10-28
      0
  • Jade-self
    Lv.5

    是的，OE3.0.31还没有这个配置，可以从：https://oe.horizon.auto/这儿获取最新的OE3.5.0的工具链

    2025-10-29
    0
    0