PTQ QuantAnalysis export mode问题

解答中

默认251842026-01-16

QuantAnalysis的analysis_model_type支持4种输入，如下：

fake_quant：待分析的模型可以是精度掉点的 calibration 模型，此时基准模型可以是原始浮点模型或者一个精度达标的 int8/int16 混合配置的 calibration 模型。
pre_export：待分析的模型是查表转定点的伪量化模型，基准模型是对应的原始伪量化模型。
export：待分析的模型是伪量化 hbir 模型，基准模型是对应的查表转定点的伪量化模型。
convert：待分析的模型是定点 hbir 模型，基准模型是对应的查表转定点的伪量化模型。

PTQ的话通常是float校准得到calibration转换到qat.bc再定点化得到quantized.bc了。

想问下export阶段支持calibration原始伪量化模型和qat.bc伪量化模型之间的敏感度分析对比吗？？

算法工具链

征程6

0/1000

YCJ
Lv.4
你好，你提到的“calibration原始伪量化模型”是指的prepare后产出的未校准过的模型吗？如果是就不用对比了，未校准过的模型肯定有问题。
2026-01-19
0
4
- 默认25184回复YCJ:
  你好，我理解calibration原始伪量化模型就是经过校准的，需要float2calibration实施定点化，所以称为伪量化模型？
  2026-01-20
  0
  回复
- YCJ回复默认25184:
  QuantAnalysis 在这里提到的 calibration原始伪量化模型是经过 calibration 后的模型，你的理解是对的，不过这里没有定点化，它是先量化再反量化的，所以称为伪量化模型。至于你提到的“ 想问下export阶段支持calibration原始伪量化模型和qat.bc伪量化模型之间的敏感度分析对比吗？？ ”，这里是不支持的。这两个模型的形态不一样，一个是pt模型，一个是bc模型，推理接口不一致，没办法进行推理比较。
  2026-01-20
  0
  回复
- 默认25184回复YCJ:
  了解了。顺便再请教下，那为什么pre_export阶段可以对待分析的模型是查表转定点的伪量化模型，基准模型是对应的原始伪量化模型进行量化敏感度分析呢？
  我理解查表转定点的伪量化模型也是bc模型？原始伪量化模型是pt模型。推理接口应该也是不一致的吧？
  2026-01-26
  0
  回复
- YCJ回复默认25184:
  其实我想表达的意思是，QuantAnalysis这个工具的初衷是为了定位到精度下降的阶段。calibration模型和 qat.bc 模型之间还存在一个查表转定点的伪量化模型。你直接对比 calibration和 qat.bc 其实没有意义，你可以跑，但是结果无法定位问题，无法确定是 calibration 到查表转定点的损失，还是查表转定点到qat.bc的损失
  2026-01-26
  0
  回复