专栏算法工具链Bev_mt_ipm_temporal的QAT以及PTQ速度差异问题

Bev_mt_ipm_temporal的QAT以及PTQ速度差异问题

Vegeta2023-09-11
53
2

在QAT示例中，直接下载如下四个pth模型：

在docker中运行export_onnx脚本，根据代码所示，转换的应该是qat-checkpoint这个pth模型

至此，得到了一个onnx模型，结构如下

按照标准PTQ流程转换为bin模型，与qat/runtime中的hbm模型同时发送至板端，使用hrt_model_exec对两个模型进行动态评估，结果如下：

可以看到，QAT与PTQ模型得到的性能差异巨大

由于可以确认QAT及PTQ使用的pth模型没有差异，请问造成性能差异的原因在哪里呢

难道是QAT中的compile工具和PTQ中的maker_bin工具中的编译选项之类的有区别么？？

算法工具链
评论1
0/1000
  • 颜值即正义
    Lv.2
    您好，hbm模型是全BPU模型，而bin模型中含有量化/反量化CPU算子，请使用hb_model_modifier model.bin -a Dequantize -a Quantize把bin模型输入/输出端的量化/反量化节点删除后再在板端做性能评测
    2023-09-11
    0
    1
    • 颜值即正义回复颜值即正义:

      另外，PTQ链路中的hb_mapper makertbin工具包含了图优化，这是QAT中不具备的，所以可能会存在小幅的性能差异

      2023-09-11
      0