专栏算法工具链使用HBRuntime推理xxx_ptq_model.onnx模型，提示算子不支持

使用HBRuntime推理xxx_ptq_model.onnx模型，提示算子不支持

ZQQ2026-03-11
37
10

芯片：J6B

使用horizon_j6_open_explorer_GPU_v3.7.0工具链转换模型后，进行模型指标对比时，HBRuntime接口加载中间产物模型ptq_model.onnx。无法推理，直接报错

报错信息如下：（最新的OE 包不支持中间产物推理吗)

算法工具链
技术深度解析征程6
评论1
0/1000
  • Huanghui
    Lv.5

    你好，这个模型时你自己编译过程中生成的，还是其他人的生成结果你拿来测试的，如果有不支持的算子，编译阶段就报错了呀，还是有，模型分享一下呢，却道确认一下HzIntFLT的来源

    2026-03-11
    0
    9
    • ZQQ回复Huanghui:

      我自己编译过程中生成的，整个编译过程正常，可以编译出bc/hbm文件,但是就是在calibated_model到ptq_model这一步会在模型中插入HzIntFLT算子，有时候是HzIntLUT算子

      2026-03-11
      0
    • ZQQ回复Huanghui:
      2026-03-11
      0
    • Huanghui回复ZQQ:
      HzIntLUT时查表算子，模型有些非线性的算子时通过LUT查表实现的，这个时正常的，但是HzIntFLT之前没注意过，所以才说你的模型时否可以分享一下；
      另外hbm都生成了，板端hrt_model_exec测试一下性能呢，看看测试过程是否有不支持算子报出！
      2026-03-11
      0
    • ZQQ回复Huanghui:
      2026-03-11
      0
    • ZQQ回复Huanghui:

      是原始的float onnx模型吗

      2026-03-11
      0
    • ZQQ回复Huanghui:
      2026-03-11
      0
    • Huanghui回复ZQQ:

      是的，就是原始onnx模型。还有一个考虑刚才忘了说：啥场景需要运行ptq模型呢，如果要debug使用的是calibraiton模型，验证量化的结果使用的quantized.bc，为啥要推理ptq模型呢

      2026-03-11
      0
    • ZQQ回复Huanghui:
      目前calibraiton模型会掉一点，quantized.bc模型指标和calibraiton模型指标不一样，所以我想看看确认下ptq和这二者之间的指标有没有差距
      2026-03-11
      0
    • ZQQ回复Huanghui:

      现在V3.7.0OE包里面的hrt_model_exec 工具不支持nash-b 架构的模型在x86上运行吗

      2026-03-11
      0