专栏算法工具链基于sparse4d进行ptq量化报错

基于sparse4d进行ptq量化报错

已解决
浮浮浮2025-10-20
71
14

oe版本:3.0.31

执行:ptq量化时报错

hb_compile--config/private/oe_code/horizon_j6_open_explorer_v3.0.31- py310_20241231/samples/ai_toolchain/horizon_model_train_sample/scripts/hb_compile_fast-perf/full_compile_config.yaml

 报错信息如下:

2025-10-1502:34:16,208 ERROR Model inference failed,check if the model matches the given input!

 2025-10-1502:34:16,210 ERROR *** ERROR-OCCUR-DURING hmct.api.build_model***,error message: onnx model inferencefailed even if batch_size==1 

 

其中,npy校准数据的维度和onnx提示的一样, yaml配置的onnx输入 如下维度: 

input_name: input.1;onnx::Reshape_1;onnx::Clip_2;onnx::Slice_3

input_shape: 6x3x256x704;6x4x4;1x384x11;1x384x256

已用hb_compile --fast-perf --model xxx.onnx --march nash-m做快速模型验证,能正常输出hbm模型。

请问大佬这个校准文件报错问题出在哪里,如何解决。

 

相关包已上传nas: 已上传nas:https://nas.tztek.com:5021/sharing/h8NPZ4Azf 

 

 

几点小疑问:

1.sparse 4d做ptq转换时,onnx的4个输入分别为(6,3,256,704),(6,4,4),(1,384,11),(1,384,256),fast-perf没问题,传统模式编译时,报batch_size错误,是否需要处理模型输入维度,比如统一改为batch_size=1

2.上述网络在做ptq转换时,是否有精度损失,损失能否控制在2%以内

 

算法工具链
征程6
评论3
0/1000
  • Vincent
    Lv.4
    你好,那个input要一致,与onnx的input。
    2025-10-21
    1
    2
    • Vincent回复Vincent:

      这里float32

      2025-10-21
      1
    • 浮浮浮回复Vincent:
      1016那个模型,当前还是报错。如果做ptq量化编译,想利用配置文件ymal里面的图像预处理,一帧图像有6个视角,这样会报错。模型输入多张图像是否不能使用ptq编译时的图像预处理。
      2025-10-28
      0
  • 浮浮浮
    Lv.1

    不小心点了结帖https://developer.horizon.auto/forum/13139,还有一些疑问需要请教。

    2025-10-20
    0
    9
    • Vincent回复浮浮浮:

      你好 ,1070那个模型

      2025-10-21
      0
    • Vincent回复浮浮浮:

      配置是这样的我加了 input_layout_train: 'NCHW;NCHW;NCHW;NCHW;NCHW;NCHW'

      2025-10-21
      0
    • Vincent回复浮浮浮:

      jobs调成了8

      2025-10-21
      0
    • Vincent回复浮浮浮:
      这里你导出工具export_onnx是用的地平线的吗,还是toorch导出onnx官方导出工具,最好是用torch导出来,torch.export.onnx这个工具。我怕里面有一些细微差距导致导出来的onnx模型有差距从而导致量化失败
      2025-10-21
      0
    • 浮浮浮回复Vincent:
      这个是1016的包中的,用地平线的py文件导出的,您这边根据qat-checkpoint-best.pth导出的onnx吗?能否分享一下脚本文件。对应的yaml文件内容需要有哪些修改啊。
      2025-10-21
      0
    • Vincent回复浮浮浮:

      没有 1016的onnx模型您那边没有用torch导出来的原始onnx模型吗

      2025-10-21
      0
    • Vincent回复浮浮浮:

      你1017那个模型测试了吗怎么样还能编译成功吗 加上改动的这些配置

      2025-10-21
      0
    • 浮浮浮回复Vincent:

      暂时还没有使用 torch导出来 ,导出来我就发到这里。

      2025-10-21
      0
    • 浮浮浮回复Vincent:

      已经在尝试了

      2025-10-21
      0
  • Huanghui
    Lv.5

    你好,长时间未收到您的回复,相信问题已经解决,欢迎再次提问

    2025-10-24
    0
    0