专栏算法工具链J6 HB_verify工具问题

J6 HB_verify工具问题

已解决
默认696002025-11-25
66
10
问题描述:目前使用hb_compile工具以及成功量化编译模型,在使用Hb_verify工具时, optimized_float_model.onnx 和 calibrated_model.onnx 的余弦相似度校验是正常的,但是 optimized_float_model.onnx 和 quantized_model.bc 进行余弦相似度对比时,出现大量XXX和XXX has different shapes,skip the tensor calculation 的信息,算子间的维度看起来像是被转置了,请问这种情况是正常的吗 
算法工具链
征程6
评论2
0/1000
  • Vincent
    Lv.4

    你好 ,能分享下这两个 进行一致性 验证的 模型吗?

    2025-11-26
    0
    0
  • Vincent
    Lv.4

    以及原始的onnx模型

    2025-11-26
    0
    8
    • Vincent回复Vincent:

      另外可以的话,把config.yaml文件也分享下 ,看下你的输入配置

      2025-11-26
      0
    • 默认69600回复Vincent:

      通过网盘分享的文件:1112.zip 链接: https://pan.baidu.com/s/15faAY6O7yaTWrIkhxetXwg 提取码: 1111你好这是相关文件

      2025-11-26
      0
    • 默认69600回复Vincent:

      在hb_compile 是用的fast-perf模式编译的,hb_verify时用的输入是对应的npy校准文件

      2025-11-26
      0
    • Vincent回复默认69600:

      收到

      2025-11-26
      0
    • Vincent回复默认69600:

      我在复现一下重新编译,你可以看下日志里面的的余弦相似度是否一致,另外这个问题可能是 因为加了transpose结点,导致tensor转置了

      2025-11-26
      0
    • 默认69600回复Vincent:

      我对两个verify日志中部分算子的余弦相似度进行了抽查,发现基本相同,相似度差异一般在小数点3位数之后

      2025-11-26
      0
    • Vincent回复默认69600:

      那应该就是因为bc中有转置结点没有移除导致的 只要最后精度对上就可以

      2025-11-27
      0
    • 默认69600回复Vincent:

      好的,感谢

      2025-11-28
      0