.bc模型和.hbm模型结果不一致

已解决

长城上贴瓷砖2024-12-26

请问PTQ生成的.bc模型和.hbm模型结果不一致是怎么回事呢？怎么分析呢？

如下图，是verifier得到的。且hbm推理很慢，一直在wait for fifo free，等了好久才出来。

算法工具链

征程6

0/1000

Huanghui
Lv.5
推理慢是正常的，量化模型的推理是通过仿真推理出来的，没有硬件加速的。这个跟一方面跟服务器的CPU有关，另外跟模型使用的算子也有关，仿真环境下 wait for fifo free这个是很正常的哈
2024-12-26
0
7
- 长城上贴瓷砖回复Huanghui:
  那.bc和.hbm结果不一致是咋回事啊？这种情况不常见吧？
  2024-12-26
  0
  回复
- Huanghui回复长城上贴瓷砖:
  我不知道你说的不一致是怎么观察出来的，理论上 convert的bc和.hbm 一致的哈，中间就是加了一层编译。
  2024-12-26
  0
  回复
- 长城上贴瓷砖回复Huanghui:
  这个hb_verifier测出来的呀，我附上了截图能看见吗？
  2024-12-26
  0
  回复
- Huanghui回复长城上贴瓷砖:
  看到！从结果判断，这个确实有问题。
  1. 分享一下你得到上述结果的验证命令我们看看，如果原始onnx模型文件可以分享的话，也分享一下模型。
  2. 你评估用的bc文件是_quantized_model.bc还是_quantized_removed_model.bc呢，换成 _quantized_removed_model.bc 和 hbm一起测试试试呢。
  2024-12-27
  0
  回复
- 长城上贴瓷砖回复Huanghui:
  我用的 _quantized_model.bc 。没生成 _quantized_removed_model.bc ，config里没去除掉什么算子，应该就不会生成把？
  2024-12-30
  0
  回复
- 长城上贴瓷砖回复Huanghui:
  模型稍晚一些
  2024-12-30
  0
  回复
- Huanghui回复长城上贴瓷砖:
  是的，如果没去除掉什么算子， _quantized_removed_model.bc是没有的，那就等你的模型吧。这个目前判断可能是个BUG，内部分析也需要模型作为输入
  2024-12-30
  0
  回复
DR_KAN
Lv.4
这个模型的输入是什么类型呢，rgb？nv12？featuremap？
2024-12-27
0
1
- 长城上贴瓷砖回复DR_KAN:
  featuremap
  2024-12-30
  0
  回复
Huanghui
Lv.5
客户您好，长时间未收到你的答复，相信问题已解。如对此尚存疑问欢迎新帖讨论，感谢您的参与！
2025-01-09
0
0