模型编译后使用hb_model_info查看BC模型信息报错

已解决

老超20242024-10-18

123

您好~Thanks♪(･ω･)ﾉ

1. 芯片型号：J6E

2. 天工开物开发包 OpenExplorer 版本：V3.0.22

3. 问题定位：模型转换

4. 问题具体描述：PTQ量化后得到的模型，使用hb_model_info查看模型信息时存在以下报错。

注：量化编译前的模型是通过沿batch维度拆分后得到的bc模型。

拆分后得到的bc模型见附件中的sparse_256x704_nv12_ptq_model_split.bc

编译后得到的模型见附件中的sparse_256x704_nv12_quantized_removed_model.bc

附件:

sparse_256x704_nv12_.zip

算法工具链

征程6

0/1000

kotei左文亮
Lv.3
在docker里面量化编译，是没有问题的吧，有没有异常？
2024-10-18
0
4
- 老超2024回复kotei左文亮:
  您好，量化编译时没有出现异常信息。
  2024-10-18
  0
  回复
- Huanghui回复老超2024:
  重新核实过了，确实没啥问题。下面这个是编译过程日志，你自己看吧：batch_split_log.txt
  另外sparse_256x704_nv12_quantized_removed_model.bc可视化生成的sparse_256x704_nv12_quantized_split.onnx 以及最终的sparse_256x704_nv12.hbm也附加到这里，你可以有netron 和 hrt_model_exec自行查看:
  sparse_256x704_nv12_quantized_split.onnx, sparse_256x704_nv12.hbm
  2024-10-18
  0
  回复
- 老超2024回复Huanghui:
  感谢回复！查看您提供的编译过程日志发现存在以下问题没有对齐：
  针对编译输出的sparse_256x704_nv12.hbm模型，上述报错是通过执行命令： hb_model_info ./sparse_256x704_nv12.hbm报出的错误，而日志中提供的命令：hrt_model_exec model_info --model_file ./sparse_256x704_nv12.hbm未报错。我这边试了一下，hb_model_info 会报错而hrt_model_exec model_info不会，量化编译后的bc模型也是如此。
  另外还有一个问题请教一下：
  原模型沿batch维度拆分后由原来的4个输入现在变成了15个输入，在后面量化编译时，yaml文件中的为什么不需要配置成15个输入而保持为原来的4个输入进行量化编译？
  2024-10-18
  0
  回复
- Huanghui回复老超2024:
  收到，确实hb_model_info ./sparse_256x704_nv12.hbm 和hb_model_info sparse_256x704_nv12_quantized_removed_model.bc都有问题，应该是工具链有BUG，我们看看啥原因，稍后同步
  2024-10-18
  0
  回复
Huanghui
Lv.5
你好，执行hb_model_info ./sparse_256x704_nv12.hbm 和hb_model_info sparse_256x704_nv12_quantized_removed_model.bc时遇到错误的问题是因为工具链的一个BUG造成的，问题会在下一版本更新时修复，为了不影响您的使用，可通过一下方式临时改动代码：
docker内代码文件路径：/usr/local/lib/python3.10/dist-packages/horizon_tc_ui/hbir_handle.py
需要改动的代码为：
2024-10-18
1
0
Huanghui
Lv.5
收到，我复现一下给您答复！
2024-10-18
0
0