PTQ 模型推理报错

已解决

老超20242024-09-25

181

问题如下，感谢解答 ~Thanks♪(･ω･)ﾉ

1. 芯片型号：J6E

2. 天工开物开发包 OpenExplorer 版本：V3.0.17

3. 问题定位：模型推理

4. 问题具体描述：

PTQ 量化转换得到的 hbm模型存在多输入多输出（7个输入，6个输出）

7个输入依次为input.1_y、input.1_uv、 projection_mat、cached_anchor、cached_feature、cached_confidence、mask；

6个输出分别为classification、prediction、quality、cached_anchor、cached_feature、cached_confidence。

已使用hrt_model_exec验证hbm模型可以正常推理。

当前为验证算法跑通，前两个输入input.1_y和input.1_uv由6张图片转nv12生成，其它五个输入按照维度及数据类型给的随机值。

在执行命令：sh ./samples/ucp_tutorial/dnn/sparse4D/runtime/script_x86/00_quick_start/run_sparse4d.sh后报如下错误：

附件:

code_model_data.zip

算法工具链

征程6

0/1000

kotei左文亮
Lv.3
问题已经收到，请问一下这个网络模型是自己训练的还是样例自带的啊？
2024-09-25
0
10
- 老超2024回复kotei左文亮:
  自己训练的
  
  2024-09-25
  0
  回复
- kotei左文亮回复老超2024:
  有没有参考runtime推理代码，在板端实际推理啊？
  2024-09-25
  0
  回复
- 老超2024回复kotei左文亮:
  参考了runtime推理代码，当前是在x86环境下编译和推理的。
  
  2024-09-25
  0
  回复
- 老超2024回复kotei左文亮:
  不好意思，纠正一下：使用的网络模型时OE包中样例自带的，在X86环境下编译和推理的。
  
  2024-09-26
  0
  回复
- kotei左文亮回复老超2024:
  做了哪些改动啊？模型和代码的，能不能上传一下
  2024-10-08
  0
  回复
- 老超2024回复kotei左文亮:
  改动主要是基于OE包中的示例代码samples/ucp_tutorial/dnn/basic_samples/code/00_quick_start/src/main.cc文件，该文件针对Sparse4D模型的输入做了修改。
  由于该hbm模型有7个输入，当前为验证算法跑通，前两个输入input.1_y和input.1_uv由6张图片转nv12生成，其它五个输入按照维度及数据类型给的随机值。
  具体修改可参考附件zip包中的main.cc文件。
  
  2024-10-08
  0
  回复
- Huanghui回复老超2024:
  你好，从你的描述中“已使用hrt_model_exec验证hbm模型可以正常推理。”，我想了解一下：
  目前自己代码的报错是在X86仿真环境下产生，执行hrt_model_exec可以正常推理时也是x86仿真环境吗？
  使用hrt_model_exec验证hbm模型可以正常推理，那么请分享你执行的推理命令可以吗？
  hrt_model_exec的源代码就存在与OE包中，如果使用hrt_model_exec验证hbm模型可以正常推理，内部的处理逻辑是可以查看并与自己代码的处理过程进行对比的。
  2024-10-08
  0
  回复
- 老超2024回复Huanghui:
  执行hrt_model_exec推理也是在X86仿真环境。
  执行命令如下：
  执行以上命令时，程序运行12小时以上未结束也未报错。
  将frame_count置为3后，输出以下结果：
  2024-10-08
  0
  回复
- Pipeline回复老超2024:
  检查一下cpu算子，太多会导致推理失败
  2024-10-08
  0
  回复
- 老超2024回复Pipeline:
  感谢您的回复，
  当前模型量化及推理均是在x86环境中操作的，应该没有BPU算子，使用的都是CPU算子吧。
  上图中使用hrt_model_exec工具做推理时，将frame_count置为3后，虽然耗时较长，但也能顺利执行并输出结果。
  2024-10-08
  2
  回复