专栏算法工具链板端推理.hbm模型时卡死

板端推理.hbm模型时卡死

已解决
XR2024-11-28
105
18

您好，我在PC端可以成功check我的模型，也能成功转为.hbm模型，但是移植到板端使用hrt_exec工具时，界面卡在Load model to DDR cost 422.993ms.不动，请问是什么原因。

附件在百度云：链接: https://pan.baidu.com/s/1enkrbPn-pnN-q3YDoEAysA 提取码: 6mn5

算法工具链
征程6
评论4
0/1000
  • XR
    Lv.1

    我发现我这里的输入是[6,3,480,800],如果输入是[1,3,480,800]就可以得到结果，请问是batchsize不能大于1吗？如果是的话那bevformer的6张图是怎么输入的？

    2024-11-28
    0
    11
    • kotei左文亮回复XR:

      你的yaml文件是如何配置的啊？

      2024-11-28
      0
    • XR回复kotei左文亮:
      我的目的是，测试bevformer backbone部分的时长，其实也就是输入为[6,3,480,800]的resnet50的推理时间，因此发现batchsize问题后我仿照bevformer的config将resnet50的config中的compile_cfg修改为如下形式：
      compile_cfg = dict( march=march, name=task_name, hbm=os.path.join(compile_dir, "model.hbm"), layer_details=True, input_source=["pyramid"], opt="O2", split_dim=dict( inputs={ "0": [0, 6], } ))
      通过命令python3 tools/compile_perf_hbir.py --config configs/classification/resnet50_imagenet.py --out-dir ./ --opt 2得到model.hbm

      在板端测出的结果是3ms即可跑完，明显不合理。
      2024-11-28
      0
    • kotei左文亮回复XR:

      那何不单独测试resnet50的时长啊？我现在复现，在22版本上check你的模型，也没啥问题，能上传你模型转化的文件夹吗？ 包括yaml文件 和校准的；或者您在板端重启几次试一下。

      2024-11-28
      0
    • XR回复kotei左文亮:
      单独测试resnet50输入是[1,3,224,224]，这里面的resnet50输入是[6,3,480,800]，因此我只对resnet50更改了输入，文件放百度网盘了。
      链接: https://pan.baidu.com/s/1OYIwRZnB6UbOSBgyAy2RNg 提取码: xe3n
      2024-11-28
      0
    • kotei左文亮回复XR:

      收到，

      2024-11-28
      0
    • kotei左文亮回复XR:

      这是qat生成的模型吗？

      2024-11-29
      0
    • XR回复kotei左文亮:

      您说哪个？

      2024-11-29
      0
    • kotei左文亮回复XR:

      后面发的网盘里的

      2024-11-29
      0
    • XR回复kotei左文亮:

      对的，qat模型是从文档中给的地址里面下下来的，只有在编译的时候更改了输入

      2024-11-29
      0
    • kotei左文亮回复XR:

      板端的系统是什么时候的啊？ 是不是和OE包同步的

      2024-12-02
      0
    • XR回复kotei左文亮:

      同步的

      2024-12-05
      0
  • kotei左文亮
    Lv.3

    这是哪个版本的docker啊？

    2024-11-28
    0
    2
    • XR回复kotei左文亮:

      3.0.17

      2024-11-28
      0
    • kotei左文亮回复XR:

      建议获取3.0.22版本试一下，这个版本修复了不少BUG

      2024-11-28
      0
  • DR_KAN
    Lv.4

    多batch的时候不支持nv12输入，可以检查下是不是这个原因

    2024-11-28
    0
    1
    • XR回复DR_KAN:

      您好我已经检查过了，下面评论中也说过了，我发现了多batch的时候不支持nv12输入，因此我仿照BEVFORMER已经将batchsize改为了1，现在的问题是推理出的结果不对，输入六张图片的resnet50仅仅耗时5ms

      2024-11-28
      0
  • kotei左文亮
    Lv.3

    由于您长时间未回复，此问题就先关闭了，如有疑问可再发帖救助。

    2024-12-04
    0
    0