专栏算法工具链J3使用单线程推理耗时长,使用多线程推理失败。

J3使用单线程推理耗时长,使用多线程推理失败。

已解决
chenrui2023-03-07
86
3
使用hrt_model_execperf工具,分别用默认单线程和多线程进行推理,结果如下图。J3使用单线程推理耗时长,使用多线程推理失败。
教程中提到的通过profile_path控制产生的node_profiler.log文件记录了更加丰富的信息,未找到该log文件。

Running condition:

Thread number is: 1

Frame count is: 24

Program run time: 61601.4 ms

Perf result:

Frame totally latency is: 61589.9 ms

Average latency is: 2566.24 ms

Frame rate is: 0.389602 FPS

希望能提供解决方案。

附件:
算法工具链
征程3
评论2
0/1000
  • 颜值即正义
    Lv.2

    您好,目前根据报错信息可以看出这个模型本身应该不小,加载会消耗大量的内存。在多线程推理时,每个线程都需要为该任务准备足够的内存,导致内存不够报错。单线程能推理成功的话,应该是可以产生profile.log文件的,需要在命令行加上 --profile_path "." 此外,模型编译时可以在yaml中配置debug=True,使用hb_perf在x86端对bin模型做静态性能测试,可以在生成的html中看到所有节点的推理耗时。

    2023-03-08
    2
    1
    • chenrui回复颜值即正义:

      感谢,我去试试

      2023-03-08
      0
  • 颜值即正义
    Lv.2
    2023-04-24
    0
    0