专栏算法工具链hb_perf测试的模型静态性能和hrt_model_exec测试的实际性能不一致

hb_perf测试的模型静态性能和hrt_model_exec测试的实际性能不一致

已解决
when2023-04-23
83
2

用户您好,请详细描述您所遇到的问题:

  1. 系统软件版本:x3_ubuntu_v1.1.5

  2. 问题涉及的技术领域: 推理性能测试

  3. 问题描述:在测试模型推理速度的时候发现,将PC端使用hb_perf工具测试的推理速度和在板上使用hrt_model_exec工具测试的性能进行对比,发现mobilenetv2、resnet18等分类模型基本一致,但是nanodet-m-1.5x-416、unet和deeplabv3+等检测、分割模型相差一倍。测试过程中,已经对X3派关闭CPU降频。希望能了解一下推理速度不一致的原因,以及如何提高板上的模型推理性能,使其接近静态性能的理论结果。下面是测试数据,测试的三个模型在附件中:

    1. nanodet-m-1.5x-416在PC端hb_perf测试推理时间为19.01ms,在X3板上hrt_model_exec测试结果为46.89ms

    2. unet在PC端hb_perf测试推理时间为15.38ms,在X3板上hrt_model_exec测试结果为32.35ms

    3. deeplabv3+在PC端hb_perf测试推理时间为50.32ms,在X3板上hrt_model_exec测试结果为120.36ms

  4. 复现概率:可根据模型直接复现

  5. 提供必要的问题日志: 测试指令大致为hb_perf nanodet-m-1.5x.bin和hrt_model_exec --model_file nanodet-m-1.5x.bin,模型core_num设置为2,无其他参数

  6. 软件上是否有做自定义修改:无

附件:
算法工具链
评论2
0/1000
  • 颜值即正义
    Lv.2

    你好,关于你的问题,可以看一下这个帖子中的情况哈:https://developer.horizon.ai/forumDetail/146176819622746212

    如下图:

    2023-04-23
    0
    0
  • 颜值即正义
    Lv.2
    2023-04-24
    0
    0