用户您好,请详细描述您所遇到的问题:
系统软件版本:x3_ubuntu_v1.1.5
问题涉及的技术领域: 推理性能测试
问题描述:在测试模型推理速度的时候发现,将PC端使用hb_perf工具测试的推理速度和在板上使用hrt_model_exec工具测试的性能进行对比,发现mobilenetv2、resnet18等分类模型基本一致,但是nanodet-m-1.5x-416、unet和deeplabv3+等检测、分割模型相差一倍。测试过程中,已经对X3派关闭CPU降频。希望能了解一下推理速度不一致的原因,以及如何提高板上的模型推理性能,使其接近静态性能的理论结果。下面是测试数据,测试的三个模型在附件中:
nanodet-m-1.5x-416在PC端hb_perf测试推理时间为19.01ms,在X3板上hrt_model_exec测试结果为46.89ms
unet在PC端hb_perf测试推理时间为15.38ms,在X3板上hrt_model_exec测试结果为32.35ms
deeplabv3+在PC端hb_perf测试推理时间为50.32ms,在X3板上hrt_model_exec测试结果为120.36ms
复现概率:可根据模型直接复现
提供必要的问题日志: 测试指令大致为hb_perf nanodet-m-1.5x.bin和hrt_model_exec --model_file nanodet-m-1.5x.bin,模型core_num设置为2,无其他参数
软件上是否有做自定义修改:无

