专栏算法工具链延时与帧率计算

延时与帧率计算

已解决
yy12342024-10-15
43
3

1. 芯片型号：J5 J6

2. 问题定位：板端部署

你好，请问文档 模型重要性能数据中耗时与帧率统计是如何统计的？

理论上不应该是帧率＝1000÷（推理耗时+后处理耗时）吗，但表格中的数据和这个不对应。

例如图中的mobilenetv1，仅推理耗时0.9ms，理论上帧率的帧率应该是1000÷0.9=1100fps 左右，但表格中加上后处理计算出的fps是3700fps，远大于根据推理延时的计算值，这是什么原因呢？


算法工具链
征程5
评论2
0/1000
  • Huanghui
    Lv.5

    你好，latency反应的是单线程情况下的推理耗时，其中包含有模型数据的前处理推理后处理逻辑等，在单帧推理中，BPU并非是始终处于满负荷推理状态。而FPS是多线程（比如8线程）情况下的数据，多线程时可以保证BPU始终处于接近满负荷推理的状态，所以FPS上的数据比较高。latency和FPS数据上有差异其实是因为框架和线程原因BPU的状态不同，这也就是我们说部署时尽量通过多线程充分利用BPU，而不是让BPU等待数据的原因。

    2024-10-15
    0
    1
    • yy1234回复Huanghui:

      好的，明白了，谢谢

      2024-10-15
      0
  • Huanghui
    Lv.5

    收到！

    2024-10-15
    0
    0