专栏算法工具链模型所需算力计算

模型所需算力计算

已解决
yy12342024-09-14
122
3

1. 芯片型号:J5

2. 天工开物开发包 OpenExplorer 版本: J5_OE_1.1.77

3. 问题定位:板端部署

4. 问题具体描述:请问模型的实际算力怎么评估?

比如我们有一个模型,使用板端工具./hrt_model_exec perf评估模型的最大帧率,模型已完成优化,不存在受ddr瓶颈影响速度的问题,

第一种算法:perf时通过hrut_somstatus查看单bpu负载一直为100%,此时模型的单bpu单线程帧率为100fps。

板端实际部署时需要的帧率的10fps,那可以说这个模型的bpu算力需求是64X10/100=6.4TOPS吗?

或者第二种算法:模型在板端实际运行时,以10fps推理,hrut_somstatus看出模型的单bpu占用在20%左右浮动,那么64x0.2=12.8tops

请问可以用这两种方式计算模型的实际算力需求吗?哪种方式更合理一些

算法工具链
征程5
评论2
0/1000
  • 遥看瀑布挂前川
    Lv.2

    占用算力=设计帧率*实际延迟/1000*128T

    2024-09-14
    2
    0
  • 江城子
    Lv.1

    你好,算力计算中的64是指什么?

    2024-09-14
    0
    1
    • 江城子回复江城子:

      你是要计算模型消耗单bpu的算力是多少吧?单bpu实际的算力消耗可以按你说的第二种算法计算,即单bpu占用率*64。

      2024-09-14
      0