专栏算法工具链hrt_model_exec perf命令执行结果说明

hrt_model_exec perf命令执行结果说明

已解决
我爱邢宝宝i2024-02-28
104
11

1. 芯片型号：J5

2. 天工开物开发包 OpenExplorer 版本：j5_open_explorer_v1.1.68-py38_20231014

3. 问题定位：板端性能测试

4. 问题具体描述：hrt_model_exec perf --model_file mobilenetv1_224x224_nv12.bin --core_id 0 --thread_num 8 --frame_count 1000，这种情况下，测出来的推理时间是什么含义？8个线程和两个BPU核是怎样配合工作的？
算法工具链
征程5
评论2
0/1000
  • GOYU\XU
    Lv.2

    意思就是8个线程在2个BPU上单位时间能够处理的帧数

    2024-02-28
    0
    5
    • 我爱邢宝宝i回复GOYU\XU:

      你好，咱们J5不支持双核同时加速一个算法吧

      2024-02-28
      0
    • GOYU\XU回复GOYU\XU:

      不支持

      2024-02-28
      0
    • 我爱邢宝宝i回复GOYU\XU:

      好的谢谢，咱们有基于J5 部署大模型的案例吗

      2024-02-28
      0
    • GOYU\XU回复GOYU\XU:

      关于大模型部署的问题，会有专门人员在您帖子下回复的，在此就不做讨论了！

      2024-02-28
      0
    • 我爱邢宝宝i回复GOYU\XU:

      好的，谢谢，辛苦

      2024-02-28
      0
  • GOYU\XU
    Lv.2

    测出来的就是吞吐量(fps)

    吞吐量表示计算平台在满载/接近满载的状态下，单位时间内能够处理的图像总帧数。 在真实场景中，计算平台由于要并发处理多个摄像头的数据，所以越大的吞吐量才能满足更大的数据处理要求， 更贴合实际性能表现，也能作为统一的指标综合体现不同计算平台架构的能力。

    8个线程和2个BPU的工作模式，就好比电脑4核(cpu),12线程一样的概念。

    2024-02-28
    0
    4
    • 我爱邢宝宝i回复GOYU\XU:

      谢谢，测出来的延迟时间是八线程总耗时，还是耗时最长的线程时间

      2024-02-28
      0
    • GOYU\XU回复GOYU\XU:

      平均时间。一定时间内处理的总帧数，计算平均时间

      2024-02-28
      0
    • 我爱邢宝宝i回复GOYU\XU:

      可以理解为单任务耗时为平均时间除以线程数吗？

      2024-02-28
      0
    • GOYU\XU回复GOYU\XU:

      可以理解为，这个板子在一定时间内最大处理帧总数除以这段时间。

      2024-02-28
      0