专栏算法工具链请问在板端如何评估每一层的推理时间

请问在板端如何评估每一层的推理时间

已解决
XR2024-11-26
63
5

您好,在使用板端推理时能够使用hrt_exec工具看到整个模型的推理时间,请问是否有办法看到每一层的推理时间?如果有麻烦指出,文档中没有找到,谢谢~

算法工具链
征程6
评论5
0/1000
  • Huanghui
    Lv.5

    你好,板端hrt_model_exec指定profile_path后,如果模型中存在CPU算子,可以在生成的profiler.log文件中看到CPU算子的执行时间,而BPU时间以一段展示的,无法看到具体每一个算子的执行时间。

    2024-11-26
    0
    0
  • PhoenixOwner
    Lv.3

    如果有HBM模型文件,可以试试能否找到hbrt4-disas工具,根据disas结果查看BPU算子的在编译时刻生成的预估执行时间,注意:该结果与实际上板运行的时间可能会有偏差,仅供参考。

    2024-11-26
    0
    0
  • PhoenixOwner
    Lv.3

    不好意思,我理解错了。原始网络模型的单独一层推理时间是看不到的,因为编译的时候经过优化,存在图融合的情况,此时原始模型单独一层的概念已不再适用,上板得到的推理时间也是连续好多层融合在一起的时间。

    2024-11-26
    0
    0
  • DR_KAN
    Lv.4

    如果模型中有cpu算子,那么hrt工具可以看到每个cpu算子的执行时间,而bpu算子只能在静态性能分析报告html里看到每个算子的预估耗时,到了板端,所有bpu算子都做了编译器层面的优化,已经没有单独的bpu算子的概念了,整个bpu子图都转化为了一堆二进制指令,统一运行。

    2024-11-27
    0
    0
  • Huanghui
    Lv.5

    客户您好,长时间未收到你的答复,相信问题已解。如对此尚存疑问欢迎新帖讨论,感谢您的参与!

    2025-02-05
    0
    0