专栏算法工具链hbrt4-run-model-nash与hrt_model_exec推理接口的区别

hbrt4-run-model-nash与hrt_model_exec推理接口的区别

已解决
2025-12-26
36
3

J6M

可以看到hrt_model_exec走的是ucp框架,hbrt4-run-model-nash是runtime模拟器,那么两者的推理结果是否具有可比性,比如hrt_model_exec的单帧latency能否和hbrt4-run-model-nash的run_bpu_node时间做对比
算法工具链
征程6
评论2
0/1000
  • PhoenixOwner
    Lv.3
    hbrt4-run-model-nash支持模拟器和板端运行;在相同输入条件下,二者的推理结果是一致的;
    hrt_model_exec的单帧latency更加侧重于真实性,不建议与run_bpu_node的时间做对比,因为二者的侧重性不一样;
    hbrt4-run-model-nash侧重于功能,比如python前端的hbm_perf和graph.feed接口,调用RemoteBPU的时候,使用的是hbrt4-run-model-nash,用来对比输入与输出是否一致,另外也可以通过HPM获取到一些板端BPU内部的性能数据,用于编译的性能调优;
    hrt_model_exec侧重于性能,比如从整个运行链路上查看perf性能,对应到单帧latency,每秒的FPS;
    最后,开发过程建议参考hrt_model_exec。
    2025-12-26
    1
    1
    • PhoenixOwner回复PhoenixOwner:

      补充一句,hbrt4-run-model-nash的run_bpu_node统计结果仅作定性分析,如果需要定量分析,请参考hrt_model_exec的测试结果。

      2025-12-26
      0
  • YCJ
    Lv.4

    您好!看您一直没有回复, 相信问题已解。如对此尚存疑问欢迎新帖讨论,感谢您的参与!

    2025-12-31
    0
    0