专栏算法工具链hrt_model_exec 疑问

hrt_model_exec 疑问

已解决
whaaj2022-07-20
112
2

Q1. 关于 hrt_model_exec, X3M 系统镜像 20220611 与 OpenExplorer v2.2.3中都有包含，请问应该使用哪个版本？

Q2. hrt_model_exec perf 的参数说明
a) frame_count=N, 代表做 N 次推理，所以结果是基于N 次推理的min/max/mean?
b) thread_num=1, 代表单线程处理（CPU）执行N次推理吗？

Q3. hrt_model_exec perf 输出结果的说明

a) Thread latency 指的是 从何时到何时的延迟？

b) Average latency 指的是 thread latency N 次的均值吗？

Q4. 能否查看 hrt_model_exec perf 的源代码，以便更好的理解此工具，以用于模型的合理预估。

Q5. hrt_model_exec perf 与 ai_benchmark 在板端测试性能，从设计目的上，使用场景有哪些不同？

算法工具链
评论1
0/1000
  • 颜值即正义
    Lv.2
    你好，答复如下：

    Q1：请使用工具链 OpenExplorer 中提供的版本

    Q2：

    a）frame_count=N 统计出来的结果就是对 N 次推理结果的整体统计；

    b）thread_num=1代表单线程；

    补充：直接在版本执行 hrt_model_exec 工具，就能看到它的 help 说明

    Q3：

    a）Thread latecny表示整个模型 run_model的延时，延时的统计只有在单核（core_id=1/2）单线程（thread_num=1）时才有意义；另外你也可以在执行时增加 --profile_path ./ 参数，运行完会有一个 log文件生成在指定的路径，里面会有更加详细的耗时数据

    b）是

    Q4：目前暂不开放，其实我们就是基于最简单的逻辑是实现的，和自己写推理接口实现是一样的；

    Q5：hrt_model_exec 是基于静态库预编译好的可执行文件，其定位是一个快捷工具，能够让用户 no coding 地完成模型的性能测试；而 AI-Benchmark 则是完整的代码示例

    2022-07-27
    2
    1
    • whaaj回复颜值即正义:

      谢谢您的回复！

      2022-07-28
      0