专栏算法工具链板端模型推理与评测问题

板端模型推理与评测问题

已解决
fgz9992023-02-24
85
5
1.芯片：J3
2.OE版本：XJ3_OE_1.11.4
3.问题定位：板端部署
4.问题具体描述：在板端进行模型推理时，若想对输入模型的batch size设置不同值，则模型转换过程中yaml配置文件--参数input_batch必须设置相应值吗？在评测工具ai_benchmark中，怎么设置模型预测时的batch size值？
算法工具链
征程3
评论2
0/1000
  • 颜值即正义
    Lv.2
    您好，想对输入模型的batch size设置不同值，是需要模型转换时在yaml配置文件中配置input_batch的，设置为相应值的。
    ai_benchmark没有设置batch size的，都是batch size=1的，评测其它batch size的模型性能，可以在模型编译完成后，使用hrt_model_exec工具。
    另外，XJ3新版工具链OE1.15.2已发布，在遇到问题时，欢迎使用新版工具链进行尝试哈~版本发布链接可见：https://developer.horizon.ai/forumDetail/136488103547258769
    2023-02-24
    0
    3
    • fgz999回复颜值即正义:

      好的，非常感谢！

      另外，运行ai_benchmark中 sh fps.sh 脚本，命令行一直在刷新下图信息，似乎陷入死循环，请问这是什么原因呢？和OE包的版本有关系吗？

      2023-02-24
      0
    • 颜值即正义回复fgz999:

      配置文件中默认配置了让它一直跑，可以对比一下latency中的对应参数哈：

      2023-02-24
      0
    • fgz999回复颜值即正义:

      好的，谢谢

      2023-02-24
      0
  • 颜值即正义
    Lv.2
    2023-04-24
    0
    0