专栏底层软件模型转换过程中的yaml文件配置

模型转换过程中的yaml文件配置

已解决
wei1232023-02-07
64
4

在进行yolov5模型转换后，发现生成的bin模型在J3板上推理运行时间(280ms每帧)远远大于使用onnx模型在pycharm中的推理时间(20ms每帧)。

其中原因是否是因为模型转换后部分结构放到了CPU上运行导致？是否可以通过配置yaml文件，强制在BPU上运行来解决？

模型转换时输出如下图所示：

如果想强制在BPU上运行请问该如何配置yaml文件中的：run_on_bpu:{OP_name}?op_name是否替换为对应节点名列表，如{"Reshape_251","Concat_252"}？

底层软件
征程3
评论1
0/1000
  • tripleMu
    Lv.1

    请将后处理 Detect 层去掉，不要把 decoder 导出。不过即使改了 SiLU 也不能完全跑在 BPU。您可以试试 YOLOv8, 我最近训练了一版 VargNet 的版本，精度几乎持平 YOLOv5s，推理在 X3 大概 30-40ms

    2023-02-07
    0
    3
    • wei123回复tripleMu:

      按照官方说法，yolov5的速度不应该这么慢才对，至于把VarGNet整合到yolov8里面，可以作为备选方案吧?

      2023-02-10
      0
    • xbotics回复tripleMu:
      请问楼主的问题如何解答呢？run_on_bpu:{OP_name}，这里的OP_name我按照打印出的Node名字设置，报警告说没有这个OP
      2023-05-11
      0
    • xbotics回复tripleMu:

      请问楼主的问题如何解答呢？run_on_bpu:{OP_name}，这里的OP_name我按照打印出的Node名字设置，报警告说没有这个OP

      补充以下，名字是这样的 'run_on_bpu': '/Model/neck/Concat',
      2023-05-11
      0