专栏算法工具链J6-M同时运行多模型推理

J6-M同时运行多模型推理

已解决
默认802562026-07-06
87
5

1、芯片型号：j6-M

2、OE包版本：v3.9.0

3、问题定位：模型部署

4、问题描述：目前有2D目标检测，3D点云检测，3D点云地面分割三个模型，是否可以在J6-M中同时启用BPU推理？是否会出现资源抢占？要实现这个功能该如何设置？

算法工具链
技术深度解析征程6
评论1
0/600
  • YCJ
    Lv.4
    可以同时推理。只要都已经正确编译为板端可运行模型，就可以在业务程序中分别加载，并通过多线程/多任务方式提交推理任务。
    2026-07-07
    0
    4
    • 默认80256回复YCJ:

      是多任务放到同一进程里，通过多线程/多任务方式来推理？有参考吗？谢谢！

      2026-07-07
      0
    • YCJ回复默认80256:

      是的，推荐在同一个业务进程中加载多个模型，通过多线程或任务队列的方式异步提交多个推理任务。这个没有参考示例。关于模型优先级控制可以参考下图

      2026-07-07
      0
    • 2026-07-07
      0
    • 默认80256回复YCJ:

      好的 谢谢解答

      2026-07-07
      0