专栏算法工具链如何在 地平线板端实现两个模型同时推理 或者交替推理

如何在 地平线板端实现两个模型同时推理 或者交替推理

已解决
海平面ovo2025-07-30
56
4

如何实现多模型推理  目前知道 地平线的bpu 不同于nvidia 一次性load模型那种加载方法 我现在想用多个模型推理，请问我可以在哪里得到支持或者帮助

算法工具链
征程5
评论3
0/1000
  • Jade-self
    Lv.5

    在OE/samples/ucp_tutorial/dnn/basic_samples/code/02_advanced_samples/multi_model_batch路径下，提供了两个模型推理的示例代码，可以参考。

    2025-07-30
    1
    0
  • 费小财
    Lv.5
    2025-07-31
    1
    1
    • 海平面ovo回复费小财:

      这个 是在一个进程中load 两个模型，有在两个进程中load 不同模型的例子吗

      2025-08-29
      0
  • DR_KAN
    Lv.4

    两个模型不能同时推理，因为BPU是独占型资源，即使你同时提交两个推理任务，runtime内部也会给他们区分先后顺序

    2025-07-31
    1
    0