专栏算法工具链J6 pc端HBRuntime如何使用gpu加速

J6 pc端HBRuntime如何使用gpu加速

已解决
yy12342025-06-25
55
4

在pc端推理hbm时,速度特别慢,请问j6可以在pc端调用gpu进行hbm的推理加速吗?

j5是可以设置的:

providers = ["CUDAExecutionProvider"]

sess.set_providers(providers)

但j6不能这样设置了,有别的方法吗

算法工具链
征程6
评论2
0/1000
  • 费小财
    Lv.5

    你说的是用J6的gpu还是pc的gpu?

    2025-06-26
    0
    2
    • yy1234回复费小财:

      想在pc端使用gpu推理加速,现在在pc端推理hbm一帧要半小时,太慢了

      2025-06-26
      0
    • Huanghui回复yy1234:

      pc端是docker环境,HBRuntime推理时候用的还是cpu,当然慢了。J6的docker在pc端只能用CPU推理hbm模型。另外在J5上你说的这种方法 providers = ["CUDAExecutionProvider"] ,也只能推理bc模型。

      2025-07-08
      0
  • Jade-self
    Lv.5

    你好,hbruntime在gpu docker中,可以使用gpu加速中间产出物onnx模型,但不能加速bc模型

    2025-07-15
    0
    0