专栏算法工具链x3派 多 batch 推理

x3派 多 batch 推理

已解决
zimuyuan2023-05-09
54
2

x3 在板端部署的时是否支持多 batch 的推理呢，好像没看到对应的例程啊

算法工具链
评论2
0/1000
  • 颜值即正义
    Lv.2

    你好，X3上是支持batch的，但由于算力的限制，batch其实并没有什么收益，因此没提供相关的示例，在J5上收益比较好~

    2023-05-10
    0
    0
  • 颜值即正义
    Lv.2
    2023-05-10
    0
    0