专栏算法工具链多batch推理

多batch推理

已解决
求知求学的搬砖人2024-06-03
90
4

多batch推理PYM输入数据需要拆分输入数据，是否后面会完善？是否会支持J5不支持的动态多batch推理？

算法工具链
征程6
评论3
0/1000
  • Pipeline
    Lv.2

    你好，前期工具链版本迭代过程需要拆分输入数据，后面成熟版本不需要。预计会支持动态多batch推理，但实现时间较晚。

    2024-06-03
    0
    1
    • 默认49312回复Pipeline:

      想请问下现在支持了吗

      2025-03-12
      0
  • gaoh
    Lv.1

    pym输入多batch需拆分batch维度，这一点会在后续版本优化，支持用户灵活选择独立地址or连续地址，具体形式待定；后续会支持动态多batch推理

    2024-06-03
    0
    0
  • 我是默默
    Lv.1

    其实PYM输入的多batch模型在部署时做batch拆分更能贴合在芯片上的部署，例如BEV算法的多V输入都是金字塔处理后的NV12数据，拆分成多个PYM输入节点，各自以独立的内存地址传入，是一个比较顺畅的部署流程。虽然拆分成多个输入，但模型在芯片上的推理仍是按batch的模型进行，该有的效率一点不会少。不知道您在使用中对PYM输入进行拆分batch有何不便之处？欢迎吐槽

    2024-06-13
    0
    0