专栏算法工具链既然地平线不建议在模型内部用concat操作，那么多路camera图像作为输入的时候。如何实现pym的图直接给到bpu做推理呢？

既然地平线不建议在模型内部用concat操作，那么多路camera图像作为输入的时候。如何实现pym的图直接给到bpu做推理呢？

已解决
Hunter2023-06-25
127
7

用户您好，请详细描述您所遇到的问题。

1.硬件获取渠道：天准

2.当前系统镜像版本：Linux version 5.10.59-rt52-00006-g301b1d863c98-dirty (rex@rex) #6 SMP PREEMPT_RT Tue Feb 28 16:25:17 CST 2023 tztek_version: [soft:v1.0.3, type:release]

3.当前天工开物版本：1.1.52a

4.问题定位：

既然地平线不建议在模型内部用concat操作，那么多路camera图像作为输入的时候。如何实现pym的图直接给到bpu做推理呢？

5.开发的demo/案例：

6.需要提供的解决方案：

既然地平线不建议在模型内部用concat操作，那么多路camera图像作为输入的时候。如何实现pym的图直接给到bpu做推理呢？

5.开发的demo/案例：

算法工具链
征程5
评论3
0/1000
  • 颜值即正义
    Lv.2

    可以参考下这张图，J3最多支持8路pipeline，j5最多支持16路pipeline。

    2023-06-26
    0
    4
    • 颜值即正义回复颜值即正义:

      pym_data会存放进内存中，可供推理使用，APP0/1/2相当于模型推理的相关程序。

      2023-06-26
      0
    • Hunter回复颜值即正义:

      你好，

      如果concat算子用在模型里带来多少的性能损失比较大。

      请问有什么好的方法在模型外面实现concat，并且能兼顾计算效率呢？

      谢谢

      2023-06-27
      0
    • 颜值即正义回复Hunter:

      重新梳理一下哈，在模型里面，你的concat算子，是无法运行在BPU上是嘛？

      2023-06-27
      0
    • 颜值即正义回复Hunter:

      您可以先在模型内部用concat，然后测一下性能看看能不能接受

      2023-06-27
      0
  • 颜值即正义
    Lv.2

    你好，并不是说concat算子不能用在模型里哈，关于concat到底会带来多少的性能损失，建议先测性能看一下，如果影响较小，也是很ok的。

    另外，关于从金字塔输入的数据如何进BPU，欢迎看一下这篇文章：https://developer.horizon.ai/forumDetail/118363921378870162

    2023-06-26
    0
    0
  • 颜值即正义
    Lv.2

    还有就是，针对多路摄像头输入，走金字塔的话，在准备数据时根据aligned shape准备两块内存，然后把多路数据，Y分量放到一起，UV分量放到一起即可完成数据准备，这么做是不需要进行concat的呀~

    2023-06-27
    0
    0