专栏算法工具链关于BEV算法hbm上板部署时的输入问题

关于BEV算法hbm上板部署时的输入问题

已解决
Lmh2024-12-08
162
7

我们将J6OE包中的BEVFormer算法移植到J5的V1.1.74OE包中复现并且编译生成了hbm文件，之后在将hbm上板时出现缺少输入的报错。我注意到在config文件中有如下输入信息，但是除了img外似乎都是在算法中view_transformer模块中用到的变量，那么这部分输入在部署上板时该如何获取并传入

另外对于config中的input_source是什么呢？这个部分似乎是和上图中的输入是有对应关系。

 

最后，我们在部署时也参考了J5OE包中其他的BEV算法，它们的输入也是除了img之外还有其他的,请问类似这类输入是如何获取并在板端输入给模型的呢

算法工具链
征程5
评论4
0/1000
  • kotei左文亮
    Lv.3

    问题收到

    2024-12-10
    0
    0
  • kotei左文亮
    Lv.3

    J6OE包中的BEVFormer算法是哪个？ 通过脚本获取到的onnx文件吗

    2024-12-10
    0
    1
    • Lmh回复kotei左文亮:
      不是onnx,我直接将J6OE包中的BEVFormer算法源码移植到了J5OE包中hat文件夹下。然后正常使用train.py以及compile_perf.py调用bevformer的config文件完成了float，calibration，qat以及编译hbm文件几个过程。
      以下连接是在社区中的BEVFormer示例说明
      https://developer.horizon.auto/bloggerdetail?bid=617255194813960192；
      他的源码是从/root/.local/lib/python3.8/site-packages/hat/models路径下复制的，
      另外config的路径是
      /open_explorer/ddk/samples/ai_toolchain/horizon_model_train_sample/scripts/configs/bev/bevformer/tiny_resnet50/detection/nuscenes.py
      2024-12-10
      0
  • DR_KAN
    Lv.4

    ddr是指内存，pym是金字塔。一般来说nv12输入都来源于金字塔，rgb，yuv，featuremap都是来自ddr的

    2024-12-17
    0
    0
  • kotei左文亮
    Lv.3

    input_source是数据来源， 通常情况下，当模型的input type rt设置为 nv12 时，input_source默认为 pyramid ， 当输入为pyramid时，量化模型quanti.onnx的输入均为NHWC 。 当input type rt为 yuv444/rgb/bgr 等类型时，input_source默认为 ddr 。

    2024-12-12
    0
    2
    • Lmh回复kotei左文亮:
      那在BEV示例算法中的其他input是怎么得来的呢；比如以下分别截图自两个BVE示例算法，其中第二个是J6中的BEVFormer算法
      2024-12-12
      0
    • kotei左文亮回复Lmh:

      这上面的输入指的是模型的输入大小， input_source是模型的输入数据来源 。

      2024-12-16
      0