专栏算法工具链Bev_mt_lss 参考算法 J5板端部署问题

Bev_mt_lss 参考算法 J5板端部署问题

已解决
yulus2023-03-22
176
8
1.芯片型号：J5
2.天工开物开发包OpenExplorer版本：J5_OE_1.1.40
3.问题定位：板端部署
4.问题具体描述：

算法链接：https://developer.horizon.ai/forumDetail/143772473308124163

尝试在J5部署算法包内的hbm模型时发现问题：对模型的输出heatmap做maxpool后得到目标的位置，但是该位置只会分布于整个bev空间的左半边（x<50.8）,导致投影到相机图片时只有后视图的3个视角有bbox，前视图的3个视角没有，而且bbox也不准确。

请问贵公司有这个模型在板子上测试的代码样例吗，或者这个模型部署时输入输出处理有什么需要注意的地方？ 1

附件:
算法工具链
征程5
评论2
0/1000
  • 颜值即正义
    Lv.2

    您好，首先请您检查一下板端模型的输入（6v+points）和后处理代码，后处理代码应与python端代码的处理逻辑一致；然后，6V输入的顺序应与模型训练时的一致， points需要在导出时做量化以及注意输入顺序；另外，关于模型部署样例的信息可以与您这边的项目对接人员进行联系。

    2023-03-23
    0
    6
    • chengang回复颜值即正义:

      你好：

      1. 请问points量化时，量化顺序和输入顺序是怎么样的？直接把维度为（20,1,128,128,2）的points分成20组（1,128,128,2）吗？再依次输入到模型吗？

      2023-03-24
      0
    • 颜值即正义回复chengang:
      您好，理论上板端的输入顺序和模型定义的输入顺序是一致的，您在导出（20,1,128,128,2）后需要进行拆分后再做量化，因为points的scale是不同的，另外，注意做layout变换，板端的points输入是NCHW的
      2023-03-29
      0
    • chengang回复颜值即正义:

      谢谢你的回答，我们解决了。

      2023-04-10
      0
    • yy1234回复颜值即正义:

      您好，请问Bev_mt_lss 参考模型输入的points是什么信息？ai_benchmark里面有lss_reference_points0文件夹，请问这里面的二进制文件包含什么信息？我们自己如何生成

      2023-07-17
      0
    • 颜值即正义回复yy1234:
      你好，Bev_mt_lss 参考模型输入的points是图像/深度特征转换到BEV视角时的采样坐标（模型中gridsample算子的grid输入），ai_benchmark里面有lss_reference_points0文件夹是我们在运行性能评测脚本latency.sh、fps.sh时使用的10帧图像的points。
      points的生成过程如下：
      1. 修改docker环境中/usr/local/lib/python3.8/dist-packages/hat/models/task_modules/view_fusion/view_transformer.py路径LSSTransformer类中的_spatial_transfom函数代码:
      2.然后运行infer.py脚本：
      python3 tools/infer_bev.py -c ./configs/bev/bev_mt_lss.py --inputs ./single_frame/imgs --homo ./single_frame/homo/ego2img.npy --pretrained-ckpt ./bev_release_models/bev_mt_lss/qat-checkpoint-best.pth.tar --is-plot

      infer_bev.py的输入为6V图像和homo矩阵；可以使用oe开发包ddk\samples\ai_toolchain\horizon_model_train_sample\scripts\tools\homography_generator.py来生成homo矩阵

      2023-07-17
      0
    • ZQQ回复颜值即正义:

      这是啥意思？即使bin模型的输入是nhwc的，板端的points输入也要求是NCHW的？

      2025-03-11
      0
  • 颜值即正义
    Lv.2
    2023-04-24
    0
    0