专栏算法工具链全链路项目里的相机配置参数是否可以大致通用

全链路项目里的相机配置参数是否可以大致通用

已解决
Xu2024-03-29
183
12

用户您好，请详细描述您所遇到的问题，详细的描述有助于帮助我们快速定位，解决问题~Thanks♪(･ω･)ﾉ

1. 硬件获取渠道及型号： j5

2. 系统镜像版本： v1.1.60

3. 问题模块： ai_forward_view_sample

4. 问题描述： /home/xxx/horizon_j5_open_explorer_v1.1.60-py38_20230714/ddk/samples/ai_forward_view_sample/里有一个全链路项目实例，里面有驱动相机的配置文件。

（1）请问相机配置参数文件是通用的吗，比如要现在要弄全链路环境下车道线模型的相机配置参数，是否只需要修改一下分辨率就可以了？

（2）想测试某一个模型的全链路相机检测，是不是必须要先把这个模型写成全链路项目的类型，才能进行后续的配置相机参数，验证相机是否正常检测？但是，把一个检测模型写成全链路形式的项目工作量非常大，如何在不写成全链路项目的情况下，检验这个模型能否正常调用相机正常推理？比如，BEV模型不写成全链路项目情况下，该怎么配置BEV全链路的相机配置参数，并且验证这个BEV能否正常调用相机推理？相机配置应该是通用的吧，无关是什么模型种类？只需要分辨率符合这个全链路模型的输入要求对吗？
5. 示例代码：相机配置的位置在这里，/home/xxx/horizon_j5_open_explorer_v1.1.60-py38_20230714/ddk/samples/ai_forward_view_sample/configs。如果想验证BEV的全链路项目能否正常调用相机，相机的配置文件是否只要改下分辨率就可以了，目前部门还没写BEV的全链路项目，但是又要验证全链路环境下BEV能否正常调用相机。

6. log文件（目前暂不支持附件上传，请通过百度网盘上传后贴链接）：

算法工具链
征程5
评论10
0/1000
  • GOYUWJW
    Lv.1

    配置的参数是通用的,使用参数需要先读取.json的配置文件,而这些配置文件仅在次示例工程中使用,但您可以参考此ai_forward_view_sample中读取配置文件参数来使用的代码来应用到自己的工程中;

    如果把一个检测模型写成全链路形式的项目工作量非常大,可以先跑通此示例点亮相机;

    目前此示例支持以下三种:

    1. max9296+ar0233(SENSING Fov216)

    2. max96712+ar0233(SUNNY Fov100)

    3. 网络回灌


    2024-04-02
    1
    0
  • GOYUWJW
    Lv.1

    是的，但具体是什么模型是有关系的，你自己的模型目标尺寸可能是不一样的；

    示例里是512*512，可以通过修改vpm_config.json来更改PYM输出的尺寸

    2024-04-03
    1
    0
  • GOYUWJW
    Lv.1

    这个示例是efficientnetb0为backbone的FCOS模型，你期望的检测结果肯定需要你自己的模型的；如果你只是更改相关配置，让PYM输出不同尺寸的图片，那图片尺寸和这个示例中模型期望的尺寸就会不一致，那就会导致程序报错没有检测结果。

    你可以试试更改这个示例代码，屏蔽模型推理后处理，看PYM能否成功生成目标尺寸图片，只要你配置后通过PYM生成的图片是你的模型的目标尺寸那就没有问题。

    可以看一下这篇文章https://developer.horizon.cc/forumDetail/118363921378870162

    2024-04-03
    1
    0
  • GOYUWJW
    Lv.1

    是的，是先通过PYM中的BL层倍减；再通过DS层缩放

    2024-04-03
    1
    0
  • GOYUWJW
    Lv.1

    ds_roi_sel选择0后双线性层不发挥作用

    具体可以参考https://developer.horizon.cc/forumDetail/118364000835765801这个文档

    2024-04-10
    1
    0
  • TROS.Enid
    Lv.1

    内部分析中

    2024-03-29
    0
    0
  • Xu
    Lv.1

    GOYUWJW，感谢

    2024-04-11
    0
    0
  • Xu
    Lv.1
    @GOYUWJW 你好。但是如果不写成全链路形式，在配置的参数都符合模型要求的情况下，相机应该能正常运行但不会呈现检测结果，有没有办法能既不写成全链路形式又能加载符合模型要求的相机配置并呈现出检测结果的方法吗，不写全链路形式只能自己进行配置，但无法得到检测结果把。
    2024-04-03
    0
    0
  • Xu
    Lv.1
    @GOYUWJW ,是的，这个示例运行过没问题。pym里面的src_in_width,src_in_height,填的应该是摄像头原生支持的分辨率把。比如ar0233是2048*1280的，实测只能填这个，填1920*1080就不行。
    c_i

    然后从下采样层里面填模型所需要的输入尺寸对吗，这个模型代码里面是ds_roi[0]，1080p输入。

    ，

    不过模型onnx打开输入好像是640*xxx 应该是1080p图输入后还会再处理？

    2024-04-03
    0
    0
  • Xu
    Lv.1
    @GOYUWJW,感谢，我了解双线性层的配置规则，那个双线性层有发挥什么作用吗？因为我看好像是从原图层选择了第0层ds_roi层（"ds_roi_layer": 0,
    "ds_roi_sel": 0,），不是从双线性层选的，那这个双线性层有发挥什么作用吗。
    2024-04-07
    0
    0