专栏底层软件J5全流程示例里的相机参数配置疑问,PYM模块部分的疑问

J5全流程示例里的相机参数配置疑问,PYM模块部分的疑问

已解决
XSXXH2024-02-05
203
2

最近在研究地平线J5开发板上调用摄像头运行oe包里的ai_forward_view_sample例子(:/home/xxx/horizon_j5_open_explorer_v1.1.60-py38_20230714/ddk/samples/ai_forward_view_sample)

相机连接如图所示。(上方:MAX96712+AR0233*4, 下方:MAX9296+AR0820)

提供了一份测试5路摄像头是否能正常工作的配置文件与执行脚本demo,配置文件与执行脚本在附件1中。demo运行5路摄像头正常,该项目直接使用自带的配置文件无法运行,

根据这个项目的官方配置文件修改部分配置后始终无法得到带检测框的视频画面,只能呈现出常规状态下的摄像头捕捉画面,没有检测框,就像相机普通拍照呈现的画面一样。模仿修改的配置文件如附件2所示。

1. 首先hb_j5dev.json
官方配置如下:

解串器的bus_num,以及第0号端口的相机bus_num为什么填0呢?有什么依据吗?

我进入J5板端系统的 dev看到 i2c-0, ,,,i2c-7 ,问题是我怎么知道bus_num我该填哪个数字?(demo里面的bus_num填了6)

2. 官方配置里的serial_addr,sensor_addr分别填了0x40,0x10,这有什么依据吗?是固定的吗? 相机demo配置里的serial_addr,sensor_addr填了0x41, 0x11. 那在这个项目里我该选哪个

3. Extra-mode demo配置里是7,该项目官方配置是6 ,我应该选填什么? config_index为什么是3072?Demo配置里config_index为0,我该怎么选填

4. Sensor_mode

(sensor 模式: 1-linear, 2-dol2, 3-dol3, 4-dol4, 5-pwl. ) 这里面的linear, dol2, dol3, dol4, pwl模式是什么意思啊,该怎么选呢,demo配置里是5 pwl模式也不知道什么意思。

vpm_config.json

5. Sched-mode   ISP工作模式tdmf模式是什么模式? J5连接了5路摄像头,4个ar0233 1个ar0820,但是只用到其中一路ar0233,其余4路摄像头不用,这种情况是不是只能选择 1.manual工作模式。


Hdr_mode里面的 linear/ native(pwl)....这些模式是怎么回事,该选那个

6. PYM部分的下采样层, 通过ds_roi_en按位使能,ds_roi_en=1,是只选择第0层,其余5层全部屏蔽吗,假设选取第0,1,2层的下采样层,ds_roi_en应该为7对吗

该项目官方只选择了 下采样的第0层,如图所示

他是 只能选择下采样层某一层输入到模型推理,还是可以选择多层下采样层输入到模型进行推理。如果我选择输入下采样层的第0,1,2层输入到模型推理,应该怎么改呢

是这样吗?

  input_tensor->sysMem[0].phyAddr =

      pyramid_message->pym_image_->roi_ds_[0].y_paddr + roi_ds_[1].y_paddr+

roi_ds_[2].y_paddr + y_offset;

 

  input_tensor->sysMem[0].virAddr =

      reinterpret_cast(

          pyramid_message->pym_image_->roi_ds_[0].y_vaddr+roi_ds_[1].y_vaddr+ roi_ds_[2].v_paddr ) +y_offset;


7.没有J5的系统软件SDK,只有预装好系统的J5开发板,这个J5系统软件SDK在哪里下载呢 
底层软件
征程5
评论1
0/1000
  • TROS.Enid
    Lv.1

    问题1:

    Bus_num根据板子的实际硬件连接确定,比如解串器连接的I2C6,那么bus_num就填6。想要知道bus_num要填多少:

    1.你可以用i2cdetect 看看i2c总线上挂在了那些设备,根据设备地址判断。

    2.根据板子硬件原理图。

    问题2:

    serial_addr,sensor_addr是根据datasheet里面实际地址配置的,后面的0x41 0x11是连接多个相同sensor后的映射的地址。

    问题3:

    extra_mode,config_index:各sensor库内部定制配置,多用于区分模组与功能开关

    具体内容要看驱动里面如何使用。

    问题4:

    Sensor_mode是配置sensor的HDR模式,5 pwl是pwl线性压缩模式,目前PWL使用的比较多。

    问题5:

    Tdmf,运行的5v camera的分辨率一样,且后面使用的PYM配置相同,可以用使用tdmf模式,减少CPU资源消耗。

    Hdr_mode和你hb_j5dev.json里面配置的HDR模式保持一致。

    你一个sensor,可以使用manual,或者单颗连接在cim可以使用passthru

    问题6:

    这样配置是对的,详细配置可以参考:

    https://developer.horizon.auto/developerForum?fullPath=/home/community/bbsdetail?bid=118364000835765801


    他是 只能选择下采样层某一层输入到模型推理,还是可以选择多层下采样层输入到模型进行推理。如果我选择输入下采样层的第0,1,2层输入到模型推理,应该怎么改呢

    是这样吗?

    Pub端:发送0 1 2层图片

    Sub端:接收到0 1 2层图片,只保证数据的正常收发,模型推理请移步算法工具链论坛。


    问题7:

    和贵司对接的地平线接口人联系,可以向他申请。

    2024-02-05
    0
    1
    • XSXXH回复TROS.Enid:

      好的感谢

      2024-02-05
      0