专栏算法工具链图像数据流

图像数据流

已解决
默认328322024-07-23
68
2

J5 J5_OE_1.1.74 1.请问能介绍一下摄像头的数据输入后在板子上的数据流是怎么走的吗?

2.如果要指定为ddr、pyramid或resize中的一个就在下图当中修改就可以了(将pyramid改为ddr或resize)
算法工具链
技术深度解析征程5
评论1
0/1000
  • Huanghui
    Lv.5

    你好,在此你需要解释几个阶段,图像输入阶段、图像处理阶段 以及 图像使用阶段(使用阶段也就是模型推理阶段)。

    1. 图像输入阶段:关注通过驱动获取图像数据并对数据进行质量调优。

    2. 图像处理阶段:关注对调优后的原始图像进行去畸变、缩放、裁剪等以满足模型推理的需要,其中设计GDB,PYM等硬件的使用和配置,注要目的是通过硬件加速为模型推理准备数据,当然,如果不考虑速度也可以使用OPENCV等软件形式对图像进行处理。

    3. 图像使用阶段(或模型推理阶段):去除图像处理阶段处理好的数据进行模型推理,该阶段关注图像数据的格式&布局、图像数据的大小、调用API是数据地址提供的方式等。

    模型编译过程中input_source中所涉及的ddr、pyramid或resize主要是说BPU获取推理数据是数据的来源,不同的来源本质上反应的是数据的类型和处理方式,ddr代表数据不需要特殊处理即可提供给BPU,pyramid代表推理数据是NV12格式的,而pym输出的数据就是NV12格式的,至于resize主要是数据在进入BPU之前需要对数据进行一次ROI裁剪在送入BPU进行推理,表示的是数据的一种预处理方式。
    2024-07-23
    0
    1
    • 默认32832回复Huanghui:

      谢谢你耐心的解答,根据你的回答我又产生了两个问题。

      1、请问pyramid是BPU 中的图像金字塔吗?

      2、算法工具链里面让我们把训练模型的图像转换成 centered_yuv444 格式,请问这样训练出来的模型可以接收NV12格式的数据吗?(据我所知 centered_yuv444和NV12是两种不同的格式)

      3、如果我们摄像头驱动进来的数据就是NV12那我们就能直接指定为ddr了吗?在模型编译的时候需要做那些修改呢?

      2024-07-24
      0