专栏算法工具链J6M BEV多输入 PTQ 模型转换

J6M BEV多输入 PTQ 模型转换

已解决
ㅤ2025-01-10
102
7

 

模型输入：

input_image: [6, c, h, w]

input_map: [6, nx, ny, 2]

 

量化的时候一次要给6张图

input_type_rt 可以配置为 `nv12;featuremap` 做量化吗，能的话要怎么做 ？  

还是说只能为rgb

 

 

算法工具链
征程6
评论2
0/1000
  • Huanghui
    Lv.5

    你好，nv12输入源是Pyramid，目前PTQ⽅案batchn Pyramid的⽀持⽅案还在设计中，暂时⽆法通过配置yaml⽂件中的相关 参数直接编译出可上板推理的batchn Pyramid模型。若要在PTQ⽅案下依然希望部署时每个batch的数据可以来源于不同的内存地址，可先使⽤ hb_compile⼯具⽣成 *ptq_model.onnx 之后通过如下代码将模型输⼊沿batch维度拆开，并插⼊ 前处理节点和格式转换节点：

    你好，nv12输入源是Pyramid，目前PTQ⽅案batchn Pyramid的⽀持⽅案还在设计中，暂时⽆法通过配置yaml⽂件中的相关 参数直接编译出可上板推理的batchn Pyramid模型。若要在PTQ⽅案下依然希望部署时每个batch的数据可以来源于不同的内存地址，可先使⽤ hb_compile⼯具⽣成 *ptq_model.onnx 之后通过如下代码将模型输⼊沿batch维度拆开，并插⼊ 前处理节点和格式转换节点：

    你好，nv12输入源是Pyramid，目前PTQ⽅案batchn Pyramid的⽀持⽅案还在设计中，暂时⽆法通过配置yaml⽂件中的相关 参数直接编译出可上板推理的batchn Pyramid模型。若要在PTQ⽅案下依然希望部署时每个batch的数据可以来源于不同的内存地址，可先使⽤ hb_compile⼯具⽣成 *ptq_model.onnx 之后通过如下代码将模型输⼊沿batch维度拆开，并插⼊ 前处理节点和格式转换节点：

    你好，nv12输入源是Pyramid，目前PTQ⽅案batchn Pyramid的⽀持⽅案还在设计中，暂时⽆法通过配置yaml⽂件中的相关 参数直接编译出可上板推理的batchn Pyramid模型。若要在PTQ⽅案下依然希望部署时每个batch的数据可以来源于不同的内存地址，可先使⽤ hb_compile⼯具⽣成 *ptq_model.onnx 之后通过如下代码将模型输⼊沿batch维度拆开，并插⼊ 前处理节点和格式转换节点：

    你好，nv12输入源是Pyramid，目前PTQ⽅案batchn Pyramid的⽀持⽅案还在设计中，暂时⽆法通过配置yaml⽂件中的相关 参数直接编译出可上板推理的batchn Pyramid模型。若要在PTQ⽅案下依然希望部署时每个batch的数据可以来源于不同的内存地址，可先使⽤ hb_compile⼯具⽣成 *ptq_model.onnx 之后通过如下代码将模型输⼊沿batch维度拆开，并插⼊ 前处理节点和格式转换节点：

    你好，nv12输入源是Pyramid，目前PTQ⽅案batchn Pyramid的⽀持⽅案还在设计中，暂时⽆法通过配置yaml⽂件中的相关 参数直接编译出可上板推理的batchn Pyramid模型。若要在PTQ⽅案下依然希望部署时每个batch的数据可以来源于不同的内存地址，可先使⽤ hb_compile⼯具⽣成 *ptq_model.onnx 之后通过如下代码将模型输⼊沿batch维度拆开，并插⼊ 前处理节点和格式转换节点：

    2025-01-10
    0
    0
  • Huanghui
    Lv.5

    因为论坛出错了，回复的内容有很多条，你只需要看其中的一条就OK了。另外，你的输入有两个，只需要对第一个输入nv12的 input_image: [6, c, h, w] 内省拆分就好了哈， input_map: [6, nx, ny, 2]位置原样就OK。


    在*ptq_model.onnx 的基础上拆分之后 save 出BC之后，使⽤hb_compile⼯具，将yaml⽂件中的model路径改为quantized.bc的路径，完成删除节点 和模型编译的过程。
    2025-01-10
    0
    5
    • ㅤ回复Huanghui:

      谢谢解答！另外想确认下 *ptq_model.onnx这个是以RGB输入量化后的模型吧

      2025-01-13
      0
    • Huanghui回复ㅤ:

      不是的， *ptq_model.onnx 是伪量化模型，其中的运算还是浮点形式的，只不过其中存在一些伪量化节点进行float->int->float的处理以是的模型在真正成为量化模型之前可以感知量化带来的影响。

      2025-01-13
      0
    • ㅤ回复Huanghui:
      还有个问题：就是 这块代码最后生成的.bc模型是已经完成量化的模型？
      2025-01-13
      0
    • Huanghui回复ㅤ:

      是的，没错。convert之后的模型就是已经完成量化的了，但是这个只是IR模型哈，还是需要compile才能上板运行。

      2025-01-13
      0
    • ㅤ回复Huanghui:

      好的，谢谢

      2025-01-13
      0