J5板端模型部署数据预处理

已解决

chengang2023-03-20

101

1.芯片型号：J5

2.天工开物开发包OpenExplorer版本：J5_OE_1.1.40

3.问题定位：板端部署

4.问题具体描述：

你好：

在板端部署是有些输入需要进行量化处理，看提示乘以scale_data就可以吗，有相应的参考示例吗？

对于非图像输入，模型要求输入为有符号16位，应该怎么进行格式转化？

算法工具链

征程5

0/1000

颜值即正义
Lv.2
您好。一般来说，只有featuremap模型在读取featuremap输入数据时，才需要对输入做量化处理，并且编译之后的featuremap模型的开头会自带一个量化节点，可以自动做量化计算，只有将这个算子删除之后，用户才需要自行编写量化计算的代码。如果您属于这种情况，可以参考J5工具链手册5.2章节bpu sdk api的hbDNNQuantiScale下方给出的公式编写代码。OE包内暂无手写量化计算的示例。格式转换可以使用C++的强制类型转换。
2023-03-20
0
3
- chengang回复颜值即正义:
  1.是不是这样理解，模型输入信息虽然提示有量化参数，但是模型本身自带了量化节点，其实并不需要用户再量化处理。
  2.模型输出信息提示有量化参数，这部分后处理需要用户来实现吧？
  2023-03-20
  0
  回复
- 颜值即正义回复chengang:
  您可以在OE的docker环境下，进入您编译出来的.bin模型所在的目录，执行hb_perf xxx.bin，会生成一张png图，灰色部分表示CPU算子，绿色部分表示BPU算子。如果模型开头有灰色的quantize算子，尾部有灰色的dequantize算子，说明这个模型会自动做量化、反量化的计算。您送入数据的时候只需要送float32的，模型最后输出到数据也会是float32的。
  2023-03-20
  0
  回复
- chengang回复颜值即正义:
  非常感谢，我试试。
  2023-03-21
  0
  回复
颜值即正义
Lv.2
感谢您使用地平线芯片算法工具链，最近我们在收集大家的满意度反馈，欢迎您填写问卷，详细情况可见：https://developer.horizon.ai/forumDetail/146177053698464782
2023-04-24
0
0