校准文件与校准数据的问题咨询

已解决

默认802242025-06-16

麻烦大佬帮忙看一下：ptq 时对于校准yaml文件的准备，将 input_type_rt 和 input_type_train 都设置为了 rgb 进行校准量化，首先将norm_type 设置为 no_preprocess，这样处理是因为我使用的校准数据集已经归一化过了，结果这样量化后得到的一致性很差。然后我就在校准文件中加上了归一化的设置，如下图所示，量化后的模型一致性就正常了。但是我输入的校准数据是已经经过归一化处理的了，然后yaml中又设置了一次，相当于进行了两次预处理操作？校准数据集和yaml文件都需要进行预处理操作吗？

算法工具链

征程6

0/1000

Huanghui
Lv.5
你好，这个结论是不对的哈，归一化操作只需要进行一次就OK了，如果你已经进行过归一化了，那么数据范围应该是0~1的，yaml配置就应该配置为featuremap.
当然如果我们更推荐使用配置的方式进行归一化，使用BPU资源进行加速计算！
2025-06-16
0
0
Huanghui
Lv.5
配置为RGB时，部署输入的时数据是int型的这个要注意哈，范围是-128 ~128
2025-06-16
0
3
- 默认80224回复Huanghui:
  请问这个相当于是要对原图进行比例映射到-128～128的范围是吧，我刚查看我的原图数值范围是1～256的
  2025-06-16
  0
  回复
- 默认80224回复Huanghui:
  我把数值调到范围-128 ~128，转换结果很差，单纯地进行比例映射是不是不对
  2025-06-16
  0
  回复
- Huanghui回复默认80224:
  不是这个意思，
  首先说校准：校准对齐的是你原始模型，你训练时如果有归一化那准备校准数据时也要。这一步只跟你的原始模型有关，你配置的rt还没生效呢。
  再说运行时：运行时你从图像读出的原始数据时0~255的，数据整体-128后送入推理就OK了。
  2025-06-16
  0
  回复
DR_KAN
Lv.4
featuremap才是满足你要求的格式，你使用rgb的话，还是得在模型里面的预处理节点做归一化，不能自己在外面搞
2025-06-16
0
8
- 默认80224回复DR_KAN:
  我发现同时将归一化后的数据集、添加mean和scale、设置成rgb的yaml配置进行量化，得到的结果和设置为featuremap、设置成no preprocess的配置，得到的量化结果是一致的，这个就该如此操作，还是说只是一种巧合
  2025-06-16
  0
  回复
- DR_KAN回复默认80224:
  设置为featuremap、设置成no preprocess的配置，你需要在把数据给模型之前就需要做归一化（也就是处理成和浮点训练时完全一样的输入
  2025-06-16
  0
  回复
- DR_KAN回复默认80224:
  归一化后的数据集、添加mean和scale、设置成rgb的yaml配置进行量化，在bc之前的模型是没有预处理节点的，bc才会有预处理节点
  2025-06-16
  0
  回复
- DR_KAN回复默认80224:
  我说的是J6哈，如果你是J5，那么没有bc模型，ptq生成的所有onnx都有预处理节点
  2025-06-16
  0
  回复
- 默认80224回复DR_KAN:
  是的，已经做好处理了，是和浮点训练时完全一样的输入
  2025-06-16
  0
  回复
- 默认80224回复DR_KAN:
  关于这个预处理节点的操作及地平线是怎么考量的，有相关文档可以学习吗，目前对于这一块还不是很了解，我理解的是不是类似于torch端训练模型时的批归一化层的那种
  2025-06-16
  0
  回复
- 默认80224回复DR_KAN:
  我目前使用的是J6哈
  2025-06-16
  0
  回复
- DR_KAN回复默认80224:
  需要您认真读一下工具链用户手册的PTQ部分哈
  2025-06-16
  0
  回复
费小财
Lv.5
对的，但是归一化操作只需要进行一次的
2025-06-17
0
0