J6 PTQ config内input_type跟校准数据集一致确掉点严重，之前J5量化部署正常

已解决

默认579842025-07-23

1.J6

2. OE包V3.031

3. 模型训练时候使用的是NCHW BGR格式，无任何数据前处理流程。

使用PTQ量化时，当input_type_rt 与校准数据集都为BGR时掉点严重，但加上scale参数1/255后得分超过1（训练时无此操作）

当input_rt 改为RGB时，校准数据集不做更改时，quantized cosine 分数高

该模型之前在J5上使用 input_type_rt 为bgr，校准数据集也使用为bgr格式，无明显掉点

算法工具链

征程6技术深度解析

0/1000

默认57984
Lv.1
都使用hb_compile命令行进行量化
2025-07-23
0
0
Huanghui
Lv.5
你看下你的数据的shape，是怎么分布的？
2025-07-24
0
15
- 默认57984:
  input_type_rt是bgr/rgb时候，转换出来的bc和hbm模型都是NHWC格式
  2025-07-24
  0
  回复
- 默认57984回复Huanghui:
  校准集数据是BGR NCHW格式的，通过如下示列生成，该格式掉点严重，但取消注释行scaletransformer后无明显掉点
  2025-07-24
  0
  回复
- Huanghui回复默认57984:
  YUV，RGB,BGR,转出来的自动就是NHWC，featuremap转出来的是NCHW
  2025-07-25
  0
  回复
- 默认57984回复Huanghui:
  好的，主要问题因为：为什么Quantized Cosine在这两种情况数值差距这么大？
  2025-07-25
  0
  回复
- Huanghui回复默认57984:
  你的原始训练集数据预处理有这个操作吗
  2025-07-25
  0
  回复
- 默认57984回复Huanghui:
  原始训练数据没有预处理步骤，为BGR NCHW输入格式
  2025-07-28
  0
  回复
- Huanghui回复默认57984:
  你把config改成NHWC，输入的BGR数据改成NHWC试一试呢
  2025-07-28
  0
  回复
- 默认57984回复Huanghui:
  这个原理是什么呢？ featuremap格式的BGR NCHW输入是能正确推理的
  2025-07-29
  0
  回复
- Huanghui回复默认57984:
  因为featuremap格式，对应layout就是NCHW，但bgr，rgb，NV12统统都是NHWC,所以配置那里layout要写成NHWC，
  2025-07-29
  0
  回复
- Huanghui回复默认57984:
  input_type_train是你原始浮点模型训练时候输入的数据类型，input_type_rt是量化后模型推理需要的数据样式，如果你都为bgr，那么config那个就改成NHWC,量化后的是int8得，你原始数据因该是uint8得。所以只需要减去128就行
  2025-07-29
  0
  回复
- Huanghui回复默认57984:
  你如果都做了归一化，数据压缩在0到1之间，那就变成featuremap格式了，又不一样了
  2025-07-29
  0
  回复
- 默认57984回复Huanghui:
  我看J6的手册和warning 这个input_layout_rt是不支持用户自定义的，所以这里配置不可变。input_layout_train我理解应该跟训练对齐NCHW。
  2025-07-29
  0
  回复
- 默认57984回复Huanghui:
  图像预处理那里减去均值128即可吗？增加这个-128跟 J5的区别在哪里？J5时候是没有配置的
  2025-07-29
  0
  回复
- 默认57984回复Huanghui:
  featuremap我没做归一化，工具莲会自动归一化吗？在哪一步会做这个呢
  2025-07-29
  0
  回复
- Huanghui回复默认57984:
  -128是让uint8转换成int8，uint8范围0，255，int8范围-128，127
  2025-07-29
  0
  回复