j5 PTQ 量化后quanti模型精度下降严重，检测框数量变少。

已解决

Centipede2026-01-07

100

芯片：j5
OE版本：1.74
目前检测框位置没有问题，上次发帖发现单张推理没有问题是因为对比的calibration的模型和origin模型的效果。这次改正回来quanti模型发现精度下降非常大，并且检测数量也变少。已经改为int16的量化模式。
图中只剩了两个框，并且精度也很低。原始检测应该是10多个框。

附件:

demo.jpg

算法工具链

征程5

0/1000

YCJ
Lv.4
您好！具体是哪个模型呢？能贴一下量化的log文件和yaml文件吗？意思是 calibration 的结果较好， quanti 的结果比较差？
2026-01-07
0
18
- Centipede回复YCJ:
  yolo11x 模型
  2026-01-07
  0
  回复
- Centipede回复YCJ:
  model_parameters: onnx_model: './original_model/yolo11x.onnx' march: "bayes" layer_out_dump: False working_dir: 'model_output' output_model_file_prefix: 'yolo11_640x640_nv12_a1' remove_node_type: "Dequantize" input_parameters: input_name: "" input_type_rt: 'rgb' input_layout_rt: 'NCHW' input_type_train: 'rgb' input_layout_train: 'NCHW' input_shape: '' norm_type: 'data_scale' mean_value: '' scale_value: 0.003921568627451 calibration_parameters: cal_data_dir: './calibration_data_rgb_f32' cal_data_type: 'float32' calibration_type: 'default' optimization: 'set_all_nodes_int16' run_on_bpu: /model.10/m/m.0/attn/Softmax;/model.10/m/m.1/attn/Softmax;/model.23/dfl/Softmax compiler_parameters: compile_mode: 'latency' debug: False optimize_level: 'O2'
  2026-01-07
  0
  回复
- YCJ回复Centipede:
  贴一下 log文件和yaml文件
  2026-01-07
  0
  回复
- Centipede回复YCJ:
  2026-01-07 17:32:55,851 INFO The quantify model output: ===================================================================================== Node Cosine Similarity L1 Distance L2 Distance Chebyshev Distance ------------------------------------------------------------------------------------- /model.23/Concat_5 0.999625 0.172588 0.001960 326.932922 2026-01-07 17:32:55,860 INFO End to Horizon NN Model Convert. 2026-01-07 17:32:56,355 WARNING node: /model.10/m/m.0/attn/Softmax does not exist, please double check your input 2026-01-07 17:32:56,355 WARNING node: /model.10/m/m.1/attn/Softmax does not exist, please double check your input 2026-01-07 17:32:56,355 WARNING node: /model.23/dfl/Softmax does not exist, please double check your input
  2026-01-07
  0
  回复
- YCJ回复Centipede:
  准备校准数据的时候归一化了没？
  2026-01-07
  0
  回复
- YCJ回复YCJ:
  J5不能归一化哈。
  2026-01-07
  0
  回复
- Centipede回复YCJ:
  准备校准数据就是沿用提供的yolo5x例子的。没有归一化操作。yaml里面数据是有归一化操作的（照搬yolo5x例子的yaml文件）
  2026-01-08
  0
  回复
- YCJ回复Centipede:
  这样吧，你方便把你的工程打包发到我的邮箱吗？我这边帮你复现一下问题
  2026-01-08
  0
  回复
- Centipede回复YCJ:
  好，请问你的邮箱是？
  2026-01-08
  0
  回复
- Centipede回复Centipede:
  我在yaml文件中把归一化去掉了之后得到的图片检测上全是密密麻麻的检测框了。
  2026-01-08
  0
  回复
- YCJ回复Centipede:
  873651674@qq.com 需要整个工程哈（校准图片，准备校准集的脚本，yaml文件，模型，quanti推理脚本）
  2026-01-08
  0
  回复
- YCJ回复Centipede:
  yaml是要归一化的，我的意思是在准备校准集不要归一化
  2026-01-08
  0
  回复
- YCJ回复Centipede:
  您好！我看您的模型迟迟没有发过来，是问题已经解决了吗？
  2026-01-09
  0
  回复
- Centipede回复YCJ:
  我参考了你发布的j5 yolo11n部署实战，用你的方式这个帖子遇到的问题没有了，这是quanti模型得到的精度（前三个）：
  2026-01-09 17:25:07,436 INFO person is in the picture with confidence: 0.7754
  2026-01-09 17:25:07,437 INFO kite is in the picture with confidence: 0.7624
  2026-01-09 17:25:07,437 INFO person is in the picture with confidence: 0.7578
  这是原始的yolo11n的精度（前三个）：
  2026-01-09 17:22:57,351 INFO kite is in the picture with confidence: 0.8586
  2026-01-09 17:22:57,351 INFO kite is in the picture with confidence: 0.8417
  2026-01-09 17:22:57,351 INFO person is in the picture with confidence: 0.8197
  请问这个精度下降是不是合理范围内的。
  2026-01-09
  0
  回复
- YCJ回复Centipede:
  您的这个精度是以置信度去衡量的，这种方式是否客观全面？在工具链中，我们判断模型的量化损失是依照余弦相似度去判断的。您可以把您量化过程中的hb_mapper_makertbin.log中的Cosine Similarity表那一段截个屏贴出来，我帮您分析一下。
  2026-01-09
  0
  回复
- Centipede回复YCJ:
  2026-01-15
  0
  回复
- YCJ回复Centipede:
  从余弦相似度来说，整体看起来还不错，在合理的量化损失范围内。你可以跑下map看看是否损失较大。如果你对当前的损失不能接受，也有一些方法是可以去尝试的。我建议的是：使用debug工具去跑出敏感度算子列表，把部分余弦相似度较低的算子（即较为敏感的算子）设置为int16量化，这样可能会损失部分性能，但能够改善精度。
  2026-01-15
  0
  回复
- Centipede回复YCJ:
  好的，谢谢解答。我自己在研究研究。
  2026-01-15
  0
  回复