j6e上qat的过程中，显示scale太大

已解决

su2025-11-26

Large scale value detected: model.cost_agg.att4.add2.conv.activation_post_process.scale=1102.5093994140625, which may cause more accuracy loss during convert；，可能会导致精度损失，怎么解决，会导致Loss下降的慢，以及最终的hbm模型精度不好吗？

算法工具链

征程6

0/1000

Vincent
Lv.4
你好，是在训练过程中吗？是的话建议还是训练完看一看具体结果
2025-11-26
0
16
- su回复Vincent:
  是的，是在训练过程中，很多waring，训练后转的hbm模型精度看着也不太好。loss比较大
  2025-11-26
  1
  回复
- Vincent回复su:
  你的原始模型效果怎么样
  2025-11-26
  0
  回复
- su回复Vincent:
  原始float模型效果挺好的，我是视差模型，float模型loss大概0.25，qat我训练了100轮到还是1.2左右下降不下来
  2025-11-26
  0
  回复
- Vincent回复su:
  qat训练集要是原始训练集的四分之一左右，另外可以尝试调小学习率
  2025-11-26
  0
  回复
- su回复Vincent:
  我是参考这个官网例子写的：https://doc.oe.horizon.auto/3.2.0/guide/plugin/qat_quickstart/qat_quickstart.html，基本就是这样吗，之前没做过qat
  2025-11-26
  0
  回复
- su回复Vincent:
  另外就是我float模型loss: 0.25，然后calibrate模型的loss大概是2.6，qat的第一个epoch的loss突然到7～8,是不是不正常
  2025-11-26
  0
  回复
- Vincent回复su:
  这个流程没问题？另外看下状态控制，就是 set_fake_quantize ，还有模型状态控制，
  2025-11-26
  0
  回复
- Vincent回复su:
  这个损失从开始训练到现在都没下降还是下降了到0.25将不下来了
  2025-11-26
  0
  回复
- Vincent回复Vincent:
  是1.2
  2025-11-26
  0
  回复
- su回复Vincent:
  到1.2基本就下降不下来了
  2025-11-26
  0
  回复
- Vincent回复su:
  尝试降低下学习率吧
  2025-11-26
  0
  回复
- Vincent:
  学习率衰减策略
  2025-11-26
  0
  回复
- Vincent回复su:
  可能梯度下降到局部最优点了
  2025-11-26
  0
  回复
- Huanghui回复su:
  现在如何了？
  2025-11-28
  0
  回复
- su回复Huanghui:
  还是没解决，qat是在模型的输入和输出插入伪量化节点包装一下就可以了吗，是不是我理解的有问题，我看https://doc.oe.horizon.auto/3.2.0/guide/plugin/qat_quickstart/qat_quickstart.html文档写的
  2025-11-28
  0
  回复
- Huanghui回复su:
  模型改造时候是这样的，插入quant ，dequant结点进行改造
  2025-11-28
  0
  回复