1.系统软件版本:j5_1.19.1
2.问题定位:模型量化
2.问题定位:模型量化
3.问题描述:lstm模型进行分类,训练后转换为onnx模型,检测精度为0.91,使用PTQ量化后,精度下降严重,量化后quantilized_model.onnx和calibrated_model.onnx检测精度相似,为0.52,original_float_model.onnx与optimized_float_model.onnx检测精度为0.91。通过精度debug工具,查看,发现部分激活节点相似度较低,node中也存在相似度低的节点。修改模型转换yaml文件中calibration_parameters:optimization:“lstm_batch_last”不起作用、打开per_channel也无效果。最后将量化比较敏感的算子运行在CPU上,出现报错,如何解除激活节点量化敏感的节点的量化?请指导一下。
另:当前版本支持LSTM模型的量化部署吗?还是需要使用QAT的量化方式效果会好一些。
激活量化节点相似度:


node节点量化敏感度:

Yaml文件中node_info配置:

报错信息:



